DE102017207319A1

DE102017207319A1 - Device and method for traffic sign recognition

Info

Publication number: DE102017207319A1
Application number: DE102017207319.5A
Authority: DE
Inventors: Lars Ulveland
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Conti Temic Microelectronic GmbH
Priority date: 2017-05-02
Filing date: 2017-05-02
Publication date: 2018-11-08
Also published as: WO2018202260A1

Abstract

Die Erfindung betrifft die Erkennung von Verkehrszeichen mit geringer Fehlerrate für ein Fahrerassistenzsystem. Dazu werden mindestens zwei Gradientenbilder für unterschiedliche spektrale Empfindlichkeiten berechnet. Die Gradientenbilder werden zu einem Gradientenrichtungsbild zusammengeführt, indem die Richtungen der signifikantesten Gradienten der mindestens zwei Gradientenbilder ausgewählt werden. In dem Gradientenrichtungsbild wird dann nach Verkehrszeichen gesucht.The invention relates to the detection of traffic signs with a low error rate for a driver assistance system. For this purpose, at least two gradient images are calculated for different spectral sensitivities. The gradient images are merged into a gradient direction image by selecting the directions of the most significant gradients of the at least two gradient images. In the gradient direction image is then searched for traffic signs.

Description

Gebiet der ErfindungField of the invention

Die Erfindung betrifft die Erkennung von Verkehrszeichen für ein Fahrerassistenzsystem. Insbesondere betrifft die Erfindung eine Vorrichtung sowie ein Verfahren zur Verkehrszeichenerkennung für ein Fahrerassistenzsystem für ein Fahrzeug.The invention relates to the detection of traffic signs for a driver assistance system. In particular, the invention relates to a device and a method for traffic sign recognition for a driver assistance system for a vehicle.

Hintergrundbackground

Für Fahrerassistenzsysteme ist die Erkennung der Umgebung des Fahrzeugs von fundamentaler Bedeutung. Dazu gehört die korrekte Erkennung von Verkehrszeichen. Die erkannten Verkehrszeichen können dem Fahrer beispielsweise auf einem Bildschirm angezeigt werden. Darüber hinaus können insbesondere im Bereich des autonomen Fahrens viele weitere Aktionen basierend auf erkannten Verkehrszeichen ausgelöst werden. Zum Beispiel kann die Fahrzeuggeschwindigkeit entsprechend den erkannten Verkehrszeichen geregelt werden.For driver assistance systems, the detection of the environment of the vehicle is of fundamental importance. This includes the correct detection of traffic signs. The detected traffic signs can be displayed to the driver, for example, on a screen. In addition, many other actions can be triggered based on detected traffic signs, especially in the field of autonomous driving. For example, the vehicle speed may be regulated according to the detected traffic signs.

Bisher werden Verkehrszeichen unter Verwendung von Intensitätsbildern detektiert, die von einem Kamerasystem bereitgestellt werden. Dabei befindet sich die Kamera häufig im Bereich des Innenrückspiegels des Fahrzeugs.So far, traffic signs are detected using intensity images provided by a camera system. The camera is often in the range of the interior rearview mirror of the vehicle.

Allerdings weisen einige Verkehrszeichen keine deutlichen Intensitätskontraste auf. Dies ist beispielsweise bei Einfahrt-Verbotsschildern der Fall. Darüber hinaus kann die Detektion von Verkehrszeichen basierend auf Intensitätsbildern abhängig von dem Hintergrund fehlschlagen. Eine Möglichkeit zur Reduktion der Wahrscheinlichkeit des Verpassens von Verkehrsschildern (Miss-Detection Rate) besteht darin, Bilddaten der Kamera für verschiedene Farbkanäle separat auszuwerten und in mehreren Farbbildern nach Verkehrszeichen zu suchen. Dies ist jedoch mit einem hohen Rechenaufwand verbunden.However, some traffic signs have no clear intensity contrasts. This is the case for entry prohibition signs, for example. In addition, the detection of traffic signs based on intensity images may fail depending on the background. One way to reduce the likelihood of missed traffic signs (Miss-Detection Rate) is to evaluate camera image data for different color channels separately and search in several color images for traffic signs. However, this is associated with a high computational effort.

Zusammenfassung der ErfindungSummary of the invention

Eine Aufgabe der Erfindung besteht darin, die Miss-Detection Rate bei der Erkennung von Verkehrsschildern mit schwachem Intensitätskontrast zu reduzieren. Dies soll erreicht werden mit geringem zusätzlichem Rechenaufwand.An object of the invention is to reduce the miss-detection rate in the detection of traffic signs with weak intensity contrast. This should be achieved with little additional computational effort.

Ein erster Aspekt der Erfindung betrifft eine Vorrichtung zur Verkehrszeichenerkennung für ein Fahrerassistenzsystem für ein Fahrzeug. Dabei umfasst die Vorrichtung eine Recheneinheit, welche dazu ausgeführt ist, Bilddaten von einem Kamerasystem zu empfangen, aus den Bilddaten ein erstes Bild mit einer ersten spektralen Empfindlichkeit zu berechnen, aus den Bilddaten ein zweites Bild mit einer unterschiedlichen zweiten spektralen Empfindlichkeit zu berechnen, ein erstes Gradientenbild aus dem ersten Bild zu berechnen, ein zweites Gradientenbild aus dem zweiten Bild zu berechnen, das erste Gradientenbild und das zweite Gradientenbild in Polarkoordinaten umzuwandeln, und das erste und das zweite Gradientenbild zu einem Gradientenrichtungsbild zusammenzuführen.A first aspect of the invention relates to a device for traffic sign recognition for a driver assistance system for a vehicle. In this case, the device comprises a computing unit which is designed to receive image data from a camera system, to calculate from the image data a first image with a first spectral sensitivity, to calculate from the image data a second image having a different second spectral sensitivity, a first Calculating gradient image from the first image, calculating a second gradient image from the second image, converting the first gradient image and the second gradient image into polar coordinates, and merging the first and second gradient images into a gradient direction image.

Dabei nimmt das Kamerasystem Bilddaten von der Umgebung des Fahrzeugs auf. Das Kamerasystem ist dazu ausgeführt, Bilddaten für mindestens zwei unterschiedliche spektrale Empfindlichkeiten bereitzustellen. In vielen Fällen ist das Kamerasystem dazu ausgeführt, Bilddaten für drei oder vier unterschiedliche spektrale Empfindlichkeiten bereitzustellen. Es ist aber auch möglich, dass das Kamerasystem Bilddaten für mehr als vier unterschiedliche spektrale Empfindlichkeiten bereitstellt. Die Bilddaten können beispielsweise mittels eines Bildsensors aufgenommen werden, der mit einer Farbmaske vor einer Fotodiodenmatrix versehen ist. Dabei kann die Farbmaske beispielsweise ein RGGB-, RGBW-, RGBE-, CYGM-, oder CMYW-Farbfilter-Muster aufweisen. Es ist aber unter anderem auch möglich, dass das Kamerasystem ein Prisma aufweist, welches das Spektrum aufspaltet, sodass mittels mehrerer Bildsensoren Bilddaten für unterschiedliche Frequenzbereiche aufgenommen werden können.The camera system records image data from the surroundings of the vehicle. The camera system is designed to provide image data for at least two different spectral sensitivities. In many cases, the camera system is designed to provide image data for three or four different spectral sensitivities. However, it is also possible that the camera system provides image data for more than four different spectral sensitivities. The image data can be recorded, for example, by means of an image sensor which is provided with a color mask in front of a photodiode matrix. For example, the color mask may have an RGGB, RGBW, RGBE, CYGM, or CMYW color filter pattern. However, among other things, it is also possible for the camera system to have a prism which splits the spectrum so that image data for different frequency ranges can be recorded by means of a plurality of image sensors.

Die Recheneinheit ist dazu ausgeführt, aus den von dem Kamerasystem bereitgestellten Bilddaten ein erstes Bild mit einer ersten spektralen Empfindlichkeit und ein zweites Bild mit einer zweiten spektralen Empfindlichkeit zu berechnen. Dabei kann sich die erste spektrale Empfindlichkeit des ersten Bildes als gewichtete Superposition der von dem Kamerasystem bereitgestellten spektralen Empfindlichkeiten ergeben. Genauso kann sich die zweite spektrale Empfindlichkeit des zweiten Bildes als eine unterschiedlich gewichtete Superposition der von dem Kamerasystem bereitgestellten spektralen Empfindlichkeiten ergeben. In anderen Worten können sowohl das erste als auch das zweite Bild als unterschiedlich gewichtete Superpositionen der von dem Kamerasystem bereitgestellten Bilddaten mehrerer spektraler Empfindlichkeiten berechnet werden. Es ist aber auch möglich, dass die erste spektrale Empfindlichkeit des ersten Bildes oder die zweite spektrale Empfindlichkeit des zweiten Bildes direkt einer der spektralen Empfindlichkeiten der von dem Kamerasystem bereitgestellten Bilddaten entsprechen.The arithmetic unit is designed to calculate a first image with a first spectral sensitivity and a second image with a second spectral sensitivity from the image data provided by the camera system. In this case, the first spectral sensitivity of the first image may result as a weighted superposition of the spectral sensitivities provided by the camera system. Likewise, the second spectral sensitivity of the second image may result as a differently weighted superposition of the spectral sensitivities provided by the camera system. In other words, both the first and the second image may be calculated as differently weighted superpositions of the image data of a plurality of spectral sensitivities provided by the camera system. However, it is also possible for the first spectral sensitivity of the first image or the second spectral sensitivity of the second image to correspond directly to one of the spectral sensitivities of the image data provided by the camera system.

Beispielsweise kann das Kamerasystem Bilddaten für drei Farbkanäle Rot, Grün und Blau bereitstellen. In diesem Fall kann die Recheneinheit beispielsweise dazu ausgeführt sein, als erstes Bild ein Intensitätsbild zu berechnen, wobei die von dem Kamerasystem bereitgestellten Bilddaten der drei Farbkanäle gewichtet und aufsummiert werden. Ferner kann die Recheneinheit beispielsweise dazu ausgeführt sein, das zweite Bild aus den Bilddaten des roten Farbkanals zu berechnen. In dem dargestellten Beispiel umfasst also die erste spektrale Empfindlichkeit des ersten Bildes einen breiten Frequenzbereich, wohingegen die zweite spektrale Empfindlichkeit des zweiten Bildes auf den Frequenzbereich roten Lichts begrenzt ist.For example, the camera system can provide image data for three color channels red, green and blue. In this case For example, the arithmetic unit may be designed to calculate an intensity image as the first image, wherein the image data of the three color channels provided by the camera system are weighted and added up. Furthermore, the arithmetic unit can be designed, for example, to calculate the second image from the image data of the red color channel. In the illustrated example, therefore, the first spectral sensitivity of the first image comprises a broad frequency range, whereas the second spectral sensitivity of the second image is limited to the frequency range of red light.

Vorzugsweise entsprechen das erste Bild und das zweite Bild dem gleichen Sichtfeld des Kamerasystems und das erste und das zweite Bild haben vorzugsweise die gleiche Auflösung (Zahl der Bildpunkte in horizontaler und vertikaler Richtung) . Ferner ist die erste spektrale Empfindlichkeit vorzugsweise konstant über das erste Bild und die zweite spektrale Empfindlichkeit ist vorzugsweise konstant über das zweite Bild. Dies sind jedoch keine notwendigen Bedingungen. Beispielsweise kann die Recheneinheit dazu ausgeführt sein, das zweite Bild nur für einen Bereich des ersten Bildes zu berechnen, in dem mit hoher Wahrscheinlichkeit Verkehrszeichen auftreten. In diesem Fall kann die Recheneinheit dazu ausgeführt sein, in dem Bereich, für den das zweite Bild berechnet wurde, das erfindungsgemäße Verfahren zur Verkehrszeichenerkennung auszuführen und in dem übrigen Bereich, für den kein zweites Bild berechnet wurde, ein herkömmliches Verfahren zur Verkehrszeichenerkennung auszuführen. Der Einfachheit halber wird im Folgenden jedoch angenommen, dass das erste Bild und das zweite Bild dem gleichen Kamera-Sichtfeld entsprechen, dass das erste Bild und das zweite Bild die gleiche Auflösung haben, dass die erste spektrale Empfindlichkeit konstant ist über das erste Bild, und dass die zweite spektrale Empfindlichkeit konstant ist über das zweite Bild.Preferably, the first image and the second image correspond to the same field of view of the camera system, and the first and second images preferably have the same resolution (number of pixels in the horizontal and vertical directions). Furthermore, the first spectral sensitivity is preferably constant over the first image and the second spectral sensitivity is preferably constant over the second image. However, these are not necessary conditions. For example, the arithmetic unit may be designed to calculate the second image only for a region of the first image in which traffic signs occur with high probability. In this case, the arithmetic unit may be designed to carry out the method according to the invention for traffic sign recognition in the area for which the second image was calculated, and to carry out a conventional method for traffic sign recognition in the remaining area for which no second image was calculated. For the sake of simplicity, however, it is assumed below that the first image and the second image correspond to the same camera field of view that the first image and the second image have the same resolution, that the first spectral sensitivity is constant over the first image, and that the second spectral sensitivity is constant over the second image.

Die Recheneinheit kann dazu ausgeführt sein, das erste Gradientenbild aus dem ersten Bild und das zweite Gradientenbild aus dem zweiten Bild zu berechnen. Dabei kann vorzugsweise für jeden Bildpunkt des ersten Bildes und für jeden Bildpunkt des zweiten Bildes ein Gradient berechnet werden, wobei die Gradienten als zweidimensionale Vektoren in kartesischen Koordinaten berechnet werden. Daher weist sowohl das erste als auch das zweite Gradientenbild jedem Bildpunkt einen zweidimensionalen Vektor zu. Die Berechnung des ersten und des zweiten Gradientenbildes kann beispielsweise mittels Sobel-, Scharr-, Prewitt- oder Roberts-Operatoren erfolgen.The arithmetic unit may be designed to calculate the first gradient image from the first image and the second gradient image from the second image. In this case, a gradient can preferably be calculated for each pixel of the first image and for each pixel of the second image, the gradients being calculated as two-dimensional vectors in Cartesian coordinates. Therefore, both the first and the second gradient image assign a two-dimensional vector to each pixel. The calculation of the first and the second gradient image can take place, for example, using Sobel, Scharr, Prewitt or Roberts operators.

Ferner ist die Recheneinheit dazu ausgeführt, das erste und das zweite Gradientenbild in Polarkoordinaten umzuwandeln. Dabei wird vorzugsweise für jeden - in manchen Ausführungsbeispielen für manche - Gradienten des ersten und des zweiten Gradientenbildes die Länge des Gradienten und die Richtung des Gradienten berechnet. Die Länge des Gradienten kann insbesondere als Euklidische Norm des Gradienten berechnet werden. Als Länge des Gradienten kann jedoch auch eine andere Norm des Gradienten berechnet werden, beispielsweise die 1-Norm oder die Supremumsnorm. Die Richtung des Gradienten kann als Winkel beispielsweise mit der Arkustangensfunktion oder einer numerischen Approximation der Arkustangensfunktion berechnet werden. Ferner kann die Recheneinheit dazu ausgeführt sein, die Richtung des Gradienten nur näherungsweise beispielsweise als Vielfaches von 45° zu bestimmen.Furthermore, the arithmetic unit is designed to convert the first and the second gradient image into polar coordinates. In this case, the length of the gradient and the direction of the gradient are preferably calculated for each-in some embodiments for some-gradient of the first and second gradient images. The length of the gradient can be calculated in particular as a Euclidean norm of the gradient. However, a different norm of the gradient, for example the 1-norm or the supremum norm, can also be calculated as the length of the gradient. The direction of the gradient can be calculated as an angle, for example, with the arctangent function or a numerical approximation of the arctangent function. Furthermore, the arithmetic unit may be designed to determine the direction of the gradient only approximately, for example as a multiple of 45 °.

Darüber hinaus ist die erfindungsgemäße Recheneinheit dazu ausgeführt, das erste Gradientenbild und das zweite Gradientenbild zu einem Gradientenrichtungsbild zusammenzuführen. Vorzugsweise ist die Recheneinheit dazu ausgeführt, die Länge jedes Gradienten des ersten Gradientenbildes mit der Länge des entsprechenden Gradienten des zweiten Gradientenbildes zu vergleichen und die Richtung des längeren Gradienten für das Gradientenrichtungsbild auszuwählen. Das von der erfindungsgemäßen Recheneinheit berechnete Gradientenrichtungsbild kann also jedem Bildpunkt eine Richtung zuweisen, wobei die Richtung als skalarer Winkel angegeben werden kann.In addition, the arithmetic unit according to the invention is designed to combine the first gradient image and the second gradient image to form a gradient direction image. Preferably, the arithmetic unit is adapted to compare the length of each gradient of the first gradient image with the length of the corresponding gradient of the second gradient image and to select the direction of the longer gradient for the gradient direction image. The gradient direction image calculated by the arithmetic unit according to the invention can thus assign a direction to each pixel, the direction being able to be indicated as a scalar angle.

Hier und im Folgenden entspricht ein Gradient des zweiten Gradientenbildes einem Gradienten des ersten Gradientenbildes, wenn die beiden Gradienten zu dem gleichen Bildpunkt und damit zu der gleichen Blickrichtung des Kamerasystems gehören.Here and below, a gradient of the second gradient image corresponds to a gradient of the first gradient image when the two gradients belong to the same pixel and thus to the same viewing direction of the camera system.

Die Verkehrszeichen können dann in dem von der erfindungsgemäßen Vorrichtung bereitgestellten Gradientenrichtungsbild gesucht werden.The traffic signs can then be searched in the gradient direction image provided by the device according to the invention.

Die erfindungsgemäße Recheneinheit ist also dazu ausgeführt, aus dem ersten Gradientenbild der ersten spektralen Empfindlichkeit und dem zweiten Gradientenbild der zweiten spektralen Empfindlichkeit ein Gradientenrichtungsbild durch Auswahl der Richtungen der signifikanteren Gradienten zu berechnen. Daher können sowohl Kanten des ersten Bildes mit der ersten spektralen Empfindlichkeit als auch Kanten des zweiten Bildes mit der zweiten spektralen Empfindlichkeit in dem Gradientenrichtungsbild berücksichtigt werden.The arithmetic unit according to the invention is therefore designed to calculate a gradient direction image from the first gradient image of the first spectral sensitivity and the second gradient image of the second spectral sensitivity by selecting the directions of the more significant gradients. Therefore, both edges of the first image with the first spectral sensitivity and edges of the second image with the second spectral sensitivity in the gradient direction image can be taken into account.

Demgegenüber erfolgte bisher die Erkennung von Verkehrszeichen unter Verwendung eines Gradientenrichtungsbildes, welches aus einem Intensitäts-Gradientenbild abgeleitet wurde. Allerdings weisen einige Verkehrszeichen keine oder schwache Intensitätskontraste auf, sodass die Detektion solcher Verkehrszeichen basierend auf einem Intensitätsbild mit einer erheblichen Fehlerrate verbunden ist. Die erfindungsgemäße Berücksichtigung eines zweiten Gradientenbildes bei der Berechnung des Gradientenrichtungsbildes kann eine signifikante Reduktion der Fehlerrate bei der Detektion von Verkehrszeichen ermöglichen.On the other hand, the detection of traffic signs using a gradient direction image derived from an intensity gradient image has hitherto been performed. However, some traffic signs have no or weak intensity contrasts, so that the detection of such traffic signs based on an intensity image is associated with a significant error rate. The inventive consideration of a second gradient image in the calculation of the gradient direction image may allow a significant reduction in the error rate in the detection of traffic signs.

Da die Suche nach Verkehrszeichen in einem Gradientenrichtungsbild mit einem hohen Rechenaufwand verbunden ist, erfolgt durch die erfindungsgemäße Kombination zweier Gradientenbilder zu einem Gradientenrichtungsbild auch eine deutliche Reduktion des Rechenaufwands gegenüber der Suche nach Verkehrszeichen in mehreren Gradientenrichtungsbildern unterschiedlicher spektraler Empfindlichkeit.Since the search for traffic signs in a gradient direction image is associated with a high degree of computation, the inventive combination of two gradient images to form a gradient direction image also significantly reduces the computational effort compared to the search for traffic signs in multiple gradient direction images of different spectral sensitivity.

Gemäß einer weiteren Ausführungsform ist das erste von der Recheneinheit berechnete Bild ein Intensitätsbild und das zweite von der Recheneinheit berechnete Bild ein Farbbild.According to a further embodiment, the first image calculated by the arithmetic unit is an intensity image and the second image calculated by the arithmetic unit is a color image.

Im Stand der Technik werden Intensitätsbilder verwendet, um Verkehrszeichen zu detektieren. Allerdings weisen einige Verkehrszeichen nur schwache Intensitätskontraste auf. Außerdem kann je nach Hintergrund die Erkennung von Verkehrszeichen basierend auf Intensitätsbildern fehlschlagen.In the prior art, intensity images are used to detect traffic signs. However, some traffic signs have only weak intensity contrasts. In addition, depending on the background, recognition of traffic signs based on intensity images may fail.

Zur Verbesserung der Erkennungsrate von Verkehrszeichen verwendet die erfindungsgemäße Vorrichtung ein erstes Bild mit einer ersten spektralen Empfindlichkeit und ein zweites Bild mit einer unterschiedlichen zweiten spektralen Empfindlichkeit. Dabei kann das erste Bild ein Intensitätsbild mit einer breitbandigen spektralen Empfindlichkeit und das zweite Bild ein Farbbild mit einer auf einen Farbkanal begrenzten spektralen Empfindlichkeit sein.In order to improve the recognition rate of traffic signs, the device according to the invention uses a first image with a first spectral sensitivity and a second image with a different second spectral sensitivity. In this case, the first image can be an intensity image with a broadband spectral sensitivity and the second image can be a color image with a limited spectral sensitivity to a color channel.

Das Farbbild kann starke Kontraste für Verkehrszeichen aufweisen, für die das Intensitätsbild nur schwache Kontrast aufweist. Es ist aber auch möglich, dass das Intensitätsbild für einige Verkehrszeichen starke Kontraste aufweist, für die das Farbbild nur schwache Kontraste aufweist. Die Recheneinheit der erfindungsgemäßen Vorrichtung ist dazu ausgeführt, ein Gradientenrichtungsbild zu berechnen, welches sowohl die starken Kontraste des Intensitätsbildes als auch die starken Kontraste des Farbbildes berücksichtigt, sodass das Gradientenrichtungsbild eine Erkennung von Verkehrszeichen mit geringer Fehlerrate erlaubt.The color image may have strong contrasts for traffic signs for which the intensity image has only weak contrast. But it is also possible that the intensity image for some traffic signs has strong contrasts for which the color image has only weak contrasts. The arithmetic unit of the device according to the invention is designed to calculate a gradient direction image which takes into account both the strong contrasts of the intensity image and the strong contrasts of the color image, so that the gradient direction image allows detection of traffic signs with a low error rate.

Die erfindungsgemäße Vorrichtung zur Erkennung von Verkehrszeichen kann auch dazu ausgeführt sein, mehr als zwei Gradientenbilder mit unterschiedlichen spektralen Empfindlichkeiten zu berechnen. In diesem Fall kann die Recheneinheit dazu ausgeführt sein, in das Gradientenrichtungsbild die Richtung desjenigen Gradienten einzutragen, der für den jeweiligen Bildpunkt die größte Länge aufweist.The traffic sign recognition device according to the invention can also be designed to calculate more than two gradient images with different spectral sensitivities. In this case, the arithmetic unit may be designed to enter in the gradient direction image the direction of the gradient which has the greatest length for the respective pixel.

Gemäß einer weiteren Ausführungsform ist die Recheneinheit dazu ausgeführt, einen Gradienten des ersten Gradientenbildes zu unterdrücken, wenn die Länge des Gradienten des ersten Gradientenbildes kleiner als ein erster Schwellwert ist, und einen Gradienten des zweiten Gradientenbildes zu unterdrücken, wenn die Länge des Gradienten des zweiten Gradientenbildes kleiner als ein zweiter Schwellwert ist.According to a further embodiment, the arithmetic unit is adapted to suppress a gradient of the first gradient image when the length of the gradient of the first gradient image is smaller than a first threshold value and to suppress a gradient of the second gradient image if the length of the gradient of the second gradient image is less than a second threshold.

In anderen Worten kann die Recheneinheit dazu ausgeführt sein, die Länge eines Gradienten des ersten Bildes zu Null zu setzen, wenn die Länge dieses Gradienten kleiner als ein erster Schwellwert ist. Analog kann die Recheneinheit dazu ausgeführt sein, die Länge eines Gradienten des zweiten Bildes zu Null zu setzen, wenn die Länge dieses Gradienten kleiner als ein zweiter Schwellwert ist. Das Zu-Null-Setzen kleiner Längen von Gradienten erfolgt mit dem Ziel, auf Bildrauschen basierende Gradienten mit kleiner Länge nicht weiter zu berücksichtigen.In other words, the arithmetic unit may be configured to zero the length of a gradient of the first image if the length of this gradient is less than a first threshold. Similarly, the arithmetic unit may be configured to zero the length of a gradient of the second image if the length of this gradient is less than a second threshold. The zeroing of small lengths of gradients is done with the aim of disregarding small-length noise-based gradients.

Der für einen Gradienten des ersten Gradientenbildes verwendete erste Schwellwert muss insbesondere nicht gleich dem für einen Gradienten des zweiten Gradientenbildes verwendeten Schwellwert sein. Außerdem kann der erste Schwellwert über das erste Gradientenbild variieren, d.h. die erfindungsgemäße Recheneinheit kann dazu ausgeführt sein, unterschiedliche erste Schwellwerte für unterschiedliche Bildpunkte des ersten Gradientenbildes zu verwenden. Insbesondere kann der erste Schwellwert abhängen von der lokalen Umgebung innerhalb des ersten Bildes, sodass beispielsweise in einem hellen Bereich des ersten Bildes mit starkem Bildsignalanteil ein größerer erster Schwellwert von der erfindungsgemäßen Recheneinheit appliziert wird als in einem dunkleren Bereich mit schwächerem Bildsignalanteil. Analog kann die erfindungsgemäße Recheneinheit dazu ausgeführt sein, unterschiedliche zweite Schwellwerte für unterschiedliche Bildpunkte des zweiten Gradientenbildes zu verwenden.In particular, the first threshold value used for a gradient of the first gradient image does not have to be equal to the threshold value used for a gradient of the second gradient image. In addition, the first threshold may vary over the first gradient image, i. the arithmetic unit according to the invention can be designed to use different first threshold values for different pixels of the first gradient image. In particular, the first threshold value can depend on the local environment within the first image, so that, for example, in a bright region of the first image with a strong image signal component, a larger first threshold value is applied by the inventive arithmetic unit than in a darker region with a weaker image signal component. Analogously, the arithmetic unit according to the invention can be designed to use different second threshold values for different pixels of the second gradient image.

Die ersten Schwellwerte des ersten Gradientenbildes und die zweiten Schwellwerte des zweiten Gradientenbildes können insbesondere unabhängig voneinander sein.The first threshold values of the first gradient image and the second threshold values of the second gradient image may in particular be independent of each other.

Gemäß einer weiteren Ausführungsform ist die Recheneinheit dazu ausgeführt, eine Non-Maximum Suppression auf dem ersten Gradientenbild oder auf dem zweiten Gradientenbild auszuführen.According to a further embodiment, the arithmetic unit is designed to perform a non-maximum suppression on the first gradient image or on the second gradient image.

Die Non-Maximum Suppression wird unter anderem in dem von J. Canny in „A computational approach to edge detection,“ IEEE Trans. Pattern Analysis and Machine Intelligence, 8(6):679-698, 1986 vorgeschlagenen Algorithmus verwendet. Die Non-Maximum Suppression ist dazu ausgeführt, dass Kanten mit einer Breite von nur einem Pixel verbleiben, wobei die Kanten entlang der Bildpunkte mit den längsten Gradienten verlaufen.The non-maximum suppression is among others in the of J. Canny in "A Computational Approach to Edge Detection," IEEE Trans. Pattern Analysis and Machine Intelligence, 8 (6): 679-698, 1986 proposed algorithm used. The non-maximum suppression is executed to that edges with a width of only one pixel remain, with the edges running along the pixels with the longest gradients.

Dazu kann die erfindungsgemäße Recheneinheit dazu ausgeführt sein, diejenigen Gradienten des ersten Gradientenbildes zu unterdrücken, deren Länge in der Richtung des Gradienten zunimmt oder deren Länge in der zu der Richtung des Gradienten entgegengesetzten Richtung zunimmt. Analog kann die erfindungsgemäße Recheneinheit dazu ausgeführt sein, diejenigen Gradienten des zweiten Gradientenbildes zu unterdrücken, deren Länge in der Richtung des Gradienten zunimmt oder deren Länge in der zu der Richtung des Gradienten entgegengesetzten Richtung zunimmt. Die erfindungsgemäße Recheneinheit kann also dazu ausgeführt sein, die Länge eines Gradienten zu Null zu setzen, wenn die Länge des Gradienten in der Richtung des Gradienten oder aber 180° relativ dazu zunimmt.For this purpose, the arithmetic unit according to the invention can be designed to suppress those gradients of the first gradient image whose length increases in the direction of the gradient or whose length increases in the direction opposite to the direction of the gradient. Analogously, the arithmetic unit according to the invention can be designed to suppress those gradients of the second gradient image whose length increases in the direction of the gradient or whose length increases in the direction opposite to the direction of the gradient. The arithmetic unit according to the invention can thus be designed to set the length of a gradient to zero if the length of the gradient increases in the direction of the gradient or else 180 ° relative thereto.

Gemäß einer weiteren Ausführungsform ist die Recheneinheit dazu ausgeführt, das erste Gradientenbild und das zweite Gradientenbild in spärliche Form umzuwandeln.According to a further embodiment, the arithmetic unit is designed to convert the first gradient image and the second gradient image into sparse form.

Durch die Unterdrückung von Gradienten, deren Länge kleiner ist als ein Schwellwert oder durch die Non-Maximum Suppression können viele Gradienten des ersten und des zweiten Gradientenbildes eine Länge von Null aufweisen. Um den Speicherbedarf und den Rechenaufwand der erfindungsgemäßen Recheneinheit zu reduzieren, können das erste und das zweite Gradientenbild in spärliche Form umgewandelt werden. Dabei werden nur diejenigen Gradienten gespeichert, die eine von Null verschiedene Länge aufweisen.By suppressing gradients whose length is less than a threshold or by the non-maximum suppression, many gradients of the first and second gradient images may be zero in length. In order to reduce the memory requirement and the computational effort of the arithmetic unit according to the invention, the first and the second gradient image can be converted into sparse form. Only those gradients are stored which have a length other than zero.

Gemäß einer weiteren Ausführungsform ist die Recheneinheit dazu ausgeführt, die Länge eines Gradienten des ersten Gradientenbildes oder die Länge eines Gradienten des zweiten Gradientenbildes zu skalieren.According to a further embodiment, the arithmetic unit is designed to scale the length of a gradient of the first gradient image or the length of a gradient of the second gradient image.

Vorzugsweise werden die Längen aller Gradienten des ersten Gradientenbildes oder die Längen aller Gradienten des zweiten Gradientenbildes skaliert. Dies ist jedoch nicht notwendig, da beispielsweise die Skalierung der Länge eines Gradienten nur Sinn macht, wenn die Länge ungleich Null ist. Die Recheneinheit kann auch dazu ausgeführt sein, Gradienten nicht zu skalieren, wenn der Skalierungsfaktor nahe dem Wert Eins ist.Preferably, the lengths of all gradients of the first gradient image or the lengths of all gradients of the second gradient image are scaled. However, this is not necessary since, for example, the scaling of the length of a gradient only makes sense if the length is not equal to zero. The arithmetic unit may also be configured to not scale gradients when the scaling factor is close to unity.

Für das erste und das zweite Gradientenbild können unterschiedliche Skalierungsfaktoren verwendet werden. Im Allgemeinen sind die Skalierungsfaktoren nichtnegativ. Darüber hinaus kann der Skalierungsfaktor innerhalb der Gradientenbilder variieren. Beispielsweise kann ein großer Skalierungsfaktor in einem Bereich des ersten Gradientenbildes verwendet werden, in dem das erste Bild dunkel ist. Im Gegensatz dazu kann ein kleiner Skalierungsfaktor in einem Bereich des ersten Gradientenbildes verwendet werden, in dem das erste Bild hell ist. Analog dazu kann ein großer Skalierungsfaktor in einem Bereich des zweiten Gradientenbildes verwendet werden, in dem das zweite Bild dunkel ist, und ein kleiner Skalierungsfaktor kann in einem Bereich des zweiten Gradientenbildes verwendet werden, in dem das zweite Bild hell ist.Different scaling factors may be used for the first and second gradient images. In general, the scaling factors are non-negative. In addition, the scale factor may vary within the gradient images. For example, a large scale factor may be used in a region of the first gradient image where the first image is dark. In contrast, a small scale factor may be used in a region of the first gradient image in which the first image is bright. Similarly, a large scale factor may be used in a region of the second gradient image in which the second image is dark, and a small scale factor may be used in a region of the second gradient image where the second image is bright.

Die Recheneinheit kann aber auch dazu ausgeführt sein, den gleichen Skalierungsfaktor für alle Gradienten eines Gradientenbildes zu verwenden. Der Skalierungsfaktor kann von der spektralen Empfindlichkeit des ersten Bildes und der spektralen Empfindlichkeit des zweiten Bildes abhängen.However, the arithmetic unit can also be designed to use the same scaling factor for all gradients of a gradient image. The scaling factor may depend on the spectral sensitivity of the first image and the spectral sensitivity of the second image.

Gemäß einer weiteren Ausführungsform ist die Vorrichtung zur Verkehrszeichenerkennung derart ausgeführt, dass das Gradientenrichtungsbild die Richtung eines Gradienten des ersten Gradientenbildes enthält, wenn die Länge dieses Gradienten des ersten Gradientenbildes größer ist als die Länge des entsprechenden Gradienten des zweiten Gradientenbildes, und wobei das Gradientenrichtungsbild die Richtung eines Gradienten des zweiten Gradientenbildes enthält, wenn die Länge dieses Gradienten des zweiten Gradientenbildes größer ist als die Länge des entsprechenden Gradienten des ersten Gradientenbildes.According to a further embodiment, the traffic sign recognition device is configured such that the gradient direction image includes the direction of a gradient of the first gradient image if the length of this gradient of the first gradient image is greater than the length of the corresponding gradient of the second gradient image, and wherein the gradient direction image is the direction a gradient of the second gradient image when the length of this gradient of the second gradient image is greater than the length of the corresponding gradient of the first gradient image.

Die erfindungsgemäße Recheneinheit ist also dazu ausgeführt, die Länge eines Gradienten des ersten Gradientenbildes mit der Länge des entsprechenden Gradienten des zweiten Gradientenbildes zu vergleichen und in das Gradientenrichtungsbild die Richtung des Gradienten mit der größeren Länge einzutragen. Dies erfolgt vorzugsweise für alle Gradienten der Gradientenbilder. Wenn ein Gradient des ersten Gradientenbildes und der entsprechende Gradient des zweiten Gradientenbildes beide die Länge Null haben, so enthält das Gradientenrichtungsbild für diesen Bildpunkt den Wert Null oder einen Wert, der erkennen lässt, dass für diesen Bildpunkt kein signifikanter Gradient vorliegt.The arithmetic unit according to the invention is therefore designed to compare the length of a gradient of the first gradient image with the length of the corresponding gradient of the second gradient image and to enter in the gradient direction image the direction of the gradient having the greater length. This is preferably done for all gradients of the gradient images. When a gradient of the first gradient image and the corresponding gradient of the second gradient image are both zero in length, the gradient direction image for that pixel is zero or a value indicating that there is no significant gradient for that pixel.

Die erfindungsgemäße Recheneinheit ist somit dazu ausgeführt, das Gradientenrichtungsbild zu bestimmen, indem die Richtungen der signifikanteren Gradienten des ersten und des zweiten Gradientenbildes ausgewählt werden. Dadurch können sowohl Kanten des ersten Bildes als auch Kanten des zweiten Bildes in dem Gradientenrichtungsbild berücksichtigt werden.The arithmetic unit according to the invention is thus designed to determine the gradient direction image by selecting the directions of the more significant gradients of the first and the second gradient image. As a result, both edges of the first image and edges of the second image in the gradient direction image can be taken into account.

Die erfindungsgemäße Kombination des ersten und des zweiten Gradientenbildes zu einem gemeinsamen Gradientenrichtungsbild erfolgt mit dem Ziel, dass nur in einem Gradientenrichtungsbild nach Verkehrszeichen gesucht werden muss. Da die Suche nach Verkehrszeichen mit einem hohen Rechenaufwand verbunden ist, wird durch die erfindungsgemäße Kombination des ersten und des zweiten Gradientenbildes in einem einzigen Gradientenrichtungsbild die Rechenkomplexität gegenüber der Suche nach Verkehrszeichen in zwei Gradientenrichtungsbildern signifikant reduziert.The inventive combination of the first and the second gradient image to a common gradient direction image is performed with the The goal is to search for traffic signs only in a gradient direction image. Since the search for traffic signs is associated with a high degree of computation, the combination of the first and the second gradient image in a single gradient direction image according to the invention significantly reduces the computational complexity compared with the search for traffic signs in two gradient direction images.

Gemäß einer weiteren Ausführungsform ist die erfindungsgemäße Recheneinheit dazu ausgeführt, in dem Gradientenrichtungsbild nach Verkehrszeichen zu suchen.According to a further embodiment, the arithmetic unit according to the invention is designed to search for traffic signs in the gradient direction image.

Ein zweiter Aspekt der Erfindung betrifft ein Verfahren zur Verkehrszeichenerkennung für ein Fahrerassistenzsystem für ein Fahrzeug, wobei das Verfahren die folgenden Schritte umfasst: Empfangen von Bilddaten von einem Kamerasystem, Berechnen eines ersten Bildes mit einer ersten spektralen Empfindlichkeit aus den Bilddaten, Berechnen eines zweiten Bildes mit einer unterschiedlichen zweiten spektralen Empfindlichkeit aus den Bilddaten, Berechnen eines ersten Gradientenbildes aus dem ersten Bild, Berechnen eines zweiten Gradientenbildes aus dem zweiten Bild, Umwandeln des ersten Gradientenbildes und des zweiten Gradientenbildes in Polarkoordinaten, und Zusammenführen des ersten Gradientenbildes und des zweiten Gradientenbildes zu einem Gradientenrichtungsbild.A second aspect of the invention relates to a method for traffic sign recognition for a driver assistance system for a vehicle, the method comprising the following steps: receiving image data from a camera system, calculating a first image with a first spectral sensitivity from the image data, calculating a second image different second spectral sensitivity from the image data, calculating a first gradient image from the first image, calculating a second gradient image from the second image, converting the first gradient image and the second gradient image into polar coordinates, and merging the first gradient image and the second gradient image into a gradient direction image ,

Dabei nimmt das Kamerasystem Bilddaten von der Umgebung des Fahrzeugs auf. Das Kamerasystem ist dazu ausgeführt, Bilddaten für mindestens zwei unterschiedliche spektrale Empfindlichkeiten bereitzustellen. Die spektralen Empfindlichkeiten des ersten und des zweiten Bildes müssen nicht spektralen Empfindlichkeiten der von dem Kamerasystem bereitgestellten Bilddaten direkt entsprechen. Sowohl das erste als auch das zweite Bild können sich durch unterschiedlich gewichtete Superpositionen der von dem Kamerasystem bereitgestellten Bilddaten mehrerer spektraler Empfindlichkeiten ergeben. Es ist aber auch möglich, dass mindestens eine spektrale Empfindlichkeit des ersten oder des zweiten Bildes direkt einer der spektralen Empfindlichkeiten der von dem Kamerasystem bereitgestellten Bilddaten entsprechen.The camera system records image data from the surroundings of the vehicle. The camera system is designed to provide image data for at least two different spectral sensitivities. The spectral sensitivities of the first and second images need not directly match spectral sensitivities of the image data provided by the camera system. Both the first and second images may result from differently weighted superpositions of the image data provided by the camera system of multiple spectral sensitivities. However, it is also possible for at least one spectral sensitivity of the first or the second image to correspond directly to one of the spectral sensitivities of the image data provided by the camera system.

Beispielsweise kann das Kamerasystem Bilddaten für drei Farbkanäle Rot, Grün und Blau bereitstellen. In diesem Fall kann als erstes Bild ein Intensitätsbild berechnet werden, wobei die von dem Kamerasystem bereitgestellten Bilddaten der drei Farbkanäle gewichtet und aufsummiert werden. Ferner kann das zweite Bild aus den Bilddaten des roten Farbkanals berechnet werden. In dem dargestellten Beispiel umfasst also die erste spektrale Empfindlichkeit des ersten Bildes einen breiten Frequenzbereich, wohingegen die zweite spektrale Empfindlichkeit des zweiten Bildes auf den Frequenzbereich roten Lichts begrenzt ist.For example, the camera system can provide image data for three color channels red, green and blue. In this case, as the first image, an intensity image can be calculated, wherein the image data of the three color channels provided by the camera system are weighted and summed up. Furthermore, the second image can be calculated from the image data of the red color channel. In the illustrated example, therefore, the first spectral sensitivity of the first image comprises a broad frequency range, whereas the second spectral sensitivity of the second image is limited to the frequency range of red light.

Das erste Gradientenbild kann aus dem ersten Bild und das zweite Gradientenbild aus dem zweiten Bild beispielsweise mittels Sobel-, Scharr-, Prewitt- oder Roberts-Operatoren berechnet werden. Dabei kann vorzugsweise für alle Bildpunkte des ersten und des zweiten Bildes ein Gradient berechnet werden, wobei die Gradienten als zweidimensionale Vektoren in kartesischen Koordinaten berechnet werden. Daher weist sowohl das erste als auch das zweite Gradientenbild jedem Bildpunkt einen zweidimensionalen Vektor zu.The first gradient image may be calculated from the first image and the second gradient image from the second image, for example, using Sobel, Scharr, Prewitt, or Roberts operators. In this case, a gradient can preferably be calculated for all the pixels of the first and the second image, the gradients being calculated as two-dimensional vectors in Cartesian coordinates. Therefore, both the first and the second gradient image assign a two-dimensional vector to each pixel.

Ferner kann das erste und das zweite Gradientenbild in Polarkoordinaten umgewandelt werden. Dabei werden für die Gradienten des ersten Gradientenbildes und für die Gradienten des zweiten Gradientenbildes die Längen und die Richtungen der Gradienten berechnet. Die Längen der Gradienten können beispielsweise als Euklidische Norm berechnet werden. Die Richtungen der Gradienten können als Winkel gegenüber einer Referenzrichtung berechnet werden, beispielsweise als Winkel gegenüber der horizontalen Bildachse.Furthermore, the first and the second gradient image can be converted into polar coordinates. In this case, the lengths and the directions of the gradients are calculated for the gradients of the first gradient image and for the gradients of the second gradient image. The lengths of the gradients can be calculated, for example, as a Euclidean norm. The directions of the gradients can be calculated as angles with respect to a reference direction, for example as angles with respect to the horizontal image axis.

Darüber hinaus wird das erste Gradientenbild und das zweite Gradientenbild zu einem Gradientenrichtungsbild zusammengeführt. Vorzugsweise wird dabei die Länge jedes Gradienten des ersten Gradientenbildes mit der Länge des entsprechenden Gradienten des zweiten Gradientenbildes verglichen und die Richtung des längeren Gradienten für das Gradientenrichtungsbild ausgewählt. Das Gradientenrichtungsbild weist also jedem Bildpunkt eine Richtung zu, wobei die Richtung als Winkel gegenüber einer Referenzrichtung angegeben werden kann. Somit kann das Gradientenrichtungsbild jedem Bildpunkt einen skalaren Wert zuweisen.In addition, the first gradient image and the second gradient image are merged into a gradient direction image. Preferably, the length of each gradient of the first gradient image is compared with the length of the corresponding gradient of the second gradient image and the direction of the longer gradient is selected for the gradient direction image. The gradient direction image thus assigns a direction to each pixel, wherein the direction can be given as an angle with respect to a reference direction. Thus, the gradient direction image can assign a scalar value to each pixel.

Die Verkehrszeichen können dann in dem nach dem erfindungsgemäßen Verfahren bereitgestellten Gradientenrichtungsbild gesucht werden.The traffic signs can then be searched in the gradient direction image provided by the method according to the invention.

Gemäß einer weiteren Ausführungsform umfasst das erfindungsgemäße Verfahren zur Verkehrszeichenerkennung das Unterdrücken eines Gradienten des ersten Gradientenbildes, wenn die Länge des Gradienten des ersten Gradientenbildes kleiner als ein erster Schwellwert ist, und das Unterdrücken eines Gradienten des zweiten Gradientenbildes, wenn die Länge des Gradienten des zweiten Gradientenbildes kleiner als ein zweiter Schwellwert ist.According to another embodiment, the traffic sign recognition method according to the invention comprises suppressing a gradient of the first gradient image if the length of the gradient of the first gradient image is smaller than a first threshold value, and suppressing a gradient of the second gradient image if the length of the gradient of the second gradient image is less than a second threshold.

Mit Unterdrücken eines Gradienten ist gemeint, dass seine Länge zu Null gesetzt wird. Das Zu-Null-Setzen kleiner Längen von Gradienten erfolgt mit dem Ziel, auf Bildrauschen basierende Gradienten mit kleiner Länge nicht weiter zu berücksichtigen.By suppression of a gradient is meant that its length is set to zero. Zeroing small lengths of gradients occurs with the aim of disregarding small-length, noise-based gradients.

Der für einen Gradienten des ersten Gradientenbildes verwendete erste Schwellwert muss insbesondere nicht gleich dem für den entsprechenden Gradienten des zweiten Gradientenbildes verwendeten Schwellwert sein. Außerdem kann der erste Schwellwert über das erste Gradientenbild variieren, sodass unterschiedliche erste Schwellwerte für unterschiedliche Bildpunkte des ersten Gradientenbildes verwendet werden. Insbesondere kann der Schwellwert abhängen von der lokalen Umgebung innerhalb des Bildes, sodass beispielsweise in einem hellen Bereich des Bildes mit starkem Bildsignalanteil ein größerer Schwellwert appliziert wird als in einem dunkleren Bereich mit schwächerem Bildsignalanteil.In particular, the first threshold value used for a gradient of the first gradient image does not have to be equal to the threshold value used for the corresponding gradient of the second gradient image. In addition, the first threshold value may vary over the first gradient image, so that different first threshold values are used for different pixels of the first gradient image. In particular, the threshold value can depend on the local environment within the image, so that, for example, a larger threshold value is applied in a light region of the image with a high image signal component than in a darker region with a weaker image signal component.

Gemäß einer weiteren Ausführungsform umfasst das erfindungsgemäße Verfahren zur Verkehrszeichenerkennung das Ausführen einer Non-Maximum Suppression auf dem ersten Gradientenbild oder auf dem zweiten Gradientenbild.According to a further embodiment, the traffic sign recognition method according to the invention comprises carrying out non-maximum suppression on the first gradient image or on the second gradient image.

Die Non-Maximum Suppression ist dazu ausgelegt, nur die lokal längsten Gradienten beizubehalten, sodass Kanten mit einer Breite von nur einem Pixel verbleiben. Dazu werden diejenigen Gradienten unterdrückt, deren Länge in der Richtung des Gradienten zunimmt oder deren Länge in der zu der Richtung des Gradienten entgegengesetzten Richtung zunimmt.Non-maximum suppression is designed to maintain only the locally longest gradients, leaving edges as narrow as one pixel in width. For this purpose, those gradients are suppressed whose length increases in the direction of the gradient or whose length increases in the direction opposite to the direction of the gradient.

Gemäß einer weiteren Ausführungsform umfasst das erfindungsgemäße Verfahren zur Verkehrszeichenerkennung das Umwandeln des ersten Gradientenbildes und des zweiten Gradientenbildes in spärliche Form.According to a further embodiment, the traffic sign recognition method according to the invention comprises converting the first gradient image and the second gradient image into sparse form.

Durch die Unterdrückung von Gradienten, deren Länge kleiner ist als ein Schwellwert oder durch die Non-Maximum Suppression können viele Gradienten des ersten und des zweiten Gradientenbildes eine Länge von Null aufweisen. Um den Speicherbedarf und den Rechenaufwand zu reduzieren, können das erste und das zweite Gradientenbild in spärliche Form umgewandelt werden. Dabei werden nur diejenigen Gradienten gespeichert, die eine von Null verschiedene Länge aufweisen.By suppressing gradients whose length is less than a threshold or by the non-maximum suppression, many gradients of the first and second gradient images may be zero in length. In order to reduce the memory requirement and the computational effort, the first and the second gradient image can be converted into sparse form. Only those gradients are stored which have a length other than zero.

Gemäß einer weiteren Ausführungsform umfasst das erfindungsgemäße Verfahren zur Verkehrszeichenerkennung das Skalieren der Länge eines Gradienten des ersten Gradientenbildes oder der Länge eines Gradienten des zweiten Gradientenbildes.According to a further embodiment, the traffic sign recognition method according to the invention comprises the scaling of the length of a gradient of the first gradient image or of the length of a gradient of the second gradient image.

Vorzugsweise werden die Längen aller Gradienten des ersten Gradientenbildes oder die Längen aller Gradienten des zweiten Gradientenbildes skaliert. Dies ist jedoch nicht notwendig, da beispielsweise die Skalierung der Länge eines Gradienten nur Sinn macht, wenn die Länge ungleich Null ist. Um die Rechenkomplexität zu reduzieren, können Gradienten auch dann nicht skaliert werden, wenn der Skalierungsfaktor nahe dem Wert Eins ist.Preferably, the lengths of all gradients of the first gradient image or the lengths of all gradients of the second gradient image are scaled. However, this is not necessary since, for example, the scaling of the length of a gradient only makes sense if the length is not equal to zero. In order to reduce computational complexity, gradients can not be scaled even if the scaling factor is close to unity.

Für das erste und das zweite Gradientenbild können unterschiedliche Skalierungsfaktoren verwendet werden, wobei die Skalierungsfaktoren im Allgemeinen nichtnegativ sind. Darüber hinaus kann der Skalierungsfaktor innerhalb der Gradientenbilder variieren. Alternativ dazu kann ein konstanter Skalierungsfaktor für alle Gradienten eines Gradientenbildes verwendet werden. Der Skalierungsfaktor kann von der spektralen Empfindlichkeit des ersten Bildes und der spektralen Empfindlichkeit des zweiten Bildes abhängen.Different scaling factors may be used for the first and second gradient images, where the scaling factors are generally non-negative. In addition, the scale factor may vary within the gradient images. Alternatively, a constant scaling factor can be used for all gradients of a gradient image. The scaling factor may depend on the spectral sensitivity of the first image and the spectral sensitivity of the second image.

Gemäß einer weiteren Ausführungsform ist das erfindungsgemäße Verfahren zur Verkehrszeichenerkennung derart ausgeführt, dass das Gradientenrichtungsbild die Richtung eines Gradienten des ersten Gradientenbildes enthält, wenn die Länge dieses Gradienten des ersten Gradientenbildes größer ist als die Länge des entsprechenden Gradienten des zweiten Gradientenbildes, und dass das Gradientenrichtungsbild die Richtung eines Gradienten des zweiten Gradientenbildes enthält, wenn die Länge dieses Gradienten des zweiten Gradientenbildes größer ist als die Länge des entsprechenden Gradienten des ersten Gradientenbildes.According to a further embodiment, the traffic sign recognition method according to the invention is implemented in such a way that the gradient direction image contains the direction of a gradient of the first gradient image if the length of this gradient of the first gradient image is greater than the length of the corresponding gradient of the second gradient image and the gradient direction image Direction of a gradient of the second gradient image contains, if the length of this gradient of the second gradient image is greater than the length of the corresponding gradient of the first gradient image.

Das erfindungsgemäße Verfahren umfasst also das Vergleichen der Länge eines Gradienten des ersten Gradientenbildes mit der Länge des entsprechenden Gradienten des zweiten Gradientenbildes und das Auswählen der Richtung des Gradienten mit der größeren Länge für das Gradientenrichtungsbild. Dies kann unabhängig für alle Bildpunkte der Gradientenbilder erfolgen. Wenn ein Gradient des ersten Gradientenbildes und der entsprechende Gradient des zweiten Gradientenbildes beide die Länge Null haben, so enthält das Gradientenrichtungsbild für diesen Bildpunkt den Wert Null oder einen Wert, der erkennen lässt, dass für diesen Bildpunkt kein signifikanter Gradient vorliegt.Thus, the inventive method comprises comparing the length of a gradient of the first gradient image with the length of the corresponding gradient of the second gradient image and selecting the direction of the gradient with the greater length for the gradient direction image. This can be done independently for all pixels of the gradient images. When a gradient of the first gradient image and the corresponding gradient of the second gradient image are both zero in length, the gradient direction image for that pixel is zero or a value indicating that there is no significant gradient for that pixel.

Damit werden die Richtungen der signifikanteren Gradienten des ersten und des zweiten Gradientenbildes in das Gradientenrichtungsbild übernommen. Dadurch können sowohl Kanten des ersten Bildes als auch Kanten des zweiten Bildes in dem Gradientenrichtungsbild berücksichtigt werden.Thus, the directions of the more significant gradients of the first and second gradient images are adopted in the gradient direction image. As a result, both edges of the first image and edges of the second image in the gradient direction image can be taken into account.

Die erfindungsgemäße Kombination des ersten und des zweiten Gradientenbildes zu einem gemeinsamen Gradientenrichtungsbild erfolgt mit dem Ziel, dass nur in einem Gradientenrichtungsbild nach Verkehrszeichen gesucht werden muss. Dies ermöglicht eine signifikante Reduktion des Rechenaufwands gegenüber der Suche nach Verkehrszeichen in zwei Gradientenrichtungsbildern für unterschiedliche spektrale Empfindlichkeiten.The inventive combination of the first and the second gradient image to a common gradient direction image is carried out with the aim that only in a gradient direction image traffic signs must be searched. This enables a significant reduction of the computational effort compared to the search for traffic signs in two gradient direction images for different spectral sensitivities.

Gemäß einer weiteren Ausführungsform umfasst das erfindungsgemäße Verfahren zur Verkehrszeichenerkennung das Suchen nach Verkehrszeichen in dem Gradientenrichtungsbild. According to a further embodiment, the traffic sign recognition method according to the invention comprises searching for traffic signs in the gradient direction image.

Bisher erfolgte die Erkennung von Verkehrszeichen unter Verwendung eines Gradientenrichtungsbildes, welches aus einem Intensitäts-Gradientenbild abgeleitet wurde. Demgegenüber verwendet das erfindungsgemäße Verfahren zur Verkehrszeichenerkennung ein Gradientenrichtungsbild, welches aus dem ersten Gradientenbild der ersten spektralen Empfindlichkeit und dem zweiten Gradientenbild der zweiten spektralen Empfindlichkeit abgeleitet wird. Dabei erfolgt die erfindungsgemäße Berechnung des Gradientenrichtungsbildes derart, dass sowohl Kanten des ersten Bildes mit der ersten spektralen Empfindlichkeit als auch Kanten des zweiten Bildes mit der zweiten spektralen Empfindlichkeit in dem Gradientenrichtungsbild berücksichtigt werden.So far, the recognition of traffic signs using a Gradientenrichtungsbildes, which was derived from an intensity gradient image. In contrast, the traffic sign recognition method according to the invention uses a gradient direction image which is derived from the first gradient image of the first spectral sensitivity and the second gradient image of the second spectral sensitivity. In this case, the calculation according to the invention of the gradient direction image takes place such that both edges of the first image with the first spectral sensitivity and edges of the second image with the second spectral sensitivity in the gradient direction image are taken into account.

Ein weiterer Aspekt der Erfindung betrifft ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das erfindungsgemäße Verfahren zur Verkehrszeichenerkennung auszuführen.Another aspect of the invention relates to a computer program comprising instructions which, when executed by the computer by a program, cause it to execute the traffic sign recognition method according to the invention.

Ein weiterer Aspekt der Erfindung betrifft ein computerlesbares Speichermedium, umfassend Befehle, die bei der Ausführung durch einen Computer diesen veranlassen, das erfindungsgemäße Verfahren zur Verkehrszeichenerkennung auszuführen.Another aspect of the invention relates to a computer readable storage medium comprising instructions which, when executed by a computer, cause it to execute the traffic sign recognition method of the invention.

Es sei darauf hingewiesen, dass die Vorrichtung zur Verkehrszeichenerkennung, das Verfahren zur Verkehrszeichenerkennung, das Computerprogramm und das computerlesbare Speichermedium ähnliche oder identische bevorzugte Ausführungsformen aufweisen.It should be noted that the traffic sign recognition device, the traffic sign recognition method, the computer program and the computer-readable storage medium have similar or identical preferred embodiments.

Im Folgenden werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die Figuren beschrieben.In the following, embodiments of the invention will be described with reference to the figures.

Figurenlistelist of figures

1 shows the inventive method for detecting traffic signs.
2 shows a vehicle with a device according to the invention for traffic sign recognition.

Ähnliche oder gleiche Elemente in den Figuren werden mit ähnlichen oder gleichen Bezugszeichen beschrieben. Die Figuren sind schematische Darstellungen.Similar or similar elements in the figures are described with similar or identical reference numerals. The figures are schematic representations.

Detaillierte Beschreibung von AusführungsbeispielenDetailed description of embodiments

1 veranschaulicht ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens 1 zur Erkennung von Verkehrszeichen. Dabei werden in Schritt S1 Bilddaten von einem Kamerasystem empfangen. Das Kamerasystem ist dazu ausgeführt, Bilddaten für mindestens zwei unterschiedliche spektrale Empfindlichkeiten bereitzustellen. 1 illustrates an embodiment of the method according to the invention 1 for detecting traffic signs. In this case, image data is received by a camera system in step S1. The camera system is designed to provide image data for at least two different spectral sensitivities.

In Schritt S2-1 wird aus den von dem Kamerasystem bereitgestellten Bilddaten ein erstes Bild mit einer ersten spektralen Empfindlichkeit berechnet. Analog wird in Schritt S2-2 aus den von dem Kamerasystem bereitgestellten Bilddaten ein zweites Bild mit einer zweiten spektralen Empfindlichkeit berechnet, wobei sich die zweite spektrale Empfindlichkeit von der ersten spektralen Empfindlichkeit unterscheidet. Dabei muss die erste spektrale Empfindlichkeit des ersten Bildes nicht einer spektralen Empfindlichkeit der von dem Kamerasystem bereitgestellten Bilddaten direkt entsprechen. Genauso muss die zweite spektrale Empfindlichkeit des zweiten Bildes nicht einer spektralen Empfindlichkeit der von dem Kamerasystem bereitgestellten Bilddaten direkt entsprechen. Sowohl das erste als auch das zweite Bild können als Superpositionen der von dem Kamerasystem bereitgestellten Bilddaten mehrerer spektraler Empfindlichkeiten mit unterschiedlichen Gewichtungen berechnet werden. Es ist aber auch möglich, dass die erste spektrale Empfindlichkeit des ersten Bildes oder die zweite spektrale Empfindlichkeit des zweiten Bildes direkt einer der spektralen Empfindlichkeiten der von dem Kamerasystem bereitgestellten Bilddaten entsprechen.In step S2-1, a first image having a first spectral sensitivity is calculated from the image data provided by the camera system. Similarly, in step S2-2, a second image having a second spectral sensitivity is calculated from the image data provided by the camera system, the second spectral sensitivity being different from the first spectral sensitivity. In this case, the first spectral sensitivity of the first image does not directly correspond to a spectral sensitivity of the image data provided by the camera system. Likewise, the second spectral sensitivity of the second image need not directly match a spectral sensitivity of the image data provided by the camera system. Both the first and second images may be calculated as superpositions of the image data provided by the camera system of a plurality of spectral sensitivities having different weights. However, it is also possible for the first spectral sensitivity of the first image or the second spectral sensitivity of the second image to correspond directly to one of the spectral sensitivities of the image data provided by the camera system.

Beispielsweise kann das Kamerasystem Bilddaten für drei Farbkanäle Rot, Grün und Blau bereitstellen, aus denen in Schritt S2-1 ein Intensitätsbild und in Schritt S2-2 ein Rot-Bild berechnet werden.For example, the camera system can provide image data for three color channels red, green and blue, from which an intensity image is calculated in step S2-1 and a red image in step S2-2.

In Schritt S3-1 wird ein erstes Gradientenbild aus dem ersten Bild berechnet. Analog wird in Schritt S3-2 ein zweites Gradientenbild aus dem zweiten Bild berechnet. Die Berechnung des ersten und des zweiten Gradientenbildes kann mittels Sobel-, Scharr-, Prewitt- oder Roberts-Operatoren erfolgen. Dabei kann für jeden Bildpunkt des ersten Bildes und für jeden Bildpunkt des zweiten Bildes ein Gradient berechnet werden, wobei die Gradienten als zweidimensionale Vektoren in kartesischen Koordinaten berechnet werden. Daher weist sowohl das erste als auch das zweite Gradientenbild ein horizontales Gradientenbild und ein vertikales Gradientenbild auf.In step S3-1, a first gradient image is calculated from the first image. Similarly, in step S3-2, a second gradient image is calculated from the second image. The calculation of the first and the second gradient image can be carried out by Sobel, Scharr, Prewitt or Roberts operators. In this case, a gradient can be calculated for each pixel of the first image and for each pixel of the second image, wherein the gradients are calculated as two-dimensional vectors in Cartesian coordinates. Therefore, both the first and second gradient images have a horizontal gradient image and a vertical gradient image.

In den Schritten S4-1 und S4-2 werden das erste und das zweite Gradientenbild in Polarkoordinaten umgewandelt. Dabei werden für die Gradienten des ersten Gradientenbildes und für die Gradienten des zweiten Gradientenbildes die Längen der Gradienten und die Richtungen der Gradienten berechnet. Die Länge eines Gradienten kann insbesondere als Euklidische Norm des Gradienten berechnet werden. Als Länge des Gradienten kann jedoch auch eine andere Norm des Gradienten berechnet werden, beispielsweise die 1-Norm oder die Supremumsnorm. Die Richtung des Gradienten kann als Winkel relativ zu einer Referenzrichtung, beispielsweise der Bildhorizontalen, berechnet werden. In the steps S4-1 and S4-2 For example, the first and second gradient images are converted to polar coordinates. In this case, the lengths of the gradients and the directions of the gradients are calculated for the gradients of the first gradient image and for the gradients of the second gradient image. The length of a gradient can be calculated in particular as a Euclidean norm of the gradient. However, a different norm of the gradient, for example the 1-norm or the supremum norm, can also be calculated as the length of the gradient. The direction of the gradient can be calculated as an angle relative to a reference direction, for example the image horizontal.

In dem Schritt S5-1 kann das erste Gradientenbild gefiltert werden und in dem Schritt S5-2 kann das zweite Gradientenbild gefiltert werden. Dabei können beispielsweise die Längen von Gradienten, die kleiner als ein Schwellwert sind, zu Null gesetzt werden. Dies erfolgt mit dem Ziel, Gradienten mit niedrigem Signal-zu-Rausch-Abstand nicht weiter zu berücksichtigen. Für das erste und das zweite Gradientenbild können unterschiedliche Schwellwerte verwendet werden. Darüber hinaus können die Schwellwerte über das erste und das zweite Gradientenbild variieren, sodass unterschiedliche Schwellwerte für unterschiedliche Bildpunkte der Gradientenbilder verwendet werden. Insbesondere kann der Schwellwert abhängen von der lokalen Umgebung innerhalb des Bildes, sodass beispielsweise in einem hellen Bereich des Bildes mit starkem Bildsignalanteil ein größerer Schwellwert appliziert wird als in einem dunkleren Bereich mit schwächerem Bildsignalanteil.In the step S5-1 the first gradient image can be filtered and in the step S5-2 the second gradient image can be filtered. In this case, for example, the lengths of gradients which are smaller than a threshold value can be set to zero. This is done with the aim of disregarding gradients with low signal-to-noise ratio. Different threshold values can be used for the first and the second gradient image. In addition, the threshold values may vary over the first and second gradient images, so that different thresholds are used for different pixels of the gradient images. In particular, the threshold value can depend on the local environment within the image, so that, for example, a larger threshold value is applied in a light region of the image with a high image signal component than in a darker region with a weaker image signal component.

Das Filtern des ersten und des zweiten Gradientenbildes in den Schritten S5-1 und S5-2 kann auch eine Non-Maximum Suppression umfassen, sodass vorzugsweise in dem ersten und dem zweiten Gradientenbild nur Kanten mit einer Breite von einem Pixel verbleiben, wobei die Kanten entlang der Bildpunkte mit den längsten Gradienten verlaufen. Bei der Non-Maximum Suppression wird die Länge eines Gradienten zu Null gesetzt, wenn die Länge des Gradienten in der Richtung des Gradienten oder in der dazu entgegengesetzten Richtung zunimmt.Filtering the first and second gradient images in the steps S5-1 and S5-2 may also comprise a non-maximum suppression, so that preferably only edges with a width of one pixel remain in the first and the second gradient image, the edges running along the pixels with the longest gradients. In non-maximum suppression, the length of a gradient is set to zero as the length of the gradient increases in the direction of the gradient or in the opposite direction.

In dem Schritt S6-1 kann das erste gefilterte Gradientenbild in spärliche Form umgewandelt werden und in Schritt S6-2 kann das zweite gefilterte Gradientenbild in spärliche Form umgewandelt werden. Durch die Unterdrückung von Gradienten, deren Länge kleiner ist als ein Schwellwert oder durch die Non-Maximum Suppression weisen möglicherweise viele Gradienten des ersten und des zweiten Gradientenbildes eine Länge von Null auf. Um den Speicherbedarf und den Rechenaufwand des erfindungsgemäßen Verfahrens zur Verkehrszeichenerkennung zu reduzieren, können das erste gefilterte und das zweite gefilterte Gradientenbild in spärliche Form umgewandelt werden. Dabei werden nur diejenigen Gradienten gespeichert, die eine von Null verschiedene Länge aufweisen. Die Schritte S5-1, S5-2, S6-1 und S6-2 sind optional.In the step S6-1 For example, the first filtered gradient image may be converted to sparse form and in step S6-2 For example, the second filtered gradient image can be converted into sparse form. By suppressing gradients whose length is less than a threshold or by the non-maximum suppression, many gradients of the first and second gradient images may be zero in length. In order to reduce the memory requirement and the computation outlay of the method according to the invention for traffic sign recognition, the first filtered and the second filtered gradient image can be converted into sparse form. Only those gradients are stored which have a length other than zero. The steps S5-1 . S5-2 . S6-1 and S6-2 are optional.

In dem Schritt S7-1 können die Längen der Gradienten des ersten Gradientenbildes (evtl. nach Filterung und/oder Umwandlung in spärliche Form) skaliert werden. Analog können in dem Schritt S7-2 die Längen der Gradienten des zweiten Gradientenbildes (evtl. nach Filterung und/oder Umwandlung in spärliche Form) skaliert werden. Vorzugsweise werden die Längen aller Gradienten des ersten Gradientenbildes oder die Längen aller Gradienten des zweiten Gradientenbildes skaliert. Die Skalierungsfaktoren sind im Allgemeinen nichtnegativ. Der Skalierungsfaktor kann innerhalb der Gradientenbilder variieren. Alternativ dazu kann ein konstanter Skalierungsfaktor für alle Gradienten eines Gradientenbildes verwendet werden. Die Schritte S7-1 und S7-2 sind optional.In the step S7-1 The gradients of the first gradient image (possibly after filtering and / or conversion into sparse form) can be scaled. Analog can be in the step S7-2 the lengths of the gradients of the second gradient image (possibly after filtering and / or conversion into sparse form) are scaled. Preferably, the lengths of all gradients of the first gradient image or the lengths of all gradients of the second gradient image are scaled. The scaling factors are generally non-negative. The scaling factor can vary within the gradient images. Alternatively, a constant scaling factor can be used for all gradients of a gradient image. The steps S7-1 and S7-2 are optional.

In dem Schritt S8 werden das erste Gradientenbild und das zweite Gradientenbild (evtl. nach Skalierung, Filterung und/oder Umwandlung in spärliche Form) zu einem Gradientenrichtungsbild kombiniert. Dabei enthält das Gradientenrichtungsbild die Richtung eines Gradienten des ersten Gradientenbildes, wenn die Länge dieses Gradienten größer ist als die Länge des entsprechenden Gradienten des zweiten Gradientenbildes. Umgekehrt enthält das Gradientenrichtungsbild die Richtung eines Gradienten des zweiten Gradientenbildes, wenn die Länge dieses Gradienten größer ist als die Länge des entsprechenden Gradienten des ersten Gradientenbildes. Das erfindungsgemäße Verfahren umfasst also das Vergleichen der Länge eines Gradienten des ersten Gradientenbildes mit der Länge des entsprechenden Gradienten des zweiten Gradientenbildes und das Auswählen der Richtung des Gradienten mit der größeren Länge für das Gradientenrichtungsbild. Dies erfolgt vorzugsweise für alle Gradienten der Gradientenbilder. Wenn ein Gradient des ersten Gradientenbildes und der entsprechende Gradient des zweiten Gradientenbildes beide die Länge Null haben, so enthält das Gradientenrichtungsbild für diesen Bildpunkt den Wert Null oder einen Wert, der erkennen lässt, dass für diesen Bildpunkt kein signifikanter Gradient vorliegt.In step S8, the first gradient image and the second gradient image (possibly after scaling, filtering and / or sparse transformation) are combined into a gradient direction image. Here, the gradient direction image includes the direction of a gradient of the first gradient image when the length of this gradient is larger than the length of the corresponding gradient of the second gradient image. Conversely, the gradient direction image contains the direction of a gradient of the second gradient image if the length of this gradient is greater than the length of the corresponding gradient of the first gradient image. Thus, the inventive method comprises comparing the length of a gradient of the first gradient image with the length of the corresponding gradient of the second gradient image and selecting the direction of the gradient with the greater length for the gradient direction image. This is preferably done for all gradients of the gradient images. When a gradient of the first gradient image and the corresponding gradient of the second gradient image are both zero in length, the gradient direction image for that pixel is zero or a value indicating that there is no significant gradient for that pixel.

In dem Schritt S8 werden also die Richtungen der signifikanteren Gradienten des ersten und des zweiten Gradientenbildes für das Gradientenrichtungsbild ausgewählt. Dadurch können sowohl Kanten des ersten Bildes als auch Kanten des zweiten Bildes in dem Gradientenrichtungsbild berücksichtigt werden.In step S8, therefore, the directions of the more significant gradients of the first and second gradient images are selected for the gradient direction image. As a result, both edges of the first image and edges of the second image in the gradient direction image can be taken into account.

In dem Schritt S9 wird in dem Gradientenrichtungsbild nach Verkehrszeichen gesucht. Die erfindungsgemäße Kombination des ersten und des zweiten Gradientenbildes zu einem gemeinsamen Gradientenrichtungsbild erfolgt mit dem Ziel, dass nur in einem Gradientenrichtungsbild nach Verkehrszeichen gesucht werden muss. Dies ermöglicht eine signifikante Reduktion des Rechenaufwands gegenüber der Suche nach Verkehrszeichen in zwei Gradientenrichtungsbildern für unterschiedliche spektrale Empfindlichkeiten. Der Schritt S9 ist optional.In step S9, traffic signs are searched for in the gradient direction image. The The combination of the first and the second gradient image according to the invention into a common gradient direction image takes place with the goal that traffic signs only have to be searched for in a gradient direction image. This enables a significant reduction of the computational effort compared to the search for traffic signs in two gradient direction images for different spectral sensitivities. Step S9 is optional.

Alternativ kann eine Umwandlung der Gradientenbilder in spärliche Form erst nach der Skalierung der Gradientenbilder (Schritte S7-1 und S7-2) erfolgen. Es ist aber auch möglich, dass die Umwandlung in spärliche Form nach der Zusammenführung des ersten und des zweiten Gradientenbildes zu einem Gradientenrichtungsbild (Schritt S8) erfolgt.Alternatively, a conversion of the gradient images into sparse form can take place only after the scaling of the gradient images (steps S7-1 and S7-2 ) respectively. However, it is also possible that the conversion into sparse form takes place after the merging of the first and the second gradient image into a gradient direction image (step S8).

2 stellt ein Fahrzeug 4 mit einem Kamerasystem 5 und einer erfindungsgemäßen Vorrichtung 2 zur Verkehrszeichenerkennung dar. Die Vorrichtung 2 zur Verkehrszeichenerkennung umfasst eine Recheneinheit 3, die dazu ausgeführt ist, Bilddaten von dem Kamerasystem 5 zu empfangen. In 2 ist die Vorrichtung 2 zur Verkehrszeichenerkennung als separate Komponente dargestellt. Es ist aber auch möglich, dass die Vorrichtung 2 zur Verkehrszeichenerkennung in ein anderes eine Recheneinheit umfassendes elektronisches System des Fahrzeugs integriert ist. Insbesondere kann die Vorrichtung 2 zur Verkehrszeichenerkennung in das Navigationssystem des Fahrzeugs 4 integriert sein. Alternativ kann die Vorrichtung 2 zur Verkehrszeichenerkennung. in das Kamerasystem 5 integriert sein. 2 zeigt darüber hinaus den Sichtkegel 6 des Kamerasystems 5. 2 represents a vehicle 4 with a camera system 5 and a device according to the invention 2 for traffic sign recognition. The device 2 for traffic sign recognition comprises a computing unit 3 , which is executed to image data from the camera system 5 to recieve. In 2 is the device 2 for traffic sign recognition shown as a separate component. But it is also possible that the device 2 for traffic sign recognition is integrated into another one of a computing unit comprehensive electronic system of the vehicle. In particular, the device can 2 for traffic sign recognition in the navigation system of the vehicle 4 be integrated. Alternatively, the device 2 for traffic sign recognition. in the camera system 5 be integrated. 2 also shows the sight cone 6 of the camera system 5 ,

Ferner sei darauf hingewiesen, dass das erfindungsgemäße Verfahren zur Verkehrszeichenerkennung erweitert werden kann, sodass mehr als zwei Gradientenbilder für unterschiedliche spektrale Empfindlichkeiten berechnet werden. Aus diesen Gradientenbildern kann ein Gradientenrichtungsbild berechnet werden, indem unabhängig für jeden Bildpunkt die Richtung des signifikantesten Gradienten ausgewählt wird. Das Gradientenrichtungsbild kann wiederum verwendet werden, um Verkehrszeichen zu detektieren.It should also be pointed out that the method according to the invention for traffic sign recognition can be extended so that more than two gradient images are calculated for different spectral sensitivities. From these gradient images, a gradient direction image can be calculated by independently selecting the direction of the most significant gradient for each pixel. The gradient direction image may in turn be used to detect traffic signs.

Ergänzend sei darauf hingewiesen, dass „umfassend“ und „aufweisend“ keine anderen Elemente oder Schritte ausschließt und die unbestimmten Artikel „eine“ oder „ein“ keine Vielzahl ausschließen. Ferner sei darauf hingewiesen, dass Merkmale oder Schritte, die mit Verweis auf eines der obigen Ausführungsbeispiele beschrieben worden sind, auch in Kombination mit anderen Merkmalen oder Schritten anderer oben beschriebener Ausführungsbeispiele verwendet werden können. Bezugszeichen in den Ansprüchen sind nicht als Einschränkungen anzusehen.In addition, it should be noted that "comprising" and "having" does not exclude other elements or steps, and the indefinite articles "a" or "an" exclude no plurality. It should also be appreciated that features or steps described with reference to any of the above embodiments may also be used in combination with other features or steps of other embodiments described above. Reference signs in the claims are not to be considered as limitations.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturCited non-patent literature

J. Canny in "A Computational Approach to Edge Detection," IEEE Trans. Pattern Analysis and Machine Intelligence, 8 (6): 679-698, 1986 [0029]

Claims

Device (2) for traffic sign recognition for a driver assistance system for a vehicle (4) comprising a computing unit (3), wherein the computing unit is adapted to receive image data from a camera system (5), wherein the arithmetic unit is further adapted to calculate from the image data a first image having a first spectral sensitivity, wherein the arithmetic unit is further configured to calculate from the image data a second image having a second spectral sensitivity, where the second spectral sensitivity differs from the first spectral sensitivity, wherein the arithmetic unit is further adapted to calculate a first gradient image from the first image, wherein the arithmetic unit is further adapted to calculate a second gradient image from the second image, wherein the arithmetic unit is further configured to convert the first gradient image and the second gradient image into polar coordinates, and wherein the arithmetic unit is further configured to merge the first gradient image and the second gradient image into a gradient direction image.

Device (2) for traffic sign recognition according to Claim 1 wherein the first image is an intensity image, and wherein the second image is a color image.

Device (2) for traffic sign recognition according to Claim 1 or 2 wherein the arithmetic unit (3) is adapted to suppress a gradient of the first gradient image when a length of the gradient of the first gradient image is less than a first threshold, and wherein the computing unit is further adapted to suppress a gradient of the second gradient image when a length of the gradient of the second gradient image is smaller than a second threshold value.

Traffic sign recognition device (2) according to one of the preceding claims, wherein the arithmetic unit (3) is designed to carry out non-maximum suppression on the first gradient image or on the second gradient image.

Device (2) for traffic sign recognition according to Claim 3 or 4 wherein the arithmetic unit (3) is adapted to convert the first gradient image and the second gradient image into sparse form.

The traffic sign recognition device (2) according to one of the preceding claims, wherein the arithmetic unit (3) is designed to scale the length of a gradient of the first gradient image or the length of a gradient of the second gradient image.

Traffic sign recognition device (2) according to one of the preceding claims, wherein the gradient direction image includes a direction of a gradient of the first gradient image when the length of this gradient of the first gradient image is greater than the length of a corresponding gradient of the second gradient image, and wherein the gradient direction image includes the direction of a gradient of the second gradient image when the length of this gradient of the second gradient image is greater than the length of the corresponding gradient of the first gradient image.

Traffic sign recognition device (2) according to one of the preceding claims, wherein the arithmetic unit (3) is further adapted to search for traffic signs in the gradient direction image.

A traffic sign recognition method (1) for a driver assistance system for a vehicle (4), the method comprising the steps of: Receiving image data from a camera system (5) (S1), Calculating a first image having a first spectral sensitivity from the image data (S2-1), Calculating a second image having a second spectral sensitivity from the image data (S2-2), wherein the second spectral sensitivity is different from the first spectral sensitivity, Calculating a first gradient image from the first image (S3-1), Calculating a second gradient image from the second image (S3-2), Converting the first gradient image and the second gradient image into polar coordinates (S4-1 and S4-2), and Merging the first gradient image and the second gradient image into a gradient direction image (S8).

Method (1) for traffic sign recognition according to Claim 9 further comprising suppressing a gradient of the first gradient image when a length of the gradient of the first gradient image is smaller than a first threshold (S5-1), and suppressing a gradient of the second gradient image when the length of the gradient of the second gradient image is smaller than a second one Threshold is (S5-2).

Method (1) for traffic sign recognition according to Claim 9 or 10 further comprising performing non-maximum suppression on the first gradient image or on the second gradient image (S5-1 and S5-2).

Method (1) for traffic sign recognition according to Claim 10 or 11 further comprising converting the first gradient image and the second gradient image into sparse form (S6-1 and S6-2).

Method (1) for traffic sign recognition according to one of Claims 9 to 12 further comprising scaling the length of a gradient of the first gradient image or the length of a gradient of the second gradient image (S7-1 and S7-2).

Method (1) for traffic sign recognition according to one of Claims 9 to 13 wherein the gradient direction image includes a direction of a gradient of the first gradient image when the length of this gradient of the first gradient image is greater than the length of a corresponding gradient of the second gradient image, and wherein the gradient direction image includes the direction of a gradient of the second gradient image when the length thereof Gradients of the second gradient image is greater than the length of the corresponding gradient of the first gradient image.

Method (1) for traffic sign recognition according to one of Claims 9 to 14 further comprising searching for traffic signs in the gradient direction image (S9).