DE102014223474A1

DE102014223474A1 - Method and device for recognizing a traffic sign using at least a first camera and a second camera for a vehicle and vehicle

Info

Publication number: DE102014223474A1
Application number: DE102014223474.3A
Authority: DE
Inventors: Holger Janssen
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2014-11-18
Filing date: 2014-11-18
Publication date: 2016-05-19

Abstract

Die Erfindung betrifft ein Verfahren zum Erkennen eines Verkehrszeichens (106) unter Verwendung zumindest einer ersten Kamera (110) und einer zweiten Kamera (112) für ein Fahrzeug (100), wobei ein Winkel zwischen einer optischen Achse (114) der ersten Kamera (110) und einer optischen Achse (116) der zweiten Kamera (112) mindestens 25 Grad beträgt. In dem Verfahren wird unter Verwendung eines ersten Kamerasignals (118) der ersten Kamera (110) eine erste Ansicht des Verkehrszeichens (106) bestimmt. Unter Verwendung eines zweiten Kamerasignals (120) der zweiten Kamera (112) wird ferner eine zweite Ansicht des Verkehrszeichens (106) bestimmt. Hierauf wird die erste und die zweite Ansicht kombiniert, um das Verkehrszeichen (106) zu erkennen.The invention relates to a method for recognizing a traffic sign (106) using at least a first camera (110) and a second camera (112) for a vehicle (100), wherein an angle between an optical axis (114) of the first camera (110 ) and an optical axis (116) of the second camera (112) is at least 25 degrees. In the method, a first view of the traffic sign (106) is determined using a first camera signal (118) of the first camera (110). Using a second camera signal (120) of the second camera (112), a second view of the traffic sign (106) is further determined. The first and second views are then combined to recognize the traffic sign (106).

Description

Stand der TechnikState of the art

Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Erkennen eines Verkehrszeichens unter Verwendung zumindest einer ersten Kamera und einer zweiten Kamera für ein Fahrzeug, auf eine entsprechende Vorrichtung, auf ein Fahrzeug sowie auf ein entsprechendes Computerprogramm.The present invention relates to a method for recognizing a traffic sign using at least a first camera and a second camera for a vehicle, to a corresponding device, to a vehicle and to a corresponding computer program.

Systeme zur Verkehrszeichenerkennung in Fahrzeugen können eine Situation durch Analyse von Informationen, die durch eine in ein Fahrzeug integrierte Kamera aufgenommen werden, auswerten. Bei der Kamera handelt es sich in der Regel um eine nach vorn ausgerichtete Frontkamera. Bei schlechter Sichtbarkeit des Verkehrszeichens in der Ansicht der Frontkamera kann die Qualität der Erkennung beeinträchtigt sein.Systems for traffic sign recognition in vehicles can evaluate a situation by analyzing information received by a camera integrated into a vehicle. The camera is usually a front-facing camera. If visibility of the traffic sign in the front camera view is poor, the quality of detection may be impaired.

Offenbarung der ErfindungDisclosure of the invention

Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Erkennen eines Verkehrszeichens unter Verwendung zumindest einer ersten Kamera und einer zweiten Kamera für ein Fahrzeug, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, ein Fahrzeug sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.Against this background, with the approach presented here, a method for recognizing a traffic sign using at least a first camera and a second camera for a vehicle, a device that uses this method, a vehicle and finally a corresponding computer program according to the main claims are presented. Advantageous embodiments emerge from the respective subclaims and the following description.

Der hier vorgestellte Ansatz schafft ein Verfahren zum Erkennen eines Verkehrszeichens unter Verwendung zumindest einer ersten Kamera und einer zweiten Kamera für ein Fahrzeug, wobei ein Winkel zwischen einer optischen Achse der ersten Kamera und einer optischen Achse der zweiten Kamera mindestens 25 Grad beträgt, wobei das Verfahren folgende Schritte umfasst:
Bestimmen einer ersten Ansicht des Verkehrszeichens unter Verwendung eines ersten Kamerasignals der ersten Kamera;
Bestimmen einer zweiten Ansicht des Verkehrszeichens unter Verwendung eines zweiten Kamerasignals der zweiten Kamera; und
Kombinieren der ersten Ansicht und der zweiten Ansicht, um das Verkehrszeichen zu erkennen.The approach presented herein provides a method of recognizing a traffic sign using at least a first camera and a second camera for a vehicle, wherein an angle between an optical axis of the first camera and an optical axis of the second camera is at least 25 degrees following steps include:
Determining a first view of the traffic sign using a first camera signal of the first camera;
Determining a second view of the traffic sign using a second camera signal of the second camera; and
Combine the first view and the second view to recognize the traffic sign.

Unter einem Verkehrszeichen kann ein an einer Fahrbahn aufgestelltes Schild oder ein Symbol, eine Schrift oder eine Linie auf der Fahrbahn zur Beeinflussung oder Regelung eines Verkehrs verstanden werden. Die erste und die zweite Kamera können beispielsweise Teil eines Multikamerasystems zum Erfassen eines Umfelds des Fahrzeugs sein. Die Kameras können derart an dem Fahrzeug ausgerichtet sein, dass ihre jeweiligen optischen Achsen um mindestens 25 Grad, gemäß unterschiedlichen Ausführungsformen beispielsweise alternativ um mindestens 30 Grad oder mindestens 40 Grad, voneinander abweichen. Beispielsweise kann die erste Kamera in Fahrtrichtung nach vorn und die zweite Kamera in Fahrtrichtung nach hinten oder quer zur Fahrtrichtung ausgerichtet sein. Unter einer optischen Achse kann eine gerade Linie verstanden werden, die mit einer Symmetrieachse eines reflektierenden oder brechenden optischen Elements der Kameras übereinstimmt. Beispielsweise kann die optische Achse durch den Mittelpunkt eines von der Kamera aufgenommenen Bildes verlaufen. Unter einer ersten bzw. zweiten Ansicht kann ein Bild oder eine Bildabfolge mit dem Verkehrszeichen verstanden werden. Beispielsweise kann es sich bei den Ansichten um Rück-, Vorder- oder Seitenansichten handeln. Die Ansichten können im Schritt des Bestimmens etwa mithilfe geeigneter Erkennungsalgorithmen aus jeweiligen Bilddaten der Kameras extrahiert werden. Im Schritt des Kombinierens können die Ansichten hinsichtlich ihrer Zugehörigkeit zu ein und demselben Verkehrszeichen analysiert werden. Beispielsweise können die Ansichten dabei als Vorder- und Rückansicht, Vorder- und Seitenansicht oder Rück- und Seitenansicht des Verkehrszeichens erkannt werden.A traffic sign may be understood to mean a sign or a symbol, a writing or a line on the roadway that is set up on a roadway for influencing or regulating a traffic. For example, the first and second cameras may be part of a multi-camera system for detecting an environment of the vehicle. The cameras may be aligned with the vehicle such that their respective optical axes deviate from one another by at least 25 degrees, for example alternatively by at least 30 degrees or at least 40 degrees, according to different embodiments. For example, the first camera in the direction of travel can be aligned to the front and the second camera in the direction of travel to the rear or transverse to the direction of travel. An optical axis can be understood to mean a straight line which coincides with an axis of symmetry of a reflective or refractive optical element of the cameras. For example, the optical axis may pass through the center of an image captured by the camera. Under a first or second view, an image or an image sequence with the traffic sign can be understood. For example, the views may be rear, front, or side views. The views can be extracted from respective image data of the cameras in the step of determining, for example, by means of suitable recognition algorithms. In the step of combining, the views can be analyzed with regard to their affiliation to the same traffic sign. For example, the views can be recognized as a front and back view, front and side view or back and side view of the traffic sign.

Der hier vorgeschlagene Ansatz beruht auf der Erkenntnis, dass Bilder mehrerer Kameras, die in einem Fahrzeug integriert sind, wie etwa Seiten-, Heck- oder Parkkameras, ausgewertet und zur Verbesserung der Leistung einer Verkehrszeichenerkennung genutzt werden können. Beispielsweise können diese mehrfachen Ansichten neben einer Vorderseite eines Verkehrszeichens auch dessen Rückseite umfassen. Optional können auch logische Zusammenhänge einer Verkehrssituation oder -szene ausgewertet werden.The approach proposed here is based on the recognition that images of several cameras integrated in a vehicle, such as side, rear or parking cameras, can be evaluated and used to improve the performance of traffic sign recognition. For example, these multiple views in addition to a front of a traffic sign and its back cover. Optionally, logical relationships of a traffic situation or scene can also be evaluated.

Eine videobasierte Auswertung mehrerer Kameraansichten des Verkehrszeichens hat den Vorteil, dass die Bedeutung des Verkehrszeichens auch dann zuverlässig erkannt werden kann, wenn es in einer Ansicht nicht oder nur schlecht sichtbar ist.A video-based evaluation of multiple camera views of the traffic sign has the advantage that the meaning of the traffic sign can be reliably detected even if it is not or only slightly visible in a view.

Ein Bild oder eine Bildsequenz eines Verkehrszeichens in einer Kamera kann im optischen Kanal durch optische Blendung, optische Reflexionen oder Verdeckungen durch andere Objekte gestört sein. Indem nun das Verkehrszeichen aus mehreren Richtungen betrachtet wird, können diese Störungen sehr einfach reduziert werden. Beispielsweise kann ein alternativer Betrachtungswinkel bei einer Reflexion, die durch eine Beleuchtung des Verkehrszeichens hervorgerufen wird, bereits eine deutliche Reduktion der Blendung bewirken.An image or sequence of images of a traffic sign in a camera may be disturbed in the optical channel by optical glare, optical reflections or obscurations by other objects. By now looking at the traffic sign from several directions, these disturbances can be reduced very easily. For example, an alternative viewing angle at a reflection, which is caused by an illumination of the traffic sign, already cause a significant reduction of glare.

Somit kann auf Speziallösungen, wie beispielsweise das Trainieren gelber Ortstafeln und das Abgrenzen einer Zeichenklasse von anderen möglichen Objekten, die als Fehlklassifikationen infrage kommen, verzichtet werden, was wiederum den Entwicklungs- und Testaufwand deutlich reduziert.Thus, special solutions can be applied, such as training yellow city signs and delimiting one character class from another possible objects, which are eligible as misclassifications, are dispensed with, which in turn significantly reduces the development and testing effort.

Gemäß einer Ausführungsform kann im Schritt des Bestimmens unter Verwendung der ersten Ansicht ein in Fahrtrichtung des Fahrzeugs geltender Verkehrszeicheninhalt des Verkehrszeichens bestimmt werden und unter Verwendung der zweiten Ansicht ein in Gegenfahrtrichtung des Fahrzeugs geltender Verkehrszeicheninhalt des Verkehrszeichens bestimmt werden. Im Schritt des Kombinierens kann der in Fahrtrichtung geltende Verkehrszeicheninhalt unter Verwendung des in Gegenfahrtrichtung geltenden Verkehrszeicheninhalts plausibilisiert werden. Unter einem Verkehrszeicheninhalt kann eine Bedeutung des Verkehrszeichens verstanden werden. Das Verkehrszeichen kann je nach Betrachtungsperspektive unterschiedliche Verkehrszeicheninhalte aufweisen. Insbesondere können sich die Verkehrszeicheninhalte einer Vorder- und Rückseite des Verkehrszeichens voneinander unterscheiden, sofern die Vorder- und Rückseite in entgegengesetzte Fahrtrichtungen orientiert sind. Im Schritt des Kombinierens kann zwischen dem in Fahrtrichtung und dem in Gegenfahrtrichtung geltenden Verkehrszeicheninhalt ein, eine bestimmte Verkehrssituation charakterisierender, logischer Zusammenhang hergestellt werden. Der logische Zusammenhang kann zur Plausibilisierung des in Fahrtrichtung erkannten Verkehrszeicheninhalts dienen. Dadurch lässt sich die Genauigkeit und / oder die Verfügbarkeit des Verfahrens erhöhen.According to one embodiment, in the step of determining using the first view, a traffic sign content of the traffic sign valid in the direction of travel of the vehicle can be determined and, using the second view, a traffic sign content of the traffic sign valid in the opposite direction of travel of the vehicle can be determined. In the step of combining, the traffic sign content valid in the direction of travel can be made plausible by using the traffic sign content valid in the opposite direction. Under a traffic sign content, a meaning of the traffic sign can be understood. Depending on the viewing perspective, the traffic sign may have different traffic sign contents. In particular, the traffic sign contents of a front and a back of the traffic sign may differ from one another, provided that the front and rear sides are oriented in opposite directions of travel. In the step of combining, a logical connection characterizing a specific traffic situation can be established between the traffic sign content valid in the direction of travel and the direction of travel in the opposite direction of travel. The logical connection can serve to check the plausibility of the traffic sign content detected in the direction of travel. This can increase the accuracy and / or the availability of the method.

Es kann im Schritt des Kombinierens der in Fahrtrichtung geltende Verkehrszeicheninhalt als plausibel erkannt werden, wenn der in Gegenfahrtrichtung geltende Verkehrszeicheninhalt eine in Gegenfahrtrichtung geltende Aufhebung des in Fahrtrichtung geltenden Verkehrszeicheninhalts repräsentiert. Vorteilhafterweise kann die Aufhebung aufgrund ihrer charakteristischen Markierung, typischerweise in Form einer oder mehrerer diagonaler Linien, und des hohen Farbkontrasts zum korrespondierenden aufzuhebenden Verkehrszeicheninhalt sehr einfach und sicher erkannt werden, wodurch Fehlerkennungen bei der Plausibilisierung vermieden werden können.In the step of combining the traffic sign content valid in the direction of travel, it can be recognized as plausible if the traffic sign content valid in the opposite direction of travel represents repeal of the traffic sign content applicable in the direction of travel. Advantageously, the cancellation due to their characteristic marking, typically in the form of one or more diagonal lines, and the high color contrast to the corresponding to be canceled traffic sign content can be detected very easily and safely, which errors in the plausibility can be avoided.

Es ist ferner vorteilhaft, wenn im Schritt des Bestimmens die erste Ansicht unter Verwendung eines zu einem ersten Zeitpunkt bereitgestellten ersten Kamerasignals bestimmt wird und die zweite Ansicht unter Verwendung eines zu einem zweiten Zeitpunkt bereitgestellten zweiten Kamerasignals bestimmt wird. Das erste und das zweite Kamerasignal können beispielsweise je nach Geschwindigkeit des Fahrzeugs in einem Abstand zwischen 0 und 60 Sekunden bereitgestellt werden. Der Wert von 0 Sekunden kann zur Plausibilisierung zum selben Zeitpunkt eingesetzt werden. Der Wert von 60 Sekunden kann beispielsweise bei Langsamfahrt im Stau sinnvoll sein. Beispielsweise kann das erste Kamerasignal bereitgestellt werden, wenn sich das Fahrzeug dem Verkehrszeichen nähert. Das zweite Kamerasignal kann beim oder kurz nach dem Vorbeifahren des Fahrzeugs an dem Verkehrszeichen bereitgestellt werden. Dadurch lässt sich der Winkel zwischen den optischen Achsen vergrößern. So kann das Verkehrszeichen bei entsprechendem zeitlichem Abstand etwa auch aus entgegengesetzten Richtungen erfasst werden.It is also advantageous if, in the step of determining, the first view is determined using a first camera signal provided at a first time and the second view is determined using a second camera signal provided at a second time. For example, the first and second camera signals may be provided at a distance of between 0 and 60 seconds, depending on the speed of the vehicle. The value of 0 seconds can be used for plausibility checking at the same time. The value of 60 seconds can be useful, for example, when driving slowly in a traffic jam. For example, the first camera signal may be provided as the vehicle approaches the traffic sign. The second camera signal may be provided at or shortly after the vehicle is passing the traffic sign. This makes it possible to increase the angle between the optical axes. Thus, the traffic sign can be detected at a corresponding time interval as well as from opposite directions.

Gemäß einer weiteren Ausführungsform kann im Schritt des Bestimmens die erste Ansicht als eine Vorderansicht des Verkehrszeichens und die zweite Ansicht als eine Rückansicht des Verkehrszeichens bestimmt werden. Alternativ oder zusätzlich kann die zweite Ansicht als eine seitliche Rückansicht oder seitliche Vorderansicht des Verkehrszeichens bestimmt werden. Die Vorderansicht kann im Schritt des Kombinierens mit der Rückansicht, der seitlichen Rückansicht bzw. der seitlichen Vorderansicht kombiniert werden. Unter einer Vorder- bzw. Rückansicht kann eine Frontalaufnahme einer Vorder- bzw. Rückseite des Verkehrszeichens verstanden werden. Eine seitliche Vorder- bzw. Rückansicht kann als eine Aufnahme der Vorder- bzw. Rückseite von einem Standpunkt verstanden werden, der bezüglich eines jeweiligen Mittelpunkts der Vorder- bzw. Rückseite seitlich versetzt ist. Durch die Bestimmung der Vorder- und Rückansicht bzw. der seitlichen Vorder- und Rückansicht kann die Anzahl der zu kombinierenden Ansichten auf ein Minimum reduziert werden und dennoch eine sichere Erkennung des Verkehrszeichens gewährleistet werden.According to another embodiment, in the step of determining, the first view may be determined as a front view of the traffic sign and the second view as a rear view of the traffic sign. Alternatively or additionally, the second view may be determined as a side rear view or side front view of the traffic sign. The front view can be combined in the step of combining with the rear view, the side rear view, and the side front view, respectively. Under a front or rear view, a frontal recording of a front or back of the traffic sign can be understood. A side front view and rear view may be understood as a photograph of the front and rear sides, respectively, from a viewpoint laterally offset with respect to a respective center of the front and rear sides, respectively. By determining the front and rear view and the side front and rear view, the number of views to be combined can be reduced to a minimum and yet secure identification of the traffic sign can be ensured.

Die Kombination einer Vorder- und Rückansicht eines Verkehrszeichens zur Verkehrszeichenerkennung kann zu einer Verbesserung eines Erkennungsverhaltens führen, indem eine Erkennungsleistung erhöht wird, die Eindeutigkeit der Erkennung verbessert wird und Fehlerkennungen reduziert werden. Leichte Abweichungen im Aussehen der Verkehrszeichen, beispielsweise aufgrund geänderter Zeichendesigns oder -layouts, können so vorteilhaft im Sinne einer Systemleistung kompensiert werden.Combining a front and rear view of a traffic sign recognition traffic sign may improve recognition performance by increasing recognition performance, improving recognition clarity, and reducing misrecognition. Slight deviations in the appearance of the traffic signs, for example due to changed character designs or layouts, can thus be compensated advantageously in the sense of system performance.

Bei einer Interpretation der Vorder- und Rückansicht können sich durch dort herrschende unterschiedliche Lichtbedingungen Vorteile ergeben. Die unterschiedlichen Lichtbedingungen können sich beispielsweise durch andere Reflexionsbedingungen, veränderte Blendungen oder Lichtbedingungen, etwa bedingt durch Straßenlaternen in Nachtsituationen, ergeben.When interpreting the front and rear views, the different lighting conditions prevailing there can be advantageous. The different light conditions can result, for example, from other reflection conditions, changed glare or light conditions, for example due to street lights in night situations.

Das Verfahren kann zudem mit einem Schritt des Einlesens des ersten Kamerasignals von zumindest einer Frontkamera des Fahrzeugs und des zweiten Kamerasignals von zumindest einer Heckkamera vorgesehen sein. Alternativ oder zusätzlich kann das zweite Kamerasignal von zumindest einer linken Seitenkamera oder zumindest einer rechten Seitenkamera des Fahrzeugs eingelesen werden. Die Frontkamera kann beispielsweise in einen vorderen Stoßfänger oder einen Rückspiegel des Fahrzeugs integriert sein. Ebenso kann die Heckkamera in einen hinteren Stoßfänger oder einen sonstigen geeigneten rückwärtigen Bereich des Fahrzeugs integriert sein. Die Seitenkameras können beispielsweise Parkkameras sein. Auf diese Weise können kostensparend bereits im Fahrzeug vorhandene Kameras zur Durchführung des Verfahrens genutzt werden. Das Verfahren kann auf beliebig viele Kameras in einem Multi-Kamera-System angewendet werden und ist bezüglich der Anzahl der unterstützen Kamera nicht eingeschränkt.The method may also include a step of reading the first camera signal from at least one front camera of the vehicle and the be provided second camera signal from at least one rear-view camera. Alternatively or additionally, the second camera signal can be read in by at least one left side camera or at least one right side camera of the vehicle. The front camera may for example be integrated in a front bumper or a rearview mirror of the vehicle. Likewise, the rear camera may be integrated into a rear bumper or other suitable rear area of the vehicle. The side cameras may be, for example, parking cameras. In this way, cost-saving existing in the vehicle cameras can be used to carry out the process. The method can be applied to any number of cameras in a multi-camera system and is not limited in terms of the number of supported camera.

Von Vorteil ist auch, wenn in einem Schritt des Empfangens eine Fahrzustandsinformation über einen Fahrzustand des Fahrzeugs und, alternativ oder zusätzlich, eine Positionsinformation über eine Position des Verkehrszeichens relativ zum Fahrzeug empfangen wird. Im Schritt des Kombinierens kann die erste Ansicht mit der zweiten Ansicht ferner unter Verwendung der Fahrzustandsinformation bzw. der Positionsinformation kombiniert werden. Der Fahrzustand kann beispielsweise eine Fahrdynamik des Fahrzeugs repräsentieren. Entsprechend kann die Fahrzustandsinformation Informationen über eine Geschwindigkeit, eine Beschleunigung, eine Motordrehzahl, einen Lenkwinkel oder eine Bremsenbetätigung des Fahrzeugs umfassen. Die Positionsinformation kann beispielsweise durch ein satellitengestütztes Navigationsgerät bereitgestellt werden. Durch diese Ausführungsform kann die Erkennungsgenauigkeit und Verfügbarkeit des Verfahrens weiter verbessert werden. Zumindest für eine Verkehrszeichenerkennung ist neben der Erkennungsgenauigkeit insbesondere die Performance im Sinne von Erkennungsleistung (Verfügbarkeit) und wenigen Fehlern (Falsch-Positive oder Falsch-Erkennung) wichtig. Die Genauigkeit (z.B. Position in der Welt) ist bei anderen Objekten wichtig, wie z.B. bei Personen oder Fahrzeugen.It is also advantageous if in a step of receiving a driving state information about a driving condition of the vehicle and, alternatively or additionally, a position information about a position of the traffic sign is received relative to the vehicle. In the step of combining, the first view may be further combined with the second view using the driving state information and the position information, respectively. The driving state, for example, represent a driving dynamics of the vehicle. Accordingly, the driving state information may include information about a speed, an acceleration, an engine speed, a steering angle, or a brake application of the vehicle. The position information may be provided, for example, by a satellite-based navigation device. By this embodiment, the recognition accuracy and availability of the method can be further improved. At least for a traffic sign recognition, in addition to the recognition accuracy, in particular the performance in terms of recognition performance (availability) and few errors (false-positive or false recognition) are important. The accuracy (e.g., position in the world) is important in other objects, such as e.g. in persons or vehicles.

Im Schritt des Bestimmens kann zumindest eine weitere Ansicht des Verkehrszeichens unter Verwendung zumindest eines weiteren Kamerasignals zumindest einer weiteren Kamera für das Fahrzeug bestimmt werden. Im Schritt des Kombinierens kann die erste Ansicht und, alternativ oder zusätzlich, die zweite Ansicht mit der weiteren Ansicht kombiniert werden. Durch diese Ausführungsform können moderne Multikamerasysteme mit mehr als zwei Kameras zur Verkehrszeichenerkennung genutzt werden. Damit kann die Verkehrszeichenerkennung mit größtmöglicher Genauigkeit und insbesondere auch höher Verfügbarkeit durchgeführt werden.In the step of determining, at least one further view of the traffic sign can be determined using at least one further camera signal of at least one further camera for the vehicle. In the step of combining, the first view and, alternatively or additionally, the second view can be combined with the further view. By this embodiment, modern multi-camera systems can be used with more than two cameras for traffic sign recognition. Thus, the traffic sign recognition can be performed with the greatest possible accuracy and in particular also higher availability.

In den Schritten des Bestimmens können die erste Ansicht des Verkehrszeichens und die zweite Ansicht des Verkehrszeichens zeitgleich erfasste Ansichten des Verkehrszeichens (106) repräsentieren. Somit kann das Verkehrszeichen zum selben Zeitpunkt durch zwei Kameras mit unterschiedlichen Erfassungsbereichen erfasst werden, d.h. das Zeichen ist in beiden Kameras gleichzeitig sichtbar. Dadurch kann beispielsweise die Erkennung unter schwierigen Lichtbedingungen oder bei Reflexionen verbessern.In the steps of determining, the first view of the traffic sign and the second view of the traffic sign can simultaneously acquire views of the traffic sign ( 106 ). Thus, the traffic sign can be detected at the same time by two cameras with different detection areas, ie the sign is visible in both cameras simultaneously. This can, for example, improve detection in difficult lighting conditions or during reflections.

Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.Also of advantage is a computer program product or computer program with program code which can be stored on a machine-readable carrier or storage medium such as a semiconductor memory, a hard disk memory or an optical memory and for carrying out, implementing and / or controlling the steps of the method according to one of the embodiments described above is used, especially when the program product or program is executed on a computer or a device.

Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung zum Erkennen eines Verkehrszeichens unter Verwendung zumindest einer ersten Kamera und einer zweiten Kamera für ein Fahrzeug, wobei ein Winkel zwischen einer optischen Achse der ersten Kamera und einer optischen Achse der zweiten Kamera mindestens 25 Grad beträgt, wobei die Vorrichtung folgende Merkmale aufweist:
eine Bestimmungseinheit, die ausgebildet ist, um eine erste Ansicht des Verkehrszeichens unter Verwendung eines ersten Kamerasignals der ersten Kamera und eine zweite Ansicht des Verkehrszeichens unter Verwendung eines zweiten Kamerasignals der zweiten Kamera zu bestimmen; und
eine Kombinationseinheit, die ausgebildet ist, um die erste Ansicht und die zweite Ansicht zu kombinieren, um das Verkehrszeichen zu erkennen.The approach presented herein further provides an apparatus for recognizing a traffic sign using at least a first camera and a second camera for a vehicle, wherein an angle between an optical axis of the first camera and an optical axis of the second camera is at least 25 degrees, wherein the Device has the following features:
a determining unit configured to determine a first view of the traffic sign using a first camera signal of the first camera and a second view of the traffic sign using a second camera signal of the second camera; and
a combination unit configured to combine the first view and the second view to recognize the traffic sign.

Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden. Also by this embodiment of the invention in the form of a device, the object underlying the invention can be solved quickly and efficiently.

Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.In the present case, a device can be understood as meaning an electrical device which processes sensor signals and outputs control and / or data signals in dependence thereon. The device may have an interface, which may be formed in hardware and / or software. In the case of a hardware-based embodiment, the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device. However, it is also possible that the interfaces are separate, integrated circuits or at least partially discrete Consist of components. In a software training, the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.

Schließlich schafft der vorgeschlagene Ansatz ein Fahrzeug mit folgenden Merkmalen:
einer ersten Kamera mit einer ersten optischen Achse und eine zweite zweiten Kamera mit einer zweiten optischen Achse, wobei die Kameras so an dem Fahrzeug angeordnet sind, das ein Winkel zwischen der ersten optischen Achse und der zweiten optischen Achse mindestens 25 Grad beträgt; und
einer Vorrichtung gemäß einer hier beschriebenen Ausführungsform.Finally, the proposed approach creates a vehicle with the following features:
a first camera having a first optical axis and a second second camera having a second optical axis, the cameras being arranged on the vehicle at an angle of at least 25 degrees between the first optical axis and the second optical axis; and
a device according to an embodiment described herein.

Der hier vorgestellte Ansatz wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:The approach presented here will be explained in more detail below with reference to the accompanying drawings. Show it:

1a, 1b schematische Darstellungen einer Verkehrszeichenerkennungssituation mit einem Fahrzeug gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; 1a . 1b schematic representations of a traffic sign detection situation with a vehicle according to an embodiment of the present invention;

2 eine schematische Darstellung eines Systems zur videobasierten Verkehrszeichenerkennung mit einer Vorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; 2 a schematic representation of a system for video-based traffic sign recognition with a device according to an embodiment of the present invention;

3 eine schematische Darstellung eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; 3 a schematic representation of a vehicle according to an embodiment of the present invention;

4a bis 10b Darstellungen verschiedener Verkehrszeichen zur Verwendung mit einer Vorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; 4a to 10b Representations of various traffic signs for use with a device according to an embodiment of the present invention;

11 ein Ablaufdiagramm eines Verfahrens zum Erkennen eines Verkehrszeichens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und 11 a flowchart of a method for recognizing a traffic sign according to an embodiment of the present invention; and

12 ein Blockschaltbild einer Vorrichtung zum Erkennen eines Verkehrszeichens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. 12 a block diagram of a device for recognizing a traffic sign according to an embodiment of the present invention.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.In the following description of favorable embodiments of the present invention, the same or similar reference numerals are used for the elements shown in the various figures and similar acting, with a repeated description of these elements is omitted.

Die 1a und 1b zeigen schematische Darstellungen einer Verkehrszeichenerkennungssituation mit einem Fahrzeug 100 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Fahrzeug 100 fährt auf einer rechten Spur einer zweispurigen Fahrbahn 102 in einer Fahrtrichtung 104. Am rechten Fahrbahnrand der Fahrbahn 102 befindet sich ein Verkehrszeichen 106, hier beispielhaft ein Streckenverbotszeichen, das eine Höchstgeschwindigkeit von 80 km/h vorschreibt.The 1a and 1b show schematic representations of a traffic sign recognition situation with a vehicle 100 according to an embodiment of the present invention. The vehicle 100 drives on a right lane of a dual carriageway 102 in one direction of travel 104 , On the right lane edge of the road 102 there is a traffic sign 106 , here for example a route prohibition sign, which prescribes a maximum speed of 80 km / h.

Das Fahrzeug 100 ist mit einer Vorrichtung 108, einer ersten Kamera 110 und einer zweiten Kamera 112 ausgeführt. Gemäß diesem Ausführungsbeispiel ist die erste Kamera 110 als Frontkamera und die zweite Kamera 112 als rechte Seitenkamera realisiert. Die Positionen der Seitenkameras 112 oder 113 sind nur beispielhaft gewählt und können alternativ beispielsweise auch an den A-Säulen des Fahrzeugs 100 liegen. Die Kameras 110, 112 blicken dann seitlich nach vorne. Generell ist das Verfahren dabei nicht auf die Auswertung von maximal vier Kameras beschränkt. Das Fahrzeug 100 weist ferner eine optionale dritte Kamera 113 in Form einer linken Seitenkamera auf. Beispielhaft ist eine optische Achse 114 der ersten Kamera 110 parallel zur Fahrtrichtung 104 und eine optische Achse 116 der zweiten Kamera 112 quer zur Fahrtrichtung 104 ausgerichtet. Die optische Achse 116 entspricht hier zugleich einer optischen Achse der dritten Kamera 113. Die beiden optischen Achsen 114, 116 schließen einen Winkel α ein, der im Wesentlichen 90 Grad beträgt. Je nach Ausführungsform kann der Winkel α jedoch auch beispielsweise zwischen 25 und 90 Grad, zwischen 35 und 90 Grad oder zwischen 40 und 90 Grad liegen oder größer als 90 Grad sein.The vehicle 100 is with a device 108 , a first camera 110 and a second camera 112 executed. According to this embodiment, the first camera 110 as a front camera and the second camera 112 realized as a right side camera. The positions of the side cameras 112 or 113 are chosen only as an example and may alternatively, for example, on the A-pillars of the vehicle 100 lie. The cameras 110 . 112 then look sideways forward. In general, the method is not limited to the evaluation of a maximum of four cameras. The vehicle 100 also has an optional third camera 113 in the form of a left side camera. An example is an optical axis 114 the first camera 110 parallel to the direction of travel 104 and an optical axis 116 the second camera 112 transverse to the direction of travel 104 aligned. The optical axis 116 corresponds here at the same time to an optical axis of the third camera 113 , The two optical axes 114 . 116 include an angle α that is substantially 90 degrees. However, depending on the embodiment, the angle α may also be, for example, between 25 and 90 degrees, between 35 and 90 degrees, or between 40 and 90 degrees, or greater than 90 degrees.

In 1a fährt das Fahrzeug 100 auf das Verkehrszeichen 106 zu. Die erste Kamera 110 ist ausgebildet, um ein Vorfeld des Fahrzeugs 100 zu erfassen. Dabei erfasst die erste Kamera 110 auch das am rechten Fahrbahnrand befindliche Verkehrszeichen 106. Die zweite Kamera 112 ist ausgebildet, um ein seitliches Umfeld des Fahrzeugs 100 zu erfassen. Das Verkehrszeichen 106 wird dabei auch von der zweiten Kamera 112 erfasst. In 1a the vehicle drives 100 on the traffic sign 106 to. The first camera 110 is designed to be an apron of the vehicle 100 capture. This captures the first camera 110 also the traffic sign located on the right side of the road 106 , The second camera 112 is designed to be a lateral environment of the vehicle 100 capture. The traffic sign 106 This is also done by the second camera 112 detected.

Gemäß diesem Ausführungsbeispiel ist die Vorrichtung 108 ausgebildet, um von der ersten Kamera 110 ein erstes Kamerasignal 118, das ein von der ersten Kamera 110 aufgenommenes Bild des Vorfelds repräsentiert, einzulesen und von der zweiten Kamera 112 ein zweites Kamerasignal 120, das ein von der zweiten Kamera 112 aufgenommenes Bild der seitlichen Umgebung repräsentiert, einzulesen. Die Vorrichtung 108 ist ausgebildet, um unter Verwendung des ersten Kamerasignals 118 aus dem Bild des Vorfelds eine erste Ansicht des Verkehrszeichens 106 zu bestimmen und unter Verwendung des zweiten Kamerasignals 120 aus dem Bild des seitlichen Umfelds eine zweite Ansicht des Verkehrszeichens 106 zu bestimmen. In 1a bestimmt die Vorrichtung 108 die erste Ansicht als frontale Vorderansicht und die zweite Ansicht als seitliche Vorderansicht des Verkehrszeichens 106. Dabei handelt es sich um verschiedene Ansichten eines in der Fahrtrichtung 104 geltenden Verkehrszeicheninhalts 122 des Verkehrszeichens 106. Die Vorrichtung 108 ist ferner ausgebildet, um die beiden unter Verwendung der Kamerasignale 118, 120 bestimmten Ansichten miteinander zu kombinieren und so den Verkehrszeicheninhalt 122, in diesem Fall die zulässige Höchstgeschwindigkeit von 80 km/h, zu erkennen.According to this embodiment, the device is 108 trained to be from the first camera 110 a first camera signal 118 , one from the first camera 110 taken picture of the apron represented, read in and from the second camera 112 a second camera signal 120 one from the second camera 112 recorded image of the lateral environment represented, read. The device 108 is configured to use the first camera signal 118 from the picture of the apron a first view of the traffic sign 106 and using the second camera signal 120 from the picture of the lateral environment a second view of the traffic sign 106 to determine. In 1a determines the device 108 the first view as a frontal Front view and the second view as a side front view of the traffic sign 106 , These are different views of one in the direction of travel 104 applicable traffic sign content 122 of the traffic sign 106 , The device 108 is further adapted to the two using the camera signals 118 . 120 certain views to combine with each other and so the traffic sign content 122 , in this case the maximum permissible speed of 80 km / h.

In 1b hat das Fahrzeug 100 das Verkehrszeichen 106 passiert. Gemäß diesem Ausführungsbeispiel ist die zweite Kamera 112, hier die rechte Seitenkamera des Fahrzeugs 100, ausgebildet, um nachfolgend auf eine Verkehrszeichenerkennung, wie sie anhand von 1a beschrieben ist, das seitliche Umfeld des Fahrzeugs 100 erneut zu erfassen. Die zweite Kamera 112 erfasst dabei eine Rückseite des Verkehrszeichens 106. In 1b has the vehicle 100 the traffic sign 106 happens. According to this embodiment, the second camera 112 , here the right side camera of the vehicle 100 , designed to follow a traffic sign recognition, as based on 1a described is the lateral environment of the vehicle 100 recapture. The second camera 112 captures a back of the traffic sign 106 ,

Zusätzlich zu den Kameras 110, 112, 113 umfasst das Fahrzeug 100 beispielhaft eine weitere Kamera 124, hier eine Heckkamera. Eine weitere optische Achse 126 der weiteren Kamera 124 ist parallel zur Fahrtrichtung 104 ausgerichtet. Lediglich beispielhaft entspricht die weitere optische Achse 126 in 1b der optischen Achse 114 der ersten Kamera 110. Die optische Achse 116 der Kamera 112 und die weitere optische Achse 126 sind analog zu 1a im Winkel α zueinander angeordnet.In addition to the cameras 110 . 112 . 113 includes the vehicle 100 an example of another camera 124 , here a rear camera. Another optical axis 126 the other camera 124 is parallel to the direction of travel 104 aligned. Only by way of example does the further optical axis correspond 126 in 1b the optical axis 114 the first camera 110 , The optical axis 116 the camera 112 and the other optical axis 126 are analogous to 1a arranged at an angle α to each other.

Die weitere Kamera 124 ist ausgebildet, um ein hinteres Umfeld des Fahrzeugs 100 zu erfassen. Dabei erfasst die weitere Kamera 124 die Rückseite des Verkehrszeichens 106. Die Vorrichtung 108 ist ausgebildet, um von der weiteren Kamera 124 ein weiteres Kamerasignal 130, das ein von der weiteren Kamera 124 erfasstes Bild des hinteren Umfelds repräsentiert, einzulesen und von der zweiten Kamera 112 ein drittes Kamerasignal 128, das ein von der zweiten Kamera 112 erfasstes weiteres Bild des seitlichen Umfelds repräsentiert, einzulesen. Gemäß diesem Ausführungsbeispiel ist die Vorrichtung 108 ausgebildet, um unter Verwendung des dritten Kamerasignals 128 aus dem weiteren Bild des seitlichen Umfelds eine seitliche Rückansicht des Verkehrszeichens 106 zu bestimmen und unter Verwendung des weiteren Kamerasignals 130 aus dem Bild des hinteren Umfelds eine frontale Rückansicht des Verkehrszeichens 106 zu bestimmen. Bei den beiden Rückansichten handelt es sich um verschiedene Ansichten eines in einer Gegenfahrtrichtung 132 geltenden Verkehrszeicheninhalts 131 des Verkehrszeichens 106. Die Verkehrszeicheninhalte 122, 131 können beispielsweise separate Schilder sein, die an einem gemeinsamen Verkehrszeichenständer montiert sind und in entgegengesetzte Richtungen orientiert sind.The other camera 124 is designed to be a rear environment of the vehicle 100 capture. The other camera captures 124 the back of the traffic sign 106 , The device 108 is trained to move from the other camera 124 another camera signal 130 , one from the other camera 124 captured image of the rear environment represents, read in and from the second camera 112 a third camera signal 128 one from the second camera 112 represented captured further image of the lateral environment, read. According to this embodiment, the device is 108 designed to be using the third camera signal 128 from the further picture of the lateral environment a lateral rear view of the traffic sign 106 and using the further camera signal 130 from the picture of the rear environment a frontal rear view of the traffic sign 106 to determine. The two rear views are different views of one in the opposite direction 132 applicable traffic sign content 131 of the traffic sign 106 , The traffic sign contents 122 . 131 For example, they may be separate signs mounted on a common traffic sign stand and oriented in opposite directions.

Die beiden Rückansichten werden somit zu einem späteren Zeitpunkt bestimmt als die beiden Vorderansichten aus 1a. Analog zu 1a ist die Vorrichtung 108 ausgebildet, um die beiden Rückansichten miteinander zu kombinieren und auf diese Weise eine Bedeutung des in der Gegenfahrtrichtung 132 geltenden Verkehrszeicheninhalts 131 zu erkennen. In 1b bedeutet der Verkehrszeicheninhalt 131 die Aufhebung eines in der Gegenfahrtrichtung 132 geltenden Streckenverbots, hier der Geschwindigkeitsbeschränkung auf 80 km/h.The two rear views are thus determined at a later date than the two front views 1a , Analogous to 1a is the device 108 designed to combine the two rear views with each other and in this way a meaning of in the opposite direction 132 applicable traffic sign content 131 to recognize. In 1b means the traffic sign content 131 the lifting of one in the opposite direction 132 applicable distance prohibition, here the speed limit to 80 km / h.

Gemäß einem Ausführungsbeispiel ist die Vorrichtung 108 ausgebildet, um zumindest eine der beiden Vorderansichten mit zumindest einer der beiden Rückansichten, genauer den erkannten Verkehrszeicheninhalt 122 mit dem erkannten Verkehrszeicheninhalt 131 zu kombinieren. Dabei kann der in der Fahrtrichtung 104 geltende Verkehrszeicheninhalt 122 anhand des in der Gegenfahrtrichtung 132 geltenden Verkehrszeicheninhalts 131 plausibilisiert werden. Beispielsweise wird in 1b der in der Fahrtrichtung 104 geltende Verkehrszeicheninhalt 122 als plausibel erkannt, wenn die Vorrichtung 108 den in der Gegenfahrtrichtung 132 geltenden Verkehrszeicheninhalt 131 als die Aufhebung des Verkehrszeicheninhalts 122 erkennt.According to one embodiment, the device is 108 formed to at least one of the two front views with at least one of the two rear views, more precisely the recognized traffic sign content 122 with the recognized traffic sign content 131 to combine. It can in the direction of travel 104 valid traffic sign content 122 on the basis of the in the opposite direction 132 applicable traffic sign content 131 be made plausible. For example, in 1b in the direction of travel 104 valid traffic sign content 122 recognized as plausible when the device 108 in the opposite direction 132 applicable traffic sign content 131 as the cancellation of traffic sign content 122 recognizes.

Alternativ oder zusätzlich ist die Vorrichtung 108 ausgebildet, um ein Verkehrszeichen zu erkennen, das auf einer dem Verkehrszeichen 106 gegenüberliegenden Seite der Fahrbahn 102 aufgestellt ist, etwa mithilfe der dritten Kamera 113.Alternatively or additionally, the device 108 designed to detect a traffic sign on a traffic sign 106 opposite side of the carriageway 102 is set up, such as using the third camera 113 ,

Gemäß einem weiteren Ausführungsbeispiel ist die Vorrichtung 108 ausgebildet, um beim Vorbeifahren des Fahrzeugs 100 am Verkehrszeichen 106, d. h. zu einem Zeitpunkt, an dem sich das Fahrzeug 100 und das Verkehrszeichen 106 im Wesentlichen auf einer Höhe befinden, zumindest eine zusätzliche Ansicht des Verkehrszeichens 106 zu bestimmen und das Verkehrszeichen 106 ferner unter Verwendung der zusätzlichen Ansicht zu erkennen.According to a further embodiment, the device 108 trained to drive the vehicle 100 at the traffic sign 106 ie at a time when the vehicle is moving 100 and the traffic sign 106 are located substantially at a height, at least one additional view of the traffic sign 106 to determine and the traffic sign 106 further recognize using the additional view.

2 zeigt eine schematische Darstellung eines Systems 200 zur videobasierten Verkehrszeichenerkennung mit einer Vorrichtung 108 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. In 2 ist eine Gesamtübersicht über das System 200 gezeigt. Kernkomponente des Systems 200 ist ein Modul zur Informationsfusion, auch Informationsmodul genannt, wie etwa die anhand der 1a und 1b beschriebene Vorrichtung 108. An die Vorrichtung 108 sind je nach Ausführungsform eine oder mehrere frontal ausgerichtete Kameras 110 angeschlossen. Ergänzend sind an die Vorrichtung 108 eine oder mehrere Seitenkameras 112 bzw. 113 angeschlossen. Die Seitenkameras 112, 113 sind angeordnet, um einen seitlichen Bereich eines Fahrzeugs erfassen, wie in 3 näher gezeigt. Optional umfasst das System 200 eine oder mehrere am Fahrzeug nach hinten ausgerichtete Kameras 124. Der Informationsfluss zwischen der Vorrichtung 108 und den Kameras 110, 112, 113 bzw. 124 kann bidirektional ausgelegt sein, sodass zum einen Bildinformationen, optional gepaart mit Objektinformationen, an die Vorrichtung 108 fließen und zum anderen Informationen von der Vorrichtung 108 an die Kameras 110, 112, 113 bzw. 124 zurückfließen. 2 shows a schematic representation of a system 200 for video-based traffic sign recognition with a device 108 according to an embodiment of the present invention. In 2 is an overview of the system 200 shown. Core component of the system 200 is an information fusion module, also called an information module, such as the one based on the 1a and 1b described device 108 , To the device 108 Depending on the embodiment, one or more front-facing cameras 110 connected. In addition to the device 108 one or more side cameras 112 respectively. 113 connected. The side cameras 112 . 113 are arranged to detect a lateral area of a vehicle, as in 3 shown closer. Optionally, the system includes 200 one or more rear-facing cameras on the vehicle 124 , The flow of information between the device 108 and the cameras 110 . 112 . 113 respectively. 124 can be designed bidirectional, so on the one hand image information, optionally paired with object information to the device 108 flow and other information from the device 108 to the cameras 110 . 112 . 113 respectively. 124 flow back.

Zur Fusion der Informationen ist die Vorrichtung 108 gemäß dem in 2 gezeigten Ausführungsbeispiel ausgebildet, um von einem Steuergerät 203 des Fahrzeugs zusätzlich Fahrzeuginformationen, beispielsweise Fahrzeugdynamikdaten, Informationen aus digitalen Karten oder Informationen von weiteren Kamerasystemen zur Fahrzeugumfelderfassung, einzulesen.To merge the information is the device 108 according to the in 2 embodiment shown to form a control unit 203 the vehicle additionally vehicle information, such as vehicle dynamics data, information from digital maps or information from other camera systems for vehicle environment detection, read.

Ein mit der Vorrichtung 108 verbundenes Modul 204 des Systems 200 ist ausgebildet, um Ergebnisse über eine Analyse eines Verkehrszeichens bereitzustellen.One with the device 108 connected module 204 of the system 200 is designed to provide results via traffic sign analysis.

Optional weist das System 200 ein allgemeines Kommunikationsmodul 206 auf, das ausgebildet ist, um das System 200 mit anderen Systemen zu verbinden. Beispielsweise können die mittels des Systems 200 erkannten Zeichen mittels des Kommunikationsmoduls 206 Fahrerassistenzsystemen des Fahrzeugs zur Verfügung gestellt werden. Das Kommunikationsmodul 206 kann als Soft- oder Hardwaremodul realisiert sein.Optionally, the system indicates 200 a general communication module 206 trained to be the system 200 to connect with other systems. For example, by means of the system 200 recognized characters by the communication module 206 Driver assistance systems of the vehicle are provided. The communication module 206 can be implemented as a software or hardware module.

3 zeigt eine schematische Darstellung eines Fahrzeugs 100 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. In 3 ist die Integration des anhand von 2 beschriebenen Systems 200 in das Fahrzeug 100 dargestellt. Bei dem Fahrzeug 100 handelt es sich beispielsweise um das anhand der 1a, 1b und 2 beschriebene Fahrzeug. Das Fahrzeug 100 weist die Vorrichtung 108 und die Kameras 110, 112, 113 und 124 auf. 3 shows a schematic representation of a vehicle 100 according to an embodiment of the present invention. In 3 is the integration of the basis of 2 described system 200 in the vehicle 100 shown. In the vehicle 100 For example, this is based on the 1a . 1b and 2 described vehicle. The vehicle 100 has the device 108 and the cameras 110 . 112 . 113 and 124 on.

Gezeigt sind mögliche Integrationsorte der Kameras 110, 112, 113 und 124 im Fahrzeug 100. Die Kameras können nach vorn (Kamera 110), zur Seite (Kameras 112, 113) und nach hinten (Kamera 124) ausgerichtet sein und je nach Ausführungsform als Monokameras mit einer Optik und einem Bildsensor oder als Stereokameras mit mehr als einer Optik und optional mehr als einem Bildsensor realisiert sein.Shown are possible integration locations of the cameras 110 . 112 . 113 and 124 in the vehicle 100 , The cameras can be forward (camera 110 ), aside (cameras 112 . 113 ) and backwards (camera 124 ) and, depending on the embodiment, be realized as monocameras with an optical system and an image sensor or as stereo cameras with more than one optical system and optionally more than one image sensor.

Die nachfolgend beschriebenen 4a bis 11b zeigen am Beispiel verschiedener Verkehrszeichenklassen, insbesondere am Beispiel deutscher Zeichenvarianten, welche Vorder- und Rückansichten zur Erkennung verknüpft werden können. The following 4a to 11b show the example of various traffic sign classes, in particular the example of German character variants, which front and rear views can be linked to the recognition.

Die 4a bis 10b zeigen Darstellungen verschiedener Verkehrszeichen zur Verwendung mit einer Vorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Beispielsweise können die Verkehrszeichen mittels einer Vorrichtung, wie sie anhand der 1a bis 3 beschrieben ist, erkannt werden.The 4a to 10b show representations of various traffic signs for use with a device according to one embodiment of the present invention. For example, the traffic signs can be detected by means of a device as described on the basis of 1a to 3 is to be recognized.

4a zeigt ein Beispiel für ein Richtzeichen, hier eine Vorderseite einer an einem Ortseingang aufgestellten Ortstafel. Die 4b bis 4d zeigen Beispiele für eine mögliche Rückseite der Ortstafel. Die Rückseite kann wie in den 4b und 4c zweigeteilt sein, wobei ein unterer Teil diagonal durchgestrichen sein kann, oder wie in 4d ungeteilt und diagonal durchgestrichen sein. 4a shows an example of a directional sign, here a front of a posted on a village entrance sign. The 4b to 4d show examples of a possible back of the village sign. The back can be like in the 4b and 4c be divided into two, with a lower part may be crossed diagonally, or as in 4d undivided and diagonal crossed out.

5a zeigt beispielhaft einen österreichischen Ortseingang, genauer eine Vorderseite einer österreichischen Ortstafel. 5b zeigt einen entsprechenden Ortsausgang, etwa eine durchgestrichene Rückseite der österreichischen Ortstafel. 5a shows an example of an Austrian town entrance, more precisely a front of an Austrian town sign. 5b shows a corresponding outskirts, such as a crossed-out back of the Austrian town sign.

Die in den 4a und 5a gezeigten Verkehrszeichen können mit anderen Szenenobjekten verwechselt werden, weil der jeweilige Verkehrszeicheninhalt, d. h. der gleichförmige Hintergrund mit Text, und die jeweilige rechteckige Zeichenform im Vergleich zu anderen Objekten wenig diskriminativ sind. Das kann dazu führen, dass die Verkehrszeichen nicht ausreichend gut erkannt werden oder bei der Erkennung nicht berücksichtigt werden, um zu verhindern, dass zu oft Zeichen erkannt werden, die nicht die entsprechende Bedeutung haben. Die Erkennungsleistung kann nun dadurch verbessert werden, dass die in den 4b, 4c, 4d und 5b gezeigten Rückseiten der Verkehrszeichen hinzugenommen werden, da sich die darauf abgebildeten Diagonalen deutlich von anderen Szenenobjekten oder -inhalten unterscheiden, zumal die Diagonalen in der Realität meist rot sind.The in the 4a and 5a shown traffic signs can be confused with other scene objects, because the respective traffic sign content, ie the uniform background with text, and the respective rectangular character form are less discriminative compared to other objects. This can lead to the traffic signs not being recognized sufficiently well or not taken into account in the recognition, in order to prevent too many characters from being recognized that do not have the corresponding meaning. The recognition performance can now be improved by the fact that in the 4b . 4c . 4d and 5b shown rear sides of the traffic signs are added because the diagonals shown there are clearly different from other scene objects or content, especially since the diagonals are usually red in reality.

Die 6a bis 9b zeigen Beispiele für verschiedene Vorschriftzeichen.The 6a to 9b show examples of different prescription characters.

6a zeigt eine Vorderseite eines Streckenverbotszeichens, hier einer Geschwindigkeitsbeschränkung. Die 6b und 6c zeigen die korrespondierenden Aufhebungszeichen, die beispielsweise jeweils einer Rückseite des Streckenverbotszeichens entsprechen können. 6a shows a front side of a route prohibition sign, here a speed limit. The 6b and 6c show the corresponding cancellation signs, which may correspond, for example, each one back of the route prohibition sign.

7a zeigt ebenfalls eine Vorderseite eines Streckenverbotszeichens, hier eines Überholverbots. 7b zeigt das entsprechende Aufhebungszeichen. 7a also shows a front of a route ban sign, here a passing ban. 7b shows the corresponding cancellation sign.

8a zeigt ein Streckenverbotsschild, das den Beginn einer Tempo-30-Zone kennzeichnet. In 8b ist ein das Ende der Tempo-30-Zone kennzeichnendes Aufhebungszeichen dargestellt, das beispielsweise auf der Rückseite des Streckenverbotsschilds aus 8b abgebildet ist. 8a shows a no-route sign that marks the beginning of a Tempo 30 zone. In 8b is the end of the Tempo 30 Zone indicative cancellation sign shown, for example, on the back of the distance prohibition sign off 8b is shown.

9a zeigt ein Halteverbotsschild, das den Beginn eines eingeschränkten Halteverbots für eine Zone kennzeichnet. In 9b ist ein Halteverbotsschild dargestellt, das ein Ende eines eingeschränkten Halteverbots für eine Zone kennzeichnet und beispielsweise einer Rückseite des Halteverbotsschilds aus 9a entspricht. 9a shows a no-stop sign that marks the beginning of a restricted stop for a zone. In 9b a holding prohibition sign is shown, which indicates an end of a restricted stop for a zone and, for example, a back of the no-hold sign 9a equivalent.

In 10a ist ein weiteres Beispiel für ein Richtzeichen, hier der Beginn eines verkehrsberuhigten Bereichs, dargestellt. 10b zeigt das korrespondierende Aufhebungszeichen.In 10a is another example of a directional sign, here the beginning of a traffic-calmed area, shown. 10b shows the corresponding cancellation sign.

11 zeigt ein ein Ablaufdiagramm eines Verfahrens 1100 zum Erkennen eines Verkehrszeichens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren 1100 kann beispielsweise von einer Vorrichtung, wie sie anhand der 1a bis 3 beschrieben ist, durchgeführt werden. Das Verfahren 1100 wird unter Verwendung zumindest einer ersten Kamera und einer zweiten Kamera für ein Fahrzeug durchgeführt. Dabei beträgt ein Winkel zwischen jeweiligen optischen Achsen der Kameras mindestens 25 Grad. 11 Fig. 1 shows a flowchart of a method 1100 for recognizing a traffic sign according to an embodiment of the present invention. The procedure 1100 For example, from a device such as those based on the 1a to 3 is described. The procedure 1100 is performed using at least a first camera and a second camera for a vehicle. An angle between the respective optical axes of the cameras is at least 25 degrees.

In einem Schritt 1102 wird unter Verwendung eines ersten Kamerasignals der ersten Kamera eine erste Ansicht des Verkehrszeichens bestimmt. Ferner wird im Schritt 1102 je nach Ausführungsform entweder zeitgleich oder mit zeitlichem Abstand zur Bestimmung der ersten Ansicht eine zweite Ansicht des Verkehrszeichens unter Verwendung eines zweiten Kamerasignals der zweiten Kamera bestimmt.In one step 1102 is determined using a first camera signal of the first camera, a first view of the traffic sign. Further, in step 1102 Depending on the embodiment, either at the same time or at a time interval for determining the first view, a second view of the traffic sign is determined using a second camera signal of the second camera.

Anschließend werden die beiden Ansichten in einem Schritt 1104 miteinander kombiniert, um das Verkehrszeichen zu erkennen.Subsequently, the two views in one step 1104 combined to recognize the traffic sign.

Die am Beispiel von Verkehrszeichen beschriebene Vorgehensweise kann je nach situativer Stellung einer Erkennungsaufgabe auch in anderen Anwendungsfällen eines Systems zur Erfassung eines Fahrzeugumfeldes genutzt werden. Bei Objekten, die kein Verkehrszeichen repräsentieren, können sich je nach geometrischer Ausdeckung der Objekte neben Vorder- und Rückansicht weitere Ansichten oder Seiten der Objekte ergeben, die zur Erkennung der Objekte genutzt werden können.The procedure described using the example of traffic signs can also be used in other applications of a system for detecting a vehicle environment, depending on the situational position of a recognition task. For objects that do not represent a traffic sign, additional views or pages of the objects that can be used to recognize the objects can appear next to the front and rear views, depending on the geometric coverage of the objects.

Aus einer einzelnen Ansicht eines Zeichens kann in einigen Fällen oft nicht eindeutig die Bedeutung des Zeichens erkannt werden. Als Beispiel sei ein Ortseingangszeichen in Deutschland erwähnt, wie es beispielhaft in 4a gezeigt ist. Dieses rechteckige Zeichen ist gelb und mit Schrift bedruckt. Beispielsweise kann ein gelbes Werbeplakat mit schwarzer Schrift einem solchen Ortseingangszeichen sehr ähnlich sehen. Dadurch kann es zu Fehlerkennungen kommen.From a single view of a character, the meaning of the character can often not be clearly recognized in some cases. As an example, a local entry in Germany mentioned, as exemplified in 4a is shown. This rectangular sign is yellow and printed with writing. For example, a yellow advertising billboard with black writing may look very similar to such a town entry sign. This can lead to error detection.

Auf einer Rückseite des Ortseingangszeichens ist in der Regel ein Ortsausgang abgebildet. Auch der Ortsausgang ist durch ein gelbes Zeichen gekennzeichnet, das jedoch beispielsweise eine rote Diagonale enthält, die den Ortsnamen durchkreuzt. Die beiden Ansichten zusammen in örtlicher Nähe können ein sehr starker Hinweis darauf sein, dass es sich bei dem Zeichen um einen Ortseingang handelt. Dies gilt in besonderem Maße auch für nicht deutsche Ortsbeschilderungen, die oft keine eindeutige Farbe aufweisen.On the back of the entrance sign is usually a local exit shown. The exit of the town is also indicated by a yellow sign, which, for example, contains a red diagonal which thwarts the place name. The two views together in close proximity may be a very strong indication that the sign is a village entrance. This is especially true for non-German Ortsbeschilderungen, which often have no clear color.

Wird das Zeichen in einer Kameraansicht nicht eindeutig erkannt, so kann die Erkennung des Zeichens örtlich später erneut durchgeführt werden. Dadurch kann ein systemischer Arbeitspunkt zwischen Erkennung, Nichterkennung, Fehlerkennung und Halluzination von Objekten, auch false positives genannt, positiv beeinflusst werden und ein im Vergleich zu einer Nichterkennung vorteilhaftes Systemverhalten erreicht werden.If the character is not clearly recognized in a camera view, the recognition of the character can be carried out locally later. As a result, a systemic operating point between detection, non-recognition, error detection and hallucination of objects, also called false positives, can be positively influenced and a system behavior that is advantageous in comparison with non-recognition can be achieved.

Durch die gleichzeitige Erkennung von Vorder- und Rückansichten von Zeichen ergeben sich auch Verbesserungen bei der Erkennung von Zonen wie etwa Tempo-30-Zonen oder Spielstraßen. Meist sind solche Zeichen in der Vorderansicht mit dem Zonenbeginn und in der Rückansicht mit einem Zonenende bedruckt, wie beispielsweise in den 8a bis 10b gezeigt.Simultaneous recognition of front and back views of characters also provides improvements in the detection of zones such as Tempo 30 Zones or Game Roads. Most such characters are printed in the front view with the beginning of the zone and in the rear view with a zone end, such as in the 8a to 10b shown.

Bei Geschwindigkeitsbeschränkungen oder Überholverboten sind ebenfalls Zonen bekannt. Dabei können am selben Zeichenständer sowohl die Beschränkung auf der vorderen Ansicht des Zeichenständers als auch das Aufhebungszeichen auf der Rückseite des Zeichenständers zu sehen sein. Die örtliche Nähe der verschiedenen Ansichten kann nun mittels des Verfahrens 1100 genutzt werden, um die Robustheit einer Verkehrszeichenerkennung zu erhöhen.There are also zones known for speed restrictions or overtaking bans. In this case, both the restriction on the front view of the sign stand and the cancellation sign on the back of the sign stand can be seen on the same sign stand. The local proximity of the different views can now by means of the method 1100 used to increase the robustness of traffic sign recognition.

Gemäß einem Ausführungsbeispiel basiert das Verfahren 1100 auf einer Kombination verschiedener Ansichten eines zu erkennenden Verkehrszeichens zur Verbesserung einer Erkennungsleistung eines Systems, wie es beispielsweise anhand von 2 beschrieben ist. Dabei kann die Kombination im Schritt 1104 in der Vorrichtung 108, auch Fusionsmodul genannt, mithilfe der verschiedenen Ansichten erzeugt werden, die je nach Ausführungsform von der Frontkamera 110, den Seitenkameras 112, 113, der Heckkamera 124 oder einer Kombination aus einzelnen oder mehreren dieser Kameras bereitgestellt werden. Die Informationen der verschiedenen Kameras 110, 112, 113 bzw. 124 werden geeignet interpretiert. Beispielsweise wird dabei eine Erkennung von Verkehrszeichen durchgeführt.According to one embodiment, the method is based 1100 on a combination of different views of a traffic sign to be recognized to improve a recognition performance of a system, as for example with reference to 2 is described. The combination in step 1104 in the device 108 , also called fusion module, can be generated using the different views, depending on the embodiment of the front camera 110 , the side cameras 112 . 113 , the rear camera 124 or a combination of one or more of these cameras. The information of the different cameras 110 . 112 . 113 respectively. 124 will be suitable interpreted. For example, a recognition of traffic signs is performed.

Bei der Fusion der Informationen aus den verschiedenen Ansichten werden beispielsweise zwei- oder dreidimensionale Positionen von Objekten relativ zum Fahrzeug und, alternativ oder zusätzlich, jeweilige Bedeutungen der Objekte genutzt, um eine kombinierte Interpretation zu erzeugen.For example, in merging the information from the different views, two- or three-dimensional positions of objects relative to the vehicle and, alternatively or additionally, respective meanings of the objects are used to produce a combined interpretation.

Es kann eine an einen Gegenverkehr gerichtete Signalisierung zur Interpretation einer Situation in der eigenen Fahrtrichtung genutzt werden.It can be used to an oncoming traffic signaling to interpret a situation in their own direction of travel.

Die Interpretation eines Bildinhalts kann je nach Ausführungsform separat in jeweiligen Bildern der Kameras 110, 112, 113, 124, zentral in der Vorrichtung 108 oder durch Kombination einer Auswahl von Informationsquellen wie den Kameras 110, 112, 113, 124 oder dem Steuergerät 203 an einer geeigneten Stelle im System 200 durchgeführt werden.Depending on the embodiment, the interpretation of an image content can be done separately in respective images of the cameras 110 . 112 . 113 . 124 , centrally in the device 108 or by combining a selection of information sources such as the cameras 110 . 112 . 113 . 124 or the controller 203 at a suitable location in the system 200 be performed.

Alternativ kann das Verfahren 1100 auch mit weniger Kameras als in 2 gezeigt durchgeführt werden, mindestens jedoch mit zwei. Denkbar sind beispielsweise folgende Kamerakombinationen.Alternatively, the method 1100 even with fewer cameras than in 2 shown, but at least two. Conceivable, for example, the following camera combinations.

Die Frontkamera 110 ist mit der Heckkamera 124 kombiniert. Die Frontkamera 110 ist angeordnet, um eine Vorderseite eines Verkehrszeichens aufzunehmen. Die Heckkamera 124 ist angeordnet, um eine Rückseite des Verkehrszeichens aufzunehmen.The front camera 110 is with the rear camera 124 combined. The front camera 110 is arranged to receive a front of a traffic sign. The rear camera 124 is arranged to receive a rear of the traffic sign.

Die Frontkamera 110 ist entweder mit einer Seitenkamera 112 bzw. 113, mit beiden Seitenkameras 112, 113 oder mit mehr als zwei Seitenkameras kombiniert. Die Seitenkameras sind angeordnet, um eine seitliche Vorderseite und, alternativ oder zusätzlich, eine seitliche Rückseite des Verkehrszeichens aufzunehmen.The front camera 110 is either with a side camera 112 respectively. 113 , with both side cameras 112 . 113 or combined with more than two side cameras. The side cameras are arranged to receive a lateral front side and, alternatively or additionally, a lateral rear side of the traffic sign.

Wie bereits beschrieben, kann ein Verkehrszeichen oder ein Objekt durch eine Kombination verschiedener Ansichten mittels des Verfahrens 1100 erkannt werden. Zur Detektion und Erkennung ausgedehnter Objekte können zusätzlich verschiedene Seitenansichten in verschiedenen Kameras miteinander kombiniert werden.As already described, a traffic sign or an object may be represented by a combination of different views by means of the method 1100 be recognized. In addition, different side views in different cameras can be combined to detect and recognize extended objects.

Ein Verkehrszeichen kann als eine besondere Ausgestaltung eines Objekts aufgefasst werden, das aufgrund seiner planen Form zu einer Vorder- und einer Rückansicht zusammenfällt.A traffic sign can be understood as a particular embodiment of an object, which coincides due to its plane shape to a front and a rear view.

Gemäß einem Ausführungsbeispiel kann das Verkehrszeichen durch eine Kombination von Interpretationen der Vorder- und Rückansichten erkannt werden. Die Vorderansicht repräsentiert dabei einen konkreten Zeicheninhalt, der erkannt werden soll, beispielsweise ein Ortseingangszeichen. Die Rückansicht repräsentiert entweder eine Rückseite des Verkehrszeichens, in Deutschland beispielsweise eine einfarbige graue Zeichenrückseite, oder ein korrespondierendes Gegenzeichen, etwa ein dem Ortseingangszeichen zugeordnetes Ortsausgangszeichen. Analoge Zusammenhänge ergeben sich beispielsweise bei Geschwindigkeitsbegrenzungen, Überholverboten und vielen weiteren bekannten Zeichenvarianten.According to one embodiment, the traffic sign may be recognized by a combination of interpretations of the front and rear views. The front view represents a concrete character content that is to be recognized, for example, a town entry sign. The rear view represents either a back of the traffic sign, in Germany, for example, a monochrome gray back of the character, or a corresponding counter character, such as a local exit character associated with the city entrance. Similar correlations arise, for example, with speed limits, overtaking prohibitions and many other known character variants.

Wird in einer Verkehrszeichenerkennungssituation sowohl ein vorderes Zeichen als auch ein korrespondierendes Gegenzeichen erkannt, so ist der Beginn oder das Ende einer örtlichen Zone sehr wahrscheinlich. Bei Zonenzeichen, wie sie beispielhaft in den 8a bis 9b gezeigt sind, sind Zonenbeginn und -ende in der Bedeutung selbst schon codiert. Explizite Zonen existieren beispielsweise für Geschwindigkeitsbeschränkungen (8a und 8b), Parkverbote, eingeschränkte Parkverbote (9a und 9b), verkehrsberuhigte Zonen (10a und 10b), Umweltzonen, Smogzonen und weitere länderspezifische Varianten.If both a front character and a corresponding counter character are detected in a traffic sign recognition situation, the beginning or the end of a local zone is very likely. For zonal signs, as exemplified in the 8a to 9b are shown, zone beginning and end are already coded in the meaning itself. Explicit zones exist, for example, for speed limits ( 8a and 8b ), Parking bans, restricted parking bans ( 9a and 9b ), low-traffic zones ( 10a and 10b ), Environmental zones, smog zones and other country-specific variants.

Auch bei Geschwindigkeitsbegrenzungen gibt es Bereiche, die über eine längere Strecke gelten. Gemäß einem Ausführungsbeispiel können ein Beginn und ein Ende einer solchen Strecke durch eine Kombination von Beschränkung und Aufhebungen an einem Zeichenständer erkannt werden, wenn für beide Fahrtrichtungen einer Straße die gleiche Beschränkung gilt. Die Betrachtung von Schilderrückseiten kommt dabei einer Mitbetrachtung einer für den Gegenverkehr geltenden Situation gleich. Dies kann sich durch eine darin enthaltene implizite Bestätigung vorteilhaft auf eine Erkennungsrate auswirken.Even with speed limits, there are areas that apply over a longer distance. According to an embodiment, a start and an end of such a route can be recognized by a combination of restriction and cancellation on a sign stand, if the same restriction applies to both directions of travel of a road. The consideration of the backs of a sign equals a consideration of a situation that applies to oncoming traffic. This may have an advantageous effect on a detection rate by an implicit confirmation contained therein.

Die Interpretation eines Verkehrszeicheninhalts kann alternativ auch in umgekehrter Reihenfolge erfolgen. Beispielsweise kann bei der Erkennung einer Vorderseite eines Ortsausgangsschilds als Rückseite ein korrespondierendes Ortseingangszeichen zur Kombination genutzt werden. Dieses Vorgehen eignet sich auch zur Erkennung von Verkehrszeichen mit schwachem, nicht eindeutigem Inhalt, wie beispielsweise einem in 6c gezeigten allgemeinen Aufhebungszeichen, dessen runde Form mit diagonalem Inhalt oft auch durch andere Objekte einer Verkehrssituation repräsentiert sein kann.The interpretation of a traffic sign content can alternatively be done in reverse order. For example, when recognizing a front side of a location exit sign as the back, a corresponding location entry sign can be used for the combination. This procedure is also suitable for the detection of traffic signs with weak, ambiguous content, such as an in 6c shown general Aufhebungszeichen whose circular shape with diagonal content can often be represented by other objects of a traffic situation.

12 zeigt ein Blockschaltbild einer Vorrichtung 108 zum Erkennen eines Verkehrszeichens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Bei der Vorrichtung 108 zum Erkennen eines Verkehrszeichens unter Verwendung zumindest einer ersten Kamera und einer zweiten Kamera für ein Fahrzeug kann es sich um eine vorangehend anhand der 1a bis 11 beschriebene Vorrichtung handeln. 12 shows a block diagram of a device 108 for recognizing a traffic sign according to an embodiment of the present invention. In the device 108 for recognizing a traffic sign using at least a first camera and a second camera for a vehicle, it may be a previously with reference to 1a to 11 act described device.

Die Vorrichtung 108 umfasst eine Bestimmungseinheit 1202, die ausgebildet ist, um eine erste Ansicht des Verkehrszeichens unter Verwendung eines ersten Kamerasignals der ersten Kamera zu bestimmen und eine zweite Ansicht des Verkehrszeichens unter Verwendung eines zweiten Kamerasignals der zweiten Kamera zu bestimmen. Beispielsweise ist die Bestimmungseinheit 1202 ausgebildet, um den anhand von 11 beschriebenen Verfahrensschritt 1102 unter Verwendung der Kamerasignale 118, 120, 128, 130 durchzuführen.The device 108 comprises a determination unit 1202 adapted to determine a first view of the traffic sign using a first camera signal of the first camera and to determine a second view of the traffic sign using a second camera signal of the second camera. For example, the determination unit 1202 trained to be based on 11 described method step 1102 using the camera signals 118 . 120 . 128 . 130 perform.

Ferner weist die Vorrichtung 108 eine Kombinationseinheit 1204 auf, die ausgebildet ist, um die erste Ansicht mit der zweiten Ansicht unter Verwendung der Kamerasignale zu kombinieren, um das Verkehrszeichen zu erkennen. Die Kombinationseinheit 1204 kann beispielsweise ausgebildet sein, um den anhand von 11 beschriebenen Verfahrensschritt 1104 unter Verwendung der Kamerasignale 118, 120, 128, 130 durchführen.Furthermore, the device 108 a combination unit 1204 configured to combine the first view with the second view using the camera signals to detect the traffic sign. The combination unit 1204 For example, it may be designed to be based on 11 described method step 1104 using the camera signals 118 . 120 . 128 . 130 carry out.

Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können die hier vorgestellten Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden. The embodiments described and shown in the figures are chosen only by way of example. Different embodiments may be combined together or in relation to individual features. Also, an embodiment can be supplemented by features of another embodiment. Furthermore, the method steps presented here can be repeated as well as executed in a sequence other than that described.

Umfasst ein Ausführungsbeispiel eine „und/oder“ -Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.If an exemplary embodiment comprises a "and / or" link between a first feature and a second feature, then this is to be read so that the embodiment according to one embodiment, both the first feature and the second feature and according to another embodiment either only first feature or only the second feature.

Claims

Procedure ( 1100 ) for recognizing a traffic sign ( 106 ) using at least a first camera ( 110 ) and a second camera ( 112 ) for a vehicle ( 100 ), wherein an angle between an optical axis ( 114 ) of the first camera ( 110 ) and an optical axis ( 116 ) of the second camera ( 112 ) is at least 25 degrees, the method ( 1100 ) comprises the following steps: determining ( 1102 ) a first view of the traffic sign ( 106 ) using a first camera signal ( 118 ) of the first camera ( 110 ) and a second view of the traffic sign ( 106 ) using a second camera signal ( 120 ) of the second camera ( 112 ); and Combine ( 1104 ) of the first view and the second view to the traffic sign ( 106 ) to recognize.

Procedure ( 1100 ) according to claim 1, wherein in the step of determining ( 1102 ) using the first view one in the direction of travel ( 104 ) of the vehicle ( 100 ) valid traffic sign content ( 122 ) of the traffic sign ( 106 ) and using the second view in the opposite direction ( 132 ) of the vehicle ( 100 ) valid traffic sign content ( 131 ) of the traffic sign ( 106 ), wherein in the step of combining ( 1104 ) in the direction of travel ( 104 ) valid traffic sign content ( 122 ) using the in the opposite direction ( 132 ) traffic sign content ( 131 ) is made plausible.

Procedure ( 1100 ) according to claim 2, wherein in the step of combining ( 1104 ) in the direction of travel ( 104 ) valid traffic sign content ( 122 ) is recognized as plausible if the vehicle is in the opposite direction ( 132 ) valid traffic sign content ( 131 ) one in the opposite direction ( 132 ) applicable cancellation of the direction of travel ( 104 ) traffic sign content ( 122 ).

Procedure ( 1100 ) according to one of the preceding claims, wherein in the step of determining ( 1102 ) the first view using a first camera signal provided at a first time ( 118 . 120 ) and the second view using a second camera signal provided at a second time ( 128 . 130 ) is determined.

Procedure ( 1100 ) according to one of the preceding claims, wherein in the step of determining ( 1102 ) the first view as a front view of the traffic sign ( 106 ) and the second view as a rear view and / or a side rear view and / or a side front view of the traffic sign ( 106 ), wherein in the step of combining ( 1104 ) the front view is combined with the rear view and / or the lateral rear view and / or the lateral front view.

Procedure ( 1100 ) according to one of the preceding claims, comprising a step of reading in the first camera signal ( 118 ) of at least one front camera ( 110 ) of the vehicle ( 100 ) and the second camera signal ( 120 ) of at least one rear-view camera ( 124 ) and / or at least one left side camera ( 113 ) and / or at least one right side camera ( 112 ) of the vehicle ( 100 ).

Procedure ( 1100 ) according to one of the preceding claims, comprising a step of receiving a driving status information about a Driving condition of the vehicle ( 100 ) and / or position information about a position of the traffic sign ( 106 ) relative to the vehicle ( 100 ), wherein in the step of combining ( 1104 ) the first view is further combined using the driving condition information and / or the position information with the second view.

Procedure ( 1100 ) according to one of the preceding claims, wherein in the step of determining ( 1102 ) at least one more view of the traffic sign ( 106 ) using at least one further camera signal ( 130 ) at least one further camera ( 124 ) for the vehicle ( 100 ), wherein in the step of combining ( 1104 ) the first view and / or the second view is combined with the further view.

Procedure ( 1100 ) according to one of the preceding claims, wherein in the step of determining ( 1102 ) the first view of the traffic sign ( 106 ) and the second view of the traffic sign ( 106 ) simultaneously captured views of the traffic sign ( 106 ).

Computer program adapted to perform all steps of a procedure ( 1100 ) according to one of the preceding claims.

A machine-readable storage medium having a computer program stored thereon according to claim 10.

Contraption ( 108 ) for recognizing a traffic sign ( 106 ) using at least a first camera ( 110 ) and a second camera ( 112 ) for a vehicle ( 100 ), wherein an angle between an optical axis ( 114 ) of the first camera ( 110 ) and an optical axis ( 116 ) of the second camera ( 112 ) is at least 25 degrees, the device ( 108 ) has the following features: a determination unit ( 1202 ) which is adapted to provide a first view of the traffic sign ( 106 ) using a first camera signal ( 118 ) of the first camera ( 110 ) and a second view of the traffic sign ( 106 ) using a second camera signal ( 120 ) of the second camera ( 112 ) to determine; and a combination unit ( 1204 ) which is adapted to combine the first view and the second view to the traffic sign ( 106 ) to recognize.

Vehicle ( 100 ) with the following features: a first camera ( 110 ) with a first optical axis ( 114 ) and a second second camera ( 112 ) with a second optical axis ( 116 ), whereby the cameras ( 110 ) on the vehicle ( 100 ) having an angle (□) between the first optical axis ( 114 ) and the second optical axis ( 116 ) is at least 25 degrees; and a device ( 108 ) according to claim 12.