DE102008054041B3

DE102008054041B3 - Method for outputting of image of image recording device with information to display device i.e. LCD-device, in motor vehicle i.e. passenger car, involves considering intensity of image recorded by recording device as image information

Info

Publication number: DE102008054041B3
Application number: DE102008054041A
Authority: DE
Inventors: Gernot Rüb; Kristin Schönherr
Original assignee: Audi AG; Audi Electronics Venture GmbH
Current assignee: Audi AG; Audi Electronics Venture GmbH
Priority date: 2008-10-31
Filing date: 2008-10-31
Publication date: 2010-06-10
Anticipated expiration: 2028-11-01

Abstract

The method involves detecting information under consideration of image information of an image recorded by an image recording device (3), where the information relates to traffic signs in a vehicle front end. The recording device is designed as a photonic mixer device-camera, and signal intensity of the image recorded by the recording device is considered as the image information. The representation of a partial area of the image or symbol representation is enlarged during approximation of a motor vehicle (1) to the traffic signs. An independent claim is also included for a motor vehicle comprising two image recording devices and a control device.

Description

Die Erfindung betrifft ein Verfahren zur kombinierten Ausgabe eines das Fahrzeugvorfeld eines Kraftfahrzeugs zeigenden Bildes einer ersten Bildaufnahmeeinrichtung mit wenigstens einer ein im Fahrzeugvorfeld befindliches Verkehrszeichen betreffenden Information an einer Anzeigeeinrichtung in einem Kraftfahrzeug, wobei die Information unter Berücksichtigung wenigstens einer Bildinformation eines mit einer zweiten Bildaufnahmeeinrichtung erfassten Bildes ermittelt wird.The The invention relates to a method for the combined output of a the vehicle apron of a motor vehicle image showing a first image recording device with at least one in the vehicle apron located traffic sign information on a display device in a motor vehicle, taking into account the information at least one image information of a second image recording device detected image is determined.

Von der Fahrerunterstützung dienenden Navigationseinrichtungen ist es bekannt, den Fahrer auch auf Gefahrensituationen hinzuweisen. Beispielsweise kann die Navigationseinrichtung vor einer scharfen Kurve, vor einer Kreuzung mit einem Vorfahrt-Achten-Gebot oder auch vor einer in einem Streckenabschnitt einzuhaltenden Geschwindigkeitsbegrenzung warnen. Hierfür ist allerdings notwendig, dass das zugrundeliegende Datenmaterial regelmäßig aktualisiert wird. Gerade im Bereich von Baustellen oder anderen zeitlich begrenzt vorhandenen Hindernissen führt dies zu einem unverhältnismäßigen Aufwand, um die Daten aktuell zu halten.From the driver assistance serving navigation devices, it is known to the driver as well to point to dangerous situations. For example, the navigation device in front of a sharp turn, before a crossroads with a right of way-eighth bid or even before a speed limit to be met in a section of the route to warn. Therefor However, it is necessary that the underlying data be updated regularly becomes. Especially in the field of construction sites or other temporary existing obstacles this at a disproportionate expense, to keep the data up to date.

Geschwindigkeitsbegrenzungen und andere das Verkehrsgeschehen betreffende Regelungen werden dem Fahrer üblicherweise in Form von Verkehrszeichen übermittelt. Solche Verkehrszeichen finden sich auch als Warnhinweise vor Baustellen und anderen Hindernissen und weisen beispielsweise auf Geschwindigkeitsbegrenzungen hin. Es ist daher bekannt, in den Bilddaten einer Kamera eine Mustererkennung durchzuführen, um im Bild vorhandene Verkehrszeichen bestimmen zu können. Dieses Vorgehen ist allerdings rechenaufwendig und unzuverlässig, da die Verkehrszeichenerkennung stark von der Auflösung der Kamera, dem Bildhintergrund und der Form und Farbe des Verkehrszeichens beeinflusst wird.speed limits and other traffic related regulations will be Driver usually transmitted in the form of traffic signs. Such traffic signs can also be found as warnings before construction sites and other obstacles and, for example, point to speed limits out. It is therefore known in the image data of a camera pattern recognition perform, to be able to determine existing traffic signs in the image. This procedure However, it is computationally expensive and unreliable because the traffic sign recognition strong from the resolution the camera, the image background and the shape and color of the traffic sign being affected.

DE 10 2007 004 349 A1 betrifft ein Kamerasystem mit einer Infrarot-Beleuchtungseinrichtung, einer Infrarot-(mager-Kamera und einer PMD-Kamera. Mittels der Daten der PMD-Kamera kann das Bild der Infrarot-Imager-Kamera mit Entfernungsdaten oder Tiefeninformationen versehen werden. DE 10 2007 004 349 A1 concerns a camera system including an infrared illuminator, an infrared (lean camera and a PMD camera.) By means of the data of the PMD camera, the image of the infrared imager camera can be provided with distance data or depth information.

DE 10 2004 061 998 A1 offenbart eine Stereokamera für ein Kraftfahrzeug, bestehend aus einer ersten Kamera und einer zweiten Kamera, wobei die Kameras in wenigstens einer Kameraeigenschaft unterschiedlich sind. Zur Verkehrszeichenerkennung wird in den Bilddaten der zweiten Kamera eine Mustererkennung durchgeführt. Dementsprechend erkannte Verkehrszeichen werden in der Anzeigeeinrichtung des Kraftfahrzeugs angezeigt. DE 10 2004 061 998 A1 discloses a stereo camera for a motor vehicle, comprising a first camera and a second camera, the cameras being different in at least one camera characteristic. For traffic sign recognition, pattern recognition is performed in the image data of the second camera. Correspondingly recognized traffic signs are displayed in the display device of the motor vehicle.

Aus der DE 10 2006 008 656 A1 ist ein Kraftfahrzeug mit einer Einrichtung zur Verkehrszeichenerkennung bekannt, die eine Kamera und eine Steuerungseinrichtung umfasst. Zur Verkehrszeichenerkennung weist die Steuerungseinrichtung geeignete Detektionsalgorithmen auf, mit denen die Verkehrszeichen auf den Bilddaten der Kamera extrahiert werden. Die Darstellung der Verkehrszeichen wird an einem Display in Abhängigkeit der Wahrscheinlichkeit der Richtigkeit der Erfassung des Verkehrszeichens vorgenommen.From the DE 10 2006 008 656 A1 a motor vehicle is known with a device for traffic sign recognition, which comprises a camera and a control device. For traffic sign recognition, the control device has suitable detection algorithms with which the traffic signs on the image data of the camera are extracted. The representation of the traffic signs is made on a display depending on the probability of correctness of the detection of the traffic sign.

DE 197 36 774 A1 beschreibt ein Verfahren zur Informationsanzeige in einem Kraftfahrzeug, bei dem Ausschnitte des Bildes einer kraftfahrzeugseitigen Kamera an einer Anzeigeeinheit dargestellt werden. Im Bildausschnitt ist ein Verkehrszeichen abgebildet, wobei zur Information des Fahrers auch Zusatzinformationen angezeigt werden können. DE 197 36 774 A1 describes a method for displaying information in a motor vehicle, in which sections of the image of a vehicle-side camera are displayed on a display unit. In the image section, a traffic sign is shown, with additional information can be displayed for information of the driver.

Der Erfindung liegt damit die Aufgabe zugrunde, ein Verfahren der eingangs genannten Art anzugeben, mit dem eine Verkehrszeichenerkennung in ei nem Bild schneller und verbessert erfolgen kann, um dem Fahrer entsprechende Informationen anzeigen zu können.Of the Invention is therefore the object of a method of the initially specify type mentioned, with a traffic sign recognition in A picture can be made faster and improved to the driver to be able to display corresponding information.

Zur Lösung der Aufgabe ist bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass die zweite Bildaufnahmeeinrichtung als Photonic Mixer Device-Kamera ausgebildet ist und als Bildinformation die Signalintensität des durch die zweite Bildaufnahmeeinrichtung aufgenommenen Bildes berücksichtigt wird.to solution the object is provided according to the invention in a method of the type mentioned, that second image capture device as a photonic mixer device camera is formed and as image information, the signal intensity of the second image pickup device recorded image taken into account becomes.

Erfindungsgemäß ist also vorgesehen, statt einer aufwendigen Mustererkennung in einem Bild Informationen aus einer zweiten Quelle heranzuziehen, um den relevanten Bildbereich im Bild der ersten Bildaufnahmeeinrichtung einzugrenzen. Hierbei ist es selbstverständlich notwendig, dass die Bilddaten, die mit der zweiten Bildaufnahmeeinrichtung aufgenommen werden, andere Eigenschaften oder Merkmale aufweisen, als die Bilder der ersten Bildaufnahmeeinrichtung. Hierbei wird eine sogenannte Photonic Mixer Device (PMD)-Kamera als zweite Bildaufnahmeeinrichtung verwendet. PMD-Kameras senden moduliertes Infrarotlicht aus, um die Reflexionssignale zu erfassen. Aufgrund von Laufzeitunterschieden können einzelnen Bildelementen Entfernungsangaben zugeordnet werden.According to the invention is thus provided, instead of a complex pattern recognition in an image information from a second source to the relevant image area to be included in the image of the first image recording device. in this connection it goes without saying necessary that the image data with the second image capture device be absorbed, have other properties or characteristics, as the images of the first image pickup device. This is a so-called photonic mixer device (PMD) camera as a second image recording device used. PMD cameras emit modulated infrared light to accept the reflection signals to capture. Due to runtime differences, individual picture elements can Distance information can be assigned.

Erfindungsgemäß wird als Bildinformation die Signalintensität des durch die zweite Bildaufnahmeeinrichtung aufgenommenen Bildes berücksichtigt. Während aufgrund der Laufzeitunterschiede eine Entfernung bestimmt werden kann, weist das Infrarotlicht als elektromagnetische Welle ebenfalls eine Amplitude oder Signalstärke auf, die im aus diesen Signalen gewonnenen Bild als Signalintensität zu Tage tritt. Die Signalstärke des reflektierten Infrarotlichts hängt dabei im Wesentlichen von den Reflexionseigenschaften der im Bild abgebildeten Objekte ab. Verkehrszeichen haben einerseits eine ebene Fläche und sind andererseits in der Regel als Retroreflektor ausgebildet, weshalb sie einen besonders hohen Reflexionsgrad aufweisen und dementsprechend die Signalstärke des an einem Verkehrszeichen reflektierten Infrarotlichts besonders hoch ist. Daher weist eine be sonders hohe Signalstärke im Bild einer PMD-Kamera auf ein Verkehrszeichen hin.According to the invention, the signal intensity of the image recorded by the second image recording device is taken into account as image information. While a distance can be determined due to the differences in transit time, the infrared light as the electromagnetic wave also has an amplitude or signal strength which in the image obtained from these signals as signal intensity Days occurs. The signal strength of the reflected infrared light depends essentially on the reflection properties of the objects depicted in the image. Traffic signs on the one hand have a flat surface and on the other hand are usually designed as a retroreflector, which is why they have a particularly high reflectance and accordingly the signal strength of the infrared light reflected at a traffic sign is particularly high. Therefore, a particularly high signal strength in the image of a PMD camera indicates a traffic sign.

Mit besonderem Vorteil kann als Information ein das Verkehrszeichens enthaltender und im Vergleich zum Rest des Bildes vergrößert dargestellter Teilbereich des Bildes der ersten Bildaufnahmeeinrichtung verwendet werden. Zur Übertragung der Bildinformation des mit der zweiten Bildaufnahmeeinrichtung aufgenommenen Bildes auf das Bild der ersten Bildaufnahmeeinrichtung ist selbstverständlich eine Registrierung der beiden Bildaufnahmeeinrichtungen notwendig sowie eine Kenntnis der jeweiligen Bildauflösungen. Bei Bekanntsein dieser Größen ist es dann verhältnismäßig einfach, einen Bereich hoher Signalintensität im mit der zweiten Bildaufnahmeeinrichtung aufgenommenen Bild auf das Bild der ersten Bildaufnahmeeinrichtung zu übertragen.With particular advantage can be as information a the traffic sign containing and enlarged compared to the rest of the image displayed subarea the image of the first image pickup device can be used. For transmission the image information of the second image pickup device recorded image on the image of the first image pickup device is of course one Registration of the two image recording devices necessary as well a knowledge of the respective image resolutions. If you know this It's the size then relatively easy, a high signal intensity area im with the second image pickup device recorded image on the image of the first image pickup device transferred to.

Vorteilhafterweise kann als Geometrie des Teilbereichs eine quadratische Form verwendet werden. Alternativ ist auch möglich, dass die Geometrie des Teilbereichs an die Geometrie des Verkehrszeichens angepasst wird. Die Verwendung einer quadratischen Form erlaubt in besonders einfacher und schneller Weise, im Bild der ersten Bildaufnahmeeinrichtung einen entsprechenden Teilbereich auszuwählen. Beispielsweise kann im mit der zweiten Bildaufnahmeeinrichtung erfassten Bild ein Schwellwert gesetzt werden, mit dem zwischen einer für ein Verkehrszeichen stehenden Signalintensität und niedrigeren Werten unterschieden werden kann. Gegebenenfalls kann als zusätzliche Information die aus einer PMD-Kamera zusätzlich gelieferte Entfernungsangabe mit einbezogen werden, um hohe Signalintensitäten naher Objekte nicht fälschlicherweise als Verkehrszeichen zu interpretieren. Mittels des Schwellwerts oder auch weitergehender Informationen kann jedenfalls eine Maske erzeugt werden, die auf das Bild der ersten Bildaufnahmeeinrichtung übertragen werden kann. Um diese Maske herum können dann weitere Bildelemente ebenfalls mit ausgewählt werden, so dass sich insgesamt ein quadratischer Teilbereich ergibt. Dieser quadratische Teilbereich kann dann mit Softwaremitteln vergrößert werden, um ihn an beliebiger Stelle dem Bild der ersten Bildaufnahmeeinrichtung überlagert an der Anzeigeeinrichtung im Kraftfahrzeug darzustellen. Dadurch wird es möglich, dem Fahrer Verkehrsschilder bereits in einer Entfernung gut identifizierbar auf der Anzeigeeinrichtung darzustellen, in der sie ohne Hilfsmittel noch nicht erkennbar sind. Zusätzlich wird durch die vergrößerte Darstellung erreicht, dass die Aufmerksamkeit des Fahrers auf die das Verkehrszeichen darstellende Information gelenkt wird, um ihn so vor möglichen Gefahren zu warnen. Um das in der Anzeigeeinrichtung darzustellende Bild aber nicht mit zuviel unnützer Information zu bedecken, kann alternativ wie oben bereits beschrieben auch vorgesehen sein, die Geometrie des Teilbereichs an die Geometrie des Verkehrszeichens anzupassen und somit den vergrößert dargestellten Bereich auf die minimal notwendige Fläche zu beschränken. Somit wird nur diejenige Information vergrößert dargestellt, die auch benötigt wird.advantageously, can use a square shape as the geometry of the section become. Alternatively, it is also possible that the geometry of the subsection to the geometry of the traffic sign is adjusted. The use of a square shape allowed in a particularly simple and fast way, in the image of the first image recording device to select a corresponding subarea. For example, in the Image detected with the second image pickup device set a threshold value be with that between a for distinguished a traffic signal signal intensity and lower values can be. Optionally, as additional information from a PMD camera in addition supplied distance indication to be close to high signal intensities Objects not mistakenly to interpret as a traffic sign. By means of the threshold value or further information can be a mask are generated, which transfer to the image of the first image pickup device can be. Around this mask can then more pixels also with selected so that a total of a quadratic sub-range results. This quadratic subarea can then be enlarged by software means, superimposed on it at any point the image of the first image pickup device to be displayed on the display device in the motor vehicle. This will it is possible Road signs are already clearly identifiable to the driver at a distance on the display device, where they still without aids are not recognizable. additionally is through the enlarged view that attains the driver's attention to the traffic sign Information is directed to warn him of potential dangers. But not to the displayed in the display device image with too much useless Alternatively, to cover information may alternatively as already described above also be provided, the geometry of the subsection to the geometry adapt the traffic sign and thus the enlarged shown Restrict area to the minimum necessary area. Consequently Only the information that is needed is shown enlarged.

Die Vergrößerung eines Teilbereichs des Bildes der ersten Bildaufnahmeeinrichtung kann allerdings dann problematisch sein, wenn das in dem Teilbereich vorhandene Verkehrszeichen noch sehr weit entfernt ist und somit aus wenigen Bildelementen besteht. Eine zu hohe Vergrößerung führt dann leicht zu Verschmierungen und einem unschönen Aussehen. Daher kann als Information eine sich auf das Verkehrszeichen beziehende Symboldarstellung verwendet werden. Dies erlaubt im Gegensatz zur Verwendung eines Teilbereichs des Bildes eine Darstellung, die nicht durch mögliche Vergrößerungsartefakte behaftet ist. Dabei kann entweder das Verkehrszeichen in seiner vorliegenden Form als Symbol dargestellt werden, zur Vereinfachung ist es aber auch denkbar, lediglich auf eine sich nähernde Geschwindigkeitsbeschränkung hinzuweisen, ohne bereits eine Angabe über die einzuhaltende Geschwindigkeit selbst zu treffen. Der Fahrer wird also lediglich darauf hingewiesen, ein sich näherndes Verkehrszeichen zu beachten.The Magnification of a Part of the image of the first image pickup device can but then be problematic, if that in the subarea existing traffic signs is still very far away and thus consists of a few pixels. Too high a magnification then leads easy to smudges and unsightly appearance. Therefore, as Information is a symbol representation relating to the traffic sign be used. This allows unlike the use of a Subarea of the image is a representation that is not due to possible magnification artifacts is afflicted. It can either the traffic sign in his present form as a symbol, for simplicity but it is also conceivable to point out only an approaching speed limit, without already an indication about to meet the speed to be met itself. The driver is therefore merely pointed out, an approaching Note traffic signs.

Es ist allerdings nicht jedes Verkehrszeichen zu jeder Tages- oder Nachtzeit oder auch Jahreszeit relevant. Vielmehr beziehen sich manche Geschwindigkeitsbeschränkungen lediglich auf bestimmte Uhrzeiten, und auch Glatteiswarnungen sind in den Sommermonaten weniger relevant. Vorzugsweise kann daher das Verkehrszeichen klassifiziert und in Abhängigkeit hiervon die Darstellung der Information vorgenommen werden. Im Falle von zeitbezoge nen Geschwindigkeitsbegrenzungen ist es sinnvoll, zu einem Zeitpunkt, der nicht innerhalb des geschwindigkeitsbegrenzten Zeitbereichs liegt, den Anfangs- und Endzeitpunkt darzustellen, um den Fahrer darüber zu informieren, wann die Geschwindigkeitsbegrenzung zu beachten ist. Die zu beachtende Geschwindigkeitsbegrenzung ist allerdings zu Zeitpunkten, an denen sie nicht gilt, irrelevant und muss daher nicht hervorgehoben dargestellt werden. Auch ein Verkehrszeichen, das vor Schneefall warnt, muss in den Sommermonaten nicht die Aufmerksamkeit des Fahrer beanspruchen und wird daher lediglich minimal vergrößert oder beispielsweise als kleines Symbol dargestellt. Im Vergleich zu einem solchen aktuell irrelevanten Symbol kann beispielsweise eine geltende Geschwindigkeitsbegrenzung mit doppelter Seitengröße dargestellt werden. Alleine durch die Größendarstellung erhält der Fahrer gleichzeitig eine Information über die Relevanz des im Bild abgebildeten Verkehrsschildes. Die Zeit ist z. B. seitens des Navigationsgeräts ohnehin bekannt oder kann z. B. von einer fahrzeugseitigen Uhr abgegriffen werden. In einer einfachen Ausgestaltung kann die Klassifikation in Abhängigkeit des Vorhandenseins einer roten Umrandung des Verkehrszeichens durchgeführt werden. Derartig ausgestaltete Verkehrszeichen sollen den Fahrer nämlich darauf hinweisen, dem Verkehrszeichen gesonderte Beachtung zu schenken. Im Gegensatz zu einem „Vorfahrt”-Verkehrszeichen, dessen Missachtung für den Fahrer keinerlei Konsequenzen nach sich zieht, da er selbst die Vorfahrtstraße befährt, ist die Beachtung des Verkehrszeichens „Vorfahrt gewähren” von erheblicher Wichtigkeit, da eine Missachtung dieses Verkehrszeichens möglicherweise einen Unfall nach sich zieht, als deren Verursacher dann der Fahrer des Kraftfahrzeugs anzusehen ist. Insofern ist über die Untersuchung des das Verkehrszeichen aufweisenden Bildbereichs, ob das Verkehrszeichen einen roten Rand aufweist oder nicht, bereits eine einfach vorzunehmende, aussagekräftige und sichere Vorklassifikation möglich.However, not every traffic sign is relevant at any time of day or night or season. Rather, some speed limits only relate to certain times, and even black ice warnings are less relevant in the summer months. Preferably, therefore, the traffic sign can be classified and, depending on this, the presentation of the information can be made. In the case of time-related speed limits, it makes sense to represent the start and end times at a time that is not within the speed-limited time range to inform the driver when to observe the speed limit. However, the speed limit to be observed is irrelevant at times when it does not apply and therefore does not need to be highlighted. Even a traffic sign that warns of snowfall, does not need the attention of the driver in the summer months and is therefore only minimally enlarged or represented as a small icon, for example. Compared to such a currently irrele For example, the top icon may display an applicable double page size speed limit. The size representation alone gives the driver information about the relevance of the traffic sign shown in the picture. The time is z. B. on the part of the navigation device anyway known or z. B. be picked up by a vehicle-mounted clock. In a simple embodiment, the classification can be carried out depending on the presence of a red border of the traffic sign. Such traffic signals designed to alert the driver to pay special attention to the traffic sign. In contrast to a "right of way" traffic sign, the negligence of which does not entail any consequences for the driver, since he himself drives the priority road, the observance of the "grant right of way" sign is of considerable importance, since a disregard for this traffic sign may be an accident pulls themselves, as the causer then the driver of the motor vehicle is to be considered. In this respect, the examination of the image area having the traffic sign, whether or not the traffic sign has a red border, already makes possible a simple, meaningful and reliable preclassification.

Vorzugsweise kann die Darstellung des Teilbereichs oder der Symboldarstellung bei Annäherung des Kraftfahrzeugs an das durch die erste Bildaufnahmeeinrichtung erfasste Verkehrszeichen unterproportional vergrößert und/oder ihre Farbe und/oder ihre Transparenz verändert werden. Wird das Verkehrszeichen bereits aus großer Entfernung stark vergrößert dargestellt, entweder indem der Teilbereich stark vergrößert wird oder indem die Symboldarstellung im Vergleich zur tatsächlichen Größe stark vergrößert ist, ist eine proportionale Vergrößerung des Teilbereichs oder der Symboldarstellung im Vergleich zum im Bild abgebildeten Verkehrszeichen nicht sinnvoll. Da bei Verwendung einer PMD-Kamera eine Entfernungsangabe vorliegt, kann statt einer proportionalen eine entfernungsabhängige Vergrößerung gewählt werden. Durch die Farb- oder Transparenzänderung kann dem Fahrer eine zusätzliche Entfernungsangabe übermittelt werden, ohne einen Zahlenwert in der Anzeigevorrichtung darstellen zu müssen. Dadurch können dem Fahrer Zusatzinformationen gegeben werden, ohne seine Aufmerksamkeit vermehrt zu beanspruchen.Preferably can be the representation of the subarea or symbol representation when approaching of the motor vehicle to the through the first image pickup device recorded traffic signs increased proportionally and / or their color and / or changed their transparency become. If the traffic sign is already shown enlarged from a great distance, either by greatly enlarging the subarea or by rendering the icons compared to the actual Size strong is enlarged, is a proportional enlargement of the Subarea or symbol representation compared to the image pictured traffic sign does not make sense. Because when using a PMD camera is given a distance indication, instead of a proportional a distance-dependent Magnification be selected. By the color or transparency change can send the driver an additional distance indication be represent without a numerical value in the display device to have to. Thereby can The driver will be given additional information without his attention to claim more.

Für den Kraftfahrer am wichtigsten ist zumeist das oder die nächsten Verkehrszeichen. Um dem Rechnung zu tragen, kann die Information ab einem vorgegebenen Abstand des Kraftfahrzeugs zu dem Verkehrszeichen angezeigt werden. Für bereits im Bild der ersten Bildaufnahmeeinrichtung vorhandene, aber noch weit vom Kraftfahrzeug entfernte Verkehrsschilder besteht im Allgemeinen kein Interesse, Informationen zu erhalten. Die abstandsabhängige Darstellung der Information kann daher eine Irritation des Fahrers sowie auch eine Reizüberflutung vermeiden.For the driver most important is usually the one or more traffic signs. To the The information can be taken from a given distance of the motor vehicle are displayed to the traffic sign. For already in the Image of the first image capture device available, but still far Road signs removed from the motor vehicle generally exist no interest in receiving information. The distance-dependent representation The information can therefore be an irritation of the driver as well avoid sensory overload.

Daneben betrifft die Erfindung auch ein Kraftfahrzeug, umfassend wenigstens zwei Bildaufnahmeeinrichtungen, eine Steuerungseinrichtung und eine Anzeigeeinrichtung. Mit besonderem Vorteil kann eine Bildaufnahmeeinrichtung als Photonic Mixer Device-Kamera ausgebildet sein. Derartige Kameras liefern unter anderem auch Entfernungsangaben und ergänzen die aus sozusagen normalen Kameras gewonnen Daten somit.Besides The invention also relates to a motor vehicle comprising at least two image recording devices, a control device and a Display means. With particular advantage, an image recording device be designed as a photonic mixer device camera. Such cameras Among other things, they also provide distance information and complete the from normal cameras so to speak data thus won.

Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Dabei zeigen:Further Advantages, features and details of the invention will become apparent the embodiments described below and with reference to the Drawings. Showing:

1 ein erfindungsgemäßes Kraftfahrzeug, 1 a motor vehicle according to the invention,

2 eine mit einem Bild erzeugte Maskeninformation, 2 a mask information generated with an image,

3 die Darstellung einer kombinierten Ausgabe an einer Anzeigeeinrichtung in einer ersten Ausführungsform, 3 the representation of a combined output on a display device in a first embodiment,

4 die Darstellung einer kombinierten Ausgabe an einer Anzeigeeinrichtung in einer zweiten Ausführungsform, und 4 the representation of a combined output on a display device in a second embodiment, and

5 die Darstellung einer kombinierten Ausgabe an einer Anzeigeeinrichtung in einer dritten Ausführungsform. 5 the representation of a combined output on a display device in a third embodiment.

Das Kraftfahrzeug 1 gemäß 1 weist neben den Bildaufnahmeeinrichtungen 2 und 3 auch eine Anzeigeeinrichtung 4 und eine Steuerungseinrichtung 15 auf. Bei der Bildaufnahmeeinrichtung 3 handelt es sich um eine PMD-Kamera, aus deren Daten sich neben Signalintensitäten auch Entfernungsangaben gewinnen lassen.The car 1 according to 1 points next to the image capture devices 2 and 3 also a display device 4 and a controller 15 on. In the image pickup device 3 it is a PMD camera, from whose data not only signal intensities but also distances can be obtained.

Diese Daten sind daher gut dafür geeignet, in den Bilddaten enthaltene Verkehrszeichen bzw. durch Verkehrszeichen belegte Bereiche zu identifizieren. Verkehrszeichen sind ebene, glatte Gebilde, die zusätzlich aus reflektierendem Material hergestellt werden und die senkrecht zur Fahrbahnrichtung aufgestellt sind. Daher ist in Bildern von PMD-Kameras die Signalintensität von Verkehrsschildern im Vergleich zu anderen Objekten gleiche Entfernung besonders hoch. Aus dem Bild 5 der Bildaufnahmeeinrichtung 3, also der PMD-Kamera, kann somit durch einfache Schwellwertbenutzung ein Bereich 6 und ein Bereich 7 unterschieden werden, wie in 2 zu sehen ist. Im Bereich 6 sind Bildelemente geringerer Signalintensität anzutreffen, während im Bereich 7 eine höhere Signalintensität der Bildelemente vorliegt. Im Bereich 7 ist daher höchstwahrscheinlich ein Verkehrszeichen abgebildet. Sollte eine derartige einfache Schwellwertsetzung nicht ausreichend sein, kann zusätzlich die zu den Bildelementen vorhandene Entfernungsinformation genutzt werden. Dann müsste außer der Signalintensität auch noch ein gewisser Entfernungsabstandswert überschritten werden, um den Bereich 7 vom Be reich 6 zu unterscheiden. Selbstverständlich könnem auch mehrere Bereiche 7 im Bild 5 vorhanden sein, je nachdem wie viel Verkehrszeichen sich im Aufnahmebereich der PMD-Kamera befinden.This data is therefore well suited for identifying traffic signs or traffic-occupied areas in the image data. Traffic signs are flat, smooth structures, which are additionally made of reflective material and which are set up perpendicular to the roadway direction. Therefore, in images of PMD cameras, the signal intensity of traffic signs is particularly high compared to other objects of the same distance. From the picture 5 the image pickup device 3 , that is, the PMD camera, can thus an area by simple threshold usage 6 and an area 7 be differentiated as in 2 to see is. In the area 6 are image elements of lower signal intensity encountered while in the field 7 there is a higher signal intensity of the picture elements. In the area 7 is therefore most likely a traffic sign. Should such a simple threshold value setting not be sufficient, the distance information available for the picture elements can additionally be used. Then, in addition to the signal intensity, a certain distance distance value would have to be exceeded in order to reach the area 7 from the field 6 to distinguish. Of course, you can also use several areas 7 in the picture 5 depending on how many traffic signs are in the recording area of the PMD camera.

3 zeigt die Darstellung einer kombinierten Ausgabe an einer Anzeigeeinrichtung 8. Die Anzeigeeinrichtung 8 (z. B. LCD-Display) ist zwischen der Drehanzahlanzeige 10 und dem Tachometer 11 im Armaturenbrett des Kraftfahrzeugs angeordnet. Im Bild 9 der Kamera 2 ist das Fahrzeugvorfeld abgebildet, augenscheinlich befindet sich das Kraftfahrzeug auf einer Autobahn 12 mit mehreren Fahrspuren. Im Kraftfahrzeugvorfeld ist ein Verkehrszeichen 13 zu erkennen, wobei aufgrund der Entfernung zwischen den Verkehrszeichen 13 und dem Kraftfahrzeug 1 im Bild 9 der Anzeigeeinrichtung 8 der Informationsgehalt des Verkehrszeichens 13 nur mit Mühe zu entnehmen ist. Um dem Fahrer nun eine verbesserte Information zu bieten, ist dem Bild der Bildaufnahmeeinrichtung 2 die Symboldarstellung 14 überlagert. Die Symboldarstellung 14 gibt dabei exakt das Verkehrszeichen 13 wieder, wobei die Symboldarstellung 14 im Vergleich zum Verkehrszeichen 13 vergrößert dargestellt ist. Durch einen kurzen Blick auf das Bild 9 der Anzeigeeinrichtung 8 kann der Fahrer also erfassen, welches Verkehrszeichen sich im Fahrzeugvorfeld befindet, obwohl es mit bloßem Auge kaum erkenntlich ist. 3 shows the representation of a combined output on a display device 8th , The display device 8th (eg LCD display) is between the number of revolutions display 10 and the speedometer 11 arranged in the dashboard of the motor vehicle. In the picture 9 the camera 2 the vehicle apron is shown, evidently the motor vehicle is on a highway 12 with several lanes. In the motor vehicle apron is a traffic sign 13 to recognize, due to the distance between the traffic signs 13 and the motor vehicle 1 in the picture 9 the display device 8th the information content of the traffic sign 13 only with difficulty can be found. To provide the driver now with improved information is the image of the image pickup device 2 the symbol representation 14 superimposed. The symbol representation 14 gives exactly the traffic sign 13 again, with the symbol representation 14 compared to the traffic sign 13 is shown enlarged. Through a quick look at the picture 9 the display device 8th Thus, the driver can detect which traffic sign is in the vehicle apron, although it is barely recognizable to the naked eye.

Alternativ dazu ist es auch denkbar, wie 4 zeigt, lediglich einen Teilbereich 16 des Bildes 9 vergrößert darzustellen und dem Bild 9 zu überlagern. Der das Verkehrszeichen 13 enthaltende Bildbereich kann über die Bildaufnahmeeinrichtung 3 zuerst als Bereich 7 identifiziert werden, wobei die vergrößert darzustellenden Bildelemente zu einem quadratischen Bereich ergänzt werden. Dieses Vorgehen erlaubt eine Darstellung der Verkehrszeichen ohne jegliche Analyse des Bildbereichs, wodurch Rechenkapazitäten geschont werden können. Die Vergrößerung des Teilbereichs 16 des Bildes 9, der das Verkehrszeichen 13 enthält, bewirkt, wie es bei digitalen Bilddaten allgemein üblich ist, eine Vergröberung und ein rasterartiges Aussehen des Teilbereichs 16. Je größer die Entfernung des Kraftfahrzeugs 1 zum Verkehrszeichen 13 ist, desto weniger Bildelemente füllt das Verkehrszeichen 13 im Bild 9 aus, und umso höher muss die Vergrößerungsstufe werden, dass der Fahrer dem Teilbereich 16 Informationen entnehmen kann. Gleichzeitig wird die Darstellung des Teilbereichs 16 dadurch natürlich unschärfer. Füllt das Verkehrszeichen 13 zu wenig Bildelemente, um eine sinnvolle Vergrößerung zu erlauben, ist es daher sinnvoll, den Teilbereich 16 erst ab einer gewissen Entfernung zum Verkehrszeichen 13 darzustellen und vorher lediglich auf das Vorhandensein eines Verkehrszeichens mittels einer Symboldarstellung hinzuweisen.Alternatively, it is also conceivable how 4 shows only a partial area 16 of the picture 9 magnified and the picture 9 to overlay. The the traffic sign 13 containing image area can via the image pickup device 3 first as an area 7 are identified, wherein the pixels to be displayed enlarged are added to a square area. This procedure allows a representation of the traffic signs without any analysis of the image area, whereby computing capacity can be spared. The enlargement of the subarea 16 of the picture 9 that the traffic sign 13 contains, as is common in digital image data, a coarsening and a raster-like appearance of the subarea 16 , The greater the distance of the motor vehicle 1 to the traffic sign 13 is, the fewer pixels the traffic sign fills 13 in the picture 9 off, and the higher the zoom level must be that the driver is the subarea 16 Information can take. At the same time, the representation of the subarea 16 this, of course, blurred. Fills the traffic sign 13 Too few picture elements, in order to allow a meaningful enlargement, it therefore makes sense, the subarea 16 only from a certain distance to the traffic sign 13 previously to indicate only the presence of a traffic sign by means of a symbol representation.

5 zeigt die unterschiedliche Darstellbarkeit der Informationen bezüglich der Verkehrszeichen aufgrund einer vorgenommenen Kategorisierung. Während in 4 der das Verkehrszeichen enthaltende Teilbereich 16 stark vergrößert dargestellt wurde, um den Fahrer über den Informationsgehalt des Verkehrszeichens zu informieren, wird bei Erkennung eines an und für sich irrelevanten Verkehrszeichens das Prozedere geändert. Die Steuerungseinrichtung 5 hat über einen Bus selbstverständlich Zugang zu vielen fahrzeugrelevanten Informationen, insbesondere auch zur Zeitangabe einer Uhr 17. Da das Verkehrszeichen 13 nicht nur eine Geschwindigkeitsbegrenzung angibt, sondern seine Gültigkeit auch auf eine gewisse Uhrzeit, hier 22:00 Uhr–06:00 Uhr, beschränkt ist, kann die Steuerungseinrichtung 15 durch Analyse des Verkehrszeichens 13 sowie unter Heranziehung der Zeitangabe der Uhr 17 feststellen, dass das Verkehrszeichen zum Zeitpunkt des Befahrens der Autobahn 12 nicht zu beachten ist. Statt also das aus zwei Teilen bestehende Verkehrszeichen 13 vollständig und wie in 4 vergrößert darzustellen, wird nun lediglich der zeitbegrenzende Teil des Verkehrszeichens und dieser auch nur minimal vergrößert dargestellt. Ohne dass der Fahrer die Zeitwerte des Teilbereichs 16 genau analysieren muss, kann er sehr schnell erkennen, dass ein Verkehrszeichen vor ihm liegt, das einer zeitlichen Begrenzung unterworfen ist und das momentan irrelevant ist. Hierdurch bleibt dem Fahrer eine genauere Analyse des Teilbereichs 16 erspart. Analog könnte selbstverständlich die Darstellung der Symboldarstellung 14 abgewandelt werden. Hierdurch wird der Fahrer immer mit den notwendigen Informationen versorgt, ohne ihn zur Analyse unnützer Informationen zu zwingen. Denkbar ist auch, das Verkehrszeichen infolge der nicht gegebenen Relevanz gar nicht hervorgehoben darzustellen. 5 shows the different representability of the information regarding the traffic signs due to a categorization made. While in 4 the sub-area containing the traffic sign 16 has been shown greatly enlarged to inform the driver about the information content of the traffic sign, the procedure is changed upon detection of an intrinsically irrelevant traffic sign. The control device 5 of course has access to many vehicle-relevant information via a bus, in particular also to the time of a clock 17 , Because the traffic sign 13 not only indicates a speed limit, but its validity is limited to a certain time, here 22:00 o'clock-06: 00, the control device 15 by analyzing the traffic sign 13 as well as using the time of the clock 17 notice that the traffic sign at the time of driving the highway 12 not to be considered. Instead of the two-part traffic signs 13 completely and as in 4 show enlarged, now only the time-limiting part of the traffic sign and this is also shown only minimally enlarged. Without the driver the time values of the subarea 16 He has to be able to analyze exactly, so that he can see very quickly that there is a traffic sign in front of him that is subject to a time limit and that is currently irrelevant. This leaves the driver with a more accurate analysis of the subarea 16 spared. Analogously, of course, the representation of the symbol representation 14 be modified. As a result, the driver is always provided with the necessary information without forcing him to analyze useless information. It is also conceivable not to highlight the traffic sign as a result of the non-given relevance.

Claims

A method for the combined output of a vehicle front apron of a motor vehicle showing image of a first image pickup device with at least one located in the vehicle front traffic sign information on a display device in the motor vehicle, the information taking into account at least one image information with a second Bildaufnah Means device detected image is determined, characterized in that the second image recording device is designed as a photonic mixer device camera and as image information, the signal intensity of the captured by the second image pickup device image is taken into account.

Method according to claim 1, characterized in that that as information containing the traffic sign and in the Compared to the rest of the image enlarged displayed partial area the image of the first image pickup device is used.

Method according to claim 2, characterized in that that the geometry of the subarea uses a square shape becomes.

A method according to claim 2, characterized in that the geometry of the subarea to the geometry of the traffic sign is adjusted.

Method according to claim 1, characterized in that that as information relating to the traffic sign Symbol representation is used.

Method according to one of the preceding claims, characterized characterized in that the traffic sign is classified and dependent From this the presentation of the information is made.

Method according to Claim 6, characterized that the classification is dependent the presence of a red border of the traffic sign is performed.

Method according to one of claims 2 to 7, characterized that the representation of the subarea or the symbol representation when approaching of the motor vehicle to the through the first image pickup device recorded traffic signs increased proportionally and / or their color and / or changed their transparency becomes.

Method according to one of the preceding claims, characterized characterized in that the information is from a predetermined distance of the motor vehicle is displayed to the traffic sign.

Motor vehicle comprising at least two image recording devices, a control device and a display device, formed to carry out the method according to any one of the preceding claims, wherein an image pickup device designed as a photonic mixer device camera is.

Motor vehicle according to claim 10, characterized in that that the display device is arranged in the dashboard.