DE102008054041B3 - Verfahren zur kombinierten Ausgabe eines Bildes und einer ein Verkehrszeichen betreffenden Information, sowie Kraftfahrzeug hierfür - Google Patents

Verfahren zur kombinierten Ausgabe eines Bildes und einer ein Verkehrszeichen betreffenden Information, sowie Kraftfahrzeug hierfür Download PDF

Info

Publication number
DE102008054041B3
DE102008054041B3 DE102008054041A DE102008054041A DE102008054041B3 DE 102008054041 B3 DE102008054041 B3 DE 102008054041B3 DE 102008054041 A DE102008054041 A DE 102008054041A DE 102008054041 A DE102008054041 A DE 102008054041A DE 102008054041 B3 DE102008054041 B3 DE 102008054041B3
Authority
DE
Germany
Prior art keywords
image
information
traffic sign
motor vehicle
recording device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102008054041A
Other languages
English (en)
Inventor
Gernot Rüb
Kristin Schönherr
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Audi Electronics Venture GmbH
Original Assignee
Audi AG
Audi Electronics Venture GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG, Audi Electronics Venture GmbH filed Critical Audi AG
Priority to DE102008054041A priority Critical patent/DE102008054041B3/de
Application granted granted Critical
Publication of DE102008054041B3 publication Critical patent/DE102008054041B3/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

Verfahren zur kombinierten Ausgabe eines das Fahrzeugvorfeld eines Kraftfahrzeugs zeigenden Bildes einer ersten Bildaufnahmeeinrichtung mit wenigstens einer ein im Fahrzeugvorfeld befindliches Verkehrszeichen betreffenden Information an einer Anzeigeeinrichtung in einem Kraftfahrzeug, wobei die Information unter Berücksichtigung wenigstens einer Bildinformation eines mit einer zweiten Bildaufnahmeeinrichtung erfassten Bildes ermittelt wird.

Description

  • Die Erfindung betrifft ein Verfahren zur kombinierten Ausgabe eines das Fahrzeugvorfeld eines Kraftfahrzeugs zeigenden Bildes einer ersten Bildaufnahmeeinrichtung mit wenigstens einer ein im Fahrzeugvorfeld befindliches Verkehrszeichen betreffenden Information an einer Anzeigeeinrichtung in einem Kraftfahrzeug, wobei die Information unter Berücksichtigung wenigstens einer Bildinformation eines mit einer zweiten Bildaufnahmeeinrichtung erfassten Bildes ermittelt wird.
  • Von der Fahrerunterstützung dienenden Navigationseinrichtungen ist es bekannt, den Fahrer auch auf Gefahrensituationen hinzuweisen. Beispielsweise kann die Navigationseinrichtung vor einer scharfen Kurve, vor einer Kreuzung mit einem Vorfahrt-Achten-Gebot oder auch vor einer in einem Streckenabschnitt einzuhaltenden Geschwindigkeitsbegrenzung warnen. Hierfür ist allerdings notwendig, dass das zugrundeliegende Datenmaterial regelmäßig aktualisiert wird. Gerade im Bereich von Baustellen oder anderen zeitlich begrenzt vorhandenen Hindernissen führt dies zu einem unverhältnismäßigen Aufwand, um die Daten aktuell zu halten.
  • Geschwindigkeitsbegrenzungen und andere das Verkehrsgeschehen betreffende Regelungen werden dem Fahrer üblicherweise in Form von Verkehrszeichen übermittelt. Solche Verkehrszeichen finden sich auch als Warnhinweise vor Baustellen und anderen Hindernissen und weisen beispielsweise auf Geschwindigkeitsbegrenzungen hin. Es ist daher bekannt, in den Bilddaten einer Kamera eine Mustererkennung durchzuführen, um im Bild vorhandene Verkehrszeichen bestimmen zu können. Dieses Vorgehen ist allerdings rechenaufwendig und unzuverlässig, da die Verkehrszeichenerkennung stark von der Auflösung der Kamera, dem Bildhintergrund und der Form und Farbe des Verkehrszeichens beeinflusst wird.
  • DE 10 2007 004 349 A1 betrifft ein Kamerasystem mit einer Infrarot-Beleuchtungseinrichtung, einer Infrarot-(mager-Kamera und einer PMD-Kamera. Mittels der Daten der PMD-Kamera kann das Bild der Infrarot-Imager-Kamera mit Entfernungsdaten oder Tiefeninformationen versehen werden.
  • DE 10 2004 061 998 A1 offenbart eine Stereokamera für ein Kraftfahrzeug, bestehend aus einer ersten Kamera und einer zweiten Kamera, wobei die Kameras in wenigstens einer Kameraeigenschaft unterschiedlich sind. Zur Verkehrszeichenerkennung wird in den Bilddaten der zweiten Kamera eine Mustererkennung durchgeführt. Dementsprechend erkannte Verkehrszeichen werden in der Anzeigeeinrichtung des Kraftfahrzeugs angezeigt.
  • Aus der DE 10 2006 008 656 A1 ist ein Kraftfahrzeug mit einer Einrichtung zur Verkehrszeichenerkennung bekannt, die eine Kamera und eine Steuerungseinrichtung umfasst. Zur Verkehrszeichenerkennung weist die Steuerungseinrichtung geeignete Detektionsalgorithmen auf, mit denen die Verkehrszeichen auf den Bilddaten der Kamera extrahiert werden. Die Darstellung der Verkehrszeichen wird an einem Display in Abhängigkeit der Wahrscheinlichkeit der Richtigkeit der Erfassung des Verkehrszeichens vorgenommen.
  • DE 197 36 774 A1 beschreibt ein Verfahren zur Informationsanzeige in einem Kraftfahrzeug, bei dem Ausschnitte des Bildes einer kraftfahrzeugseitigen Kamera an einer Anzeigeeinheit dargestellt werden. Im Bildausschnitt ist ein Verkehrszeichen abgebildet, wobei zur Information des Fahrers auch Zusatzinformationen angezeigt werden können.
  • Der Erfindung liegt damit die Aufgabe zugrunde, ein Verfahren der eingangs genannten Art anzugeben, mit dem eine Verkehrszeichenerkennung in ei nem Bild schneller und verbessert erfolgen kann, um dem Fahrer entsprechende Informationen anzeigen zu können.
  • Zur Lösung der Aufgabe ist bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass die zweite Bildaufnahmeeinrichtung als Photonic Mixer Device-Kamera ausgebildet ist und als Bildinformation die Signalintensität des durch die zweite Bildaufnahmeeinrichtung aufgenommenen Bildes berücksichtigt wird.
  • Erfindungsgemäß ist also vorgesehen, statt einer aufwendigen Mustererkennung in einem Bild Informationen aus einer zweiten Quelle heranzuziehen, um den relevanten Bildbereich im Bild der ersten Bildaufnahmeeinrichtung einzugrenzen. Hierbei ist es selbstverständlich notwendig, dass die Bilddaten, die mit der zweiten Bildaufnahmeeinrichtung aufgenommen werden, andere Eigenschaften oder Merkmale aufweisen, als die Bilder der ersten Bildaufnahmeeinrichtung. Hierbei wird eine sogenannte Photonic Mixer Device (PMD)-Kamera als zweite Bildaufnahmeeinrichtung verwendet. PMD-Kameras senden moduliertes Infrarotlicht aus, um die Reflexionssignale zu erfassen. Aufgrund von Laufzeitunterschieden können einzelnen Bildelementen Entfernungsangaben zugeordnet werden.
  • Erfindungsgemäß wird als Bildinformation die Signalintensität des durch die zweite Bildaufnahmeeinrichtung aufgenommenen Bildes berücksichtigt. Während aufgrund der Laufzeitunterschiede eine Entfernung bestimmt werden kann, weist das Infrarotlicht als elektromagnetische Welle ebenfalls eine Amplitude oder Signalstärke auf, die im aus diesen Signalen gewonnenen Bild als Signalintensität zu Tage tritt. Die Signalstärke des reflektierten Infrarotlichts hängt dabei im Wesentlichen von den Reflexionseigenschaften der im Bild abgebildeten Objekte ab. Verkehrszeichen haben einerseits eine ebene Fläche und sind andererseits in der Regel als Retroreflektor ausgebildet, weshalb sie einen besonders hohen Reflexionsgrad aufweisen und dementsprechend die Signalstärke des an einem Verkehrszeichen reflektierten Infrarotlichts besonders hoch ist. Daher weist eine be sonders hohe Signalstärke im Bild einer PMD-Kamera auf ein Verkehrszeichen hin.
  • Mit besonderem Vorteil kann als Information ein das Verkehrszeichens enthaltender und im Vergleich zum Rest des Bildes vergrößert dargestellter Teilbereich des Bildes der ersten Bildaufnahmeeinrichtung verwendet werden. Zur Übertragung der Bildinformation des mit der zweiten Bildaufnahmeeinrichtung aufgenommenen Bildes auf das Bild der ersten Bildaufnahmeeinrichtung ist selbstverständlich eine Registrierung der beiden Bildaufnahmeeinrichtungen notwendig sowie eine Kenntnis der jeweiligen Bildauflösungen. Bei Bekanntsein dieser Größen ist es dann verhältnismäßig einfach, einen Bereich hoher Signalintensität im mit der zweiten Bildaufnahmeeinrichtung aufgenommenen Bild auf das Bild der ersten Bildaufnahmeeinrichtung zu übertragen.
  • Vorteilhafterweise kann als Geometrie des Teilbereichs eine quadratische Form verwendet werden. Alternativ ist auch möglich, dass die Geometrie des Teilbereichs an die Geometrie des Verkehrszeichens angepasst wird. Die Verwendung einer quadratischen Form erlaubt in besonders einfacher und schneller Weise, im Bild der ersten Bildaufnahmeeinrichtung einen entsprechenden Teilbereich auszuwählen. Beispielsweise kann im mit der zweiten Bildaufnahmeeinrichtung erfassten Bild ein Schwellwert gesetzt werden, mit dem zwischen einer für ein Verkehrszeichen stehenden Signalintensität und niedrigeren Werten unterschieden werden kann. Gegebenenfalls kann als zusätzliche Information die aus einer PMD-Kamera zusätzlich gelieferte Entfernungsangabe mit einbezogen werden, um hohe Signalintensitäten naher Objekte nicht fälschlicherweise als Verkehrszeichen zu interpretieren. Mittels des Schwellwerts oder auch weitergehender Informationen kann jedenfalls eine Maske erzeugt werden, die auf das Bild der ersten Bildaufnahmeeinrichtung übertragen werden kann. Um diese Maske herum können dann weitere Bildelemente ebenfalls mit ausgewählt werden, so dass sich insgesamt ein quadratischer Teilbereich ergibt. Dieser quadratische Teilbereich kann dann mit Softwaremitteln vergrößert werden, um ihn an beliebiger Stelle dem Bild der ersten Bildaufnahmeeinrichtung überlagert an der Anzeigeeinrichtung im Kraftfahrzeug darzustellen. Dadurch wird es möglich, dem Fahrer Verkehrsschilder bereits in einer Entfernung gut identifizierbar auf der Anzeigeeinrichtung darzustellen, in der sie ohne Hilfsmittel noch nicht erkennbar sind. Zusätzlich wird durch die vergrößerte Darstellung erreicht, dass die Aufmerksamkeit des Fahrers auf die das Verkehrszeichen darstellende Information gelenkt wird, um ihn so vor möglichen Gefahren zu warnen. Um das in der Anzeigeeinrichtung darzustellende Bild aber nicht mit zuviel unnützer Information zu bedecken, kann alternativ wie oben bereits beschrieben auch vorgesehen sein, die Geometrie des Teilbereichs an die Geometrie des Verkehrszeichens anzupassen und somit den vergrößert dargestellten Bereich auf die minimal notwendige Fläche zu beschränken. Somit wird nur diejenige Information vergrößert dargestellt, die auch benötigt wird.
  • Die Vergrößerung eines Teilbereichs des Bildes der ersten Bildaufnahmeeinrichtung kann allerdings dann problematisch sein, wenn das in dem Teilbereich vorhandene Verkehrszeichen noch sehr weit entfernt ist und somit aus wenigen Bildelementen besteht. Eine zu hohe Vergrößerung führt dann leicht zu Verschmierungen und einem unschönen Aussehen. Daher kann als Information eine sich auf das Verkehrszeichen beziehende Symboldarstellung verwendet werden. Dies erlaubt im Gegensatz zur Verwendung eines Teilbereichs des Bildes eine Darstellung, die nicht durch mögliche Vergrößerungsartefakte behaftet ist. Dabei kann entweder das Verkehrszeichen in seiner vorliegenden Form als Symbol dargestellt werden, zur Vereinfachung ist es aber auch denkbar, lediglich auf eine sich nähernde Geschwindigkeitsbeschränkung hinzuweisen, ohne bereits eine Angabe über die einzuhaltende Geschwindigkeit selbst zu treffen. Der Fahrer wird also lediglich darauf hingewiesen, ein sich näherndes Verkehrszeichen zu beachten.
  • Es ist allerdings nicht jedes Verkehrszeichen zu jeder Tages- oder Nachtzeit oder auch Jahreszeit relevant. Vielmehr beziehen sich manche Geschwindigkeitsbeschränkungen lediglich auf bestimmte Uhrzeiten, und auch Glatteiswarnungen sind in den Sommermonaten weniger relevant. Vorzugsweise kann daher das Verkehrszeichen klassifiziert und in Abhängigkeit hiervon die Darstellung der Information vorgenommen werden. Im Falle von zeitbezoge nen Geschwindigkeitsbegrenzungen ist es sinnvoll, zu einem Zeitpunkt, der nicht innerhalb des geschwindigkeitsbegrenzten Zeitbereichs liegt, den Anfangs- und Endzeitpunkt darzustellen, um den Fahrer darüber zu informieren, wann die Geschwindigkeitsbegrenzung zu beachten ist. Die zu beachtende Geschwindigkeitsbegrenzung ist allerdings zu Zeitpunkten, an denen sie nicht gilt, irrelevant und muss daher nicht hervorgehoben dargestellt werden. Auch ein Verkehrszeichen, das vor Schneefall warnt, muss in den Sommermonaten nicht die Aufmerksamkeit des Fahrer beanspruchen und wird daher lediglich minimal vergrößert oder beispielsweise als kleines Symbol dargestellt. Im Vergleich zu einem solchen aktuell irrelevanten Symbol kann beispielsweise eine geltende Geschwindigkeitsbegrenzung mit doppelter Seitengröße dargestellt werden. Alleine durch die Größendarstellung erhält der Fahrer gleichzeitig eine Information über die Relevanz des im Bild abgebildeten Verkehrsschildes. Die Zeit ist z. B. seitens des Navigationsgeräts ohnehin bekannt oder kann z. B. von einer fahrzeugseitigen Uhr abgegriffen werden. In einer einfachen Ausgestaltung kann die Klassifikation in Abhängigkeit des Vorhandenseins einer roten Umrandung des Verkehrszeichens durchgeführt werden. Derartig ausgestaltete Verkehrszeichen sollen den Fahrer nämlich darauf hinweisen, dem Verkehrszeichen gesonderte Beachtung zu schenken. Im Gegensatz zu einem „Vorfahrt”-Verkehrszeichen, dessen Missachtung für den Fahrer keinerlei Konsequenzen nach sich zieht, da er selbst die Vorfahrtstraße befährt, ist die Beachtung des Verkehrszeichens „Vorfahrt gewähren” von erheblicher Wichtigkeit, da eine Missachtung dieses Verkehrszeichens möglicherweise einen Unfall nach sich zieht, als deren Verursacher dann der Fahrer des Kraftfahrzeugs anzusehen ist. Insofern ist über die Untersuchung des das Verkehrszeichen aufweisenden Bildbereichs, ob das Verkehrszeichen einen roten Rand aufweist oder nicht, bereits eine einfach vorzunehmende, aussagekräftige und sichere Vorklassifikation möglich.
  • Vorzugsweise kann die Darstellung des Teilbereichs oder der Symboldarstellung bei Annäherung des Kraftfahrzeugs an das durch die erste Bildaufnahmeeinrichtung erfasste Verkehrszeichen unterproportional vergrößert und/oder ihre Farbe und/oder ihre Transparenz verändert werden. Wird das Verkehrszeichen bereits aus großer Entfernung stark vergrößert dargestellt, entweder indem der Teilbereich stark vergrößert wird oder indem die Symboldarstellung im Vergleich zur tatsächlichen Größe stark vergrößert ist, ist eine proportionale Vergrößerung des Teilbereichs oder der Symboldarstellung im Vergleich zum im Bild abgebildeten Verkehrszeichen nicht sinnvoll. Da bei Verwendung einer PMD-Kamera eine Entfernungsangabe vorliegt, kann statt einer proportionalen eine entfernungsabhängige Vergrößerung gewählt werden. Durch die Farb- oder Transparenzänderung kann dem Fahrer eine zusätzliche Entfernungsangabe übermittelt werden, ohne einen Zahlenwert in der Anzeigevorrichtung darstellen zu müssen. Dadurch können dem Fahrer Zusatzinformationen gegeben werden, ohne seine Aufmerksamkeit vermehrt zu beanspruchen.
  • Für den Kraftfahrer am wichtigsten ist zumeist das oder die nächsten Verkehrszeichen. Um dem Rechnung zu tragen, kann die Information ab einem vorgegebenen Abstand des Kraftfahrzeugs zu dem Verkehrszeichen angezeigt werden. Für bereits im Bild der ersten Bildaufnahmeeinrichtung vorhandene, aber noch weit vom Kraftfahrzeug entfernte Verkehrsschilder besteht im Allgemeinen kein Interesse, Informationen zu erhalten. Die abstandsabhängige Darstellung der Information kann daher eine Irritation des Fahrers sowie auch eine Reizüberflutung vermeiden.
  • Daneben betrifft die Erfindung auch ein Kraftfahrzeug, umfassend wenigstens zwei Bildaufnahmeeinrichtungen, eine Steuerungseinrichtung und eine Anzeigeeinrichtung. Mit besonderem Vorteil kann eine Bildaufnahmeeinrichtung als Photonic Mixer Device-Kamera ausgebildet sein. Derartige Kameras liefern unter anderem auch Entfernungsangaben und ergänzen die aus sozusagen normalen Kameras gewonnen Daten somit.
  • Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Dabei zeigen:
  • 1 ein erfindungsgemäßes Kraftfahrzeug,
  • 2 eine mit einem Bild erzeugte Maskeninformation,
  • 3 die Darstellung einer kombinierten Ausgabe an einer Anzeigeeinrichtung in einer ersten Ausführungsform,
  • 4 die Darstellung einer kombinierten Ausgabe an einer Anzeigeeinrichtung in einer zweiten Ausführungsform, und
  • 5 die Darstellung einer kombinierten Ausgabe an einer Anzeigeeinrichtung in einer dritten Ausführungsform.
  • Das Kraftfahrzeug 1 gemäß 1 weist neben den Bildaufnahmeeinrichtungen 2 und 3 auch eine Anzeigeeinrichtung 4 und eine Steuerungseinrichtung 15 auf. Bei der Bildaufnahmeeinrichtung 3 handelt es sich um eine PMD-Kamera, aus deren Daten sich neben Signalintensitäten auch Entfernungsangaben gewinnen lassen.
  • Diese Daten sind daher gut dafür geeignet, in den Bilddaten enthaltene Verkehrszeichen bzw. durch Verkehrszeichen belegte Bereiche zu identifizieren. Verkehrszeichen sind ebene, glatte Gebilde, die zusätzlich aus reflektierendem Material hergestellt werden und die senkrecht zur Fahrbahnrichtung aufgestellt sind. Daher ist in Bildern von PMD-Kameras die Signalintensität von Verkehrsschildern im Vergleich zu anderen Objekten gleiche Entfernung besonders hoch. Aus dem Bild 5 der Bildaufnahmeeinrichtung 3, also der PMD-Kamera, kann somit durch einfache Schwellwertbenutzung ein Bereich 6 und ein Bereich 7 unterschieden werden, wie in 2 zu sehen ist. Im Bereich 6 sind Bildelemente geringerer Signalintensität anzutreffen, während im Bereich 7 eine höhere Signalintensität der Bildelemente vorliegt. Im Bereich 7 ist daher höchstwahrscheinlich ein Verkehrszeichen abgebildet. Sollte eine derartige einfache Schwellwertsetzung nicht ausreichend sein, kann zusätzlich die zu den Bildelementen vorhandene Entfernungsinformation genutzt werden. Dann müsste außer der Signalintensität auch noch ein gewisser Entfernungsabstandswert überschritten werden, um den Bereich 7 vom Be reich 6 zu unterscheiden. Selbstverständlich könnem auch mehrere Bereiche 7 im Bild 5 vorhanden sein, je nachdem wie viel Verkehrszeichen sich im Aufnahmebereich der PMD-Kamera befinden.
  • 3 zeigt die Darstellung einer kombinierten Ausgabe an einer Anzeigeeinrichtung 8. Die Anzeigeeinrichtung 8 (z. B. LCD-Display) ist zwischen der Drehanzahlanzeige 10 und dem Tachometer 11 im Armaturenbrett des Kraftfahrzeugs angeordnet. Im Bild 9 der Kamera 2 ist das Fahrzeugvorfeld abgebildet, augenscheinlich befindet sich das Kraftfahrzeug auf einer Autobahn 12 mit mehreren Fahrspuren. Im Kraftfahrzeugvorfeld ist ein Verkehrszeichen 13 zu erkennen, wobei aufgrund der Entfernung zwischen den Verkehrszeichen 13 und dem Kraftfahrzeug 1 im Bild 9 der Anzeigeeinrichtung 8 der Informationsgehalt des Verkehrszeichens 13 nur mit Mühe zu entnehmen ist. Um dem Fahrer nun eine verbesserte Information zu bieten, ist dem Bild der Bildaufnahmeeinrichtung 2 die Symboldarstellung 14 überlagert. Die Symboldarstellung 14 gibt dabei exakt das Verkehrszeichen 13 wieder, wobei die Symboldarstellung 14 im Vergleich zum Verkehrszeichen 13 vergrößert dargestellt ist. Durch einen kurzen Blick auf das Bild 9 der Anzeigeeinrichtung 8 kann der Fahrer also erfassen, welches Verkehrszeichen sich im Fahrzeugvorfeld befindet, obwohl es mit bloßem Auge kaum erkenntlich ist.
  • Alternativ dazu ist es auch denkbar, wie 4 zeigt, lediglich einen Teilbereich 16 des Bildes 9 vergrößert darzustellen und dem Bild 9 zu überlagern. Der das Verkehrszeichen 13 enthaltende Bildbereich kann über die Bildaufnahmeeinrichtung 3 zuerst als Bereich 7 identifiziert werden, wobei die vergrößert darzustellenden Bildelemente zu einem quadratischen Bereich ergänzt werden. Dieses Vorgehen erlaubt eine Darstellung der Verkehrszeichen ohne jegliche Analyse des Bildbereichs, wodurch Rechenkapazitäten geschont werden können. Die Vergrößerung des Teilbereichs 16 des Bildes 9, der das Verkehrszeichen 13 enthält, bewirkt, wie es bei digitalen Bilddaten allgemein üblich ist, eine Vergröberung und ein rasterartiges Aussehen des Teilbereichs 16. Je größer die Entfernung des Kraftfahrzeugs 1 zum Verkehrszeichen 13 ist, desto weniger Bildelemente füllt das Verkehrszeichen 13 im Bild 9 aus, und umso höher muss die Vergrößerungsstufe werden, dass der Fahrer dem Teilbereich 16 Informationen entnehmen kann. Gleichzeitig wird die Darstellung des Teilbereichs 16 dadurch natürlich unschärfer. Füllt das Verkehrszeichen 13 zu wenig Bildelemente, um eine sinnvolle Vergrößerung zu erlauben, ist es daher sinnvoll, den Teilbereich 16 erst ab einer gewissen Entfernung zum Verkehrszeichen 13 darzustellen und vorher lediglich auf das Vorhandensein eines Verkehrszeichens mittels einer Symboldarstellung hinzuweisen.
  • 5 zeigt die unterschiedliche Darstellbarkeit der Informationen bezüglich der Verkehrszeichen aufgrund einer vorgenommenen Kategorisierung. Während in 4 der das Verkehrszeichen enthaltende Teilbereich 16 stark vergrößert dargestellt wurde, um den Fahrer über den Informationsgehalt des Verkehrszeichens zu informieren, wird bei Erkennung eines an und für sich irrelevanten Verkehrszeichens das Prozedere geändert. Die Steuerungseinrichtung 5 hat über einen Bus selbstverständlich Zugang zu vielen fahrzeugrelevanten Informationen, insbesondere auch zur Zeitangabe einer Uhr 17. Da das Verkehrszeichen 13 nicht nur eine Geschwindigkeitsbegrenzung angibt, sondern seine Gültigkeit auch auf eine gewisse Uhrzeit, hier 22:00 Uhr–06:00 Uhr, beschränkt ist, kann die Steuerungseinrichtung 15 durch Analyse des Verkehrszeichens 13 sowie unter Heranziehung der Zeitangabe der Uhr 17 feststellen, dass das Verkehrszeichen zum Zeitpunkt des Befahrens der Autobahn 12 nicht zu beachten ist. Statt also das aus zwei Teilen bestehende Verkehrszeichen 13 vollständig und wie in 4 vergrößert darzustellen, wird nun lediglich der zeitbegrenzende Teil des Verkehrszeichens und dieser auch nur minimal vergrößert dargestellt. Ohne dass der Fahrer die Zeitwerte des Teilbereichs 16 genau analysieren muss, kann er sehr schnell erkennen, dass ein Verkehrszeichen vor ihm liegt, das einer zeitlichen Begrenzung unterworfen ist und das momentan irrelevant ist. Hierdurch bleibt dem Fahrer eine genauere Analyse des Teilbereichs 16 erspart. Analog könnte selbstverständlich die Darstellung der Symboldarstellung 14 abgewandelt werden. Hierdurch wird der Fahrer immer mit den notwendigen Informationen versorgt, ohne ihn zur Analyse unnützer Informationen zu zwingen. Denkbar ist auch, das Verkehrszeichen infolge der nicht gegebenen Relevanz gar nicht hervorgehoben darzustellen.

Claims (11)

  1. Verfahren zur kombinierten Ausgabe eines das Fahrzeugvorfeld eines Kraftfahrzeugs zeigenden Bildes einer ersten Bildaufnahmeeinrichtung mit wenigstens einer ein im Fahrzeugvorfeld befindliches Verkehrzeichen betreffenden Information an einer Anzeigeeinrichtung in dem Kraftfahrzeug, wobei die Information unter Berücksichtigung wenigstens einer Bildinformation eines mit einer zweiten Bildaufnahmeeinrichtung erfassten Bildes ermittelt wird, dadurch gekennzeichnet, dass die zweite Bildaufnahmeeinrichtung als Photonic Mixer Device-Kamera ausgebildet ist und als Bildinformation die Signalintensität des durch die zweite Bildaufnahmeeinrichtung aufgenommenen Bildes berücksichtigt wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Information ein das Verkehrszeichen enthaltender und im Vergleich zum Rest des Bildes vergrößert dargestellter Teilbereich des Bildes der ersten Bildaufnahmeeinrichtung verwendet wird.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass als Geometrie des Teilbereichs eine quadratische Form verwendet wird.
  4. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Geometrie des Teilbereichs an die Geometrie des Verkehrszeichens angepasst wird.
  5. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Information eine sich auf das Verkehrszeichen beziehende Symboldarstellung verwendet wird.
  6. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Verkehrszeichen klassifiziert und in Abhängigkeit hiervon die Darstellung der Information vorgenommen wird.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Klassifikation in Abhängigkeit des Vorhandenseins einer roten Umrandung des Verkehrszeichens durchgeführt wird.
  8. Verfahren nach einem der Ansprüche 2 bis 7, dadurch gekennzeichnet, dass die Darstellung des Teilbereichs oder der Symboldarstellung bei Annäherung des Kraftfahrzeugs an das durch die erste Bildaufnahmeeinrichtung erfasste Verkehrszeichen unterproportional vergrößert und/oder ihre Farbe und/oder ihre Transparenz verändert wird.
  9. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Information ab einem vorgegebenen Abstand des Kraftfahrzeugs zu dem Verkehrszeichen angezeigt wird.
  10. Kraftfahrzeug umfassend wenigstens zwei Bildaufnahmeeinrichtungen, eine Steuerungseinrichtung und eine Anzeigeeinrichtung, ausgebildet zur Durchführung des Verfahrens nach einem der vorangehenden An sprüche, wobei eine Bildaufnahmeeinrichtung als Photonic Mixer Device-Kamera ausgebildet ist.
  11. Kraftfahrzeug nach Anspruch 10, dadurch gekennzeichnet, dass die Anzeigeeinrichtung im Armaturenbrett angeordnet ist.
DE102008054041A 2008-10-31 2008-10-31 Verfahren zur kombinierten Ausgabe eines Bildes und einer ein Verkehrszeichen betreffenden Information, sowie Kraftfahrzeug hierfür Expired - Fee Related DE102008054041B3 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102008054041A DE102008054041B3 (de) 2008-10-31 2008-10-31 Verfahren zur kombinierten Ausgabe eines Bildes und einer ein Verkehrszeichen betreffenden Information, sowie Kraftfahrzeug hierfür

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102008054041A DE102008054041B3 (de) 2008-10-31 2008-10-31 Verfahren zur kombinierten Ausgabe eines Bildes und einer ein Verkehrszeichen betreffenden Information, sowie Kraftfahrzeug hierfür

Publications (1)

Publication Number Publication Date
DE102008054041B3 true DE102008054041B3 (de) 2010-06-10

Family

ID=42145873

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008054041A Expired - Fee Related DE102008054041B3 (de) 2008-10-31 2008-10-31 Verfahren zur kombinierten Ausgabe eines Bildes und einer ein Verkehrszeichen betreffenden Information, sowie Kraftfahrzeug hierfür

Country Status (1)

Country Link
DE (1) DE102008054041B3 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3039309A1 (fr) * 2015-07-24 2017-01-27 Renault Sa Procede et systeme d'affichage d'un panneau de direction de la scene routiere pour vehicule automobile
DE102016220647A1 (de) * 2016-10-20 2018-04-26 Audi Ag Verfahren zum Darstellen mindestens einer ergänzenden Differenz-Fahrbahnausstattung
CN110015247A (zh) * 2017-12-28 2019-07-16 丰田自动车株式会社 显示控制装置和显示控制方法
CN110450718A (zh) * 2019-08-27 2019-11-15 广州小鹏汽车科技有限公司 斜坡驾驶的辅助监视方法、装置、介质、控制终端及汽车
DE102013222322B4 (de) 2012-12-05 2022-01-20 Hyundai Motor Company Verfahren und Gerät für das Bereitstellen von Augmented Reality bzw. erweiterter Realität

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19736774A1 (de) * 1997-08-23 1999-02-25 Bosch Gmbh Robert Verfahren zur Informationsanzeige in einem Kraftfahrzeug
DE102004061998A1 (de) * 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug
DE102006008656A1 (de) * 2006-02-24 2007-08-30 Audi Ag Kraftfahrzeug mit einer Einrichtung zur Verkehrszeichenerkennung
DE102007004349A1 (de) * 2007-01-29 2008-07-31 Robert Bosch Gmbh Nachtsichtsystem, insbesondere für ein Fahrzeug, und Verfahren zum Erstellen eines Nachtsichtbildes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19736774A1 (de) * 1997-08-23 1999-02-25 Bosch Gmbh Robert Verfahren zur Informationsanzeige in einem Kraftfahrzeug
DE102004061998A1 (de) * 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug
DE102006008656A1 (de) * 2006-02-24 2007-08-30 Audi Ag Kraftfahrzeug mit einer Einrichtung zur Verkehrszeichenerkennung
DE102007004349A1 (de) * 2007-01-29 2008-07-31 Robert Bosch Gmbh Nachtsichtsystem, insbesondere für ein Fahrzeug, und Verfahren zum Erstellen eines Nachtsichtbildes

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013222322B4 (de) 2012-12-05 2022-01-20 Hyundai Motor Company Verfahren und Gerät für das Bereitstellen von Augmented Reality bzw. erweiterter Realität
FR3039309A1 (fr) * 2015-07-24 2017-01-27 Renault Sa Procede et systeme d'affichage d'un panneau de direction de la scene routiere pour vehicule automobile
WO2017017359A1 (fr) * 2015-07-24 2017-02-02 Renault S.A.S Procédé et système d' affichage d' un panneau de direction de la scène routière pour véhicule automobile
DE102016220647A1 (de) * 2016-10-20 2018-04-26 Audi Ag Verfahren zum Darstellen mindestens einer ergänzenden Differenz-Fahrbahnausstattung
CN110015247A (zh) * 2017-12-28 2019-07-16 丰田自动车株式会社 显示控制装置和显示控制方法
CN110015247B (zh) * 2017-12-28 2022-06-28 丰田自动车株式会社 显示控制装置和显示控制方法
CN110450718A (zh) * 2019-08-27 2019-11-15 广州小鹏汽车科技有限公司 斜坡驾驶的辅助监视方法、装置、介质、控制终端及汽车

Similar Documents

Publication Publication Date Title
DE112011100180B4 (de) Spurhalteunterstützungsvorrichtung, Verfahren zum Anzeigen einer Spurgrenzlinie und Programm
DE102010039634B4 (de) Anordnung und Verfahren zur Verkehrszeichenerkennung
EP1910122B1 (de) Anzeigevorrichtung
EP1997092B1 (de) Verfahren und vorrichtung zum unterstützen eines führens eines fahrzeugs
EP2427855B1 (de) Verfahren zur darstellung von objekten aus der umgebung eines fahrzeugs auf der anzeige einer anzeigevorrichtung
DE102005039103A1 (de) Verfahren für die Erfassung eines Verkehrsraums
DE102008023970A1 (de) Verfahren und Vorrichtung zur Erkennung von verkehrsrelevanten Informationen
DE102005054972A1 (de) Verfahren zur Totwinkelüberwachung bei Fahrzeugen
EP1642770B1 (de) Verfahren zur Lenkung der Aufmerksamkeit eines Fahrers eines Fahrzeugs auf Objekte in einem Bild
DE102013010818A1 (de) Verfahren und Fahrerassistenzsystem zur Einblendung von Texturen in eine Abbildung eines sich vor einem Fahrzeug befindlichen Straßenverlaufs und/oder in ein Sichtfeld eines Fahrers eines Fahrzeugs
DE102014213485A1 (de) Fahrunterstützungsvorrichtung
DE102008054041B3 (de) Verfahren zur kombinierten Ausgabe eines Bildes und einer ein Verkehrszeichen betreffenden Information, sowie Kraftfahrzeug hierfür
DE102013005404A1 (de) Verfahren zur Unterstützung eines Fahrers eines Fahrzeuges
DE102018104012A1 (de) Überlagerung von fahrbahnobjekten auf einer fahrzeuginternen anzeige im zusammenhang mit gefahrenpotenzialen
DE102007025147B4 (de) System zur Spurverlassenswarnung und/oder Spurhaltefunktion
DE102009011866A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Sichtweite für ein Fahrzeug
EP1327969A1 (de) Kraftfahrzeug mit Mitteln zum Erkennen eines Verkehrzeichens
DE102004042382B4 (de) Verfahren und System zum Hinweis auf Verkehrszeichen
DE102006037600B4 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
DE112019007195T5 (de) Anzeigesteuerungseinrichtung, anzeigesteuerungsverfahren und anzeigesteuerungsprogramm
DE102010027831A1 (de) Verfahren und Navigationsgerät zur Ermittlung einer maximal möglichen Reststreckengeschwindigkeit eines Fahrzeugs
WO2009086970A1 (de) Verfahren und vorrichtung zur bilderfassung für kraftfahrzeuge
DE102009003220B4 (de) Verfahren zur Kollisionswarnung sowie Kollisionswarneinrichtung
DE102008017833A1 (de) Verfahren zum Betrieb einer Bildaufnahmevorrichtung und eine Bildaufnahmevorrichtung
DE102007019531A1 (de) Fahrspurdetektion mit Kameras unterschiedlicher Brennweite

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee