DE102004048347A1 - Driving assistance device for opposite the field of view of the driver of a motor vehicle positionally correct representation of the further course of the road on a vehicle display - Google Patents

Driving assistance device for opposite the field of view of the driver of a motor vehicle positionally correct representation of the further course of the road on a vehicle display Download PDF

Info

Publication number
DE102004048347A1
DE102004048347A1 DE200410048347 DE102004048347A DE102004048347A1 DE 102004048347 A1 DE102004048347 A1 DE 102004048347A1 DE 200410048347 DE200410048347 DE 200410048347 DE 102004048347 A DE102004048347 A DE 102004048347A DE 102004048347 A1 DE102004048347 A1 DE 102004048347A1
Authority
DE
Germany
Prior art keywords
road
display
driver
image
imaging sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE200410048347
Other languages
German (de)
Inventor
Helmuth Dr.-Ing. Eggers
Axel Dipl.-Ing. Gern
Rainhard Dipl.-Ing. Janssen
Gerhard Dipl.-Ing. Kurz
Dirk Dipl.-Ing. Mehren
Werner Dipl.-Ing. Ritter
Michael Dr. Schrauf
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
DaimlerChrysler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DaimlerChrysler AG filed Critical DaimlerChrysler AG
Priority to DE200410048347 priority Critical patent/DE102004048347A1/en
Priority to PCT/EP2005/009041 priority patent/WO2006037402A1/en
Publication of DE102004048347A1 publication Critical patent/DE102004048347A1/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

Es wird eine Fahrassistenzvorrichtung für ein Kraftfahrzeug mindestens mit einer Navigationsvorrichtung, einem bildgebenden Sensor, einer Bildwiedergabevorrichtung und einem Steuergerät, wobei mindestens die Navigationsvorrichtung, der bildgebende Sensor und die Bildwiedergabevorrichtung mit dem Steuergerät verbunden sind, beschrieben, bei der das Steuergerät (6) zur Erkennung der Fahrbahn (14) und des Straßenverlaufs (9) die von dem bildgebenden Sensor (1) erfassten Bilder verarbeitet und mindestens den weiteren, außerhalb des Sichtfeldes des bildgebenden Sensors (1) liegenden Straßenverlauf (9) aus den der Navigationsvorrichtung (2) zur Verfügung stehenden Straßenkartendaten ermittelt, um durch Zusammenführen beider Informationen eine Vorhersage des Straßenverlaufs (9) in Form einer positionsrichtigen Anzeige (8) auf der Bildwiedergabevorrichtung (5) zu erzeugen, wobei diese Anzeige (8) mit dem für den Fahrer sichtbaren Bild der aktuellen Verkehrs- und Fahrsituation positionsrichtig und perspektivisch richtig überlagerbar ist.A driving assistance device for a motor vehicle with at least one navigation device, an imaging sensor, an image reproduction device and a control device, wherein at least the navigation device, the imaging sensor and the image reproduction device are connected to the control device, is described, in which the control device (6) for recognition the roadway (14) and the road course (9) processed by the imaging sensor (1) images and at least the other, outside the field of view of the imaging sensor (1) lying roadway (9) from the navigation device (2) available in order to generate a prediction of the course of the road (9) in the form of a position-correct display (8) on the image display device (5) by merging both information, this display (8) having the image of the current traffic image visible to the driver. and driving situation posit It is correctly superimposed and perspectively superimposable.

Description

Die Erfindung betrifft eine Fahrassistenzvorrichtung für ein Kraftfahrzeug gemäß dem Oberbegriff des Anspruchs 1.The The invention relates to a driving assistance device for a motor vehicle according to the generic term of claim 1.

Stand der Technik:State of the art:

Nachtfahrten stellen an den Fahrer eines Kraftfahrzeuges höhere Anforderungen als Tagfahrten, da die Wahrnehmung beispielsweise von Gebäuden, Eingängen, Hausnummern, Straßen und Wegen, anderen Verkehrsteilnehmern und Hindernissen durch die geringere Beleuchtung und eine vermehrte Blendung durch andere Lichtquellen erschwert wird. Ähnliches gilt auch für Tunnelfahrten und für Tagfahrten mit Beeinträchtigungen der Sicht beispielsweise durch Nebel oder starken Regen. Die Reichweite des Fahrlichts wird durch gesetzliche Vorschriften eng begrenzt, um eine Blendung des Gegenverkehrs möglichst gering zu halten. So reicht das Fahrlicht selbst bei optimaler Ausleuchtung der Fahrbahn, beispielsweise mittels Kurvenlicht, oft nicht aus, um den Straßenverlauf und Hindernisse rechtzeitig zu erfassen, wohingegen das Fernlicht wegen des zunehmenden Verkehrsaufkommens selbst auf Nebenstraßen immer seltener eingesetzt werden kann.night driving place higher demands on the driver of a motor vehicle than day trips, for example, the perception of buildings, entrances, house numbers, streets and paths, other road users and obstacles by the lower Illumination and increased glare from other light sources is difficult. something similar applies to Tunnel trips and for Day trips with impairments the view, for example, by fog or heavy rain. The range of the driving light is strictly limited by statutory provisions, to minimize dazzling oncoming traffic. So the driving light is sufficient even with optimal illumination of the road, For example, by means of cornering lights, often not enough to the road and to detect obstacles in time, whereas the high beam because of the increasing traffic even on byways always can be used less often.

Zur Verbesserung dieser Situation wurden Fahrassistenzvorrichtungen in Form von Nachtsichtgeräten für Kraftfahrzeuge entwickelt, die dem Fahrer je nach Funktionsprinzip eine verbesserte oder alternative Sicht auf die aktuelle Verkehrs- und Fahrsituation bieten. Im Wesentlichen werden drei Funktionsprinzipien, die in unterschiedlichen Wellenlängenbereichen des elektromagnetischen Spektrums arbeiten, unterschieden:

  • – Restlichtverstärker zur Verstärkung des sichtbaren Lichts,
  • – Nah-Infrarot-Nachtsichtgeräte oder aktive Infrarot-Nachtsichtgeräte, welche mittels einem für den entgegenkommenden Fahrer unsichtbaren, infraroten Fernlicht als Lichtquelle die Umgebung ausleuchten und den von Objekten in der Umgebung reflektierten Teil des infraroten Lichts als Bild erfassen, sowie
  • – Fern-Infrarot-Nachtsichtgeräte oder passive Infrarot-Nachtsichtgeräte, welche die von jedem Objekt in der Umgebung abgegebene Wärmestrahlung erfassen.
To improve this situation, driving assistance devices in the form of night vision devices for motor vehicles have been developed which offer the driver, depending on the functional principle, an improved or alternative view of the current traffic and driving situation. Essentially, three principles of operation that operate in different wavelength ranges of the electromagnetic spectrum are distinguished:
  • - residual light amplifier for amplifying the visible light,
  • - Near-infrared night vision or active infrared night vision devices, which illuminate the environment by means of an invisible driver invisible, infrared high beam as a light source and capture the reflected from objects in the surrounding part of the infrared light as an image, and
  • - Far-infrared night-vision devices or passive infrared night-vision devices, which detect the heat radiation emitted by any object in the environment.

Bei allen drei Funktionsprinzipien wird das Bild der aktuellen Verkehrs- und Fahrsituation in der Umgebung auf einer geeigneten Bildwiedergabevorrichtung in Echtzeit angezeigt. Dabei kommen neben der direkten Anzeige dienenden, konventionellen Bauformen, beispielsweise einem Monitor, auch Bildwiedergabevorrichtungen wie beispielsweise head-up Displays zum Einsatz, welche das Bild oder einen als Information dienenden Teil des Bildes in die Windschutzscheibe oder auf eine teildurchlässige Scheibe im Sichtfeld des Fahrers einspiegeln.at all three operating principles, the image of the current traffic and driving environment in the environment on a suitable image display device displayed in real time. In addition to the direct display serving, conventional designs, such as a monitor, and image display devices such as head-up displays that use the image or an informational part of the image in the windshield or on a partially transparent disc in the field of vision of the driver.

Restlichtverstärker werden dabei im zivilen Bereich nicht eingesetzt, da sie die großen Unterschiede in der Beleuchtungsstärke, wie sie insbesondere beim Wechsel zwischen Gegenverkehr und freier Strecke auftreten nicht beherrschen. Darüber hinaus sind Restlichtverstärker bei totaler Finsternis, wie beispielsweise mondloser Nacht oder Nebel oder star kem Regen in der Nacht nicht oder nicht zufrieden stellend einsetzbar.Residual light amplifier will be not used in the civilian field, as they are the big differences in the illuminance, as they especially when switching between oncoming traffic and free Do not dominate the track. In addition, residual light amplifiers are included total darkness, such as moonless night or fog or star no rain at night or not satisfactory used.

Nah-Infrarot-Nachtsichtgeräte benötigen zur Funktion fahrzeugseitig eine infrarote Lichtquelle zur Beleuchtung, sowie eine infrarot empfindliche Kamera und objektseitig infrarot reflektierende Oberflächen. Die meisten im Straßenverkehr relevanten Hindernisse, wie beispielsweise Menschen, Fahrzeuge, Verkehrszeichen und dergleichen besitzen Oberflächen mit hohen Reflexionsgraden im infraroten Bereich und können von der infraroten Lichtquelle in einem günstigen Winkel angestrahlt werden, so dass eine Erkennbarkeit der Hindernisse bis auf Fernlichtdistanz gegeben ist. Fahrbahnmarkierungen besitzen zwar in der Regel ebenfalls einen hohen Reflexionsgrad im infraroten Bereich, werden aber unter sehr flachen Winkeln angestrahlt und sind auch nicht immer vorhanden.Near-infrared night vision devices need to function On the vehicle side, an infrared light source for lighting, as well an infrared-sensitive camera and infrared reflective on the object side Surfaces. Most in traffic relevant obstacles, such as people, vehicles, traffic signs and the like have surfaces with high reflectivities in the infrared range and can of the infrared light source illuminated at a favorable angle so that a recognizability of the obstacles up to high beam distance given is. Road markings usually have as well a high reflectance in the infrared range, but are under very shallow angles are illuminated and are not always available.

Fern-Infrarot-Nachtsichtgeräte benötigen keine fahrzeugseitige infrarote Lichtquelle, sie nutzen die von jedem Objekt abgegebene Wärmestrahlung zur Erzeugung eines Wärmebildes. Damit lassen sich, eine ausreichende Temperaturdifferenz zwischen Objekt und Umgebung vorausgesetzt, warme Objekte, wie beispielsweise Menschen, Tiere oder fahrende Kraftfahrzeuge sehr gut erkennen. Die Erkennbarkeit der Fahrbahn ist dagegen stark witterungsabhängig. Weisen Straßenbelag und Straßenrand die gleiche Temperatur auf, ist die Fahrbahn oder der Straßenverlauf für Fern-Infrarot-Nachtsichtgeräte nicht zu erkennen. Darüber hinaus kann ein auf der Bildwiedergabevorrichtung angezeigtes Wärmebild wegen des optischen Eindrucks eines Negativbildes leicht zur Verwirrung des Fahrers führen, da es in ungewohnter Weise von den Kontrastverhältnissen bei sichtbarem Licht abweicht.Far-infrared night vision devices do not need any In-vehicle infrared light source, they use each of them Object emitted heat radiation to Generation of a thermal image. This allows, a sufficient temperature difference between Object and environment provided, warm objects, such as People, animals or moving vehicles recognize very well. The recognizability of the road is, however, strongly weather dependent. Point road surface and roadside the same temperature on, is the roadway or the road for far-infrared night vision devices not to recognize. About that In addition, a thermal image displayed on the image reproducing apparatus easily confused because of the visual impression of a negative image lead the driver, as it unfamiliar of the contrast ratios in visible light differs.

Damit stehen für die Nachtfahrt Fahrassistenzvorrichtungen zur Verfügung, die dem Fahrer eines Kraftfahrzeugs Hilfe bei der frühzeitigen Erkennung von Hindernissen bieten, die Erkennung des weiteren Straßenverlaufs aber nicht optimal, oder gar nicht unterstützen.In order to stand for the night drive driver assistance devices available, the The driver of a motor vehicle help in the early detection of obstacles offer, the recognition of the further course of the road but not optimal, or not support it.

Demgegenüber bieten Navigationsvorrichtungen dem Fahrer vielseitige Hilfe bei der Zielführung. Dazu wird von der Navigationsvorrichtung die aktuelle Fahrzeugposition beispielsweise per GPS oder DGPS satellitengestützt bestimmt und auf eine digitale Straßenkarte, die derzeit hauptsächlich auf auswechselbaren digitalen Datenträgern wie beispielsweise CD oder DVD gespeichert, oder per Datenübertragung verfügbar oder aktualisierbar ist, übertragen. Neben der Berechnung der jeweils optimalen Route zum Ziel bieten Navigationsvorrichtungen über eine Bildwiedergabevorrichtung eine Anzeige, in der die Straßenkarte in den unterschiedlichsten Ausprägungen, beispielsweise in Kartenform oder in einer 3D-Animation ausschnittsweise dargestellt wird. Hierbei muss der Fahrer selbst die Übertragung der dargebotenen Informationen auf die aktuelle Verkehrs- und Fahrsituation leisten.In contrast, navigation devices offer the driver versatile help with route guidance. For this purpose, the navigation device is the current vehicle position, for example, determined by GPS or DGPS satellite-based and on a digital road map, which is currently mainly stored on removable digital media such as CD or DVD, or available via data transfer or updatable transfer. In addition to the calculation of the optimal route to the destination navigation devices provide a display via a display device in which the road map in a variety of forms, such as in map form or in a 3D animation is displayed in sections. In this case, the driver himself has to render the transmission of the presented information to the current traffic and driving situation.

Eine derartige Navigationsvorrichtung kann über ein geeignetes Interface, beispielsweise mittels eines standardisierten Datenaustauschformats, die aktuelle Position des Fahrzeugs, den weiteren Straßenverlauf ab der aktuellen Position, die Straßenkategorie, beispielsweise Autobahn, Landstraße, Stadt, und die Sollkursinformation zur Zielführung, wie beispielsweise eine Abbiegeinformation oder den Abstand zur nächsten Kreuzung oder Abzweigung an andere Fahrassistenzvorrichtungen weitergeben. Eine weitere Ausbaustufe der Navigationsvorrichtung berechnet aus den Kurvenradien des weiteren Straßenverlaufes ständig eine angepasste Geschwindigkeit, welche ebenfalls als Information anderen Fahrassistenzvorrichtungen, wie beispielsweise einem Kurvenwarner zur Verfügung gestellt werden kann.A Such navigation device can be connected via a suitable interface, for example by means of a standardized data exchange format, the current position of the vehicle, the further course of the road from the current position, the street category, for example Highway, highway, City, and the target heading information for guidance, such as a Turning information or the distance to the next intersection or diversion pass on to other driver assistance devices. Another expansion stage the navigation device calculated from the curve radii of the other road course constantly an adapted speed, which also as information other driver assistance devices, such as a curve detector to disposal can be made.

Darüber hinaus sind Verfahren bekannt, um aus dem Videostrom eines bildgebenden Sensors, beispielsweise einer Videokamera oder einer Infrarotkamera eines Nachtsichtgeräts, die Orientierung des Kraftfahrzeugs zur Fahrbahn in Form von lateraler Position, Fahrachse, Nick-, Roll- und Gierwinkel und dergleichen und im Nahbereich den Straßenverlauf zu ermitteln. Damit ist es mit Kenntnis des Abbildungsverhältnisses der Kamera möglich, anderweitig, beispielsweise aus der Navigationsvorrichtung gewonnene Informationen perspektivisch richtig dem Videostrom zu überlagern und damit diese Information dem Fahrer erfassbar zu machen. Dabei kann der für die Perspektive wichtige Nickwinkel auch von Sensoren eines aktiven Fahrwerks, welche Federwege oder Beschleunigungen messen, oder von einem speziellen Sensor geliefert werden. Nachteilig ist dabei, dass der weitere, außerhalb des Sichtfeldes liegende Straßenverlauf nicht anzeigbar ist.Furthermore Methods are known to extract from the video stream of an imaging Sensors, such as a video camera or infrared camera a night vision device, the orientation of the motor vehicle to the road in the form of lateral Position, driving axis, pitch, roll and yaw angles and the like and in the vicinity of the road to investigate. So it is with knowledge of the imaging ratio the camera possible, otherwise, for example, obtained from the navigation device Perspectively overlay information in perspective to the video stream and to make this information accessible to the driver. there can the for the perspective important pitch angle also from sensors of an active Suspension, which measures suspension travel or acceleration, or of be delivered to a special sensor. The disadvantage is that further, outside the field of view lying road course not displayable.

Aus der JP 2002 046 504 A1 ist eine Fahrassistenzvorrichtung für ein Kraftfahrzeug bekannt, welche eine mit einem Steuergerät verbundene Bildwiedergabevorrichtung aufweist. Das Steuergerät ist mit einer Navigationsvorrichtung und mit einem eine Infrarotkamera aufweisenden Nachtsichtgerät verbunden. Mittels Annäherungssensoren, Radsensoren und Lenkwinkelsensoren werden die Bewegungen des Fahrzeuges in Form einer virtuellen, 3D-Animation der Straße und des darauf fahrenden Fahrzeuges dargestellt. Mittels des Nachtsichtgeräts können Hindernisse frühzeitig erkannt und dem Fahrer auf der Bildwiedergabevorrichtung in der zumindest teilweise der von der Infrarotkamera erfassten Verkehrs- und Fahrsituation entsprechenden, virtuellen Umgebung angezeigt werden, um das von der Infrarotkamera erfasste und für den Fahrer ansonsten unge wöhnliche Bild des Nachtsichtgeräts verständlich zu machen. Darüber hinaus können in der virtuellen Umgebung Sollkursinformationen der Navigationsvorrichtung in Form von Pfeilen dargestellt werden. Je nach Hindernis und Verkehrs- und Fahrsituation können dabei von der Infrarotkamera erfasste andere Verkehrsteilnehmer sowie Gebäude und der gleichen in der virtuellen Umgebung ein- und ausgeblendet werden. Nachteilig an dieser Fahrassistenzvorrichtung ist, dass die Verkehrs- und Fahrsituation nur in Form einer virtuellen Umgebung, in der auch das eigene Fahrzeug dargestellt wird, wiedergegeben wird, wodurch sich diese Fahrassistenzvorrichtung nicht zur zuverlässigen und für den Fahrer verwendbaren Anzeige insbesondere des weiteren, außerhalb des Sichtfeldes liegenden Straßenverlaufs bei Nachtfahrt verwenden lässt.Out JP 2002 046 504 A1 is a driving assistance device for a motor vehicle known, which is connected to a controller image display device having. The control unit is with a navigation device and with an infrared camera having night vision device connected. Using proximity sensors, Wheel sensors and steering angle sensors are the movements of the vehicle in the form of a virtual, 3D animation of the road and the driving on it Vehicle shown. By means of the night vision device can obstructions early recognized and the driver on the image display device in the at least partially the traffic covered by the infrared camera. and driving situation corresponding virtual environment be captured by the infrared camera and for the driver otherwise unusual Picture of the night vision device understandably too do. About that can out in the virtual environment, target course information of the navigation device in the form of arrows. Depending on the obstacle and traffic and driving situation can while captured by the infrared camera other road users as well as buildings and the same in the virtual environment fade in and out. A disadvantage of this driver assistance device is that the traffic and driving situation only in the form of a virtual environment in which also the own vehicle is represented, is reproduced, whereby This driving assistance device is not reliable and for the Driver usable display, in particular, further, outside the field of view lying road course can be used at night ride.

Aus der DE 101 38 719 A1 ist eine Fahrassistenzvorrichtung bekannt, bei der die Anzeige einer Navigationsvorrichtung auf einer Bildwiedergabevorrichtung mit der von einer Videokamera erfassten Umgebung im Sichtfeld des Fahrers gemischt und an die dreidimensionale Gestalt des Geländes angepasst wird, um eine bessere Übereinstimmung zwischen dem von der Videokamera aufgenommenen Bild der Umgebung im Sichtfeld des Fahrers und der eingeblendeten, errechneten Sollkursinformation in Form eines Pfeils zu ermöglichen. Nachteilig daran ist, dass diese Fahrassistenzvorrichtung nicht zur Unterstützung des Fahrers während Nachtfahrten geeignet ist, da die Videokamera im sichtbaren Bereich arbeitet, und da der weitere, außerhalb des Sichtfeldes des Fahrers liegende Straßenverlauf nicht anzeigbar ist.From the DE 101 38 719 A1 a driver assistance device is known in which the display of a navigation device on an image display device is mixed with the environment detected by a video camera in the field of view of the driver and adapted to the three-dimensional shape of the terrain to better match between the video camera captured image of the environment in Field of view of the driver and the displayed calculated calculated target price information in the form of an arrow. The disadvantage of this is that this driving assistance device is not suitable for supporting the driver during night driving, since the video camera works in the visible range, and since the other lying outside the field of view of the driver road is not displayed.

Aus der JP 09 325 042 A1 ist eine Fahrassistenzvorrichtung bekannt, bei der die Anzeige einer Navigationsvorrichtung auf einer Bildwiedergabevorrichtung mit dem Bild der von einer Videokamera erfassten Umgebung im Sichtfeld des Fahrers kom biniert wird, um Sollkursinformationen in Form von Pfeilen und dergleichen in dem Videobild einzublenden. Diese Fahrassistenzvorrichtung ist ebenfalls nicht zur Unterstützung des Fahrers während Nachtfahrten oder witterungsbedingter schlechter Sicht verwendbar, da auch hier der weitere, außerhalb des Sichtfeldes liegende Straßenverlauf nicht angezeigt wird.From the JP 09 325 042 A1 a driver assistance device is known in which the display of a navigation device on a picture reproduction device is combined with the image of the environment detected by a video camera in the field of vision of the driver in order to display desired course information in the form of arrows and the like in the video image. This driver assistance device is also not used to assist the driver during night driving or weather-related poor visibility, as well as the other, outside the field of vision road course is not displayed.

Technische Aufgabe der Erfindung:Technical task of Invention:

Der Erfindung liegt daher die Aufgabe zugrunde, eine Fahrassistenzvorrichtung zu entwickeln, welche eine effektive Unterstützung des Fahrers eines Kraftfahrzeuges insbesondere bei Nachtfahrt bietet, indem der mit bloßem Auge nicht oder nur schwer erkennbare, außerhalb des Sichtfeldes liegende, weitere Straßenverlauf sowie Hindernisse auf der Fahrbahn dem Fahrer angezeigt werden.Of the The invention is therefore based on the object, a driving assistance device to develop what effective support the driver of a motor vehicle especially at night offers by the naked eye not or hardly recognizable, out of sight, further street course As well as obstacles on the road the driver will be shown.

Diese Aufgabe wird durch eine Fahrassistenzvorrichtung nach Anspruch 1 gelöst. Die erfindungsgemäße Fahrassistenzvorrichtung mit den kennzeichnenden Merkmalen des Hauptanspruchs weist gegenüber dem Stand der Technik den Vorteil auf, dass das Steuergerät zur Erkennung der Fahrbahn und des Straßenverlaufs die von dem bildgebenden Sensor erfassten und als Videostrom weitergegebenen Bilder verarbeitet und mindestens den weiteren, außerhalb des Sichtfeldes des bildgebenden Sensors liegenden Straßenverlauf aus den der Navigationsvorrichtung zur Verfügung stehenden Straßenkartendaten ermittelt, um durch Zusammenführen beider Informationen eine zuverlässige Vorhersage des Straßenverlaufes in Form einer positionsrichtigen Anzeige auf der Bildwiedergabevorrichtung zu erzeugen, wobei diese Anzeige mit dem für den Fahrer sichtbaren Bild der aktuellen Verkehrs- und Fahrsituation positionsrichtig und vorzugsweise perspektivisch richtig überlagerbar ist, und insbesondere im Nahbereich der tatsächliche, mit Hilfe des bildgebenden Sensors erfasste Straßenverlauf, bei Bedarf unter zusätzlicher Anzeige der Fahrspur, und im Fernbereich ein mit Hilfe der Navigationsvorrichtung ermittelter, für den Fahrer weder mit bloßem Auge, noch mit Hilfe des bildgebenden Sensors erkennbarer Straßenverlauf positionsrichtig zur aktuellen Fahrzeugposition und dem Sichtfeld des Fahrers perspektivisch richtig angezeigt wird.These Object is achieved by a driving assistance device according to claim 1 solved. The driving assistance device according to the invention with the characterizing features of the main claim points to the The prior art has the advantage that the control unit for detection the road and the road the detected by the imaging sensor and passed as video stream Images processed and at least the other, outside the field of view of the imaging sensor lying road course from the road map data available to the navigation device Determines to merge Both information is reliable Prediction of the road in the form of a positionally accurate display on the image display device to generate, with this display with the image visible to the driver the current traffic and driving situation in the correct position and preferably in perspective correctly superimposable is, and especially at close range, the actual, with the help of the imaging Sensors recorded road course, if necessary under additional Display of the lane, and in the long-range using the navigation device determined, for the driver neither with bare Eye, with the help of the imaging sensor recognizable road course in the correct position to the current vehicle position and the field of view the driver is displayed in perspective correctly.

Im Gegensatz zu dem insbesondere aus der JP 2002 046 504 A1 bekannten Stand der Technik wird so eine Anzeige auf der Bildwiedergabevorrichtung erzeugt, die dem tatsächlichen Sichtfeld entspricht, ergänzt um die durch den bildgebenden Sensor gewonnenen Informationen innerhalb dessen Sichtbereichs, sowie der aus den im Navigationsgerät hinterlegten Daten ermittelten Information über den weiteren, außerhalb des Sichtfeldes des Fahrers liegenden Straßenverlauf mindestens außerhalb des Sichtbereichs. Der bildgebende Sensor kann dabei beispielsweise ein RADAR- oder LIDAR-Sensor sein, eine Infrarot-Kamera, oder die Kamera eines Nachtsichtgeräts, wobei der Sichtbereich bei Nacht durch den strahlenoptisch ausleucht- oder erfassbaren Bereich unter Berücksichtigung der Reichweite beispielsweise eines als Infrarotkamera ausgeführten bildgebenden Sensors bestimmt wird, der größer ist, als der von den Scheinwerfern des Kraftfahrzeuges im sichtbaren Wellenlängenbereich ausgeleuchtete Bereich. Durch Verwendung des bildgebenden Sensors zur Erkennung des Straßenverlaufs insbesondere im Nahbereich, können Digitalisierungsfehler aus den Straßenkartendaten kompensiert werden. Wegen der strahlenoptischen geradlinigen Ausbreitung der elektromagnetischen Wellen kann der Straßenverlauf beispielsweise hinter einer Kuppe nicht mehr mit Hilfe des bildgebenden Sensors erfasst, aber mit Hilfe des Navigationsgeräts als zu erwartender Straßenverlauf angezeigt oder angedeutet werden. Hierdurch wird eine Entlastung des Fahrers des Kraftfahrzeugs bei Nachtfahr ten und bei schlechten Sichtverhältnissen durch eine wirklichkeitsnahe Anzeige des Weiteren, außerhalb des vom Fahrer einsehbaren Sichtfeldes liegenden Straßenverlaufs erreicht. Die Überlagerung der Anzeige mit dem für den Fahrer sichtbaren Bild kann dabei neben der Erfassung durch beispielsweise einen als Infrarotkamera eines Nachtsichtgeräts ausgebildeten bildgebenden Sensor, durch Erfassen der aktuellen Verkehrs- und Fahrsituation mittels einer im sichtbaren Wellenlängenbereich arbeitenden Videokamera, deren Bildinformation gemeinsam mit der Anzeige auf der als Fahrzeugdisplay ausgebildeten Bildwiedergabevorrichtung wiedergegeben wird, oder durch Einspiegeln der Anzeige in die Windschutzscheibe im Sichtfeld des Fahrers erfolgen, wobei die Anzeigevorrichtung in diesem Fall als ein aus Projektionsvorrichtung und Windschutzscheibe bestehendes Head-up-Display ausgebildet ist. Der sowohl außerhalb als auch innerhalb des Sichtfeldes des Fahrers liegende Straßenverlauf kann dabei beispielsweise mittels von fern nach nah immer heller beidseitig am Straßenrand bis in den Nahbereich hinein aufleuchtenden Markierungen über eine als aus Projektionsvorrichtung und Windschutzscheibe bestehendes Head-up-Display ausgebildete Bildwiedergabevorrichtung als zuschaltbare Anzeige positionsrichtig und perspektivisch richtig in das Sichtfeld des Fahrers eingespiegelt werden.in the Contrary to the known in particular from JP 2002 046 504 A1 The prior art thus becomes a display on the image display apparatus generates the actual Field of view corresponds, supplemented within the information obtained by the imaging sensor within its field of view, as well as those stored in the navigation device Data determined information about the further, outside the driver's field of vision at least outside of the field of view. The imaging sensor can for example a RADAR or LIDAR sensor, an infrared camera, or the Camera of a night vision device, whereby the viewing area at night is illuminated by the optic radiation. or detectable range taking into account the range for example, an infrared camera designed as an imaging sensor is determined, which is greater than that of the headlamps of the motor vehicle in the visible wavelength range illuminated area. By using the imaging sensor to recognize the course of the road especially at close range, can Digitization error compensated from the road map data become. Because of the radiation-optical rectilinear propagation of Electromagnetic waves, the road, for example, behind a dome no longer detected with the help of the imaging sensor, but with the help of the navigation device as expected road course be displayed or indicated. This will be a relief the driver of the motor vehicle at Nachtfahr th and in poor visibility through a realistic display of further, outside of the driver visible field of view road course reached. The overlay the ad with the for The driver's visible image can be captured in addition to the capture for example, a trained as an infrared camera of a night vision device imaging sensor, by recording the current traffic and driving situation by means of a video camera operating in the visible wavelength range, their image information together with the display on the as vehicle display reproduced image reproducing apparatus is reproduced, or by mirroring the display in the windshield in the field of view of Driver, the display device in this case as a projection device and windshield existing Head-up display is formed. The both outside and inside the field of vision of the driver lying road can be, for example by means of from far to near always lighter on both sides of the roadside up to the near range in flashing markings on a as consisting of projection device and windshield Head-up display trained image display device as switchable Display in the correct position and in perspective correctly in the field of view be reflected by the driver.

Eine vorteilhafte Ausgestaltung der Erfindung sieht vor, dass die Anzeige der Bildwiedergabevorrichtung zusätzlich zu dem Straßenverlauf eine zur Zielführung durch die Navigationsvorrichtung dienende Sollkursinformation zeigt. Hierdurch wird eine leichtere Interpretierbarkeit der Sollkursinformation der Navigationsvorrichtung durch Einblendung in ein Bild der aktuellen Verkehrs- und Fahrsituation erreicht.A advantageous embodiment of the invention provides that the display the image display device in addition to the road one for destination guidance shows target price information serving by the navigation device. This makes easier interpretability of the target price information of the Navigation device by insertion in an image of the current Traffic and driving situation reached.

Eine vorteilhafte Ausgestaltung der Erfindung sieht vor, dass die Anzeige der Bildwiedergabevorrichtung zusätzlich inner halb der Sichtweite des Nachtsichtgerätes auf der Fahrbahn liegende Hindernisse anzeigt, wobei direkt die unveränderten Bilddaten vom Bildsensor oder veränderte Bilddaten, z.B. farblich hervorgehobene Hindernisse, angezeigt werden können. Dabei können die Informationen über Hindernisse auch von anderen im Fahrzeug angeordneten, abstandserkennenden Fahrassistenzvorrichtungen, wie beispielsweise einer Adaptive-Cruise-Control, ACC, zur Verfügung gestellt werden, oder dazu benutzt werden, die Anzeige zu verändern bzw. den Informationsgehalt zu optimieren.An advantageous embodiment of the invention provides that the display of the image display device additionally within half the visibility of the night-vision device on the road surface indicating obstacles, directly the unmodified image data from the image sensor or changed image data, such as color highlighted obstacles, can be displayed. The information about Obstacles are also provided by other vehicle-mounted, distance-recognizing driving assistance devices, such as an adaptive cruise control, ACC, or are used to change the display or to optimize the information content.

Eine andere vorteilhafte Ausgestaltung der Erfindung sieht vor, dass die Bildwiedergabevorrichtung das Display eines Nachtsichtgeräts ist, wobei der bildgebende Sensor vorzugsweise die Kamera des Nachtsichtgeräts ist, beispielsweise eine IR-Kamera.A Another advantageous embodiment of the invention provides that the picture display device is the display of a night vision device, wherein the imaging sensor is preferably the camera of the night vision device, for example, an IR camera.

Eine zusätzliche vorteilhafte Ausgestaltung der Erfindung sieht vor, dass die Bildwiedergabevorrichtung ein die Anzeige über die Windschutzscheibe in den Sichtbereich des Fahrers des Kraftfahrzeugs einspiegelnde, aus der Windschutzscheibe und einer von unten gegen die Windschutzscheibe gerichteten Projektionsvorrichtung bestehendes Head-up-Display ist, so dass der Fahrer die Anzeige mit dem weiteren, außerhalb seines Sichtfeldes liegenden Straßenverlauf und das für ihn in dem für das menschliche Auge sichtbaren Wellenlängenbereich erkennbare, tatsächliche Verkehrsgeschehen perspektivisch und positionsrichtig überlagert direkt vor Augen hat.A additional advantageous embodiment of the invention provides that the image display device the ad above reflecting the windshield into the field of vision of the driver of the motor vehicle, from the windshield and from the bottom against the windshield directional projection device is an existing head-up display, leaving the driver with the ad, outside his field of vision lying road and that for him in for the human eye visible wavelength range recognizable, actual Traffic is superimposed perspectively and in the correct position right in front of your eyes.

Kurzbeschreibung der Zeichnung, in der zeigen:Summary the drawing, in which show:

1 einen schematischen Aufbau einer erfindungsgemäßen Fahrassistenzvorrichtung und 1 a schematic structure of a driving assistance device according to the invention and

2 eine von einer erfindungsgemäßen Fahrassistenzvorrichtung auf einer Bildwiedergabevorrichtung dargestellte Anzeige eines Straßenverlaufs. 2 a display of a road course shown by a driving assistance device according to the invention on an image display device.

Eine in 1 dargestellte, erfindungsgemäße Fahrassistenzvorrichtung besteht aus einem bildgebenden Sensor 1, vorzugsweise einer im nahen oder fernen Infrarot arbeitenden Infrarotkamera eines Nachtsichtgeräts, einer Navigationsvorrichtung 2, welche eine oder mehrere der Informationen Fahrzeugposition, Straßenkategorie, Straßenkartendaten zur Bestimmung des weiteren Straßenverlaufs und der für den Straßenverlauf optimierte Geschwindigkeit, zulässige Höchstgeschwindigkeit, Sollkursinformation für eine geplante Route in Form einer Abbiegeinformation zur Verfügung stellt, einem oder mehreren Fahrdynamiksystemen 3 oder dedizierten Sensoren, die Informationen wie Fahrgeschwindigkeit, Getriebestellung, Lenkradeinschlagswinkel, Lenkwinkel, Nickwinkel zur Verfügung stellen, einer hinderniserkennenden Fahrassistenzvorrichtung 4, welche Informationen über vorausfahrende Fahrzeuge oder Hindernisse auf der Fahrbahn liefert, einer Bildwiedergabevorrichtung 5 sowie einem Steuergerät 6, mit dem die anderen Komponenten über Datenleitungen 7 verbunden sind und welches die die Informationen tragenden Signale der anderen Komponenten verarbeitet und auf der Bildwiedergabevorrichtung als Anzeige ausgeben kann. Das Steuergerät 6 steuert dabei den bildgebenden Sensor 1 an, bereitet das von dem bildgebenden Sensor 1 in Form eines Videostromes ausgegebene Bild der aktuellen Verkehrs- und Fahrsituation zur Darstellung auf der Bildwiedergabevorrichtung 5 auf, ermittelt den Nickwinkel des Kraftfahrzeugs aus dem Kamerabild oder empfängt diese Information von dem Fahrdynamiksystem 3 und berechnet den Straßenverlauf aus dem Videostrom des bildgebenden Sensors 1, aus dem von der Navigationsvorrichtung 2 zur Verfügung gestellten Straßenkartendaten, sowie aus einer Kombination aus Videostrom und Straßenkartendaten, wobei der im Nahbereich genaue Straßenverlauf aus dem Videostrom mit der Information aus den Straßenkartendaten so weitergeführt wird, dass sich ein glatter horizontaler Krümmungsverlauf ergibt. Dazu werden die Spurverläufe aus dem Videostrom und den Straßenkartendaten verglichen und geeignet fusioniert. Mit dieser Information kann dann der aus dem Videostrom ermittelte, im Sichtfeld des bildgebenden Sensors 1 liegende Straßenverlauf 9 mit den Informationen aus den Straßenkartendaten verlängert werden. Damit werden die Digitalisierungsfehler der Straßenkartendaten kompensiert.An in 1 illustrated, driving assistance device according to the invention consists of an imaging sensor 1 , Preferably, a near or far infrared infrared camera of a night vision device, a navigation device 2 which provides one or more of the information vehicle position, road category, road map data for determining the further road course and the road-optimized speed, maximum speed, target course information for a planned route in the form of a turn information, one or more vehicle dynamics systems 3 or dedicated sensors providing information such as vehicle speed, gear position, steering angle, steering angle, pitch angle, obstacle-detecting driving assistance device 4 which provides information about preceding vehicles or obstacles on the roadway, a picture display device 5 as well as a control unit 6 with which the other components via data lines 7 are connected and which can process the information bearing signals of the other components and output on the image display device as a display. The control unit 6 controls the imaging sensor 1 on, that is prepared by the imaging sensor 1 in the form of a video stream output image of the current traffic and driving situation for display on the image display device 5 ascertains the pitch angle of the motor vehicle from the camera image or receives this information from the vehicle dynamics system 3 and calculates the course of the road from the video stream of the imaging sensor 1 from which from the navigation device 2 provided road map data, as well as from a combination of video stream and road map data, the near-accurate road course from the video stream with the information from the road map data is continued so that there is a smooth horizontal curvature. For this purpose, the lane courses from the video stream and the road map data are compared and appropriately fused. With this information can then determined from the video stream, in the field of view of the imaging sensor 1 lying roadway 9 be lengthened with the information from the road map data. This compensates for the digitization errors of the road map data.

In 2 ist eine Anzeige 8 der erfindungsgemäßen Fahrassistenzvorrichtung auf einer Bildwiedergabevorrichtung 5 dargestellt. Dabei zeigt die Anzeige 8 den Straßenverlauf 9. Im Bereich der Fahrspur 10 des Fahrzeuges wird das Bild der Anzeige 8 so verändert, insbesondere optimiert, dass der Fahrer den weiteren Straßenverlauf 9 deutlicher als die Umgebung 11 wahrnimmt. Geeigneterweise werden hierzu auf der Fahrbahn 14 von dem bildgebenden Sensor 1 erkannte Fahrbahnmarkierungen 15 hervorgehoben oder solche Fahrbahnmarkierungen 15 ergänzt. Dabei können grafische Elemente korrespondierend zu den Straßenrändern 12 und/oder grafische Elemente korrespondierend zu dem Mittelstreifen 13 von dem Steuergerät 6 erzeugt und angezeigt werden. Darüberhinaus ist eine geeignete Anpassung der Helligkeit des Bildes und/oder der angezeigten grafischen Elemente in der Anzeige 8 möglich, sowie eine geeignete Anpassung des Kontrastes, der Schärfe sowie der Farbe denkbar. Unabhängig von der Art der Darstellung des Straßenverlaufs wird diese Darstellung dem Krümmungsverlauf der Straße, beispielsweise unter Annahme einer ebenen Straße 16, unter Ermittlung des Krümmungsverlaufes der Straße 16 aus dem Videostrom des bildgebenden Sensors 1 oder durch Ermittlung des Krümmungsverlaufes der Straße 16 aus den Straßenkartendaten der Navigationsvorrichtung 2 perspektivisch positionsrichtig angepasst.In 2 is an ad 8th the driving assistance device according to the invention on an image display device 5 shown. The display shows 8th the road 9 , In the area of the lane 10 the vehicle becomes the image of the ad 8th so changed, in particular optimized, that the driver continues the course of the road 9 more clearly than the environment 11 perceives. Suitably, this will be on the road 14 from the imaging sensor 1 recognized lane markings 15 highlighted or such road markings 15 added. In this case, graphic elements corresponding to the roadsides 12 and / or graphic elements corresponding to the median strip 13 from the controller 6 be generated and displayed. In addition, a suitable adjustment of the brightness of the image and / or the displayed graphical elements in the display 8th possible, as well as a suitable adjustment of the contrast, the sharpness and the color conceivable. Regardless of the type of representation of the road, this representation is the curvature of the road, for example, assuming a flat road 16 , Determining the curvature of the road 16 from the video stream of the imaging sensor 1 or by determining the curvature of the road 16 from the road map data of the navigation device 2 adjusted in the right position.

An Kreuzungen, Ausfahrten Kreisverkehren oder generell an allen Verzweigungen können die vorher beschriebenen Manipulationen an der Anzeige 8 an allen abgehenden Straßenverläufen 9 vorgenommen werden. Dabei kann je nach Komplexität der Verkehrs- und Fahrsituation das Bild der Anzeige 8 so überladen werden, dass es dem Fahrer keine Hilfe mehr bietet. Um die Menge der dargestellten Informationen zu verringern, wird nur ein einziger Straßenverlauf 9 vollständig hervorgehoben. Der hervorgehobene Straßenverlauf 9 kann dabei bei eingeschalteter Zielführung der Navigationsvorrichtung 2 dem Sollkurs der empfohlenen Route, der Straße 16 gleichen Namens, der Straße 16 gleicher Kategorie, oder der Straße 16 mit dem kleinsten Krümmungsverlauf, oder einer auf vorangegangenen Fahrten erlernten Route folgen.At intersections, exits roundabouts or in general at all branches, the previously described manipulations on the display 8th on all outgoing roads 9 be made. Depending on the complexity of the traffic and driving situation, the picture of the display can be 8th be overloaded so that it no longer offers the driver any help. In order to reduce the amount of information presented, only one road will be used 9 fully highlighted. The highlighted road course 9 can while switched on route guidance of the navigation device 2 the planned course of the recommended route, the road 16 same name, the street 16 same category, or the street 16 with the smallest curvature, or following a route learned on previous rides.

Damit die Information über eine Verzweigung als besonderer Gefahrenpunkt und/oder Routenalternative nicht verloren geht, können Verzweigungen mit speziellen grafischen Elementen oder durch die Darstellung von Fahrbahnmarkierungen 15 der abgehenden Straßen 16 positionsrichtig auf der Bildwiedergabevorrichtung 5 angezeigt werden.So that the information about a branch as a special danger point and / or route alternative is not lost, branches with special graphic elements or through the presentation of lane markings 15 the outgoing roads 16 in the correct position on the image display device 5 are displayed.

Um den Fahrer nicht mit unplausiblen Informationen zu überlasten, wird die Anzeige 8 im Stadtverkehr und beim Rückwärtsfahren ausgesetzt, reduziert oder vereinfacht. Eine entsprechende Optimierung der Anzeige 8 ist bei einem Lenkradeinschlagswinkel oberhalb einer einstellbaren Schwelle, einer Fahrgeschwindigkeit unterhalb einer einstellbaren Schwelle, einer Fahrgeschwindigkeit oberhalb einer einstellbaren Schwelle, einer Fahrgeschwindigkeit oberhalb einer als zulässig erkannten Schwelle, bei einem instabilen Fahrzustand des Kraftfahrzeugs, einem Abstand zu einem vorausfahrenden Kraftfahrzeug unterhalb einer einstellbaren Schwelle, bei einer bestimmten Straßenkategorie, bei der beispielsweise eine schlechte oder veraltete Digitalisierung erkannt oder vermutet wird, bei oder in einem Kreisverkehr oder einer Kreuzung, bei einer nicht verfügbaren optischen oder kartografischen Erkennung des Straßenverlaufs 9, bei einer Krümmung des voraus liegenden Straßenverlaufs 9 oberhalb einer einstellbaren Schwelle, bei einer Erkennung einer Überlastung des Fahrers, beispielsweise durch Bedienen komplexer Fahrzeugfunktionen oder Kommunikationseinrichtungen, oder wenn der bildgebende Sensor 1, die Navigationsvorrichtung 2 oder ein angeschlossenes Fahrdynamiksystem 3 keine Informationen liefert, denkbar.In order not to overload the driver with implausible information, the display becomes 8th In urban traffic and when reversing exposed, reduced or simplified. An appropriate optimization of the ad 8th is at a steering wheel angle above an adjustable threshold, a driving speed below an adjustable threshold, a driving speed above an adjustable threshold, a driving speed above a threshold recognized as permissible, in an unstable driving condition of the motor vehicle, a distance to a preceding vehicle below an adjustable threshold, for example, in a particular category of road, where, for example, bad or outdated digitization is detected or suspected, at or around a roundabout or intersection, with unavailable visual or cartographic recognition of the road 9 , at a curvature of the road ahead 9 above an adjustable threshold, upon detection of an overload of the driver, for example by operating complex vehicle functions or communication devices, or if the imaging sensor 1 , the navigation device 2 or a connected vehicle dynamics system 3 provides no information, conceivable.

Um den Fahrer nicht durch das Umschalten zwischen Zuständen der Anzeige 8 mit und ohne Hervorhebung von relevanten Informationen abzulenken, werden die eingeblendeten Fahrbahnmarkierungen 16, Richtungsanzeigen 17 zur Information über den Sollkurs oder den Straßenverlauf 9 in ihrer Vorausschau insbesondere in Bezug auf ihre Wahrnehmbarkeit auf der Bildwiedergabevorrichtung 5 in einem für die menschliche Wahrnehmung geeigneten zeitlichen Verlauf ein- und ausgeblendet. Dazu können z.B. Helligkeit, Kontrast, Schärfe sowie Farbwerte angepasst werden.To avoid the driver by switching between states of the ad 8th with and without highlighting relevant information, the overlaid lane markings become 16 , Direction indicators 17 for information about the planned course or the course of the road 9 in their foresight, in particular with respect to their perceptibility on the image display device 5 faded in and out in a time course suitable for human perception. For example, brightness, contrast, sharpness and color values can be adjusted.

Bedingt durch die perspektivische Darstellung der Anzeige 8 auf der Bildwiedergabevorrichtung 5 ergeben sich für den Fahrer ab einer gewissen Distanz keine mehr wahrnehmbaren Details. Dabei wird die Darstellung auf die Reichweite beschränkt, in der die gewählte Darstellungsart Effekte auf der Bildwiedergabevorrichtung 5 erzeugt, die größer als ein Pixel ist und oberhalb einer für den Fahrer wahrnehmbaren Stufe liegt. Darüber hinaus ist die Reichweite davon abhängig, wie weit der weitere Verlauf der Fahrbahn 14 zuverlässig aus dem Videostrom erkannt oder aus den Straßenkartendaten ermittelt werden kann. Stehen dabei keine Straßenkartendaten zur Verfügung, wird die Reichweite der Fahrassistenzvorrichtung auf den aus dem Videostrom erkannten Straßenverlauf 9 beschränkt. Steht keine Erkennung der Fahrspur 10 aus dem Videostrom zur Verfügung, beispielsweise weil die Fahrspurerkennung nicht implementiert ist, oder keine Fahrspur 10 mangels Fahrbahnmarkierungen 15 erkennbar ist, kann die Darstellung und damit die Fahrassistenzvorrichtung in der oben beschriebenen vollen Reichweite betrieben werden.Due to the perspective view of the display 8th on the image display device 5 arise for the driver from a certain distance no more perceptible details. The display is limited to the range in which the selected display effects on the image display device 5 which is greater than one pixel and is above a perceivable level for the driver. In addition, the range depends on how far the further course of the road 14 reliably detected from the video stream or can be determined from the road map data. If there are no road map data available, the range of the driving assistance device to the detected from the video stream road 9 limited. There is no recognition of the lane 10 from the video stream, for example because the lane detection is not implemented, or no lane 10 for lack of road markings 15 can be seen, the representation and thus the driving assistance device can be operated in the full range described above.

Sind von dem bildgebenden Sensor 1 des Nachtssichtgeräts erkennbare Fahrbahnmarkierungen 15 nicht vorhanden oder schlecht erkennbar, kann die Fahrbahn 14 auch anhand des Überganges zwischen Straßenrand 12 und Umgebung 11, beispielsweise innerorts der Bordsteinkante, oder außerorts dem Straßengraben oder dem tiefer liegenden, nicht asphaltierten Straßenunterbau, oder anhand von am Straßenrand stehenden Objekten, wie beispielsweise Leitpfosten, Leitplanken, Schilder und dergleichen erkannt werden.Are from the imaging sensor 1 the night vision device recognizable lane markings 15 absent or poorly recognizable, can the roadway 14 also based on the transition between roadside 12 and environment 11 , For example, in the city of the curb, or outside the trench or the lower, unpaved road substructure, or be recognized by roadside objects, such as guide posts, crash barriers, signs and the like.

Um dem Fahrer Hinweise auf potenzielle Gefahrenstellen geben zu können, und um einer missbräuchlichen Verwendung der Fahrassistenzvorrichtung entgegenzuwirken, kann die Reichweite der Darstellung weiter eingeschränkt werden, wenn die Fahrgeschwindigkeit über der von einem Kurvenwarner empfohlenen Geschwindigkeit, oder über der von der Navigationsvorrichtung 2 erkannten zulässigen Geschwindigkeit liegt.In order to give the driver indications of potential danger spots, and to counteract misuse of the driving assistance device, the range of the display can be further limited if the driving speed is above the speed recommended by a cornering detector, or above that of the navigation device 2 detected permissible speed.

Neben dem Straßenverlauf 9 können noch weitere Informationen aus den genannten Komponenten perspektivisch richtig in die Anzeige 8 der aktuellen Verkehrs- und Fahrsituation eingeblendet werden, beispielsweise ein farblich codierter Abstand zu einem vorausfahrenden Fahrzeug, wobei die farbliche Codierung eine Information trägt, ob der Abstand ausreichend ist, oder nicht, der Angabe eines Bremspunktes oder einer generellen Abstandsinformation. Zur Zielführung durch die Navigationsvorrichtung 2 können darüber hinaus ein Abbiegepfeil, ein Abbiegepunkt, die Wegstrecke bis zum Abbiegepunkt, sowie Abzweigungen, Kreuzungen und Kreisverkehre in der Anzeige 8 auf der Bildwiedergabevorrichtung 5 dargestellt werden.Next to the road 9 In addition, further information from the mentioned components can be viewed correctly in the display 8th the current traffic and driving situation are displayed, for example, a color-coded distance to a vehicle in front, the color coding carries information whether the distance is sufficient or not, the indication of a Bremspunktes or a general distance information. To route through the navigation device 2 In addition, a turn-off arrow, a turn-off point, the distance to the turn-off point, as well as junctions, intersections and roundabouts in the display 8th on the image display device 5 being represented.

Gewerbliche Anwendbarkeit:Industrial Applicability:

Die Erfindung ist insbesondere im Bereich der Herstellung von Kraftfahrzeugen sowie von Fahrassistenzvorrichtungen für Kraftfahrzeuge gewerblich anwendbar.The Invention is particularly in the field of production of motor vehicles as well as driver assistance devices for motor vehicles commercially applicable.

Claims (5)

Fahrassistenzvorrichtung für ein Kraftfahrzeug mindestens mit einer Navigationsvorrichtung, einem bildgebenden Sensor, einer Bildwiedergabevorrichtung und einem Steuergerät, wobei mindestens die Navigationsvorrichtung, der bildgebenden Sensor und die Bildwiedergabevorrichtung mit dem Steuergerät verbunden sind, dadurch gekennzeichnet, dass das Steuergerät (6) zur Erkennung der Fahrbahn (14) und des Straßenverlaufs (9) die von dem bildgebenden Sensor (1) erfassten Bilder verarbeitet und mindestens den weiteren, außerhalb des Sichtfeldes des bildgebenden Sensors (1) liegenden Straßenverlauf (9) aus den der Navigationsvorrichtung (2) zur Verfügung stehenden Straßenkartendaten ermittelt, um durch Zusammenführen beider Informationen eine Vorhersage des Straßenverlaufes (9) in Form einer positionsrichtigen Anzeige (8) auf der Bildwiedergabevorrichtung (5) zu erzeugen, wobei diese Anzeige (8) mit dem für den Fahrer sichtbaren Bild der aktuellen Verkehrs- und Fahrsituation positionsrichtig und perspektivisch richtig überlagerbar ist.A driving assistance device for a motor vehicle, comprising at least one navigation device, an imaging sensor, an image reproduction device and a control device, wherein at least the navigation device, the imaging sensor and the image reproduction device are connected to the control device, characterized in that the control device ( 6 ) for detecting the roadway ( 14 ) and the course of the road ( 9 ) from the imaging sensor ( 1 ) processed images and at least the other, outside the field of view of the imaging sensor ( 1 ) road course ( 9 ) from the navigation device ( 2 determined) road map data to combine by merging both information a prediction of the road ( 9 ) in the form of a position-correct display ( 8th ) on the image display device ( 5 ), this display ( 8th ) with the image of the current traffic and driving situation, which is visible to the driver, can be correctly positioned and perspectively correctly superimposed. Fahrassistenzvorrichtung nach Anspruch 1 dadurch gekennzeichnet, dass die Anzeige (8) der Bildwiedergabevorrichtung (5) zusätzlich zu dem Straßenverlauf (9) eine zur Zielführung durch die Navigationsvorrichtung (2) dienende Sollkursinformation (17) zeigt.Driving assistance device according to claim 1, characterized in that the display ( 8th ) of the image display device ( 5 ) in addition to the road ( 9 ) one for the route guidance by the navigation device ( 2 ) serving target price information ( 17 ) shows. Fahrassistenzvorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Anzeige (8) der Bildwiedergabevorrichtung (5) zusätzlich innerhalb der Sichtweite des bildgebenden Sensors (1) auf der Fahrbahn (14) liegende Hindernisse zeigt.Driving assistance device according to claim 1 or 2, characterized in that the display ( 8th ) of the image display device ( 5 ) additionally within the field of vision of the imaging sensor ( 1 ) on the road ( 14 ) lying obstacles. Fahrassistenzvorrichtung nach einem der Ansprüche 1, 2 oder 3, dadurch gekennzeichnet, dass die Bildwiedergabevorrichtung (5) das Display eines Nachtsichtgeräts (1) ist, wobei der bildgebende Sensor vorzugsweise die Kamera des Nachtsichtgeräts (1) ist.Driving assistance device according to one of claims 1, 2 or 3, characterized in that the image reproduction device ( 5 ) the display of a night vision device ( 1 ), wherein the imaging sensor is preferably the camera of the night vision device ( 1 ). Fahrassistenzvorrichtung nach einem der Ansprüche 1, 2 oder 3, dadurch gekennzeichnet, dass die Bildwiedergabevorrichtung (5) ein die Anzeige (8) über die Windschutzscheibe in den Sichtbereich des Fahrers des Kraftfahrzeugs einspiegelndes Head-up-Display ist.Driving assistance device according to one of claims 1, 2 or 3, characterized in that the image reproduction device ( 5 ) the display ( 8th ) is on the windshield in the field of view of the driver of the motor vehicle mirroring head-up display.
DE200410048347 2004-10-01 2004-10-01 Driving assistance device for opposite the field of view of the driver of a motor vehicle positionally correct representation of the further course of the road on a vehicle display Ceased DE102004048347A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE200410048347 DE102004048347A1 (en) 2004-10-01 2004-10-01 Driving assistance device for opposite the field of view of the driver of a motor vehicle positionally correct representation of the further course of the road on a vehicle display
PCT/EP2005/009041 WO2006037402A1 (en) 2004-10-01 2005-08-22 Driving aid device for the representation of the subsequent road trajectory on a vehicle display which is positionally-accurate relative to the field of view of a driver of a motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE200410048347 DE102004048347A1 (en) 2004-10-01 2004-10-01 Driving assistance device for opposite the field of view of the driver of a motor vehicle positionally correct representation of the further course of the road on a vehicle display

Publications (1)

Publication Number Publication Date
DE102004048347A1 true DE102004048347A1 (en) 2006-04-20

Family

ID=34980043

Family Applications (1)

Application Number Title Priority Date Filing Date
DE200410048347 Ceased DE102004048347A1 (en) 2004-10-01 2004-10-01 Driving assistance device for opposite the field of view of the driver of a motor vehicle positionally correct representation of the further course of the road on a vehicle display

Country Status (2)

Country Link
DE (1) DE102004048347A1 (en)
WO (1) WO2006037402A1 (en)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006039376A1 (en) * 2006-08-22 2008-03-06 Bayerische Motoren Werke Ag Vehicle, has detection device that detects driving situation information, and control device that is arranged such that ahead lying road section is displayed on display device depending on detected information
WO2008046458A1 (en) * 2006-10-18 2008-04-24 Daimler Ag Method and device for capturing the surroundings in motor vehicles with the aid of aerial images
DE102007027756A1 (en) * 2007-06-16 2008-12-18 Bayerische Motoren Werke Aktiengesellschaft A method for assisting a driver of a motor vehicle in the passage of the motor vehicle through a bottleneck and / or to maintain a safety distance to the front vehicle
DE102007027297A1 (en) 2007-06-11 2008-12-18 Volkswagen Ag Driver assistance information representing system for vehicle, has sensor unit receiving information, where lying within sensor environment and outside sensor environment of vehicle are represented
DE102009024153A1 (en) 2009-06-05 2010-12-09 Daimler Ag Method for successive prediction of route sections by navigation system of motor vehicle, involves detecting, storing and predicting sequence-turning decision at sequence node points until reaching destinations
DE102009027026A1 (en) 2009-06-18 2010-12-23 Robert Bosch Gmbh Generation and display of virtual road marking for driver following curve, combines data from navigational and optical interfaces for representation in head-up display
DE102009041205A1 (en) * 2009-09-11 2011-03-24 Valeo Schalter Und Sensoren Gmbh Method for controlling display device in vehicle, involves evaluating brightness-and color level of road surface in visible field for controlling brightness and the color of the projection signal of head-up-display by signals of camera
DE102010014499A1 (en) * 2010-04-10 2011-10-13 Audi Ag Method for operating a lane keeping assistance system for multi-lane turning in a motor vehicle and motor vehicle
DE102011006347A1 (en) * 2011-03-29 2012-10-04 Bayerische Motoren Werke Aktiengesellschaft Method for outputting graphic driving instructions
DE102012214988A1 (en) * 2011-09-30 2013-04-04 Gm Global Technology Operations, Llc Advanced reality front and rear seat vehicle gaming system for entertaining and informing passengers
DE102011115739A1 (en) * 2011-10-11 2013-04-11 Daimler Ag Method for integrating virtual objects in vehicle displays
WO2013113500A1 (en) 2012-02-02 2013-08-08 Audi Ag Driver assistance system and method for virtual representation of a road layout under obscured visibility and/or poor visibility conditions
DE102014205489A1 (en) * 2014-03-25 2015-10-01 Conti Temic Microelectronic Gmbh Method and system for providing all-round visibility including invisible objects
DE102017202459A1 (en) 2017-02-15 2018-08-16 Audi Ag Controlling a controllable headlamp of a motor vehicle
DE102017215024A1 (en) * 2017-08-28 2019-02-28 Volkswagen Aktiengesellschaft A method, apparatus and computer readable storage medium having instructions for providing information for a head-up display device for a motor vehicle
WO2020147962A1 (en) * 2019-01-18 2020-07-23 Vestel Elektronik Sanayi Ve Ticaret A.S. Head-up display system
DE102011112943B4 (en) * 2011-09-13 2020-08-27 Volkswagen Aktiengesellschaft Method for providing a driver assistance system with automatic longitudinal control for a vehicle and a driver assistance system for this

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006072830A (en) * 2004-09-03 2006-03-16 Aisin Aw Co Ltd Operation supporting system and operation supporting module
DE102006054323A1 (en) * 2006-11-17 2008-05-21 Robert Bosch Gmbh Method for locating an object
FR2917223B1 (en) 2007-06-08 2009-07-17 Thales Sa AIDING SYSTEM FOR GUIDING AN AIRCRAFT ON AN AIRPORT
DE102007030226A1 (en) * 2007-06-29 2009-01-08 Robert Bosch Gmbh Camera-based navigation system and method for its operation
DE102008028373A1 (en) * 2008-06-13 2009-12-24 Audi Ag A method for the combined output of an image and a driving information, and a motor vehicle therefor
DE102008028374A1 (en) * 2008-06-13 2009-12-17 Audi Ag Method for combined output of an image and local information, and motor vehicle therefor
DE102010040803A1 (en) 2010-09-15 2012-03-15 Continental Teves Ag & Co. Ohg Visual driver information and warning system for a driver of a motor vehicle
DE102012223588A1 (en) 2012-12-18 2014-06-18 Robert Bosch Gmbh Device for the extended representation of a surrounding area of a vehicle
WO2015144751A1 (en) * 2014-03-25 2015-10-01 Jaguar Land Rover Limited Navigation system
JP6477903B2 (en) * 2015-09-30 2019-03-06 日産自動車株式会社 Travel control method and travel control apparatus
DE102018208703A1 (en) * 2018-06-01 2019-12-05 Volkswagen Aktiengesellschaft Method for calculating an "augmented reality" display for displaying a navigation route on an AR display unit, device for carrying out the method, and motor vehicle and computer program
CN109151287A (en) * 2018-10-30 2019-01-04 泰州市华润纺织品有限公司 A kind of military vehicle-mounted auxiliary night vision device system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19738764A1 (en) * 1997-09-04 1999-03-11 Bayerische Motoren Werke Ag Graphical display in motor vehicle for road map
DE10203413C2 (en) * 2002-01-28 2003-11-27 Daimler Chrysler Ag Automobile infrared night vision device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3708221B2 (en) * 1996-06-05 2005-10-19 松下電器産業株式会社 Traveling position display device
JP3883033B2 (en) * 2000-08-03 2007-02-21 マツダ株式会社 Vehicle display device
DE10137582B4 (en) * 2001-08-01 2004-07-29 Siemens Ag Image processing device for a vehicle and method for operating an image processing device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19738764A1 (en) * 1997-09-04 1999-03-11 Bayerische Motoren Werke Ag Graphical display in motor vehicle for road map
DE10203413C2 (en) * 2002-01-28 2003-11-27 Daimler Chrysler Ag Automobile infrared night vision device

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006039376A1 (en) * 2006-08-22 2008-03-06 Bayerische Motoren Werke Ag Vehicle, has detection device that detects driving situation information, and control device that is arranged such that ahead lying road section is displayed on display device depending on detected information
WO2008046458A1 (en) * 2006-10-18 2008-04-24 Daimler Ag Method and device for capturing the surroundings in motor vehicles with the aid of aerial images
DE102007027297A1 (en) 2007-06-11 2008-12-18 Volkswagen Ag Driver assistance information representing system for vehicle, has sensor unit receiving information, where lying within sensor environment and outside sensor environment of vehicle are represented
DE102007027297B4 (en) 2007-06-11 2022-10-20 Volkswagen Ag Display of traffic and infrastructure information in the vehicle
DE102007027756A1 (en) * 2007-06-16 2008-12-18 Bayerische Motoren Werke Aktiengesellschaft A method for assisting a driver of a motor vehicle in the passage of the motor vehicle through a bottleneck and / or to maintain a safety distance to the front vehicle
US10214143B2 (en) 2007-06-16 2019-02-26 Bayerische Motoren Werke Aktiengesellschaft Method for assisting a motor vehicle driver when driving through a narrow passage and/or for maintaining a safe distance from a vehicle in front
DE102009024153A1 (en) 2009-06-05 2010-12-09 Daimler Ag Method for successive prediction of route sections by navigation system of motor vehicle, involves detecting, storing and predicting sequence-turning decision at sequence node points until reaching destinations
DE102009027026A1 (en) 2009-06-18 2010-12-23 Robert Bosch Gmbh Generation and display of virtual road marking for driver following curve, combines data from navigational and optical interfaces for representation in head-up display
DE102009041205A1 (en) * 2009-09-11 2011-03-24 Valeo Schalter Und Sensoren Gmbh Method for controlling display device in vehicle, involves evaluating brightness-and color level of road surface in visible field for controlling brightness and the color of the projection signal of head-up-display by signals of camera
DE102010014499A1 (en) * 2010-04-10 2011-10-13 Audi Ag Method for operating a lane keeping assistance system for multi-lane turning in a motor vehicle and motor vehicle
DE102010014499B4 (en) * 2010-04-10 2012-01-26 Audi Ag Method for operating a lane keeping assistance system for multi-lane turning in a motor vehicle
DE102011006347A1 (en) * 2011-03-29 2012-10-04 Bayerische Motoren Werke Aktiengesellschaft Method for outputting graphic driving instructions
US9052503B2 (en) 2011-03-29 2015-06-09 Bayerische Motoren Werke Aktiengesellschaft Method for the output of graphic driving indications
DE102011006347B4 (en) 2011-03-29 2023-02-09 Bayerische Motoren Werke Aktiengesellschaft Process for outputting graphical driving instructions
DE102011112943B4 (en) * 2011-09-13 2020-08-27 Volkswagen Aktiengesellschaft Method for providing a driver assistance system with automatic longitudinal control for a vehicle and a driver assistance system for this
DE102012214988A1 (en) * 2011-09-30 2013-04-04 Gm Global Technology Operations, Llc Advanced reality front and rear seat vehicle gaming system for entertaining and informing passengers
DE102011115739A1 (en) * 2011-10-11 2013-04-11 Daimler Ag Method for integrating virtual objects in vehicle displays
WO2013053438A3 (en) * 2011-10-11 2014-10-23 Daimler Ag Method for integrating virtual objects into vehicle displays
WO2013113500A1 (en) 2012-02-02 2013-08-08 Audi Ag Driver assistance system and method for virtual representation of a road layout under obscured visibility and/or poor visibility conditions
DE102014205489B4 (en) 2014-03-25 2021-10-28 Conti Temic Microelectronic Gmbh Method and system for providing an all-round view including invisible objects
DE102014205489A1 (en) * 2014-03-25 2015-10-01 Conti Temic Microelectronic Gmbh Method and system for providing all-round visibility including invisible objects
DE102017202459A1 (en) 2017-02-15 2018-08-16 Audi Ag Controlling a controllable headlamp of a motor vehicle
DE102017215024A1 (en) * 2017-08-28 2019-02-28 Volkswagen Aktiengesellschaft A method, apparatus and computer readable storage medium having instructions for providing information for a head-up display device for a motor vehicle
WO2020147962A1 (en) * 2019-01-18 2020-07-23 Vestel Elektronik Sanayi Ve Ticaret A.S. Head-up display system
CN113396314A (en) * 2019-01-18 2021-09-14 伟视达电子工贸有限公司 Head-up display system
JP2022516849A (en) * 2019-01-18 2022-03-03 ベステル エレクトロニク サナイー ベ ティカレト エー．エス． Heads-up display systems, methods, data carriers, processing systems and vehicles

Also Published As

Publication number Publication date
WO2006037402A1 (en) 2006-04-13

Similar Documents

Publication Publication Date Title
DE102004048347A1 (en) Driving assistance device for opposite the field of view of the driver of a motor vehicle positionally correct representation of the further course of the road on a vehicle display
DE102004064249B3 (en) Vehicle information display system
DE102016204096B4 (en) Method for operating the driver assistance system and driver assistance system
DE102007044535B4 (en) Method for driver information in a motor vehicle
DE102011081396B4 (en) Method and control device for adapting a radiation characteristic of at least one headlight
DE10138719A1 (en) Method and device for displaying driving instructions, especially in car navigation systems
EP3931022B1 (en) Method for operating a driver information system in an ego vehicle and driver information system
WO2013113500A1 (en) Driver assistance system and method for virtual representation of a road layout under obscured visibility and/or poor visibility conditions
DE102015116043A1 (en) Line of sight guiding device for vehicles
EP2289058B1 (en) Method for combined output of an image and a piece of local information and corresponding motor vehicle
WO2009036849A2 (en) Device for monitoring the surroundings of a motor vehicle
DE102006010478A1 (en) Method and arrangement for displaying navigation instructions
WO2009071139A1 (en) Display device for motor vehicle
DE102019202591A1 (en) Method for operating a driver information system in an ego vehicle and driver information system
DE102009020300A1 (en) Method for displaying partially automatically determined surrounding of vehicle for user of vehicle from outlook of passenger, involves detecting automatically surrounding of vehicle with one or multiple object recognition devices
EP3931021B1 (en) Method for operating a driver information system in an ego vehicle and driver information system
EP3931028B1 (en) Method for operating a driver information system in an ego-vehicle and driver information system
DE602005002807T2 (en) Alarm display device for motor vehicles
DE102019202576A1 (en) Method for operating a driver information system in an ego vehicle and driver information system
EP3931033B1 (en) Method for operating a driver information system in an ego vehicle and driver information system
DE102016220647A1 (en) A method of presenting at least one supplementary difference lane equipment
DE112020001221T5 (en) Information processing device, information processing method, and mobile body device
EP3931023A1 (en) Method for operating a driver information system in an ego-vehicle and driver information system
DE19758664B4 (en) Lighting unit for a vehicle
EP1586861B1 (en) Method and apparatus for displaying information for the driver taking into account other movable objects

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8127 New person/name/address of the applicant

Owner name: DAIMLERCHRYSLER AG, 70327 STUTTGART, DE

8131 Rejection