DE102013221713A1 - Method for displaying image information on a head-up instrument of a vehicle - Google Patents

Method for displaying image information on a head-up instrument of a vehicle Download PDF

Info

Publication number
DE102013221713A1
DE102013221713A1 DE102013221713.7A DE102013221713A DE102013221713A1 DE 102013221713 A1 DE102013221713 A1 DE 102013221713A1 DE 102013221713 A DE102013221713 A DE 102013221713A DE 102013221713 A1 DE102013221713 A1 DE 102013221713A1
Authority
DE
Germany
Prior art keywords
vehicle
determined
lane
travel
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102013221713.7A
Other languages
German (de)
Inventor
Alexandru Acornicesei
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive GmbH
Original Assignee
Continental Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH filed Critical Continental Automotive GmbH
Priority to DE102013221713.7A priority Critical patent/DE102013221713A1/en
Publication of DE102013221713A1 publication Critical patent/DE102013221713A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51—Display arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04—Display arrangements
    • G01S7/06—Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • G01S7/24—Cathode-ray tube displays or other two dimensional or three-dimensional displays the display being orientated or displaced in accordance with movement of object carrying the transmitting and receiving apparatus, e.g. true-motion radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)

Abstract

Die Erfindung betrifft Verfahren zur Anzeige einer Bildinformation auf einem Head-up-Instrument (1) eines Fahrzeugs, bei welchem eine Umgebung vor einem Fahrzeug mittels einer 3D-Kamera (11) als Bilddaten erfasst und aus den Bilddaten extrahierte fahrbahnmarkierende Merkmale als Bildinformation dargestellt werden. Erfindungsgemäß ist vorgesehen, dass aus den Bilddaten der 3D-Kamera (11) Höhenverläufe der Umgebungsoberfläche entlang einer Mehrzahl von Linien quer zur Fahrtrichtung des Fahrzeugs detektiert werden, aus den ermittelten quer zur Fahrtrichtung des Fahrzeugs verlaufende Höhenverläufen im Bereich der Fahrbahn Bereiche gleicher Beschaffenheit der Fahrbahnoberfläche bestimmt werden, aus den ermittelten quer zur Fahrtrichtung des Fahrzeugs verlaufende Höhenverläufen wenigstens ein Sprung in den Höhenverläufen der Mehrzahl von Linien quer zur Fahrtrichtung des Fahrzeugs bestimmt werden, aus den ermittelten Sprüngen in den Höhenverläufen der Umgebungsoberfläche mindestens ein Fahrbahnrand bestimmt wird, und die Bereiche gleicher Beschaffenheit der Fahrbahnoberfläche sowie der mindestens eine bestimmte Fahrbahnrand als fahrbahnmarkierende Merkmale auf dem Head-up-Instrument (1) angezeigt werden.The invention relates to a method for displaying image information on a head-up instrument (1) of a vehicle, in which an environment in front of a vehicle is recorded as image data using a 3D camera (11) and lane marking features extracted from the image data are displayed as image information , According to the invention, the image data from the 3D camera (11) are used to detect height profiles of the surrounding surface along a plurality of lines transversely to the direction of travel of the vehicle, and from the determined height profiles in the area of the roadway which run transversely to the direction of travel of the vehicle, areas of the same nature of the road surface are determined, at least one jump in the height profiles of the plurality of lines transverse to the direction of travel of the vehicle are determined from the determined height profiles running transversely to the direction of travel of the vehicle, at least one road edge is determined from the determined jumps in the height profiles of the surrounding surface, and the areas are equal The condition of the road surface and the at least one specific road edge are displayed as road marking features on the head-up instrument (1).

Description

Die Erfindung betrifft ein Verfahren zur Anzeige einer Bildinformation auf einem Head-up-Instrument (HUD) eines Fahrzeugs gemäß dem Oberbegriff des Patentanspruchs 1. The invention relates to a method for displaying image information on a head-up instrument (HUD) of a vehicle according to the preamble of patent claim 1.

Head-up-Displays (HUD) sind im Allgemeinen bekannt und dienen zur Projektion von Informationen auf die Frontscheibe eines Fahrzeugs, wobei die Frontscheibe sich im direkten Sichtfeld des Fahrers befindet. Head-up displays (HUD) are generally known and are used to project information onto the windshield of a vehicle with the windshield in the driver's immediate field of vision.

Die gattungsbildende DE 10 2010 013 403 A1 beschreibt ein HUD, auf welchem unterschiedliche Informationen und grafische Darstellungen für den Fahrer angezeigt werden. Die hierfür erforderlichen Daten werden von einem sogenannten Erfassungssystem bereitgestellt, welches bspw. eine Kamera und/oder ein Radarsystem und/oder eine Lidar-Einrichtung und/oder ein Ultraschallsystem umfassen kann. Zusammen mit Daten eines GPS-Systems und einer digitalen Karte wird die Straßen- und Spurgeometrie der vor dem Fahrzeug liegenden Fahrbahn bestimmt bzw. geschätzt und grafisch mittels des HUD dem Fahrer angezeigt, indem Spurindikatoren als Spurmarkierungen in das HUD-Bild projiziert werden. Solche projizierten Spurindikatoren umfassen auch gekrümmte Teilabschnitte, die eine bevorstehende Kurve der Straße anzeigen. Bei Verwendung von zahlreichen, die Positionsdaten verbessernden Sensoren, wie bspw. Radarsysteme, werden unterschiedliche Merkmale der Straße, wie Randsteine oder Leitplanken usw. detektiert und zur Bestimmung des Fahrspurverlaufes verwendet, wodurch die Darstellung von eindeutigen Linien für die Spurindikatoren in dem HUD-Bild ermöglicht wird. Stehen dagegen weniger Informationsquellen zur Verfügung, werden Bereiche oder Bänder von Linien verwendet, um den Fahrer bei der visuellen Ermittlung der tatsächlichen Straßengeometrie zu unterstützen. The generic DE 10 2010 013 403 A1 describes a HUD on which different information and graphs are displayed to the driver. The data required for this purpose are provided by a so-called detection system, which may include, for example, a camera and / or a radar system and / or a lidar device and / or an ultrasound system. Along with data of a GPS system and a digital map, the road and lane geometry of the lane in front of the vehicle is estimated and graphically displayed to the driver by the HUD by projecting lane indicators into the HUD image as lane markers. Such projected lane indicators also include curved sections indicating an upcoming curve of the road. Using numerous positional data enhancing sensors, such as radar systems, different features of the road, such as curbs or guardrails, etc., are detected and used to determine the lane course, thereby enabling the display of unique lines for the lane indicators in the HUD image becomes. On the other hand, if fewer sources of information are available, areas or bands of lines are used to assist the driver in visually determining the actual road geometry.

Des Weiteren ist aus der DE 10 2005 046 672 A1 eine Nachtsichteinrichtung für ein Fahrzeug bekannt, bei dem in einem von einer sowohl für den sichtbaren Wellenlängenbereich als auch für den Infrarotbereich empfindlichen Kamera erfassten Bild ein eingeschlagener bzw. einzuschlagender Fahrweg eingetragen wird, der aus einer Auswertung eines Ortung- bzw. Fahrtrichtungsensors bestimmt wird. Die Bilddaten der Kamera, die die Szenerie vor dem Fahrzeug sowohl bei Tag als auch bei Nacht erfassen kann, werden zwecks Bildverarbeitung von einer Auswerteeinheit ausgewertet und einer Anzeigeeinheit, die bspw. als HUD ausgebildet ist, zugeführt. Als HUD-Bild wird ein virtuelles Bild der Fahrsituation vor dem Fahrzeug in die Windschutzscheibe des Fahrzeugs projiziert. Dabei überdecken sich die projizierten Bildelemente derart mit der für den Fahrer durch die Windschutzscheibe sichtbaren Szenerie vor dem Fahrzeug, dass die eingeblendeten Markierungen für den Fahrer in Bezug zu den realen Objekten vor ihm liegend, also aus seiner Sicht ortskorrekt erscheinen. Die Fahrspur wird mittels Markierungen in das von der Kamera aufgenommene Bild eingeblendet, wobei die Spurmarkierungen durch Analyse des Kamerabildes rechnerisch ermittelt werden. Furthermore, from the DE 10 2005 046 672 A1 a night vision device for a vehicle is known, in which in an image detected by a camera sensitive to both the visible wavelength range and the infrared range, a beaten path is determined which is determined from an evaluation of a positioning or travel direction sensor. The image data of the camera, which can detect the scene in front of the vehicle both day and night, are evaluated by an evaluation unit for the purpose of image processing and supplied to a display unit, which is embodied, for example, as a HUD. As a HUD image, a virtual image of the driving situation in front of the vehicle is projected into the windshield of the vehicle. In this case, the projected image elements overlap in such a way with the scene visible to the driver through the windshield in front of the vehicle that the overlaid markings for the driver in relation to the real objects lying in front of him, so from his point of view appear to be correct. The lane is displayed by means of markings in the image taken by the camera, wherein the lane markers are determined by analysis of the camera image by calculation.

Der Zustand der Fahrbahnoberfläche kann das Fahrverhalten eines Fahrzeuges auf der Fahrbahn wesentlich beeinflussen und stellt für den Fahrer ein Sicherheitsaspekt dar. Die automatisierte Erkennung des Zustands der Fahrbahnoberfläche im Sinne einer Klassifizierung des Fahrbahnzustands, wie z. B. trocken, feucht, schneebedeckt, vereist und dergleichen ist daher als Information für den Fahrer von maßgeblicher Bedeutung sein. The condition of the road surface can substantially influence the driving behavior of a vehicle on the road and represents a safety aspect for the driver. The automated recognition of the condition of the road surface in terms of a classification of the road condition, such. As dry, wet, snowy, icy and the like is therefore as information for the driver of significant importance.

Straßenzustandserkennungssysteme verwenden zur Bestimmung unterschiedlicher Zustände von Fahrbahnoberflächen, insbesondere zur Erkennung trockener, nasser, vereister oder schneebedeckter Fahrbahnoberflächen aktive Systeme, wie bspw. optische Oberflächensensoren, welche Licht auf die Fahrbahn aussenden und das diffus reflektierte sowie das an der Fahrbahnoberfläche spiegelnd reflektierte Licht detektieren oder den Effekt ausnutzen, dass unterschiedliche Wellenlängen im Infrarotbereich von Wasser und Eis unterschiedlich absorbiert werden. Es ist auch möglich, nicht nur den Zustand der Fahrbahnoberfläche, wie nass, trocken, vereist oder schneebedeckt zu bestimmen, sondern mit diesen Messverfahren können auch Informationen über die Rauigkeit der Fahrbahn bzw. der Fahrbahnoberfläche gewonnen werden, um hieraus die Art der Fahrbahnoberfläche, wie bspw. Asphalt, Beton, Split oder Schotter zu bestimmen. Der Einsatz solcher aktiven Systeme ist aufwändig und führt daher zu hohen Herstellkosten. Road condition detection systems use to determine different states of road surfaces, in particular for detecting dry, wet, icy or snow-covered road surfaces active systems, such as optical surface sensors that emit light on the road and the diffuse reflected and detected at the road surface reflectively reflected light or the Utilize the effect that different wavelengths in the infrared range of water and ice are absorbed differently. It is also possible not only to determine the condition of the road surface, such as wet, dry, icy or snow-covered, but also information about the roughness of the road surface or the road surface can be obtained with these measuring methods, in order to determine the type of road surface, such For example, asphalt, concrete, split or gravel to determine. The use of such active systems is complex and therefore leads to high production costs.

Ein Verfahren zur Erkennung der Beschaffenheit einer Fahrbahnoberfläche mittels einer 3D-Kamera als passives System beschreibt die DE 10 2012 101 085 A1 der Anmelderin, wonach mit der 3D-Kamera mindestens ein Bild von der vor dem Fahrzeug liegenden Umgebung aufgenommen, aus den Bilddaten der 3D-Kamera entlang einer Mehrzahl von Linien Höhenverläufe der Fahrbahnoberfläche quer zur Fahrtrichtung des Fahrzeugs ermittelt werden, um aus den ermittelten Höhenverläufen die Beschaffenheit der Fahrbahnoberfläche zu bestimmen. Die Beschaffenheit der Fahrbahnoberfläche wird bspw. aus einem Vergleich der ermittelten Höhenverläufe bekannter Beschaffenheit erkannt, wozu ein Beschaffenheitsklassifikator vortrainiert wird, zu lernen welche detektierten Höhenverläufe welchen Beschaffenheiten von Fahrbahnoberflächen entsprechen. A method for detecting the condition of a road surface by means of a 3D camera as a passive system describes the DE 10 2012 101 085 A1 the applicant, according to which with the 3D camera at least one image taken from the vehicle in front of the environment, are determined from the image data of the 3D camera along a plurality of lines height gradients of the road surface transversely to the direction of travel of the vehicle to determine from the determined height gradients Determine the condition of the road surface. The nature of the road surface is detected, for example, from a comparison of the ascertained height courses of known nature, for which purpose a quality classifier is pre-trained, to learn which detected height profiles correspond to what textures of road surfaces.

Ferner wird in dieser DE 10 2012 101 085 A1 der Anmelderin vorgeschlagen, eine quantitative Auswertung der ermittelten Höhenverläufe durchzuführen, indem bspw. eine Frequenzanalyse zur Bestimmung der Breite und/oder Ausdehnung von in Fahrtrichtung verlaufender Vertiefungen oder Erhebungen der Fahrbahnoberfläche, eine Amplitudenbestimmung oder eine Gradienten Bildung usw. durchgeführt wird. Aus solchen quantitativen Auswertungen sollen typische Beschaffenheiten aufgrund charakteristischer Größen erkannt werden, so bspw. ein Kiesweg bei starkem Rauschen der Höhenverläufe; Wasser oder eine Eisschicht auf der Fahrbahn bei einer glatten Fahrbahnoberfläche. Furthermore, in this DE 10 2012 101 085 A1 the Applicant proposed to carry out a quantitative evaluation of the ascertained height profiles, for example by performing a frequency analysis for determining the width and / or extent of depressions or elevations of the road surface running in the direction of travel, an amplitude determination or a gradient formation etc. From such quantitative evaluations, typical textures are to be recognized on the basis of characteristic quantities, for example, a gravel path with high noise of the altitude gradients; Water or a layer of ice on the road with a smooth road surface.

Es ist Aufgabe der Erfindung ein vorteilhaftes Verfahren zur Anzeige einer Bildinformation auf einem Head-up-Instrument (HUD) eines Fahrzeugs anzuzeigen. The object of the invention is to display an advantageous method for displaying image information on a head-up instrument (HUD) of a vehicle.

Diese Aufgabe wird gelöst durch ein Verfahren zur Anzeige einer Bildinformation auf einem Head-up-Instrument mit den Merkmalen des Patentanspruchs 1. This object is achieved by a method for displaying image information on a head-up instrument having the features of patent claim 1.

Eine solches Verfahren zur Anzeige einer Bildinformation auf einem Head-up-Instrument eines Fahrzeugs, bei welchem eine Umgebung vor einem Fahrzeug mittels einer 3D-Kamera als Bilddaten erfasst und aus den Bilddaten extrahierte fahrbahnmarkierende Merkmale als Bildinformation dargestellt werden, zeichnet sich erfindungsgemäß dadurch aus, dass

  • – aus den Bilddaten der 3D-Kamera Höhenverläufe der Umgebungsoberfläche entlang einer Mehrzahl von Linien quer zur Fahrtrichtung des Fahrzeugs detektiert werden,
  • – aus den ermittelten quer zur Fahrtrichtung des Fahrzeugs verlaufenden Höhenverläufen im Bereich der Fahrbahn Bereiche gleicher Beschaffenheit der Fahrbahnoberfläche bestimmt werden,
  • – aus den ermittelten quer zur Fahrtrichtung des Fahrzeugs verlaufende Höhenverläufen wenigstens ein Sprung in den Höhenverläufen der Mehrzahl von Linien quer zur Fahrtrichtung des Fahrzeugs bestimmt werden,
  • – aus den ermittelten Sprüngen in den Höhenverläufen der Umgebungsoberfläche mindestens ein Fahrbahnrand bestimmt wird, und
  • – die Bereiche gleicher Beschaffenheit der Fahrbahnoberfläche sowie der mindestens eine bestimmte Fahrbahnrand als fahrbahnmarkierende Merkmale auf dem Head-up-Instrument angezeigt werden.
Such a method for displaying image information on a head-up instrument of a vehicle, in which an environment in front of a vehicle is detected as image data by means of a 3D camera and roadway-marking features extracted from the image data are displayed as image information, is characterized according to the invention by that
  • From the image data of the 3D camera height profiles of the surrounding surface along a plurality of lines are detected transversely to the direction of travel of the vehicle,
  • Determining areas of the same condition of the road surface from the ascertained height profiles running transversely to the direction of travel of the vehicle in the region of the roadway,
  • At least one jump in the height profiles of the plurality of lines transverse to the direction of travel of the vehicle is determined from the ascertained height profiles running transversely to the direction of travel of the vehicle,
  • - From the determined jumps in the height gradients of the surrounding surface at least one edge of the road is determined, and
  • - The areas of the same nature of the road surface and the at least one particular lane edge are displayed as lane-marking features on the head-up instrument.

Dem Fahrer wird in dem HUD-Bild als grafisches Bild eine virtuelle Fahrbahn angezeigt, die Bereiche gleicher Oberflächenbeschaffenheit sowie mindestens einen Fahrbahnrand anzeigt. Diese Bildinformationen setzen sich in der HUD zu einem Gesamtbild zusammen, welches dem Fahrer neben dem Verlauf der Fahrbahn zusätzlich auch Informationen hinsichtlich der Beschaffenheit der Fahrbahnoberfläche anzeigt. The driver is displayed in the HUD image as a graphic image of a virtual road surface indicating areas of the same surface condition and at least one lane edge. This image information is combined in the HUD into an overall image, which additionally displays information about the condition of the road surface in addition to the course of the roadway.

Als Beschaffenheit wird hierbei insbesondere das Material, das die Fahrbahnoberfläche bildet (Wasser, Feuchtigkeit, Sand, Eis, Schnee, Schotter, Asphalt), die Form der Oberfläche (eben, rauh, buckelig) sowie lokale Änderungen des Materials oder der Gegebenheit der Fahrbahnoberfläche (Ölspur, Wasserpfütze, Schlagloch, Bodenwelle, Spurrillen usw.) verstanden. In this case, in particular, the material that forms the road surface (water, moisture, sand, ice, snow, gravel, asphalt), the shape of the surface (even, rough, bumpy) as well as local changes in the material or the condition of the road surface ( Oil spill, puddle, pothole, bump, ruts, etc.).

Liegt vor dem Fahrzeug eine trockene Fahrbahn, so gibt dieser Bereich gleicher Oberflächenbeschaffenheit zusätzlich neben dem Fahrbahnrand auch den Fahrbahnverlauf an. Entsprechendes gilt bei einer im Wesentlichen vollständig nassen oder im Wesentlichen vollständig schneebedeckten Fahrbahn. If there is a dry roadway in front of the vehicle, this area of the same surface condition also indicates the roadway course in addition to the roadway edge. The same applies to a substantially completely wet or essentially completely snow-covered roadway.

Ist dagegen die vor dem Fahrzeug liegende Fahrbahn teilweise mit Nässe (Wasserlachen) bedeckt und teilweise trocken, werden diese Bereiche zusammenhängend dargestellt, so dass sich durch die gemeinsame Darstellung dieser Bereiche in der grafischen Darstellung des HUD-Bildes ein zusammenhängender Fahrbahnverlauf ergibt. Entsprechendes gilt auch, wenn gleichzeitig nasse Bereiche, trockene Bereiche und schneebedeckte Bereiche auf der Fahrbahnoberfläche detektiert werden. Auch diese Bereiche werden zusammenhängend in dem HUD-Bild dargestellt, so dass sich hierdurch ein zusammenhängender Fahrbahnverlauf ergibt. If, on the other hand, the lane in front of the vehicle is partially covered with wetness (water pools) and partly dry, these areas are displayed in a coherent manner, so that the joint representation of these areas in the graphical representation of the HUD image results in a coherent lane course. The same applies if at the same time wet areas, dry areas and snow-covered areas on the road surface are detected. These areas are also displayed contiguously in the HUD image, resulting in a coherent road course.

Die Bereiche gleicher Oberflächenbeschaffenheit der Fahrbahnoberfläche können in dem HUD als Begrenzungslinien dargestellt werden, insbesondere wenn diese aus der Sicht des Fahrers ortskorrekt in der Windschutzscheibe des Fahrzeugs eingeblendet werden, stellen diese Begrenzungslinien eine Umrahmung der Bereiche gleicher Oberflächenbeschaffenheit dar. Die Darstellung der Begrenzungslinien kann auch in unterschiedlicher Farbe erfolgen, so dass in Abhängigkeit der Kritikalität der Oberflächenbeschaffenheit die Farbdarstellung gewählt wird. So können sowohl wasser-, schnee- oder eisbedeckte Bereiche der Fahrbahnoberfläche als auch Schlaglöcher und/oder Bodenwellen in dieser Weise dargestellt werden. The areas of the same surface condition of the road surface can be represented in the HUD as boundary lines, especially if these are displayed from the driver's point of view in the windshield of the vehicle, these boundary lines form a frame of the areas of the same surface finish. The representation of the boundary lines can also in different color, so that the color representation is selected depending on the criticality of the surface texture. Thus, both water, snow or ice covered areas of the road surface as well as potholes and / or bumps can be displayed in this way.

Des Weiteren ist es alternativ oder zusätzlich möglich, Bereiche gleicher Oberflächenbeschaffenheit durch mehrfach in die Windschutzscheibe eingeblendete Symbole zu markieren. So können bspw. für nasse Bereiche ein Regentropfen-Symbol, für eis- oder schneebedeckte Bereiche ein Eiskristall-Symbol verwendet werden. Furthermore, it is alternatively or additionally possible to mark areas of the same surface finish by symbols which are inserted several times in the windshield. Thus, for example, a raindrop symbol can be used for wet areas, and an ice crystal symbol can be used for ice-covered or snow-covered areas.

Der wesentlichste Vorteil dieses erfindungsgemäßen Verfahrens liegt darin, dass nicht nur der Fahrbahnverlauf der vor dem Fahrzeug liegenden Fahrbahn dem Fahrer angezeigt wird, sondern gleichzeitig auch die Beschaffenheit der Fahrbahnoberfläche, ob also die Fahrbahn nass, trocken, vereist oder schneebedeckt oder ob die Fahrbahn nasse und/oder trockene und/oder vereiste und/oder schneebedeckte Bereiche und/oder Schlaglöcher und/oder Bodenwellen aufweist. The most significant advantage of this method is that not only the road course of lying in front of the vehicle lane is displayed to the driver, but at the same time the nature of the road surface, so if the road wet, dry, icy or snowy or if the road wet and / or has dry and / or icy and / or snow-covered areas and / or potholes and / or bumps.

Aus den Bilddaten der 3D-Kamera werden Höhenverläufe der Umgebungsoberfläche entlang einer Mehrzahl von Linien (auch als Scanlines bezeichnet) quer zur Fahrtrichtung des Fahrzeugs detektiert und hieraus im Bereich der Fahrbahn Bereiche gleicher Beschaffenheit der Fahrbahnoberfläche bestimmt, d.h. also aus den quer zur Fahrtrichtung des Fahrzeugs verlaufenden Höhenlinien der vor dem Fahrzeug liegenden Fahrbahn. Vorzugsweise wird die Beschaffenheit der Fahrbahnoberfläche aus einem Vergleich der ermittelten Höhenverläufe mit gespeicherten Höhenverläufen bekannter Beschaffenheit erkannt. Hierzu ist ein Beschaffenheitsklassifikator vorgesehen, vortrainiert wird und dadurch lernt, welche detektierten Höhenverläufen welchen Beschaffenheiten von Fahrbahnoberflächen entsprechen. From the image data of the 3D camera, elevations of the surrounding surface are detected along a plurality of lines (also referred to as scanlines) transversely to the direction of travel of the vehicle, and from this in the area of the carriageway areas of the same nature of the road surface are determined, i. So from the transverse to the direction of travel of the vehicle contour lines lying in front of the vehicle lane. Preferably, the nature of the road surface is detected from a comparison of the ascertained height profiles with stored height profiles of known nature. For this purpose, a quality classifier is provided, pre-trained and thereby learns which detected height profiles correspond to which textures of road surfaces.

Aus den ermittelten quer zur Fahrtrichtung des Fahrzeugs verlaufende Höhenverläufen werden erfindungsgemäß nicht nur die Bereiche gleicher Oberflächenbeschaffenheit der Fahrbahn, sondern auch mindestens ein Fahrbahnrand bestimmt, indem wenigstens ein Sprung in den Höhenverläufen der Mehrzahl von Linien quer zur Fahrtrichtung des Fahrzeugs bestimmt und aus den ermittelten Sprüngen in den Höhenverläufen der Umgebungsoberfläche dieser mindestens eine Fahrbahnrand ermittelt wird. From the determined transversely to the direction of travel of the vehicle running height gradients not only the areas of the same surface condition of the road, but also at least one lane edge determined by at least one jump in the height gradients of the plurality of lines determined transversely to the direction of travel of the vehicle and from the determined jumps in the height curves of the surrounding surface, this at least one road edge is determined.

Da Mittelstreifen und Randstreifen Erhebungen mit bekannter Geometrie (Form, Abmessungen) darstellen, können diese ebenso weiterbildungsgemäß durch eine Auswertung der ermittelten quer zur Fahrtrichtung des Fahrzeugs verlaufende Höhenverläufen im Bereich der Fahrbahn als fahrspurmarkierende Merkmale extrahiert und auf dem Head-up-Instrument angezeigt werden. Auch hierzu können diese fahrspurmarkierende Mittelstreifen und/oder Randstreifen als Linien oder Balken in die Windschutzscheibe des Fahrzeugs eingeblendet werden. Since median strips and edge strips represent elevations of known geometry (shape, dimensions), they can also be further developed by evaluating the determined transversely to the direction of travel of the vehicle running height gradients in the area of the lane as lane marking features and displayed on the head-up instrument. Also for this purpose, these lane marking central stripe and / or edge strips can be displayed as lines or beams in the windshield of the vehicle.

Nach einer weiteren vorteilhaften Ausgestaltung der Erfindung werden aus den Bilddaten der Kamera und den Daten eines Radarsystems mobile und feststehende Objekte identifiziert und diese Objekte auf dem Head-up-Instrument angezeigt, bspw. mittels Begrenzungslinien oder passenden Symbolen. Als feststehende Objekte können bspw. Fahrbahnrandbegrenzungen, wie Randsteine oder Leitplanken detektiert und dem Fahrer angezeigt werden. Auch ist es möglich als feststehende Objekte auf der Fahrbahn stehende Hindernisse, wie liegen gebliebene Fahrzeuge zu identifizieren und in dem HUD anzuzeigen. Als mobile Objekte können andere Verkehrsteilnehmer, wie Fahrzeuge, Radfahrer und Fußgänger usw. ebenso in dem HUD-Bild angezeigt werden. According to a further advantageous embodiment of the invention, mobile and fixed objects are identified from the image data of the camera and the data of a radar system and these objects are displayed on the head-up instrument, for example by means of boundary lines or matching symbols. As stationary objects, for example, roadway boundaries, such as curbs or guardrails can be detected and displayed to the driver. It is also possible as fixed objects on the roadway standing obstacles, such as remaining vehicles to identify and display in the HUD. As mobile objects, other road users such as vehicles, cyclists and pedestrians, etc. can also be displayed in the HUD image.

Schließlich wird nach einer letzten vorteilhaften Ausgestaltung der Erfindung die Fahrbahnbreite aus den Bilddaten der 3D-Kamera detektiert und mittels Begrenzungslinien in dem HUD angezeigt. Finally, according to a last advantageous embodiment of the invention, the lane width is detected from the image data of the 3D camera and displayed by means of boundary lines in the HUD.

Die Erfindung wird nachfolgend unter Bezugnahme auf die einzige beigefügte 1 näher erläutert. Diese 1 zeigt ein Blockschaltbild eines Fahrerassistenzsystems zur Erläuterung eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens. The invention will now be described with reference to the only appended drawings 1 explained in more detail. These 1 shows a block diagram of a driver assistance system for explaining an embodiment of the method according to the invention.

Das Fahrerassistenzsystem 100 eines Fahrzeugs nach 1 zeigt ein Kamerasystem 10 mit einer Stereokamera als 3D-Kamera 11 und eine Bildauswerteeinheit 12 sowie ein Radarsystem 20 mit einem Radarsensor 21 und einer Auswerteeinheit 22. Die Stereokamera 11 des Kamerasystems 10 detektiert sowohl sichtbares Licht als auch Infrarotlicht und erfasst daher die Umgebung vor dem Fahrzeug sowohl bei Tag als auch bei Nacht. The driver assistance system 100 of a vehicle 1 shows a camera system 10 with a stereo camera as a 3D camera 11 and an image evaluation unit 12 as well as a radar system 20 with a radar sensor 21 and an evaluation unit 22 , The stereo camera 11 of the camera system 10 Detects both visible light and infrared light and therefore detects the environment in front of the vehicle both during the day and at night.

Die Ergebnisse der Bildauswerteeinheit 12 sowie der Auswerteeinheit 22 des Radarsystems 20 werden einer Steuereinheit 2 eines Head-up-Displays 1 zugeführt, um hieraus ein HUD-Bild mittels des HUDs 1 auf die Frontscheibe des Fahrzeugs zu projizieren. The results of the image evaluation unit 12 as well as the evaluation unit 22 of the radar system 20 become a control unit 2 a head-up display 1 supplied to it from a HUD image using the HUDs 1 to project onto the windshield of the vehicle.

Mittels der Stereokamera 11 werden Bilddaten der Umgebung des Fahrzeugs, einschließlich des vor dem Fahrzeug liegenden Fahrbahnbereiches erzeugt und diese Bilddaten mittels der Bildauswerteeinheit 12 ausgewertet. Hierzu werden aus diesen Bilddaten der Stereokamera 11 Höhenverläufe der Umgebungsoberfläche entlang einer Mehrzahl von Linien quer zur Fahrtrichtung des Fahrzeugs detektiert und aus diesen Höhenverläufen im Bereich der Fahrbahn Bereiche gleicher Beschaffenheit der Fahrbahnoberfläche bestimmt. Dies erfolgt dadurch, dass aus einem Vergleich der ermittelten Höhenverläufe mit gespeicherten Höhenverläufen bekannter Beschaffenheit die Beschaffenheit der Fahrbahnoberfläche detektiert wird. Die entsprechenden Daten dieser Bereiche werden der Steuereinheit 2 des HUDs 1 zugeführt und in einem virtuellen Bild des HUDs 1 angezeigt. By means of the stereo camera 11 Image data of the surroundings of the vehicle, including the lane area in front of the vehicle, are generated and these image data are generated by means of the image evaluation unit 12 evaluated. For this purpose, from these image data of the stereo camera 11 Height curves of the surrounding surface along a plurality of lines detected transversely to the direction of travel of the vehicle and determined from these Höhenverläufen in the region of the road areas of the same nature of the road surface. This is done by detecting the condition of the road surface from a comparison of the ascertained height profiles with stored height profiles of known nature. The corresponding data of these areas become the control unit 2 of the HUD 1 fed and in a virtual image of the HUDs 1 displayed.

Aus den ermittelten quer zur Fahrtrichtung des Fahrzeugs verlaufende Höhenverläufen werden nicht nur die Bereiche gleicher Oberflächenbeschaffenheit der Fahrbahn, sondern auch mindestens ein Fahrbahnrand bestimmt und ebenso mit dem HUD 1 dem Fahrer angezeigt. Hierzu wird wenigstens ein Sprung in den Höhenverläufen der Mehrzahl von Linien quer zur Fahrtrichtung des Fahrzeugs detektiert und aus den ermittelten Sprüngen in den Höhenverläufen der Umgebungsoberfläche dieser mindestens eine Fahrbahnrand bestimmt. From the determined transverse to the direction of travel of the vehicle height gradients not only the areas of the same surface condition of the road, but also at least one road edge are determined and also with the HUD 1 displayed to the driver. For this purpose, at least one jump in the height gradients of the plurality of lines is detected transversely to the direction of travel of the vehicle and determined from the determined jumps in the height gradients of the surrounding surface of this at least one lane edge.

Die Bereiche gleicher Oberflächenbeschaffenheit der Fahrbahnoberfläche können in dem HUD 1 als Begrenzungslinien dargestellt werden, insbesondere wenn diese aus der Sicht des Fahrers ortskorrekt in der Frontscheibe des Fahrzeugs eingeblendet werden, stellen diese Begrenzungslinien eine Umrahmung der Bereiche gleicher Oberflächenbeschaffenheit dar. Die Fahrbahnränder werden können durch gerade oder gebogene Linien in dem HUD 1 angezeigt werden. The areas of identical surface condition of the road surface can be found in the HUD 1 As boundary lines are shown, especially if they are displayed in the correct position of the driver from the driver's point of view in the windshield of the vehicle, these boundary lines represent a framing of the areas of the same surface finish. The road edges can be by straight or curved lines in the HUD 1 are displayed.

Die Darstellung der Begrenzungslinien und der Linien für die Fahrbahnränder kann auch in unterschiedlicher Farbe erfolgen, so dass z. Bsp. in Abhängigkeit der Kritikalität der Oberflächenbeschaffenheit oder des den Fahrbahnverlauf anzeigenden Linien die Farbdarstellung gewählt wird. So können sowohl wasser-, schnee- oder eisbedeckte Bereiche der Fahrbahnoberfläche als auch Schlaglöcher und/oder Bodenwellen in dieser Weise dargestellt werden. The representation of the boundary lines and the lines for the road edges can also be done in different colors, so that z. For example, depending on the criticality of the surface condition or the lines indicating the course of the road, the color representation is selected. Thus, both water, snow or ice covered areas of the road surface as well as potholes and / or bumps can be displayed in this way.

Des Weiteren ist es auch alternativ oder zusätzlich möglich, Bereiche gleicher Oberflächenbeschaffenheit durch mehrfach in die Windschutzscheibe eingeblendete Symbole zu markieren. So können bspw. für nasse Bereiche ein Regentropfen-Symbol, für eis- oder schneebedeckte Bereiche ein Eiskristall-Symbol und für trockene Bereiche ein anderes geeignetes Symbol verwendet werden. Furthermore, it is alternatively or additionally possible to mark areas of the same surface finish by symbols which are inserted several times in the windshield. Thus, for example, a raindrop symbol can be used for wet areas, an ice crystal symbol for ice or snow-covered areas, and another suitable symbol for dry areas.

Die bpw. mittels Begrenzungslinien dargestellten Bereiche gleicher Oberflächenbeschaffenheit der Fahrbahnoberfläche ergeben ein virtuelles HUD-Bild des Verlaufs der vor dem Fahrzeug liegenden Fahrbahn, wobei gleichzeitig auch bspw. mittels Symbolen angezeigt wird, welche Oberflächenbeschaffenheit diese Bereiche haben, ob diese trocken, nass, vereist oder schneebedeckt sind. The bpw. By means of boundary lines shown areas of the same surface condition of the road surface result in a virtual HUD image of the course of the road ahead of the vehicle, while also displayed for example by means of symbols, which surface texture these areas have, whether they are dry, wet, icy or snow covered.

Liegt vor dem Fahrzeug eine trockene Fahrbahn, so gibt dieser Bereich gleicher Oberflächenbeschaffenheit den Fahrbahnverlauf an. Bei einer vollständig nassen oder vollständig schneebedeckten Fahrbahn zeigt das HUD 1 ein entsprechendes virtuelles Bild der Fahrbahn mit der symbolischen Kennzeichnung der Oberflächenbeschaffenheit, also bspw. mit Regentropfen- oder Eiskristall-Symbolen. If there is a dry roadway in front of the vehicle, this area of identical surface condition indicates the course of the road. In a completely wet or fully snow-covered road, the HUD shows 1 a corresponding virtual image of the roadway with the symbolic characterization of the surface texture, so for example. With raindrop or ice crystal symbols.

Ist dagegen die vor dem Fahrzeug liegende Fahrbahn teilweise mit Nässe (Wasserlachen) bedeckt und teilweise trocken, werden diese Bereiche mittels der Begrenzungslinien zusammenhängend dargestellt, so dass sich durch die gemeinsame Darstellung dieser Bereiche in der grafischen Darstellung des HUD-Bildes ein zusammenhängender Fahrbahnverlauf ergibt. Entsprechendes gilt auch, wenn gleichzeitig nasse Bereiche und/oder trockene Bereiche und/oder schneebedeckte Bereiche und/oder vereiste Bereiche auf der Fahrbahnoberfläche detektiert werden. Auch diese Bereiche werden zusammenhängend in dem HUD-Bild dargestellt, so dass sich hierdurch ein zusammenhängender Fahrbahnverlauf ergibt. If, on the other hand, the lane in front of the vehicle is partially covered with moisture (water pools) and partially dry, these areas are represented contiguously by means of the boundary lines, so that the joint representation of these areas in the graphical representation of the HUD image results in a coherent lane course. The same applies if at the same time wet areas and / or dry areas and / or snow-covered areas and / or iced areas on the road surface are detected. These areas are also displayed contiguously in the HUD image, resulting in a coherent road course.

Das virtuelle HUD-Bild zeigt also zusammen mit den den Fahrbahnrand anzeigenden Linien nicht nur den Verlauf der Fahrbahn, sondern zeigt auch gleichzeitig die jeweilige Beschaffenheit der Fahrbahnoberfläche. Thus, the virtual HUD image, together with the lines indicating the edge of the lane, not only show the course of the lane, but also simultaneously show the respective condition of the lane surface.

Mittels des Radarsystems 20 werden stehende und mobile Hindernisse der Umgebung vor dem Fahrzeug detektiert, indem die Radarsignale des Radarsensors 21 mittels der Auswerteeinheit 22 ausgewertet und eine sogenannte Radarkarte mit den mobilen und stehenden Hindernissen erstellt wird, um diese an die Steuereinheit 2 des HUDs weiterzuleiten. By means of the radar system 20 stationary and mobile obstacles of the environment in front of the vehicle are detected by the radar signals of the radar sensor 21 by means of the evaluation unit 22 evaluated and a so-called radar chart is created with the mobile and stationary obstacles to these to the control unit 2 of the HUD.

Die Daten dieser Radarkarte werden mit den die Bereiche gleicher Oberflächenbeschaffenheit anzeigenden Daten fusioniert, indem die mobilen und stationären Objekte ebenso in dem virtuellen HUD-Bild des HUDs 1 angezeigt werden. The data of this radar map are fused with the data indicating the areas of same surface texture by also including the mobile and stationary objects in the virtual HUD image of the HUD 1 are displayed.

Als feststehende Objekte können bspw. Fahrbahnrandbegrenzungen, wie Randsteine oder Leitplanken detektiert und ebenso in dem HUD-Bild dem Fahrer angezeigt werden. Auch ist es möglich als feststehende Objekte auf der Fahrbahn stehende Hindernisse, wie liegen gebliebene Fahrzeuge zu identifizieren und ebenso in dem HUD-Bild anzuzeigen. Als mobile Objekte können andere Verkehrsteilnehmer ebenso das HUD-Bild aufgenommen werden. As fixed objects, for example, roadway boundaries, such as curbs or crash barriers can be detected and also displayed in the HUD image to the driver. It is also possible to identify obstacles standing on the road as stationary objects, such as left-over vehicles and also to display them in the HUD image. As mobile objects, other road users as well as the HUD image can be recorded.

Aus den Bilddaten der Kamera 11 können auch fahrspurmarkierende Merkmale, wie bspw. die Mittelstreifen der Fahrbahn extrahiert und in dem HUD-Bild angezeigt werden. Damit kann dem Fahrer die mit seinem Fahrzeug zu befahrende Fahrspur in dem HUD-Bild angezeigt werden. From the image data of the camera 11 lane marking features such as the central lanes of the lane may also be extracted and displayed in the HUD image. This allows the driver to be shown the driving lane to be traveled with his vehicle in the HUD image.

Schließlich können aus den die Fahrbahnränder anzeigenden Linien die Fahrbahnbreite bestimmt und in dem HUD-Bild angezeigt werden. Finally, from the lines indicating the lane edges, the lane width can be determined and displayed in the HUD image.

Da Mittelstreifen und Randstreifen Erhebungen mit bekannter Geometrie (Form, Abmessungen) darstellen, können diese ebenso durch Auswertung der ermittelten quer zur Fahrtrichtung des Fahrzeugs verlaufende Höhenverläufen im Bereich der Fahrbahn als fahrspurmarkierende Merkmale extrahiert und auf dem HUD 1 angezeigt werden, indem hierzu entsprechende Linien und/oder Balken in die Windschutzscheibe des Fahrzeugs eingeblendet werden. Since median strips and edge strips represent elevations with known geometry (shape, dimensions), these can also be evaluated by evaluating the transverse dimensions, which are transverse to the direction of travel of the vehicle Lane extracted as lane marking features and on the HUD 1 be displayed by these appropriate lines and / or bars are displayed in the windshield of the vehicle.

Die Fusion der Daten des Radarsystems 20 mit den Daten des Kamerasystems 10 bietet auch den Vorteil, dass durch die Erfassung des Gegenverkehrs mittels des Radarsystems 20 dem Fahrer auch angezeigt werden kann, ob er sich auf der richtigen Fahrspur der aktuellen Fahrbahn befindet. The fusion of the data of the radar system 20 with the data of the camera system 10 also offers the advantage that by detecting oncoming traffic by means of the radar system 20 The driver can also be displayed if he is on the right lane of the current lane.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1 1
HUD (Head-up-Display) HUD (Head-up Display)
2 2
Steuereinheit des HUD 1 Control unit of the HUD 1
10 10
Kamerasystem camera system
11 11
Kamera des Kamerasystems 10 Camera of the camera system 10
12 12
Bildauswerteeinheit des Kamerasystems 10 Image evaluation unit of the camera system 10
20 20
Radarsystem radar system
21 21
Radarsensor des Radarsystems 20 Radar sensor of the radar system 20
22 22
Auswerteeinheit des Radarsystems 20 Evaluation unit of the radar system 20
100 100
Fahrerassistenzsystem Driver assistance system

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102010013403 A1 [0003] DE 102010013403 A1 [0003]
  • DE 102005046672 A1 [0004] DE 102005046672 A1 [0004]
  • DE 102012101085 A1 [0007, 0008] DE 102012101085 A1 [0007, 0008]

Claims (5)

Verfahren zur Anzeige einer Bildinformation auf einem Head-up-Instrument (1) eines Fahrzeugs, bei welchem eine Umgebung vor einem Fahrzeug mittels einer 3D-Kamera (11) als Bilddaten erfasst und aus den Bilddaten extrahierte fahrbahnmarkierende Merkmale als Bildinformation dargestellt werden, dadurch gekennzeichnet, dass – aus den Bilddaten der 3D-Kamera (11) Höhenverläufe der Umgebungsoberfläche entlang einer Mehrzahl von Linien quer zur Fahrtrichtung des Fahrzeugs detektiert werden, – aus den ermittelten quer zur Fahrtrichtung des Fahrzeugs verlaufende Höhenverläufen im Bereich der Fahrbahn Bereiche gleicher Beschaffenheit der Fahrbahnoberfläche bestimmt werden, – aus den ermittelten quer zur Fahrtrichtung des Fahrzeugs verlaufende Höhenverläufen wenigstens ein Sprung in den Höhenverläufen der Mehrzahl von Linien quer zur Fahrtrichtung des Fahrzeugs bestimmt werden, – aus den ermittelten Sprüngen in den Höhenverläufen der Umgebungsoberfläche mindestens ein Fahrbahnrand bestimmt wird, und – die Bereiche gleicher Beschaffenheit der Fahrbahnoberfläche sowie der mindestens eine bestimmte Fahrbahnrand als fahrbahnmarkierende Merkmale auf dem Head-up-Instrument (1) angezeigt werden. Method for displaying image information on a head-up instrument ( 1 ) of a vehicle in which an environment in front of a vehicle by means of a 3D camera ( 11 ) are detected as image data and lane-marking features extracted from the image data are displayed as image information, characterized in that - from the image data of the 3D camera ( 11 ) Altitudinal curves of the surrounding surface along a plurality of lines are detected transversely to the direction of travel of the vehicle, - determined from the determined transverse to the direction of travel of the vehicle height gradients in the area of the road areas of the same nature of the road surface, - from the determined transverse to the direction of travel of the vehicle Höhenverläufen least one jump in the height gradients of the plurality of lines are determined transversely to the direction of travel of the vehicle, - determined from the determined jumps in the elevations of the surrounding surface at least one lane edge, and - the areas of the same nature of the road surface and the at least one particular lane edge as lane-marking features on the head-up instrument ( 1 ) are displayed. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Beschaffenheit der Fahrbahnoberfläche aus einem Vergleich der ermittelten Höhenverläufe mit gespeicherten Höhenverläufen bekannter Beschaffenheit erkannt wird. A method according to claim 1, characterized in that the nature of the road surface is detected from a comparison of the determined height gradients with stored height gradients known condition. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass aus den ermittelten quer zur Fahrtrichtung des Fahrzeugs verlaufende Höhenverläufen im Bereich der Fahrbahn fahrspurmarkierende Merkmale extrahiert und auf dem Headup-Instrument (1) angezeigt werden. A method according to claim 1 or 2, characterized in that from the determined transverse to the direction of travel of the vehicle running height profiles in the area of the lane lane marking features extracted and on the headup instrument ( 1 ) are displayed. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass aus den Bilddaten der Kamera und den Daten eines Radarsystems (20) mobile und feststehende Objekte identifiziert und diese Objekte auf dem Head-up-Instrument (1) angezeigt werden. Method according to one of the preceding claims, characterized in that from the image data of the camera and the data of a radar system ( 20 ) identified mobile and fixed objects and these objects on the head-up instrument ( 1 ) are displayed. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Fahrbahnbreite aus den Bilddaten der 3D-Kamera (11) bestimmt und auf dem Head-up-Instrument (1) angezeigt wird. A method according to claim 1, characterized in that the roadway width from the image data of the 3D camera ( 11 ) and on the head-up instrument ( 1 ) is shown.
DE102013221713.7A 2013-10-25 2013-10-25 Method for displaying image information on a head-up instrument of a vehicle Ceased DE102013221713A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102013221713.7A DE102013221713A1 (en) 2013-10-25 2013-10-25 Method for displaying image information on a head-up instrument of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102013221713.7A DE102013221713A1 (en) 2013-10-25 2013-10-25 Method for displaying image information on a head-up instrument of a vehicle

Publications (1)

Publication Number Publication Date
DE102013221713A1 true DE102013221713A1 (en) 2014-12-11

Family

ID=52009160

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102013221713.7A Ceased DE102013221713A1 (en) 2013-10-25 2013-10-25 Method for displaying image information on a head-up instrument of a vehicle

Country Status (1)

Country Link
DE (1) DE102013221713A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015212583A1 (en) 2015-07-06 2017-01-12 Conti Temic Microelectronic Gmbh Driver assistance device for a motor vehicle, motor vehicle with such a driver assistance device and a method for assisting a motor vehicle driver when driving a motor vehicle with such a driver assistance device
WO2017123477A1 (en) * 2016-01-11 2017-07-20 Flir Systems, Inc. Vehicle based radar upsampling
DE102018201620A1 (en) * 2018-02-02 2019-08-08 Conti Temic Microelectronic Gmbh Apparatus and method for radar-based classifying road conditions

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005046672A1 (en) 2005-09-29 2007-04-05 Robert Bosch Gmbh Night vision device for motor vehicle, has navigating device, steering angle sensor, rotating rate sensor and radar sensor that are utilized such that roadway on which vehicle is to be driven is determined and is shown in display unit
DE102010013403A1 (en) 2009-04-02 2010-11-11 GM Global Technology Operations, Inc., Detroit Information of a dynamic vehicle system on head-up display for entire windshield
DE102011121948A1 (en) * 2011-12-22 2013-06-27 Gm Global Technology Operations, Llc Perspective on actions of an autonomous driving system
DE102012101085A1 (en) 2012-02-10 2013-08-14 Conti Temic Microelectronic Gmbh Determining a condition of a road surface by means of a 3D camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005046672A1 (en) 2005-09-29 2007-04-05 Robert Bosch Gmbh Night vision device for motor vehicle, has navigating device, steering angle sensor, rotating rate sensor and radar sensor that are utilized such that roadway on which vehicle is to be driven is determined and is shown in display unit
DE102010013403A1 (en) 2009-04-02 2010-11-11 GM Global Technology Operations, Inc., Detroit Information of a dynamic vehicle system on head-up display for entire windshield
DE102011121948A1 (en) * 2011-12-22 2013-06-27 Gm Global Technology Operations, Llc Perspective on actions of an autonomous driving system
DE102012101085A1 (en) 2012-02-10 2013-08-14 Conti Temic Microelectronic Gmbh Determining a condition of a road surface by means of a 3D camera

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015212583A1 (en) 2015-07-06 2017-01-12 Conti Temic Microelectronic Gmbh Driver assistance device for a motor vehicle, motor vehicle with such a driver assistance device and a method for assisting a motor vehicle driver when driving a motor vehicle with such a driver assistance device
WO2017123477A1 (en) * 2016-01-11 2017-07-20 Flir Systems, Inc. Vehicle based radar upsampling
US20180292529A1 (en) * 2016-01-11 2018-10-11 Flir System, Inc. Vehicle based radar upsampling
US10928512B2 (en) 2016-01-11 2021-02-23 Flir Systems, Inc. Vehicle based radar upsampling
DE102018201620A1 (en) * 2018-02-02 2019-08-08 Conti Temic Microelectronic Gmbh Apparatus and method for radar-based classifying road conditions
DE102018201620B4 (en) 2018-02-02 2024-05-02 Continental Autonomous Mobility Germany GmbH Device and method for radar-based classification of road conditions

Similar Documents

Publication Publication Date Title
DE112011100180B4 (en) Lane keeping assist apparatus, method for displaying a lane boundary line and program
EP3160813B1 (en) Method for producing a model of the surroundings of a vehicle
EP1684142B1 (en) Method of predicting possible future course and distance control in driver assisting system
DE102013223367A1 (en) Method and device for determining a road condition by means of a vehicle camera system
DE102020115011B4 (en) User interface for autonomous vehicle with predicted trajectories
EP2594461B1 (en) Method for detecting a parking space for a motor vehicle, parking assistance system and motor vehicle with a parking assistance system
DE102013101639A1 (en) Method and device for determining a road condition
DE102016208025B4 (en) Method for detecting traffic signs
DE102005046672A1 (en) Night vision device for motor vehicle, has navigating device, steering angle sensor, rotating rate sensor and radar sensor that are utilized such that roadway on which vehicle is to be driven is determined and is shown in display unit
DE102011100907A1 (en) Device for determining road condition of roadway located in front of vehicle, comprises imaging sensor for detecting road surface, and evaluation unit for evaluation of image data
DE102014200638A1 (en) Method and system for estimating a lane course
WO2013113500A1 (en) Driver assistance system and method for virtual representation of a road layout under obscured visibility and/or poor visibility conditions
DE102008042825A1 (en) Driver assistance system for motor vehicles
DE102013019550B3 (en) Method for driver assistance with regard to a traffic light circuit
DE102014221132A1 (en) Method and device for indicating availability of a first driving mode of a vehicle
DE102008028374A1 (en) Method for combined output of an image and local information, and motor vehicle therefor
DE102013210826A1 (en) A method of operating a display device, computer program product, display device
DE102017221488A1 (en) Method for displaying the course of a trajectory in front of a vehicle or an object with a display unit, device for carrying out the method and motor vehicle and computer program
DE102013219023A1 (en) Method and device for assisting a driver of a vehicle when changing lanes
DE102014111012A1 (en) A method for assisting a driver of a motor vehicle when parking out, driver assistance system and motor vehicle
EP3318441A1 (en) Device for supporting a driver of a vehicle with a projection device
DE102018211368A1 (en) A method of describing an environment of a vehicle through the topology of the busy road
DE102016101901A1 (en) Driver assistance system
DE102013221713A1 (en) Method for displaying image information on a head-up instrument of a vehicle
WO2009097883A1 (en) Method for operating an image capturing device and an image capturing device

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R230 Request for early publication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final