EP3762684A1 - Einblendung von zusatzinformationen auf einer anzeigeeinheit - Google Patents

Einblendung von zusatzinformationen auf einer anzeigeeinheit

Info

Publication number
EP3762684A1
EP3762684A1 EP19707299.4A EP19707299A EP3762684A1 EP 3762684 A1 EP3762684 A1 EP 3762684A1 EP 19707299 A EP19707299 A EP 19707299A EP 3762684 A1 EP3762684 A1 EP 3762684A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
display
waypoint
distance
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP19707299.4A
Other languages
English (en)
French (fr)
Inventor
Andro Kleen
Michael Wittkämper
Robert Jan Wyszka
Adrian HAAR
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP3762684A1 publication Critical patent/EP3762684A1/de
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3632Guidance using simplified or iconic instructions, e.g. using arrows
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3655Timing of guidance instructions
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • B60K2360/166
    • B60K2360/177
    • B60K2360/188
    • B60K2360/191
    • B60K2360/347
    • B60K35/23
    • B60K35/28
    • B60K35/29
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display

Definitions

  • the proposal concerns the technical field of driver information systems, also known as infotainment systems. Such systems are used primarily in vehicles. But there is also the possibility of using the invention in pedestrians, cyclists, etc. with data glasses.
  • the proposal further relates to a suitably designed apparatus for carrying out the method and a
  • AR augmented reality
  • Less familiar is the corresponding German-language term of "augmented reality”.
  • the real environment is enriched with virtual elements. This has several advantages: The view down to other displays than the windshield is omitted because many relevant information is displayed on the windshield. So the driver does not have to avert his gaze from the road.
  • the special feature of the AR representations is that a positionally accurate location of the virtual elements in the real environment is possible. In the place where the driver turns his gaze into the real environment, the virtual element is also displayed.
  • the real environment can be "superimposed" from the user's point of view and provided with additional information, e.g. a navigation path can be displayed.
  • additional information e.g. a navigation path can be displayed.
  • Perceptual habits can take place.
  • HUD Head-Up Displays
  • the "BNd” is composed as follows: It is less a virtual display, but rather a kind of "keyhole” in the virtual world.
  • the virtual environment is theoretically placed over the real world and contains the virtual objects that support and inform the driver while driving.
  • the limited display area of the HUD has the consequence that a section of it can be seen. So you look through the display area of the HUD on the section of the virtual world. Because this virtual
  • a first approach is not to completely relieve the driver of his duties, but to ensure that the driver at any time the
  • Control of the vehicle can take over.
  • the driver also takes
  • HUD Head-Up Display
  • LTE V2X Long Term Evolution
  • WLAN p WLAN p
  • Field-of-view display device for a vehicle known.
  • images of navigation information are thus placed in a driver's field of vision
  • Vehicle superimposed that the images are superimposed objects in the field of view.
  • the images can be tracked dynamically so that the images appear fixed to the objects. For this purpose, a distance between the vehicle and a location for displaying navigation information in an environment of the vehicle is determined. The driver can with the help of this technique z.
  • navigation instructions are given, in which the road ahead is marked in color to the horizon or navigation instructions that are displayed as arrows that are directly on the road.
  • Navigation information displayed by the HUD display unit may include, for example, projecting a distance to a next turn and the current speed of the vehicle compared to a
  • a driver assistance system with automatic longitudinal control for a vehicle in which the route ahead section is visualized on a display surface, wherein at least one graphical object, which is a function of the automatic
  • Video image sequence is recorded and reproduced in real time on the display surface and the at least one graphical object of the video image sequence is superimposed.
  • a distance bar can be displayed, which visualizes a safety distance.
  • a method for displaying a distance information on a display device of a vehicle is known.
  • the method is characterized in that a real image of the lane ahead of the vehicle is recorded with the camera, and a safety distance to the vehicle in front is determined as a function of at least one vehicle-dynamic size of the vehicle.
  • the real image is extended by a virtual image portion in the form of a crossbar, which indicates the safety distance in the correct position to the vehicle in front.
  • AR augmented reality
  • the invention sets itself the task of finding such an approach.
  • This object is achieved by a method for calculating a fade of
  • Additional information for a display on a display unit in particular a head-up display (HUD) of a vehicle or a data glasses according to claim 1, an apparatus for performing the method according to claim 8 and a motor vehicle according to claim 11 and a computer program according to claim 12 solved.
  • the insertion of additional information serves the purpose of assisting the driver in the longitudinal guidance of the vehicle.
  • the solution according to the invention is based on that with blended
  • the distance to the waypoint is displayed.
  • the waypoint can be specified by the navigation system.
  • the solution has the advantage that the voice announcements or numerical distance indications are made more comprehensible for the driver and better associated with the actual environment can, even where no real distance beacons have been installed on the roadside.
  • the navigation system provides a navigation path, which can also be displayed as an AR overlay on the real environment.
  • the insertion of the navigation path can advantageously be done in raster form.
  • the grid consists of individual
  • Raster elements that are interpreted by the driver as a continuous navigation path, without covering the real environment more than necessary.
  • “Navigation grids” at regular intervals are highlighted graphically e.g. by color coding, or by other types of animation, such as by a single change of shape or by a change of position, e.g. putting up a previously lying on the floor element.
  • Classic distance beacons can also be shown, but they do not really exist. With this approach, distance information can be prepared by onboard systems as "milestones" and thus create an improved spatial understanding.
  • the distance markers can advantageously be displayed at equidistant intervals, such as 10 m, 25 m, 50 m, 75 m, 80 m, 100 m, 160 m, 200 m, 240 m, or 300 m before the waypoint.
  • the distance marks each consist of several
  • Grid points of animation graphics composed. This has the advantage that the distance markers appear as integrated on the road, the driver does not have to avert his gaze and still gets a precise distance to the announced waypoint.
  • the distance marks may consist of three or five halftone dots
  • the grid points are represented by symbols.
  • the shape of a rhombus is suitable because it can be aligned in the direction of travel. If the Rhombus symbols are not filled out, they embed themselves distracting into the environment, without obscuring significant parts of the environment.
  • Distance markers occur in smaller cycles (for example every 10 m), while on motorways distance markers, as usual there, are displayed at 100 meter intervals.
  • Driving scenario and speed are considered as separate determinants, e.g.
  • the raster symbols on the highway in traffic jams could have a different color than in "liquid" motorway traffic.
  • the driving scenario includes at least in part the
  • a device for carrying out the method that it can locate the navigation point predetermined waypoint in the recorded by the detection means environment.
  • One variant is to use highly accurate maps and locate them on this map, e.g. by GPS or one
  • Image evaluation method can be used, which evaluate the images supplied by one or more front cameras. Especially suitable for this application is a
  • Stereo camera capable of delivering 3D image sequences. Also, a LIDAR or RADAR sensor would be considered.
  • the image evaluation methods can either on it
  • the device will then receive and evaluate the signal of the radio beacons to display the corresponding distance beacon in the correct position at the height of the beacon in the navigation route.
  • the driver's characteristics such as sitting position, eye position and eye distance as well as the exact HUD settings ("look-down angle", etc.) can also be taken into account in order to optimize the display of the "distance beacons" , This requires a HUD display system in which these parameters are entered or recorded.
  • the display unit of the device is designed as a head-up display.
  • a data goggle or a monitor can be used in the device as a display unit, on which a camera image is displayed, in which the grid is displayed.
  • the device according to the invention can be used in a motor vehicle.
  • the invention is preferably realized so that the display unit is permanently installed in the vehicle, e.g. in the form of a head-up display.
  • the invention can also be advantageously used if the display unit corresponds to data glasses. Then, the invention can be
  • Fig. 2 shows the typical cockpit of a vehicle
  • FIG. 3 shows the block diagram of the infotainment system of the vehicle
  • Fig. 4 is a representation of a grid overlay with highlighted color
  • FIG. 6 is a flow chart for a program for calculating AR inserts for displaying the navigation route with nested range marks.
  • Fig. 1 illustrates the basic operation of a head-up display.
  • the head-up display 20 is in the vehicle 10 below / behind the instrument cluster in
  • Additional information is displayed in the driver's field of vision.
  • This additional information appears as if it were projected onto a projection surface 21 at a distance of 7 - 15 m in front of the vehicle 10.
  • the additional information displayed creates a kind of virtual environment.
  • the virtual environment is theoretically placed over the real world and contains the virtual objects that support and inform the driver while driving. However, it is only projected onto a part of the windshield, so that the additional information can not be arbitrarily arranged in the field of vision of the driver.
  • Fig. 2 shows the cockpit of the vehicle 10. Shown is a passenger car. As vehicle 10, however, any other vehicles would also be considered. Examples of other vehicles are: buses, commercial vehicles, especially trucks trucks, agricultural machinery, construction machinery, rail vehicles, etc. The use of the invention would be Generally possible with land vehicles, rail vehicles, watercraft and aircraft.
  • the cockpit three display units of an infotainment system are shown. It is the head-up display 20 and a touch-sensitive screen 30 which is mounted in the center console.
  • the center console When driving, the center console is not in the driver's field of vision. Therefore, the additional information is not displayed on the display unit 30 while driving.
  • the touch-sensitive screen 30 serves in particular for the operation of functions of the vehicle 10. For example, about a radio, a radio, a radio, a
  • An infotainment system refers to motor vehicles, especially passenger cars, the merger of car radio, navigation system,
  • infotainment is a boxword word composed of the words information and entertainment (entertainment).
  • touch screen To operate the infotainment system mainly the touch-sensitive screen 30 ("touch screen") is used, this screen 30 can be well viewed and operated in particular by a driver of the vehicle 10, but also by a passenger of the vehicle 10.
  • mechanical operating elements for example keys, rotary encoders or combinations thereof, such as, for example, a push-dial regulator, can be arranged in an input unit 50.
  • This unit is not shown separately, but is considered part of the input unit 50.
  • the operation device includes the touch-sensitive display unit 30, a calculator 40, an input unit 50, and a memory 60.
  • the display unit 30 includes both a display surface for displaying variable graphic information and a control surface (touch-sensitive layer) disposed above the display surface
  • the display unit 30 is connected to the computing device 40 via a data line 70.
  • the data line can be designed according to the LVDS standard, corresponding to Low Voltage Differential Signaling.
  • the display unit 30 receives control data for driving the display surface of the touch screen 30 from the
  • Computing device 40 Via the data line 70 are also control data of
  • Reference numeral 50 denotes the input unit. It includes the already mentioned control elements such as buttons, knobs, sliders, or rotary pushbuttons, with the help of which the operator can make inputs via the menu. Input is generally understood as selecting a selected menu item, as well as changing a parameter, turning a function on and off, and so on.
  • the memory device 60 is connected to the computing device 40 via a data line 80.
  • a pictogram directory and / or symbol directory is stored with the pictograms and / or symbols for the possible overlays of additional information.
  • the points / symbols can be stored, which serve as the basis for the calculation of the raster overlay.
  • the other parts of the infotainment system camera 150, radio 140, navigation device 130, telephone 120 and instrument cluster 110 are connected via the data bus 100 with the device for operating the infotainment system.
  • the data bus 100 is the high-speed variant of the CAN bus according to ISO standard 11898-2.
  • Ethernet-based bus system such as BroadR-Reach in question.
  • Bus systems in which the data is transmitted via optical fibers can also be used. Examples are the MOST Bus (Media Oriented System Transport) or the D2B Bus (Domestic Digital Bus).
  • the camera 150 can be designed as a conventional video camera. In this case, it will record 25 frames / s, which is equivalent to 50 fields / s in the interlace recording mode.
  • the vehicle 10 is with a special camera that captures more images / sec to increase the accuracy of object detection on faster moving objects.
  • a special camera can be used that captures more images / sec to increase the accuracy of object detection on faster moving objects.
  • Several cameras can be used for monitoring the environment.
  • the already mentioned RADAR or LIDAR systems could be used in addition or alternatively to carry out or expand the field observation.
  • the vehicle 10 is with a
  • Communication module 160 equipped. This module is often referred to as an on-board unit. It can be used for mobile communication, e.g. according to LTE standard,
  • Wi-Fi Communication according to Long Term Evolution, be designed. It can also be used for Wi-Fi Communication, according to wireless LAN, be designed, be it for communication to devices of the occupants in the vehicle or for vehicle-to-vehicle communication, etc.
  • the basis of the display according to the invention of the longitudinal guidance function of the vehicle 10 on the HUD 20 is the display of a virtual grid which is displayed at a distance above the actual road or without distance to the road.
  • the road is located as a real road course in the field of vision of the driver.
  • the AR fade in by means of the HUD 20 is done as shown in FIG.
  • the grid 22 is projected to be on the road or "floating in space" at a distance from the road.
  • the grid is composed of a plurality of diamond symbols 23, which are shown to be transparent, of which therefore only the edge can be seen, in order to avoid a concealment of large areas. It is shown that a grid 22 is displayed along the roadway course. This extends along the navigation route predicted by the navigation system 130.
  • the navigation route leads to a crossroads where it turns left.
  • the distance to the turn-off point is 50 m and is shown in the lower edge of the screen in the form of the distance indication 26, next to the turn-off arrow 25 to the left.
  • From the navigation system 130 came the acoustic announcement that the turn should be made in 50 m. Since there is another crossing point before the turn-off point, it is difficult for the driver to recognize at which point he should turn. Also is the
  • distance markers 24 are displayed at a distance of 10 m along the navigation path represented by the grid 22.
  • the distance marks are each composed of five diamond symbols 23 of the grid 22 and are highlighted by a blue color.
  • the other grid symbols 23 are shown in white. The driver intuitively recognizes the distance marks 24.
  • Distance marks 24 are selected so that the shape of a forward arrow results, ie in the direction of travel. This shape is created by composing the distance mark 24 from a raster center symbol and two left and right raster page symbols, respectively. The side symbols are offset to the rear, resulting in the shape of a forward arrow. This composition of the distance mark 24 from grid symbols 23 is shown in greater detail in FIG.
  • the program start is designated by the reference numeral 405.
  • the program step 410 the environment of the observer vehicle 10 is detected.
  • the images supplied by the front camera 150 are evaluated with the object recognition algorithms provided for this purpose.
  • program step 415 the takeover of the waypoint predetermined by the navigation system 130, which is announced by the navigation system 130, takes place
  • the image evaluation takes place.
  • the image evaluation can be done with an algorithm programmed to it, based on the curvature of the image
  • the calculation of the raster 22 for the display of the navigation path and the calculation of the position of the distance marks in the raster 22 takes place in the program step 425. As shown in FIG. 4, in this step it is determined which raster symbols 23 in FIG Color blue must be presented to one
  • the grid 22 is calculated in perspective.
  • the AR data for the raster representation of the Navigation path with the nested distance marks 24 calculated.
  • the instantaneous speed of the observer vehicle 10 is detected by on-board sensors or also taken over in step 415 by the navigation system 130.
  • step 435 the AR data calculated for the AR display of the navigation path is transmitted to the HUD 20.
  • steps 420 to 435 a loop is formed in the program, which is run through until it is recognized in query 440 that the announced waypoint has already been reached or exceeded. If so, the program is terminated in program step 445.
  • the program can be ended at any time.
  • Special purpose processors may include Application Specific Integrated Circuits (ASICs), Reduced Instruction Set Computer (RISC), and / or Field Programmable Gate Arrays (FPGAs).
  • ASICs Application Specific Integrated Circuits
  • RISC Reduced Instruction Set Computer
  • FPGAs Field Programmable Gate Arrays
  • the proposed method and apparatus is implemented as a combination of hardware and software.
  • the software is preferably installed as an application program on a program storage device. Typically it is a machine based on a
  • Computer platform that has hardware, such as one or more
  • CPU Central processing units
  • RAM random access memory
  • I / O Input / output interface
  • the computer platform also typically installs an operating system.
  • the different processes and functions that may be part of the application program or part that is executed via the operating system.
  • the invention can always be used when the field of view of a driver, an operator or even just a person with data glasses can be enriched with AR impressions.

Abstract

Die Erfindung betrifft ein Verfahren zur Berechnung einer Einblendung von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit (20), insbesondere ein Head- Up Display (HUD) eines Fahrzeuges (10) oder eine Datenbrille. Dabei dient die Einblendung von Zusatzinformationen dem Zweck der Unterstützung des Fahrers bei der Längsführung eines Fahrzeuges (10). Dabei wird die Lage eines vorausliegenden Wegpunktes erfasst, der vom Navigationssystem vorgegeben wird. Bei Annäherung des Beobachterfahrzeuges (10) an den Wegpunkt wird eine Animationsgrafik berechnet, wobei die Animationsgrafik eine Rasterform aufweist. Die Animationsgrafik wird so berechnet wird, das ausgehend vom Beobachterfahrzeug (10) bis zum Wegpunkt Entfernungsmarken (24) eingefügt werden, die eine bessere Abschätzung der Entfernung zum Wegpunkt ermöglichen.

Description

Beschreibung
EINBLENDUNG VON ZUSATZINFORMATIONEN AUF EINER ANZEIGEEINHEIT
Der Vorschlag betrifft das technische Gebiet von Fahrerinformationssystemen, die auch unter dem Begriff Infotainmentsystem bekannt sind. Solche Systeme werden vor allem in Fahrzeugen eingesetzt. Es besteht aber auch die Möglichkeit des Einsatzes der Erfindung bei Fußgängern, Radfahrern, etc. mit Datenbrille. Der Vorschlag betrifft weiterhin eine entsprechend ausgelegte Vorrichtung zur Durchführung des Verfahrens sowie ein
Kraftfahrzeug und ein Computerprogramm.
Eine Zukunftsvision in der Automobilbranche ist es, die Windschutzscheibe des eigenen Fahrzeugs mit virtuellen Elementen bespielen zu können, um dem Fahrer einige Vorteile zu ermöglichen. Genutzt wird die sogenannte„Augmented Reality“ -Technologie (AR). Weniger geläufig ist der entsprechende deutschsprachige Begriff der„erweiterten Realität“. Dabei wird die reale Umgebung mit virtuellen Elementen angereichert. Das hat mehrere Vorteile: Der Blick nach unten auf andere Displays als der Windschutzscheibe entfällt, da viele relevante Informationen auf der Windschutzscheibe abgebildet werden. So muss der Fahrer seinen Blick nicht von der Fahrbahn abwenden. Das Besondere an den AR-Darstellungen ist, dass eine positionsgenaue Verortung der virtuellen Elemente in der realen Umwelt möglich ist. An dem Ort, wo der Fahrer den Blick in der realen Umwelt hinwendet wird auch das virtuelle Element eingeblendet. Mit diesen Einblendungen kann die Real-Umwelt aus Sicht des Nutzers„überlagert“ und mit zusätzlichen Informationen versehen werden, z.B. kann ein Navigationspfad eingeblendet werden. Dadurch ist ein geringerer kognitiver Aufwand seitens des Fahrers erreicht, da keine Interpretation einer abstrahierenden Grafik erfolgen muss, sondern ein intuitives Verständnis im Sinne der normalen
Wahrnehmungsgewohnheiten stattfinden kann.
Zurzeit werden Head-Up Displays (HUD) in den Fahrzeugen eingesetzt. Diese haben auch den Vorteil, dass das Bild des HUD näher an der realen Umwelt erscheint. Bei diesen Displays handelt es sich eigentlich um Projektionseinheiten, die ein Bild auf die
Windschutzscheibe projizieren. Dieses Bild befindet sich jedoch aus der Sicht des Fahrers je nach Bauart des Moduls wenige Meter bis 15 Meter vor dem Fahrzeug. Dies hat den Vorteil, dass die eingeblendeten Informationen so präsentiert werden, dass die Augen des Fahrer selbst von Akkommodationstätigkeit entlastet werden. Das„BNd“ setzt sich dabei folgendermaßen zusammen: Es handelt sich weniger um ein virtuelles Display, sondern eher um eine Art„Schlüsselloch“ in die virtuelle Welt. Die virtuelle Umgebung wird theoretisch über die reale Welt gelegt und enthält die virtuellen Objekte, die den Fahrer bei der Fahrt unterstützen und informieren. Die begrenzte Anzeigefläche des HUD hat zur Folge, dass davon ein Ausschnitt gesehen werden kann. Man schaut also durch die Anzeigefläche des HUD auf den Ausschnitt der virtuellen Welt. Da diese virtuelle
Umgebung die reale Umgebung ergänzt, spricht man in diesem Fall auch von einer„Mixed Reality“.
Zur Zeit wird ebenfalls intensiv an Technologien gearbeitet, die später ein autonomes Fahren ermöglichen sollen. Ein erster Ansatz ist dabei, den Fahrer nicht komplett von seinen Aufgaben zu entlasten, sondern dafür Sorge zu tragen, dass der Fahrer jederzeit die
Steuerung des Fahrzeuges übernehmen kann. Der Fahrer nimmt außerdem
Überwachungsfunktionen wahr. Durch neuere Technologien im Bereich der
Fahrerinformationssysteme wie Head-Up Display (HUD) ist es möglich, den Fahrer besser über das Geschehen im Umfeld seines Fahrzeuges zu informieren.
Um dies zu erreichen ist auch der Einsatz neuerer Technologien (Fahrzeug-zu-Fahrzeug- Kommunikation, Einsatz von Datenbanken, Fahrzeugsensorik, etc.) nötig, damit umfassende Informationen über Objekte (insb. Fahrzeuge) im direkten Umfeld des eigenen Fahrzeugs verfügbar sein werden. Im Bereich Fahrzeugsensorik werden insbesondere die folgenden Komponenten genannt, die eine Umfeldbeobachtung ermöglichen: RADAR-Geräte entsprechend Radio Detection and Ranging, LIDAR-Geräte, entsprechend Light Detection and Ranging, hauptsächlich für den Bereich Abstandserfassung / -Warnung, und Kameras mit entsprechender Bildverarbeitung für den Bereich der Objekterkennung. Diese Daten über die Umwelt können als Basis für systemseitige Fahrempfehlungen, Warnungen, etc.
herangezogen werden. Beispielsweise sind so Anzeigen / Warnungen darüber denkbar, in welche Richtung (möglicherweise in die eigene Trajektorie) ein anderes, umgebendes Fahrzeug abbiegen will.
Die Fahrzeug-zu-Fahrzeug-Kommunikation ist mittlerweile auch mittels Mobilkommunikation mit Systemen wie LTE entsprechend Long Term Evolution möglich. Hier wurde von der Organisation 3GPP eine Spezifikation mit Namen LTE V2X verabschiedet. Als Alternative stehen auf WLAN-Technologie beruhende Systeme für die Fahrzeug-Direktkommunikation zur Verfügung, insbesondere das System nach WLAN p. Aufgrund der derzeitigen Entwicklung hin zu höheren Autonomiestufen, wo aber viele Fahrzeuge nach wie vor noch vom Fahrer gesteuert werden, ist davon auszugehen, dass entsprechende zusätzliche Informationen mittelfristig bereits für manuell geführte Fahrzeuge und nicht erst langfristig für hochautomatisierte Systeme genutzt werden können. Dabei kann die im Folgenden noch näher beschriebene Lösung sowohl für manuell gesteuerte als auch für automatisch gesteuerte Fahrzeuge eingesetzt werden.
Für die Fahrer-Fahrzeug-Interaktion stellt sich hierbei die Frage, wie diese Informationen so dargestellt werden können, dass ein echter Mehrwert für den menschlichen Fahrer entsteht und er die bereitgestellten Informationen auch schnell, respektive intuitiv, verorten kann. Folgende Lösungen in diesem Bereich sind dabei schon aus dem Stand der Technik bekannt.
Aus der DE 10 2014 200 407 A1 ist ein Verfahren zum Betreiben eines
Sichtfeldanzeigegeräts (Head-Up Display) für ein Fahrzeug bekannt. Bei dem Verfahren werden Bilder von Navigationsinformationen so in ein Sichtfeld eines Fahrers eines
Fahrzeugs eingeblendet, dass die Bilder Objekten in dem Sichtfeld überlagert sind. Dabei können die Bilder dynamisch nachgeführt werden, damit die Bilder wie an den Objekten fixiert erscheinen. Dazu wird eine Distanz zwischen dem Fahrzeug und einem Ort zum Darstellen einer Navigationsinformation in einem Umfeld des Fahrzeuges ermittelt. Dem Fahrer können mithilfe dieser Technik z. B. Navigationshinweise gegeben werden, in dem die vor ihm liegende Straße bis zum Horizont farbig markiert wird oder Navigationshinweise, die als Pfeile, die direkt auf der Fahrbahn liegen, angezeigt werden.
Aus der DE 10 2015 117 381 A1 ist ein Verfahren und eine Vorrichtung bekannt, bei dem ebenfalls Informationen wie Navigationsinformationen auf einer HUD-Anzeigeeinheit eingeblendet werden. Eine Navigationsinformation, die durch die HUD-Anzeigeeinheit dargestellt wird, kann beispielsweise das Projizieren einer Distanz zu einem nächsten Abbiegen und der aktuellen Geschwindigkeit des Fahrzeugs im Vergleich zu einer
Geschwindigkeitsbegrenzung einschließlich eines Alarms bei Überschreiten der
Geschwindigkeitsbegrenzung umfassen.
Die meisten Fahrzeuge weisen heute ein Navigationssystem auf, um eine Ziel- und
Straßenführung für einen Fahrer vorzusehen. Weiterhin werden Fahrzeuge mit einem darin montierten HUD auf dem Markt angeboten, wobei das HUD gewünschte Informationen auf die Windschutzscheibe eines Fahrzeugs projiziert und dem Fahrer ermöglicht, die projizierten Informationen zu betrachten, während der Fahrer nach vorne blickt. Aus der DE 10 2016 223 179 A1 ist eine Koordinaten-Abgleichvorrichtung und ein entsprechendes Verfahren für ein Head-up-Display (HUD) bekannt, die nicht nur eine Koordinate einer Umgebungsinformationen-Messeinrichtung mit einer Koordinate des HUD abgleichen, sondern auch die Position eines Objekts derart wandeln, dass die Sichtwinkel abgeglichen werden, um durch die Umgebungsinformationen-Messeinrichtung gemessene Informationen anzuzeigen.
Aus der DE 10 201 1 112 943 A1 ist ein Verfahren zum Bereitstellen eines
Fahrerassistenzsystems mit automatischer Längsregelung für ein Fahrzeug bekannt, bei dem der vorausliegende Streckenabschnitt auf einer Anzeigefläche visualisiert wird, wobei wenigstens ein graphisches Objekt, welches einer Funktion der automatischen
Längsregelung zugeordnet ist, in dem visualisierten Streckenabschnitt dargestellt wird. Das Verfahren zum Bereitstellen eines Fahrerassistenzsystems mit automatischer Längsregelung ist dadurch gekennzeichnet, dass zu dem vorausliegenden Streckenabschnitt eine
Videobildfolge aufgenommen und in Echtzeit auf der Anzeigefläche wiedergegeben wird und das wenigstens ein graphisches Objekt der Videobildfolge überlagert wird. Als Objekt kann ein Distanzbalken eingeblendet werden, der einen Sicherheitsabstand visualisiert.
Aus der DE 10 201 1 121 763 A1 ist ein Verfahren zur Darstellung einer Abstandsinformation auf einer Anzeigevorrichtung eines Fahrzeuges bekannt. Das Verfahren zeichnet sich dadurch aus, dass mit Kamera ein Echtbild der vor dem Fahrzeug liegenden Fahrspur aufgenommen wird, und in Abhängigkeit wenigstens einer fahrdynamischen Größe des Fahrzeuges ein Sicherheitsabstand zu dem vorausfahrenden Fahrzeug ermittelt wird. Das Echtbild wird um einen virtuellen Bildanteil in Form eines Querbalkens erweitert, der den Sicherheitsabstand lagerichtig zum vorausfahrenden Fahrzeug anzeigt.
Ein großer Vorteil der bisher bekannten„Augmented Reality“-Anzeigen (AR-Anzeigen) besteht darin, die entsprechenden Anzeigen direkt innerhalb bzw. als Teil der Umwelt darzustellen. Relativ naheliegende Beispiele beziehen sich meist auf den Bereich der Navigation. Während klassische Navigationsanzeigen (in herkömmlichen HUD) in der Regel schematische Darstellungen anzeigen (z.B. einen rechtwinklig verlaufenden Pfeil nach rechts als Zeichen dafür, dass bei nächster Gelegenheit rechts abgebogen werden soll), bieten AR- Anzeigen wesentlich effektivere Möglichkeiten. Da die Anzeigen als„Teil der Umwelt“ dargestellt werden können, sind äußerst schnelle und intuitive Interpretationen für den Nutzer möglich. Dennoch weisen die bisher bekannten Ansätze auch verschiedene
Probleme auf, für die zum jetzigen Zeitpunkt keine Lösungen bekannt sind. Dies wurde im Rahmen der Erfindung erkannt. Bei den aktuellen Navigationssytemen werden zwar Navigationshinweise ausgegeben aber nicht richtig mit der Umwelt in Einklang gebracht, so dass sie nicht intuitiv verstanden werden können. Soll zum Beispiel eine Autobahn an einer bestimmten Ausfahrt verlassen werden, erfolgt in aktuellen Systemen eine Sprachansage mit eben jener Aufforderung und einer zugehörigen Entfernungsangabe (z.B.„in 500 Metern die Autobahn an der zweiten Ausfahrt verlassen“). Darüber hinaus werden die gängigen Abbiege-Piktogramme und geometrische Formen angezeigt, die das Erreichen der richtigen Ausfahrt durch einen„ablaufenden Ladebalken“ visualisieren. Das Problem besteht hierbei darin, dass diese Informationen nur schwer auf die tatsächlichen Gegebenheiten der Straße bezogen werden können. Existieren keine metrischen Orientierungspunkte in der Umwelt, kann nur sehr schwer nachvollzogen werden, ob z.B. erst 250 m oder schon 400 m vergangen sind. Dieser Umstand ist besonders in indifferenten bzw. mehrdeutigen Kontexten, also z.B. bei mehreren
Autobahnausfahrten, die unmittelbar hintereinanderliegen, sehr problematisch.
Es besteht also der Bedarf für weitere Verbesserungen bei der Längsführung eines
Fahrzeuges und der diesbezüglichen Rückmeldung zum Fahrer über das Infotainment- System.
Die Erfindung setzt sich zur Aufgabe, einen solchen Ansatz zu finden.
Diese Aufgabe wird durch ein Verfahren zur Berechnung einer Einblendung von
Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit, insbesondere ein Head-Up Display (HUD) eines Fahrzeuges oder eine Datenbrille gemäß Anspruch 1 , eine Vorrichtung zur Durchführung des Verfahrens gemäß Anspruch 8 sowie ein Kraftfahrzeug gemäß Anspruch 11 und ein Computerprogramm gemäß Anspruch 12 gelöst. Dabei dient die Einblendung von Zusatzinformationen dem Zweck der Unterstützung des Fahrers bei der Längsführung des Fahrzeuges.
Die abhängigen Ansprüche beinhalten vorteilhafte Weiterbildungen und Verbesserungen der Erfindung entsprechend der nachfolgenden Beschreibung dieser Maßnahmen.
Die Lösung gemäß der Erfindung beruht darauf, dass mit eingeblendeten
Entfernungsmarken die Entfernung bis zum genannten Wegpunkt angezeigt wird. Der Wegpunkt kann dabei vom Navigationssystem vorgegeben sein. Die Lösung hat den Vorteil, dass so die Sprachansagen bzw. numerischen Entfernungsangaben besser für den Fahrer nachvollziehbar gemacht werden und besser der tatsächlichen Umwelt zugeordnet werden können, und zwar auch dort wo keine realen Entfernungsbaken am Straßenrand installiert worden sind.
Vom Navigationssystem wird ein Navigationspfad geliefert, der auch als AR-Einblendung über die reale Umwelt eingeblendet werden kann. Die Einblendung des Navigationspfades kann vorteilhafterweise in Rasterform geschehen. Das Raster besteht aus einzelnen
Rasterelementen, die vom dem Fahrer als durchgehender Navigationspfad interpretiert werden, ohne die reale Umwelt mehr als notwendig zu überdecken.
Wird z.B. wie in dem oben beschriebenen Beispiel von dem Navigationssystem empfohlen, die Autobahn in 500 m zu verlassen, können Einzelelemente innerhalb des
„Navigationsrasters“ in regelmäßigen Abständen (z.B. alle 100 m) grafisch hervorgehoben werden z.B. durch farbliche Kennzeichnung, oder durch andersartige Animationen, wie durch eine einmalige Veränderung der Form oder durch eine Veränderung der Lage, wie z.B. das Aufstellen eines zuvor auf dem Boden liegenden Elements. Es können auch klassische Entfernungsbaken eingeblendet werden, die aber gar nicht real existieren. Durch diese Herangehensweise können Distanzangaben durch bordeigene Systeme als„Meilensteine“ aufbereitet werden und so ein verbessertes räumliches Verständnis erzeugen.
Die Entfernungsmarken können in vorteilhafter Weise in äquidistanten Abständen, wie 10 m, 25 m, 50 m, 75 m, 80 m, 100 m, 160 m, 200 m, 240 m, oder 300 m vor dem Wegpunkt eingeblendet werden.
In einer anderen Variante werden die Entfernungsmarken jeweils aus mehreren
Rasterpunkten der Animationsgrafik zusammengesetzt. Dies hat den Vorteil, dass die Entfernungsmarken wie auf der Fahrbahn integriert erscheinen, der Fahrer seinen Blick nicht abwenden muss und dennoch eine genaue Entfernungsangabe bis zum angekündigten Wegpunkt bekommt.
Zum Beispiel können die Entfernungsmarken aus drei oder fünf Rasterpunkten
zusammengesetzt werden und einen Pfeil in Fahrtrichtung symbolisieren. Der Blick des Fahrers wird dadurch intuitiv in die Richtung zu dem angekündigten Wegpunkt gelenkt. An dem Wegpunkt selber kann ein anderes Symbol aus Rasterpunkten zusammengesetzt werden, wie ein Abbiegepfeil.
Vorteilhaft ist auch, wenn die Rasterpunkte durch Symbole dargestellt werden. Hier eignet sich z.B. die Form einer Raute, da sie in Fahrtrichtung ausgerichtet sein kann. Wenn die Rauten-Symbole nicht ausgefüllt dargestellt werden, fügen sie sich ablenkungssicher in die Umwelt ein, ohne wesentliche Teile der Umwelt zu verdecken.
In einer weiteren vorteilhaften Ausführungsform findet die Berechnung der
Entfernungsmarken abhängig vom Umfeld, der eigenen Geschwindigkeit des
Beobachterfahrzeuges und/oder einem Fahrszenario statt. So kann z.B. in einem urbanem Raum, mit niedrigen zulässigen Höchstgeschwindigkeiten, die Berechnung von
Entfernungsmarken in kleineren Zyklen (z.B. alle 10 m) erfolgen, während auf Autobahnen Entfernungsmarken, wie dort üblich, in 100 Meter-Abständen eingeblendet werden.
Fahrszenario und Geschwindigkeit werden als getrennte Determinanten betrachtet, denn z.B. könnten die Raster-Symbole auf der Autobahn im Stau eine andere Farbe haben als bei „flüssigem“ Autobahnverkehr. Das Fahrszenario umfasst wenigstens zum Teil die
Verkehrsbedingungen.
Um dieses Vorgehen technisch zu realisieren, bedarf es neben der exakten Lokalisation eines Fahrzeugs und der Erkennung der Umwelt auch eines computergestützten Vorgehens, welches die AR-Anzeigen so skaliert bzw. dimensioniert, dass sie für den jeweiligen Fahrer und dessen Wahrnehmungsapparat exakt den zu vermittelnden physischen Gegebenheiten entspricht. Auf der einen Seite müssen die entsprechenden Algorithmen also eine von dem Lokalisierungssystem ermittelte Position mit der Position eines durchzuführenden Manövers in Einklang bringen und auf Grundlage dieser Berechnung die AR-Darstellungen so anpassen, dass die Entfernungsmarken den realen Distanzen tatsächlich entsprechen.
Deshalb ist es für eine Vorrichtung zur Durchführung des Verfahrens vorteilhaft, dass sie den vom Navigationssystem vorgegebenen Wegpunkt in der von den Erfassungsmitteln aufgenommenen Umgebung verorten kann. Eine Variante besteht darin hochgenaue Karten zu verwenden und die Lokalisierung auf dieser Karte z.B. mittels GPS oder einem
verbesserten Lokalisierungssystemen zu ermitteln. Dafür wären dann keine weiteren
Sensoren am Fahrzeug erforderlich. In einer anderen Variante werden im Fahrzeug verbaute bildgebende Sensoren zusätzlich eingesetzt. Hierfür sind entsprechend angepasste
Bildauswerteverfahren einsetzbar, die die von einer oder mehreren Front-Kameras gelieferten Bilder auswerten. Besonders geeignet, für diese Anwendung ist eine
Stereokamera, die in der Lage ist, 3D-Bildfolgen zu liefern. Auch käme ein LIDAR oder RADAR-Sensor in Betracht. Die Bildauswerteverfahren können entweder darauf
programmiert werden anhand der Krümmung des Fahrbahnrandes einen Wegpunkt zu erkennen (Abbiegung oder Einbiegung einer Fahrbahn) oder durch Erkennung von ortsfesten Verkehrsschildern oder anderen Infrastrukturobjekten oder -punkten, wie Ampeln, Bahnübergänge, Zebrastreifen, usw. den Wegpunkt zu bestimmen. Ein andere Möglichkeit besteht darin, festinstallierte Funkbaken einzusetzen, die die genaue Entfernung zum Wegpunkt aussenden und die so gestaltet sind, dass sie durch Bildauswertung leicht zu erkennen sind. Die Vorrichtung wird dann das Signal der Funkbaken empfangen und auswerten, um die entsprechende Entfernungsbake lagerichtig bei der Höhe der Funkbake in der Navigationsroute einzublenden.
Auf der anderen Seite können zudem die Charakteristika des Fahrers, wie Sitzposition, Augenposition und Abstand der Augen und zudem die genauen HUD-Einstellungen („Look- down-Winkel“, etc.) berücksichtigt werden, um die Anzeige der„Entfernungsbaken“ zu optimieren. Dafür bedarf es eines HUD-Anzeigesystems, bei dem diese Parameter eingegeben oder erfasst werden.
Im Übrigen gelten für die Vorrichtung zur Durchführung des Verfahrens mit der entsprechend programmierten Recheneinheit die gleichen Vorteile, wie bei den Ansprüchen mit den entsprechenden Verfahrensschritten erwähnt.
Besonders vorteilhaft ist, wenn die Anzeigeeinheit der Vorrichtung als Head-Up Display ausgeführt ist. Statt eines Head-Up Displays kann in der Vorrichtung als Anzeigeeinheit eine Datenbrille oder ein Monitor eingesetzt werden, auf dem ein Kamerabild angezeigt wird, in das das Raster eingeblendet wird.
In vorteilhafter Weise kann die erfindungsgemäße Vorrichtung in einem Kraftfahrzeug eingesetzt werden. Im Fahrzeug wird die Erfindung vorzugsweise so realisiert, dass die Anzeigeeinheit im Fahrzeug fest installiert ist, z.B. in Form eines Head-Up Displays.
Trotzdem wäre eine mögliche Realisierungsform auch mit Hilfe einer Datenbrille möglich, wenn der Einsatz der Datenbrille beim Fahrer in Zukunft erlaubt wäre.
Wie erwähnt, kann die Erfindung in vorteilhafter Weise auch eingesetzt werden, wenn die Anzeigeeinheit einer Datenbrille entspricht. Dann lässt sich das erfindungsgemäße
Verfahren selbst bei Fußgängern, Radfahrern, Kradfahrern usw. einsetzen.
Für ein Computerprogramm, das in der Recheneinheit der Vorrichtung zur Abarbeitung kommt, um das erfindungsgemäße Verfahren durchzuführen, gelten die entsprechenden Vorteile wie zu dem erfindungsgemäßen Verfahren beschrieben. Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden nachfolgend anhand der Figuren näher erläutert.
Es zeigen:
Fig. 1 das Prinzip der Einblendung von Informationen in das Sichtfeld des Fahrers eines Fahrzeuges während der Fahrt mit Hilfe eines Head-Up Displays;
Fig. 2 das typische Cockpit eines Fahrzeuges;
Fig. 3 das Blockschaltbild des Infotainment-Systems des Fahrzeuges;
Fig. 4 eine Darstellung einer Rastereinblendung mit farblich hervorgehobenen
Entfernungsmarken für die bessere Orientierung des Fahrers an besonderen Wegpunkten bei der Navigation des Fahrzeuges;
Fig. 5 ein Beispiel einer Visualisierung einer Entfernungsmarke durch Zusammensetzung und Hervorhebung von Rastersymbolen; und
Fig. 6 ein Flussdiagramm für ein Programm zur Berechnung von AR-Einblendungen für die Anzeige der Navigationsroute mit eingeschachtelten Entfernungsmarken.
Die vorliegende Beschreibung veranschaulicht die Prinzipien der erfindungsgemäßen Offenbarung. Es versteht sich somit, dass Fachleute in der Lage sein werden, verschiedene Anordnungen zu konzipieren, die zwar hier nicht explizit beschrieben werden, die aber Prinzipien der erfindungsgemäßen Offenbarung verkörpern und in ihrem Umfang ebenfalls geschützt sein sollen.
Fig. 1 veranschaulicht die prinzipielle Funktionsweise eines Head-Up Displays. Das Head-Up Display 20 ist im Fahrzeug 10 unterhalb/hinter dem Kombiinstrument im
Armaturenbrettbereich angebracht. Durch Projektion auf die Windschutzscheibe werden Zusatzinformationen in das Sichtfeld des Fahrers eingeblendet. Diese Zusatzinformationen erscheinen so, als seien sie auf eine Projektionsfläche 21 im Abstand von 7 - 15 m vor dem Fahrzeug 10 projiziert. Durch diese Projektionsfläche 21 hindurch bleibt aber die reale Welt sichtbar. Mit den eingeblendeten Zusatzinformationen wird quasi eine virtuelle Umgebung erzeugt. Die virtuelle Umgebung wird theoretisch über die reale Welt gelegt und enthält die virtuellen Objekte, die den Fahrer bei der Fahrt unterstützen und informieren. Es wird aber nur auf einen Teil der Windschutzscheibe projiziert, so dass die Zusatzinformationen nicht beliebig im Sichtfeld des Fahrers angeordnet werden können.
Fig. 2 zeigt das Cockpit des Fahrzeuges 10. Dargestellt ist ein Personenkraftwagen Pkw. Als Fahrzeug 10 kämen allerdings beliebige andere Fahrzeuge ebenfalls in Betracht. Beispiele von weiteren Fahrzeugen sind: Busse, Nutzfahrzeuge, insbesondere Lastkraftwagen Lkw, Landmaschinen, Baumaschinen, Schienenfahrzeuge usw. Der Einsatz der Erfindung wäre allgemein bei Landfahrzeugen, Schienenfahrzeugen, Wasserfahrzeugen und Luftfahrzeugen möglich.
In dem Cockpit sind drei Anzeigeeinheiten eines Infotainment-Systems dargestellt. Es handelt sich um das Head-Up-Display 20 und einen berührungsempfindlichen Bildschirm 30, der in der Mittelkonsole angebracht ist. Bei der Fahrt liegt die Mittelkonsole nicht im Sichtfeld des Fahrers. Deshalb werden die Zusatzinformationen während der Fahrt nicht auf der Anzeigeeinheit 30 eingeblendet.
Der berührungsempfindliche Bildschirm 30 dient dabei insbesondere zur Bedienung von Funktionen des Fahrzeugs 10. Beispielsweise können darüber ein Radio, ein
Navigationssystem, eine Wiedergabe von gespeicherten Musikstücken und/oder eine Klimaanlage, andere elektronische Einrichtungen oder andere Komfortfunktionen oder Applikationen des Fahrzeugs 10 gesteuert werden. Zusammengefasst wird häufig von einem „Infotainment-System“ gesprochen. Ein Infotainment-System bezeichnet bei Kraftfahrzeugen, speziell Pkw, die Zusammenführung von Autoradio, Navigationssystem,
Freisprecheinrichtung, Fahrerassistenzsystemen und weiterer Funktionen in einer zentralen Bedieneinheit. Der Begriff Infotainment ist ein Kofferwort, zusammengesetzt aus den Worten Information und Entertainment (Unterhaltung). Zur Bedienung des Infotainment-Systems wird hauptsächlich der berührungsempfindliche Bildschirm 30 („Touchscreen“) benutzt, wobei dieser Bildschirm 30 insbesondere von einem Fahrer des Fahrzeugs 10, aber auch von einem Beifahrer des Fahrzeugs 10 gut eingesehen und bedient werden kann. Unterhalb des Bildschirms 30 können zudem mechanische Bedienelemente, beispielsweise Tasten, Drehregler oder Kombinationen hiervon, wie beispielsweise Drückdrehregler, in einer Eingabeeinheit 50 angeordnet sein. Typischerweise ist auch eine Lenkradbedienung von Teilen des Infotainmentsystems möglich. Diese Einheit ist nicht separat dargestellt, sondern wird als Teil der Eingabeeinheit 50 betrachtet.
Fig. 3 zeigt schematisch ein Blockschaltbild des Infotainment-Systems 200 sowie beispielhaft einige Teilsysteme oder Applikationen des Infotainment-Systems. Die Bedienungs- Vorrichtung umfasst die berührungsempfindliche Anzeigeeinheit 30, eine Recheneinrichtung 40, eine Eingabeeinheit 50 und einen Speicher 60. Die Anzeigeeinheit 30 umfasst sowohl eine Anzeigefläche zum Anzeigen veränderlicher grafischer Informationen als auch eine über der Anzeigefläche angeordnete Bedienoberfläche (berührungssensitive Schicht) zum
Eingeben von Befehlen durch einen Benutzer. Die Anzeigeeinheit 30 ist über eine Datenleitung 70 mit der Recheneinrichtung 40 verbunden. Die Datenleitung kann nach dem LVDS-Standard ausgelegt sein, entsprechend Low Voltage Differential Signalling. Über die Datenleitung 70 empfängt die Anzeigeeinheit 30 Steuerdaten zum Ansteuern der Anzeigefläche des Touchscreens 30 von der
Recheneinrichtung 40. Über die Datenleitung 70 werden auch Steuerdaten der
eingegebenen Befehle von dem Touchscreen 30 zu der Recheneinrichtung 40 übertragen. Mit der Bezugszahl 50 ist die Eingabeeinheit bezeichnet. Ihr zugehörig sind die schon erwähnten Bedienelemente wie Tasten, Drehregler, Schieberegler, oder Drehdrückregler, mit deren Hilfe die Bedienperson über die Menüführung Eingaben machen kann. Unter Eingabe wird allgemein das Anwählen einer ausgewählten Menüoption verstanden, wie auch das Ändern eines Parameters, das Ein- und Ausschalten einer Funktion usw.
Die Speichereinrichtung 60 ist über eine Datenleitung 80 mit der Recheneinrichtung 40 verbunden. In dem Speicher 60 ist ein Piktogrammverzeichnis und/oder Symbolverzeichnis hinterlegt mit den Piktogrammen und/oder Symbolen für die möglichen Einblendungen von Zusatzinformationen. Hier können auch die Punkte / Symbole abgelegt sein, die für die Berechnung der Raster-Einblendung als Grundlage dienen.
Die weiteren Teile des Infotainment-Systems Kamera 150, Radio 140, Navigationsgerät 130, Telefon 120 und Kombiinstrument 110 sind über den Datenbus 100 mit der Vorrichtung zur Bedienung des Infotainment-Systems verbunden. Als Datenbus 100 kommt die Highspeed- Variante des CAN-Bus nach ISO Standard 11898-2 in Betracht. Alternativ käme z.B. auch der Einsatz eines auf Ethernet-Technologie beruhenden Bussystems wie BroadR-Reach in Frage. Auch Bussysteme, bei denen die Datenübertragung über Lichtwellenleiter geschieht, sind einsetzbar. Als Beispiele werden genannt der MOST Bus (Media Oriented System Transport) oder der D2B Bus (Domestic Digital Bus). Hier wird noch erwähnt, dass die Kamera 150 als konventionelle Videokamera ausgelegt sein kann. In diesem Fall nimmt sie 25 Vollbilder/s auf, was bei dem Interlace-Aufnahmemodus 50 Halbbilder/s entspricht.
Alternativ kann eine Spezialkamera eingesetzt werden, die mehr Bilder/s aufnimmt, um die Genauigkeit der Objekterkennung bei sich schneller bewegenden Objekten zu erhöhen. Es können mehrere Kameras zur Umfeldbeobachtung eingesetzt werden. Daneben könnten auch die schon erwähnten RADAR- oder LIDAR-Systeme ergänzend oder alternativ eingesetzt werden, um die Umfeldbeobachtung durchzuführen oder zu erweitern. Für die drahtlose Kommunikation nach innen und außen ist das Fahrzeug 10 mit einem
Kommunikationsmodul 160 ausgestattet. Dieses Modul wird oft auch als On-Board Unit bezeichnet. Es kann für die Mobilfunk-Kommunikation, z.B. nach LTE Standard,
entsprechend Long Term Evolution, ausgelegt sein. Ebenfalls kann es für WLAN- Kommunikation, entsprechend Wireless LAN, ausgelegt sein, sei es für die Kommunikation zu Geräten der Insassen im Fahrzeug oder für die Fahrzeug-zu-Fahrzeug Kommunikation etc.
Das erfindungsgemäße Verfahren zur Berechnung einer Einblendung von
Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit 20 wird im Folgenden anhand eines Ausführungsbeispiels erläutert.
Für die weiteren Figuren gilt, dass gleiche Bezugszahlen die gleichen Felder und Symbole bezeichnen wie bei der Beschreibung der Figuren 1 bis 3 erläutert.
Grundlage der erfindungsgemäßen Anzeige der Längsführungsfunktion des Fahrzeuges 10 auf dem HUD 20 ist die Anzeige eines virtuellen Rasters, das in einem Abstand über der tatsächlichen Straße oder ohne Abstand zur Straße dargestellt wird. Dabei liegt die Straße als realer Fahrbahnverlauf im Sichtfeld des Fahrers. Die AR-Einblendung mittels des HUD 20 geschieht so, wie in Fig. 4 gezeigt. Das Raster 22 wird so projiziert, dass es auf der Straße liegt oder mit einem Abstand zur Straße„im Raum schwebt“. Das Raster setzt sich aus einer Vielzahl von Rautensymbolen 23 zusammen, die durchlässig dargestellt sind, von denen also nur der Rand erkennbar ist, um eine Verdeckung von großen Flächen zu vermeiden. Es ist dargestellt, dass entlang des Fahrbahnverlaufs ein Raster 22 eingeblendet wird. Dieses erstreckt sich entlang der vom Navigationssystem 130 vorausberechneten Navigationsroute. Wie dargestellt, führt die Navigationsroute auf eine Querstraße zu, wo sie nach links abbiegt. Die Entfernung bis zum Abbiegepunkt beträgt 50 m und ist im unteren Bildrand in Form der Entfernungsangabe 26 eingeblendet, neben dem Abbiegepfeil 25 nach links. Vom Navigationssystem 130 kam die akustische Durchsage, dass die Abbiegung in 50 m erfolgen soll. Da vor dem Abbiegepunkt noch ein weiterer Kreuzungspunkt liegt, ist es für den Fahrer schwer zu erkennen an welcher Stelle er abbiegen soll. Auch ist die
Abbiegestelle durch einen von Links kommenden Lkw schwer einsehbar. Zur Unterstützung des Fahrers werden Entfernungsmarken 24 im Abstand von 10 m entlang des durch das Raster 22 dargestellten Navigationspfades eingeblendet. Die Entfernungsmarken setzen sich aus jeweils fünf Rautensymbolen 23 des Rasters 22 zusammen und sind durch eine blaue Farbe hervorgehoben. Die anderen Rastersymbole 23 sind in weißer Farbe dargestellt. Der Fahrer erkennt die Entfernungsmarken 24 intuitiv. Die Rastersymbole 23 für die
Entfernungsmarken 24 werden so ausgewählt, dass sich die Form eines nach vorne gerichteten Pfeiles ergibt, also in Fahrtrichtung. Diese Form entsteht dadurch, dass die Entfernungsmarke 24 aus einem Raster- Mittensymbol und jeweils zwei linken und rechten Raster-Seitensymbolen zusammengesetzt wird. Dabei sind die Seitensymbole nach hinten versetzt, wodurch sich die Form eines nach vorne gerichteten Pfeils ergibt. Diese Zusammensetzung der Entfernungsmarke 24 aus Rastersymbolen 23 ist in der Fig. 5 nochmals näher gezeigt.
Anhand von Fig. 6 wird noch ein Computerprogramm für die Berechnung der AR- Einblendungen für die Entfernungsmarken 24 erläutert. Das Programm wird in der
Recheneinheit 40 abgearbeitet. Der Programmstart ist mit der Bezugszahl 405 bezeichnet. Im Programmschritt 410 erfolgt die Erfassung der Umgebung des Beobachter-Fahrzeuges 10. Dazu werden die von der Front-Kamera 150 gelieferten Bilder mit den zu diesem Zweck vorgesehenen Objekterkennungsalgorithmen ausgewertet.
Anschließend erfolgt im Programmschritt 415 die Übernahme des vom Navigationssystem 130 vorgegebenen Wegpunktes, der vom Navigationssystem 130 angesagten
Entfernungsangabe 26 und auch des Navigationspfades.
Im Programmschritt 420 erfolgt die Bildauswertung. Die Bildauswertung kann mit einem Algorithmus erfolgen, der darauf programmiert ist, anhand der Krümmung des
Fahrbahnrandes einen Wegpunkt zu erkennen (Abbiegung oder Einbiegung einer
Fahrbahn). Es gibt leistungsfähige Algorithmen zur Kantenerkennung oder Kantenextraktion, die auch den Fahrbahnrand erkennen können. Eine andere Variante besteht darin durch Erkennung von ortsfesten Verkehrsschildern oder anderen Infrastrukturobjekten oder - punkten, wie Ampeln, Bahnübergängen, Zebrastreifen, usw. den angesagten Wegpunkt zu erkennen. Ein weitere Möglichkeit besteht darin, festinstallierte Funkbaken einzusetzen, die die genaue Entfernung zum Wegpunkt aussenden und die so gestaltet sind, dass sie durch Bildauswertung leicht zu erkennen sind. Die Vorrichtung wird dann über die On-Board- Einheit 160 das Signal der Funkbake empfangen und auswerten, um die entsprechende Entfernungsmarke 24 lagerichtig bei der Höhe der Funkbake in der Navigationsroute einzublenden.
Nachdem der Wegpunkt erkannt worden ist, erfolgt im Programmschritt 425 die Berechnung des Rasters 22 für die Darstellung des Navigationspfades und die Berechnung der Lage der Entfernungsmarken im Raster 22. Wie in Fig. 4 dargestellt, wird in diesem Schritt festgelegt, welche Rastersymbole 23 in der Farbe Blau dargestellt werden müssen, um eine
Entfernungsmarke 24 zu bilden. Vorzugsweise wird das Raster 22 perspektivisch berechnet. Im Programmschritt 430 werden die AR-Daten für die Rasterdarstellung des Navigationspfades mit den eingeschachtelten Entfernungsmarken 24 berechnet. Die
Berechnung erfolgt unter Berücksichtigung der Momentangeschwindigkeit des
Beobachterfahrzeuges 10. Die Momentangeschwindigkeit des Beobachterfahrzeuges 10 wird durch bordeigene Sensorik erfasst oder ebenfalls im Schritt 415 vom Navigationssystem 130 übernommen.
Im Schritt 435 erfolgt die Übermittlung der für die AR-Einblendung des Navigationspfades berechneten AR-Daten an das HUD 20. Über die Schritte 420 bis 435 wird im Programm eine Schleife gebildet, die so oft durchlaufen wird, bis in Abfrage 440 erkannt wird, dass der angesagte Wegpunkt bereits erreicht oder überschritten wurde. Wenn das der Fall ist, wird das Programm im Programmschritt 445 beendet. Wenn der Fahrer eingreift und die
Komfortfunktion verlässt, kann das Programm zu jederzeit beendet werden.
Alle hierin erwähnten Beispiele wie auch bedingte Formulierungen sind ohne Einschränkung auf solche speziell angeführten Beispiele zu verstehen. So wird es zum Beispiel von
Fachleuten anerkannt, dass das hier dargestellte Blockdiagramm eine konzeptionelle Ansicht einer beispielhaften Schaltungsanordnung darstellt. In ähnlicher Weise ist zu erkennen, dass ein dargestelltes Flussdiagramm, Zustandsübergangsdiagramm, Pseudocode und dergleichen verschiedene Varianten zur Darstellung von Prozessen darstellen, die im
Wesentlichen in computerlesbaren Medien gespeichert und somit von einem Computer oder Prozessor ausgeführt werden können. Das in den Patentansprüchen genannte Objekt kann ausdrücklich auch eine Person sein.
Es sollte verstanden werden, dass das vorgeschlagene Verfahren und die zugehörigen Vorrichtungen in verschiedenen Formen von Hardware, Software, Firmware,
Spezialprozessoren oder einer Kombination davon implementiert werden können.
Spezialprozessoren können anwendungsspezifische integrierte Schaltungen (ASICs), Reduced Instruction Set Computer (RISC) und / oder Field Programmable Gate Arrays (FPGAs) umfassen. Vorzugsweise wird das vorgeschlagene Verfahren und die Vorrichtung als eine Kombination von Hardware und Software implementiert. Die Software wird vorzugsweise als ein Anwendungsprogramm auf einer Programmspeichervorrichtung installiert. Typischerweise handelt es sich um eine Maschine auf Basis einer
Computerplattform, die Hardware aufweist, wie beispielsweise eine oder mehrere
Zentraleinheiten (CPU), einen Direktzugriffsspeicher (RAM) und eine oder mehrere
Eingabe/Ausgabe (I/O) Schnittstelle(n). Auf der Computerplattform wird typischerweise außerdem ein Betriebssystem installiert. Die verschiedenen Prozesse und Funktionen, die hier beschrieben wurden, können Teil des Anwendungsprogramms sein oder ein Teil, der über das Betriebssystem ausgeführt wird.
Die Offenbarung ist nicht auf die hier beschriebenen Ausführungsbeispiele beschränkt. Es gibt Raum für verschiedene Anpassungen und Modifikationen, die der Fachmann aufgrund seines Fachwissens als auch zu der Offenbarung zugehörend in Betracht ziehen würde.
Die Erfindung wird in den Ausführungsbeispielen am Beispiel des Einsatzes in Fahrzeugen genauer erläutert. Hier wird auch auf die Einsatzmöglichkeit bei Flugzeugen und Helikoptern zum Beispiel bei Landemanövern oder Sucheinsätzen etc. hingewiesen.
Es wird aber darauf hingewiesen, dass der Einsatz nicht darauf beschränkt ist. Die Erfindung kann immer dann eingesetzt werden, wenn mit AR-Einblendungen das Sichtfeld eines Fahrers, einer Bedienperson oder auch einfach nur einer Person mit Datenbrille angereichert werden kann.
Auch bei ferngesteuerten Geräten wie Robotern, bei denen die Fernsteuerung über einen Monitor erfolgt, auf dem ein Kamerabild wiedergegeben wird, können AR Einblendungen die Bedienung erleichtern. Also besteht hier auch eine Einsatzmöglichkeit.
Bezugszeichenliste
10 Fahrzeug
20 Head-Up Display HUD
21 virtuelle Projektionsfläche
22 Raster
23 Rastersymbol
24 Entfernungsmarke
25 Abbiegepfeil
26 Entfernungsangabe
30 berührungsempfindliche Anzeigeeinheit
40 Recheneinheit
50 Eingabeeinheit
60 Speichereinheit
70 Datenleitung zur Anzeigeeinheit
80 Datenleitung zur Speichereinheit
90 Datenleitung zur Eingabeeinheit
100 Datenbus
110 Kombiinstrument
120 Telefon
130 Navigationsgerät
140 Radio
150 Kamera
160 Kommunikationsmodul
200 Infotainment-System
405- verschiedene
445 Programmschritte

Claims

Patentansprüche
1. Verfahren zur Berechnung einer AR-Einblendung, entsprechend„augmented reality“- Einblendung, von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit (20), insbesondere ein Head-Up Display (HUD) eines Beobachterfahrzeuges (10) oder eine Datenbrille, wobei die Einblendung von Zusatzinformationen dem Zweck der Unterstützung des Fahrers bei der Längsführung eines Beobachterfahrzeuges (10) dient, wobei die
Einblendung nach Art der erweiterten Realität entsprechend„augmented reality“
kontaktanalog zu einem oder mehreren Objekten in der Umwelt des Beobachterfahrzeuges (10) berechnet wird, dadurch gekennzeichnet, dass die Lage eines Wegpunktes entlang einer Navigationsroute erfasst wird, dass bei Annäherung an den Wegpunkt eine
Animationsgrafik berechnet wird, die entlang der Navigationsroute führt, und die
Animationsgrafik so berechnet wird, das ausgehend vom Beobachterfahrzeug (10) bis zu dem Wegpunkt Entfernungsmarken (24) entlang der Navigationsroute eingeblendet werden.
2. Verfahren nach Anspruch 1 , wobei die Animationsgrafik in Rasterform bestehend aus einer Vielzahl von Rasterpunkten (23) berechnet wird und die Entfernungsmarken (24) durch farbliche oder formenmäßige Hervorhebung von Rasterpunkten (23) in der Animationsgrafik dargestellt werden.
3. Verfahren nach Anspruch 2, wobei die Entfernungsmarken (24) in äquidistanten Abständen, wie 10 m, 25 m, 50 m, 75 m, 80 m, 100 m, 160 m, 200 m, 240 m, oder 300 m vor dem Wegpunkt eingeblendet werden.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Entfernungsmarken (24) in Abhängigkeit von der Momentangeschwindigkeit des Beobachterfahrzeuges (10) und / oder von dem Fahrszenario zu dem das Beobachterfahrzeug (10) unterwegs ist und / oder von dem Umfeld in dem das Fahrzeug sich bewegt in der Animationsgrafik positioniert werden.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Entfernungsmarken (24) jeweils aus mehreren Rasterpunkten (23) zusammengesetzt werden wird.
6. Verfahren nach Anspruch 5, wobei die Entfernungsmarken aus drei Rasterpunkten (23) zusammengesetzt werden und einen Pfeil in Fahrtrichtung symbolisieren.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Rasterpunkte (23) durch nicht ausgefüllte Rastersymbole dargestellt werden, die insbesondere die Form einer Raute aufweisen.
8. Vorrichtung zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche, aufweisend eine Anzeigeeinheit (20), mit der virtuelle Zusatzinformationen in das Sichtfeld des Fahrers oder der Bedienperson des Objektes eingeblendet werden können, und eine Recheneinheit (40), wobei die Recheneinheit (40) ausgelegt ist, die Entfernung des Beobachterfahrzeuges (10) relativ zu einem Wegpunkt zu berechnen, dadurch
gekennzeichnet, dass das Fahrzeug (10) Erfassungsmittel (1 10, 150) aufweist, die die Lage des vorausliegenden Wegpunktes entlang einer Navigationsroute erfassen, dass die
Recheneinheit (40) ausgelegt ist bei Annäherung an den Wegpunkt eine Animationsgrafik zu berechnen, die entlang der Navigationsroute wenigstens bis zu dem Wegpunkt führt, wobei die Animationsgrafik eine Rasterform bestehend aus einer Vielzahl von Rasterpunkten (22) aufweist und die Recheneinheit (40) die Animationsgrafik so berechnet, dass sie ausgehend vom Beobachterfahrzeug (10) bis zu dem Wegpunkt eine Anzahl von Entfernungsmarken (24) aufweist.
9. Vorrichtung nach Anspruch 8, wobei die Recheneinheit (40) weiterhin so ausgelegt ist die Berechnungen nach einem der Ansprüche 2 bis 7 durchzuführen.
10. Vorrichtung nach Anspruch 8 oder 9, wobei die Anzeigeeinheit (20) ein Head-Up Display (HUD) oder eine Datenbrille ist.
11. Kraftfahrzeug, dadurch gekennzeichnet, dass das Kraftfahrzeug (10) eine Vorrichtung nach einem der Ansprüche 8 bis 10 aufweist.
12. Computerprogramm, dadurch gekennzeichnet, dass das Computerprogramm ausgelegt ist, bei Abarbeitung in einer Recheneinheit (40) die Schritte des Verfahrens zur Berechnung einer AR-Einblendung von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit (20) nach einem der Ansprüche 1 bis 7 durchzuführen.
EP19707299.4A 2018-03-07 2019-02-14 Einblendung von zusatzinformationen auf einer anzeigeeinheit Ceased EP3762684A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018203462.1A DE102018203462A1 (de) 2018-03-07 2018-03-07 Verfahren zur Berechnung einer Einblendung von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
PCT/EP2019/053743 WO2019170387A1 (de) 2018-03-07 2019-02-14 Einblendung von zusatzinformationen auf einer anzeigeeinheit

Publications (1)

Publication Number Publication Date
EP3762684A1 true EP3762684A1 (de) 2021-01-13

Family

ID=65529657

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19707299.4A Ceased EP3762684A1 (de) 2018-03-07 2019-02-14 Einblendung von zusatzinformationen auf einer anzeigeeinheit

Country Status (5)

Country Link
US (1) US11486726B2 (de)
EP (1) EP3762684A1 (de)
CN (1) CN111788459A (de)
DE (1) DE102018203462A1 (de)
WO (1) WO2019170387A1 (de)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112020000391T5 (de) * 2019-01-10 2021-10-07 Jaguar Land Rover Limited Ein Steuerungssystem, System und Verfahren zur Unterstützung einesFahrzeuginsassen
DE102020200047A1 (de) * 2020-01-06 2021-07-08 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Darstellung von virtuellen Navigationselementen
DE102020201242A1 (de) 2020-01-31 2021-08-05 Volkswagen Aktiengesellschaft Verfahren zum Anzeigen einer Hinweisinformation als Hinweis für ein nachfolgendes Abbiegen eines Fahrzeugs an einer Abbiegestelle auf einer Anzeigeeinheit des Fahrzeugs kontaktanalog, sowie Anzeigevorrichtung und Fahrzeug
CN111896015A (zh) * 2020-07-22 2020-11-06 Oppo广东移动通信有限公司 导航方法、装置、存储介质及电子设备
US11562576B2 (en) * 2020-08-05 2023-01-24 GM Global Technology Operations LLC Dynamic adjustment of augmented reality image
GB2598556A (en) * 2020-08-26 2022-03-09 Badweather Systems Inc Device and associated method for triggering an event during capture of an image sequence
JP7415855B2 (ja) * 2020-08-31 2024-01-17 トヨタ自動車株式会社 車両用情報表示システム
DE102020211298A1 (de) * 2020-09-09 2022-03-10 Volkswagen Aktiengesellschaft Verfahren zur Darstellung eines virtuellen Elements
DE102020214843A1 (de) 2020-11-26 2022-06-02 Volkswagen Aktiengesellschaft Verfahren zur Darstellung eines virtuellen Elements
JP2023044096A (ja) 2021-09-17 2023-03-30 トヨタ自動車株式会社 車両用表示制御装置、車両用表示システム、車両、表示方法及びプログラム
US20230099770A1 (en) * 2021-09-29 2023-03-30 Ncr Corporation Indoor route mapping
WO2023063066A1 (ja) * 2021-10-12 2023-04-20 パナソニックIpマネジメント株式会社 支援情報提供方法及び記録媒体
CN114323017B (zh) * 2021-11-23 2023-09-19 杭州易现先进科技有限公司 Ar导航内容生成方法和系统
CN114993337B (zh) * 2022-08-08 2022-11-15 泽景(西安)汽车电子有限责任公司 导航动画的显示方法、装置、arhud及存储介质

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08190696A (ja) 1994-11-07 1996-07-23 Nippondenso Co Ltd 経路誘導データ表示装置
JP4619023B2 (ja) * 2004-03-18 2011-01-26 クラリオン株式会社 車載ナビゲーション装置、ナビゲーションシステム
JP2006036179A (ja) * 2004-06-21 2006-02-09 Nissan Motor Co Ltd 車両の視界調整方法及び装置
JP2007121001A (ja) * 2005-10-26 2007-05-17 Matsushita Electric Ind Co Ltd ナビゲーション装置
DE102006010481A1 (de) * 2006-03-07 2007-09-13 Robert Bosch Gmbh Verfahren und Anordnung zur Anzeige von Navigationshinweisen
DE102008042397A1 (de) 2008-09-26 2010-04-01 Robert Bosch Gmbh Navigationssystem mit kontaktanaloger Anzeige
WO2011036788A1 (ja) * 2009-09-28 2011-03-31 株式会社 東芝 表示装置及び表示方法
JP4868055B2 (ja) * 2009-11-04 2012-02-01 株式会社デンソー 表示装置
JP5275963B2 (ja) * 2009-12-08 2013-08-28 株式会社東芝 表示装置、表示方法及び移動体
JP5218607B2 (ja) 2011-06-17 2013-06-26 パナソニック株式会社 ナビゲーション装置
CN102393967B (zh) * 2011-06-27 2013-04-17 中国科学院软件研究所 基于虚拟驾驶的线形要素矢量化作业方法
DE102011112943B4 (de) 2011-09-13 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Bereitstellen eines Fahrerassistenzsystems mit automatischer Längsregelung für ein Fahrzeug und Fahrerassistenzsystem dazu
JP5197881B1 (ja) 2011-09-30 2013-05-15 パイオニア株式会社 ヘッドアップディスプレイ、制御方法、及び表示装置
DE102011121763B4 (de) 2011-12-21 2023-04-06 Volkswagen Aktiengesellschaft Verfahren zur Darstellung einer Abstandsinformation auf einer Anzeigevorrichtung eines Fahrzeugs und Anzeigevorrichtung
DE102012215038A1 (de) * 2012-08-23 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Kontaktanaloge Anzeige der Entfernung bis zum auszuführenden Fahrmanöver
TWM454356U (zh) 2013-01-21 2013-06-01 Darfon Electronics Corp 具有投影裝置的顯示裝置、照明裝置與交通工具
US20160054563A9 (en) * 2013-03-14 2016-02-25 Honda Motor Co., Ltd. 3-dimensional (3-d) navigation
US9041741B2 (en) 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
DE102013010818A1 (de) * 2013-06-28 2013-12-12 Daimler Ag Verfahren und Fahrerassistenzsystem zur Einblendung von Texturen in eine Abbildung eines sich vor einem Fahrzeug befindlichen Straßenverlaufs und/oder in ein Sichtfeld eines Fahrers eines Fahrzeugs
DE102014200407A1 (de) 2014-01-13 2015-07-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Sichtfeldanzeigegeräts
DE102014008152A1 (de) 2014-05-30 2014-10-23 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung mindstens einer Zusatzinformation in mindestens einem Bild einer Umgebung
DE102014009608A1 (de) * 2014-06-27 2015-12-31 Audi Ag Betrieb einer AR-Brille im Kraftfahrzeug
US20160109701A1 (en) 2014-10-15 2016-04-21 GM Global Technology Operations LLC Systems and methods for adjusting features within a head-up display
US9625270B2 (en) * 2014-12-01 2017-04-18 Thinkware Corporation Electronic apparatus, control method thereof, computer program, and computer-readable recording medium
JP6540817B2 (ja) 2015-10-09 2019-07-10 日産自動車株式会社 車両用表示装置及び車両用表示方法
KR20170060652A (ko) 2015-11-24 2017-06-02 현대오트론 주식회사 헤드업 디스플레이의 좌표 매칭 장치 및 그 방법
US9581457B1 (en) * 2015-12-03 2017-02-28 At&T Intellectual Property I, L.P. System and method for displaying points of interest on a heads-up display
EP3246664A3 (de) * 2016-05-19 2018-02-14 Ricoh Company, Ltd. Informationsverarbeitungssystem und informationsanzeigeverfahren
JP6870447B2 (ja) * 2016-05-20 2021-05-12 株式会社リコー Hud装置、車両装置、情報表示方法。
JP6834537B2 (ja) * 2017-01-30 2021-02-24 株式会社リコー 表示装置、移動体装置、表示装置の製造方法及び表示方法。
US11254327B2 (en) * 2016-08-16 2022-02-22 Ford Global Technologies, Llc Methods and apparatus to present anticipated vehicle maneuvers to a passenger
DE102017221191B4 (de) * 2017-11-27 2019-06-13 Volkswagen Aktiengesellschaft Verfahren zur Anzeige des Verlaufs einer Sicherheitszone vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
DE102017221488A1 (de) * 2017-11-30 2019-06-06 Volkswagen Aktiengesellschaft Verfahren zur Anzeige des Verlaufs einer Trajektorie vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
JP6954850B2 (ja) * 2018-02-09 2021-10-27 トヨタ自動車株式会社 表示装置
DE102018204254B4 (de) * 2018-03-20 2020-12-03 Volkswagen Aktiengesellschaft Verfahren zur Berechnung einer Einblendung von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm

Also Published As

Publication number Publication date
DE102018203462A1 (de) 2019-09-12
WO2019170387A1 (de) 2019-09-12
US11486726B2 (en) 2022-11-01
CN111788459A (zh) 2020-10-16
US20200393263A1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
EP3762684A1 (de) Einblendung von zusatzinformationen auf einer anzeigeeinheit
EP3543059B1 (de) Verfahren zur berechnung einer einblendung von zusatzinformationen für eine anzeige auf einer anzeigeeinheit, vorrichtung zur durchführung des verfahrens sowie kraftfahrzeug und computerprogramm
DE102017221191B4 (de) Verfahren zur Anzeige des Verlaufs einer Sicherheitszone vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
EP2655119B1 (de) Anzeigevorrichtung für ein kraftfahrzeug
DE102013200862B4 (de) Optimaler Blickort an Anzeige für gesamte Frontscheibe
EP3765324B1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-display-vorrichtung für ein kraftfahrzeug
DE102017212367B4 (de) Vorrichtung zur Anzeige des Verlaufs einer Trajektorie vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit sowie Kraftfahrzeug
WO2019228779A1 (de) Verfahren zur berechnung einer "augmented reality"-einblendung für die darstellung einer navigationsroute auf einer ar-anzeigeeinheit, vorrichtung zur durchführung des verfahrens sowie kraftfahrzeug und computerprogramm
DE102016106832A1 (de) Fahrzeugsteuerungsvorrichtung
EP3425442B1 (de) Verfahren und vorrichtung zum anreichern eines sichtfeldes eines fahrers eines fahrzeuges mit zusatzinformationen, vorrichtung zur verwendung in einem beobachter-fahrzeug sowie kraftfahrzeug
EP3717954B1 (de) Verfahren zur anzeige des verlaufs einer trajektorie vor einem fahrzeug oder einem objekt mit einer anzeigeeinheit, vorrichtung zur durchführung des verfahrens
EP3570225A1 (de) Verfahren zur berechnung einer "augmented reality"-einblendung für die darstellung einer navigationsroute auf einer ar-anzeigeeinheit, vorrichtung zur durchführung des verfahrens sowie kraftfahrzeug und computerprogramm
DE102018203121B4 (de) Verfahren zur Berechnung einer AR-Einblendung von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
DE102017221871A1 (de) Verfahren zur Berechnung der Bewegungsdaten des Kopfes eines Fahrers eines Fahrzeuges, Datenbrille sowie Fahrzeug zur Verwendung bei dem Verfahren und Computerprogramm
EP2608185A1 (de) Verfahren und Vorrichtung zum Bereitstellen einer Einparkhilfe in einem Fahrzeug
DE102008028374A1 (de) Verfahren zur kombinierten Ausgabe eines Bildes und einer Lokalinformation, sowie Kraftfahrzeug hierfür
DE102010003851A1 (de) Verfahren und Informationssystem zum Markieren eines Zielorts für ein Fahrzeug
DE102013224307A1 (de) Verfahren und Anordnung zur Anzeige von Navigationsanweisungen
WO2019057452A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-head-up-display-vorrichtung für ein kraftfahrzeug
DE102012220100A1 (de) Verfahren und Informationsgerät zum Darstellen von einer Fahrerinformation auf einer Blickfeldanzeige für ein Fahrzeug
EP2756490B1 (de) Verfahren und vorrichtung zur darstellung einer verkehrszeicheninformation
DE102017122543A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Überholen eines Objektes sowie Fahrerassistenzsystem
DE112022000986T5 (de) Anzeigesteuervorrichtung und anzeigesteuerprogramm
DE102021121666A1 (de) Anzeigesteuervorrichtung, anzeigesteuerverfahren und anzeigesteuerprogramm
DE102017215024A1 (de) Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zum Bereitstellen von Informationen für eine Head-Up-Display-Vorrichtung für ein Kraftfahrzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20201007

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20211202

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20230319