EP2872943B1 - Vorrichtung zum betreiben mehrerer optischer anzeigevorrichtungen eines fahrzeugs - Google Patents

Vorrichtung zum betreiben mehrerer optischer anzeigevorrichtungen eines fahrzeugs Download PDF

Info

Publication number
EP2872943B1
EP2872943B1 EP12790800.2A EP12790800A EP2872943B1 EP 2872943 B1 EP2872943 B1 EP 2872943B1 EP 12790800 A EP12790800 A EP 12790800A EP 2872943 B1 EP2872943 B1 EP 2872943B1
Authority
EP
European Patent Office
Prior art keywords
vehicle
display
optical display
predefined
depending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP12790800.2A
Other languages
English (en)
French (fr)
Other versions
EP2872943A1 (de
Inventor
Axel Schwab
Wolfgang Rieger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of EP2872943A1 publication Critical patent/EP2872943A1/de
Application granted granted Critical
Publication of EP2872943B1 publication Critical patent/EP2872943B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Definitions

  • the invention relates to a device for operating one or more optical display devices of a vehicle and a display system for the vehicle.
  • the WO 2008/078187 A2 deals with a method for improving the detection of objects, in particular pedestrians, at night and a corresponding night vision device for a vehicle.
  • the night vision device comprises an infrared headlight, an infrared camera and a processing unit.
  • the processing unit is set up to perform a person recognition on the basis of the first images supplied by the infrared camera, and secondly to mark the location at which a person was recognized in a second frame supplied by the infrared camera with a frame.
  • DE 10 2010 003850 A1 discloses a method for tracking a position of an object mark for marking an object on a display device proposed, wherein the position of the object mark is determined based on an environment information that represents a provided by an environment detection means information on a located in the field of view ofgina terminates Rhein object, the one A step of determining tracking information for tracking the position of the object mark on the display device based on movement of the vehicle, the movement causing a positional change of the object with respect to the surroundings detection device.
  • the object on which the invention is based is to provide an apparatus for operating at least one optical display device and a display system for a vehicle, which enable efficient and reliable optical signaling of information in the vehicle.
  • the invention is characterized according to a first aspect by an apparatus for operating a plurality of optical display devices of a vehicle.
  • the device is designed to determine a three-dimensional model for a given environment of the vehicle depending on provided data sets and dependent on a predetermined latency, wherein the data sets represent predetermined vehicle information and / or driving information that is suitable signaled graphically and / or pictorially to a vehicle user to become.
  • the device is designed to determine pixel values for at least a part of pixels of a digital image and / or a graphical element depending on the three-dimensional model and to determine a signaling signal for signaling the pixel values of the pixels by means of the respective optical display device, wherein the predetermined latency represents a provisioning time or a part of the provisioning period, which includes a time duration, from a beginning of detecting the vehicle information and / or driving information to the signaling of the signaling signal by means of the respective optical display device.
  • the device is also designed to determine the three-dimensional model and / or the pixel values and / or the signaling signal as a function of a respective design of the optical display device.
  • the device is designed to select the plurality of display devices depending on a current display situation of a first optical display device, to determine the three-dimensional model and / or the pixel values and / or the signaling signal for the first optical display device or for a second optical display device of the plurality of display devices, and the three-dimensional model and / or the picture point values and / or to determine the signaling signal accordingly.
  • the respective driving information and / or vehicle information is assigned a predetermined priority and the device is designed to prioritize signaling of the respective driving information and / or vehicle information depending on the priority between the first optical display device and the second optical display device and the three-dimensional model and / or to determine the pixel values and / or the signaling signal correspondingly for the first optical display device or for the second optical display device.
  • this makes it possible to generate contact-analogue displays, in particular in a head-up display, with high reliability and in real time.
  • the determination of the three-dimensional model and / or the pixel values and / or the signaling signal as a function of a respective design of the optical display device advantageously makes it possible to display complex three-dimensional representations reliably and with high quality by means of the respective optical display device.
  • the information may be suitably signaled by the second optical display device. Such a case may occur, for example, when a contact analog representation of certain information in the head-up display is not allowed due to one of the large number of display elements in a display field of the head-up display. In this case, the information may be signaled by the second optical display device.
  • the delay times may in this case represent a time duration until the determined image data reach the display sinks.
  • the provisioning latencies may each represent a period of time that is required to provide each other
  • Data from different units that are used for the respective image generation may be required for suitable image generation.
  • the central image generation allows elaborate three-dimensional representations can be displayed conclusively and high-quality in the one or more optical display devices, in particular in the head-up display and / or in a combination instrument.
  • the device is signal-technically coupled to a predetermined vehicle communication network and configured to receive the records via the vehicle communication network. This has the advantage that the device can be designed as an independent unit, which can be used in particular for operating a head-up display.
  • the data records have a predefined metadata structure that is suitable for characterizing the vehicle information and / or driving information textually.
  • information in particular the driving information and / or vehicle information for which a signaling signal is usually generated and provided, which graphically and / or graphically characterizes the information, can be converted into the data records with the metadata structure.
  • the data sets can be efficiently transferred and then used in the device for image generation.
  • a transmission bandwidth can be reduced in comparison with transmission of the driving information and / or vehicle information in the form of drawing commands. This can make a contribution to the fact that despite a limited transmission bandwidth, a display of the driving information and / or vehicle information can be made of high quality.
  • the metadata structure of the data records enables the three-dimensional model to be determined more simply and / or more reliably and / or more precisely.
  • the metadata structure of the data records can contribute to a more precise description of logical links.
  • the priority of the respective driving information and / or vehicle information is determined as a function of a currently determined traffic situation and / or driving situation of the vehicle.
  • this makes it possible to dynamically adapt the display prioritization to the current traffic situation and / or driving situation.
  • the optical display device comprises a head-up display with a predetermined display field.
  • the device is designed to determine the pixel values of the graphical element as a function of the three-dimensional model and to display on the given display field of the head-up display that the graphical element is viewed from a viewer of the display field from a predetermined viewing position out with a direct reference to the real environment of the vehicle is perceived.
  • An embedding and / or superimposition of the graphic element as virtual information in a real environment perceived by a vehicle user enables a predictive nature of the information, in particular the driving information and / or vehicle information, to be perceived by the vehicle user in a simple, reliable and easily understandable manner.
  • the device is designed to determine the pixel values for the at least one part of pixels of the digital image as a function of further pixel values of a predetermined environment image. This advantageously makes it possible, for example for a display on an LC display, to display the digital image superimposed on the surrounding image.
  • the invention is characterized according to a second aspect by a display system for a vehicle.
  • the display system includes a first control unit configured to provide predetermined data sets.
  • the display system comprises a device for operating one or more display devices according to the first aspect and a vehicle communication network, which signal-links the first control unit and the device for sending the data records from the first control unit to the device.
  • the display system has one or more optical display devices which are each signal-wise coupled to the device and which are each designed to receive and signal a signal signal respectively determined by the device.
  • the image generation can advantageously take place in a single processing unit in the vehicle, preferably in the device. It is not necessary that images are generated at different locations, that is to say in different processing units of the vehicle, for example in a head unit and in a combination instrument, which are then subsequently combined in one of the two processing units. It is sufficient for the data required for image synthesis, also called rendering, to be made available only to the one processing unit, preferably the device. Image generation by the device simplifies consistent image generation. Especially with a complex three-dimensional representation, it is possible to determine conclusive and high-quality display contents. In a display with high real-time requirements, in particular for a contact-analog representation with the head-up display, the power requirements of the device that performs the image synthesis are very high.
  • the image generation in the device for the contact-analogous head-up display relieves further computing units, for example the processor in the navigation unit, and enables a situation-dependent display prioritization of all contents in the head-up display in real time.
  • a contact analog display, especially in a head-up display can be generated with high reliability and in real time. Due to the fact that the image generation, in particular the image synthesis, can be carried out centrally in the device, delay times and delivery latency times can be easily taken into account.
  • the driving information and / or vehicle information may be provided by further units of the vehicle, for example by the driver assistance system and / or the navigation device, and / or devices external to the vehicle and transmitted to the first control unit.
  • the first control unit may be configured to determine the data sets depending on the predetermined driving information and / or vehicle information, wherein the data sets may have a predefined metadata structure that is suitable for text characterizing the driving information and / or vehicle information.
  • the one or the plurality of optical display devices is signal-wise coupled to the device via a predetermined multimedia interface. This enables an efficient and reliable transmission of the detected signaling signal.
  • FIG. 1 shows an embodiment of a display system 1 of a vehicle.
  • the display system 1 comprises a first control unit 3 and a device 5 for operating at least one optical display device.
  • the at least one optical display device is preferably arranged in the vehicle.
  • the display system 1 has by way of example a first display device 6 and a second display device 7.
  • the first display device 6 includes, for example, a screen.
  • the screen may be formed, for example, as a liquid crystal display, also called LC display.
  • the first display device may in particular be arranged in a combination instrument panel of the vehicle.
  • the second display device 7 includes, for example, a head-up display 10.
  • An embodiment of the head-up display 10 is shown in detail in FIG FIG. 2 shown.
  • first control unit 3 includes, for example, a central processing unit of the vehicle, also called head unit.
  • the first control unit 3 is signal-technically coupled to the device 5 for operating the at least one optical display device via a predetermined vehicle communication network 4, for example.
  • the vehicle communication network 4 may include, for example, a vehicle bus. Alternatively, it is also possible that the vehicle communication network 4 comprises a single line connection. Alternatively or additionally, it is possible that the vehicle communication network 4 is a wireless communication link includes.
  • the first control unit 3 is designed, for example, to send predetermined data sets via the vehicle communication network 4 to the device 5 and thus to provide it to the device 5.
  • the data sets represent driving information and / or vehicle information that is suitable for being graphically and / or graphically signaled to a vehicle user.
  • the vehicle information and / or driving information can be determined and / or provided, for example, by a driver assistance system and / or by a navigation device and / or by a vehicle-external device 2b.
  • the first control unit 3 can be signal-technically coupled with one or more further vehicle devices 2a and / or with one or more vehicle-external devices 2b.
  • the first control unit 3 can be signal-coupled with the one or more vehicle devices 2a via the vehicle communication network 4.
  • the vehicle communication network 4 can network a variety of devices in the vehicle communication technology.
  • the vehicle communication network 4 can be divided into subsystems, which are coupled, for example via gateways.
  • the driving information may include, for example, a driving instruction and / or a current traffic situation and / or a current driving situation and / or a current environment situation, for example a current outside temperature, and so on.
  • the vehicle information may represent, for example, a current vehicle operating state, for example a speed of the vehicle.
  • the first control unit 3 is designed, for example, to provide the data records with a predefined metadata structure which is suitable for text characterizing the vehicle information and / or driving information.
  • the vehicle information and / or driving information is thus not provided in the form of drawing commands or as picture-in-picture content, but in the form of metadata. For example, therefore, not a drawing command or a video image is transmitted for a turn-off arrow, but only the property information of a driving instruction. This can be done, for example, in the following textual predefined metadata structure: ⁇ Action>; ⁇ Directionelement>; ⁇ Distance>
  • the device 5 is signal-coupled via the vehicle communication network 4 to the first control unit 3 and designed to receive the data sets transmitted by the first control unit 3. Furthermore, the device 5 is signal-coupled with the first 6 and the second display device 7.
  • the device 5 is designed to determine a three-dimensional model for a given environment of the vehicle, depending on the data records provided and, depending on a predetermined latency. Furthermore, the device 5 is designed to determine pixel values for at least part of pixels of a digital image and / or a graphic element 8 depending on the three-dimensional one Model and a signaling signal for signaling the pixel values of the pixels by means of the respective optical display device, wherein the predetermined latency represents at least part of a deployment period comprising a time duration, from a start of detecting the vehicle information and / or driving information to the signaling of Signaling signal by means of the respective optical display device.
  • the default latency may include delay times and provisioning latencies.
  • the delay times can each represent a period of time until the determined image data reach the display sinks.
  • the provisioning latencies may each represent a period of time each required for providing various data from different units used for the respective image generation.
  • the device 5 is also designed, for example, to determine the three-dimensional model for the given environment of the vehicle, depending on predetermined route data and / or given environment data.
  • the route data and / or environment data can be detected, for example, by the first control unit 3 and / or one or more further vehicle devices 2a.
  • the first control unit 3 and / or the further vehicle devices 2a are, for example, in each case signal-coupled with one or more sensor units.
  • the respective sensor units are designed to determine environmental data of the vehicle.
  • the respective sensor unit may comprise an optical detection device, for example a video camera, and / or a radar sensor and / or an ultrasonic sensor and / or a Lidar sensor.
  • the route data may for example be provided by the navigation device.
  • the predetermined route data and / or predetermined environment data are also provided by the first control unit 3 for the device 5, for example.
  • the route data and / or environment data can also be provided as metadata having the predetermined metadata structure that enables a textual characterization of the route data and / or environment data.
  • the first control unit 3 may be designed, for example, to determine the data sets representing route data and / or surroundings data as a function of the acquired route data or environment data.
  • the device 5 can furthermore be designed to determine environment model data representing a given environment of the vehicle, depending on the detected environment data.
  • the device 5 is designed, for example, depending on the environment model data, to determine a three-dimensional scene that represents a virtual spatial model.
  • the virtual spatial model defines objects and their material properties, light sources, as well as the position and viewing direction of a viewer.
  • the device 5 further comprises, for example, an image synthesis unit, also called a rendering unit, which is designed to detect visible objects from a virtual viewer, to determine an appearance of surfaces influenced by their material properties, and to calculate a light distribution within the scene.
  • an image synthesis unit also called a rendering unit, which is designed to detect visible objects from a virtual viewer, to determine an appearance of surfaces influenced by their material properties, and to calculate a light distribution within the scene.
  • the signaling signal determined by the device 5 is sent, for example, to the first 6 and / or the second display device 7.
  • the device 5 is for this purpose for example via a predetermined multimedia interface 9 coupled to the first 6 and / or the second display device 7.
  • the multimedia interface 9 may for example comprise a high-definition multimedia interface.
  • the device 5 is designed, for example, to determine the three-dimensional model and / or the pixel values and / or the signaling signal depending on a respective design of the optical display device, so that a complex three-dimensional representation by means of the respective optical display device is possible reliably and with high quality ,
  • the device 5 is designed, for example, for signaling a desired driving information and / or vehicle information by means of the head-up display 10, to determine the pixel values of the graphic element 8 as a function of the three-dimensional model and to display them on a predetermined display field 11 of the head-up display.
  • Displays 10 show that the graphical element 8 is perceived by a viewer of the display panel 11 from a predetermined viewing position with a direct reference to the real environment of the vehicle.
  • the device 5 may, for example, also be configured to determine the pixel values for the at least one part of pixels of the digital image for signaling the desired driving information and / or vehicle information by means of the LC display of the combination instrument depending on further pixel values of a given one Environment image so that the digital image superimposed on the environment image can be displayed on the LC display of the instrument cluster.
  • the environment image can be detected, for example, by means of an optical detection device, for example with a video camera.
  • the device 5 may be designed, depending on a current display situation of one of the optical display devices, for example depending on a display density in the display field 11 of the head-up display 10, the three-dimensional model and / or the pixel values and / or the signaling signal ascertain for the second display device 7, that is to say for example for the head-up display or for the first display device 6, for example for the LC display of the instrument cluster.
  • the respective driving information and / or vehicle information can be assigned a predefined priority and for the device 5 to be designed to determine the three-dimensional model and / or the pixel values and / or the signaling signal for the one visual display device, depending on the priority.
  • the second display device 7 or for the further optical display device for example for the first display device 6.
  • This can be used advantageously, for example, for a prioritization of the respective driving information and / or vehicle information within the head-up display 10 and for a Display prioritization between the head-up display 10 and the LC display of the instrument panel.
  • the priority of the respective driving information and / or vehicle information can be determined, for example, depending on a currently determined traffic situation and / or driving situation of the vehicle.
  • FIG. 2 shows an embodiment of a head-up display 10th
  • the head-up display 10 comprises an image generator 12 for generating a virtual image 30.
  • the image generator 12 comprises a display 15 for generating a real image 30 'and an optical system for generating the virtual image 30.
  • the optical system comprises an imaging first 20 and second mirror 25. A generated by the display 15 real image 30 'is first directed to the first mirror 20 and projected from the first mirror 20 to the second mirror 25.
  • the second mirror 25 may be formed as a windshield 32 of a vehicle 1.
  • the virtual image 30 appears at a distance in front of the windshield 32, for example at the end of the engine hood.
  • the virtual image 30 can generally only be seen from a defined area, the so-called eyebox 40.
  • the eyebox 40 is usually designed so that the entire virtual image 30 can be seen from the entire desired eyebox area.
  • the image generating device 12 may be designed such that image contents are displayed in the virtual image 30, which are displayed only situationally and briefly.
  • the head-up display 10 may be formed in particular as a contact-analogous head-up display 10. In head-up displays 10 is between contact-analog and non-contact analog Representation distinguished.
  • Contact-analogue forms of representation enrich the environment perceived by the driver by superimposing an artificially created scene.
  • Noncontact analogue forms of representation on the other hand represent information without direct reference to the environment.
  • FIG. 3 exemplifies the predetermined display panel 11 on a windshield 32 of the vehicle.
  • the graphic element 8 is displayed on the display panel 11, the graphic element 8 is displayed.
  • the graphic element 8 is displayed in such a way that the viewer perceives the real lane in front of the vehicle in color, the graphical element 8 is thus perceived by a viewer of the display field 11 with a direct relation to the real environment 34 of the vehicle. Since the image generation, in particular the image synthesis, are carried out centrally in the device 5, delay times and delivery latencies can be easily taken into account and the image generation is possible in real time, so that the contact analog representation can be made with high reliability and high quality.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Traffic Control Systems (AREA)

Description

  • Die Erfindung betrifft eine Vorrichtung zum Betreiben einer oder mehrerer optischer Anzeigevorrichtungen eines Fahrzeugs sowie ein Anzeigesystem für das Fahrzeug.
  • Heutige Kraftfahrzeuge weisen verschiedene Steuergeräte auf, die ausgebildet sind, verschiedene Fahrzeugfunktionen auszuführen. Funktionen zur Fahrerinformation werden beispielsweise von einem Kombi-Instrument ausgeführt. Funktionen zur Navigation werden von einem anderen Steuergerät ausgeführt, beispielsweise in einer Head-Unit. Anzeigen zur Navigation und zu den Fahrerinformationen erfolgen überwiegend mittels unterschiedlicher optischer Anzeigeeinrichtungen, die den Steuergeräten direkt zugeordnet sind. Beispielsweise werden die Fahrerinformationen mittels einer Kombi-Instrumententafel und die Navigationsinformationen mittels einem zentralen Fahrzeugdisplay angezeigt.
  • Die WO 2008/078187 A2 befasst sich mit einem Verfahren zur Verbesserung der Erkennung von Objekten, insbesondere Fußgängern, in der Nacht und einem entsprechenden Nachtsichtgerät für ein Fahrzeug. Das Nachtsichtgerät umfasst dabei einen Infrarotscheinwerfer, eine Infrarotkamera und eine Verarbeitungseinheit. Die Verarbeitungseinheit ist einerseits dazu eingerichtet anhand erster von der Infrarotkamera gelieferter Bilder eine Personenerkennung durchzuführen und zweitens die Stelle, an welcher eine Person erkannt wurde, in zweiten, von der Infrarotkamera gelieferten Bildern mit einem Rahmen zu markieren.
  • DE 10 2010 003850 A1 offenbart ein Verfahren zur Nachführung einer Position einer Objektmarkierung zum Markieren eines Objekts auf einer Anzeigeeinrichtung vorgeschlagen, wobei die Position der Objektmarkierung basierend auf einer Umfeldinformation ermittelt wird, die eine von einer Umfelderfassungseinrichtung bereitgestellte Information über ein sich im Sichtbereich der Umfelderfassungseinrichtung befindliches Objekt repräsentiert, das einen Schritt des Bestimmens einer Nachführinformation zum Nachführen der Position der Objektmarkierung auf der Anzeigeeinrichtung basierend auf einer Bewegung des Fahrzeugs umfasst, wobei die Bewegung eine Lageveränderung des Objekts in Bezug auf die Umfelderfassungseinrichtung bewirkt.
  • Die Aufgabe, die der Erfindung zu Grunde liegt, ist es, eine Vorrichtung zum Betreiben zumindest einer optischen Anzeigevorrichtung sowie ein Anzeigesystem für ein Fahrzeug zu schaffen, die eine effiziente und zuverlässige optische Signalisierung von Informationen im Fahrzeug ermöglichen.
  • Die Aufgabe wird gelöst durch die Merkmale des unabhängigen Patentanspruchs. Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen gekennzeichnet.
  • Die Erfindung zeichnet sich gemäß einem ersten Aspekt aus durch eine Vorrichtung zum Betreiben mehrerer optischer Anzeigevorrichtungen eines Fahrzeugs. Die Vorrichtung ist ausgebildet, abhängig von bereitgestellten Datensätzen und abhängig von einer vorgegebenen Latenzzeit ein dreidimensionales Modell für eine vorgegebene Umgebung des Fahrzeugs zu ermitteln, wobei die Datensätze vorgegebene Fahrzeuginformationen und/oder Fahrinformationen repräsentieren, die geeignet sind, einem Fahrzeugnutzer grafisch und/oder bildhaft signalisiert zu werden. Ferner ist die Vorrichtung ausgebildet, Bildpunktwerte für zumindest einen Teil von Bildpunkten eines digitalen Bildes und/oder eines grafischen Elements zu ermitteln abhängig von dem dreidimensionalen Modell und ein Signalisierungssignal zu ermitteln zum Signalisieren der Bildpunktwerte der Bildpunkte mittels der jeweiligen optischen Anzeigevorrichtung, wobei die vorgegebene Latenzzeit eine Bereitstellungszeit oder einen Teil der Bereitstellungszeitdauer repräsentiert, die eine zeitliche Dauer umfasst, von einem Beginn eines Erfassens der Fahrzeuginformationen und/oder Fahrinformationen bis zur Signalisierung des Signalisierungssignals mittels der jeweiligen optischen Anzeigevorrichtung. Die Vorrichtung ist ferner ausgebildet, das dreidimensionale Modell und/oder die Bildpunktwerte und/oder das Signalisierungssignal abhängig von einer jeweiligen Ausbildung der optischen Anzeigevorrichtung zu ermitteln. Des Weiteren ist die Vorrichtung ausgebildet abhängig von einer aktuellen Anzeigesituation einer ersten optischen Anzeigevorrichtung der mehreren Anzeigevorrichtungen auszuwählen, das dreidimensionale Modell und/oder die Bildpunktwerte und/oder das Signalisierungssignal zu ermitteln für die erste optische Anzeigevorrichtung oder für eine zweite optische Anzeigevorrichtung der mehreren Anzeigevorrichtungen, und das dreidimensionale Modell und/oder die Bild
    punktwerte und/oder das Signalisierungssignal entsprechend zu ermitteln. Alternativ oder zusätzlich ist der jeweiligen Fahrinformation und/oder Fahrzeuginformation eine vorgegebene Priorität zugeordnet und die Vorrichtung ist ausgebildet, abhängig von der Priorität eine Signalisierung der jeweiligen Fahrinformation und/oder Fahrzeuginformation zu priorisieren zwischen der ersten optischen Anzeigevorrichtung und der zweiten optischen Anzeigevorrichtung und das dreidimensionale Modell und/oder die Bildpunktwerte und/oder das Signalisierungssignal entsprechend zu ermitteln für die erste optische Anzeigevorrichtung oder für die zweite optische Anzeigevorrichtung.
  • Vorteilhafterweise ermöglicht dies, kontaktanaloge Anzeigen, insbesondere in einem Head-up-Display, mit einer hohen Zuverlässigkeit und in Echtzeit zu generieren. Die Ermittlung des dreidimensionale Modells und/oder der Bildpunktwerte und/oder des Signalisierungssignals abhängig von einer jeweiligen Ausbildung der optischen Anzeigevorrichtung ermöglicht vorteilhafterweise, aufwendige dreidimensionale Darstellungen mittels der jeweiligen optischen Anzeigevorrichtung zuverlässig und mit hoher Qualität anzuzeigen. Falls die aktuelle Anzeigesituation der ersten optischen Anzeigevorrichtung die gewünschte Anzeige nicht zulässt, kann die Information in geeigneter Weise mittels der zweiten optischen Anzeigevorrichtung signalisiert werden. Solch ein Fall kann zum Beispiel eintreten, wenn eine kontaktanaloge Darstellung bestimmter Informationen im Head-up-Display aufgrund einer zur großen Anzahl von Anzeigeelementen in einem Anzeigefeld des Head-up-Displays nicht zugelassen wird. In diesem Fall können die Informationen von der zweiten optischen Anzeigevorrichtung signalisiert werden.
  • Dadurch, dass die Bildgenerierung, insbesondere die Bildsynthese, zentral in der Vorrichtung ausgeführt werden können, können Verzögerungszeiten und Bereitstellungslatenzzeiten einfach berücksichtigt werden. Die Verzögerungszeiten können hierbei eine Zeitdauer repräsentieren, bis die ermittelten Bilddaten zu den Anzeigensenken gelangen. Die Bereitstellungslatenzzeiten können hierbei jeweils eine Zeitdauer repräsentieren, die jeweils erforderlich ist für ein Bereitstellen verschiedener
  • Daten aus unterschiedlichen Einheiten, die für die jeweilige Bildgenerierung genutzt werden. Für eine geeignete Bildgenerierung kann zum Beispiel die Nutzung von Daten aus einem Fahrerassistenzsystem und/oder von einer fahrzeugexternen Einrichtung und/oder Daten aus einer Navigationseinrichtung erforderlich sein. Die zentrale Bildgenerierung ermöglicht, dass aufwendige dreidimensionale Darstellungen schlüssig und hochwertig in der einen oder den mehreren optischen Anzeigvorrichtungen, insbesondere in dem Head-up-Display und/oder in einem Kombi-Instrument, angezeigt werden können.
  • In einer vorteilhaften Ausgestaltung des ersten Aspekts ist die Vorrichtung signaltechnisch koppelbar mit einem vorgegebenen Fahrzeugkommunikationsnetzwerk und ausgebildet, die Datensätze über das Fahrzeugkommunikationsnetzwerk zu empfangen. Dies hat den Vorteil, dass die Vorrichtung als eigenständige Einheit ausgebildet sein kann, die insbesondere zum Betreiben eines Head-up-Displays genutzt werden kann.
  • In einer weiteren vorteilhaften Ausgestaltung des ersten Aspekts weisen die Datensätze eine vorgegebene Metadatenstruktur auf, die geeignet ist, die Fahrzeuginformationen und/oder Fahrinformationen textuell zu charakterisieren. Dies hat den Vorteil, dass Informationen, insbesondere die Fahrinformationen und/oder Fahrzeuginformationen, für die üblicherweise ein Signalisierungssignal generiert und bereitgestellt wird, das die Information grafisch und/oder bildhaft charakterisiert, umgesetzt werden können in die Datensätze mit der Metadatenstruktur. Die Datensätze können effizient übertragen werden und dann in der Vorrichtung genutzt werden für eine Bildgenerierung. Eine Übertragungsbandbreite kann im Vergleich zu einer Übertragung der Fahrinformation und/oder Fahrzeuginformation in Form von Zeichenbefehlen reduziert werden. Dies kann einen Beitrag leisten dazu, dass trotz einer begrenzten Übertragungsbandbreite eine Anzeige der Fahrinformation und/oder Fahrzeuginformation qualitativ hochwertig erfolgen kann. Ferner ermöglicht die Metadatenstruktur der Datensätze, dass das dreidimensionale Modell einfacher und/oder zuverlässiger und/oder präziser ermittelt werden kann. Die Metadatenstruktur der Datensätze kann einen Beitrag dazu leisten, dass logische Verknüpfungen präziser beschrieben werden können.
  • In einer weiteren vorteilhaften Ausgestaltung des ersten Aspekts wird die Priorität der jeweiligen Fahrinformation und/oder Fahrzeuginformation abhängig von einer aktuell ermittelten Verkehrssituation und/oder Fahrsituation des Fahrzeugs ermittelt. Vorteilhafterweise ermöglicht dies, die Anzeigenpriorisierung dynamisch anzupassen an die aktuelle Verkehrssituation und/oder Fahrsituation.
  • In einer weiteren vorteilhaften Ausgestaltung des ersten Aspekts umfasst die optische Anzeigevorrichtung ein Head-up-Display mit einem vorgegebenen Anzeigefeld. Die Vorrichtung ist ausgebildet, die Bildpunktwerte des grafischen Elements abhängig dem dreidimensionalen Modell derart zu ermitteln und auf dem vorgegebenen Anzeigefeld des Head-up-Displays zur Anzeige zu bringen, dass das grafische Element von einem Betrachter des Anzeigefelds aus einer vorgegebenen Betrachtungsposition heraus mit einem direkten Bezug zu der realen Umgebung des Fahrzeugs wahrgenommen wird. Eine Einbettung und/oder Überlagerung des grafischen Elements als virtuelle Information in eine von einem Fahrzeugnutzer wahrgenommene reale Umgebung ermöglicht, dass ein prädiktiver Charakter der Information, insbesondere der Fahrinformation und/oder Fahrzeuginformation, von dem Fahrzeugnutzer einfach, zuverlässig und leicht verständlich wahrgenommen werden kann.
  • In einer weiteren vorteilhaften Ausgestaltung des ersten Aspekts ist die Vorrichtung ausgebildet, die Bildpunktwerte für den zumindest einen Teil von Bildpunkten des digitalen Bildes zu ermitteln abhängig von weiteren Bildpunktwerten eines vorgegebnen Umfeldbildes. Dies ermöglicht vorteilhafterweise, beispielsweise für eine Anzeige auf einem LC-Display, das digitale Bild dem Umfeldbild überlagert anzuzeigen.
  • Die Erfindung zeichnet sich gemäß einem zweiten Aspekt aus durch ein Anzeigesystem für ein Fahrzeug. Das Anzeigesystem umfasst eine erste Steuereinheit, die ausgebildet ist, vorgegebene Datensätze bereitzustellen. Ferner umfasst das Anzeigesystem eine Vorrichtung zum Betreiben einer oder mehrerer Anzeigevorrichtungen gemäß dem ersten Aspekt und ein Fahrzeugkommunikationsnetzwerk, das die erste Steuereinheit und die Vorrichtung signaltechnisch koppelt für ein Senden der Datensätze von der ersten Steuereinheit an die Vorrichtung. Des Weiteren weist das Anzeigesystem eine oder mehrere optische Anzeigevorrichtungen auf, die jeweils signaltechnisch gekoppelt sind mit der Vorrichtung und die jeweils ausgebildet sind, ein von der Vorrichtung jeweils ermitteltes Signalisierungssignal zu empfangen und zu signalisieren.
  • Ergänzende vorteilhafte Ausgestaltungen des ersten Aspekts gelten hierbei auch für den zweiten Aspekt.
  • Die Bildgenerierung kann vorteilhafterweise in einer einzigen Verarbeitungseinheit im Fahrzeug, vorzugsweise in der Vorrichtung, erfolgen. Es ist nicht erforderlich, dass an verschiedenen Orten, das heißt in verschiedenen Verarbeitungseinheiten des Fahrzeugs, zum Beispiel in einer Head-Unit und in einem Kombi-Instrument, Bilder generiert werden, die dann anschließend in einer der beiden Verarbeitungseinheiten zusammengeführt werden. Es ist ausreichend, dass die für eine Bildsynthese, auch Rendering genannt, erforderlichen Daten nur der einen Verarbeitungseinheit, vorzugsweise der Vorrichtung, zur Verfügung gestellt werden. Die Bildgenerierung durch die Vorrichtung vereinfacht eine konsistente Bildgenerierung. Insbesondere bei einer aufwendigen dreidimensionalen Darstellung ist es möglich, schlüssige und hochwertige Anzeigeinhalte zu ermitteln. Bei einer Anzeige mit hohen Echtzeitanforderungen, insbesondere für eine kontaktanaloge Darstellung mit dem Head-up-Display, sind die Leistungsanforderungen an die Vorrichtung, die die Bildsynthese ausführt, sehr hoch. Die Bildgenerierung in der Vorrichtung für das kontaktanaloge Head-up-Display entlastet weitere Recheneinheiten, zum Beispiel den Prozessor in der Navigationseinheit, und ermöglicht eine fahrsituationsabhängige Anzeigenpriorisierung aller Inhalte im Head-up-Display in Echtzeit. Eine kontaktanaloge Anzeige, insbesondere in einem Head-up-Display, kann mit einer hohen Zuverlässigkeit und in Echtzeit generiert werden. Dadurch, dass die Bildgenerierung, insbesondere die Bildsynthese, zentral in der Vorrichtung ausgeführt werden kann, können Verzögerungszeiten und Bereitstellungslatenzzeiten einfach berücksichtigt werden.
  • Die Fahrinformationen und/oder Fahrzeuginformationen können von weiteren Einheiten des Fahrzeugs, zum Beispiel von dem Fahrerassistenzsystem und/oder der Navigationseinrichtung, und/oder fahrzeugexternen Einrichtungen bereitgestellt werden und an die erste Steuereinheit übermittelt werden. Die erste Steuereinheit kann ausgebildet sein, die Datensätze zu ermitteln abhängig von der vorgegebenen Fahrinformation und/oder Fahrzeuginformation, wobei die Datensätze eine vorgegebene Metadatenstruktur aufweisen können, die geeignet ist, die Fahrinformation und/oder Fahrzeuginformation textuell zu charakterisieren.
  • In einer vorteilhaften Ausgestaltung des zweiten Aspekts ist die eine oder sind die mehreren optischen Anzeigevorrichtungen signaltechnisch mit der Vorrichtung über eine vorgegebene Multimedia-Schnittstelle gekoppelt. Dies ermöglicht eine effiziente und zuverlässige Übertragung des ermittelten Signalisierungssignals.
  • Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnungen erläutert.
  • Es zeigen:
    • Figur 1
    ein schematisches Blockschaltbild für ein Anzeigesystem eines Fahrzeugs,
    Figur 2
    ein Head-up-Display für das Fahrzeug und
    Figur 3
    ein Beispiel für eine kontaktanaloge Anzeige des Head-up-Displays.
  • Elemente gleicher Konstruktion oder Funktion sind figurenübergreifend mit den gleichen Bezugszeichen versehen.
  • Figur 1 zeigt ein Ausführungsbeispiel eines Anzeigesystems 1 eines Fahrzeugs. Das Anzeigesystem 1 umfasst eine erste Steuereinheit 3 und eine Vorrichtung 5 zum Betreiben zumindest einer optischen Anzeigevorrichtung. Die zumindest eine optische Anzeigevorrichtung ist vorzugsweise in dem Fahrzeug angeordnet. In dem in Figur 1 gezeigten Ausführungsbeispiel weist das Anzeigesystem 1 beispielhaft eine erste Anzeigevorrichtung 6 und eine zweite Anzeigevorrichtung 7 auf.
  • Die erste Anzeigevorrichtung 6 umfasst beispielsweise einen Bildschirm. Der Bildschirm kann beispielsweise als Flüssigkristallanzeige, auch LC-Display genannt, ausgebildet sein. Die erste Anzeigeeinrichtung kann insbesondere in einer Kombi-Instrumententafel des Fahrzeugs angeordnet sein.
  • Die zweite Anzeigevorrichtung 7 umfasst beispielsweise ein Head-up-Display 10. Ein Ausführungsbeispiel des Head-up-Displays 10 ist im Detail in Figur 2 gezeigt.
  • Die in Figur 1 gezeigte erste Steuereinheit 3 umfasst beispielsweise eine zentrale Recheneinheit des Fahrzeugs, auch Head-Unit genannt. Die erste Steuereinheit 3 ist beispielsweise über ein vorgegebenes Fahrzeugkommunikationsnetzwerk 4 signaltechnisch mit der Vorrichtung 5 zum Betreiben der zumindest einen optischen Anzeigvorrichtung gekoppelt. Das Fahrzeugkommunikationsnetzwerk 4 kann zum Beispiel einen Fahrzeugbus umfassen. Alternativ ist auch möglich, dass das Fahrzeugkommunikationsnetzwerk 4 eine einzelne Leitungsverbindung umfasst. Alternativ oder zusätzlich ist möglich, dass das Fahrzeugkommunikationsnetzwerk 4 eine drahtlose Kommunikationsverbindung umfasst. Die erste Steuereinheit 3 ist beispielsweise ausgebildet, vorgegebene Datensätze über das Fahrzeugkommunikationsnetzwerk 4 an die Vorrichtung 5 zu senden und somit für die Vorrichtung 5 bereitzustellen.
  • Die Datensätze repräsentieren Fahrinformationen und/oder Fahrzeuginformationen, die geeignet sind, einem Fahrzeugnutzer grafisch und/oder bildhaft signalisiert zu werden.
  • Die Fahrzeuginformation und/oder Fahrinformation kann beispielsweise von einem Fahrerassistenzsystem und/oder von einer Navigationseinrichtung und/oder von einer fahrzeugexternen Einrichtung 2b ermittelt und/oder bereitgestellt werden. Die erste Steuereinheit 3 kann hierfür signaltechnisch gekoppelt sein mit einer oder mehreren weiteren Fahrzeugeinrichtungen 2a und/oder mit einer oder mehreren fahrzeugexternen Einrichtungen 2b. Beispielsweise kann die erste Steuereinheit 3 mit der einen oder den weiteren Fahrzeugeinrichtungen 2a über das Fahrzeugkommunikationsnetzwerk 4 signaltechnisch gekoppelt sein. Das Fahrzeugkommunikationsnetzwerk 4 kann unterschiedlichste Einrichtungen im Fahrzeug kommunikationstechnisch vernetzen. Das Fahrzeugkommunikationsnetzwerk 4 kann aufgeteilt sein in Sub-Systeme, die beispielsweise über Gateways gekoppelt sind.
  • Die Fahrinformationen können beispielsweise eine Fahranweisung umfassen und/oder eine aktuelle Verkehrssituation und/oder eine aktuelle Fahrsituation und/oder eine aktuelle Umfeldsituation, zum Beispiel eine aktuelle Außentemperatur, und so weiter. Die Fahrzeuginformation kann beispielsweise einen aktuellen Fahrzeugbetriebszustand, zum Beispiel eine Geschwindigkeit des Fahrzeugs, repräsentieren.
  • Die erste Steuereinheit 3 ist beispielsweise ausgebildet, die Datensätze bereitzustellen mit einer vorgegebenen Metadatenstruktur, die geeignet ist, die Fahrzeuginformationen und/oder Fahrinformationen textuell zu charakterisieren. Die Fahrzeuginformation und/oder Fahrinformation wird somit nicht in Form von Zeichenbefehlen oder als Picture-in-Picture-Inhalte, sondern in Form von Metadaten zur Verfügung gestellt. Beispielsweise wird also nicht ein Zeichenbefehl oder ein Videobild für einen Abbiegepfeil übertragen, sondern lediglich die Eigenschaftsinformationen einer Fahranweisung. Dies kann beispielsweise in der folgenden textuellen vorgegebenen Metadatenstruktur erfolgen:
    <Aktion>; <Richtungselement>; <Distanz>
  • Zum Beispiel gemäß:
    • "Abbiegen nach rechts in 200m"
    • "Wechseln auf die rechte Fahrspur in 300 m"
  • Die Vorrichtung 5 ist über das Fahrzeugkommunikationsnetzwerk 4 signaltechnisch gekoppelt mit der ersten Steuereinheit 3 und ausgebildet, die von der ersten Steuereinheit 3 gesendeten Datensätze zu empfangen. Ferner ist die Vorrichtung 5 signaltechnisch gekoppelt mit der ersten 6 und der zweiten Anzeigevorrichtung 7.
  • Die Vorrichtung 5 ist ausgebildet, abhängig von den bereitgestellten Datensätzen und abhängig von einer vorgegebenen Latenzzeit ein dreidimensionales Modell für eine vorgegebene Umgebung des Fahrzeugs zu ermitteln. Ferner ist die Vorrichtung 5 ausgebildet, Bildpunktwerte für zumindest einen Teil von Bildpunkten eines digitalen Bildes und/oder eines grafischen Elements 8 zu ermitteln abhängig von dem dreidimensionalen Modell und ein Signalisierungssignal zu ermitteln zum Signalisieren der Bildpunktwerte der Bildpunkte mittels der jeweiligen optischen Anzeigevorrichtung, wobei die vorgegebene Latenzzeit zumindest einen Teil einer Bereitstellungszeitdauer repräsentiert, die eine zeitliche Dauer umfasst, von einem Beginn eines Erfassens der Fahrzeuginformationen und/oder Fahrinformationen bis zur Signalisierung des Signalisierungssignals mittels der jeweiligen optischen Anzeigevorrichtung.
  • Die vorgegebene Latenzzeit kann Verzögerungszeiten und Bereitstellungslatenzzeiten umfassen. Die Verzögerungszeiten können hierbei jeweils eine Zeitdauer repräsentieren, bis die ermittelten Bilddaten zu den Anzeigensenken gelangen. Die Bereitstellungslatenzzeiten können jeweils eine Zeitdauer repräsentieren, die jeweils erforderlich ist für ein Bereitstellen verschiedener Daten aus unterschiedlichen Einheiten, die für die jeweilige Bildgenerierung genutzt werden.
  • Die Vorrichtung 5 ist ferner beispielsweise ausgebildet, abhängig von vorgegebenen Streckendaten und/oder vorgegebenen Umfelddaten das dreidimensionale Modell für die vorgegebene Umgebung des Fahrzeugs zu ermitteln. Die Streckendaten und/oder Umfelddaten können beispielsweise von der ersten Steuereinheit 3 und/oder einer oder mehreren weiteren Fahrzeugeinrichtungen 2a erfasst werden. Die erste Steuereinheit 3 und/oder die weiteren Fahrzeugeinrichtungen 2a sind hierzu beispielsweise jeweils mit einer oder mehreren Sensoreinheiten signaltechnisch gekoppelt. Die jeweiligen Sensoreinheiten sind ausgebildet, Umfelddaten des Fahrzeugs zu ermitteln. Die jeweilige Sensoreinheit kann eine optische Erfassungseinrichtung aufweisen, zum Beispiel eine Videokamera, und/oder einen Radarsensor und/oder einen Ultraschallsensor und/oder ein Lidarsensor. Die Streckendaten können beispielsweise von der Navigationseinrichtung bereitgestellt werden. Die vorgegebenen Streckendaten und/oder vorgegebenen Umfelddaten werden beispielsweise ebenfalls von der ersten Steuereinheit 3 für die Vorrichtung 5 bereitgestellt. Die Streckendaten und/oder Umfelddaten können beispielsweise ebenfalls als Metadaten bereitgestellt werden, die die vorgegebene Metadatenstruktur aufweisen, die eine textuelle Charakterisierung der Streckendaten und/oder Umfelddaten ermöglicht. Die erste Steuereinheit 3 kann hierzu beispielsweise ausgebildet sein, die Datensätze, die Streckendaten und/oder Umfelddaten repräsentieren, zu ermitteln abhängig von den erfassten Streckendaten beziehungsweise Umfelddaten.
  • Die Vorrichtung 5 kann des Weiteren ausgebildet sein, abhängig von den erfassten Umfelddaten Umfeldmodelldaten zu ermitteln, die eine vorgegebene Umgebung des Fahrzeugs repräsentieren.
  • Die Vorrichtung 5 ist beispielsweise ausgebildet, abhängig von den Umfeldmodelldaten, eine dreidimensionale Szene zu ermitteln, die ein virtuelles räumliches Modell repräsentiert. Das virtuelle räumliche Modell definiert beispielsweise Objekte und deren Materialeigenschaften, Lichtquellen, sowie die Position und Blickrichtung eines Betrachters.
  • Die Vorrichtung 5 umfasst beispielsweise ferner eine Bildsyntheseeinheit, auch Rendering Unit genannt, die ausgebildet ist, von einem virtuellen Betrachter aus sichtbare Objekte zu ermitteln, ein Aussehen von Oberflächen, beeinflusst durch deren Materialeigenschaften, zu ermitteln und eine Lichtverteilung innerhalb der Szene zu berechnen.
  • Das von der Vorrichtung 5 ermittelte Signalisierungssignal wird beispielsweise an die erste 6 und/oder an die zweite Anzeigevorrichtung 7 gesendet. Die Vorrichtung 5 ist hierzu beispielsweise über eine vorgegebene Multimedia-Schnittstelle 9 gekoppelt mit der ersten 6 und/oder der zweiten Anzeigevorrichtung 7. Die Multimedia-Schnittstelle 9 kann beispielsweise ein High Definition Multimedia Interface umfassen.
  • Die Vorrichtung 5 ist zum Beispiel ausgebildet, abhängig von einer jeweiligen Ausbildung der optischen Anzeigevorrichtung das dreidimensionale Modell und/oder die Bildpunktwerte und/oder das Signalisierungssignal zu ermitteln, so dass eine aufwendige dreidimensionale Darstellung mittels der jeweiligen optischen Anzeigevorrichtung zuverlässig und mit hoher Qualität möglich ist.
  • Die Vorrichtung 5 ist beispielsweise ausgebildet, für die Signalisierung einer gewünschten Fahrinformation und/oder Fahrzeuginformation mittels des Head-up-Displays 10, die Bildpunktwerte des grafischen Elements 8 abhängig dem dreidimensionalen Modell derart zu ermitteln und auf einem vorgegebenen Anzeigefeld 11 des Head-up-Displays 10 zur Anzeige zu bringen, dass das grafische Element 8 von einem Betrachter des Anzeigefelds 11 aus einer vorgegebenen Betrachtungsposition heraus mit einem direkten Bezug zu der realen Umgebung des Fahrzeugs wahrgenommen wird.
  • Die Vorrichtung 5 kann beispielsweise ferner ausgebildet sein, für die Signalisierung der gewünschten Fahrinformation und/oder Fahrzeuginformation mittels des LC-Displays des Kombi-Instruments, die Bildpunktwerte für den zumindest einen Teil von Bildpunkten des digitalen Bildes zu ermitteln abhängig von weiteren Bildpunktwerten eines vorgegebenen Umfeldbildes, so dass das digitale Bild dem Umfeldbild überlagert angezeigt werden kann auf dem LC-Display des Kombi-Instruments. Das Umfeldbild kann beispielsweise mittels einer optischen Erfassungseinrichtung, zum Beispiel mit einer Videokamera, erfasst werden.
  • Ferner kann die Vorrichtung 5 ausgebildet sein, abhängig von einer aktuellen Anzeigesituation einer der optischen Anzeigevorrichtungen, zum Beispiel abhängig von einer Anzeigedichte in dem Anzeigefeld 11 des Head-up-Displays 10, das dreidimensionale Modell und/oder die Bildpunktwerte und/oder das Signalisierungssignal zu ermitteln für die zweite Anzeigevorrichtung 7, also zum Beispiel für das Head-up-Display oder für die erste Anzeigevorrichtung 6, zum Beispiel für das LC-Display der Kombi-Instrumententafel.
  • Des Weiteren kann vorgesehen sein, dass der jeweiligen Fahrinformation und/oder Fahrzeuginformation eine vorgegebene Priorität zugeordnet und die Vorrichtung 5 ausgebildet ist, abhängig von der Priorität das dreidimensionale Modell und/oder die Bildpunktwerte und/oder das Signalisierungssignal zu ermitteln für die eine optische Anzeigevorrichtung, zum Beispiel für die zweite Anzeigevorrichtung 7 oder für die weitere optische Anzeigevorrichtung, zum Beispiel für die erste Anzeigevorrichtung 6. Dies kann beispielsweise vorteilhaft genutzt werden, für eine Anzeigenpriorisierung der jeweiligen Fahrinformation und/oder Fahrzeuginformation innerhalb des Head-up-Displays 10 und für eine Anzeigenpriorisierung zwischen dem Head-up-Display 10 und dem LC-Display der Kombi-Instrumententafel. Die Priorität der jeweiligen Fahrinformation und/oder Fahrzeuginformation kann hierbei beispielsweise abhängig von einer aktuell ermittelten Verkehrssituation und/oder Fahrsituation des Fahrzeugs ermittelt werden.
  • Figur 2 zeigt ein Ausführungsbeispiel eines Head-up-Displays 10.
  • Das Head-up-Display 10 umfasst eine Bilderzeugungseinrichtung 12 zur Erzeugung eines virtuellen Bildes 30. Die Bilderzeugungseinrichtung 12 umfasst ein Display 15 zur Erzeugung eines realen Bildes 30' und ein optisches System zur Erzeugung des virtuellen Bildes 30. Das optische System umfasst einen abbildenden ersten 20 und zweiten Spiegel 25. Ein von dem Display 15 erzeugtes reales Bild 30' wird zunächst auf den ersten Spiegel 20 gelenkt und von dem ersten Spiegel 20 auf den zweiten Spiegel 25 projiziert. Der zweite Spiegel 25 kann als eine Windschutzscheibe 32 eines Fahrzeugs 1 ausgebildet sein.
  • Aus einer vorgegebenen Eyebox 40 eines Fahrers erscheint in einem Abstand vor der Windschutzscheibe 32, beispielsweise am Ende der Motorhaube, das virtuelle Bild 30. Das virtuelle Bild 30 kann im Allgemeinen nur aus einem definierten Bereich, der so genannten Eyebox 40, gesehen werden. Die Eyebox 40 wird üblicherweise so ausgelegt, dass aus dem gesamten gewünschten Eyeboxbereich das komplette virtuelle Bild 30 gesehen werden kann.
  • In dem virtuellen Bild 30 können statische Anzeigeinhalte, die dauerhaft oder häufig angezeigt werden, dargestellt werden. Des Weiteren kann die Bilderzeugungseinrichtung 12 dazu ausgebildet sein, dass in dem virtuellen Bild 30 Bildinhalte angezeigt werden, die nur situativ und kurzzeitig angezeigt werden. Das Head-up-Display 10 kann insbesondere als kontaktanaloges Head-up-Display 10 ausgebildet sein. Bei Head-up-Displays 10 wird zwischen kontaktanaloger und nichtkontaktanaloger Darstellung unterschieden. Kontaktanaloge Darstellungsformen reichern die vom Fahrer wahrgenommene Umwelt durch Überlagerung einer künstlich erzeugten Szenerie an. Nichtkontaktanaloge Darstellungsformen stellen dagegen Informationen ohne direkten Bezug zur Umwelt dar.
  • Figur 3 zeigt beispielhaft das vorgegebene Anzeigefeld 11 auf einer Windschutzscheibe 32 des Fahrzeugs. Auf dem Anzeigefeld 11 wird das grafische Element 8 angezeigt. In dem in Figur 3 gezeigten Beispiel wird das grafische Element 8 derart angezeigt, dass der Betrachter die reale Fahrbahn vor dem Fahrzeug farblich markiert wahrnimmt, das grafische Element 8 wird somit von einem Betrachter des Anzeigefelds 11 mit einem direkten Bezug zu der realen Umgebung 34 des Fahrzeugs wahrgenommen. Da die Bildgenerierung, insbesondere die Bildsynthese, zentral in der Vorrichtung 5 ausgeführt werden, können Verzögerungszeiten und Bereitstellungslatenzzeiten einfach berücksichtigt werden und die Bildgenerierung ist in Echtzeit möglich, so dass die kontaktanaloge Darstellung mit hoher Zuverlässigkeit und hoher Qualität erfolgen kann.
    • Bezugszeichenliste
    • 1
    Anzeigesystem
    2a
    weitere Fahrzeugeinrichtung
    2b
    fahrzeugexterne Einrichtung
    3
    erste Steuereinheit
    4
    Fahrzeugkommunikationsnetzwerk
    5
    Vorrichtung
    6
    erste Anzeigevorrichtung
    7
    zweite Anzeigevorrichtung
    8
    grafisches Element
    9
    Multimedia-Schnittstelle
    10
    Head-up-Display
    11
    Anzeigefeld
    12
    Bilderzeugungseinrichtung
    15
    Display
    20
    erster Spiegel
    25
    zweiter Spiegel
    30
    virtuelles Bild
    30'
    reales Bild
    32
    Windschutzscheibe
    34
    reale Umgebung des Fahrzeugs

Claims (8)

  1. Vorrichtung (5) zum Betreiben mehrerer optischer Anzeigevorrichtungen eines Fahrzeugs, die ausgebildet ist
    - abhängig von bereitgestellten Datensätzen und abhängig von einer vorgegebenen Latenzzeit ein dreidimensionales Modell für eine vorgegebene Umgebung des Fahrzeugs zu ermitteln, wobei die Datensätze vorgegebene Fahrzeuginformationen und/oder Fahrinformationen repräsentieren, die geeignet sind, einem Fahrzeugnutzer grafisch und/oder bildhaft signalisiert zu werden,
    - Bildpunktwerte für zumindest einen Teil von Bildpunkten eines digitalen Bildes und/oder eines grafischen Elements (8) zu ermitteln abhängig von dem dreidimensionalen Modell und
    - ein Signalisierungssignal zu ermitteln zum Signalisieren der Bildpunktwerte der Bildpunkte mittels der jeweiligen optischen Anzeigevorrichtung, wobei
    - die vorgegebene Latenzzeit eine Bereitstellungszeitdauer oder einen Teil der Bereitstellungszeitdauer repräsentiert, die eine zeitliche Dauer umfasst von einem Beginn eines Erfassens der Fahrzeuginformationen und/oder Fahrinformationen bis zur Signalisierung des Signalisierungssignals mittels der jeweiligen optischen Anzeigevorrichtung,
    - die Vorrichtung (5) ferner ausgebildet ist, das dreidimensionale Modell und/oder die Bildpunktwerte und/oder das Signalisierungssignal zu ermitteln abhängig von einer jeweiligen Ausbildung der optischen Anzeigevorrichtung,
    - die Vorrichtung (5) ferner ausgebildet ist, abhängig von einer aktuellen Anzeigesituation einer der optischen Anzeigevorrichtung der mehreren Anzeigevorrichtungen das dreidimensionale Modell und/oder die Bildpunktwerte und/oder das Signalisierungssignal zu ermitteln für die eine optische Anzeigevorrichtung oder für eine weitere optische Anzeigevorrichtung, wobei, falls die aktuelle Anzeigesituation der einen ersten optischen Anzeigevorrichtung die gewünschte Anzeige nicht zulässt, die bestimmte Information in geeigneter Weise mittels der weiteren optischen Anzeigevorrichtung signalisiert wird, und/oder
    - bei der der jeweiligen Fahrinformation und/oder Fahrzeuginformation eine vorgegebene Priorität zugeordnet ist und die Vorrichtung (5) ausgebildet ist, abhängig von der Priorität das dreidimensionale Modell und/oder die Bildpunktwerte und/oder das Signalisierungssignal entsprechend zu ermitteln für die erste optische Anzeigevorrichtung oder für die zweite optische Anzeigevorrichtung.
  2. Vorrichtung (5) nach Anspruch 1,
    bei der die Vorrichtung (5) signaltechnisch koppelbar ist mit einem vorgegebenen Fahrzeugkommunikationsnetzwerk (4) und die Vorrichtung (5) ausgebildet ist, die Datensätze über das Fahrzeugkommunikationsnetzwerk (4) zu empfangen.
  3. Vorrichtung (5) nach Anspruch 1 oder 2,
    bei der die Datensätze eine vorgegebene Metadatenstruktur aufweisen, die geeignet ist, die Fahrzeuginformationen und/oder Fahrinformationen textuell zu charakterisieren.
  4. Vorrichtung (5) nach einem der vorstehenden Ansprüche,
    bei dem die Priorität der jeweiligen Fahrinformation und/oder Fahrzeuginformation abhängig von einer aktuell ermittelten Verkehrssituation und/oder Fahrsituation des Fahrzeugs ermittelt wird.
  5. Vorrichtung (5) nach einem der vorstehenden Ansprüche,
    bei der die erste optische Anzeigevorrichtung ein Head-up-Display (10) mit einem vorgegebenen Anzeigefeld (11) umfasst und die Vorrichtung (5) ausgebildet ist, die Bildpunktwerte des grafischen Elements (8) abhängig von dem dreidimensionalen Modell derart zu ermitteln und auf dem vorgegebenen Anzeigefeld (11) des Head-up-Displays (10) zur Anzeige zu bringen, dass das grafische Element (8) von einem Betrachter des Anzeigefelds (11) aus einer vorgegebenen Betrachtungsposition heraus mit einem direkten Bezug zu der realen Umgebung des Fahrzeugs wahrgenommen wird.
  6. Vorrichtung (5) nach einem der vorstehenden Ansprüche,
    die ausgebildet ist, die Bildpunktwerte für den zumindest einen Teil von Bildpunkten des digitalen Bildes zu ermitteln abhängig von weiteren Bildpunktwerten eines vorgegebenen Umfeldbildes.
  7. Anzeigesystem (1) für ein Fahrzeug aufweisend:
    - eine erste Steuereinheit (3), die ausgebildet ist, vorgegebene Datensätze bereitzustellen,
    - eine Vorrichtung (5) gemäß einem der Ansprüche 1 bis 6,
    - ein Fahrzeugkommunikationsnetzwerk (4), das die erste Steuereinheit (3) und die Vorrichtung (5) signaltechnisch koppelt für ein Senden der Datensätze von der ersten Steuereinheit (3) zu der Vorrichtung (5), und
    - mehrere optische Anzeigevorrichtungen, die jeweils signaltechnisch gekoppelt sind mit der Vorrichtung (5) und die jeweils ausgebildet sind, ein von der Vorrichtung (5) jeweils ermitteltes Signalisierungssignal zu empfangen und zu signalisieren.
  8. Anzeigesystem (1) nach Anspruch 7,
    bei dem die mehreren optischen Anzeigevorrichtungen signaltechnisch mit der Vorrichtung (5) über eine vorgegebene Multimedia-Schnittstelle (9) gekoppelt sind.
EP12790800.2A 2012-07-10 2012-10-18 Vorrichtung zum betreiben mehrerer optischer anzeigevorrichtungen eines fahrzeugs Active EP2872943B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE201210212015 DE102012212015A1 (de) 2012-07-10 2012-07-10 Vorrichtung zum Betreiben einer oder mehrerer optischer Anzeigevorrichtungen eines Fahrzeugs
PCT/EP2012/070618 WO2014008958A1 (de) 2012-07-10 2012-10-18 Vorrichtung zum betreiben einer oder mehrerer optischer anzeigevorrichtungen eines fahrzeugs

Publications (2)

Publication Number Publication Date
EP2872943A1 EP2872943A1 (de) 2015-05-20
EP2872943B1 true EP2872943B1 (de) 2019-10-02

Family

ID=47222013

Family Applications (1)

Application Number Title Priority Date Filing Date
EP12790800.2A Active EP2872943B1 (de) 2012-07-10 2012-10-18 Vorrichtung zum betreiben mehrerer optischer anzeigevorrichtungen eines fahrzeugs

Country Status (4)

Country Link
US (1) US9529193B2 (de)
EP (1) EP2872943B1 (de)
DE (1) DE102012212015A1 (de)
WO (1) WO2014008958A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6394914B2 (ja) 2015-11-11 2018-09-26 トヨタ自動車株式会社 運転支援装置
US10805278B2 (en) * 2016-08-15 2020-10-13 Truist Bank Network device proximity-based authentication

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1916645A1 (de) * 2005-08-19 2008-04-30 ADC Technology, Inc. Einrichtung zur bildanzeige in autos
DE102010003850A1 (de) * 2010-04-12 2011-10-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Nachführung einer Position einer Objektmarkierung
WO2012035134A1 (de) * 2010-09-18 2012-03-22 Johnson Controls Gmbh Head-up-display mit einem projektionsschirm und einer vorrichtung zur bewegung und positionierung eines projektionsschirms und verfahren zum betrieb eines solchen head-up-displays
US20120146809A1 (en) * 2010-12-13 2012-06-14 Samsung Electronics Co. Ltd. Information providing apparatus and method for vehicles

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9318520D0 (en) * 1993-09-07 1993-10-20 Jaguar Cars Head up displays for motor vehicles
US6744436B1 (en) * 1999-05-25 2004-06-01 Anthony Chirieleison, Jr. Virtual reality warehouse management system complement
US6741414B1 (en) * 1999-06-15 2004-05-25 Tokyo Electron Limited Joint spindle speed and head position control in rotating media storage systems
JP3717045B2 (ja) 2000-01-19 2005-11-16 松下電器産業株式会社 ナビゲーション装置
DE10131720B4 (de) 2001-06-30 2017-02-23 Robert Bosch Gmbh Head-Up Display System und Verfahren
DE10132043A1 (de) 2001-07-03 2003-01-23 Siemens Ag Übertragung einer Datensequenz auf ein mobiles Endgerät und Wiedergabe der Datensequenz auf dem mobilen Endgerät
FR2862380B1 (fr) 2004-03-22 2006-09-08 Siemens Vdo Automotive Systeme de navigation pour vehicule automobile
DE102004014671A1 (de) * 2004-03-25 2005-10-13 Robert Bosch Gmbh Vorrichtung zur visuellen Darstellung einer Information
IL172797A (en) * 2005-12-25 2012-09-24 Elbit Systems Ltd Real-time image scanning and processing
US7925982B2 (en) 2006-09-01 2011-04-12 Cheryl Parker System and method of overlaying and integrating data with geographic mapping applications
JP2008160305A (ja) * 2006-12-21 2008-07-10 Toyota Motor Corp 車載用暗視装置
JP2008309529A (ja) 2007-06-12 2008-12-25 Panasonic Corp ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
JP4325705B2 (ja) * 2007-06-15 2009-09-02 株式会社デンソー 表示システム及びプログラム
DE102007058437B4 (de) * 2007-12-05 2022-03-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Informationsvermittlung an den Fahrer eines Kraftfahrzeugs
DE102008042734A1 (de) * 2008-10-10 2010-04-15 Robert Bosch Gmbh Fahrerinformationssystem für ein Kraftfahrzeug
KR20100070973A (ko) 2008-12-18 2010-06-28 박호철 헤드업 디스플레이 내비게이션 장치, 시스템 및 서비스 구현방법
US20120224062A1 (en) 2009-08-07 2012-09-06 Light Blue Optics Ltd Head up displays
US9057874B2 (en) * 2010-12-30 2015-06-16 GM Global Technology Operations LLC Virtual cursor for road scene object selection on full windshield head-up display
JP5533938B2 (ja) * 2012-06-01 2014-06-25 株式会社デンソー 運転能力低下判定装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1916645A1 (de) * 2005-08-19 2008-04-30 ADC Technology, Inc. Einrichtung zur bildanzeige in autos
DE102010003850A1 (de) * 2010-04-12 2011-10-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Nachführung einer Position einer Objektmarkierung
WO2012035134A1 (de) * 2010-09-18 2012-03-22 Johnson Controls Gmbh Head-up-display mit einem projektionsschirm und einer vorrichtung zur bewegung und positionierung eines projektionsschirms und verfahren zum betrieb eines solchen head-up-displays
US20120146809A1 (en) * 2010-12-13 2012-06-14 Samsung Electronics Co. Ltd. Information providing apparatus and method for vehicles

Also Published As

Publication number Publication date
WO2014008958A1 (de) 2014-01-16
DE102012212015A1 (de) 2014-05-22
EP2872943A1 (de) 2015-05-20
US9529193B2 (en) 2016-12-27
US20150116320A1 (en) 2015-04-30

Similar Documents

Publication Publication Date Title
EP3454013B1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-display-vorrichtung für ein kraftfahrzeug
EP3765324B1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-display-vorrichtung für ein kraftfahrzeug
DE102017216774B4 (de) Verfahren, Vorrichtung, computerlesbares Speichermedium und Kraftfahrzeug mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug
DE102009045169A1 (de) Anzeigevorrichtung für ein Fahrzeug und Verfahren zur Darstellung von Bildinformation in einem Fahrzeug
EP3425442A1 (de) Verfahren und vorrichtung zum anreichern eines sichtfeldes eines fahrers eines fahrzeuges mit zusatzinformationen, vorrichtung zur verwendung in einem beobachter-fahrzeug, vorrichtung zur verwendung in einem objekt sowie kraftfahrzeug
DE102015003847A1 (de) Verfahren und Fahrerassistenzsystem zum Erfassen und Signalisieren von Lichtsignalen von wenigstens einer Lichtsignaleinrichtung einer Wechsellichtzeichenanlage
EP2888623B1 (de) Betreiben eines head-up-displays eines fahrzeugs und bildermittlungssystem für das head-up-display
DE102015119556A1 (de) Anpassen einer anzeige auf einer transparenten elektronischen anzeige
DE102012220100A1 (de) Verfahren und Informationsgerät zum Darstellen von einer Fahrerinformation auf einer Blickfeldanzeige für ein Fahrzeug
WO2014108165A1 (de) Vorrichtung und verfahren zum anzeigen einer information auf einer anzeigeeinrichtung in einem fahrzeug
WO2013102508A1 (de) Verfahren und vorrichtung zur fahrerinformation
DE102012018556B4 (de) Assistenzsystem zur Ermöglichung einer erweiterten Vorausschau für nachfolgende Verkehrsteilnehmer
DE102015015676A1 (de) Verfahren zum automatischen Aufschalten eines Umgebungsbildes auf eine Anzeigeeinheit eines Fahrzeuges
DE102012020568A1 (de) Verfahren zum Betreiben einer Navigationseinrichtung und zur Erfassung einer wahrnehmbaren Umwelt
EP3874450A1 (de) Verfahren zur vermeidung einer sichtfeldstörung für eine bedienperson eines objektes, vorrichtung zur durchführung des verfahrens sowie fahrzeug und computerprogramm
EP3296795B1 (de) Verfahren zur darstellung eines bildobjekts in einem fahrzeug auf einer fahrzeugintern und einer fahrzeugextern wahrgenommenen anzeige
EP2872943B1 (de) Vorrichtung zum betreiben mehrerer optischer anzeigevorrichtungen eines fahrzeugs
EP2756490B1 (de) Verfahren und vorrichtung zur darstellung einer verkehrszeicheninformation
DE102021202246B4 (de) Verbesserte Visualisierung mit einem AR HUD
DE102022101893B4 (de) Verfahren zur Darstellung von Augmented Reality Informationen in Fahrzeugen
DE102018207162A1 (de) Vorrichtung, Fortbewegungsmittel und Verfahren zur Unterstützung eines Anwenders eines Fortbewegungsmittels
EP2873069B1 (de) Verfahren zum betreiben einer optischen anzeigevorrichtung eines fahrzeugs
DE102017215023B4 (de) Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zum Bereitstellen von Informationen zur Steuerung einer Anzeige einer Head-Up-Display-Vorrichtung für ein Kraftfahrzeug, sowie zugehöriges System zur Steuerung und Kraftfahrzeug damit
DE102022112168A1 (de) Verfahren und Vorrichtung zum Schutz eines Fahrzeugnutzers vor Ablenkung
DE102020113157A1 (de) Bilddatenverarbeitungseinheit, Anzeigesystem und Verfahren zur Visualisierung der Umgebung eines Fahrzeugs

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20141208

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20180305

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20190531

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: AT

Ref legal event code: REF

Ref document number: 1186845

Country of ref document: AT

Kind code of ref document: T

Effective date: 20191015

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502012015355

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20191002

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200203

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191002

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191002

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191002

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191002

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191002

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191002

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200102

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200103

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191002

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200102

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191002

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191002

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200224

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191002

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191002

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502012015355

Country of ref document: DE

PG2D Information on lapse in contracting state deleted

Ref country code: IS

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191002

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191002

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191002

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191018

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191031

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191002

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191031

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200202

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20191031

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191002

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191031

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191002

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191002

26N No opposition filed

Effective date: 20200703

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191018

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191002

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 1186845

Country of ref document: AT

Kind code of ref document: T

Effective date: 20191018

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191018

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191002

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191002

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20121018

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191002

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191002

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230502

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20231025

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20231023

Year of fee payment: 12

Ref country code: DE

Payment date: 20231017

Year of fee payment: 12