EP3820727B1 - Verfahren zum betreiben einer von einem fahrzeuginsassen eines kraftfahrzeugs am kopf getragenen anzeigeeinrichtung und anzeigesystem für ein kraftfahrzeug - Google Patents

Verfahren zum betreiben einer von einem fahrzeuginsassen eines kraftfahrzeugs am kopf getragenen anzeigeeinrichtung und anzeigesystem für ein kraftfahrzeug Download PDF

Info

Publication number
EP3820727B1
EP3820727B1 EP18769962.4A EP18769962A EP3820727B1 EP 3820727 B1 EP3820727 B1 EP 3820727B1 EP 18769962 A EP18769962 A EP 18769962A EP 3820727 B1 EP3820727 B1 EP 3820727B1
Authority
EP
European Patent Office
Prior art keywords
display device
vehicle
motor vehicle
areas
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP18769962.4A
Other languages
English (en)
French (fr)
Other versions
EP3820727A1 (de
Inventor
Marcus KÜHNE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Publication of EP3820727A1 publication Critical patent/EP3820727A1/de
Application granted granted Critical
Publication of EP3820727B1 publication Critical patent/EP3820727B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213—Virtual instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B60K35/235—Head-up displays [HUD] with means for detecting the driver's gaze direction or eye points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/175—Autonomous driving
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the invention relates to a method for operating a display device worn on the head of a vehicle occupant of a motor vehicle of the type specified in the preamble of patent claim 1.
  • the invention also relates to a display system for a motor vehicle for carrying out such a method.
  • augmented reality for a vehicle occupant by means of display devices that can be worn on the head.
  • the DE 10 2013 005 342 A1 a motor vehicle operating device, comprising data glasses for displaying an augmented reality, with virtual projection surfaces being defined in an interior of a motor vehicle, which are superimposed by means of the data glasses.
  • the DE 10 2014 006 732 A1 shows an image overlay of virtual objects in a camera image.
  • Data glasses are used to display an augmented reality in an interior of a vehicle, with a representation of an augmented reality being masked out in a region of a real body that is detected.
  • the DE 10 2014 214 516 A1 shows a device and a method for rendering data in an augmented reality for an occupant of a vehicle.
  • the device includes data glasses for generating serves a virtual reality, which is displayed on a projection surface.
  • the display device is controlled, taking into account the predefined vehicle areas, in such a way that the vehicle areas are not superimposed by means of the displayed content.
  • the display device worn on the head can be augmented reality glasses, mixed reality glasses or augmented reality contact lenses.
  • the display device is therefore designed to mix the natural visual perception of the vehicle occupant with an artificial, computer-generated visual perception.
  • a wide variety of content can be displayed in the vehicle occupant's field of vision by means of the display device worn on the head.
  • the vehicle occupant is a driver of the motor vehicle, for example, it can be ensured in this case in particular that the contents displayed by the display device do not distract him or disturb him from his actual driving task.
  • Essential information such as speed displays in the instrument cluster or by means of a head-up display, cannot be overlaid by means of the display device worn on the head, for example.
  • the vehicle areas can be, for example, vehicle-side display devices or vehicle-side display areas for a wide variety of information.
  • an instrument cluster of the motor vehicle can be such a vehicle area that must not be overlaid by the display device worn on the head.
  • the same can also apply, for example, to an area of a windshield of the motor vehicle onto which a head-up display projects a wide variety of information.
  • information that is essential for the driving task such as the maximum permissible speeds, the current speeds and the like, can be reliably perceived by the driver of the motor vehicle, even if he is wearing the display device on his head.
  • the method according to the invention thus ensures that a vehicle occupant wearing the display device can reliably visually perceive important displays in the motor vehicle and also his vehicle surroundings at any time, even if he is wearing the display device on his head.
  • An advantageous embodiment of the invention provides that an arrangement of the display device relative to the specified vehicle areas is determined and taken into account when the display device is activated. With knowledge of the relative arrangement of the display device, it is possible to ensure that the predefined areas are not overlaid with the contents of the display device by means of the display device.
  • a further advantageous embodiment of the invention provides that the field of vision of the vehicle occupant carrying the display device is determined and taken into account when the display device is activated. For example, a viewing direction of the vehicle occupant can be determined in order to infer the vehicle occupant's field of vision.
  • the display device can have suitable sensors for this purpose, for example cameras or the like directed at the vehicle occupant's eyes, in order to be able to reliably determine the vehicle occupant's field of vision. With knowledge of the field of vision of the vehicle occupant wearing the display device on his head, it is possible in a particularly precise manner to leave out the predetermined vehicle areas when displaying content using the display device.
  • the predetermined vehicle areas that are not Contents of the display device may be superimposed, are transmitted to the display device via an on-board data interface.
  • the data is preferably transmitted wirelessly between the data interface on the vehicle and the display device.
  • the data interface on the vehicle can be coupled to a vehicle BUS, for example, via which a wide variety of information about the motor vehicle can be provided, such as where exactly certain displays or other display devices or projection surfaces for a head-up display or the like of the motor vehicle are located. It is just as possible to provide information via the data interface on the vehicle about the positions at which various windows, rear-view mirrors, exterior mirrors and the like of the motor vehicle are located.
  • the communication between the data interface on the vehicle and the display device worn on the head is preferably permanent and cannot be deactivated. In this way it can be ensured that the information on the predefined vehicle areas is permanently taken into account when the display device is activated and when corresponding content is displayed.
  • a further advantageous embodiment of the invention provides that as long as there is no data connection between the vehicle-side data interface and the display device, the display of content by means of the display device is suppressed. In this way it can be ensured that the display device can only display content if this is supplied with data by means of the vehicle-side data slices, which define the specified vehicle areas that must not be superimposed by means of the contents of the display device.
  • a blocking function which prevents content from being displayed, is preferably integrated in the display device. Only when a functioning data connection is detected does the blocking function enable content to be displayed. If the data connection breaks down, the blocking function becomes active. In this way it can be ensured that the display device does not overlay any areas of the vehicle which in particular contain important information for a driver or which are relevant for observing the traffic situation. The safety when driving the vehicle can be significantly increased.
  • the predefined vehicle areas which must not be overlaid by means of the contents of the display device, are transmitted to the display device via a data interface of an app external to the vehicle. If, for example, the information or data transmission regarding the specified vehicle areas cannot take place via the vehicle-side data interface and the display device that can be worn on the head, at least information about the specified vehicle areas that must not be superimposed using the content of the display device can be sent via the said data interface to the vehicle-external app be transmitted to the display device.
  • This vehicle-external app can be operated directly on the display device, for example. It would be conceivable, for example, for the vehicle-specific vehicle areas to be specified using the app.
  • the display device can, for example, automatically determine with a corresponding coupling with the motor vehicle in question, for example via a Bluetooth connection or the like, in which motor vehicle the display device is operated, as a result of which the vehicle-external app, which can be installed on the display device itself, for example, automatically specifies the vehicle areas that may not be overlaid by the contents of the display device. It is also conceivable that the vehicle-external app is installed, for example, on a smartphone, which then preferably wirelessly transmits the data relating to the specified vehicle areas that must not be superimposed using the contents of the display device. Smartphones can usually be coupled to an infotainment system of a motor vehicle via Bluetooth or via WLAN, for example.
  • the app installed on the smartphone after establishing the connection with the infotainment system, determines what kind of motor vehicle it is in order to specify the corresponding vehicle areas based on this, which may not be overlaid with the content of the display device and relevant data transmitted to the display device.
  • a further advantageous embodiment of the invention provides that if the vehicle occupant carrying the display device is a driver of the motor vehicle, any display of content that does not support a driving task is prevented by means of the display device in relation to his field of vision in the area of windows of the motor vehicle. It is possible, for example, for the display device to be allowed to display navigation information, information on permissible maximum speeds and the like in the area of a windshield, for example, while preventing the display device from showing any information that is not related to the driving task in the driver's field of vision appears in the area of windows of the motor vehicle. In this way it can be ensured that the driver is not distracted from his actual driving task and the perception of the vehicle environment.
  • the vehicle areas that must not be superimposed by means of the contents of the display device are specified differently if the motor vehicle is driving autonomously or is being driven manually.
  • the carrier of the display device is the driver of the motor vehicle, it can be useful to distinguish whether the motor vehicle is currently driving autonomously or is being driven manually by the driver.
  • the display device may, for example, also display entertaining content in the driver's field of vision where, for example, an instrument cluster of the motor vehicle is located.
  • the display device can be controlled in such a way that it at least does not overlay any information in the area of the instrument cluster that has nothing to do with the driving task. Provision can also be made, for example, for the display device to output a message or a warning when autonomous driving operation of the motor vehicle is about to end. In this way, the carrier of the display device, in particular if it is the driver of the motor vehicle, can be informed at an early stage that he will soon have to take over manual driving of the motor vehicle.
  • the vehicle areas that must not be overlaid by means of the contents of the display device are specified differently if the vehicle occupant carrying the display device is a driver or passenger of the motor vehicle.
  • a vehicle-mounted camera it is possible to use a vehicle-mounted camera to determine whether the vehicle occupant wearing the display device on his head is in a driver's seat or in a Seated in the front passenger seat or on a back seat of the motor vehicle in order to reliably determine whether the carrier of the display device is the driver or just a passenger.
  • the display device worn on the head is only controlled in such a way that the driver is not disturbed when performing the driving task and supports it as best as possible.
  • the display device For the passenger, on the other hand, it is entirely possible to use the display device to show information or content, in particular of an entertaining nature, even if this obscures a view from the windshield of the motor vehicle or, for example, an instrument cluster of the motor vehicle or the like. Because a distinction is made as to whether the carrier of the display device is the driver or just a passenger, the display device can always be controlled as optimally as possible.
  • the display device according to the invention for a motor vehicle comprises a display device that can be worn on the head and a data interface for carrying out the method according to the invention or an advantageous embodiment of the method according to the invention.
  • Advantageous configurations of the method according to the invention are to be regarded as advantageous configurations of the display system according to the invention and vice versa, the display system having in particular means for carrying out the method steps.
  • the display device is augmented reality glasses, mixed reality glasses or augmented reality contact lenses.
  • the display device can therefore be used to display a wide variety of content in the vehicle occupant's field of vision, which can overlay the visually perceptible reality with a wide variety of content and thus enrich it.
  • the drawing shows a schematic representation of a motor vehicle in which a vehicle occupant sits who has put on augmented reality glasses, by means of which a wide variety of information can be displayed in the vehicle occupant's field of vision.
  • a motor vehicle 1 is shown in a highly schematic representation in the single figure.
  • a vehicle occupant 2 who has put on augmented reality glasses 3 is sitting in motor vehicle 1 .
  • the augmented reality glasses 3 are connected to a data interface 4 on the vehicle.
  • the augmented reality glasses 3 can be used to display a wide variety of information for the vehicle occupant 2 in his field of vision, for example to support a driving task or simply to entertain the vehicle occupant 2 .
  • the augmented reality glasses 3 it is possible to use the augmented reality glasses 3 to display navigation instructions, information about the current speed of the motor vehicle 1, the current maximum speed and the like in the field of view of the vehicle occupant 2 .
  • the augmented reality glasses 3 are controlled, taking into account the predefined vehicle areas, in such a way that the vehicle areas 5 are not overlaid by the displayed content.
  • the vehicle areas 5 can be, for example, various displays of the motor vehicle 1, an instrument cluster of the motor vehicle 1, a projection area of a head-up display, interior mirrors, rear-view mirrors, windows of the motor vehicle and the like.
  • the vehicle-side interface 4 it is also possible via the vehicle-side interface 4 to provide information about what content is currently being reproduced with which display devices of the motor vehicle 1 .
  • the augmented reality glasses 3 can be controlled in such a way that they are displayed at exactly the same point where the head-up display shows this information displays the same information when the vehicle occupant 2 turns his head so that he looks at the display area or the projection surface of the head-up display.
  • the same can also apply to an instrument cluster of motor vehicle 1 .
  • the augmented reality glasses 3 can be controlled in such a way that areas of the instrument cluster or the entire instrument cluster or, for example, a projection surface of a head-up display are always cut out in such a way that the augmented reality glasses 3 displayed contents do not overlay these predetermined vehicle areas 5 .
  • Both a relative arrangement of the augmented reality glasses 3 to the predefined vehicle areas 5 and the field of vision of the vehicle occupant 2 can be determined and taken into account when controlling the augmented reality glasses 3 . In this way, it can be reliably ensured that the specified vehicle areas 5 do not contain the content of the augmented reality glasses 3 are crossfaded.
  • vehicle-side data interface 4 fails or, for example, does not exist at all, it is also possible that the specified vehicle areas that must not be superimposed using the content of the augmented reality glasses 3, via a data interface of a vehicle-external app to the augmented reality -Glasses 3 are transferred.
  • This app can be installed, for example, on the augmented reality glasses 3 itself or, for example, on a smartphone carried by the vehicle occupant 2 .
  • this app can in turn generate data that characterizes the specified areas of the vehicle that must not be superimposed using the content of the augmented reality glasses 3 . If the vehicle-side data interface 4 does not work or is simply not available in the motor vehicle 1 in question, the said vehicle-external app at least offers the possibility of defining the predefined vehicle areas 5 that must not be superimposed using the content of the augmented reality glasses 3 .
  • the vehicle occupant 2 is a driver of the motor vehicle 1, it can be provided that, based on his field of vision in the area of windows of the motor vehicle 1, any display of content by means of the augmented reality glasses 3 that is not a driving task is prevented support.
  • the same can also apply to side mirrors or rear-view mirrors of motor vehicle 1, for example. Provision can also be made for the entire instrument cluster of motor vehicle 1 to be excluded in this case, ie no content can be displayed using the augmented reality glasses 3 that would overlay the instrument cluster with content for the driver's field of vision.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Instrument Panels (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

  • Die Erfindung betrifft ein Verfahren zum Betreiben einer von einem Fahrzeuginsassen eines Kraftfahrzeugs am Kopf getragenen Anzeigeeinrichtung der im Oberbegriff des Patentanspruchs 1 angegebenen Art. Des Weiteren betrifft die Erfindung noch ein Anzeigesystem für ein Kraftfahrzeug zum Durchführen eines solchen Verfahrens.
  • Es ist an sich bekannt, mittels am Kopf tragbarer Anzeigeeinrichtungen eine erweiterte Realität - sogenannte Augmented-Reality - für einen Fahrzeuginsassen zu schaffen. So zeigt beispielsweise die DE 10 2013 005 342 A1 eine Kraftfahrzeug-Bedienvorrichtung, umfassend eine Datenbrille zur Darstellung einer erweiterten Realität, wobei in einem Innenraum eines Kraftfahrzeugs virtuelle Projektionsflächen definiert werden, die mittels der Datenbrille überblendet werden.
  • Die DE 10 2014 006 732 A1 zeigt eine Bildüberlagerung von virtuellen Objekten in einem Kamerabild. Eine Datenbrille dient zur Darstellung einer erweiterten Realität in einem Innenraum eines Fahrzeugs, wobei in einem Bereich eines erfassten realen Körpers eine Darstellung einer erweiterten Realität ausgeblendet wird.
  • Die DE 10 2014 214 516 A1 zeigt eine Vorrichtung und ein Verfahren zur Wiedergabe von Daten in einer erweiterten Realität für einen Insassen eines Fahrzeugs. Die Vorrichtung umfasst eine Datenbrille, die zur Erzeugung einer virtuellen Realität dient, welche auf einer Projektionsfläche dargestellt wird.
  • Es ist die Aufgabe der vorliegenden Erfindung, eine Lösung bereitzustellen, mittels welcher eine Darstellung einer erweiterten Realität in einem Fahrzeug besonders sicher erfolgen kann.
  • Diese Aufgabe wird durch ein Verfahren zum Betreiben einer von einem Fahrzeuginsassen eines Kraftfahrzeugs am Kopf getragenen Anzeigeeinrichtung sowie durch ein Anzeigesystem für ein Kraftfahrzeug mit den Merkmalen der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen und nicht-trivialen Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.
  • Bei dem erfindungsgemäßen Verfahren zum Betreiben einer von einem Fahrzeuginsassen eines Kraftfahrzeugs am Kopf getragenen Anzeigeeinrichtung werden mittels der Anzeigeeinrichtung Inhalte in einem Sichtfeld des Fahrzeuginsassen eingeblendet. Dabei werden Fahrzeugbereiche vorgegeben, die nicht mittels Inhalten der Anzeigeeinrichtung überblendet werden dürfen.
  • Die Anzeigeeinrichtung wird unter Berücksichtigung der vorgegebenen Fahrzeugbereiche so angesteuert, dass die Fahrzeugbereiche nicht mittels der angezeigten Inhalte überblendet werden.
  • Bei der am Kopf getragenen Anzeigeeinrichtung kann es sich um eine Augmented-Reality-Brille, eine Mixed-Reality-Brille oder auch um eine Augmented-Reality-Kontaktlinse handeln. Die Anzeigeeinrichtung ist also dazu ausgelegt, die natürliche visuelle Wahrnehmung des Fahrzeuginsassen mit einer künstlichen, computererzeugten visuellen Wahrnehmung zu vermischen. So können mittels der am Kopf getragenen Anzeigeeinrichtung verschiedenste Inhalte ins Sichtfeld des Fahrzeuginsassen eingeblendet werden.
  • Um eine besonders sichere Nutzung der am Kopf tragbaren Anzeigeeinrichtung im Kraftfahrzeug sicherzustellen, ist es dabei vorgesehen, die Fahrzeugbereiche vorzugegeben, die nicht mittels Inhalten der Anzeigeeinrichtung überblendet werden dürfen.
  • Handelt es sich bei dem Fahrzeuginsassen zum Beispiel um einen Fahrer des Kraftfahrzeugs, kann insbesondere in diesem Fall sichergestellt werden, dass dieser von den mittels der Anzeigeeinrichtung angezeigten Inhalten nicht von seiner eigentlichen Fahraufgabe abgelenkt beziehungsweise bei dieser gestört wird.
  • Wesentliche Informationen, wie beispielsweise Geschwindigkeitsanzeigen im Kombiinstrument oder mittels eines Head-up-Displays können so zum Beispiel nicht mittels der am Kopf getragenen Anzeigeeinrichtung überblendet werden.
  • Bei den Fahrzeugbereichen kann es sich beispielsweise um fahrzeugseitige Anzeigeeinrichtungen beziehungsweise fahrzeugseitige Anzeigeflächen für verschiedenste Informationen handeln. So kann beispielsweise ein Kombiinstrument des Kraftfahrzeugs ein solcher Fahrzeugbereich sein, der mittels der am Kopf getragenen Anzeigeeinrichtung nicht überblendet werden darf.
  • Gleiches kann beispielsweise auch für einen Bereich einer Windschutzscheibe des Kraftfahrzeugs gelten, auf welchen ein Head-up-Display verschiedenste Informationen projiziert. So können insbesondere für die Fahraufgabe wesentliche Informationen, wie maximal zulässige Geschwindigkeiten, die aktuelle Geschwindigkeiten und dergleichen, zuverlässig vom Fahrer des Kraftfahrzeugs wahrgenommen werden, auch wenn er die Anzeigeeinrichtung auf dem Kopf trägt.
  • Insgesamt wird mittels des erfindungsgemäßen Verfahrens also sichergestellt, dass ein die Anzeigeeinrichtung tragender Fahrzeuginsasse wichtige Anzeigen im Kraftfahrzeug und auch seine Fahrzeugumgebung jederzeit zuverlässig visuell wahrnehmen kann, auch wenn er die Anzeigeeinrichtung auf dem Kopf trägt.
  • Eine vorteilhafte Ausführungsform der Erfindung sieht vor, dass eine relative Anordnung der Anzeigeeinrichtung zu den vorgegebenen Fahrzeugbereichen ermittelt und bei der Ansteuerung der Anzeigeeinrichtung berücksichtigt wird. In Kenntnis der relativen Anordnung der Anzeigeeinrichtung ist es möglich, sicherzustellen, dass mittels der Anzeigeeinrichtung die vorgegebenen Bereiche nicht mit Inhalten der Anzeigeeinrichtung überblendet werden.
  • Eine weitere vorteilhafte Ausführungsform der Erfindung sieht vor, dass das Sichtfeld des die Anzeigeeinrichtung tragenden Fahrzeuginsassen ermittelt und bei der Ansteuerung der Anzeigeeinrichtung berücksichtigt wird. Beispielsweise kann eine Blickrichtung des Fahrzeuginsassen ermittelt werden, um auf das Blickfeld des Fahrzeuginsassen zu schließen. Die Anzeigeeinrichtung kann dafür geeignete Sensoren, beispielsweise auf die Augen des Fahrzeuginsassen gerichtete Kameras oder dergleichen aufweisen, um das Sichtfeld des Fahrzeuginsassen zuverlässig ermitteln zu können. In Kenntnis des Sichtfelds des die Anzeigeeinrichtung am Kopf tragenden Fahrzeuginsassen ist es besonders exakt möglich, die vorgegebenen Fahrzeugbereiche beim Anzeigen von Inhalten mittels der Anzeigeeinrichtung auszusparen.
  • Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung ist es vorgesehen, dass die vorgegebenen Fahrzeugbereiche, die nicht mittels Inhalten der Anzeigeeinrichtung überblendet dürfen, über eine fahrzeugseitige Datenschnittstelle an die Anzeigeeinrichtung übertragen werden. Die Datenübertragung zwischen der fahrzeugseitigen Datenschnittstelle und der Anzeigeeinrichtung erfolgt vorzugsweise drahtlos. Die fahrzeugseitige Datenschnittstelle kann beispielsweise an einen Fahrzeug-BUS gekoppelt sein, über welchen verschiedenste Informationen zum Kraftfahrzeug bereitgestellt werden können, wie zum Beispiel, wo genau sich bestimmte Displays oder andere Anzeigeeinrichtungen beziehungsweise Projektionsflächen für ein Head-up-Display oder dergleichen des Kraftfahrzeugs befinden. Genauso ist es möglich, über die fahrzeugseitige Datenschnittstelle Informationen darüber bereitzustellen, an welchen Positionen sich verschiedene Fenster, Rückspiegel, Außenspiegel und dergleichen des Kraftfahrzeugs befinden. Auch ist es möglich, über die fahrzeugseitige Datenschnittstelle Daten darüber bereitzustellen, mittels welcher Anzeigeeinrichtung des Kraftfahrzeugs gerade welche Informationen beziehungsweise Inhalte angezeigt werden. Über die fahrzeugseitige Datenschnittstelle ist es also möglich, die vorgegebenen Fahrzeugbereiche, die nicht mittels Inhalten der Anzeigeeinrichtung überblendet werden dürfen, für die am Kopf getragene Anzeigeeinrichtung zuverlässig zu definieren. Vorzugsweise ist die Kommunikation zwischen der fahrzeugseitigen Datenschnittstelle und der am Kopf getragenen Anzeigeeinrichtung permanent und nicht deaktiverbar. So kann sichergestellt werden, dass die Information zu den vorgegebenen Fahrzeugbereichen permanent beim Ansteuern der Anzeigeeinrichtung und beim Anzeigen von entsprechenden Inhalten berücksichtigt werden.
  • Eine weitere vorteilhafte Ausführungsform der Erfindung sieht vor, dass solange keine Datenverbindung zwischen der fahrzeugseitigen Datenschnittstelle und der Anzeigeeinrichtung besteht, das Einblenden von Inhalten mittels der Anzeigeeinrichtung unterbunden wird. So kann sichergestellt werden, dass die Anzeigeeinrichtung nur Inhalte einblenden kann, wenn diese mittels der fahrzeugseitigen Datenschnitte mit Daten versorgt wird, welche die vorgegebenen Fahrzeugbereiche definieren, die nicht mittels Inhalten der Anzeigeeinrichtung überblendet dürfen.
  • Solange keine Datenverbindung zwischen fahrzeugseitiger Datenschnittstelle und Anzeigeeinrichtung besteht, kann die Anzeigeeinrichtung keine Inhalte einblenden. Vorzugsweise ist eine Sperrfunktion, welche das Einblenden von Inhalten unterbindet, in der Anzeigeeinrichtung integriert. Nur wenn eine funktionsfähige Datenverbindung festgestellt wird, schaltet die Sperrfunktion das Einblenden von Inhalten frei. Bricht die Datenverbindung ab, so wird die Sperrfunktion aktiv. So kann sichergestellt werden, dass die Anzeigeeinrichtung keine Fahrzeugbereiche überblendet, welche insbesondere für einen Fahrer wesentliche Informationen enthalten oder für die Beobachtung des Verkehrsgeschehens relevant sind. Die Sicherheit beim Führen des Fahrzeugs kann dadurch erheblich gesteigert werden.
  • In weiterer vorteilhafter Ausgestaltung der Erfindung ist es vorgesehen, dass die vorgegebenen Fahrzeugbereiche, die nicht mittels Inhalten der Anzeigeeinrichtung überblendet dürfen, über eine Datenschnittstelle einer fahrzeugexternen App an die Anzeigeeinrichtung übertragen werden. Sollte beispielsweise die Informationsübermittlung beziehungsweise Datenübermittlung bezüglich der vorgegebenen Fahrzeugbereiche nicht über die fahrzeugseitige Datenschnittstelle und der am Kopf tragbaren Anzeigeeinrichtung erfolgen können, können zumindest Informationen über die vorgegebenen Fahrzeugbereiche, die nicht mittels Inhalten der Anzeigeeinrichtung überblendet werden dürfen, über die besagte Datenschnittstelle der fahrzeugexternen App an die Anzeigeeinrichtung übertragen werden. Diese fahrzeugexterne App kann beispielsweise direkt auf der Anzeigeeinrichtung betrieben werden. So wäre es zum Beispiel denkbar, dass fahrzeugspezifisch mittels der App die entsprechenden Fahrzeugbereiche vorgegeben werden. So kann die Anzeigeeinrichtung beispielsweise bei einer entsprechenden Kopplung mit dem betreffenden Kraftfahrzeug, zum Beispiel über eine Bluetoothverbindung oder dergleichen, automatisch feststellen, in was für einem Kraftfahrzeug die Anzeigeeinrichtung betrieben wird, infolgedessen die fahrzeugexterne App, welche zum Beispiel auf der Anzeigeeinrichtung selbst installiert sein kann, die Fahrzeugbereiche automatisch vorgibt, die nicht mittels Inhalten der Anzeigeeinrichtung überblendet werden dürfen. Ebenso ist es denkbar, dass die fahrzeugexterne App beispielsweise auf einem Smartphone installiert ist, welches dann die Daten bezüglich der vorgegebenen Fahrzeugbereiche, die nicht mittels Inhalten der Anzeigeeinrichtung überblendet werden dürfen, vorzugsweise drahtlos an die Anzeigeeinrichtung überträgt. Smartphones können üblicherweise zum Beispiel über Bluetooth oder über WLAN mit einem Infotainmentsystem eines Kraftfahrzeugs gekoppelt werden. In diesem Zuge wäre es denkbar, dass die auf dem Smartphone installierte App nach Herstellung der Verbindung mit dem Infotainmentsystem feststellt, um was für ein Kraftfahrzeug es sich handelt, um basierend darauf die entsprechenden Fahrzeugbereiche vorzugeben, die nicht mittels Inhalten der Anzeigeeinrichtung überblendet werden dürfen und diesbezügliche Daten an die Anzeigeeinrichtung übermittelt.
  • Eine weitere vorteilhafte Ausführungsform der Erfindung sieht vor, dass falls es sich beim die Anzeigeeinrichtung tragenden Fahrzeuginsassen um einen Fahrer des Kraftfahrzeugs handelt, bezogen auf sein Sichtfeld im Bereich von Fenstern des Kraftfahrzeugs jegliches Einblenden von Inhalten mittels der Anzeigeeinrichtung unterbunden wird, welche keine Fahraufgabe unterstützen. So ist es beispielsweise möglich, dass der Anzeigeeinrichtung erlaubt wird, beispielsweise im Bereich einer Windschutzscheibe Navigationsinformationen, Informationen zu zulässigen Höchstgeschwindigkeiten und dergleichen einzublenden, wohingegen es unterbunden wird, dass die Anzeigeeinrichtung jegliche Informationen, die keinen Bezug zur Fahraufgabe haben, nicht im Sichtfeld des Fahrers im Bereich von Fenstern des Kraftfahrzeugs einblendet. So kann sichergestellt werden, dass der Fahrer nicht von seiner eigentlichen Fahraufgabe und der Wahrnehmung des Fahrzeugumfelds abgelenkt wird.
  • Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung ist es vorgesehen, dass die Fahrzeugbereiche, die nicht mittels Inhalten der Anzeigeeinrichtung überblendet werden dürfen, unterschiedlich vorgegeben werden, wenn das Kraftfahrzeug autonom fährt oder manuell gefahren wird. insbesondere wenn es sich beim Träger der Anzeigeeinrichtung um den Fahrer des Kraftfahrzeugs handelt, kann es sinnvoll sein zu unterscheiden, ob das Kraftfahrzeug gerade autonom fährt oder vom Fahrer manuell gefahren wird. Im zuerst genannten Fall ist es denkbar, dass die Anzeigeeinrichtung zum Beispiel auch unterhaltende Inhalte auch dort im Sichtfeld des Fahrers einblenden darf, wo sich beispielsweise gerade ein Kombiinstrument des Kraftfahrzeugs befindet. Fährt der Fahrer das Kraftfahrzeug aber gerade selbst, so kann es vorgesehen sein, dass die Anzeigeeinrichtung so angesteuert wird, dass diese zumindest keine solchen Informationen im Bereich des Kombiinstruments überblendet, welche nichts mit der Fahraufgabe zu tun haben. Auch kann es beispielsweise vorgesehen sein, dass die Anzeigeeinrichtung einen Hinweis beziehungsweise eine Warnung ausgibt, wenn ein autonomer Fahrbetrieb des Kraftfahrzeugs demnächst beendet wird. So kann der Träger der Anzeigeeinrichtung, insbesondere wenn es sich dabei um den Fahrer des Kraftfahrzeugs handelt, frühzeitig darauf hingewiesen werden, dass er bald den manuellen Fahrbetrieb des Kraftfahrzeugs übernehmen muss.
  • Erfindungsgemäß ist es vorgesehen, dass die Fahrzeugbereiche, die nicht mittels Inhalten der Anzeigeeinrichtung überblendet dürfen, unterschiedlich vorgegeben werden, wenn es sich beim die Anzeigeeinrichtung tragenden Fahrzeuginsassen um einen Fahrer oder Mitfahrer des Kraftfahrzeugs handelt. Beispielsweise ist es möglich, mittels einer fahrzeugseitigen Kamera festzustellen, ob der die Anzeigeeinrichtung am Kopf tragende Fahrzeuginsasse auf einem Fahrersitz oder auf einem Beifahrersitz oder auf einer Rückbank des Kraftfahrzeugs sitzt, um zuverlässig festzustellen, ob der Träger der Anzeigeeinrichtung der Fahrer oder lediglich ein Mitfahrer ist. Beim Fahrer ist es wichtig zu beachten, dass die am Kopf getragene Anzeigeeinrichtung nur so angesteuert wird, dass sich den Fahrer beim Wahrnehmen der Fahraufgabe nicht stört und bestmöglich unterstützt. Beim Mitfahrer hingegen ist es durchaus möglich, mittels der Anzeigeeinrichtung Informationen beziehungsweise Inhalte, insbesondere auch von unterhaltendem Charakter, einzublenden, auch wenn diese beispielsweise dadurch einen Blick aus der Windschutzscheibe des Kraftfahrzeugs oder zum Beispiel auf ein Kombiinstrument des Kraftfahrzeugs oder dergleichen verdecken. Dadurch, dass unterschieden wird, ob es sich beim Träger der Anzeigeeinrichtung um den Fahrer oder lediglich um einen Mitfahrer handelt, kann die Anzeigeeinrichtung immer möglichst optimal angesteuert werden.
  • Das erfindungsgemäße Anzeigeeinrichtung für ein Kraftfahrzeug umfasst eine am Kopf tragbare Anzeigeeinrichtung und eine Datenschnitte zum Durchführen des erfindungsgemäßen Verfahrens oder einer vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens. Vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens sind als vorteilhafte Ausgestaltungen des erfindungsgemäßen Anzeigesystem und umgekehrt anzusehen, wobei das Anzeigesystem insbesondere Mittel zur Durchführung der Verfahrensschritte aufweist.
  • Eine vorteilhaften Ausführungsform des Anzeigesystems sieht vor, dass die Anzeigeeinrichtung eine Augmented-Reality-Brille, eine Mixed-Reality-Brille oder eine Augmented-Reality-Kontaktlinse ist. Mittels der Anzeigeeinrichtung können also im Sichtfeld des Fahrzeuginsassen verschiedenste Inhalte angezeigt werden, welche die visuell wahrnehmbare Realität mit verschiedensten Inhalten überblenden und somit anreichern können.
  • Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele sowie anhand der Zeichnung.
  • Die Zeichnung zeigt in der einzigen Figur eine schematische Darstellung eines Kraftfahrzeugs, in dem ein Fahrzeuginsasse sitzt, der eine Augmented-Reality-Brille aufgesetzt hat, mittels welcher verschiedenste Informationen im Sichtfeld des Fahrzeuginsassen eingeblendet werden können.
  • Ein Kraftfahrzeug 1 ist in einer stark schematisierten Darstellung in der einzigen Figur gezeigt. Im Kraftfahrzeug 1 sitzt ein Fahrzeuginsasse 2, der eine Augmented-Reality-Brille 3 aufgesetzt hat. Die Augmented-Reality-Brille 3 ist mit einer fahrzeugseitigen Datenschnittstelle 4 verbunden. Mittels der Augmented-Reality-Brille 3 können für den Fahrzeuginsassen 2 in dessen Sichtfeld unterschiedlichste Informationen eingeblendet werden, um beispielsweise eine Fahraufgabe zu unterstützen oder auch um den Fahrzeuginsassen 2 einfach nur zu unterhalten.
  • So ist es beispielsweise möglich, mittels der Augmented-Reality-Brille 3 im Sichtfeld des Fahrzeuginsassen 2 Navigationshinweise, Informationen zur aktuellen Geschwindigkeit des Kraftfahrzeugs 1, zur aktuell zulässigen Höchstgeschwindigkeit und dergleichen einzublenden. Ferner ist es auch möglich, mittels der Augmented-Reality-Brille 3 - insbesondere auf Wunsch des Fahrzeuginsassen 2 - Informationen im Fahrzeugumfeld einzublenden, beispielsweise Informationen über Sehenswürdigkeiten, Restaurants oder anderer Points of Interest. Wichtig beim Betreiben der Augmented-Reality-Brille 3 ist, dass der Fahrzeuginsasse 2, insbesondere wenn es sich dabei um einen Fahrer des Kraftfahrzeugs 1 handelt, nicht bei der Wahrnehmung seiner Fahraufgabe gestört oder von dieser abgelenkt wird.
  • Beim Betreiben der Augmented-Reality-Brille 3 ist es daher vorgesehen, Fahrzeugbereiche 5 vorzugeben, die nicht mittels Inhalten der Augmented-Reality-Brille 3 überblendet werden dürfen.
  • Die Augmented-Reality-Brille 3 wird unter Berücksichtigung der vorgegebenen Fahrzeugbereiche so angesteuert, dass die Fahrzeugbereiche 5 nicht mittels der angezeigten Inhalte überblendet werden.
  • Bei den Fahrzeugbereichen 5 kann es sich beispielsweise um verschiedenste Displays des Kraftfahrzeugs 1, um ein Kombiinstrument des Kraftfahrzeugs 1, um einen Projektionsbereich eines Head-up-Displays, um Innenspiegel, Rückspiegel, Fenster des Kraftfahrzeugs und dergleichen handeln.
  • Über die fahrzeugseitige Schnittstelle 4 ist es vor allem auch möglich, Informationen darüber bereitzustellen, was für Inhalte gerade mit was für Anzeigeeinrichtungen des Kraftfahrzeugs 1 wiedergegeben werden. Wird mittels eines Head-up-Displays beispielsweise augenblicklich die aktuelle Geschwindigkeit des Kraftfahrzeugs 1 eingeblendet, so kann die Augmented-Reality-Brille 3 so angesteuert werden, dass diese genau an derselben Stelle, wo das Head-up-Display diese Information anzeigt, die gleiche Information anzeigt, wenn der Fahrzeuginsasse 2 seinen Kopf so dreht, dass er auf den Anzeigebereich beziehungsweise die Projektionsfläche des Head-up-Displays blickt. Gleiches kann auch für ein Kombiinstrument des Kraftfahrzeugs 1 gelten. Alternativ ist es auch möglich, dass die Augmented-Reality-Brille 3 so angesteuert wird, dass Bereiche des Kombiinstruments oder das gesamte Kombiinstrument oder beispielsweise eine Projektionsfläche eines Head-up-Displays immer so ausgespart werden, dass mittels der Augmented-Reality-Brille 3 angezeigte Inhalte diese vorgegebenen Fahrzeugbereiche 5 nicht überblenden.
  • Sowohl eine relative Anordnung der Augmented-Reality-Brille 3 zu den vorgegebenen Fahrzeugbereichen 5 als auch das Sichtfeld des Fahrzeuginsassen 2 können ermittelt und bei der Ansteuerung der Augmented-Reality-Brille 3 berücksichtigt werden. So kann zuverlässig sichergestellt werden, dass die vorgegebenen Fahrzeugbereiche 5 nicht mit Inhalten der Augmented-Reality-Brille 3 überblendet werden.
  • Sollte die fahrzeugseitige Datenschnittstelle 4 ausfallen oder beispielsweise gar nicht vorhanden sein, so ist es auch möglich, dass die vorgegebenen Fahrzeugbereiche, die nicht mittels Inhalten der Augmented-Reality-Brille 3 überblendet werden dürfen, über eine Datenschnittstelle einer fahrzeugexternen App an die Augmented-Reality-Brille 3 übertragen werden.
  • Diese App kann beispielsweise auf der Augmented-Reality-Brille 3 selbst oder beispielsweise auf einem vom Fahrzeuginsassen 2 mitgeführten Smartphone installiert sein. Durch Kommunikation zwischen dieser App und dem Kraftfahrzeug 1 ist es so beispielsweise möglich, festzustellen, um was für ein Kraftfahrzeug beziehungsweise um was für eine Kraftfahrzeugvariante es sich handelt. In Kenntnis dieser Information kann die App wiederum Daten generieren, welche die vorgegebenen Fahrzeugbereiche charakterisiert, die nicht mittels Inhalten der Augmented-Reality-Brille 3 überblendet werden dürfen. Sollte also die fahrzeugseitige Datenschnittstelle 4 nicht funktionieren oder schlichtweg im betreffenden Kraftfahrzeug 1 nicht vorhanden sein, so besteht durch die besagte fahrzeugexterne App zumindest die Möglichkeit, die vorgegebenen Fahrzeugbereiche 5 zu definieren, die nicht mittels Inhalten der Augmented-Reality-Brille 3 überblendet werden dürfen.
  • Falls es sich bei dem Fahrzeuginsassen 2 um einen Fahrer des Kraftfahrzeugs 1 handelt, kann es vorgesehen sein, dass bezogen auf sein Sichtfeld im Bereich von Fenstern des Kraftfahrzeugs 1 jegliches Einblenden von Inhalten mittels der Augmented-Reality-Brille 3 unterbunden wird, welche keine Fahraufgabe unterstützen. Gleiches kann beispielsweise auch für Seitenspiegel oder Rückspiegel des Kraftfahrzeugs 1 gelten. Auch kann es vorgesehen sein, dass in diesem Fall das gesamte Kombiinstrument des Kraftfahrzeugs 1 ausgenommen wird, also mittels der Augmented-Reality-Brille 3 keine Inhalte angezeigt werden können, die das Kombiinstrument für das Sichtfeld des Fahrers mit Inhalten überblenden würden.
  • Zudem kann auch unterschieden werden, ob das Kraftfahrzeug 1 gerade autonom fährt oder manuell gefahren wird. Handelt es sich beim Fahrzeuginsasse 2 um den Fahrer des Kraftfahrzeugs 1, so ist es im autonomen Fahrbetrieb denkbar, dass mittels der Augmented-Reality-Brille 3 keine oder wesentlich weniger der Fahrzeugbereiche 5 vorgesehen werden, in welchen die Augmented-Reality-Brille 3 keine Inhalte anzeigen darf. Sobald das Kraftfahrzeug 1 jedoch manuell gefahren wird, kann es zum Beispiel vorgesehen sein, dass sämtliche für die Führung des Kraftfahrzeugs 1 relevanten Fahrzeugbereiche 5 für die Überblendung von Inhalten mittels der Augmented-Reality-Brille 3 gesperrt werden. Ganz allgemein wird auch unterschieden, ob es sich bei dem Fahrzeuginsassen 2 um einen Fahrer oder um einen Mitfahrer handelt, wobei in Abhängigkeit davon die Fahrzeugbereiche 5 dann vorgegeben und die Augmented-Reality-Brille 3 entsprechend angesteuert wird.
  • Vorstehend war zwar nur die Rede von der Augmented-Reality-Brille 3, die beschriebenen Vorgehensweisen können aber ebenso auf Mixed-Reality-Brillen oder auch auf Augmented-Reality-Kontaktlinsen angewendet werden.

Claims (10)

  1. Verfahren zum Betreiben einer von einem Fahrzeuginsassen (2) eines Kraftfahrzeugs (1) am Kopf getragenen Anzeigeeinrichtung (3), bei welchem mittels der Anzeigeeinrichtung (3) Inhalte in einem Sichtfeld des Fahrzeuginsassen (2) eingeblendet werden, wobei
    - Fahrzeugbereiche (5) vorgegeben werden, die nicht mittels Inhalten der Anzeigeeinrichtung (3) überblendet werden dürfen;
    - die Anzeigeeinrichtung (3) unter Berücksichtigung der vorgegebenen Fahrzeugbereiche (5) so angesteuert wird, dass die Fahrzeugbereiche (5) nicht mittels der angezeigten Inhalte überblendet werden,
    dadurch gekennzeichnet, dass
    - unterschieden wird, ob es sich bei dem Fahrzeuginsassen (2) um einen Fahrer oder um einen Mitfahrer handelt, wobei in Anhängigkeit davon die Fahrzeugbereiche (5) dann vorgegeben und die Anzeigeeinrichtung (3) entsprechend angesteuert wird.
  2. Verfahren nach Anspruch 1,
    dadurch gekennzeichnet, dass
    eine relative Anordnung der Anzeigeeinrichtung (3) zu den vorgegebenen Fahrzeugbereichen ermittelt und bei der Ansteuerung der Anzeigeeinrichtung (3) berücksichtigt wird.
  3. Verfahren nach Anspruch 1 oder 2,
    dadurch gekennzeichnet, dass
    das Sichtfeld des die Anzeigeeinrichtung (3) tragenden Fahrzeuginsassen (2) ermittelt und bei der Ansteuerung der Anzeigeeinrichtung (3) berücksichtigt wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet, dass
    die vorgegebenen Fahrzeugbereiche (5), die nicht mittels Inhalten der Anzeigeeinrichtung (3) überblendet dürfen über eine fahrzeugseitige Datenschnittstelle (4) an die Anzeigeeinrichtung (3) übertragen werden.
  5. Verfahren nach Anspruch 4,
    dadurch gekennzeichnet, dass
    solange keine Datenverbindung zwischen der fahrzeugseitigen Datenschnittstelle (4) und der Anzeigeeinrichtung (3) besteht, das Einblenden von Inhalten mittels der Anzeigeeinrichtung (3) unterbunden wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet, dass
    die vorgegebenen Fahrzeugbereiche (5), die nicht mittels Inhalten der Anzeigeeinrichtung (3) überblendet dürfen, über eine Datenschnittstelle (4) einer fahrzeugexternen App an die Anzeigeeinrichtung (3) übertragen werden.
  7. Verfahren nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet, dass
    falls es sich beim die Anzeigeeinrichtung (3) tragenden Fahrzeuginsassen (2) um einen Fahrer des Kraftfahrzeugs (1) handelt, bezogen auf sein Sichtfeld im Bereich von Fenstern des Kraftfahrzeugs (1) jegliches Einblenden von Inhalten mittels der Anzeigeeinrichtung (3) unterbunden wird, welche keine Fahraufgabe unterstützen.
  8. Verfahren nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet, dass
    die Fahrzeugbereiche (5), die nicht mittels Inhalten der Anzeigeeinrichtung (3) überblendet werden dürfen unterschiedlich vorgegeben werden, wenn das Kraftfahrzeug (1) autonom fährt oder manuell gefahren wird.
  9. Anzeigesystem für ein Kraftfahrzeug (1), umfassend eine am Kopf tragbare Anzeigeeinrichtung (3) und eine Datenschnitte, dadurch gekennzeichnet, dass
    das Anzeigesystem zum Durchführen eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist.
  10. Anzeigesystem nach Anspruch 9,
    dadurch gekennzeichnet, dass
    die Anzeigeeinrichtung (3) eine Augmented-Reality-Brille eine Mixed-Reality-Brille oder eine Augmented-Reality-Kontaktlinse ist.
EP18769962.4A 2018-07-09 2018-09-07 Verfahren zum betreiben einer von einem fahrzeuginsassen eines kraftfahrzeugs am kopf getragenen anzeigeeinrichtung und anzeigesystem für ein kraftfahrzeug Active EP3820727B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018211261.4A DE102018211261A1 (de) 2018-07-09 2018-07-09 Verfahren zum Betreiben einer von einem Fahrzeuginsassen eines Kraftfahrzeugs am Kopf getragenen Anzeigeeinrichtung und Anzeigesystem für ein Kraftfahrzeug
PCT/EP2018/074166 WO2020011383A1 (de) 2018-07-09 2018-09-07 Verfahren zum betreiben einer von einem fahrzeuginsassen eines kraftfahrzeugs am kopf getragenen anzeigeeinrichtung und anzeigesystem für ein kraftfahrzeug

Publications (2)

Publication Number Publication Date
EP3820727A1 EP3820727A1 (de) 2021-05-19
EP3820727B1 true EP3820727B1 (de) 2022-05-11

Family

ID=63592700

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18769962.4A Active EP3820727B1 (de) 2018-07-09 2018-09-07 Verfahren zum betreiben einer von einem fahrzeuginsassen eines kraftfahrzeugs am kopf getragenen anzeigeeinrichtung und anzeigesystem für ein kraftfahrzeug

Country Status (5)

Country Link
US (1) US11364803B2 (de)
EP (1) EP3820727B1 (de)
CN (1) CN112384401B (de)
DE (1) DE102018211261A1 (de)
WO (1) WO2020011383A1 (de)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018211261A1 (de) 2018-07-09 2020-01-09 Audi Ag Verfahren zum Betreiben einer von einem Fahrzeuginsassen eines Kraftfahrzeugs am Kopf getragenen Anzeigeeinrichtung und Anzeigesystem für ein Kraftfahrzeug
KR102648818B1 (ko) * 2019-01-29 2024-03-19 현대자동차주식회사 차량용 인포테인먼트 장치 및 그의 제어 방법과 그를 포함하는 차량
DE102019206749A1 (de) * 2019-05-09 2020-11-12 Volkswagen Aktiengesellschaft Mensch-Maschine-Interaktion in einem Kraftfahrzeug
JP7384014B2 (ja) * 2019-12-06 2023-11-21 トヨタ自動車株式会社 表示システム
DE102020117352B4 (de) 2020-07-01 2023-06-15 Audi Aktiengesellschaft Ablenkungsfreie Projektion von Bediensymbolen im Fahrzeuginterieur
DE102021117848A1 (de) 2021-07-09 2023-01-12 Audi Aktiengesellschaft System mit Fahrzeug und AR-Brille
JP2023067533A (ja) * 2021-11-01 2023-05-16 トヨタ自動車株式会社 車両用表示制御装置
CN115185080B (zh) * 2021-12-27 2024-07-26 龚勋 一种车用可穿戴ar抬头显示系统
CN116774435A (zh) * 2023-05-16 2023-09-19 珠海小熙科技有限公司 一种车用抬头显示系统
CN116946021B (zh) * 2023-07-11 2026-03-20 智己汽车科技有限公司 用于汽车的智能可视眼镜及其控制方法
DE102024103360A1 (de) 2024-02-07 2025-08-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum betreiben einer ar-brille

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012218837A1 (de) * 2012-10-16 2014-06-12 Bayerische Motoren Werke Aktiengesellschaft Anzeigen von Darstellungen auf einem Head-Up Display und einem Head-mounted Display
DE102013005342A1 (de) 2013-03-26 2013-09-19 Daimler Ag Kraftfahrzeug, -bedienvorrichtung, und Bedienverfahren hierfür
DE102013021834B4 (de) * 2013-12-21 2021-05-27 Audi Ag Vorrichtung und Verfahren zum Navigieren innerhalb eines Menüs zur Fahrzeugsteuerung sowie Auswählen eines Menüeintrags aus dem Menü
DE102014006732B4 (de) 2014-05-08 2016-12-15 Audi Ag Bildüberlagerung von virtuellen Objekten in ein Kamerabild
DE102014214516A1 (de) 2014-07-24 2016-01-28 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Wiedergabe von Daten in einer erweiterten Realität für einen Insassen eines Fahrzeugs
CN104590167A (zh) 2014-12-30 2015-05-06 延锋伟世通电子科技（上海）有限公司 机动车辅助驾驶系统
EP3290284A1 (de) * 2016-08-30 2018-03-07 Honda Research Institute Europe GmbH Fahrzeug mit einem fahrersitz und mindestens einem beifahrersitz und verfahren zur bereitstellung von informationen zu einer aktuell erlebten fahrsituation für einen beifahrer und/oder mindestens einen mitreisenden
KR20180051842A (ko) * 2016-11-09 2018-05-17 엘지전자 주식회사 디스플레이 장치 및 디스플레이 제어 방법
CN207164368U (zh) * 2017-08-31 2018-03-30 北京新能源汽车股份有限公司 车载增强现实系统
DE102018211261A1 (de) 2018-07-09 2020-01-09 Audi Ag Verfahren zum Betreiben einer von einem Fahrzeuginsassen eines Kraftfahrzeugs am Kopf getragenen Anzeigeeinrichtung und Anzeigesystem für ein Kraftfahrzeug

Also Published As

Publication number Publication date
EP3820727A1 (de) 2021-05-19
WO2020011383A1 (de) 2020-01-16
CN112384401B (zh) 2022-02-01
US20210291657A1 (en) 2021-09-23
DE102018211261A1 (de) 2020-01-09
US11364803B2 (en) 2022-06-21
CN112384401A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
EP3820727B1 (de) Verfahren zum betreiben einer von einem fahrzeuginsassen eines kraftfahrzeugs am kopf getragenen anzeigeeinrichtung und anzeigesystem für ein kraftfahrzeug
EP3668742B1 (de) Verfahren zum betreiben eines fahrerassistenzsystems eines kraftfahrzeugs sowie kraftfahrzeug
EP2172801B1 (de) Verfahren für eine Anzeige einer visuellen Warndarstellung
DE102013005342A1 (de) Kraftfahrzeug, -bedienvorrichtung, und Bedienverfahren hierfür
EP3658976A1 (de) Verfahren zum bereitstellen einer anzeige in einem kraftfahrzeug, sowie kraftfahrzeug
DE102017215406A1 (de) Verfahren, mobiles Anwendergerät, Computerprogramm zum Erzeugen einer visuellen Information für zumindest einen Insassen eines Fahrzeugs
DE102017215404A1 (de) Verfahren, mobiles Anwendergerät, System, Computerprogramm zur Ansteuerung eines mobilen Anwendergeräts eines Insassen eines Fahrzeugs
DE102017119834A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs bei einem Abbiegevorgang, Fahrerassistenzsystem und Kraftfahrzeug
DE102023111366A1 (de) Steuerung eines Fahrzeugdisplays für farblich beeinträchtigte Betrachter
DE102014221821B4 (de) Verfahren und Vorrichtung zur Unterstützung des Betriebs eines zum autonomen Fahren ausgelegten Kraftfahrzeuges
DE102015003948B4 (de) Verfahren zum Betreiben einer in einem Kraftfahrzeug angeordneten Virtual-Reality-Brille und Virtual-Reality-System
WO2015036118A1 (de) Verfahren und system zum betreiben wenigstens einer anzeigeeinrichtung eines kraftwagens sowie kraftwagen mit einem system zum betreiben wenigstens einer anzeigeeinrichtung
EP4028819B1 (de) Verfahren zum betreiben eines am kopf tragbaren anzeigegeräts in einem kraftfahrzeug, steuereinrichtung, und am kopf tragbares anzeigegerät
WO2022028892A1 (de) Intelligentes head-up-display
EP3847050B1 (de) Verfahren und steuereinrichtung zum betreiben einer am kopf tragbaren anzeigeeinrichtung in einem kraftfahrzeug
EP4190615B1 (de) Verfahren und anzeigeeinrichtung zur visualisierung einer anordnung sowie wirkungsweise von umfeldsensoren eines kraftfahrzeugs
DE102021215029B4 (de) Verfahren zum Informationsaustausch zwischen Fahrzeugen
DE102013021137B4 (de) Verfahren zum Betreiben einer Datenschnittstelle eines Kraftwagens und Kraftwagen
DE102015007131B4 (de) Verfahren zum Betreiben eines Anzeigesystems und Anzeigesystem
WO2020035380A1 (de) Betrieb einer vr-brille in einem autonom fahrenden fahrzeug
WO2024028054A1 (de) Sicherheitssystem zur anpassung von in einem kraftfahrzeug dargestellten visuellen elemente, ein verfahren sowie ein kraftfahrzeug
DE102014221820A1 (de) Verfahren und Vorrichtung zur Unterstützung des Betriebs eines zum autonomen Fahren ausgelegten Kraftfahrzeuges
DE102023201997A1 (de) Verfahren zum Steuern einer Anzeigeeinrichtung, Steuereinrichtung sowie Kraftfahrzeug
DE102018221718A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems und Fahrerassistenzsystem
DE102012215037A1 (de) Zuweisen von Anzeigen von einem Head-up Display zu einem Head-mounted Display und umgekehrt

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210209

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20211201

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1491121

Country of ref document: AT

Kind code of ref document: T

Effective date: 20220515

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502018009668

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20220511

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220912

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220811

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220812

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220811

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220911

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502018009668

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

26N No opposition filed

Effective date: 20230214

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20220930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220907

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230530

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220930

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220907

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20180907

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 1491121

Country of ref document: AT

Kind code of ref document: T

Effective date: 20230907

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220511

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230907

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230907

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20250930

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20250923

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20250925

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20260410

Year of fee payment: 5