EP3837594A1 - Method for operating a mobile, portable output apparatus in a motor vehicle, context processing device, mobile output apparatus and motor vehicle - Google Patents

Method for operating a mobile, portable output apparatus in a motor vehicle, context processing device, mobile output apparatus and motor vehicle

Info

Publication number
EP3837594A1
EP3837594A1 EP19725969.0A EP19725969A EP3837594A1 EP 3837594 A1 EP3837594 A1 EP 3837594A1 EP 19725969 A EP19725969 A EP 19725969A EP 3837594 A1 EP3837594 A1 EP 3837594A1
Authority
EP
European Patent Office
Prior art keywords
motor vehicle
information
media content
context
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19725969.0A
Other languages
German (de)
French (fr)
Inventor
Daniel Profendiner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Publication of EP3837594A1 publication Critical patent/EP3837594A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/164—Infotainment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B60K2360/1868—Displaying information according to relevancy according to driving situations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/731—Instruments adaptations for specific vehicle types or users by comprising user programmable systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases

Definitions

  • the invention relates to a method for operating a mobile, portable output device, for example for operating data glasses that provide virtual reality (“VR glasses”, “AR glasses”).
  • the method specifically relates to the operation of the output device in a motor vehicle, for example while the motor vehicle is traveling.
  • augmented reality Systems for the use of virtual reality (“augmented reality”) are currently being developed in the vehicle. Such systems use movement data by means of localization of the motor vehicle in order to represent the movement of a virtual ego object.
  • the movement of the vehicle thus forms the basis for an in-vehicle system for a virtual reality ("in-car VR system", "in-car AR system”).
  • in-car VR system virtual reality
  • in-car AR system virtual reality
  • a passenger wears such data glasses in the motor vehicle
  • the passenger can play a computer game or watch a film, for example, in which the ego object accepts the movements of the motor vehicle.
  • Such a system can preferably be used by a passenger if the motor vehicle is operated in a piloted driving mode.
  • DE 10 2017 005 982 A1 describes a method for avoiding or reducing symptoms of kinetosis when using virtual reality glasses while driving in a vehicle. While driving, the virtual reality glasses next to a display of playback content an additional movable network structure is shown, the network structure also being moved in such a way that it conforms to a current dynamic driving state of motion of the vehicle.
  • DE 10 2015 003 882 A1 discloses a method for operating virtual reality glasses arranged in a motor vehicle.
  • the method includes, among other things, the step of detecting the movement of the motor vehicle and, in addition to displaying a first virtual environment, simultaneously displaying a second virtual environment in a second display area, which is displayed corresponding to the detected movement of the motor vehicle.
  • DE 101 56 219 C1 describes a method and a device for reducing the kinetose effect in passengers of means of transport and transportation.
  • Image signals are provided to the passenger sensitive to kinetosis via optical playback devices during the journey, which are modified in dependence on travel-specific movement data in such a way that for the passenger the visual collapse of the viewed images with the currently subjectively perceived situation. and movement values is correlated.
  • One object underlying the invention is to provide a system for providing an even more immersive virtual reality.
  • the object is achieved by the inventive method and the inventive devices according to the independent claims.
  • Advantageous further developments are given by the subclaims.
  • the invention is based on the idea of overcoming the existing disadvantages by using general, current information about an environment of the motor vehicle and / or location-based information about the environment and in a predetermined, thematic context of a media content of an output file the dispensing device is to be dispensed.
  • This information about an event in an environment of the motor vehicle is independent of a direction of movement of the motor vehicle, preferably of an own movement of the motor vehicle.
  • This creates a coherent, immersive system which means that much more sensory impressions acting on the user of the output device can be taken up during, for example, a journey into virtual reality. Using this information creates an extremely high-quality, immersive overall experience in virtual reality.
  • a context processing device is understood to mean a device or a device component which is set up for evaluating an ambient signal of a detection device, the ambient signal describing an environment of the motor vehicle detected by the detection device.
  • the context processing device can be set up, for example, for image analysis and / or for calling up information relating to, for example, a geographical position of the motor vehicle, for example via the Internet.
  • the context processing device is set up to establish a predetermined, thematic context of a media content of the output file, for example by an image analysis of the media content, a text analysis or to read out corresponding information on the media content.
  • the context processing device is also set up to change a media content, that is to say to generate an image, a series of images and / or a virtual reality.
  • the context processing device can also use an appropriate algorithm, for example.
  • a detection device is understood to be a device or a device component that is set up and configured to detect the environment and, for this purpose, can include, for example, a weather sensor and / or a motion sensor and / or a camera. Alternatively or additionally, the detection device can be set up to determine a current state of the motor vehicle and / or to receive information signals from an infrastructure external to the motor vehicle, for example a traffic light.
  • the context processing device receives a surrounding signal from the detection device of the motor vehicle, the received surrounding signal describing information about an event in a surroundings of the motor vehicle that is independent of a direction of movement of the motor vehicle.
  • the received ambient signal thus at least partially describes the event.
  • the context processing device carries out a determination of a predetermined thematic context of a media content of an output file, the output file being the file which is output or is to be output by the output device.
  • the output file is preferably a file for generating a virtual reality.
  • the thematic context for example a virtual computer game or a film, can have, for example, the topic "Journey through the universe" or "Crime”.
  • a context can be understood to mean a change in the media content.
  • the specified media content of the output file is changed in such a way that the changed media content takes into account the information of the event in the surroundings of the motor vehicle in a context-related manner.
  • the detection device detects, for example, another motor vehicle which, for example, can cross an intersection from right to left in front of the user's standing motor vehicle
  • the predetermined one can Media content can be changed so that, for example, a spaceship crosses the user's field of vision from right to left.
  • the specified media content of the output file is changed by generating and / or changing an image signal described by the output file, the generated and / or changed image signal being a virtual one that is adapted to the detected event of the environment in the context of the context Event describes.
  • the media content can be changed by generating or changing an image signal, the generated or changed image signal being able to describe the event of the surroundings of the motor vehicle as a virtual event in the determined thematic context.
  • the real environment can be integrated into the media content as a modified image depending on the determined thematic context; an object and / or a property of the object of the environment can thus be modified and incorporated in dependence on the determined thematic context.
  • a virtual reality is not generated in which the ego object moves like the motor vehicle, but the virtual environment, preferably objects of the virtual environment, can preferably have properties, for example movements, in the real environment of the motor vehicle - Real objects of the environment, adapted or added to the virtual reality.
  • the output file with the changed media content is transferred to a display device of the output device for outputting the output file.
  • a display device is understood to mean that component of the output device that is specifically designed to display the virtual reality, for example as a screen.
  • the information about the event in the environment can be current, the environment descriptive information, preferably information about a current weather at a current location of the motor vehicle.
  • real sounds of rain spatter or a real windshield wiper sound can be immersively integrated into virtual reality, for example as a virtual ion storm that hits the ego object, or, for example, as a virtual person who wipes fingerprints on an object.
  • the information about the event of the environment can preferably describe a property of a real object in the environment, preferably a property of a vehicle surface and / or information about a traffic light.
  • Real objects in the surroundings of the motor vehicle which act on the motor vehicle and / or the user from the outside and leave real sensations on the user, can for example make the motor vehicle rumble while driving on a cobblestone street or stop the motor vehicle on one red traffic light, are immersively integrated, for example by shaking a spaceship as an ego object in virtual reality from a meteor shower, or by, during a real red phase, in virtual reality, for example, a meteoroid crossing a trajectory of the ego spaceship tenschauer flies by.
  • the information can describe a movement of the real object, preferably a direction of movement and / or a speed at which the real object can move. In this way, an experience of virtual reality becomes even more immersive, that is, even more authentic.
  • the information describes a geographical position of the real object, for example location information relating to, for example, a landscape in which the motor vehicle is located can be integrated into the virtual reality. This would also make the experience much more authentic, so it increases and improves immersion.
  • the above object is achieved by a context processing device that is set up to carry out a method according to one of the embodiments described above.
  • the context processing device can be designed, for example, as a control device or control board.
  • the context processing device can preferably have a processor device, that is to say a component or a device component for electronic data processing.
  • the optional processor device can preferably have at least one microcontroller and / or at least one microprocessor.
  • a program code can optionally be stored in a data memory, for example a data memory of the context processing device or the processor device, which, when executed by the processor device, can cause the context processing device to carry out the above-described embodiments of the method according to the invention.
  • a data memory for example a data memory of the context processing device or the processor device, which, when executed by the processor device, can cause the context processing device to carry out the above-described embodiments of the method according to the invention.
  • a motor vehicle which can preferably be designed as a motor vehicle, for example as a passenger motor vehicle.
  • the motor vehicle according to the invention has an embodiment of the context processing device according to the invention. The advantages already mentioned also result here.
  • the above object is achieved by a mobile, portable output device which has an embodiment of the context processing device according to the invention.
  • the term “mobile” is understood here to mean that the output device can be operated in a portable manner and without coupling to the motor vehicle.
  • the advantages already mentioned result result.
  • the mobile output device is preferably an output device that can be worn on the head, and can particularly preferably be designed as VR data glasses, alternatively, for example, as a smartphone.
  • FIG. Shows a schematic representation of an embodiment of the method according to the invention and the devices according to the invention.
  • FIG. 1 shows an optional storage medium 22, a data memory known to the person skilled in the art, which can be an example of a memory for the context processing device 12.
  • a program code for carrying out the method according to the invention can be stored on the storage medium 22 and / or one or more output files which can describe a virtual reality with a media content, for example a computer game or a film.
  • the individual components are connected to one another by data communication connections, which can be configured either as wireless or as wired data communication connections.
  • An example of a wireless data communication connection is, for example, a WLAN connection or a Bluetooth connection
  • an example of a wired data communication connection can be, for example, a data bus of the motor vehicle 16 or a cable.
  • the data communication connections are shown as black connecting lines.
  • the detection device 10 of the motor vehicle 16 can comprise, for example, one or more sensors, that is, it can be designed as a device or device component for detecting, for example, a physical, chemical or optical perceptible property of the environment.
  • an exemplary sensor 24 is shown on a roof of the motor vehicle 16 for this purpose, which can be configured, for example, as a camera.
  • a further exemplary sensor 24 on, for example, a motor vehicle front of motor vehicle 16 can be designed as a weather sensor and / or temperature sensor.
  • Sensors 24 for detecting a movement of a real object 18 that is different from the motor vehicle 16, for example of another motor vehicle, or for example for detecting a signal from a traffic light 19, which for example can describe a duration of a red phase, can be used as that Sensors 24 known to those skilled in the art can be designed.
  • the detection device 10 can have, for example, a communication unit 26 for detecting a traffic light signal, that is to say a component or a device component for receiving signals, optionally also for transmitting signals.
  • the communication unit 26 can receive a signal from the traffic light 19, alternatively, for example, from a server device external to the motor vehicle (not shown in the figure) or from a satellite, for example via a radio link 21, which can describe the red phase.
  • the communication unit 26 can be designed, for example, to receive location signals and can then be referred to as a navigation element.
  • location signals can be, for example, GPS signals or GLONASS signals and preferably describe the coordinates of a current location of the motor vehicle 16.
  • Corresponding information for example information about whether the motor vehicle 16 is currently in a position, can be queried, for example, via an Internet or mobile radio connection to a data server external to the motor vehicle (not shown in the figure) in order to acquire associated environmental information about the current location Urban area, or in a special landscape.
  • the context processing device 12 can, for example, each be configured as a circuit or control board and optionally have a processor device 28.
  • the detection device 10 is optionally additionally set up to determine a movement speed of the real object 18 of the environment, this can be done, for example, by means of the optional navigation element.
  • a user of the motor vehicle 16 for example a passenger or, if the motor vehicle 16 is driving a piloted, that is to say fully autonomous, driving mode, any passenger, may have put on the output device 14.
  • the event can be the exemplary red phase of the traffic light 19 or, for example, the other motor vehicle, which can cross a path of the motor vehicle 16 of the user of the output device 14.
  • a current rainy weather can be recorded as an event (S1).
  • the exemplary camera can, for example, transmit a camera image from the motor vehicle to the detection device 10.
  • the detection device 10 can receive a radio signal from the other motor vehicle, for example via motor vehicle-to-motor vehicle communication, which can, for example, describe a direction of movement and a speed of movement of the other motor vehicle.
  • This information can be transmitted to the context processing device 12 as an environmental signal - or in separate environmental signals.
  • a corresponding ambient signal can describe the rainy weather.
  • optional environmental signal can be, for example, information determined on the basis of location information, the environmental signal being able to describe a cobblestone pavement as the underground of the motor vehicle 16.
  • the context processing device 12 can be set up, for example, for image analysis and / or image processing.
  • the context processing device 12 can recognize, for example, the contours of the other motor vehicle on the basis of the ambient signal, which the camera image can describe.
  • the example output file can be, for example, a computer game in a science fiction world.
  • the context processing device 12 can query and thus determine thematic context of the output file (S2).
  • the output file can, for example, specify a predetermined change as media content.
  • the context processing device 12 can, for example, determine (S3) that, in a current sequence of the computer game, an ego object is flying through the universe in its perspective. The event of the current red phase with, for example, a duration of three minutes can then be taken into account, for example, in such a way that the context processing device 12 switches on to change the predetermined media content (S4) changes the image signal described by the output file in such a way - or generates a new image signal - which can describe interrupting a flight movement of a virtual environment of the media content for three minutes.
  • the other motor vehicle can be taken into account, for example, in that the generated or changed image signal can describe a virtual object in the changed media content, which can cross the user's field of vision from left to right on a screen of the output device 14, for example, preferably at a speed of the real object 18, or at a speed that a passing of the virtual object from left to right on the screen may take for a period of three minutes.
  • the generated or changed image signal can describe a virtual object in the changed media content, which can cross the user's field of vision from left to right on a screen of the output device 14, for example, preferably at a speed of the real object 18, or at a speed that a passing of the virtual object from left to right on the screen may take for a period of three minutes.
  • the optional information on a current rainy weather can be taken into account, for example, when changing the predetermined media content (S4), in that the virtual image described by the output file can describe a meteor shower or ion storm.
  • Exemplary information about a real cobblestone pavement can be taken into account, for example, in that the changed media content can describe an image in which the virtual environment of the output file can describe a meteor shower around the ego object while the real motor vehicle 16 is traveling , In combination with the real perceived shaking of the motor vehicle 16, a particularly intensive immersive experience is created for the user.
  • the changed output file is transmitted to a display device (not shown in the figure) from the output device 14 (S5), for example to a screen.
  • the media content can be changed using techniques known to the person skilled in the art (S4).
  • preprogrammed sequences can be stored in the storage medium 22, which, for example, can be called up in a situation-specific manner and incorporated into the media content.
  • a sequence that is scripted in this way ie predefined, can be used if, for example, information can be provided from the navigation element that the user is currently driving from Kunststoff to Regensburg with the motor vehicle 16. From the information it can be deduced that the journey can take 1.5 hours, for example.
  • a slot can be installed in the output file at one or more locations, for example with a duration of 10 seconds, in order to let the exemplary spaceship fly by from left to right analogously to the other motor vehicle.
  • the output file can comprise, for example, a digital list, in which, for example, for a duration of 10 seconds or, for example, three minutes, it can be specified which specified sequences can be inserted into the media content.
  • the following information can be used, for example:
  • - Online traffic light information for example information about how long an associated traffic light 19 can still be red and / or green for the user / the motor vehicle 16; this information can be used in virtual reality, for example to give context and state or waiting phases of a virtual ego object of the media content.
  • scripted sequences and / or events can be generated, for example, both in terms of the location, for example a location of the traffic light 19, and a time, for example a length of the red phase, as the duration of the event , can be synchronized.
  • a flyby of a large spaceship can be shown, which can last exactly the length of a red phase; and or
  • Local weather information for example weather impressions (for example rain, thunder) can still be perceived by the user of the output device 14, even though the user is in a virtual world.
  • weather impressions for example rain, thunder
  • the information can be taken up and processed in the virtual reality.
  • a rain in reality can be picked up as an ion storm in a virtual space world, or a rain in reality can be picked up as flying through a cluster of particles in virtual reality, for example; and or
  • a vehicle surface Another piece of information that can be perceived by the user of the virtual reality is a current road surface (for example cobblestones, forest paths, gravel, normal asphalt, speed thresholds, so-called “speed bumps”, potholes).
  • a current road surface for example cobblestones, forest paths, gravel, normal asphalt, speed thresholds, so-called “speed bumps”, potholes.
  • These different surfaces create different haptic driving experiences and can be represented in virtual reality.
  • a real pothole can be recorded as a rocket impact in the virtual environment.
  • Cobblestones of the real environment of motor vehicle 16 can be picked up, for example, in the virtual environment as a field with a vibration, for example a flight through a canopy of trees.
  • system and / or the method can be implemented as follows:
  • Streaming associated vehicle data for example rain sensor, traffic light information, pothole detection
  • an output device 14 designed as VR glasses for example, an output device 14 designed as VR glasses; and or -
  • mobile VR glasses via used vehicle interfaces, for example Bluetooth and / or WiFi; and or
  • Some of the data can be determined using swarm data, which is why an interface to a backend via the mobile network can also be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The invention relates to a method for operating a mobile, portable output apparatus (14) in a motor vehicle (16), wherein the method has the following steps performed by a context processing device (12): receiving a surroundings signal from a recording device (10) of the motor vehicle (16), wherein the received surroundings signal describes information, which is independent of a direction of movement of the motor vehicle (16), pertaining to an event in surroundings of the motor vehicle (16) (S2); determining a prescribed thematic context of a media content of an output file (S3); taking the ascertained thematic context of the media content as a basis for: changing the prescribed media content of the output file (S4) so that the virtual surroundings described by the changed media content take into consideration the information of the event of the surroundings of the motor vehicle (16) in context-based fashion; and transmitting the output file with the changed media content to a display device of the output apparatus (14, S5) to output the output file.

Description

Verfahren zum Betreiben einer mobilen, tragbaren Ausgabevorrichtung in einem Kraftfahrzeug, Kontextbearbeitungseinrichtung, mobile Ausgabevor- richtung, und Kraftfahrzeug  Method for operating a mobile, portable output device in a motor vehicle, context processing device, mobile output device, and motor vehicle
BESCHREIBUNG: DESCRIPTION:
Die Erfindung betrifft ein Verfahren zum Betreiben einer mobilen, tragbaren Ausgabevorrichtung, zum Beispiel zum Betreiben einer Datenbrille, die eine virtuelle Realität („VR-Brille“,„AR-Brille“) bereitstellt. Das Verfahren betrifft konkret das Betreiben der Ausgabevorrichtung in einem Kraftfahrzeug, zum Beispiel während einer Fahrt des Kraftfahrzeugs. The invention relates to a method for operating a mobile, portable output device, for example for operating data glasses that provide virtual reality (“VR glasses”, “AR glasses”). The method specifically relates to the operation of the output device in a motor vehicle, for example while the motor vehicle is traveling.
Derzeit werden Systeme zum Nutzen einer virtuellen Realität („Augmented Reality“) im Fahrzeug entwickelt. Solche Systeme nutzen Bewegungsdaten mittels Lokalisierung des Kraftfahrzeugs, um die Bewegung eines virtuellen Ego-Objekts darzustellen. Systems for the use of virtual reality (“augmented reality”) are currently being developed in the vehicle. Such systems use movement data by means of localization of the motor vehicle in order to represent the movement of a virtual ego object.
Die Bewegung des Fahrzeugs bildet also die Basis für ein kraftfahrzeuginter- nes System für eine virtuelle Realität („In-car VR-System“, „In-car AR- System“). Trägt beispielsweise ein Beifahrer eine solche Datenbrille im Kraft- fahrzeug, kann der Beifahrer zum Beispiel ein Computerspiel spielen oder einen Film ansehen, in dem das Ego-Objekt die Bewegungen des Kraftfahr- zeugs annimmt. Ein solches System kann vorzugsweise von einem Passa- gier genutzt werden, falls sich das Kraftfahrzeug in einem pilotierten Fahr- modus betrieben wird. The movement of the vehicle thus forms the basis for an in-vehicle system for a virtual reality ("in-car VR system", "in-car AR system"). For example, if a passenger wears such data glasses in the motor vehicle, the passenger can play a computer game or watch a film, for example, in which the ego object accepts the movements of the motor vehicle. Such a system can preferably be used by a passenger if the motor vehicle is operated in a piloted driving mode.
Die DE 10 2017 005 982 A1 beschreibt ein Verfahren zum Vermeiden oder Reduzieren von Kinetose-Symptomen bei Verwendung einer Virtual-Reality- Brille während einer Fahrt in einem Fahrzeug. Während der Fahrt wird auf der Virtual-Reality-Brille neben einer Darstellung von Wiedergabeinhalten eine zusätzliche bewegliche Netzstruktur dargestellt, wobei ferner eine Be- wegung der Netzstruktur derart erfolgt, dass diese gleichgewichtskonform einem aktuellen fahrdynamischen Bewegungszustand des Fahrzeugs ent- spricht. DE 10 2017 005 982 A1 describes a method for avoiding or reducing symptoms of kinetosis when using virtual reality glasses while driving in a vehicle. While driving, the virtual reality glasses next to a display of playback content an additional movable network structure is shown, the network structure also being moved in such a way that it conforms to a current dynamic driving state of motion of the vehicle.
Aus der DE 10 2015 003 882 A1 ist ein Verfahren zum Betreiben einer in einem Kraftfahrzeug angeordneten Virtual-Reality-Brille bekannt. Das Ver- fahren umfasst unter anderem den Schritt des Erfassens der Bewegung des Kraftfahrzeugs, und, neben dem Anzeigen einer ersten virtuellen Umgebung, ein simultanes Anzeigen einer zweiten virtuellen Umgebung in einem zweiten Anzeigebereich, welche korrespondierend zu der erfassten Bewegung des Kraftfahrzeugs dargestellt wird. DE 10 2015 003 882 A1 discloses a method for operating virtual reality glasses arranged in a motor vehicle. The method includes, among other things, the step of detecting the movement of the motor vehicle and, in addition to displaying a first virtual environment, simultaneously displaying a second virtual environment in a second display area, which is displayed corresponding to the detected movement of the motor vehicle.
Die DE 101 56 219 C1 beschreibt ein Verfahren und eine Vorrichtung zur Reduzierung des Kinetose-Effekts bei Passagieren von Verkehrs- und Transportmitteln. Dabei werden für den Kinetose-empfindlichen Passagier über optische Wiedergabeeinrichtungen während der Fahrt Bildsignale be- reitgestellt, die in Abhängigkeit von fahrt-spezifischen Bewegungsdaten so modifiziert werden, dass für den Passagier der visuelle Einbruch der betrach- teten Bilder mit den aktuell subjektiv wahrgenommenen Lage- und Bewe- gungswerten korreliert ist. DE 101 56 219 C1 describes a method and a device for reducing the kinetose effect in passengers of means of transport and transportation. Image signals are provided to the passenger sensitive to kinetosis via optical playback devices during the journey, which are modified in dependence on travel-specific movement data in such a way that for the passenger the visual collapse of the viewed images with the currently subjectively perceived situation. and movement values is correlated.
Im Stand der Technik werden also Verfahren vorgeschlagen, um einen Kine- tose-Effekt zu reduzieren, indem die Fahrzeugbewegung miteinbezogen wird. Methods are therefore proposed in the prior art in order to reduce a kinetic effect by including the vehicle movement.
Eine der Erfindung zugrundeliegende Aufgabe ist das Bereitstellen eines Systems zum Bereitstellen einer noch immersiveren virtuellen Realität. One object underlying the invention is to provide a system for providing an even more immersive virtual reality.
Die gestellte Aufgabe wird durch das erfindungsgemäße Verfahren und die erfindungsgemäßen Vorrichtungen gemäß der nebengeordneten Patentan- sprüche gelöst. Vorteilhafte Weiterbildungen sind durch die Unteransprüche gegeben. Die Erfindung basiert auf der Idee, die bestehenden Nachteile zu überwin- den, indem generelle, aktuelle Informationen einer Umwelt des Kraftfahr- zeugs und/oder ortsgebundene Informationen der Umgebung genutzt und in einen vorgegebenen, thematischen Kontext eines Medieninhaltes einer Aus- gabedatei, die durch die Ausgabevorrichtung ausgegeben werden soll, ein- gebunden werden. Diese Informationen zu einem Ereignis in einer Umge- bung des Kraftfahrzeugs sind dabei von einer Bewegungsrichtung des Kraft- fahrzeugs, vorzugsweise von einer Eigenbewegung des Kraftfahrzeugs, unabhängig. Dadurch wird ein kohärentes, immersives System geschaffen, wodurch sehr viel mehr auf den Benutzer der Ausgabevorrichtung wirkende Sinneseindrücke während zum Beispiel einer Fahrt in die virtuelle Realität aufgegriffen werden können. Durch die Nutzung dieser Informationen wird ein extrem hochwertiges, immersives Gesamterlebnis in der virtuellen Reali- tät geschaffen. The object is achieved by the inventive method and the inventive devices according to the independent claims. Advantageous further developments are given by the subclaims. The invention is based on the idea of overcoming the existing disadvantages by using general, current information about an environment of the motor vehicle and / or location-based information about the environment and in a predetermined, thematic context of a media content of an output file the dispensing device is to be dispensed. This information about an event in an environment of the motor vehicle is independent of a direction of movement of the motor vehicle, preferably of an own movement of the motor vehicle. This creates a coherent, immersive system, which means that much more sensory impressions acting on the user of the output device can be taken up during, for example, a journey into virtual reality. Using this information creates an extremely high-quality, immersive overall experience in virtual reality.
Das erfindungsgemäße Verfahren zum Betreiben einer mobilen, tragbaren Ausgabevorrichtung in einem Kraftfahrzeug weist die folgenden, durch eine Kontextbearbeitungseinrichtung aufweisenden Schritte auf. Unter einer Kon- textbearbeitungseinrichtung wird ein Gerät oder eine Gerätekomponente verstanden, das/die zum Auswerten eines Umgebungssignals einer Erfas- sungseinrichtung eingerichtet ist, wobei das Umgebungssignal eine durch die Erfassungseinrichtung erfasste Umgebung des Kraftfahrzeugs beschreibt. Die Kontextbearbeitungseinrichtung kann hierzu beispielsweise zur Bildana- lyse und/oder zum Abrufen einer Information zu zum Beispiel einer geogra- phischen Position des Kraftfahrzeugs, beispielsweise über das Internet, eingerichtet sein. Weiterhin ist die Kontextbearbeitungseinrichtung zum Fest- steilen eines vorgegebenen, thematischen Kontexts eines Medieninhaltes der Ausgabedatei eingerichtet, beispielsweise durch eine Bildanalyse des Medieninhaltes, einer Textanalyse oder zum Auslesen einer entsprechenden Information zu dem Medieninhalt. Die Kontextbearbeitungseinrichtung ist weiterhin zum Ändern eines Medieninhaltes eingerichtet, also zum Generie- ren eines Bildes, einer Bilderserie und/oder einer virtuellen Realität. Flierzu kann die Kontextbearbeitungseinrichtung zum Beispiel einen entsprechen- den Algorithmus verwenden. Als Erfassungseinrichtung wird ein Gerät oder eine Gerätekomponente ver- standen, das/die zum Erfassen der Umgebung eingerichtet und ausgestaltet ist, und hierzu beispielsweise einen Wettersensor und/oder einen Bewe- gungssensor und/oder eine Kamera umfassen kann. Alternativ oder zusätz- lich kann die Erfassungseinrichtung dazu eingerichtet sein, einen aktuellen Zustand des Kraftfahrzeugs festzustellen, und/oder Informationssignale aus einer kraftfahrzeugexternen Infrastruktur, zum Beispiel einer Verkehrsampel, zu empfangen. The method according to the invention for operating a mobile, portable output device in a motor vehicle has the following steps, which have a context processing device. A context processing device is understood to mean a device or a device component which is set up for evaluating an ambient signal of a detection device, the ambient signal describing an environment of the motor vehicle detected by the detection device. For this purpose, the context processing device can be set up, for example, for image analysis and / or for calling up information relating to, for example, a geographical position of the motor vehicle, for example via the Internet. Furthermore, the context processing device is set up to establish a predetermined, thematic context of a media content of the output file, for example by an image analysis of the media content, a text analysis or to read out corresponding information on the media content. The context processing device is also set up to change a media content, that is to say to generate an image, a series of images and / or a virtual reality. The context processing device can also use an appropriate algorithm, for example. A detection device is understood to be a device or a device component that is set up and configured to detect the environment and, for this purpose, can include, for example, a weather sensor and / or a motion sensor and / or a camera. Alternatively or additionally, the detection device can be set up to determine a current state of the motor vehicle and / or to receive information signals from an infrastructure external to the motor vehicle, for example a traffic light.
Durch die Kontextbearbeitungseinrichtung erfolgt ein Empfangen eines Um- gebungssignals aus der Erfassungseinrichtung des Kraftfahrzeugs, wobei das empfangene Umgebungssignal eine von einer Bewegungsrichtung des Kraftfahrzeugs unabhängige Information zu einem Ereignis in einer Umge- bung des Kraftfahrzeugs beschreibt. Das empfangene Umgebungssignal beschreibt also zumindest teilweise das Ereignis. The context processing device receives a surrounding signal from the detection device of the motor vehicle, the received surrounding signal describing information about an event in a surroundings of the motor vehicle that is independent of a direction of movement of the motor vehicle. The received ambient signal thus at least partially describes the event.
Die Kontextbearbeitungseinrichtung führt ein Feststellen eines vorgegebenen thematischen Kontexts eines Medieninhaltes einer Ausgabedatei durch, wobei die Ausgabedatei diejenige Datei ist, die von der Ausgabevorrichtung ausgegeben wird oder ausgegeben werden soll. Die Ausgabedatei ist dabei vorzugsweise eine Datei zum Erzeugen einer virtuellen Realität. Der thema- tische Kontext, zum Beispiel ein virtuelles Computerspiel oder ein Film, kön- nen beispielsweise das Thema„Reise durch das Universum“ oder„Krimi“ haben. Unter einem Kontext kann dabei eine Flandlung des Medieninhaltes verstanden werden. The context processing device carries out a determination of a predetermined thematic context of a media content of an output file, the output file being the file which is output or is to be output by the output device. The output file is preferably a file for generating a virtual reality. The thematic context, for example a virtual computer game or a film, can have, for example, the topic "Journey through the universe" or "Crime". A context can be understood to mean a change in the media content.
In Abhängigkeit von dem ermittelten thematischen Kontext des Medieninhalts folgt ein Ändern des vorgegebenen Medieninhaltes der Ausgabedatei dahin- gehend, dass eine durch den geänderten Medieninhalt die Information des Ereignisses in der Umgebung des Kraftfahrzeugs kontextbezogen berück- sichtigt. Erfasst die Erfassungseinrichtung beispielsweise ein anderes Kraft- fahrzeug, das zum Beispiel vor dem stehenden Kraftfahrzeug des Benutzers eine Kreuzung von rechts nach links queren kann, kann der vorgegebene Medieninhalt dahingehend geändert werden, dass zum Beispiel ein Raum- schiff das Sichtfeld des Benutzers von rechts nach links quert. Mit anderen Worten erfolgt ein Ändern des vorgegebenen Medieninhaltes der Ausgabe- datei durch Erzeugen und/oder Ändern eines durch die Ausgabedatei be- schriebenen Bildsignals, wobei das erzeugte und/oder geänderte Bildsignal ein dem erfassten Ereignis der Umgebung im Sinne des Kontexts angepass- tes virtuelles Ereignis beschreibt. Mit anderen Worten kann das Ändern des Medieninhalts durch Erzeugen oder Ändern eines Bildsignals erfolgen, wobei das erzeugte oder geänderte Bildsignal das Ereignis der Umgebung des Kraftfahrzeugs als virtuelles Ereignis in dem festgestellten thematischen Kontext beschreiben kann. Mit anderen Worten kann die reale Umgebung als in Abhängigkeit von dem festgestellten thematischen Kontext abgeändertes Abbild in den Medieninhalt eingebunden werden; es kann also ein Objekt und/oder eine Eigenschaft des Objekts der Umgebung bildlich in Abhängig- keit von dem festgestellten thematischen Kontext abgeändert und eingebun- den werden. Depending on the determined thematic context of the media content, the specified media content of the output file is changed in such a way that the changed media content takes into account the information of the event in the surroundings of the motor vehicle in a context-related manner. If the detection device detects, for example, another motor vehicle which, for example, can cross an intersection from right to left in front of the user's standing motor vehicle, the predetermined one can Media content can be changed so that, for example, a spaceship crosses the user's field of vision from right to left. In other words, the specified media content of the output file is changed by generating and / or changing an image signal described by the output file, the generated and / or changed image signal being a virtual one that is adapted to the detected event of the environment in the context of the context Event describes. In other words, the media content can be changed by generating or changing an image signal, the generated or changed image signal being able to describe the event of the surroundings of the motor vehicle as a virtual event in the determined thematic context. In other words, the real environment can be integrated into the media content as a modified image depending on the determined thematic context; an object and / or a property of the object of the environment can thus be modified and incorporated in dependence on the determined thematic context.
Mit anderen Worten wird nicht eine virtuelle Realität erzeugt, in dem sich das Ego-Objekt so bewegt wie das Kraftfahrzeug, sondern die virtuelle Umwelt, vorzugsweise Objekte der virtuellen Umwelt, können an Eigenschaften, zum Beispiel Bewegungen, in der realen Umwelt des Kraftfahrzeugs, vorzugswei- se realen Objekten der Umwelt, angepasst oder der virtuellen Realität hinzu- gefügt werden. In other words, a virtual reality is not generated in which the ego object moves like the motor vehicle, but the virtual environment, preferably objects of the virtual environment, can preferably have properties, for example movements, in the real environment of the motor vehicle - Real objects of the environment, adapted or added to the virtual reality.
Es erfolgt ein Übertragen der Ausgabedatei mit dem geänderten Medienin- halt an eine Anzeigeeinrichtung der Ausgabevorrichtung zum Ausgeben der Ausgabedatei. Unter einer Anzeigeeinrichtung wird dabei dasjenige Bauteil der Ausgabevorrichtung verstanden, das konkret mit dem Anzeigen der vir- tuellen Realität ausgestaltet ist, zum Beispiel als Bildschirm. The output file with the changed media content is transferred to a display device of the output device for outputting the output file. A display device is understood to mean that component of the output device that is specifically designed to display the virtual reality, for example as a screen.
Es ergeben sich die oben genannten Vorteile. The advantages mentioned above result.
Gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens kann die Information zu dem Ereignis in der Umgebung eine aktuelle, die Umgebung beschreibende Information sein, vorzugsweise eine Information zu einem aktuellen Wetter an einem aktuellen Standort des Kraftfahrzeugs. So können zum Beispiel reale Geräusche von Regenprasseln oder einem realen Schei- benwischergeräusch immersiv in die virtuelle Realität eingebunden werden, zum Beispiel als virtueller lonensturm, der auf das Ego-Objekt prasselt, oder zum Beispiel als virtuelle Person, die Fingerabdrücke auf einem Gegenstand wegwischt. According to one embodiment of the method according to the invention, the information about the event in the environment can be current, the environment descriptive information, preferably information about a current weather at a current location of the motor vehicle. For example, real sounds of rain spatter or a real windshield wiper sound can be immersively integrated into virtual reality, for example as a virtual ion storm that hits the ego object, or, for example, as a virtual person who wipes fingerprints on an object.
Vorzugsweise kann die Information zu dem Ereignis der Umgebung eine Eigenschaft eines realen Objekts in der Umgebung beschreiben, vorzugs- weise eine Eigenschaft eines Fahrzeuguntergrunds und/oder eine Informati- on zu einer Verkehrsampel. Damit können reale Objekte der Umgebung des Kraftfahrzeugs, die von außen auf das Kraftfahrzeug und/oder den Benutzer einwirken und bei dem Benutzer reale Sinneseindrücke hinterlassen, zum Beispiel ein Rumpeln des Kraftfahrzeugs bei einer Fahrt auf einer Kopfstein- pflasterstraße oder ein Stoppen des Kraftfahrzeugs an einer roten Ampel, immersiv eingebunden werden, zum Beispiel indem in der virtuellen Realität ein Raumschiff als Ego-Objekt von einem Meteoritenschauer geschüttelt wird, oder indem, während einer realen Rotphase, in der virtuellen Realität zum Beispiel ein eine Flugbahn des Ego-Raumschiffs kreuzender Meteori- tenschauer vorbeifliegt. The information about the event of the environment can preferably describe a property of a real object in the environment, preferably a property of a vehicle surface and / or information about a traffic light. Real objects in the surroundings of the motor vehicle, which act on the motor vehicle and / or the user from the outside and leave real sensations on the user, can for example make the motor vehicle rumble while driving on a cobblestone street or stop the motor vehicle on one red traffic light, are immersively integrated, for example by shaking a spaceship as an ego object in virtual reality from a meteor shower, or by, during a real red phase, in virtual reality, for example, a meteoroid crossing a trajectory of the ego spaceship tenschauer flies by.
In einer Weiterbildung kann die Information eine Bewegung des realen Ob- jekts beschreiben, vorzugsweise eine Bewegungsrichtung und/oder eine Geschwindigkeit, mit der sich das reale Objekt bewegen kann. Flierdurch wird ein Erlebnis der virtuellen Realität noch immersiver, das heißt noch authentischer. In one development, the information can describe a movement of the real object, preferably a direction of movement and / or a speed at which the real object can move. In this way, an experience of virtual reality becomes even more immersive, that is, even more authentic.
Beschreibt die Information eine geographische Position des realen Objekts, können zum Beispiel Standortinformationen zu zum Beispiel einer Land- schaft, in der sich das Kraftfahrzeug befindet, in die virtuelle Realität mitein- gebunden werden. Auch hierdurch würde das Erlebnis sehr viel authenti- scher, es wird also eine Immersion erhöht und verbessert. Die oben gestellte Aufgabe wird gelöst durch eine Kontextbearbeitungsein- richtung, die dazu eingerichtet ist, ein Verfahren nach einer der oben be- schriebenen Ausführungsformen durchzuführen. Die Kontextbearbeitungs- einrichtung kann zum Beispiel als Steuergerät oder Steuerplatine ausgestal- tet sein. Vorzugsweise kann die Kontextbearbeitungseinrichtung eine Pro- zessoreinrichtung aufweisen, also ein Bauteil oder eine Gerätekomponente zur elektronischen Datenverarbeitung. Die optionale Prozessoreinrichtung kann vorzugsweise mindestens einen Mikrocontroller und/oder mindestens einen Mikroprozessor aufweisen. In einem Datenspeicher, zum Beispiel einem Datenspeicher der Kontextbearbeitungseinrichtung oder der Prozes- soreinrichtung, kann optional ein Programmcode gespeichert sein, der, bei Ausführen durch die Prozessoreinrichtung, die Kontextbearbeitungseinrich- tung dazu veranlassen kann, die oben beschriebenen Ausführungsformen des erfindungsgemäßen Verfahrens durchzuführen. Es ergeben sich jeweils die oben beschriebenen Vorteile. If the information describes a geographical position of the real object, for example location information relating to, for example, a landscape in which the motor vehicle is located can be integrated into the virtual reality. This would also make the experience much more authentic, so it increases and improves immersion. The above object is achieved by a context processing device that is set up to carry out a method according to one of the embodiments described above. The context processing device can be designed, for example, as a control device or control board. The context processing device can preferably have a processor device, that is to say a component or a device component for electronic data processing. The optional processor device can preferably have at least one microcontroller and / or at least one microprocessor. A program code can optionally be stored in a data memory, for example a data memory of the context processing device or the processor device, which, when executed by the processor device, can cause the context processing device to carry out the above-described embodiments of the method according to the invention. The advantages described above result in each case.
Die oben gestellte Aufgabe wird gelöst durch ein Kraftfahrzeug, das vor- zugsweise als Kraftwagen ausgestaltet sein kann, zum Beispiel als Perso- nenkraftwagen. Das erfindungsgemäße Kraftfahrzeug weist eine Ausfüh- rungsform der erfindungsgemäßen Kontextbearbeitungseinrichtung auf. Auch hier ergeben sich die bereits genannten Vorteile. The above object is achieved by a motor vehicle, which can preferably be designed as a motor vehicle, for example as a passenger motor vehicle. The motor vehicle according to the invention has an embodiment of the context processing device according to the invention. The advantages already mentioned also result here.
Die oben gestellte Aufgabe wird gelöst durch eine mobile, tragbare Ausga- bevorrichtung, die eine Ausführungsform der erfindungsgemäßen Kon- textbearbeitungseinrichtung aufweist. Unter dem Begriff „mobil“ wird dabei verstanden, dass die Ausgabevorrichtung tragbar und ohne Kopplung an das Kraftfahrzeug betrieben werden kann. Es ergeben sich die bereits genannten Vorteile. Die mobile Ausgabevorrichtung ist dabei vorzugsweise eine am Kopf tragbare Ausgabevorrichtung, und kann besonders bevorzugt als VR- Datenbrille ausgestaltet sein, alternativ zum Beispiel als Smartphone. The above object is achieved by a mobile, portable output device which has an embodiment of the context processing device according to the invention. The term “mobile” is understood here to mean that the output device can be operated in a portable manner and without coupling to the motor vehicle. The advantages already mentioned result. The mobile output device is preferably an output device that can be worn on the head, and can particularly preferably be designed as VR data glasses, alternatively, for example, as a smartphone.
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschrie- benen Ausführungsformen. Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt die einzige Figur („Fig.“) eine schematische Darstellung zu einer Aus- führungsform des erfindungsgemäßen Verfahrens und den erfindungsgemä- ßen Vorrichtungen. The invention also includes the combinations of the features of the described embodiments. Exemplary embodiments of the invention are described below. For this purpose, the single figure (“FIG.”) Shows a schematic representation of an embodiment of the method according to the invention and the devices according to the invention.
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispie- len stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschrie- benen Merkmale der Erfindung ergänzbar. The exemplary embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments, the described components of the embodiments each represent individual features of the invention that are to be considered independently of one another and that further develop the invention independently of one another. Therefore, the disclosure is intended to include combinations of the features of the embodiments other than those shown. Furthermore, the described embodiments can also be supplemented by further features of the invention that have already been described.
In der Figur bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente. In the figure, the same reference numerals designate elements that have the same function.
Die Fig. veranschaulicht schematisch das Prinzip des erfindungsgemäßen Verfahrens anhand eines ersten Ausführungsbeispiels. In dem Ausführungs- beispiel der Fig. ist eine kraftfahrzeugeigene Erfassungseinrichtung 10 ge- zeigt, während eine Kontextbearbeitungseinrichtung 12 eine Komponente der Ausgabevorrichtung 14 sein kann. Die Ausgabevorrichtung 14 kann dabei vorzugsweise als Datenbrille zum Erzeugen einer virtuellen Realität, also als sogenannte VR-Brille, ausgestaltet sein. Alternativ kann die Kon- textbearbeitungseinrichtung 12 eine Komponente des Kraftfahrzeugs 16 sein. Das Kraftfahrzeug 16 kann zum Beispiel als Personenkraftwagen aus- gestaltet sein. Die Fig. zeigt ein optionales Speichermedium 22, ein dem Fachmann bekannter Datenspeicher, das beispielhaft ein Speicher für die Kontextbearbeitungseinrichtung 12 sein kann. Auf dem Speichermedium 22 kann zum Beispiel ein Programmcode zum Durchführen des erfindungsge- mäßen Verfahrens abgelegt sein, und/oder eine oder mehrere Ausgabeda- teien, die eine virtuelle Realität mit einem Medieninhalt beschreiben können, zum Beispiel ein Computerspiel oder einen Film. In der Fig. sind die einzelnen Komponenten durch Datenkommunikationsver- bindungen miteinander verbunden, die entweder als drahtlose oder als drahtgebundene Datenkommunikationsverbindungen ausgestaltet sein kön- nen. Eine beispielhafte drahtlose Datenkommunikationsverbindung ist dabei zum Beispiel eine WLAN-Verbindung oder eine Bluetooth-Verbindung, und eine beispielhafte drahtgebundene Datenkommunikationsverbindung kann zum Beispiel ein Datenbus des Kraftfahrzeugs 16 sein, oder ein Kabel. In der Fig. sind dabei die Datenkommunikationsverbindungen als schwarze Verbin- dungslinien dargestellt. The figure schematically illustrates the principle of the method according to the invention using a first exemplary embodiment. In the exemplary embodiment in FIG. 1, a motor vehicle detection device 10 is shown, while a context processing device 12 can be a component of the output device 14. The output device 14 can preferably be designed as data glasses for generating a virtual reality, that is, as so-called VR glasses. Alternatively, the context processing device 12 can be a component of the motor vehicle 16. The motor vehicle 16 can be designed, for example, as a passenger car. FIG. 1 shows an optional storage medium 22, a data memory known to the person skilled in the art, which can be an example of a memory for the context processing device 12. For example, a program code for carrying out the method according to the invention can be stored on the storage medium 22 and / or one or more output files which can describe a virtual reality with a media content, for example a computer game or a film. In the figure, the individual components are connected to one another by data communication connections, which can be configured either as wireless or as wired data communication connections. An example of a wireless data communication connection is, for example, a WLAN connection or a Bluetooth connection, and an example of a wired data communication connection can be, for example, a data bus of the motor vehicle 16 or a cable. In the figure, the data communication connections are shown as black connecting lines.
Die Erfassungseinrichtung 10 des Kraftfahrzeugs 16 kann beispielsweise einen oder mehrere Sensoren umfassen, also als Gerät oder Gerätekompo- nente zum Erfassen beispielsweise einer physikalischen, chemischen oder optischen wahrnehmbaren Eigenschaft der Umgebung ausgestaltet sein. In dem beispielhaften Kraftfahrzeug 16 der Fig. ist hierzu ein beispielhafter Sensor 24 auf einem Dach des Kraftfahrzeugs 16 gezeigt, der zum Beispiel als Kamera ausgestaltet sein kann. Ein weiterer beispielhafter Sensor 24 an zum Beispiel einer Kraftfahrzeugfront des Kraftfahrzeugs 16 kann als Wet- tersensor und/oder Temperatursensor ausgestaltet sein. Sensoren 24 zum Erfassen einer Bewegung eines von dem Kraftfahrzeug 16 unterschiedli- chen, realen Objekts 18, zum Beispiel eines anderen Kraftfahrzeugs, oder zum Beispiel zum Erfassen eines Signals aus einer Verkehrsampel 19, das zum Beispiel eine Dauer einer Rotphase beschreiben kann, können als dem Fachmann aus dem Stand der Technik bekannten Sensoren 24 ausgestaltet sein. The detection device 10 of the motor vehicle 16 can comprise, for example, one or more sensors, that is, it can be designed as a device or device component for detecting, for example, a physical, chemical or optical perceptible property of the environment. In the exemplary motor vehicle 16 of FIG. 1, an exemplary sensor 24 is shown on a roof of the motor vehicle 16 for this purpose, which can be configured, for example, as a camera. A further exemplary sensor 24 on, for example, a motor vehicle front of motor vehicle 16 can be designed as a weather sensor and / or temperature sensor. Sensors 24 for detecting a movement of a real object 18 that is different from the motor vehicle 16, for example of another motor vehicle, or for example for detecting a signal from a traffic light 19, which for example can describe a duration of a red phase, can be used as that Sensors 24 known to those skilled in the art can be designed.
Die Erfassungseinrichtung 10 kann zum Erfassen eines Ampelsignals zum Beispiel eine Kommunikationseinheit 26 aufweisen, also ein Bauteil oder eine Gerätekomponente zum Empfangen von Signalen, optional auch zum Senden von Signalen. Die Kommunikationseinheit 26 kann von der Ampel 19, alternativ zum Beispiel von einer kraftfahrzeugexternen Servereinrichtung (in der Fig. nicht gezeigt) oder einem Satelliten über zum Beispiel eine Funk- verbindung 21 ein Signal empfangen, das die Rotphase beschreiben kann. Alternativ oder zusätzlich kann die Kommunikationseinheit 26 zum Beispiel zum Empfangen von Ortungssignalen ausgestaltet sein und dann als Navi- gationselement bezeichnet werden. Solche Ortungssignale können zum Beispiel GPS-Signale oder GLONASS-Signale sein und vorzugsweise die Koordinaten eines aktuellen Standorts des Kraftfahrzeugs 16 beschreiben. The detection device 10 can have, for example, a communication unit 26 for detecting a traffic light signal, that is to say a component or a device component for receiving signals, optionally also for transmitting signals. The communication unit 26 can receive a signal from the traffic light 19, alternatively, for example, from a server device external to the motor vehicle (not shown in the figure) or from a satellite, for example via a radio link 21, which can describe the red phase. As an alternative or in addition, the communication unit 26 can be designed, for example, to receive location signals and can then be referred to as a navigation element. Such location signals can be, for example, GPS signals or GLONASS signals and preferably describe the coordinates of a current location of the motor vehicle 16.
Zum Erfassen einer zugehörigen Umgebungsinformation zu dem aktuellen Standort kann zum Beispiel über eine Internet- oder Mobilfunkverbindung zu einem kraftfahrzeugexternen Datenserver (in der Fig. nicht gezeigt) eine entsprechende Information abgefragt werden, zum Beispiel eine Information darüber, ob sich das Kraftfahrzeug 16 gerade in einem Stadtgebiet befindet, oder in einer besonderen Landschaft. Corresponding information, for example information about whether the motor vehicle 16 is currently in a position, can be queried, for example, via an Internet or mobile radio connection to a data server external to the motor vehicle (not shown in the figure) in order to acquire associated environmental information about the current location Urban area, or in a special landscape.
Die Kontextbearbeitungseinrichtung 12 kann beispielsweise jeweils als Schaltkreis oder Steuerplatine ausgestaltet sein und optional eine Prozesso- reinrichtung 28 aufweisen. The context processing device 12 can, for example, each be configured as a circuit or control board and optionally have a processor device 28.
Ist die Erfassungseinrichtung 10 optional zusätzlich dazu eingerichtet, eine Bewegungsgeschwindigkeit des realen Objekts 18 der Umgebung festzustel- len, kann dies beispielsweise durch das optionale Navigationselement erfol- gen. If the detection device 10 is optionally additionally set up to determine a movement speed of the real object 18 of the environment, this can be done, for example, by means of the optional navigation element.
In dem Beispiel der Fig. kann ein Benutzer des Kraftfahrzeugs 16, zum Bei- spiel ein Beifahrer oder, fährt das Kraftfahrzeug 16 einen pilotierten, also vollautonomen Fahrmodus, ein beliebiger Passagier, die Ausgabevorrichtung 14 aufgesetzt haben. In einem ersten Verfahrensschritt S1 ist das optionale Bereitstellen der Information zu einem Ereignis in der Umgebung dargestellt. Das Ereignis kann dabei die beispielhafte Rotphase der Ampel 19 sein, oder zum Beispiel das andere Kraftfahrzeug, das einen Weg des Kraftfahrzeugs 16 des Benutzers der Ausgabevorrichtung 14 kreuzen kann. Zusätzlich oder alternativ kann als Ereignis zum Beispiel ein aktuelles Regenwetter erfasst werden (S1 ). Die beispielhafte Kamera kann zum Beispiel ein Kamerabild von dem Kraft- fahrzeug an die Erfassungseinrichtung 10 übertragen. Alternativ hierzu kann die Erfassungseinrichtung 10 zum Beispiel über eine Kraftfahrzeug-zu- Kraftfahrzeug-Kommunikation ein Funksignal des anderen Kraftfahrzeugs empfangen, das zum Beispiel eine Bewegungsrichtung und eine Bewe- gungsgeschwindigkeit des anderen Kraftfahrzeugs beschreiben kann. Diese Informationen können als Umgebungssignal - oder in getrennten Umge- bungssignalen - an die Kontextbearbeitungseinrichtung 12 übertragen wer- den. Analog hierzu kann ein entsprechendes Umgebungssignal das Regen- wetter beschreiben. Ein weiteres, optionales Umgebungssignal kann zum Beispiel eine anhand einer Standortinformation ermittelte Information sein, wobei das Umgebungssignal ein Kopfsteinpflaster als Untergrund des Kraft- fahrzeugs 16 beschreiben kann. In the example in FIG. 1, a user of the motor vehicle 16, for example a passenger or, if the motor vehicle 16 is driving a piloted, that is to say fully autonomous, driving mode, any passenger, may have put on the output device 14. In a first method step S1, the optional provision of information about an event in the environment is shown. The event can be the exemplary red phase of the traffic light 19 or, for example, the other motor vehicle, which can cross a path of the motor vehicle 16 of the user of the output device 14. Additionally or alternatively, a current rainy weather can be recorded as an event (S1). The exemplary camera can, for example, transmit a camera image from the motor vehicle to the detection device 10. As an alternative to this, the detection device 10 can receive a radio signal from the other motor vehicle, for example via motor vehicle-to-motor vehicle communication, which can, for example, describe a direction of movement and a speed of movement of the other motor vehicle. This information can be transmitted to the context processing device 12 as an environmental signal - or in separate environmental signals. Analogously, a corresponding ambient signal can describe the rainy weather. A further, optional environmental signal can be, for example, information determined on the basis of location information, the environmental signal being able to describe a cobblestone pavement as the underground of the motor vehicle 16.
Die Kontextbearbeitungseinrichtung 12 kann beispielweise zur Bildanalyse und/oder Bildbearbeitung eingerichtet sein. Anhand des Umgebungssignals, das das Kamerabild beschreiben kann, kann die Kontextbearbeitungseinrich- tung 12 zum Beispiel die Konturen des anderen Kraftfahrzeugs erkennen. The context processing device 12 can be set up, for example, for image analysis and / or image processing. The context processing device 12 can recognize, for example, the contours of the other motor vehicle on the basis of the ambient signal, which the camera image can describe.
Die beispielhafte Ausgabedatei kann zum Beispiel ein Computerspiel in einer Science-Fiction-Welt sein. Beispielsweise durch eine Datenbankabfrage bei einem kraftfahrzeugexternen Datenserver oder durch zum Beispiel einer entsprechenden Information der Ausgabedatei, die durch einen Fiersteller der Ausgabedatei bereitgestellt werden kann, kann die Kontextbearbeitungs- einrichtung 12 den thematischen Kontext der Ausgabedatei abfragen und damit feststellen (S2). The example output file can be, for example, a computer game in a science fiction world. For example, by means of a database query at a data server external to the motor vehicle or, for example, by corresponding information in the output file, which can be provided by a provider of the output file, the context processing device 12 can query and thus determine the thematic context of the output file (S2).
Die Ausgabedatei kann zum Beispiel eine vorgegebene Flandlung als Medi- eninhalt vorgeben. Die Kontextbearbeitungseinrichtung 12 kann zum Beispiel feststellen (S3), dass in einer aktuellen Sequenz des Computerspiels ein Ego-Objekt in seiner Perspektive durch das Universum fliegt. Das Ereignis der aktuellen Rotphase mit zum Beispiel einer Dauer von drei Minuten kann dann zum Beispiel derart berücksichtigt werden, dass die Kontextbearbei- tungseinrichtung 12 zum Ändern des vorgegebenen Medieninhalts (S4) ein durch die Ausgabedatei beschriebenes Bildsignal derart ändert - oder ein neues Bildsignal erzeugt - das ein Unterbrechen einer Flugbewegung einer virtuellen Umgebung des Medieninhaltes für drei Minuten beschreiben kann. Zusätzlich oder alternativ kann das andere Kraftfahrzeug berücksichtigt wer- den, indem zum Beispiel das erzeugte oder geänderte Bildsignal in dem geänderten Medieninhalt ein virtuelles Objekt beschreiben kann, das zum Beispiel auf einem Bildschirm der Ausgabevorrichtung 14 das Sichtfeld des Benutzers von links nach rechts kreuzen kann, vorzugsweise mit einer Ge- schwindigkeit des realen Objekts 18, oder mit einer Geschwindigkeit, die ein Vorbeiziehen des virtuellen Objekts von links nach rechts auf dem Bildschirm für eine Dauer von drei Minuten beanspruchen kann. The output file can, for example, specify a predetermined change as media content. The context processing device 12 can, for example, determine (S3) that, in a current sequence of the computer game, an ego object is flying through the universe in its perspective. The event of the current red phase with, for example, a duration of three minutes can then be taken into account, for example, in such a way that the context processing device 12 switches on to change the predetermined media content (S4) changes the image signal described by the output file in such a way - or generates a new image signal - which can describe interrupting a flight movement of a virtual environment of the media content for three minutes. Additionally or alternatively, the other motor vehicle can be taken into account, for example, in that the generated or changed image signal can describe a virtual object in the changed media content, which can cross the user's field of vision from left to right on a screen of the output device 14, for example, preferably at a speed of the real object 18, or at a speed that a passing of the virtual object from left to right on the screen may take for a period of three minutes.
Die optionale Information zu einem aktuellen Regenwetter kann zum Beispiel bei dem Ändern des vorgegebenen Medieninhalts berücksichtigt werden (S4), indem das durch die Ausgabedatei beschriebene virtuelle Bild einen Meteoritenschauer oder Inonensturm beschreiben kann. Eine beispielhafte Information über ein reales Kopfsteinpflaster kann zum Beispiel berücksich- tigt werden, indem der geänderte Medieninhalt ein Bild beschreiben kann, in dem die virtuelle Umgebung der Ausgabedatei während der Fahrt des realen Kraftfahrzeugs 16 einen Meteoritenschauer rund um das Ego-Objekt be- schreiben kann. In Kombination mit dem real wahrgenommenen Rütteln des Kraftfahrzeugs 16 entsteht so für den Benutzer ein besonders intensives immersives Erlebnis. The optional information on a current rainy weather can be taken into account, for example, when changing the predetermined media content (S4), in that the virtual image described by the output file can describe a meteor shower or ion storm. Exemplary information about a real cobblestone pavement can be taken into account, for example, in that the changed media content can describe an image in which the virtual environment of the output file can describe a meteor shower around the ego object while the real motor vehicle 16 is traveling , In combination with the real perceived shaking of the motor vehicle 16, a particularly intensive immersive experience is created for the user.
Zum Ausgeben der Ausgabedatei und dabei zum Anzeigen des geänderten Medieninhaltes wird die geänderte Ausgabedatei an eine Anzeigeeinrichtung (in der Fig. nicht gezeigt) von der Ausgabevorrichtung 14 übertragen (S5), beispielsweise an einen Bildschirm. In order to output the output file and thereby to display the changed media content, the changed output file is transmitted to a display device (not shown in the figure) from the output device 14 (S5), for example to a screen.
Ist der Medieninhalt eine Computeranimation oder Bilderserie, so kann der Medieninhalt mit dem Fachmann aus dem Stand der Technik bekannten Techniken geändert werden (S4). Alternativ können zum Beispiel vorprogrammierte Sequenzen in dem Spei- chermedium 22 abgelegt sein, die zum Beispiel situationsspezifisch abgeru- fen und in den Medieninhalt eingebaut werden können. So kann beispiels weise eine derart gescriptete, also vorgegebene, Sequenz verwendet wer- den, falls zum Beispiel aus dem Navigationselement eine Information bereit- gestellt werden kann, dass der Benutzer mit dem Kraftfahrzeug 16 gerade von München nach Regensburg fährt. Aus der Information kann abgeleitet werden, dass die Fahrt zum Beispiel 1 ,5 Stunden dauern kann. In der Aus- gabedatei kann zum Beispiel an einer oder mehreren Stellen ein Slot einge- baut sein, beispielsweise mit einer Dauer von 10 Sekunden, um das bei- spielhafte Raumschiff analog zu dem anderen Kraftfahrzeug von links nach rechts vorbeifliegen zu lassen. Die Ausgabedatei kann beispielsweise eine digitale Liste umfassen, in der zum Beispiel für eine Dauer von 10 Sekunden oder von zum Beispiel drei Minuten vorgegeben sein kann, welche vorgege- benen Sequenzen in den Medieninhalt eingefügt werden können. If the media content is a computer animation or a series of images, the media content can be changed using techniques known to the person skilled in the art (S4). Alternatively, for example, preprogrammed sequences can be stored in the storage medium 22, which, for example, can be called up in a situation-specific manner and incorporated into the media content. For example, a sequence that is scripted in this way, ie predefined, can be used if, for example, information can be provided from the navigation element that the user is currently driving from Munich to Regensburg with the motor vehicle 16. From the information it can be deduced that the journey can take 1.5 hours, for example. For example, a slot can be installed in the output file at one or more locations, for example with a duration of 10 seconds, in order to let the exemplary spaceship fly by from left to right analogously to the other motor vehicle. The output file can comprise, for example, a digital list, in which, for example, for a duration of 10 seconds or, for example, three minutes, it can be specified which specified sequences can be inserted into the media content.
Insgesamt veranschaulichen die Beispiele, wie durch die Erfindung die Nut- zung von Fahrzeugumgebungsinformationen für eine Incar-VR verwendet werden können. Hierzu werden weitere Umfelddaten des Kraftfahrzeugs 16 miteinbezogen. Overall, the examples illustrate how the use of vehicle environment information for an Incar VR can be used by the invention. For this purpose, further environmental data of motor vehicle 16 are included.
Gemäß einem weiteren Ausführungsbeispiel können zum Beispiel die fol genden Informationen genutzt werden: According to a further exemplary embodiment, the following information can be used, for example:
- Online-Ampelinformationen, zum Beispiel eine Information darüber, wie lange für den Benutzer/das Kraftfahrzeug 16 eine zugehörige Am- pel 19 noch rot und/oder grün sein kann; diese Information kann in der virtuellen Realität genutzt werden, um zum Beispiel Stand und/oder Wartephasen eines virtuellen Ego-Objekts des Medieninhalts einen Kontext zu geben. Hierzu können zum Beispiel gescriptete Sequen- zen und/oder Ereignisse erzeugt werden, die zum Beispiel sowohl in Bezug auf den Ort, zum Beispiel einen Ort der Ampel 19, als auch ei- ne Zeit, zum Beispiel einer Länge der Rotphase als Dauer des Events, synchronisiert werden können. Im beispielhaften Kontext eines Welt- raumspiels kann zum Beispiel ein Vorbeiflug eines großen Raum- schiffs dargestellt werden, der exakt eine Länge einer Rotphase an- dauern kann; und/oder - Online traffic light information, for example information about how long an associated traffic light 19 can still be red and / or green for the user / the motor vehicle 16; this information can be used in virtual reality, for example to give context and state or waiting phases of a virtual ego object of the media content. For this purpose, for example, scripted sequences and / or events can be generated, for example, both in terms of the location, for example a location of the traffic light 19, and a time, for example a length of the red phase, as the duration of the event , can be synchronized. In the exemplary context of a world for example, a flyby of a large spaceship can be shown, which can last exactly the length of a red phase; and or
- Lokale Wetterinformationen, zum Beispiel Wettereindrücke (zum Bei- spiel Regen, Donner) können durch den Benutzer der Ausgabevor- richtung 14 weiterhin wahrgenommen werden, obwohl sich der Benut- zer in einer virtuellen Welt befindet. Der Grund hierfür ist, dass die Ge- räusche weiterhin wahrgenommen werden. Zum Beispiel mittels Da- ten einer Regensensorik und/oder online Wetterinformationen kann die Information in die virtuelle Realität aufgegriffen und verarbeitet werden. Zum Beispiel kann ein Regen in Realität als lonensturm in ei- ner virtuellen Weltraumwelt aufgegriffen werden, oder ein Regen in Realität kann zum Beispiel als Fliegen durch einen Partikelscharm in der virtuellen Realität aufgegriffen werden; und/oder  Local weather information, for example weather impressions (for example rain, thunder) can still be perceived by the user of the output device 14, even though the user is in a virtual world. The reason for this is that the noises are still perceived. For example, by means of data from a rain sensor system and / or online weather information, the information can be taken up and processed in the virtual reality. For example, a rain in reality can be picked up as an ion storm in a virtual space world, or a rain in reality can be picked up as flying through a cluster of particles in virtual reality, for example; and or
- Nutzung von Daten über zum Beispiel einen Fahrzeuguntergrund; ei- ne weitere Information, welche von dem Benutzer der virtuellen Reali- tät wahrgenommen werden kann, ist ein aktueller Fahrbahnuntergrund (zum Beispiel Kopfsteinpflaster, Waldweg, Schotter, normaler Asphalt, Geschwindigkeitsschwellen, sogenannte „Speed Bumps“, Schlaglö- eher). Diese verschiedenen Untergründe verursachen verschiedene haptische Fahrerlebnisse und können in der virtuellen Realität reprä- sentiert werden. Zum Beispiel kann ein reales Schlagloch als Ein- schlag einer Rakete in der virtuellen Umgebung aufgenommen wer- den. Kopfsteinpflaster der realen Umgebung des Kraftfahrzeugs 16 kann zum Beispiel in der virtuellen Umgebung als Feld mit einer Er- schütterung aufgegriffen werden, zum Beispiel einem Flug durch ein Blätterdach von Bäumen.  - Use of data on, for example, a vehicle surface; Another piece of information that can be perceived by the user of the virtual reality is a current road surface (for example cobblestones, forest paths, gravel, normal asphalt, speed thresholds, so-called “speed bumps”, potholes). These different surfaces create different haptic driving experiences and can be represented in virtual reality. For example, a real pothole can be recorded as a rocket impact in the virtual environment. Cobblestones of the real environment of motor vehicle 16 can be picked up, for example, in the virtual environment as a field with a vibration, for example a flight through a canopy of trees.
In einer beispielhaften technischen Umsetzung kann das System und/oder das Verfahren folgendermaßen umgesetzt werden: In an exemplary technical implementation, the system and / or the method can be implemented as follows:
- Streamen von dazugehörigen Fahrzeugdaten (zum Beispiel Regen- sensor, Ampelinformationen, Schlaglocherkennung) an zum Beispiel eine als VR-Brille ausgestaltete Ausgabevorrichtung 14; und/oder - Bei beispielsweise mobiler VR-Brille über genutzte Fahrzeugschnitt- steile zum Beispiel Bluetooth und/oder WiFi; und/oder - Streaming associated vehicle data (for example rain sensor, traffic light information, pothole detection) to, for example, an output device 14 designed as VR glasses; and or - With, for example, mobile VR glasses via used vehicle interfaces, for example Bluetooth and / or WiFi; and or
- Es kann unterschieden werden zwischen zum Beispiel generell aktuel- len Informationen (zum Beispiel Regeninformationen, Helligkeitsinfor- mationen), welche spontan übermittelt werden können; und/oder orts- gebundenen Informationen (zum Beispiel Ampelinformationen, Fahr- zeuguntergrund, Schlaglöcher), welche vorzugsweise zusammen mit einer Ortsinformation (latitude, longitude, altitude) übermittelt werden können; und/oder  - A distinction can be made between, for example, generally current information (for example, rain information, brightness information), which can be transmitted spontaneously; and / or location-related information (for example traffic light information, vehicle surface, potholes), which can preferably be transmitted together with location information (latitude, longitude, altitude); and or
- Einige der Daten (zum Beispiel Informationen über Schlaglöcher) kön- nen mittels Schwarmdaten ermittelt werden, daher kann auch eine Schnittstelle zu einem Backend über das Mobilfunknetz eingesetzt werden. - Some of the data (for example information about potholes) can be determined using swarm data, which is why an interface to a backend via the mobile network can also be used.

Claims

PATENTANSPRÜCHE: CLAIMS:
1. Verfahren zum Betreiben einer mobilen, tragbaren Ausgabevorrichtung (14) in einem Kraftfahrzeug (16), wobei das Verfahren durch die folgen- den, durch eine Kontextbearbeitungseinrichtung (12) durchgeführten1. A method for operating a mobile, portable output device (14) in a motor vehicle (16), the method being carried out by the following, by a context processing device (12)
Schritte gekennzeichnet ist: Steps is marked:
- Empfangen eines Umgebungssignals aus einer Erfassungseinrichtung (10) des Kraftfahrzeugs (16), wobei das empfangene Umgebungssig- nal eine von einer Bewegungsrichtung des Kraftfahrzeugs (16) unab- hängige Information zu einem Ereignis in einer Umgebung des Kraft- fahrzeugs (16) beschreibt (S2),  Receiving an ambient signal from a detection device (10) of the motor vehicle (16), the received ambient signal describing information about an event in an environment of the motor vehicle (16) that is independent of a direction of movement of the motor vehicle (16) ( S2),
- Feststellen eines vorgegebenen thematischen Kontexts eines Medien- inhaltes einer Ausgabedatei (S3),  Determining a predetermined thematic context of a media content of an output file (S3),
- in Abhängigkeit von dem ermittelten thematischen Kontext des Medi- eninhalts: Ändern des vorgegebenen Medieninhaltes der Ausgabeda- tei (S4) dahingehend, dass eine durch den geänderten Medieninhalt beschriebene virtuelle Umgebung die Information des Ereignisses der Umgebung des Kraftfahrzeugs (16) kontextbezogen berücksichtigt, und  - depending on the determined thematic context of the media content: changing the predetermined media content of the output file (S4) such that a virtual environment described by the changed media content takes into account the information about the event of the environment of the motor vehicle (16) in a context-related manner, and
- Übertragen der Ausgabedatei mit dem geänderten Medieninhalt an - Transfer the output file with the changed media content to
Anzeigeeinrichtung der Ausgabevorrichtung (14, S5) zum Ausgeben der Ausgabedatei. Display device of the output device (14, S5) for outputting the output file.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass 2. The method according to claim 1, characterized in that
die Information zu dem Ereignis der Umgebung eine aktuelle, die Um- gebung beschreibende Information ist, vorzugsweise eine Information zu einem aktuellen Wetter an einem aktuellen Standort des Kraftfahr- zeugs (16).  the information about the event of the environment is current information describing the environment, preferably information about a current weather at a current location of the motor vehicle (16).
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge- kennzeichnet, dass 3. The method according to any one of the preceding claims, characterized in that
die Information zu dem Ereignis der Umgebung eine Eigenschaft eines realen Objekts (18) in der Umgebung beschreibt, vorzugsweise eine Ei- genschaft eines Fahrzeuguntergrunds und/oder eine Information zu ei- ner Verkehrsampel (19). the information about the event of the environment describes a property of a real object (18) in the environment, preferably a property of a vehicle surface and / or information about a ner traffic light (19).
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass 4. The method according to claim 3, characterized in that
die Information eine Bewegung des realen Objekts (18) beschreibt, vor- zugsweise eine Bewegungsrichtung und/oder eine Geschwindigkeit, mit der sich das reale Objekt (18) bewegt.  the information describes a movement of the real object (18), preferably a direction of movement and / or a speed at which the real object (18) moves.
5. Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass 5. The method according to claim 3 or 4, characterized in that
die Information eine geographische Position des realen Objekts (18) beschreibt.  the information describes a geographical position of the real object (18).
6. Kontextbearbeitungseinrichtung (12), die dazu eingerichtet ist, ein Ver- fahren nach einem der vorhergehenden Ansprüche durchzuführen. 6. Context editing device (12) which is set up to carry out a method according to one of the preceding claims.
7. Kraftfahrzeug (16), das durch eine Kontextbearbeitungseinrichtung (12) nach Anspruch 6 gekennzeichnet ist. 7. Motor vehicle (16), which is characterized by a context processing device (12) according to claim 6.
8. Mobile, tragbare Ausgabevorrichtung (14), das durch eine Kontextbear- beitungseinrichtung (12) nach Anspruch 6 gekennzeichnet ist. 8. Mobile, portable output device (14), which is characterized by a context processing device (12) according to claim 6.
EP19725969.0A 2018-08-14 2019-05-21 Method for operating a mobile, portable output apparatus in a motor vehicle, context processing device, mobile output apparatus and motor vehicle Pending EP3837594A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018213654.8A DE102018213654A1 (en) 2018-08-14 2018-08-14 Method for operating a mobile, portable output device in a motor vehicle, context processing device, mobile output device, and motor vehicle
PCT/EP2019/063012 WO2020035183A1 (en) 2018-08-14 2019-05-21 Method for operating a mobile, portable output apparatus in a motor vehicle, context processing device, mobile output apparatus and motor vehicle

Publications (1)

Publication Number Publication Date
EP3837594A1 true EP3837594A1 (en) 2021-06-23

Family

ID=66640964

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19725969.0A Pending EP3837594A1 (en) 2018-08-14 2019-05-21 Method for operating a mobile, portable output apparatus in a motor vehicle, context processing device, mobile output apparatus and motor vehicle

Country Status (5)

Country Link
US (1) US11687149B2 (en)
EP (1) EP3837594A1 (en)
CN (1) CN112585563A (en)
DE (1) DE102018213654A1 (en)
WO (1) WO2020035183A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018213654A1 (en) 2018-08-14 2020-02-20 Audi Ag Method for operating a mobile, portable output device in a motor vehicle, context processing device, mobile output device, and motor vehicle

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10156219C1 (en) 2001-11-15 2003-08-14 Daimler Chrysler Ag Motion sickness reduction method for persons travelling by air, sea or rail, involves modification of images provided by image reproduction devices for reducing perception of movement
US7128705B2 (en) * 2002-11-26 2006-10-31 Artis Llc Motion-coupled visual environment for prevention or reduction of motion sickness and simulator/virtual environment sickness
JP2007133489A (en) * 2005-11-08 2007-05-31 Sony Corp Virtual space image display method and device, virtual space image display program and recording medium
US20090119706A1 (en) * 2005-12-16 2009-05-07 Stepframe Media, Inc. Generation and Delivery of Stepped-Frame Content Via MPEG Transport Streams
US20080310707A1 (en) * 2007-06-15 2008-12-18 Microsoft Corporation Virtual reality enhancement using real world data
US9630631B2 (en) * 2013-10-03 2017-04-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
DE102015003948B4 (en) * 2015-03-26 2022-08-11 Audi Ag Method for operating virtual reality glasses and a virtual reality system arranged in a motor vehicle
DE102015003882A1 (en) * 2015-03-26 2016-09-29 Audi Ag Method for operating a arranged in a motor vehicle virtual reality glasses and virtual reality system
US10724874B2 (en) * 2015-10-13 2020-07-28 Here Global B.V. Virtual reality environment responsive to predictive route navigation
US20170352185A1 (en) * 2016-06-02 2017-12-07 Dennis Rommel BONILLA ACEVEDO System and method for facilitating a vehicle-related virtual reality and/or augmented reality presentation
US10205890B2 (en) * 2016-07-25 2019-02-12 Ford Global Technologies, Llc Systems, methods, and devices for rendering in-vehicle media content based on vehicle sensor data
DE102017200733A1 (en) * 2017-01-18 2018-07-19 Audi Ag An entertainment system for a motor vehicle and method for operating an entertainment system
DE102017005982A1 (en) 2017-06-23 2018-02-22 Daimler Ag A method and apparatus for preventing or reducing symptoms of kinetosis, vehicle having a device for preventing or reducing symptoms of kinetosis
DE102018213654A1 (en) 2018-08-14 2020-02-20 Audi Ag Method for operating a mobile, portable output device in a motor vehicle, context processing device, mobile output device, and motor vehicle

Also Published As

Publication number Publication date
WO2020035183A1 (en) 2020-02-20
US11687149B2 (en) 2023-06-27
US20210318746A1 (en) 2021-10-14
DE102018213654A1 (en) 2020-02-20
CN112585563A (en) 2021-03-30

Similar Documents

Publication Publication Date Title
DE102008052460B4 (en) Vehicle navigation system with real-time traffic image display
EP2724911B1 (en) Driving assistance method and driving assistance system for increasing driving comfort
DE102014109876B4 (en) Methods, systems and apparatus for providing application generated information for display in a main automotive unit
DE102012214988B4 (en) Vehicle gaming system with augmented reality for front and rear seats for entertainment and information for passengers
DE102006056874B4 (en) navigation device
EP3164858A1 (en) Method for determining parking spaces and free-parking space assistance system
US20150120149A1 (en) Vehicle occupant comfort
DE102017116073A1 (en) SYSTEM AND METHOD FOR IMPROVING THE VEHICLE ENVIRONMENT DETECTION
DE112020000110T5 (en) USE OF PASSENGER ATTENTION DATA COLLECTED IN VEHICLES FOR LOCATIONALIZATION AND LOCATION-RELATED SERVICES
DE102015218830A1 (en) Method for a motor vehicle, for detecting poor road conditions and a related system and motor vehicle
DE102015202859A1 (en) Sampling system and method for autonomous driving
KR102493862B1 (en) Reinforcing navigation commands using landmarks under difficult driving conditions
WO2011117141A1 (en) Data processing in a vehicle
EP3649519A1 (en) Method for verifying a digital map in a more highly automated vehicle, corresponding device and computer program
WO2020074280A1 (en) Method and device for controlling display contents on an output means of a vehicle
DE102009053982A1 (en) Consumption-optimized route calculating system for motor vehicle, has computing unit calculating s consumption-optimized route by using vehicle individual and/or driver individual consumption-relevant data of storage unit
DE102020103633A1 (en) ROUTE PLANNING FUSION FOR A VEHICLE
DE102015220613A1 (en) Method and device for determining a location for a warning triangle in the road traffic area and method and apparatus for assisting an occupant of a vehicle when setting up a warning triangle
DE112021001082T5 (en) DRIVE CONTROL DEVICE AND HMI CONTROL DEVICE
DE112014001209T5 (en) Navigation according to permitted travel times
DE102019217642A1 (en) Method for capturing image material for checking image evaluation systems, device and vehicle for use in the method, as well as computer program
EP2629054A2 (en) Method for providing ambient information
WO2020035183A1 (en) Method for operating a mobile, portable output apparatus in a motor vehicle, context processing device, mobile output apparatus and motor vehicle
DE102018222378A1 (en) Device and method for controlling the output of driver information and for maintaining the attention of a driver of an automated vehicle
DE102012003921A1 (en) Display- and operating unit for motor vehicle, has display controller that has access to memory for storing of images, and multiple images are selected and different images are automatically displayed depending on state of motor vehicle

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210315

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230516

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230529