CN111182940B - 在车辆中无晕动症地观看数字式内容 - Google Patents

在车辆中无晕动症地观看数字式内容 Download PDF

Info

Publication number
CN111182940B
CN111182940B CN201880064145.4A CN201880064145A CN111182940B CN 111182940 B CN111182940 B CN 111182940B CN 201880064145 A CN201880064145 A CN 201880064145A CN 111182940 B CN111182940 B CN 111182940B
Authority
CN
China
Prior art keywords
vehicle
data glasses
virtual
scene
control parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880064145.4A
Other languages
English (en)
Other versions
CN111182940A (zh
Inventor
D·普洛芬蒂奈尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Publication of CN111182940A publication Critical patent/CN111182940A/zh
Application granted granted Critical
Publication of CN111182940B publication Critical patent/CN111182940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G02B27/022—Viewing apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/33—Controlling, regulating or measuring
    • A61M2205/332—Force measuring means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/35—Communication
    • A61M2205/3546—Range
    • A61M2205/3569—Range sublocal, e.g. between console and disposable
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/35—Communication
    • A61M2205/3576—Communication with non implanted data transmission devices, e.g. using external transmitter or receiver
    • A61M2205/3592—Communication with non implanted data transmission devices, e.g. using external transmitter or receiver using telemetric means, e.g. radio or optical transmission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A61M2205/507—Head Mounted Displays [HMD]
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Animal Behavior & Ethology (AREA)
  • Anesthesiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Hematology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Psychology (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种用于在车辆中无晕动症地观看数字式内容的系统，该系统包括具有控制单元和多个与控制单元相连接的传感器的车辆以及可与控制单元无线连接的、用于展示集成有数字式内容的虚拟3D场景的数据眼镜。

Description

在车辆中无晕动症地观看数字式内容
技术领域
本发明涉及一种用于在车辆中无晕动症地观看数字式内容的系统，该系统包括具有控制单元和多个与控制单元相连接的传感器的车辆以及可与控制单元无线连接的、用于展示集成了数字式内容的虚拟3D场景的数据眼镜(头戴式设备，HMD)。
背景技术
在行驶期间，车辆的乘员受到不同的加速度。这些加速度一方面包括在车辆的行驶方向上作用的车辆线性加速度(纵向加速度)，该线性加速度通过加速或制动引起。另一方面，乘员经受转动加速度(横向加速度)，根据转动轴线相对于车辆行驶方向的空间定向，该转动加速度被称为俯仰(转动轴线水平且垂直于行驶方向)、侧倾(转动轴线平行于行驶方向)，或者横摆(转动轴线竖直且垂直于行驶方向)。转动加速度直接通过转向和通过地面的地形并且间接地作为对所有上述的直接加速度的弹性响应而引起。
在行驶期间，当通过眼睛(视力)传输给车辆乘员的对位置、定向和加速度的视觉感知与通过前庭系统(平衡感)传输的对这些参数的感知不一致时，乘员在车辆中可能忍受头晕、头疼、脉搏加快、恶心或呕吐(晕动症)之苦。
这种差异可能例如出现在车辆中的这样的乘员身上，即，该乘员在行驶期间读书或者在移动终端设备例如智能手机或平板电脑上观看数字式内容。此时，乘员以下垂的视线固定在尽可能保持静止的书的一页上或者尽可能保持静止的移动终端设备的显示内容上，而其平衡感持续地通过由行驶决定的车辆加速度来模拟。但是，既不读书也不观看移动终端设备的显示内容、但对车辆环境的视觉感知受限或被妨碍的乘员(例如在车辆中坐在后面的乘客的向前的自由视线由前方的车辆座椅和头枕部分地调整)也可能出现晕动症。
文献US 2006/0015000 A1公开了一种用于保护坐在后面的车辆乘员不出现晕动症的用于车辆的系统、方法以及装置。该系统包括与车辆相连接的且向前指向的外部摄像机和安装在车辆的前面的头枕的后侧上的显示单元，该显示单元布置在坐在后面的乘员的视野中。显示单元使乘员能连续地看到由外部摄像机拍摄的视频流。在此，由外部摄像机拍摄的车辆前方的环境在任何时候都直接与车辆的空间位置和定向相关，并且因此实时地反映在行驶期间出现的全部加速度，从而减小或消除了坐在后面的乘员的晕动症风险。视频流也可用作由显示单元在前景中展示出的静态文本的背景。于是，坐在后面的乘员可同时阅读文本和获得与前庭的加速度感知一致的视觉刺激。
然而在该解决方案中，坐在后面的乘员的视线方向通过显示单元的位置来规定。这种阅读与通常以倾斜的头部阅读的书本不同地，以径直向前的视线来进行，由此，可轻易地通过来自车辆或车辆环境的刺激转移乘员的注意力。此外，该解决方案主要适合坐在后面的乘员，因为难以为坐在前面的乘员相应地安装显示单元。但是，该缺点是可避免的。
例如，文献US2016/238852A1和US2017/227765A1分别公开了一种数据眼镜(头戴式设备，HMD)，其适于用作为车辆中的显示单元。
因此，文献DE 10 2014 019 579 A1公开了一种用于运行车辆中的显示单元的系统。显示单元可构造成数据眼镜，并且使佩戴该数据眼镜的车辆乘员能看到文本以进行阅读。车辆具有多个用于获取车辆的运动信息的传感器。显示单元配置成，接收运动信息并且为文本展示出不触目的背景，该背景根据接收到的运动信息与车辆的加速度实时一致地计算出。以这种方式，在阅读文本期间，为数据眼镜的佩戴者减小了晕动症的风险。
在文献US 2014/362113 A1、DE 10 2014 019579和DE 101 56 219 C1中描述了类似的系统。
而文献DE 101 56 219 C1公开了一种用于当在车辆中观看运动图像时减小晕动症的方法。适合用于该方法的装置包括安置在乘员的头部上的显示单元(头戴式设备，HMD)，该显示单元具有六个加速度传感器、一个位置/定向传感器(六个自由度，6自由度跟踪器)以及可选的迷你摄像机。显示单元与在车辆中相对于显示单元独立地布置的计算机无线地或有线地耦联。该计算机配置成，播放DVD(数字多功能光盘)、视频、VR应用(虚拟现实)或AR应用(增强现实)的数据，根据显示单元的传感器的信号以计算的方式进行转换，并且如此输出到显示单元上，使得显示单元的佩戴者的视觉感知与其前庭的感知一致。
该方法要求高的带宽以用于从计算机向显示单元传输运动图像流。在显示单元有线地耦联到计算机上时，可无问题地实现充分的带宽。然而，由于缆线的存在，该变型方案伴随着显示单元的操作困难。相反，在无线耦联时，给出简单的无问题的操作，但在高分辨率和高的图像变化率的情况中传输运动图像流时，不能总是保证充分的带宽。当多个车辆乘员同时分别使用显示单元并且观看不同的运动图像流时，该问题更加显著。
发明内容
因此本发明提出的目的是，提供更好的用于在车辆中观看数字式内容时减小晕动症的系统，对于乘员来说，该系统可简单操作并且以小的带宽工作。此外，本发明的目的是，给出一种更好的用于在车辆中展示数字式内容的方法。
本发明的一个主题是一种用于在车辆中无晕动症地观看数字式内容的系统。该系统包括具有控制单元和多个与控制单元相连接的传感器的车辆以及可与控制单元无线连接的、用于展示集成有数字式内容的虚拟3D场景的数据眼镜。
根据本发明，车辆的控制单元配置成，从由传感器接收的传感器数据计算控制参数，并将控制参数传输给数据眼镜。因此，通过使控制单元从传感器数据计算用于数据眼镜的控制参数，控制单元预处理传感器数据。，当需要接收的控制参数比传感器数据少时，控制单元对传感器数据的预处理可使得待传输的数据量减小。当与传感器数据接收的频度相比更低地选择控制参数计算的频度时，可实现进一步减小。
相应地，根据本发明，数据眼镜配置成，接收控制参数，并根据所接收的控制参数计算虚拟3D场景(虚拟现实，VR)。为了展示虚拟3D场景通常需要大的数据量。如果虚拟3D场景应克服晕动症，该数据量必须实时地与车辆的加速度一致地计算，并且在数据眼镜中用于显示。本发明基于的考虑是，数据眼镜配置成，根据控制参数计算虚拟3D场景。以这种方式，不必将数据量大的虚拟3D场景传输给数据眼镜，以便在数据眼镜中展示虚拟3D场景，而是传输很少的对于计算重要的控制参数就足够了，为此需要显著更小的带宽。
在一种实施方式中，车辆和数据眼镜分别具有彼此互补的无线通信接口、尤其是IR接口、蓝牙接口、WIFI接口和/或NFC接口。与所述通信接口不同的已知的或未来的通信接口也在本发明的保护范围之内。显然，车辆和数据眼镜也可具有多个互补的接口对，数据眼镜的佩戴者可从这些接口对中选择任意的接口对，以将数据眼镜与车辆相连接。
在一种优选的实施方式中，由控制单元计算的控制参数包括车辆的绝对位置、相对于水平线的角度、横向加速度和纵向加速度，和/或数据眼镜配置成，在计算虚拟3D场景之前再处理所接收的控制参数，尤其是使所接收的控制参数平滑。换句话说，四个控制参数就足够用于与车辆的加速度一致地计算虚拟3D场景。车辆的绝对位置可用于在虚拟3D场景之内的空间布置。根据相对于水平线的角度，可与实际视线方向对应地模拟数据眼镜的佩戴者看向虚拟3D场景的视角。纵向和横向加速度是用于减小晕动症风险的最重要的控制参数。纵向和横向加速度可用于，与车辆一致地使虚拟3D场景加速，由此，可减小或避免在视觉感知与前庭感知之间的差异。
在另一实施方式中，该系统包括可与车辆和/或数据眼镜无线连接的、用于显示车辆参数和/或行驶参数的移动终端设备、尤其是智能手表，并且数据眼镜配置成，将与移动终端设备对应的虚拟终端设备集成到计算出的虚拟3D场景中，从而可在虚拟终端设备上看到由移动终端设备显示的车辆参数和/或行驶参数。移动终端设备及其虚拟对应物的同时使用，为数据眼镜的佩戴者实现了消除在真实世界和虚拟世界之间的边界的、统一的交互体验。智能手表特别适用于此，这是因为佩戴者持续地在其手腕上佩戴该智能手表并且其使用非常舒适。
在一种实施方式中，数据眼镜配置成，将对数据眼镜的佩戴者、尤其是车辆的驾驶员的视觉提示、尤其是隐喻性的提示集成到计算出的虚拟3D场景中，以要求/敦促数据眼镜的佩戴者摘下数据眼镜。例如，计算出的虚拟3D场景包括传送门(Portal)，当佩戴者应摘下数据眼镜时，虚拟地经过该传送门。以这种方式，为数据眼镜的佩戴者实现非常自然的交互体验。
在另一实施方式中，数据眼镜包括至少一个用于获取数据眼镜的环境的光学传感器、尤其是摄像机，数据眼镜还包括车辆的内部环境的数字模型，并且数据眼镜配置成，借助于该数字模型将所获取的环境的与所述内部环境相对应的静态部分与所获取的环境的动态部分区分开，该动态部分与车辆的可通过车窗看到的、运动的外部环境相对应。借助于所获取的动态部分，可确定数据眼镜相对于车辆环境的运动。附加地考虑在数据眼镜和环境之间的相对运动可进一步减小在视觉感知与前庭感知之间的差异。
在一种实施方式中，车辆配置成，根据是否使用数据眼镜而不同地设置车辆部件的调整范围、尤其是前排座椅的位置调整范围。在使用数据眼镜时，由于数据眼镜的空间需求，在安置在佩戴者的头部上的数据眼镜与车辆气囊之间的距离相对于在佩戴者的头部与车辆气囊之间的距离减小，因此，被触发的气囊可将冲击传递到数据眼镜上并且间接地传递到佩戴者的头部上，这可能带来乘员受伤的风险。这可通过以下方式防止，即，与未佩戴数据眼镜的车辆乘员相比，数据眼镜的佩戴者向前调整其车辆座椅的距离可更短。换句话说，当坐在车辆座椅上的乘员佩戴了数据眼镜时，可减小车辆座椅在其前方区域中的调整范围。
在另一实施方式中，数据眼镜配置成，将涉及车辆环境中的对象的信息集成到、尤其是隐喻地集成到计算出的虚拟3D场景中。例如，可将车辆环境中的景点、也就是说兴趣点(Point Of Interest，POI)或者供货方的吸引人的产品(植入式广告)集成到虚拟3D场景中。此时，可使用与虚拟3D场景的主题相符合的隐喻方式。
在一种优选的实施方式中，数据眼镜配置成，在虚拟屏幕上播放二维的运动图像流、尤其是电影，并且在计算出的虚拟3D场景中展示出虚拟屏幕，所述计算出的虚拟3D场景在内容上与二维的运动图像相对应。换句话说，为虚拟3D场景选择与在虚拟屏幕上播放的运动图像流相符合的主题。这为数据眼镜的佩戴者实现了特别均一的体验。
本发明的另一主题是一种用于车辆的数据眼镜，该数据眼镜构造且配置成，与车辆一起形成根据本发明的系统。这种数据眼镜可无线地与车辆的控制单元相连接，以便使佩戴了数据眼镜的车辆乘员能无晕动症地观看嵌入虚拟3D场景中的数字式内容，并且在此利用无线连接的低的带宽就足以应付。
本发明的主题也包括用于尤其是借助于根据本发明的系统在车辆中展示数字式内容的方法，在该方法中，由设置在车辆中的控制单元从由设置在车辆中的多个传感器接收的传感器数据计算控制参数，计算出的控制参数由车辆传输给与车辆无线连接的数据眼镜，并且由该数据眼镜根据所接收的控制参数计算集成有数字式内容的虚拟3D场景。在根据本发明的方法中，不是在车辆侧进行虚拟3D场景的计算，而是通过数据眼镜进行。因此，不必将大的数据量从车辆传输给数据眼镜。而是，对于与车辆的加速度一致的虚拟3D场景，很少的从传感器数据计算出的控制参数就足够了，相应地，其连续的传输需要用于在车辆和数据眼镜之间的无线连接的低的带宽。
具体实施方式
下文按照根据本发明的用于在车辆中由乘员无晕动症地观看数字式内容的系统的实施方式示出并进一步描述本发明。
该系统包括车辆，该车辆具有设置在车辆中的控制单元和多个设置在车辆中的传感器，所述传感器与控制单元相连接。此外，该系统包括用于展示出集成了数字式内容的虚拟3D场景的数据眼镜。车辆、尤其是设置在车辆中的传感器和数据眼镜具有彼此互补的无线WIFI通信接口，它们借助于该通信接口相互连接。
控制单元配置成，从由传感器接收的传感器数据中在预处理的范围中计算出数据眼镜的控制参数，并且借助于WIFI通信接口无线地将控制参数传输给数据眼镜。控制参数包括车辆的绝对位置、相对于水平线的角度、横向加速度和纵向加速度。
数据眼镜配置成，接收、再处理由控制单元计算出的控制参数，并且根据所接收和再处理的控制参数计算出虚拟3D场景。对在各个离散时刻接收的控制参数的再处理用于，通过平滑对控制参数的连续曲线进行插值。
此外，所述系统包括用于显示车辆参数或行驶参数的智能手表，所述车辆参数或行驶参数例如为离行驶目的地的剩余距离或者可供使用的能量储备。智能手表具有无线的WIFI通信接口并且与车辆或数据眼镜无线连接。数据眼镜配置成，将与智能手表对应的虚拟智能手表集成到计算出的虚拟3D场景中，从而也可在虚拟智能手表上看到由智能手表显示的车辆参数或行驶参数。
数据眼镜配置成，将对于数据眼镜的佩戴者、尤其是车辆驾驶员的视觉提示、尤其是隐喻性的提示集成到计算出的虚拟3D场景中，以便要求数据眼镜的佩戴者摘下数据眼镜。作为隐喻性的提示，数据眼镜展示出传送门，该传送门被佩戴数据眼镜的车辆驾驶员虚拟地经过。
数据眼镜包括用于获取数据眼镜的环境的摄像机和车辆内部环境的数字模型。数据眼镜配置成，借助于该数字模型将所获取的环境的静态部分与所获取的环境的动态部分区分开，所述静态部分与内部环境、也就是说车辆的内部相对应，所述动态部分与车辆的可通过车窗看到的、相对运动的外部环境相对应。
车辆配置成，根据坐在前排座椅上的乘员是否佩戴了数据眼镜而不同地设置前排座椅的在位置方面的调整范围。
此外，数据眼镜配置成，将涉及车辆环境中的对象的信息集成、尤其是隐喻性地集成到计算出的虚拟3D场景中。为此，例如以符合虚拟3D场景的主题的方式展示车辆环境中确定的供货方的所在地、车辆环境中的景点的旅游信息或者特殊的广告提示。
数据眼镜配置成，在集成到虚拟3D场景中的虚拟屏幕上播放电影。在此，在计算出的虚拟3D场景中展示虚拟屏幕，该虚拟3D场景在主题上与二维的运动图像相对应。例如，虚拟3D场景可模拟飞过从星球大战电影中已知的死星，而在虚拟屏幕上播放星球大战系列电影中的一部的故事。
在根据本发明的系统运行期间，控制单元从传感器数据中计算出控制参数，并且将控制参数传输给与车辆无线连接的数据眼镜。数据眼镜根据所接收的控制参数计算出集成了数字式内容的虚拟3D场景。
根据本发明的系统的优点在于，为佩戴数据眼镜的车辆乘员实现，在与数字式内容在主题上相协调的数据量大的VR应用的范围中无晕动症地观看数字式内容，而不必为在数据眼镜和车辆之间的无线连接提供高的带宽。由此，在操作简单的同时，为数据眼镜的佩戴者提供了数字式内容的均一的且整体性的体验。当车辆的多个乘员同时观看不同的数字式内容时，该优点进一步扩大。

Claims (19)

1.一种用于在车辆中无晕动症地观看数字式内容的系统，所述系统包括：车辆，该车辆具有控制单元和多个与控制单元相连接的传感器；以及能与控制单元无线连接的数据眼镜，该数据眼镜用于展示集成有数字式内容的虚拟3D场景，其中，所述控制单元被配置成，从由传感器接收的传感器数据中计算出控制参数，并将所述控制参数传输给数据眼镜，其中，所述数据眼镜被配置成，接收所述控制参数，并根据所接收的控制参数计算出与车辆一致地加速的所述虚拟3D场景，所述控制参数包括车辆的绝对位置、相对于水平线的角度、横向加速度和纵向加速度。
2.根据权利要求1所述的系统，其中，所述车辆和所述数据眼镜分别具有彼此互补的无线通信接口。
3.根据权利要求2所述的系统，其中，所述无线通信接口是IR接口、蓝牙接口、WIFI接口和/或NFC接口。
4.根据权利要求1至3中任一项所述的系统，其中，所述数据眼镜被配置成，在计算虚拟3D场景之前对所接收的控制参数进行再处理。
5.根据权利要求4所述的系统，其中，所述再处理是使所接收的控制参数平滑。
6.根据权利要求1至3中任一项所述的系统，所述系统包括能与车辆和/或数据眼镜无线连接的、用于显示车辆参数和/或行驶参数的移动终端设备，其中，所述数据眼镜被配置成，将与移动终端设备相对应的虚拟终端设备集成到计算出的虚拟3D场景中，从而能在虚拟终端设备上看到由移动终端设备显示的车辆参数和/或行驶参数。
7.根据权利要求6所述的系统，其中，所述移动终端设备是智能手表。
8.根据权利要求1至3中任一项所述的系统，其中，所述数据眼镜被配置成，将对于数据眼镜的佩戴者的视觉提示集成到计算出的虚拟3D场景中，以要求数据眼镜的佩戴者摘下所述数据眼镜。
9.根据权利要求8所述的系统，其中，数据眼镜的佩戴者是车辆驾驶员。
10.根据权利要求8所述的系统，其中，所述视觉提示是隐喻性的提示。
11.根据权利要求1至3中任一项所述的系统，其中，所述数据眼镜包括车辆的内部环境的数字模型和至少一个用于对数据眼镜的环境进行检测的光学传感器，其中，所述数据眼镜被配置成，借助于所述数字模型将所检测到的环境的与所述内部环境相对应的静态部分与所检测到的环境的动态部分区分开，该动态部分与车辆的能通过车窗看到的、运动的外部环境相对应。
12.根据权利要求11所述的系统，其中，所述光学传感器是摄像机。
13.根据权利要求1至3中任一项所述的系统，其中，所述车辆被配置成，根据是否使用所述数据眼镜而不同地设置车辆部件的调整范围。
14.根据权利要求13所述的系统，其中，所述车辆部件的调整范围为前排座椅的在位置方面的调整范围。
15.根据权利要求1至3中任一项所述的系统，其中，所述数据眼镜被配置成，将涉及车辆环境中的对象的信息集成到计算出的虚拟3D场景中，和/或
在虚拟屏幕上播放二维的运动图像流，并在与二维的运动图像在内容上相对应的、计算出的虚拟3D场景中展示出所述虚拟屏幕。
16.根据权利要求15所述的系统，其中，将涉及车辆环境中的对象的信息隐喻性地集成到计算出的虚拟3D场景中。
17.根据权利要求15所述的系统，其中，所述二维的运动图像流是电影。
18.一种用于车辆的数据眼镜，所述数据眼镜被构造和配置成，与车辆一起形成根据权利要求1至17中任一项所述的系统。
19.一种用于借助于根据权利要求1至17中任一项所述的系统在车辆中展示数字式内容的方法，在所述方法中，设置在车辆中的控制单元从由设置在车辆中的多个传感器接收的传感器数据中计算出控制参数，计算出的控制参数从车辆传输给与车辆无线连接的数据眼镜，所述数据眼镜根据接收到的控制参数计算与车辆一致地加速的、集成有数字式内容的虚拟3D场景，所述控制参数包括车辆的绝对位置、相对于水平线的角度、横向加速度和纵向加速度。
CN201880064145.4A 2017-10-04 2018-09-20 在车辆中无晕动症地观看数字式内容 Active CN111182940B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017217592.3A DE102017217592A1 (de) 2017-10-04 2017-10-04 Kinetosefreies Betrachten eines digitalen Inhalts in einem Fahrzeug
DE102017217592.3 2017-10-04
PCT/EP2018/075497 WO2019068477A1 (de) 2017-10-04 2018-09-20 Kinetosefreies betrachten eines digitalen inhalts in einem fahrzeug

Publications (2)

Publication Number Publication Date
CN111182940A CN111182940A (zh) 2020-05-19
CN111182940B true CN111182940B (zh) 2022-02-25

Family

ID=63685966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880064145.4A Active CN111182940B (zh) 2017-10-04 2018-09-20 在车辆中无晕动症地观看数字式内容

Country Status (7)

Country Link
US (1) US20200242361A1 (zh)
EP (1) EP3691729A1 (zh)
JP (1) JP7002648B2 (zh)
KR (1) KR102403915B1 (zh)
CN (1) CN111182940B (zh)
DE (1) DE102017217592A1 (zh)
WO (1) WO2019068477A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019152980A (ja) * 2018-03-01 2019-09-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
DE102019116713B4 (de) * 2019-06-19 2021-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung und Fortbewegungsmittel für eine kinetosevermeidende Darstellung einer virtuellen Flüssigkeit in einer Datenbrille im Fortbewegungsmittel
DE102020105196A1 (de) * 2020-02-27 2021-09-02 Audi Aktiengesellschaft Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug sowie System mit einem Kraftfahrzeug und einer Datenbrille
GB2592397A (en) * 2020-02-27 2021-09-01 Daimler Ag Method and system for mitigating motion sickness of users in a moving vehicle
JP7135052B2 (ja) * 2020-10-29 2022-09-12 ソフトバンク株式会社 制御装置、プログラム、及び制御方法
DE102021117904A1 (de) * 2021-07-12 2023-01-12 Valeo Comfort And Driving Assistance Videostreamen von einem Fahrzeug zu einem entfernten Virtuelle-Realität-System
CN113986165B (zh) * 2021-10-09 2024-04-26 上海瑾盛通信科技有限公司 显示控制方法、电子装置及可读存储介质
US11676311B1 (en) 2021-11-29 2023-06-13 International Business Machines Corporation Augmented reality replica of missing device interface

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2100773A1 (en) * 2008-03-10 2009-09-16 Delphi Technologies, Inc. Vehicle rear view apparatus utilizing heads up display and rear looking sensors
JP2014200018A (ja) * 2013-03-29 2014-10-23 アイシン精機株式会社 画像表示制御装置および画像表示システム
CN104977717A (zh) * 2014-04-14 2015-10-14 哈曼国际工业有限公司 头戴式显示器呈现调节
CN106056973A (zh) * 2016-06-29 2016-10-26 北京小米移动软件有限公司 基于虚拟现实技术的停车引导方法及系统
JP2017001634A (ja) * 2015-06-16 2017-01-05 東日本旅客鉄道株式会社 徐行区間注意喚起システム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10156219C1 (de) 2001-11-15 2003-08-14 Daimler Chrysler Ag Verfahren und Vorrichtung zur Reduzierung von Kinetose-Störungen
US7722526B2 (en) 2004-07-16 2010-05-25 Samuel Kim System, method and apparatus for preventing motion sickness
US9994228B2 (en) * 2010-05-14 2018-06-12 Iarmourholdings, Inc. Systems and methods for controlling a vehicle or device in response to a measured human response to a provocative environment
US9283349B2 (en) * 2011-05-13 2016-03-15 Mobitv, Inc. Methods and apparatus for device based prevention of kinetosis
GB201310367D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
US9547173B2 (en) * 2013-10-03 2017-01-17 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9630631B2 (en) * 2013-10-03 2017-04-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
DE102013021137B4 (de) * 2013-12-13 2022-01-27 Audi Ag Verfahren zum Betreiben einer Datenschnittstelle eines Kraftwagens und Kraftwagen
DE102014213021A1 (de) * 2014-07-04 2016-01-07 Bayerische Motoren Werke Aktiengesellschaft Lokalisierung eines HMD im Fahrzeug
DE102014019579B4 (de) 2014-12-30 2016-12-08 Audi Ag System und Verfahren zum Betreiben einer Anzeigeeinrichtung
KR20160097411A (ko) * 2015-02-06 2016-08-18 이강우 웨어러블 디바이스를 이용한 운동정보 제공 시스템 및 운동정보 제공 방법
DE102015202099A1 (de) * 2015-02-06 2016-08-11 Bayerische Motoren Werke Aktiengesellschaft Verarbeiten von Sensordaten für ein Fahrerassistenzsystem
US20160238852A1 (en) * 2015-02-13 2016-08-18 Castar, Inc. Head mounted display performing post render processing
DE102015004749A1 (de) * 2015-04-11 2016-10-13 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
JP6443236B2 (ja) * 2015-06-16 2018-12-26 株式会社Ｊｖｃケンウッド 虚像提示システム、画像投射装置および虚像提示方法
WO2016208546A1 (ja) * 2015-06-26 2016-12-29 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、通知装置、通知システム、通知方法及びプログラム
DE102015011616A1 (de) * 2015-09-04 2017-03-09 Audi Ag Virtual-Reality-System und Verfahren zum Betreiben eines Virtual-Reality-Systems
US10338673B2 (en) * 2015-09-16 2019-07-02 Google Llc Touchscreen hover detection in an augmented and/or virtual reality environment
US10310266B2 (en) * 2016-02-10 2019-06-04 Advanced Micro Devices, Inc. Method and system for streaming information in wireless virtual reality
JP6232649B2 (ja) 2016-02-18 2017-11-22 国立大学法人名古屋大学 仮想空間表示システム
CN107128264A (zh) * 2016-02-28 2017-09-05 司文奎 防晕车的信号获取及发送、接收及处理方法和发送端
US10274737B2 (en) * 2016-02-29 2019-04-30 Microsoft Technology Licensing, Llc Selecting portions of vehicle-captured video to use for display
US9459692B1 (en) * 2016-03-29 2016-10-04 Ariadne's Thread (Usa), Inc. Virtual reality headset with relative motion head tracker
US10503245B2 (en) * 2016-09-21 2019-12-10 Apple Inc. Relative intertial measurement system
US10837790B2 (en) * 2017-08-01 2020-11-17 Nio Usa, Inc. Productive and accident-free driving modes for a vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2100773A1 (en) * 2008-03-10 2009-09-16 Delphi Technologies, Inc. Vehicle rear view apparatus utilizing heads up display and rear looking sensors
JP2014200018A (ja) * 2013-03-29 2014-10-23 アイシン精機株式会社 画像表示制御装置および画像表示システム
CN104977717A (zh) * 2014-04-14 2015-10-14 哈曼国际工业有限公司 头戴式显示器呈现调节
JP2017001634A (ja) * 2015-06-16 2017-01-05 東日本旅客鉄道株式会社 徐行区間注意喚起システム
CN106056973A (zh) * 2016-06-29 2016-10-26 北京小米移动软件有限公司 基于虚拟现实技术的停车引导方法及系统

Also Published As

Publication number Publication date
CN111182940A (zh) 2020-05-19
JP7002648B2 (ja) 2022-01-20
US20200242361A1 (en) 2020-07-30
EP3691729A1 (de) 2020-08-12
WO2019068477A1 (de) 2019-04-11
KR20200062266A (ko) 2020-06-03
KR102403915B1 (ko) 2022-05-31
JP2020536331A (ja) 2020-12-10
DE102017217592A1 (de) 2019-04-04

Similar Documents

Publication Publication Date Title
CN111182940B (zh) 在车辆中无晕动症地观看数字式内容
US11484790B2 (en) Reality vs virtual reality racing
CN104781873B (zh) 图像显示装置、图像显示方法、移动装置、图像显示系统
EP2914002B1 (en) Virtual see-through instrument cluster with live video
Smolyanskiy et al. Stereoscopic first person view system for drone navigation
US9703100B2 (en) Change nature of display according to overall motion
US20070247457A1 (en) Device and Method for Presenting an Image of the Surrounding World
US20170036111A1 (en) Head position detecting apparatus and head position detecting method, image processing apparatus and image processing method, display apparatus, and computer program
EP2365701A1 (en) Display device, terminal device, and display method
CN106413829A (zh) 图像编码和显示
US20160187970A1 (en) Head-mountable apparatus and system
US20130265331A1 (en) Virtual Reality Telescopic Observation System of Intelligent Electronic Device and Method Thereof
KR20200005740A (ko) 차량에서 사용 가능한 헤드 착용 시각적 출력 디바이스용 모바일 센서 장치, 및 디스플레이 시스템을 작동하기 위한 방법
US10464482B2 (en) Immersive displays
US10567744B1 (en) Camera-based display method and system for simulators
KR101947372B1 (ko) Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd
WO2021117606A1 (ja) 画像処理装置、システム、画像処理方法、および画像処理プログラム
CN117706780A (zh) 在绑定车辆的呈现与绑定眼镜的呈现之间传输显示内容
JP2023012155A (ja) 表示システム
Yanagi Driving Experience of an Indirect Vision Cockpit

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant