CN114374832A - 虚拟现实体验的控制方法、装置、用户设备及网络设备 - Google Patents

虚拟现实体验的控制方法、装置、用户设备及网络设备 Download PDF

Info

Publication number
CN114374832A
CN114374832A CN202011094961.5A CN202011094961A CN114374832A CN 114374832 A CN114374832 A CN 114374832A CN 202011094961 A CN202011094961 A CN 202011094961A CN 114374832 A CN114374832 A CN 114374832A
Authority
CN
China
Prior art keywords
video
vertigo
user
area
time delay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011094961.5A
Other languages
English (en)
Inventor
张世俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Communications Ltd Research Institute filed Critical China Mobile Communications Group Co Ltd
Priority to CN202011094961.5A priority Critical patent/CN114374832A/zh
Publication of CN114374832A publication Critical patent/CN114374832A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种虚拟现实体验的控制方法、装置、用户设备及网络设备，涉及无线通信技术领域。该控制方法包括：在用户使用虚拟现实设备观看虚拟现实VR视频时，确定所述用户的眩晕程度，并获取所述用户观看VR视频的动显MTP时延；根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，生成所述VR视频的调整图像或者向网络设备获取所述VR视频的调整图像；播放所述调整图像。本发明的方案，解决了现有技术难以有效缓解用户观看VR视频时的眩晕感，进而难以保证良好的沉浸感的问题。

Description

虚拟现实体验的控制方法、装置、用户设备及网络设备
技术领域
本发明涉及无线通信技术领域，特别是指一种虚拟现实体验的控制方法、装置、用户设备及网络设备。
背景技术
随着虚拟现实(Virtual Reality，简称VR)技术和产业的不断发展，很多厂商纷纷在内容播放清晰度、流畅度和头显穿戴舒适度等诸多方面采用各种优化方式进行改进，以推动沉浸感的提升。沉浸感的优劣主要体现在视觉、操作以及穿戴等几个方面，而眩晕感是目前影响沉浸感的关键因素之一。
引起VR眩晕的一个主要原因是动显(Motion To Photons，简称MTP)时延，具体是指头动到显示出相应画面的时间。而MTP时延越短，设备的沉浸感越好；反之，用户的眩晕感越强烈。
目前，基于云端的头戴式显示设备(head mounted display，简称HMD)的软硬件方案中，MTP主要由以下几个方面组成：头部运动数据的采集；将采集数据传输到云服务器；云服务器计算出头部运动姿态，渲染生成画面；渲染画面的压缩；将渲染画面传输到客服端；客服端解码；图形处理器(Graphics Processing Unit，简称GPU)将渲染好的画面传输到显示屏进行显示。而为了降低MTP时延，一方面需要降低计算和传输的时延，另一方面需要提高显示屏的刷新率。
当前虚拟现实技术中为了减轻用户的眩晕感，提高用户体验，主要是从两方面来进行提高：一是降低MTP时延，比如，使用更高性能的GPU，采用时延更低的5G网络，把云服务器部署到边缘节点；二是提高HMD的刷新频率。
就提高HMD的刷新频率而言，目前已经有一些VR产品的刷新频率提高到了90Hz，其中申请号为CN201810517897.3的专利中主张左眼显示屏幕的刷新时间与所述右眼显示屏幕的刷新时间错开半个显示屏幕刷新时间间隔；根据刷新时间错开之后的所述左眼显示屏幕的刷新时间与所述右眼显示屏幕的刷新时间，对画面进行渲染显示。这种方法增加了人眼接收画面的单位时间的变化量，但是由于两眼接收的信息不一致，会影响人脑中物体的重构，对某些人群来说，可能更进一步增加眩晕感。
而对于降低MTP时延来说，通常通过提高GPU渲染速度，降低传输时延等方面来降低眩晕。申请号为CN201710419121.3的专利采用的方法是将虚拟现实应用的内容拆分为动态交互内容和静态环境内容，并利用云计算中手机和服务器的分离式架构分别渲染这两个部分；其中，静态内容由云服务器来完成，动态交互内容则由客服端来完成。这种方法由服务器和客服端分别处理两部分内容，但增加了一个内容叠加的过程，通常能减小MTP时延，但对于强交互的视频游戏，由于后端内容需要实时更新，因此存在一定的困难。
因此，现有技术难以有效缓解用户观看VR视频时的眩晕感，进而难以保证良好的沉浸感。
发明内容
本发明的目的是提供一种虚拟现实体验的控制方法、装置、用户设备及网络设备，通过分析用户的眩晕程度和MTP时延并采取相应措施，以缓解用户观看VR视频时的眩晕感受。
为达到上述目的，本发明的实施例提供一种虚拟现实体验的控制方法，应用于用户设备，包括：
在用户使用虚拟现实设备观看虚拟现实VR视频时，确定所述用户的眩晕程度，并获取所述用户观看VR视频的动显MTP时延；
根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，生成所述VR视频的调整图像或者向网络设备获取所述VR视频的调整图像；
播放所述调整图像。
可选地，所述确定所述用户的眩晕程度，包括：
获取所述用户的人体运动数据；
根据所述人体运动数据，监测所述用户的眩晕程度。
可选地，所述人体运动数据包括身体的运动数据、头部的转动数据、瞳孔的转动数据、面部数据和用户视线数据中的至少一项。
可选地，所述根据所述人体运动数据，监测所述用户的眩晕程度，包括：
对间隔第一预设时长的两个时刻所采集的一个或多个所述人体运动数据分别进行比对，并将比对结果进行加权求和，得到眩晕参数；
若所述眩晕参数大于或等于第一预设参数值，则确定所述眩晕程度为一级眩晕；
若所述眩晕参数大于或等于第二预设参数值，则确定所述眩晕程度为二级眩晕；
其中，所述一级眩晕的眩晕程度小于所述二级眩晕。
可选地，根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，生成所述VR视频的调整图像，包括：
若所述眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，确定所述调整图像的显示区域；
根据所述显示区域，生成所述调整图像；
其中，所述显示区域包括所述人眼聚焦区，且所述显示区域的面积小于所述VR视频展开到平面时的区域总面积。
可选地，根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，生成所述VR视频的调整图像，还包括：
在播放所述调整图像达到第二预设时长时，若所述用户的眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，重新确定所述调整图像的显示区域，并根据当前视频的视频特征，重新确定所述调整图像的视频特征；
根据重新确定的所述显示区域和所述视频特征，生成新的调整图像。
可选地，根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，生成所述VR视频的调整图像，还包括：
若所述眩晕程度为二级眩晕，则向所述用户发送眩晕提示信息。
可选地，根据当前视频的视频特征，重新确定所述调整图像的视频特征，包括：
将当前视频的视频分辨率降低预设分辨率后，作为所述调整图像的视频分辨率，和/或将当前视频的帧率降低预设帧率后，作为所述调整图像的帧率；其中，所述视频特征包括视频分辨率和/或帧率。
可选地，根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，向网络设备获取所述VR视频的调整图像，包括：
发送所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征至所述网络设备；
接收所述网络设备根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征生成的调整图像。
可选地，所述视频特征包括视频分辨率和/或帧率。
为达到上述目的，本发明的实施例提供一种虚拟现实体验的控制方法，应用于网络设备，包括：
接收用户设备发送的眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征是用户使用虚拟现实设备观看虚拟现实VR视频时所得；
根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征，生成调整图像；
将所述调整图像发送至所述用户设备。
可选地，所述根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征，生成调整图像，包括：
若所述眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，确定所述调整图像的显示区域；
根据所述显示区域，生成所述调整图像；
其中，所述显示区域包括所述人眼聚焦区，且所述显示区域的面积小于所述VR视频展开到平面时的区域总面积。
可选地，所述根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征，生成调整图像，还包括：
在播放所述调整图像达到第二预设时长时，若所述用户的眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，重新确定所述调整图像的显示区域，并根据当前视频的视频特征，重新确定所述调整图像的视频特征；
根据所述显示区域和所述视频特征，生成新的调整图像。
可选地，所述根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征，生成调整图像，还包括：
若所述眩晕程度为二级眩晕，则向所述用户发送眩晕提示信息。
可选地，在生成调整图像之后，所述控制方法还包括：
对所述调整图像进行压缩；
其中，在播放所述调整图像达到第二预设时长时，若所述用户的眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，在对所述调整图像进行压缩之前，所述控制方法还包括：
降低所述调整图像的视频编码复杂度。
可选地，根据当前视频的视频特征，重新确定所述调整图像的视频特征，包括：
将当前视频的视频分辨率降低预设分辨率后，作为所述调整图像的视频分辨率，和/或将当前视频的帧率降低预设帧率后，作为所述调整图像的帧率；其中，所述视频特征包括视频分辨率和/或帧率。
为达到上述目的，本发明的实施例提供一种虚拟现实体验的控制装置，应用于用户设备，包括：
处理模块，用于在用户使用虚拟现实设备观看虚拟现实VR视频时，确定所述用户的眩晕程度，并获取所述用户观看VR视频的动显MTP时延；
第一生成模块，用于根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，生成所述VR视频的调整图像或者向网络设备获取所述VR视频的调整图像；
显示模块，用于播放所述调整图像。
可选地，所述处理模块包括：
获取子模块，用于获取所述用户的人体运动数据；
监测子模块，用于根据所述人体运动数据，监测所述用户的眩晕程度。
可选地，所述人体运动数据包括身体的运动数据、头部的转动数据、瞳孔的转动数据、面部数据和用户视线数据中的至少一项。
可选地，所述监测子模块包括：
第一监测单元，用于对间隔第一预设时长的两个时刻所采集的一个或多个所述人体运动数据分别进行比对，并将比对结果进行加权求和，得到眩晕参数；
第二监测单元，用于若所述眩晕参数大于或等于第一预设参数值，则确定所述眩晕程度为一级眩晕；
第三监测单元，用于若所述眩晕参数大于或等于第二预设参数值，则确定所述眩晕程度为二级眩晕；
其中，所述一级眩晕的眩晕程度小于所述二级眩晕。
可选地，所述第一生成模块包括：
第一确定子模块，用于若所述眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，确定所述调整图像的显示区域；
第一生成子模块，用于根据所述显示区域，生成所述调整图像；
其中，所述显示区域包括所述人眼聚焦区，且所述显示区域的面积小于所述VR视频展开到平面时的区域总面积。
可选地，所述第一生成模块还包括：
第一处理子模块，用于在播放所述调整图像达到第二预设时长时，若所述用户的眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，重新确定所述调整图像的显示区域，并根据当前视频的视频特征，重新确定所述调整图像的视频特征；
第二生成子模块，用于根据重新确定的所述显示区域和所述视频特征，生成新的调整图像。
可选地，所述第一生成模块还包括：
第一提示子模块，用于若所述眩晕程度为二级眩晕，则向所述用户发送眩晕提示信息。
可选地，所述第一处理子模块包括：
第一特征确定单元，用于将当前视频的视频分辨率降低预设分辨率后，作为所述调整图像的视频分辨率，和/或将当前视频的帧率降低预设帧率后，作为所述调整图像的帧率；其中，所述视频特征包括视频分辨率和/或帧率。
可选地，所述第一生成模块还包括：
发送子模块，用于发送所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征至所述网络设备；
接收子模块，用于接收所述网络设备根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征生成的调整图像。
可选地，所述视频特征包括视频分辨率和/或帧率。
为达到上述目的，本发明的实施例提供一种虚拟现实体验的控制装置，应用于网络设备，包括：
接收模块，用于接收用户设备发送的眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征是用户使用虚拟现实设备观看虚拟现实VR视频时所得；
第二生成模块，用于根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征，生成调整图像；
发送模块，用于将所述调整图像发送至所述用户设备。
可选地，所述第二生成模块包括：
第二确定子模块，用于若所述眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，确定所述调整图像的显示区域；
第三生成子模块，用于根据所述显示区域，生成所述调整图像；
其中，所述显示区域包括所述人眼聚焦区，且所述显示区域的面积小于所述VR视频展开到平面时的区域总面积。
可选地，所述第二生成模块还包括：
第二处理子模块，用于在播放所述调整图像达到第二预设时长时，若所述用户的眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，重新确定所述调整图像的显示区域，并根据当前视频的视频特征，重新确定所述调整图像的视频特征；
第四生成子模块，用于根据所述显示区域和所述视频特征，生成新的调整图像。
可选地，所述第二生成模块还包括：
第二提示子模块，用于若所述眩晕程度为二级眩晕，则向所述用户发送眩晕提示信息。
可选地，还包括：
压缩模块，用于对所述调整图像进行压缩；
在播放所述调整图像达到第二预设时长时，若所述用户的眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，在对所述调整图像进行压缩之前，所述压缩模块还用于降低所述调整图像的视频编码复杂度。
可选地，所述第二处理子模块包括：
第二特征确定单元，用于将当前视频的视频分辨率降低预设分辨率后，作为所述调整图像的视频分辨率，和/或将当前视频的帧率降低预设帧率后，作为所述调整图像的帧率；其中，所述视频特征包括视频分辨率和/或帧率。
为达到上述目的，本发明的实施例提供一种用户设备，包括处理器，所述处理器用于：
在用户使用虚拟现实设备观看虚拟现实VR视频时，确定所述用户的眩晕程度，并获取所述用户观看VR视频的动显MTP时延；
根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，生成所述VR视频的调整图像或者向网络设备获取所述VR视频的调整图像；
播放所述调整图像。
可选地，所述确定所述用户的眩晕程度，包括：
获取所述用户的人体运动数据；
根据所述人体运动数据，监测所述用户的眩晕程度。
可选地，所述人体运动数据包括身体的运动数据、头部的转动数据、瞳孔的转动数据、面部数据和用户视线数据中的至少一项。
可选地，所述根据所述人体运动数据，监测所述用户的眩晕程度，包括：
对间隔第一预设时长的两个时刻所采集的一个或多个所述人体运动数据分别进行比对，并将比对结果进行加权求和，得到眩晕参数；
若所述眩晕参数大于或等于第一预设参数值，则确定所述眩晕程度为一级眩晕；
若所述眩晕参数大于或等于第二预设参数值，则确定所述眩晕程度为二级眩晕；
其中，所述一级眩晕的眩晕程度小于所述二级眩晕。
可选地，根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，生成所述VR视频的调整图像，包括：
若所述眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，确定所述调整图像的显示区域；
根据所述显示区域，生成所述调整图像；
其中，所述显示区域包括所述人眼聚焦区，且所述显示区域的面积小于所述VR视频展开到平面时的区域总面积。
可选地，根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，生成所述VR视频的调整图像，还包括：
在播放所述调整图像达到第二预设时长时，若所述用户的眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，重新确定所述调整图像的显示区域，并根据当前视频的视频特征，重新确定所述调整图像的视频特征；
根据重新确定的所述显示区域和所述视频特征，生成新的调整图像。
可选地，根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，生成所述VR视频的调整图像，还包括：
若所述眩晕程度为二级眩晕，则向所述用户发送眩晕提示信息。
可选地，根据当前视频的视频特征，重新确定所述调整图像的视频特征，包括：
将当前视频的视频分辨率降低预设分辨率后，作为所述调整图像的视频分辨率，和/或将当前视频的帧率降低预设帧率后，作为所述调整图像的帧率；其中，所述视频特征包括视频分辨率和/或帧率。
可选地，根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，向网络设备获取所述VR视频的调整图像，包括：
发送所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征至所述网络设备；
接收所述网络设备根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征生成的调整图像。
可选地，所述视频特征包括视频分辨率和/或帧率。
为达到上述目的，本发明的实施例提供一种网络设备，包括处理器和收发器；
所述收发器用于接收用户设备发送的眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征是用户使用虚拟现实设备观看虚拟现实VR视频时所得；
所述处理器用于根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征，生成调整图像；
所述收发器还用于将所述调整图像发送至所述用户设备。
可选地，所述根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征，生成调整图像，包括：
若所述眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，确定所述调整图像的显示区域；
根据所述显示区域，生成所述调整图像；
其中，所述显示区域包括所述人眼聚焦区，且所述显示区域的面积小于所述VR视频展开到平面时的区域总面积。
可选地，所述根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征，生成调整图像，还包括：
在播放所述调整图像达到第二预设时长时，若所述用户的眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，重新确定所述调整图像的显示区域，并根据当前视频的视频特征，重新确定所述调整图像的视频特征；
根据所述显示区域和所述视频特征，生成新的调整图像。
可选地，所述根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征，生成调整图像，还包括：
若所述眩晕程度为二级眩晕，则向所述用户发送眩晕提示信息。
可选地，在生成调整图像之后，所述处理器610还用于对所述调整图像进行压缩；
其中，在播放所述调整图像达到第二预设时长时，若所述用户的眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，在对所述调整图像进行压缩之前，所述处理器610还用于降低所述调整图像的视频编码复杂度。
可选地，根据当前视频的视频特征，重新确定所述调整图像的视频特征，包括：
将当前视频的视频分辨率降低预设分辨率后，作为所述调整图像的视频分辨率，和/或将当前视频的帧率降低预设帧率后，作为所述调整图像的帧率；其中，所述视频特征包括视频分辨率和/或帧率。
为达到上述目的，本发明的实施例提供一种用户设备，包括收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；所述处理器执行所程序或指令时实现如上所述的控制方法。
为达到上述目的，本发明的实施例提供一种网络设备，包括收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；所述处理器执行所程序或指令时实现如上所述的控制方法。
为达到上述目的，本发明的实施例提供一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上应用于用户设备的控制方法，或者如上应用于网络设备的控制方法中的步骤。
本发明的上述技术方案的有益效果如下：
本发明实施例的通过人体运动数据分析用户在观看VR视频时的眩晕程度，进而在判断MTP时延对用户的眩晕程度造成影响时，选取缓解眩晕的处理策略；对于轻度眩晕，通过限制用户设备的旋转区域，减少渲染视频内容，以及降低视频分辨率，从而降低MTP时延，来有效缓解用户眩晕感，从而提升用户体验。
附图说明
图1为本发明实施例的虚拟现实体验的控制方法的流程图；
图2为本发明另一实施例的虚拟现实体验的控制方法的流程图；
图3为本发明实施例的虚拟现实体验的控制装置的结构图；
图4为本发明另一实施例的虚拟现实体验的控制装置的结构图；
图5为本发明实施例的用户设备的结构图；
图6为本发明实施例的网络设备的结构图；
图7为本发明另一实施例的网络设备的结构图；
图8为本发明另一实施例的用户设备的结构图；
图9为本发明又一实施例的虚拟现实体验的控制装置的结构图；
图10为本发明再一实施例的虚拟现实体验的控制装置的结构图；
图11为本发明实施例的虚拟现实体验的控制方法的流程示意图；
图12为本发明实施例的渲染区域示意图之一；
图13为本发明实施例的渲染区域示意图之二。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
另外，本文中术语“系统”和“网络”在本文中常可互换使用。
在本申请所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。
如图1所示，本发明实施例的一种虚拟现实体验的控制方法，应用于用户设备，包括：
步骤101，在用户使用虚拟现实设备观看虚拟现实VR视频时，确定所述用户的眩晕程度，并获取所述用户观看VR视频的动显MTP时延；
步骤102，根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，生成所述VR视频的调整图像或者向网络设备获取所述VR视频的调整图像；
步骤103，播放所述调整图像。
这里，用户设备也可以理解为终端。
按照上述步骤，本发明实施例的方法，可以在用户观看VR视频时，监测用户的眩晕状态，然后根据当前的眩晕程度及MTP时延对VR视频进行处理，以降低MTP时延，生成VR视频的调整图像，之后，对调整图像进行播放。也就是说，通过上述方法，用户设备可以根据用户的眩晕程度对VR视频进行调整后播放，降低MTP时延，从而缓解用户眩晕感。
这里，对VR视频进行处理过程可以在用户设备上进行，也可以在网络设备上进行。若该过程在网络设备上进行，则在网络设备对VR视频进行处理，生成VR视频的调整图像之后，用户设备需要向网络设备获取该调整图像，然后再对该调整图像进行播放。
目前，VR视频的展现主要通过HMD来实现，HMD具有显示虚拟现实环境的显示屏幕，当用户佩戴HMD时，VR系统可以接收用户输入。以下实施例中，以用户设备为HMD为例，当然可以理解的是，用户设备并不局限于HMD。
另外，当前视频的视频特征包括视频分辨率和/或帧率；人眼聚焦区域，是可以通过传感器获得的人眼聚焦对应的VR视频中的区域位置。用户设备还计算MTP时延，即从头部运动到设备展现相对应视频的时间差，比如可以在视频数据中采用类似视频指纹(VideoFingerprinting)的技术，记录当前唯一表示运动状态的标识，通过比较特定运动状态的显示时间和该运动状态发生的时间差，从而准确记录MTP时延。也就是说，可以通过分析获取的用户头部或者其他人体部位运动状态时的时间，以及获取到的该对应运动状态时的视频显示的时间，获得MTP时延。
可选地，所述确定所述用户的眩晕程度，包括：
获取所述用户的人体运动数据；
根据所述人体运动数据，监测所述用户的眩晕程度。
在播放VR视频时，可以通过传感器采集当前用户的人体运动数据，而监测眩晕程度可通过监测用户的眼睛、脸部表情和身体移动对视频刺激的反应性等来实现，通过这些状态推测用户的眩晕程度。比如，可以通过追踪眼睛的移动、或通过检测异常的身体移动(例如，以并非游戏动作发生所预期的方式向一侧倾斜)、或通过追踪用户的可能指示晕动病的脸部表情(例如伸出舌头等)来检测用户的眩晕程度。
可选地，所述人体运动数据包括身体的运动数据、头部的转动数据、瞳孔的转动数据、面部数据和用户视线数据中的至少一项。
这里，人体运动数据可以由用户设备(比如HMD设备)采集，也可以由诸如手持式设备等其他设备来采集。具体的，可使用这些设备中的传感器来采集人体运动数据，所述传感器可以包括HMD中的眼睛检测传感器、HMD中的运动传感器(例如，诸如陀螺仪、加速度计和磁力计之类的惯性传感器)、视线检测传感器、脸部传感器或其它类型的生物特征传感器，以及他们之中的任意组合。另外，也可以使用在HMD外部的传感器来监测用户的物理特性，比如耦接至计算装置的相机，可利用该相机来监测用户的运动。
可选地，所述根据所述人体运动数据，监测所述用户的眩晕程度，包括：
对间隔第一预设时长的两个时刻所采集的一个或多个所述人体运动数据分别进行比对，并将比对结果进行加权求和，得到眩晕参数；
若所述眩晕参数大于或等于第一预设参数值，则确定所述眩晕程度为一级眩晕；
若所述眩晕参数大于或等于第二预设参数值，则确定所述眩晕程度为二级眩晕；
其中，所述一级眩晕的眩晕程度小于所述二级眩晕。
本申请实施例中，可以根据当前眩晕参数和业务体验时间，来判断当前眩晕的程度以及确定眩晕恶化程度。比如，获取当前的眩晕参数sn，以及上一个判定时间的眩晕参数sn-1，两个判定周期的时间差Δt，总的业务体验时间t；其中，可以根据实际情况设定所述第一预设参数值和所述第二预设参数值的取值，进而用来根据当前的眩晕参数sn确认眩晕程度。根据本申请一实施例，若预先设定的眩晕参数的取值的区间为0到5，0可以用来表示完全无眩晕感，5可以用来表示眩晕完全难以接收，即可以将所述第二预设参数值设为5，眩晕参数超过该值时确定为重度眩晕(即所述二级眩晕)，可以将所述第一预设参数值设为3，则眩晕参数超过3时确定为一级眩晕；眩晕恶化程度计算方法可以如下：
Figure BDA0002723426100000151
其中，Vn表示眩晕恶化程度，sn表示当前的眩晕参数，sn-1表示上一个判定时间的眩晕参数，t表示业务体验时间，Δt表示两个判定周期的时间差，c1、c2和c3表示不同的系数；
Vn大于0，则表示眩晕恶化。可以根据具体情况，设定眩晕恶化阈值VT，则在眩晕程度为一级眩晕的情况下：若Vn大于0且小于VT时，则表示眩晕恶化程度较轻，仍采用重新确定调整图像的显示区域来缓解眩晕；若Vn大于或等于VT时，则表示眩晕恶化情况加剧，则采用降低视频分辨率和/或帧率来进一步缓解眩晕。
可选地，根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，生成所述VR视频的调整图像，包括：
若所述眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，确定所述调整图像的显示区域；
根据所述显示区域，生成所述调整图像；
其中，所述显示区域包括所述人眼聚焦区，且所述显示区域的面积小于所述VR视频展开到平面时的区域总面积。
也就是说，当检测到用户眩晕到一定程度后，可以缩小显示区域的面积，也就相当于减少场景的渲染，这样就可以降低GPU渲染时间。以用户设备为HMD为例，更直观地来说，减少可传输视频的区域，相当于限制HMD的旋转角度和范围，减少了用户可看到的图像范围。这样处理之后，当HMD在旋转时，若出现注视区域超出了当前渲染区域的情况时，可以继续显示当前渲染区域的内容。这样，在用户眩晕和沉浸体验之间进行折中考虑，可以在保证视频观看清晰度不变的情况下，降低MTP传输时延，从而减少用户眩晕感，能够在硬件条件有限的情况下给予用户更好的观看体验。
本申请一实施例中，眩晕程度为一级眩晕，还需要判断是否是由MTP时延过大引起的眩晕。比如，设定上一个判定时间的MTP时延为dn-1，当前MTP时延为dn，可以将MTP时延dT＝20ms设为阈值(即所述预设时间阈值)，dn低于20ms时则认为MTP时延不影响用户眩晕感受；dn高于20ms时，判断MTP的劣化值系数计算方法可如下：
Figure BDA0002723426100000161
其中，kn表示MTP的劣化值系数，dn表示当前MTP时延，dn-1表示上一个判定时间的MTP时延，dT表示预设时间阈值，Vn表示眩晕恶化程度，c4和c5表示不同的系数。
而生成所述调整图像，需要确定所述调整图像的显示区域，即确定新的渲染区域面积，比如可以设定眩晕程度为一级眩晕，当眩晕恶化程度Vn大于0且小于VT时，则需要重新确定新的渲染区域面积；若设定原始渲染区域面积为R0，第n-1次时渲染区域面积为Rn-1，则建议新的渲染区域面积为：
Rn＝Rn-1-c6(R0-Rn-1)kn
其中，R0表示原始渲染区域面积，Rn表示新的渲染区域面积，Rn-1表示第n-1次时渲染区域面积，c6表示系数。
如图12所示，VR视频为360全景视频，其显示区域为图中大圆形代表的球体面积；如果采用ERP(Equirectangular projection，等距柱状投影图)投影形式，则整个视频投影到平面后，为图中矩形外框内的球面全展开区域(球面全展开区域的面积即所述VR视频展开到平面时的区域总面积)；当前人眼注视点(即人眼聚焦区)为图中小圆形标示的区域时，通过限制用户设备的旋转范围，这样人眼能观察到的区域变成矩形内框里所示的限制区域。也就是说，若用户处于眩晕状态，可以在提醒用户后，仅对限制区域进行渲染和压缩，这样就可以降低渲染时长，从而降低MTP时延，缓解眩晕。
可选地，根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，生成所述VR视频的调整图像，还包括：
在播放所述调整图像达到第二预设时长时，若所述用户的眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，重新确定所述调整图像的显示区域，并根据当前视频的视频特征，重新确定所述调整图像的视频特征；
根据重新确定的所述显示区域和所述视频特征，生成新的调整图像。
目前，部分HMD设备采用注视点渲染技术，即着重渲染人眼聚焦的地方及其周围图像，这部分图像采用全画幅渲染，而其他的部分则进行普通分辨率的渲染。本申请实施例在眩晕检测时，如果发现经过一段时间后用户的眩晕程度仍未降低，则可采用缩小全画幅渲染区域的方法，即根据人眼聚焦区域，重新确定所述调整图像的显示区域，并重新确定所述调整图像的视频特征，比如降低整个画面的渲染分辨率(即视频分辨率)、降低VR视频的帧率等，来降低MTP时延，缓解眩晕。
例如在用户使用HMD观看VR视频，HMD在旋转时，若用户注视区域(即人眼聚焦区)超出了当前渲染区域时，则继续显示前述当前渲染区域的内容。如图13所示，当注视区域为图中虚线框内所示注视区域，而实际渲染区域为图中所示的渲染区域时，仍然显示渲染区域内的内容即图中所示的显示渲染区域，这样，可以避免HMD的旋转范围超出渲染区域后，出现部分或者全部黑框的情况；另外，在获取当前视频数据中对应的运动特征的相应设备上显示时间时，可采用如视频指纹类似的技术，即根据运动特定状态的标签，生成一串可唯一标识当前视频运动状态的指纹字符，从而获得对应的时间，该时间可用于得出MTP时延。
也就是说，在用户眩晕感持续一段时间没有缓解的情况下，需要进一步采取策略来缓解眩晕。
当视频为360度全景视频时，原始渲染区域面积为360全景的整个区域，当发生一级眩晕的情况时，新的区域为360度全景全部展开的区域的一部分；当视频为FOV(Field ofVision，视角)视频时，原始渲染区域面积为FOV初始视频初始渲染的面积，当发生一级眩晕的情况时，新的区域面积大小为原始渲染区域面积的一部分；新的渲染分辨率小于上一次渲染的区域的分辨率；
本申请一实施例中，可以先根据眩晕参数，判断眩晕程度和眩晕恶化程度；在眩晕程度为一级眩晕，眩晕恶化程度大于眩晕恶化阈值时，根据MTP时延，确定MTP时延与眩晕恶化程度的关系，即确定劣化值系数；最后根据劣化值系数，确定新的渲染区域面积，即确定所述调整图像的显示区域。
另外，在判断渲染区域时，可以根据人眼聚焦区域和新的渲染面积设定区域，以人眼聚焦点为中心，按照原始渲染区域的长宽比等比确定新的渲染区域的长和宽，确定新的渲染区域坐标，即确定所述调整图像的显示区域。
可选地，根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，生成所述VR视频的调整图像，还包括：
若所述眩晕程度为二级眩晕，则向所述用户发送眩晕提示信息。
这里的二级眩晕，指用户眩晕状况比较严重的情况，即用户处于重度眩晕状态的情况。由于观看VR视频的眩晕感比较强烈时，通常会影响用户的关注体验和后续的身心舒适度，所以可通过音频或视频的方式给用户以眩晕警告，提醒用户的当前观看状态不佳，还可以给出需要暂停观看的提示信息，以及播放舒缓的视频(可以另外生成舒缓画面，而不使用原有的视频素材)，使用户放松下来，缓解眩晕。
可选地，根据当前视频的视频特征，重新确定所述调整图像的视频特征，包括：
将当前视频的视频分辨率降低预设分辨率后，作为所述调整图像的视频分辨率，和/或将当前视频的帧率降低预设帧率后，作为所述调整图像的帧率；其中，所述视频特征包括视频分辨率和/或帧率。
由于降低视频分辨率和降低帧率都可以减少视频渲染时间，因此可以减少MTP时延，以缓解眩晕。
通常，不同人群对沉浸式体验的感受存在差异性，不同人群对眩晕感的体验不同，本申请综合考虑VR视频的响应时间、观看区域以及清晰度等因素，对MTP时延比较敏感的人群，在用户观看VR视频产生眩晕感时，对VR视频进行处理。
具体的，如图11所示，本申请实施例的用户设备可以判断用户的眩晕程度，并根据当前的眩晕程度来选择不同的处理方案：
若用户无眩晕感，则继续播放当前的VR视频；
若用户处于轻度眩晕程度(即一级眩晕)时，由于MTP时延是引起眩晕的主要因素，所以需要判断用户当前观看VR视频的MTP时延；如果MTP时延过大，超过了所述预设时间阈值时，则可以通过限制HMD视野覆盖范围来降低视频观看的区域，来缓解眩晕；如果监测眩晕程度一段时间后发现眩晕未缓解，则可进一步降低视频分辨率或帧率，来减少渲染时间，从而降低MTP时延，进一步缓解眩晕；
若用户处于重度眩晕程度(即二级眩晕)，则向用户发送警告信息(即眩晕提示信息)，提示用户需要暂停观看。
本申请一实施例中，根据人体运动数据确定眩晕程度后，如果用户处于眩晕状态，则根据眩晕程度对当前的人眼注视区域(即人眼聚焦区)进行相应区域扩展，确定对应的渲染区域(即所述调整图像的显示区域)，该区域小于360度全景全部展开的区域；同时根据眩晕程度和MTP延迟，判断是否需要进一步降低MTP延迟，在需要降低的时候可通过采用缩小全画幅渲染的人眼聚焦区域，降低整个画面的渲染分辨率和/或帧率等方法来实现减少MTP时延，缓解用户的眩晕。
可选地，根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，向网络设备获取所述VR视频的调整图像，包括：
发送所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征至所述网络设备；
接收所述网络设备根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征生成的调整图像。
针对上述的对VR视频进行处理过程在网络设备上进行的情况，用户设备需要将眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征发送至所述网络设备，经网络设备对VR视频进行处理，生成VR视频的调整图像之后，用户设备向网络设备获取该调整图像。可以理解的是，该过程还可以包括网络设备对生成的调整图像进行编码压缩，以及用户设备对接收到的调整图像进行解压后再播放。
可选地，所述视频特征包括视频分辨率和/或帧率。
本申请实施例可以通过传感器检测用户是否处于眩晕状态，并记录MTP时延：当用户处于眩晕状态，MTP时延过大时，可以限制HMD旋转区域(即HMD视野覆盖范围)，根据人眼当前注视区域选择部分区域(非全景视频)进行渲染，降低MTP时延，在用户眩晕和沉浸体验之间进行折中，来缓解用户的眩晕；当眩晕过一段时间后任然没有缓解时，通过缩小全画幅渲染的区域，降低视频分辨率和/或帧率，以缩小MTP时延，缓解眩晕；对重度眩晕状态，则可以通过音视频的方式给用户以眩晕警告。
如图2所示，本发明实施例的一种虚拟现实体验的控制方法，应用于网络设备，包括：
步骤201，接收用户设备发送的眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征是用户使用虚拟现实设备观看虚拟现实VR视频时所得；
步骤202，根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征，生成调整图像；
步骤203，将所述调整图像发送至所述用户设备。
按照上述步骤，本发明实施例的方法，在用户观看VR视频时，网络设备可以接收用户设备发送的眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征，并根据接收到的数据，对VR视频进行处理，以降低MTP时延，生成VR视频的调整图像，之后，将调整图像发送至所述用户设备用以播放。也就是说，通过上述方法，网络设备可以根据用户的眩晕状态对VR视频进行调整，以降低MTP时延，从而缓解用户眩晕感。
这里，网络设备可以为基站。
可以理解的是，出于传输效率等方面的考虑，可以将所述调整图像压缩后再发送给所述用户设备。
可选地，所述根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征，生成调整图像，包括：
若所述眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，确定所述调整图像的显示区域；
根据所述显示区域，生成所述调整图像；
其中，所述显示区域包括所述人眼聚焦区，且所述显示区域的面积小于所述VR视频展开到平面时的区域总面积。
也就是说，当检测到用户眩晕到一定程度后，可以缩小显示区域的面积，也就相当于减少场景的渲染，这样就可以降低GPU渲染时间。这样，在用户眩晕和沉浸体验之间进行折中考虑，可以在保证视频观看清晰度不变的情况下，降低MTP传输时延，从而减少用户眩晕感，能够在硬件条件有限的情况下给予用户更好的观看体验。
可选地，所述根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征，生成调整图像，还包括：
在播放所述调整图像达到第二预设时长时，若所述用户的眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，重新确定所述调整图像的显示区域，并根据当前视频的视频特征，重新确定所述调整图像的视频特征；
根据所述显示区域和所述视频特征，生成新的调整图像。
也就是说，在用户眩晕感持续一段时间没有缓解的情况下，需要进一步采取策略来缓解眩晕。
可选地，所述根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征，生成调整图像，还包括：
若所述眩晕程度为二级眩晕，则向所述用户发送眩晕提示信息。
这里的二级眩晕，指用户眩晕状况比较严重的情况，即用户处于重度眩晕状态的情况。由于观看VR视频的眩晕感比较强烈时，通常会影响用户的关注体验和后续的身心舒适度，所以可通过音频或视频的方式给用户以眩晕警告，提醒用户的当前观看状态不佳，还可以给出需要暂停观看的提示信息，以及播放舒缓的视频使用户放松下来，缓解眩晕。
可选地，在生成调整图像之后，所述控制方法还包括：
对所述调整图像进行压缩；
其中，在播放所述调整图像达到第二预设时长时，若所述用户的眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，在对所述调整图像进行压缩之前，所述控制方法还包括：
降低所述调整图像的视频编码复杂度。
这里，通过降低视频编码复杂度来减少视频的编解码时间，从而可以减少视频压缩时间，对于传输视频的码率也有相应降低，提高视频编码的压缩效率，进而可以减少MTP传输时延，以缓解用户眩晕感。
可选地，根据当前视频的视频特征，重新确定所述调整图像的视频特征，包括：
将当前视频的视频分辨率降低预设分辨率后，作为所述调整图像的视频分辨率，和/或将当前视频的帧率降低预设帧率后，作为所述调整图像的帧率；其中，所述视频特征包括视频分辨率和/或帧率。
由于降低视频分辨率和降低帧率都可以减少视频渲染时间，因此，如果监测眩晕程度一段时间后发现眩晕未缓解，可进一步采用降低视频分辨率和/或帧率的方法，以减少渲染、压缩和传输时间，从而降低MTP时延，来缓解眩晕。也就是说，可以根据用户的眩晕程度，决定编码策略，决定是否采取降低视频编码复杂度、降低帧率或降低视频分辨率等策略对视频进行压缩，提高视频编码的压缩效率，降低压缩时间。
本申请实施例中，可以根据接收到的人体运动数据、眩晕程度和MTP时延，选用对应策略；如果用户处于眩晕状态，则根据当前的人眼注视区域(即人眼聚焦区)进行相应扩展，确定对应的渲染区域，即确定所述调整图像的显示区域，该区域小于360度全景全部展开的区域；同时需要通过获取的眩晕程度和MTP延迟，判断是否需要进一步降低MTP延迟，在需要降低的时候可通过采用缩小全画幅渲染的人眼聚焦区域，降低整个画面的渲染分辨率和/或帧率等方法来实现减少MTP时延，缓解用户的眩晕。
综上，本申请实施例，当MTP时延过大用户处于眩晕状态时，可以先采取限制HMD旋转区域的方式，即根据人眼当前注视区域选择部分区域(非全景视频)进行渲染；当眩晕过一段时间后任然没有缓解时，则可通过缩小全画幅渲染的人眼聚焦区域，降低整个画面的视频分辨率、帧率或降低视频编码复杂度来缩小MTP时延。
如图3所示，本发明实施例的一种虚拟现实体验的控制装置，应用于用户设备，包括：
处理模块310，用于在用户使用虚拟现实设备观看虚拟现实VR视频时，确定所述用户的眩晕程度，并获取所述用户观看VR视频的动显MTP时延；
第一生成模块320，用于根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，生成所述VR视频的调整图像或者向网络设备获取所述VR视频的调整图像；
显示模块330，用于播放所述调整图像。
可选地，所述处理模块包括：
获取子模块，用于获取所述用户的人体运动数据；
监测子模块，用于根据所述人体运动数据，监测所述用户的眩晕程度。
可选地，所述人体运动数据包括身体的运动数据、头部的转动数据、瞳孔的转动数据、面部数据和用户视线数据中的至少一项。
可选地，所述监测子模块包括：
第一监测单元，用于对间隔第一预设时长的两个时刻所采集的一个或多个所述人体运动数据分别进行比对，并将比对结果进行加权求和，得到眩晕参数；
第二监测单元，用于若所述眩晕参数大于或等于第一预设参数值，则确定所述眩晕程度为一级眩晕；
第三监测单元，用于若所述眩晕参数大于或等于第二预设参数值，则确定所述眩晕程度为二级眩晕；
其中，所述一级眩晕的眩晕程度小于所述二级眩晕。
可选地，所述第一生成模块包括：
第一确定子模块，用于若所述眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，确定所述调整图像的显示区域；
第一生成子模块，用于根据所述显示区域，生成所述调整图像；
其中，所述显示区域包括所述人眼聚焦区，且所述显示区域的面积小于所述VR视频展开到平面时的区域总面积。
可选地，所述第一生成模块还包括：
第一处理子模块，用于在播放所述调整图像达到第二预设时长时，若所述用户的眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，重新确定所述调整图像的显示区域，并根据当前视频的视频特征，重新确定所述调整图像的视频特征；
第二生成子模块，用于根据重新确定的所述显示区域和所述视频特征，生成新的调整图像。
可选地，所述第一生成模块还包括：
第一提示子模块，用于若所述眩晕程度为二级眩晕，则向所述用户发送眩晕提示信息。
可选地，所述第一处理子模块包括：
第一特征确定单元，用于将当前视频的视频分辨率降低预设分辨率后，作为所述调整图像的视频分辨率，和/或将当前视频的帧率降低预设帧率后，作为所述调整图像的帧率；其中，所述视频特征包括视频分辨率和/或帧率。
可选地，所述第一生成模块还包括：
发送子模块，用于发送所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征至所述网络设备；
接收子模块，用于接收所述网络设备根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征生成的调整图像。
可选地，所述视频特征包括视频分辨率和/或帧率。
如图9所示，根据本申请又一实施例，对于在本地完成渲染的VR视频处理，即对VR视频进行处理过程在用户设备上进行时，本申请的控制装置可以包括运动数据采集模块、眩晕监测模块、MTP时延监测模块、策略处理模块、视频内容模块、画面渲染模块和视频显示模块，各模块具体功能如下：
运动数据采集模块，用于获取用户的人体运动数据，该模块的获取内容可以包括用户设备中身体的运动、头部的转动、瞳孔的转动和用户视线等；运动数据采集模块把获取的信息分别发送给眩晕监测模块、MTP时延监测模块和策略处理模块；
眩晕监测模块，用于接收运动数据采集模块的用户运动的物理特性(即所述人体运动数据)，可以通过追踪眼睛的移动、或通过检测异常的身体移动(例如，以并非游戏动作发生所预期的方式向一侧倾斜)、或通过追踪用户的可能指示晕动病的脸部表情(例如伸出舌头等)来检测用户的眩晕程度；眩晕监测模块把预测的用户的眩晕程度发送给画面渲染模块；
MTP时延监测模块，用于接收运动数据采集模块和视频显示模块的发送的信息，通过分析从运动数据采集模块得到的用户头部或者其他人体部位运动状态时的时间，以及从视频显示模块得到对应运动状态时的视频显示的时间，获得MTP时延；MTP时延监测模块把MTP时延发送给策略处理模块；
策略处理模块，用于从运动采集模块、眩晕监测模块和MTP时延监测模块获得当前用户的人体运动数据和渲染区域，并根据用户的人体运动数据确定视频渲染区域，即确定所述调整图像的显示区域；策略处理模块的具体处理流程如下：
本申请一实施例中，策略处理模块可以从眩晕检测模块获取当前的眩晕程度；如果用户处于眩晕状态，则根据眩晕程度对当前的人眼注视区域(即人眼聚焦区)进行相应区域扩展，确定对应的渲染区域(即所述调整图像的显示区域)，该区域小于360度全景全部展开的区域；同时该模块需要通过获取的眩晕程度和MTP延迟，判断是否需要进一步降低MTP延迟，在需要降低的时候可通过采用缩小全画幅渲染的人眼聚焦区域，降低整个画面的渲染分辨率和/或帧率等方法来实现减少MTP时延，缓解用户的眩晕；
本发明另一实施例中，策略处理模块的具体处理流程如下：
一，确定眩晕恶化程度，可以根据当前眩晕参数和业务体验时间来判断当前眩晕的程度。从眩晕检测模块获取当前的眩晕参数sn，以及上一个判定时间的眩晕参数sn-1，两个判定周期的时间差Δt，总的业务体验时间t；其中，可以根据实际情况设定所述第一预设参数值和所述第二预设参数值的取值，进而用来根据当前的眩晕参数sn确认眩晕程度。根据本申请一实施例，若预先设定的眩晕参数的取值的区间为0到5，0可以用来表示完全无眩晕感，5可以用来表示眩晕完全难以接收，即可以将所述第二预设参数值设为5，眩晕参数超过该值时确定为重度眩晕(即所述二级眩晕)，可以将所述第一预设参数值设为3，则眩晕参数超过3时确定为一级眩晕；眩晕恶化程度计算方法可以如下：
Figure BDA0002723426100000251
其中，Vn表示眩晕恶化程度，sn表示当前的眩晕参数，sn-1表示上一个判定时间的眩晕参数，t表示业务体验时间，Δt表示两个判定周期的时间差，c1、c2和c3表示不同的系数；
Vn大于0，则表示眩晕恶化。可以根据具体情况，设定眩晕恶化阈值VT，则在眩晕程度为一级眩晕的情况下：若Vn大于0且小于VT时，则表示眩晕恶化程度较轻，仍采用重新确定调整图像的显示区域来缓解眩晕；若Vn大于或等于VT时，则表示眩晕恶化情况加剧，则采用降低视频分辨率和/或帧率来进一步缓解眩晕。
二，确定眩晕恶化与MTP时延关系，即判断是否是由MTP时延过大引起的眩晕；具体的，可以根据从MTP时延监测模块收到的MTP时延判断是否是由于时延引起的用户眩晕感严重；设定上一个判定时间的MTP时延为dn-1，当前MTP时延为dn，可以将MTP时延dT＝20ms设为阈值(即所述预设时间阈值)，dn低于20ms时则认为MTP时延不影响用户眩晕感受；dn高于20ms时，判断MTP的劣化值系数计算方法可如下：
Figure BDA0002723426100000261
其中，kn表示MTP的劣化值系数，dn表示当前MTP时延，dn-1表示上一个判定时间的MTP时延，dT表示预设时间阈值，Vn表示眩晕恶化程度，c4和c5表示不同的系数。
三，确定新的渲染区域面积，比如可以设定眩晕程度为一级眩晕，当眩晕恶化程度Vn大于0且小于VT时，则需要重新确定新的渲染区域面积；若设定原始渲染区域面积为R0，第n-1次时渲染区域面积为Rn-1，则建议新的渲染区域面积为：
Rn＝Rn-1-c6(R0-Rn-1)kn
其中，R0表示原始渲染区域面积，Rn表示新的渲染区域面积，Rn-1表示第n-1次时渲染区域面积，c6表示系数。
当视频为360度全景视频时，原始渲染区域面积为360全景的整个区域，当发生一级眩晕的情况时，新的区域为360度全景全部展开的区域的一部分；当视频为FOV(Field ofVision，视角)视频时，原始渲染区域面积为FOV初始视频初始渲染的面积，当发生一级眩晕的情况时，新的区域面积大小为原始渲染区域面积的一部分；新的渲染分辨率小于上一次渲染的区域的分辨率；
也就是说，策略处理模块可以先根据眩晕参数，判断眩晕程度和眩晕恶化程度；在眩晕程度为一级眩晕，眩晕恶化程度大于眩晕恶化阈值时，根据MTP时延，确定MTP时延与眩晕恶化程度的关系，即确定劣化值系数；最后根据劣化值系数，确定新的渲染区域面积，即确定所述调整图像的显示区域。
四，判断渲染区域：根据人眼聚焦区域和新的渲染面积设定区域，以人眼聚焦点为中心，按照原始渲染区域的长宽比等比确定新的渲染区域的长和宽，确定新的渲染区域坐标，即确定所述调整图像的显示区域。
视频显示模块，用于从画面渲染模块得到需要显示的视频数据，并在相应的VR设备上进行展示；例如在使用HMD观看VR视频，HMD在旋转时，若用户注视区域(即人眼聚焦区)超出了当前渲染区域时，视频显示模块继续显示前述当前渲染区域的内容。如图13所示，当注视区域为图中虚线框内所示注视区域，而实际渲染区域为图中所示的渲染区域时，仍然显示渲染区域内的内容即图中所示的显示渲染区域，这样，可以避免HMD的旋转范围超出渲染区域后，出现部分或者全部黑框的情况；另外，该模块需要从视频数据中提取当前视频数据中对应的运动特征的相应设备上显示时间，该技术可采用如视频指纹类似的技术，即根据画面渲染模块中运动特定状态的标签，生成一串可唯一标识当前视频运动状态的指纹字符，从而获得对应的时间；视频显示模块需要把获得的运动特征对应的时间传送给MTP时延监测模块；
视频内容模块，用于存储需要渲染的视频素材；
画面渲染模块，用于从策略处理模块获取需要渲染的区域，同时从视频内容模块获取需要渲染的视频素材，对选定区域进行渲染，渲染后的画面传送给视频显示模块；如果策略处理模块判断该用户处于重度眩晕状态，则需要发出眩晕提示信息，提醒用户注意，还可以通过画面渲染模块另外生成舒缓画面(而不使用原有的视频素材)，同时渲染画面需要通过类似视频指纹的技术加上当前对应的运动特征。
该装置，通过人体运动数据分析用户在观看VR视频时的眩晕程度，进而在判断MTP时延对用户的眩晕程度造成影响时，选取缓解眩晕的处理策略；对于轻度眩晕，通过限制用户设备的旋转区域，减少渲染视频内容，以及降低视频分辨率，从而降低MTP时延，来有效缓解用户眩晕感，从而提升用户体验。
如图4所示，本发明实施例的一种虚拟现实体验的控制装置，应用于网络设备，包括：
接收模块410，用于接收用户设备发送的眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征是用户使用虚拟现实设备观看虚拟现实VR视频时所得；
第二生成模块420，用于根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征，生成调整图像；
发送模块430，用于将所述调整图像发送至所述用户设备。
可选地，所述第二生成模块420包括：
第二确定子模块，用于若所述眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，确定所述调整图像的显示区域；
第三生成子模块，用于根据所述显示区域，生成所述调整图像；
其中，所述显示区域包括所述人眼聚焦区，且所述显示区域的面积小于所述VR视频展开到平面时的区域总面积。
可选地，所述第二生成模块420还包括：
第二处理子模块，用于在播放所述调整图像达到第二预设时长时，若所述用户的眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，重新确定所述调整图像的显示区域，并根据当前视频的视频特征，重新确定所述调整图像的视频特征；
第四生成子模块，用于根据所述显示区域和所述视频特征，生成新的调整图像。
可选地，所述第二生成模块420还包括：
第二提示子模块，用于若所述眩晕程度为二级眩晕，则向所述用户发送眩晕提示信息。
可选地，还包括：
压缩模块，用于对所述调整图像进行压缩；
在播放所述调整图像达到第二预设时长时，若所述用户的眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，在对所述调整图像进行压缩之前，所述压缩模块还用于降低所述调整图像的视频编码复杂度。
可选地，所述第二处理子模块包括：
第二特征确定单元，用于将当前视频的视频分辨率降低预设分辨率后，作为所述调整图像的视频分辨率，和/或将当前视频的帧率降低预设帧率后，作为所述调整图像的帧率；其中，所述视频特征包括视频分辨率和/或帧率。
如图10所示，根据本申请又一实施例，对于在云端完成渲染的VR视频处理，即对VR视频进行处理过程在网络设备上进行时，本申请的应用于网络设备的控制装置可以包括数据传输模块、云端策略处理模块、云端画面渲染模块、云端视频内容模块和云端视频压缩模块；其对应的应用于用户设备的控制装置可以包括运动数据采集模块、眩晕监测模块、MTP时延监测模块、数据传输模块、视频解压模块和视频显示模块，各模块具体功能如下：
数据传输模块，用于接收用户设备中的发出的人体运动数据、用户的眩晕程度和当前的MTP时延数据，并负责把压缩后的视频数据传输给用户设备；
云端策略处理模块，用于根据人体运动数据、眩晕程度和MTP时延，选用对应策略；如果用户处于眩晕状态，则根据当前的人眼注视区域(即人眼聚焦区)进行相应扩展，确定对应的渲染区域，即确定所述调整图像的显示区域，该区域小于360度全景全部展开的区域；同时该模块需要通过获取的眩晕程度和MTP延迟，判断是否需要进一步降低MTP延迟，在需要降低的时候可通过采用缩小全画幅渲染的人眼聚焦区域，降低整个画面的渲染分辨率和/或帧率等方法来实现减少MTP时延，缓解用户的眩晕；
云端视频内容模块，用于存储需要渲染的视频素材；
云端画面渲染模块，用于从云端策略处理模块获取需要渲染的区域，同时从云端视频内容模块获取需要渲染的视频素材，对选定区域进行渲染，渲染后的画面(即生成的所述调整图像)传送给云端视频压缩模块；
云端视频压缩模块，用于根据用户的眩晕程度，决定编码策略，决定是否采取降低视频编码复杂度、降低帧率或降低视频分辨率等策略对视频进行压缩，提高视频编码的压缩效率，降低压缩时间；云端视频压缩模块将压缩后的视频(即对所述调整图像进行压缩后生成的文件)传输给数据传输模块；
而对应的应用于用户设备的控制装置中的运动数据采集模块、眩晕监测模块、MTP时延监测模块和视频显示模块，其功能与在本地完成渲染的情况中对应的模块功能相同，在此不再赘述，需要注意的是，这里，运动数据采集模块、眩晕监测模块和MTP时延监测模块需要把相应的数据传送给数据传输模块；
数据传输模块，用于将接收到的人体运动数据、用户的眩晕程度和当前的MTP时延传输到网络设备；以及接收从网络设备传过来的视频压缩数据，并发送给视频解压模块；
视频解压模块，用于从数据传输模块得到视频压缩数据，完成解压工作后，把解压后的视频画面传送给视频显示模块用于显示；
视频显示模块，用于从视频解压模块获取视频数据。
该装置，可以根据用户的眩晕程度选取缓解眩晕的处理策略，对于轻度眩晕，通过限制用户设备的旋转区域，减少渲染视频内容，以及降低视频分辨率，从而降低MTP时延，来有效缓解用户眩晕感，从而提升用户体验。
如图5所示，本发明实施例的一种用户设备500，包括处理器510，其中，所述处理器510用于：
在用户使用虚拟现实设备观看虚拟现实VR视频时，确定所述用户的眩晕程度，并获取所述用户观看VR视频的动显MTP时延；
根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，生成所述VR视频的调整图像或者向网络设备获取所述VR视频的调整图像；
播放所述调整图像。
可选地，所述确定所述用户的眩晕程度，包括：
获取所述用户的人体运动数据；
根据所述人体运动数据，监测所述用户的眩晕程度。
可选地，所述人体运动数据包括身体的运动数据、头部的转动数据、瞳孔的转动数据、面部数据和用户视线数据中的至少一项。
可选地，所述根据所述人体运动数据，监测所述用户的眩晕程度，包括：
对间隔第一预设时长的两个时刻所采集的一个或多个所述人体运动数据分别进行比对，并将比对结果进行加权求和，得到眩晕参数；
若所述眩晕参数大于或等于第一预设参数值，则确定所述眩晕程度为一级眩晕；
若所述眩晕参数大于或等于第二预设参数值，则确定所述眩晕程度为二级眩晕；
其中，所述一级眩晕的眩晕程度小于所述二级眩晕。
可选地，根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，生成所述VR视频的调整图像，包括：
若所述眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，确定所述调整图像的显示区域；
根据所述显示区域，生成所述调整图像；
其中，所述显示区域包括所述人眼聚焦区，且所述显示区域的面积小于所述VR视频展开到平面时的区域总面积。
可选地，根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，生成所述VR视频的调整图像，还包括：
在播放所述调整图像达到第二预设时长时，若所述用户的眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，重新确定所述调整图像的显示区域，并根据当前视频的视频特征，重新确定所述调整图像的视频特征；
根据重新确定的所述显示区域和所述视频特征，生成新的调整图像。
可选地，根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，生成所述VR视频的调整图像，还包括：
若所述眩晕程度为二级眩晕，则向所述用户发送眩晕提示信息。
可选地，根据当前视频的视频特征，重新确定所述调整图像的视频特征，包括：
将当前视频的视频分辨率降低预设分辨率后，作为所述调整图像的视频分辨率，和/或将当前视频的帧率降低预设帧率后，作为所述调整图像的帧率；其中，所述视频特征包括视频分辨率和/或帧率。
可选地，根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，向网络设备获取所述VR视频的调整图像，包括：
发送所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征至所述网络设备；
接收所述网络设备根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征生成的调整图像。
可选地，所述视频特征包括视频分辨率和/或帧率。
该实施例的用户设备，通过人体运动数据分析用户在观看VR视频时的眩晕程度，进而在判断MTP时延对用户的眩晕程度造成影响时，选取缓解眩晕的处理策略；对于轻度眩晕，通过限制用户设备的旋转区域，减少渲染视频内容，以及降低视频分辨率，从而降低MTP时延，来有效缓解用户眩晕感，从而提升用户体验。
如图6所示，本发明实施例的一种网络设备600，包括处理器610和收发器620；
所述收发器620用于接收用户设备发送的眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征是用户使用虚拟现实设备观看虚拟现实VR视频时所得；
所述处理器610用于根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征，生成调整图像；
所述收发器620还用于将所述调整图像发送至所述用户设备。
可选地，所述根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征，生成调整图像，包括：
若所述眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，确定所述调整图像的显示区域；
根据所述显示区域，生成所述调整图像；
其中，所述显示区域包括所述人眼聚焦区，且所述显示区域的面积小于所述VR视频展开到平面时的区域总面积。
可选地，所述根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征，生成调整图像，还包括：
在播放所述调整图像达到第二预设时长时，若所述用户的眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，重新确定所述调整图像的显示区域，并根据当前视频的视频特征，重新确定所述调整图像的视频特征；
根据所述显示区域和所述视频特征，生成新的调整图像。
可选地，所述根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征，生成调整图像，还包括：
若所述眩晕程度为二级眩晕，则向所述用户发送眩晕提示信息。
可选地，在生成调整图像之后，所述处理器610还用于对所述调整图像进行压缩；
其中，在播放所述调整图像达到第二预设时长时，若所述用户的眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，在对所述调整图像进行压缩之前，所述处理器610还用于降低所述调整图像的视频编码复杂度。
可选地，根据当前视频的视频特征，重新确定所述调整图像的视频特征，包括：
将当前视频的视频分辨率降低预设分辨率后，作为所述调整图像的视频分辨率，和/或将当前视频的帧率降低预设帧率后，作为所述调整图像的帧率；其中，所述视频特征包括视频分辨率和/或帧率。
该实施例的网络设备，可以根据用户的眩晕程度选取缓解眩晕的处理策略，对于轻度眩晕，通过限制用户设备的旋转区域，减少渲染视频内容，以及降低视频分辨率，从而降低MTP时延，来有效缓解用户眩晕感，从而提升用户体验。
本发明另一实施例的一种网络设备，如图7所示，包括收发器710、处理器700、存储器720及存储在所述存储器720上并可在所述处理器700上运行的程序或指令；所述处理器700执行所述程序或指令时实现如上应用于网络设备的控制方法。
所述收发器710，用于在处理器700的控制下接收和发送数据。
其中，在图7中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器700代表的一个或多个处理器和存储器720代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发器710可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。处理器700负责管理总线架构和通常的处理，存储器720可以存储处理器700在执行操作时所使用的数据。
本发明另一实施例的用户设备，如图8所示，包括收发器810、处理器800、存储器820及存储在所述存储器820上并可在所述处理器800上运行的程序或指令；所述处理器800执行所述程序或指令时实现上述应用于用户设备的控制方法。
所述收发器810，用于在处理器800的控制下接收和发送数据。
其中，在图8中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器800代表的一个或多个处理器和存储器820代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发器810可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。针对不同的用户设备，用户接口830还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。
处理器800负责管理总线架构和通常的处理，存储器820可以存储处理器800在执行操作时所使用的数据。
本发明实施例的一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上应用于用户设备的控制方法，或者如上应用于网络设备的控制方法中的步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
进一步需要说明的是，此说明书中所描述的终端包括但不限于智能手机、平板电脑等，且所描述的许多功能部件都被称为模块，以便更加特别地强调其实现方式的独立性。
本发明实施例中，模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位里上的不同的指令，当这些指令逻辑上结合在一起时，其构成模块并且实现该模块的规定目的。
实际上，可执行代码模块可以是单条指令或者是许多条指令，并且甚至可以分布在多个不同的代码段上，分布在不同程序当中，以及跨越多个存储器设备分布。同样地，操作数据可以在模块内被识别，并且可以依照任何适当的形式实现并且被组织在任何适当类型的数据结构内。所述操作数据可以作为单个数据集被收集，或者可以分布在不同位置上(包括在不同存储设备上)，并且至少部分地可以仅作为电子信号存在于系统或网络上。
在模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。
上述范例性实施例是参考该些附图来描述的，许多不同的形式和实施例是可行而不偏离本发明精神及教示，因此，本发明不应被建构成为在此所提出范例性实施例的限制。更确切地说，这些范例性实施例被提供以使得本发明会是完善又完整，且会将本发明范围传达给那些熟知此项技术的人士。在该些图式中，组件尺寸及相对尺寸也许基于清晰起见而被夸大。在此所使用的术语只是基于描述特定范例性实施例目的，并无意成为限制用。如在此所使用地，除非该内文清楚地另有所指，否则该单数形式“一”、“一个”和“该”是意欲将该些多个形式也纳入。会进一步了解到该些术语“包含”及/或“包括”在使用于本说明书时，表示所述特征、整数、步骤、操作、构件及/或组件的存在，但不排除一或更多其它特征、整数、步骤、操作、构件、组件及/或其族群的存在或增加。除非另有所示，陈述时，一值范围包含该范围的上下限及其间的任何子范围。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (23)

1.一种虚拟现实体验的控制方法，应用于用户设备，其特征在于，包括：
在用户使用虚拟现实设备观看虚拟现实VR视频时，确定所述用户的眩晕程度，并获取所述用户观看VR视频的动显MTP时延；
根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，生成所述VR视频的调整图像或者向网络设备获取所述VR视频的调整图像；
播放所述调整图像。
2.根据权利要求1所述的控制方法，其特征在于，所述确定所述用户的眩晕程度，包括：
获取所述用户的人体运动数据；
根据所述人体运动数据，监测所述用户的眩晕程度。
3.根据权利要求2所述的控制方法，其特征在于，所述人体运动数据包括身体的运动数据、头部的转动数据、瞳孔的转动数据、面部数据和用户视线数据中的至少一项。
4.根据权利要求2所述的控制方法，其特征在于，所述根据所述人体运动数据，监测所述用户的眩晕程度，包括：
对间隔第一预设时长的两个时刻所采集的一个或多个所述人体运动数据分别进行比对，并将比对结果进行加权求和，得到眩晕参数；
若所述眩晕参数大于或等于第一预设参数值，则确定所述眩晕程度为一级眩晕；
若所述眩晕参数大于或等于第二预设参数值，则确定所述眩晕程度为二级眩晕；
其中，所述一级眩晕的眩晕程度小于所述二级眩晕。
5.根据权利要求4所述的控制方法，其特征在于，根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，生成所述VR视频的调整图像，包括：
若所述眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，确定所述调整图像的显示区域；
根据所述显示区域，生成所述调整图像；
其中，所述显示区域包括所述人眼聚焦区，且所述显示区域的面积小于所述VR视频展开到平面时的区域总面积。
6.根据权利要求5所述的控制方法，其特征在于，根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，生成所述VR视频的调整图像，还包括：
在播放所述调整图像达到第二预设时长时，若所述用户的眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，重新确定所述调整图像的显示区域，并根据当前视频的视频特征，重新确定所述调整图像的视频特征；
根据重新确定的所述显示区域和所述视频特征，生成新的调整图像。
7.根据权利要求6所述的控制方法，其特征在于，根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，生成所述VR视频的调整图像，还包括：
若所述眩晕程度为二级眩晕，则向所述用户发送眩晕提示信息。
8.根据权利要求6所述的控制方法，其特征在于，根据当前视频的视频特征，重新确定所述调整图像的视频特征，包括：
将当前视频的视频分辨率降低预设分辨率后，作为所述调整图像的视频分辨率，和/或将当前视频的帧率降低预设帧率后，作为所述调整图像的帧率；其中，所述视频特征包括视频分辨率和/或帧率。
9.根据权利要求1所述的控制方法，其特征在于，根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，向网络设备获取所述VR视频的调整图像，包括：
发送所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征至所述网络设备；
接收所述网络设备根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征生成的调整图像。
10.根据权利要求1所述的控制方法，其特征在于，所述视频特征包括视频分辨率和/或帧率。
11.一种虚拟现实体验的控制方法，应用于网络设备，其特征在于，包括：
接收用户设备发送的眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征是用户使用虚拟现实设备观看虚拟现实VR视频时所得；
根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征，生成调整图像；
将所述调整图像发送至所述用户设备。
12.根据权利要求11所述的控制方法，其特征在于，所述根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征，生成调整图像，包括：
若所述眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，确定所述调整图像的显示区域；
根据所述显示区域，生成所述调整图像；
其中，所述显示区域包括所述人眼聚焦区，且所述显示区域的面积小于所述VR视频展开到平面时的区域总面积。
13.根据权利要求12所述的控制方法，其特征在于，所述根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征，生成调整图像，还包括：
在播放所述调整图像达到第二预设时长时，若所述用户的眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，根据所述人眼聚焦区，重新确定所述调整图像的显示区域，并根据当前视频的视频特征，重新确定所述调整图像的视频特征；
根据所述显示区域和所述视频特征，生成新的调整图像。
14.根据权利要求13所述的控制方法，其特征在于，所述根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征，生成调整图像，还包括：
若所述眩晕程度为二级眩晕，则向所述用户发送眩晕提示信息。
15.根据权利要求11所述的控制方法，其特征在于，在生成调整图像之后，所述控制方法还包括：
对所述调整图像进行压缩；
其中，在播放所述调整图像达到第二预设时长时，若所述用户的眩晕程度为一级眩晕且所述MTP时延大于预设时间阈值的情况下，在对所述调整图像进行压缩之前，所述控制方法还包括：
降低所述调整图像的视频编码复杂度。
16.根据权利要求13所述的控制方法，其特征在于，根据当前视频的视频特征，重新确定所述调整图像的视频特征，包括：
将当前视频的视频分辨率降低预设分辨率后，作为所述调整图像的视频分辨率，和/或将当前视频的帧率降低预设帧率后，作为所述调整图像的帧率；其中，所述视频特征包括视频分辨率和/或帧率。
17.一种虚拟现实体验的控制装置，应用于用户设备，其特征在于，包括：
处理模块，用于在用户使用虚拟现实设备观看虚拟现实VR视频时，确定所述用户的眩晕程度，并获取所述用户观看VR视频的动显MTP时延；
第一生成模块，用于根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，生成所述VR视频的调整图像或者向网络设备获取所述VR视频的调整图像；
显示模块，用于播放所述调整图像。
18.一种虚拟现实体验的控制装置，应用于网络设备，其特征在于，包括：
接收模块，用于接收用户设备发送的眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征是用户使用虚拟现实设备观看虚拟现实VR视频时所得；
第二生成模块，用于根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征，生成调整图像；
发送模块，用于将所述调整图像发送至所述用户设备。
19.一种用户设备，其特征在于，包括：处理器，所述处理器用于：
在用户使用虚拟现实设备观看虚拟现实VR视频时，确定所述用户的眩晕程度，并获取所述用户观看VR视频的动显MTP时延；
根据所述眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，生成所述VR视频的调整图像或者向网络设备获取所述VR视频的调整图像；
播放所述调整图像。
20.一种网络设备，其特征在于，包括：收发器和处理器；
所述收发器用于接收用户设备发送的眩晕程度、MTP时延、人眼聚焦区域和当前视频的视频特征，所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征是用户使用虚拟现实设备观看虚拟现实VR视频时所得；
所述处理器用于根据所述眩晕程度、所述MTP时延、所述人眼聚焦区域和当前视频的视频特征，生成调整图像；
所述收发器还用于将所述调整图像发送至所述用户设备。
21.一种用户设备，包括：收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；其特征在于，所述处理器执行所述程序或指令时实现如权利要求1至10任一项所述的控制方法。
22.一种网络设备，包括：收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；其特征在于，所述处理器执行所述程序或指令时实现如权利要求11至16任一项所述的控制方法。
23.一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如权利要求1至10任一项所述的控制方法，或者，如权利要求11至16任一项所述的控制方法中的步骤。
CN202011094961.5A 2020-10-14 2020-10-14 虚拟现实体验的控制方法、装置、用户设备及网络设备 Pending CN114374832A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011094961.5A CN114374832A (zh) 2020-10-14 2020-10-14 虚拟现实体验的控制方法、装置、用户设备及网络设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011094961.5A CN114374832A (zh) 2020-10-14 2020-10-14 虚拟现实体验的控制方法、装置、用户设备及网络设备

Publications (1)

Publication Number Publication Date
CN114374832A true CN114374832A (zh) 2022-04-19

Family

ID=81137929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011094961.5A Pending CN114374832A (zh) 2020-10-14 2020-10-14 虚拟现实体验的控制方法、装置、用户设备及网络设备

Country Status (1)

Country Link
CN (1) CN114374832A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117234343A (zh) * 2023-11-16 2023-12-15 山东经鼎智能科技有限公司 一种XR多终端协同PaaS平台

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106598252A (zh) * 2016-12-23 2017-04-26 深圳超多维科技有限公司 一种图像显示调节方法、装置、存储介质及电子设备
CN107590859A (zh) * 2017-09-01 2018-01-16 广州励丰文化科技股份有限公司 一种混合现实画面处理方法及服务设备
CN108401184A (zh) * 2018-03-06 2018-08-14 深圳市赛亿科技开发有限公司 Vr全景画面的显示方法、vr显示终端
CN108710206A (zh) * 2018-05-08 2018-10-26 苏州市启献智能科技有限公司 一种应用于vr显示器的防眩晕和视疲劳的方法和装置
KR20190089585A (ko) * 2018-01-23 2019-07-31 고려대학교 산학협력단 뇌파 분석을 이용한 가상현실 멀미 완화 방법, 이를 수행하기 위한 가상현실 디스플레이 장치 및 기록매체
US20200124845A1 (en) * 2018-10-23 2020-04-23 Dell Products L.P. Detecting and mitigating motion sickness in augmented and virtual reality systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106598252A (zh) * 2016-12-23 2017-04-26 深圳超多维科技有限公司 一种图像显示调节方法、装置、存储介质及电子设备
CN107590859A (zh) * 2017-09-01 2018-01-16 广州励丰文化科技股份有限公司 一种混合现实画面处理方法及服务设备
KR20190089585A (ko) * 2018-01-23 2019-07-31 고려대학교 산학협력단 뇌파 분석을 이용한 가상현실 멀미 완화 방법, 이를 수행하기 위한 가상현실 디스플레이 장치 및 기록매체
CN108401184A (zh) * 2018-03-06 2018-08-14 深圳市赛亿科技开发有限公司 Vr全景画面的显示方法、vr显示终端
CN108710206A (zh) * 2018-05-08 2018-10-26 苏州市启献智能科技有限公司 一种应用于vr显示器的防眩晕和视疲劳的方法和装置
US20200124845A1 (en) * 2018-10-23 2020-04-23 Dell Products L.P. Detecting and mitigating motion sickness in augmented and virtual reality systems

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117234343A (zh) * 2023-11-16 2023-12-15 山东经鼎智能科技有限公司 一种XR多终端协同PaaS平台
CN117234343B (zh) * 2023-11-16 2024-02-02 山东经鼎智能科技有限公司 一种XR多终端协同PaaS平台

Similar Documents

Publication Publication Date Title
US10944996B2 (en) Visual quality optimized video compression
US11973979B2 (en) Image compression for digital reality
US11671712B2 (en) Apparatus and methods for image encoding using spatially weighted encoding quality parameters
CN108139592B (zh) 缩放相关的方法和装置
US9530450B2 (en) Video system with fovea tracking and methods for use therewith
JP6870080B2 (ja) 画像生成装置、画像表示システム、および画像生成方法
KR102547106B1 (ko) 동적 포비티드 파이프라인
CN110856035B (zh) 处理图像数据以执行对象检测
JP6909286B2 (ja) 画像生成装置、画像表示システム、および画像生成方法
US20220113795A1 (en) Data processing system and method for image enhancement
JP6533761B2 (ja) 情報処理装置、情報処理システム、および情報処理方法
CN114374832A (zh) 虚拟现实体验的控制方法、装置、用户设备及网络设备
EP3542541A1 (en) Method for multi-camera device
CN109696959B (zh) 一种画面展示方法、设备及存储介质
KR102559721B1 (ko) 사용자의 시야 영역에 따라 영상을 선택적으로 복원하는 전자 장치의 제어 방법
US20230091348A1 (en) Method and device for transmitting image content using edge computing service
KR20150074420A (ko) 디스플레이장치 및 그 제어방법
US20200311978A1 (en) Image encoding method and technical equipment for the same
CN107844197A (zh) 虚拟现实场景显示方法及设备
GB2597725A (en) Data processing system and method for image enhancement
CN113810696A (zh) 一种信息传输方法、相关设备及系统
US20240107086A1 (en) Multi-layer Foveated Streaming
JP4434164B2 (ja) 輪郭データを利用した画像転送
CN118092626A (zh) 显示控制方法、装置及头戴式显示设备
CN114047822A (zh) 近眼显示方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination