CN114827569A - 画面显示方法、装置、虚拟现实设备及存储介质 - Google Patents

画面显示方法、装置、虚拟现实设备及存储介质 Download PDF

Info

Publication number
CN114827569A
CN114827569A CN202210435333.1A CN202210435333A CN114827569A CN 114827569 A CN114827569 A CN 114827569A CN 202210435333 A CN202210435333 A CN 202210435333A CN 114827569 A CN114827569 A CN 114827569A
Authority
CN
China
Prior art keywords
virtual
virtual camera
initial
sphere space
played
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210435333.1A
Other languages
English (en)
Other versions
CN114827569B (zh
Inventor
陈文斌
王思杰
朱佳伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Video Technology Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202210435333.1A priority Critical patent/CN114827569B/zh
Publication of CN114827569A publication Critical patent/CN114827569A/zh
Application granted granted Critical
Publication of CN114827569B publication Critical patent/CN114827569B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/167Synchronising or controlling image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种画面显示方法、装置、虚拟现实设备及存储介质,属于虚拟现实技术领域。该画面显示方法用于虚拟现实设备,所述方法包括:获取待播放视频帧;确定所述待播放视频帧在所述虚拟现实设备的虚拟球体空间中的投影区域以及当前视场方向;其中,所述待播放视频帧在所述虚拟球体空间中通过虚拟摄像机向所述投影区域投影以生成画面;在所述虚拟现实设备的虚拟球体空间中,向所述当前视场方向的反方向偏移所述虚拟摄像机的位置,获得虚拟摄像机修正位置;基于所述虚拟摄像机修正位置,在所述投影区域显示所述待播放视频帧对应的画面。本发明可改善VR视频的边缘拉伸现象。

Description

画面显示方法、装置、虚拟现实设备及存储介质
技术领域
本发明涉及虚拟现实领域,尤其涉及一种画面显示方法、装置、虚拟现实设备及存储介质。
背景技术
相关技术中,虚拟现实设备在显示虚拟场景时,会在投影区域的边缘部分出现边缘拉伸现象,导致显示的画面效果不佳。
发明内容
本发明的主要目的在于提供一种画面显示方法、装置、虚拟现实设备及存储介质,旨在解决现有VR视频边缘存在拉伸现象的问题。
为实现上述目的,第一方面,本发明提供一种画面显示方法,用于虚拟现实设备,所述方法包括:
获取待播放视频帧;
确定所述待播放视频帧在所述虚拟现实设备的虚拟球体空间中的投影区域以及当前视场方向;其中,所述待播放视频帧在所述虚拟球体空间中通过虚拟摄像机向所述投影区域投影以生成画面;
在所述虚拟现实设备的虚拟球体空间中,向所述当前视场方向的反方向偏移所述虚拟摄像机的位置,获得虚拟摄像机修正位置;
基于所述虚拟摄像机修正位置,在所述投影区域显示所述待播放视频帧对应的画面。
在一实施例中,所述在所述虚拟现实设备的虚拟球体空间中,向所述当前视场方向的反方向偏移所述虚拟摄像机的位置,获得虚拟摄像机修正位置,包括:
将所述虚拟摄像机修正位置与预设初始虚拟摄像机位置之间的距离作为待调整参数;其中,所述待播放视频帧基于所述预设初始虚拟摄像机位置在预设投影面上具有初始投影映射区域,所述初始投影映射区域包括初始中间区域与初始边缘区域;
调整所述待调整参数的临时赋值;其中,所述待播放视频帧基于所述临时赋值在预设投影面上具有临时投影映射区域;
计算所述临时赋值对应的目标参数,所述目标参数包括显示比例、拉伸倍数或图像扭曲比例中的至少一者;其中,所述显示比例为所述投影区域的长度与所述临时投影映射区域的长度的比值;所述拉伸倍数为所述临时投影映射区域的边缘区域的长度与中间区域的长度的比值;所述图像扭曲比例为所述临时投影映射区域相对于所述初始投影映射区域的边缘变化量和中间变化量的比值,所述中间变化量为所述初始中间区域的长度与所述中间区域的长度之间的差值,所述边缘变化量为所述初始边缘区域的长度与所述边缘区域的长度的差值;
根据所述目标参数,确定出目标偏移量;
在所述虚拟现实设备的虚拟球体空间中,根据所述目标偏移量,向所述当前视场方向的反方向偏移所述虚拟摄像机的位置,获得虚拟摄像机修正位置。
在一实施例中,当所述目标参数包括显示比例时,所述根据所述目标参数,确定出目标偏移量,包括:
将所述显示比例等于1时的临时赋值确定为目标偏移量。
在一实施例中,当所述目标参数包括显示比例、拉伸倍数和图像扭曲比例时,所述根据所述目标参数,确定出目标偏移量,包括:
将所述显示比例、所述拉伸倍数以及所述图像扭曲比例的和最小时对应的临时赋值确定为目标偏移量。
在一实施例中,当所述目标参数包括显示比例时,所述计算所述临时赋值对应的显示比例,包括:
确定所述临时赋值与所述虚拟球体空间的半径的比值;
确定所述预设初始虚拟摄像机位置对应的初始视场角;
根据所述临时赋值与所述虚拟球体空间的半径的比值和所述初始视场角,计算所述临时赋值对应的显示比例。
在一实施例中,所述根据所述临时赋值与所述虚拟球体空间的半径的比值和所述初始视场角,计算所述临时赋值对应的显示比例,包括:
根据公式一、所述临时赋值与所述虚拟球体空间的半径的比值和所述初始视场角,计算所述临时赋值对应的显示比例,所述公式一为:
Figure BDA0003612677780000031
其中,所述F′为所述显示比例,所述d为所述临时赋值与所述虚拟球体空间的半径的比值,所述θ为所述预设初始虚拟摄像机位置对应的初始视场角。
在一实施例中,所述在所述虚拟现实设备的虚拟球体空间中,向所述当前视场方向的反方向偏移所述虚拟摄像机的位置,获得虚拟摄像机修正位置,包括:
在所述虚拟现实设备的虚拟球体空间中,向所述当前视场方向的反方向偏移所述虚拟摄像机的位置至所述虚拟球体空间的球面上,获得所述虚拟摄像机修正位置。
第二方面,本申请还提供了一种画面显示装置,配置于虚拟现实设备,包括:
视频帧获取模块,用于获取待播放视频帧;
区域确定模块,用于确定所述待播放视频帧在所述虚拟现实设备的虚拟球体空间中的投影区域以及当前视场方向;其中,所述待播放视频帧在所述虚拟球体空间中通过虚拟摄像机向所述投影区域投影以生成画面;;
摄像机调整模块,用于在所述虚拟现实设备的虚拟球体空间中,向所述当前视场方向的反方向偏移所述虚拟摄像机的位置,获得虚拟摄像机修正位置;
画面显示模块,用于基于所述虚拟摄像机修正位置,在所述投影区域显示所述待播放视频帧对应的画面。
第三方面,本申请还提了一种虚拟现实设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的画面显示程序,所述图像合成程序配置为实现如上所述的画面显示方法的步骤。
第四方面,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有画面显示程序,所述画面显示程序被处理器执行时实现如上所述的画面显示方法的步骤。
本发明实施例提供了一种画面显示方法,通过获取待播放视频帧;确定所述待播放视频帧在所述虚拟现实设备的虚拟球体空间中的投影区域以及当前视场方向;在所述虚拟现实设备的虚拟球体空间中,向所述当前视场方向的反方向偏移所述虚拟摄像机的位置,获得虚拟摄像机修正位置;基于所述虚拟摄像机修正位置,在所述投影区域显示所述待播放视频帧对应的画面。由此,本发明通过将虚拟球体空间中投影画面所参考的虚拟摄像机位置向当前当前视场方向的反方向偏移至虚拟摄像机修正位置,在该虚拟摄像机修正位置向原本的投影区域投影,由于增大了虚拟摄像机与投影区域之间的距离,在保持投影区域不变的情况下,用户看到的投影区域上的画面投影得到的平面图更小,从而减少拉伸的比例,进而优化虚拟现实设备的边缘拉伸现象,提升显示画面质量。
附图说明
图1为本发明虚拟现实设备的结构示意图;
图2为本发明画面显示方法第一实施例的流程示意图;
图3为本发明VR边缘畸变的示意图;
图4为本发明虚拟摄像机位置偏移前后的VR边缘畸变示意图;
图5为本发明画面显示方法第二实施例的流程示意图;
图6为本发明显示比例F`和视场角θ的函数图;
图7为本发明中虚拟摄像机修正位置位于虚拟机虚拟球体空间的球面上时的VR边缘畸变示意图;
图8为本发明画面显示装置的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
VR眼镜等虚拟现实设备模拟产生一个三维空间的虚拟世界,提供用户关于视觉、听觉、触觉等感官的模拟,让使用者如同身历其境一般,可以及时、没有限制地观察三维空间内的事物。因此,一些用户会采用VR眼镜观看音乐会视频或者晚会节目视频,以获得身临其境的体验。相关技术中,虚拟现实设备在显示虚拟场景时,会在投影区域的边缘部分出现边缘拉伸等边缘畸变现象。
为此,本申请提供了一种画面显示方法,该方法通过将虚拟球体空间中投影画面所参考的虚拟摄像机位置向当前视场方向的反方向偏移至虚拟摄像机修正位置,在该虚拟摄像机修正位置向原本的投影区域投影,从而使得此时投影的视场角变小,以减少拉伸的比例,进而优化VR中边缘拉伸的现象。
下面示出一些本申请有关的概念:
虚拟球体空间:以VR设备用户视角人物所处位置为球心、VR场景为内球面的虚拟球面。VR设备播放的当前播放视频帧的虚拟画面位于球面上。
投影区域:因用户头部偏移等动作,虚拟球体空间中VR镜片区域对应的虚拟球体空间发生变化,进而随着用户头部姿态的不同,用户实时观察到或者可视的虚拟场景区域不同,在用户头部某一姿态下看到的该部分区域场景区域为当前的投影区域。
下面结合一些具体实施例进一步阐述本申请的发明构思。
参照图1,图1为本发明实施例方案涉及的画面显示方法的虚拟现实设备的结构示意图。
该虚拟现实设备可以是VR头盔、VR眼镜、VR运动座椅等。本申请对虚拟现实设备不做特殊限定。虚拟现实设备包括彼此间隔设置的镜片、显示装置与姿态传感器。
显示装置用于播放当前播放视频。姿态传感器用于采集镜片的实时移动信息,是一种基于微机电系统(Micro-Electro-Mechanical System,MEMS)技术的高性能三维运动姿态测量器,其通常包括三轴陀螺仪、三轴加速度计和三轴电子罗盘等辅助运动传感器,姿态传感器利用这些辅助运动传感器实现镜片姿态信息的采集。
如图1所示,该虚拟现实设备还可以包括:处理器1001,例如中央处理器(CentralProcessing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM)存储器,也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对虚拟现实设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、通信模块、用户接口模块以及画面显示程序。
在图1所示的虚拟现实设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明虚拟现实设备中的处理器1001、存储器1005可以设置在虚拟现实设备中。虚拟现实设备通过处理器1001调用存储器1005中存储的画面显示程序,并执行本申请实施例提供的画面显示方法。
基于上述硬件设备但不限于上述硬件设备,提出本申请一种画面显示方法第一实施例。参阅图2,图2为本申请画面显示方法第一实施例的流程示意图。
本实施例中,方法包括:
步骤S100、获取待播放视频帧;
本画面显示方法的执行主体为虚拟现实设备,虚拟现实设备可基于用户的操作指令播放本地存储的当前视频,还可在线观看当前视频。当前视频为VR视频,其在虚拟现实设备上播放时可呈现出对应的虚拟场景。待播放视频帧可以是VR视频中的任一帧。
步骤S200、确定待播放视频帧在虚拟现实设备的虚拟球体空间中的投影区域以及当前视场方向;其中,所述待播放视频帧在所述虚拟球体空间中通过虚拟摄像机向所述投影区域投影以生成画面。
虚拟球体空间是以VR设备用户视角人物所处位置为球心、VR场景为内球面的虚拟北半球面。因此,一般而言,参阅图3,待播放视频帧在制作时,以圆的中心点位为虚拟摄像机位置。且可以理解的,因用户头部偏移等动作,当前视场方向发生变换,进而虚拟球体空间中VR镜面区域对应的虚拟球面区域发生变化,进而随着用户头部姿态的不同,用户实时观察到或者可视的虚拟场景区域不同,即虚拟场景的实时可视区域跟随用户头部偏移发生变化。
如用户向东站立,并平视前方,此时当前视场方向即为正东方向。
在任一时刻,虚拟现实设备获取到用户的姿态信息时,确定当前视场方向后,即可以圆的中心点位为虚拟摄像机位置,通过虚拟摄像机沿当前视场方向向虚拟球体空间的球面投影生成显示画面。此时,显示待播放视频帧的部分球面区域即为投影区域。
步骤S300、在虚拟现实设备的虚拟球体空间中,向当前视场方向的反方向偏移虚拟摄像机的位置,获得虚拟摄像机修正位置;
步骤S400、基于虚拟摄像机修正位置,在投影区域显示待播放视频帧对应的画面。
容易理解的,参阅图3,在垂直方向上构建二维坐标示意图。其中,圆的中心o为预设初始虚拟摄像机位置,透视投影垂直方向为视场角θ,圆右侧的竖直直线为预设投影面。待播放视频帧在投影区域CD上成像,导致用户看到的即为投影区域CD在预设投影面上的投影C1`D1`。则显示比例F`与垂直方向的视场角θ的关系为:
Figure BDA0003612677780000071
明显可知,视场角增大时,显示比例和比例增大的幅度都在增加。反之,当视场角减小时,拉伸的比例就会减小。
为了降低视场角θ,且同时保持原显示区域的大小不变,可通过增加虚拟摄像机与投影区域的距离来实现。
参阅图4,设定虚拟摄像机位于圆心o时的视场角为θ,当前视场方向为水平向右,虚拟球体空间的半径为r,在垂直方向上的投影区域为弧线CD。当虚拟摄像机处于圆心位置o时,投影区域在垂直方向上的投影映射区域为C1`D1`。保持投影区域的大小不变的情况下,向当前视场方向的反方向偏移虚拟摄像机,偏移后的虚拟摄像机所在点位,即虚拟摄像机修正位置为o`。当虚拟摄像机向左偏移一段距离至虚拟摄像机修正位置o`时,投影区域在垂直方向上的投影映射区域为C2`D2`。
由图4可看出,在保持投影区域不变的情况下,水平向左偏移虚拟摄像机位置,即向当前视场方向的反方向偏移待播放视频帧在虚拟球体空间中的虚拟摄像机位置,可使得投影区域在垂直方向上的投影映射区域C2`D2`缩短。
因此,本实施例中,在保持投影区域不变的情况下,向当前视场方向的反方向偏移待播放视频帧在虚拟球体空间中的虚拟摄像机位置,获得虚拟摄像机修正位置,并基于虚拟摄像机修正位置向投影区域投影,可改善投影区域边缘的拉伸现象。
且可以理解的,在保持投影区域不变的前提下,增加虚拟摄像机与投影区域的距离,会导致实际的视场角θ变小。
可以理解的,VR边缘畸变不仅包括边缘拉伸问题,还包括视角中心区域以及视觉边缘区域的之间存在的视角拉伸问题,以及边缘扭曲问题。因此,基于上述实施例,提出本申请画面显示方法第二实施例,参阅图5,图5为本申请画面显示方法第二实施例的流程示意图。
本实施例中,步骤S300包括以下步骤:
步骤S301、将虚拟摄像机修正位置与预设初始虚拟摄像机位置之间的距离作为待调整参数;待播放视频帧基于预设初始虚拟摄像机位置在预设投影面上具有初始投影映射区域,初始投影映射区域包括初始中间区域与初始边缘区域;
参阅图4,待调整参数即为虚拟摄像机修正位置o`与预设初始虚拟摄像机位置o之间的距离,可表示为d×r。待播放视频帧基于预设初始虚拟摄像机位置o在当前视场方向指向的预设投影面,即右侧的垂直面上具有初始投影映射区域,初始投影映射区域包括初始中间区域C1`D1`和位于初始中间区域C1`D1`的上下两侧的初始边缘区域B`C1`+D1`E`。
值得一提的是,对于人眼而言,其具有视觉中心区域以及环绕于视觉中心区域外侧的视觉边缘区域。对于初始投影映射区域而言,初始中间区域即为视觉中心区域,初始边缘区域即为视觉边缘区域。且本实施例中,在图4上,预设投影面为一竖直直线,因此,初始边缘区域B`C1`+D1`E`位于初始中间区域C1`D1`的上下两侧。
步骤S302、调整所述待调整参数的临时赋值;其中,待播放视频帧基于临时赋值在预设投影面上具有临时投影映射区域。
步骤S303、计算临时赋值对应的目标参数;目标参数包括显示比例、拉伸倍数或图像扭曲比例中的至少一者。
其中,显示比例为投影区域的长度与临时投影映射区域的长度的比值,拉伸倍数为临时投影映射区域的边缘区域的长度与中间区域的长度的比值;图像扭曲比例为临时投影映射区域相对于初始投影映射区域的中间变化量和边缘变化量之间的比值,中间变化量为初始中间区域的长度与中间区域的长度之间的差值,边缘变化量为初始边缘区域的长度与边缘区域的长度的比值。
请参阅图4,当虚拟摄像机修正位置为o`时,在保持投影区域不变的情况下,待播放视频帧向投影区域CD投影后,在预设投影面上具有对应的临时投影映射区域。且该临时投影映射区域包括中间区域C2`D2`,边缘区域A`C2`+D2`F`。同理,中间区域C2`D2`为在该预设投影面上,临时投影映射区域中的视觉中心区域,A`C2`+D2`F`为临时投影映射区域中上下两侧的视觉边缘区域。
容易理解的,在保持投影区域不变的情况下,增加虚拟摄像机与投影区域的距离,并缩小视场角可改善边缘拉伸比例。但是视场角缩小后,导致用户头部姿态发生变化时,虚拟球体空间内转动的区域也会变小。可以理解的,虚拟球体空间转动的区域变小的幅度可通过拉伸倍数L`来部分表征:
此时,视角上的拉伸倍数L`为:L′=(A′C2′+D2′F′)/C2′D2′;
即通过预设投影面上的边缘区域和中间区域的比值来反应边缘拉伸倍数,也即是区域变小的幅度。
此外,调整摄像头位置后,因为待播放视频帧是通过虚拟摄像机修正位置所处的o`点向弧形的投影区域CD投影,因此形成的临时投影映射区域的中间区域和边缘区域的投影不是等比例缩放,则边缘区域不可避免地会产生扭曲。计算图像扭曲比例可通过以下公式体现。
U′=(A′B′+E′F′)/(C1′C2′+D1′D2′);
参阅图4,初始中间区域C1`D1`的长度和中间区域C2`D2`的长度之间的中间变化量为C1′C2′+D1′D2′。初始边缘区域B`C1`+D1`E`的长度与边缘区域A`C2`+D2`F`的长度的差值A′B′+E′F′为边缘变化量。
需要说明的是,在计算临时赋值对应的目标参数时,可计算出的显示比例F`、拉伸倍数L`和图像扭曲比例U`中的至少一者,如计算出显示比例F`,或者拉伸倍数L`,或者图像扭曲比例U`,还可以是显示比例F`、拉伸倍数L`和图像扭曲比例U`中的任意两者,还可以是同时件出显示比例F`、拉伸倍数L`和图像扭曲比例U`,从而从三个维度表征虚拟摄像机位置偏移后的VR边缘畸变改善效果。
步骤S304、根据目标参数,确定出目标偏移量;
在调整待调整参数d×r时,可通过计算出的显示比例F`、拉伸倍数L`和图像扭曲比例U`中的至少一者综合考量虚拟摄像机位置偏移后的VR边缘畸变改善效果,从而确定出显示效果较佳的虚拟摄像机修正位置。
可以理解的,计算出的显示比例F`、拉伸倍数L`和图像扭曲比例U`可以从三个维度来表征虚拟摄像机位置偏移后的VR边缘畸变效果,从而可以在计算出上述3个数据后,根据3个数据中至少一者综合来考量临时赋值对应的显示效果,再根据每个临时赋值对应的显示效果,从中将显示效果较佳对应的临时赋值确定为目标偏移量。
作为一种实施方式,根据目标参数,确定出目标偏移量,包括:
将显示比例、拉伸倍数以及图像扭曲比例的和最小时对应的临时赋值确定为目标偏移量。
具体而言,虚拟摄像机修正位置始终位于虚拟球体空间内,不会偏移至虚拟球体空间外。因此,在圆心至球面的半径长度范围内,在调整待调整参数的临时幅值时,可对于每个临时复制计算出显示比例F`、拉伸倍数L`和图像扭曲比例U`,将三者的和最小时对应的临时赋值确定为目标偏移量,从而使得此时VR视频的边缘部分显示效果最佳。
步骤S305、在虚拟现实设备的虚拟球体空间中,根据目标偏移量,向当前视场方向的反方向偏移虚拟摄像机的位置,获得虚拟摄像机修正位置。
在确定出目标偏移量之后,在已知偏移方向,即当前视场方向的反方向的基础上可得到具体的虚拟摄像机修正位置的实际坐标。
本实施例中,在调整待调整参数时,可通过显示比例F`、拉伸倍数L`和图像扭曲比例U`综合考量虚拟摄像机位置偏移后的VR边缘畸变改善效果,从而确定出显示效果较佳的虚拟摄像机修正位置。
在一实施例中,当所述目标参数包括显示比例时,计算所述临时赋值对应的显示比例,包括:
(1)确定临时赋值与虚拟球体空间的半径的比值;
(2)确定预设初始虚拟摄像机位置对应的初始视场角;
(3)根据临时赋值与虚拟球体空间的半径的比值和所述初始视场角,计算临时赋值对应的显示比例。
请参阅图4,临时赋值为一临时虚拟摄像机位置和预设初始虚拟摄像机位置之间的距离,临时赋值与虚拟球体空间的半径的比值可表示出该临时虚拟摄像机位置相对于预设初始虚拟摄像机位置在虚拟球体空间的半径上的偏移比率。
在获取到待播放视频帧时,即可获得预设初始虚拟摄像机位置对应的初始视场角,如45°或者60°。从而确定出待播放视频帧在虚拟球体空间中对应的投影区域,进而在虚拟球体空间中绘制出如图4所示的偏移前后的投影几何关系,最终根据该投影几何关系计算得到临时赋值对应的显示比例。
可以理解的,参阅图4,显示比例F`和初始视场角θ的关系满足公式一:
Figure BDA0003612677780000111
其中,F′为显示比例,d为临时赋值与虚拟球体空间的半径的比值,θ为预设初始虚拟摄像机位置对应的初始视场角。
其中,当视场角θ=60°时,参阅图6,x轴为d,y轴为显示比例F`,为可知向当前视场方向的反方向偏移待播放视频帧在虚拟球体空间中的虚拟摄像机位置,可使得显示比例趋近1。因此,在一实施例中,将显示比例等于1时的临时赋值确定为目标偏移量。
也即是,在单独考虑边缘拉伸问题时,可将显示比例等于1时的临时赋值确定为目标偏移量,此时可较佳地改善画面的边缘拉伸现象。
进一步的,作为一种实施方式,在虚拟现实设备的虚拟球体空间中,向当前视场方向的反方向偏移虚拟摄像机的位置,获得虚拟摄像机修正位置,包括:
在虚拟现实设备的虚拟球体空间中,向当前视场方向的反方向偏移虚拟摄像机的位置至虚拟球体空间的球面上,获得虚拟摄像机修正位置。
参阅图7,即随着d趋近于1,显示比例也趋近于1。因此,当d=1时,即向当前视场方向的反方向偏移待播放视频帧在虚拟球体空间中的虚拟摄像机位置至虚拟球体空间的球面上时,此时可获得最优的显示比例,以提高画面显示质量。
此外,基于同一发明构思,本申请还提供了一种画面显示装置,参阅图8,配置于虚拟现实设备,包括:
视频帧获取模块,用于获取待播放视频帧;
区域确定模块,用于确定待播放视频帧在虚拟现实设备的虚拟球体空间中的投影区域以及当前视场方向;
摄像机调整模块,用于在虚拟现实设备的虚拟球体空间中,向当前视场方向的反方向偏移待播放视频帧在虚拟球体空间中的虚拟摄像机位置,获得虚拟摄像机修正位置;
画面显示模块,用于基于虚拟摄像机修正位置,在投影区域显示待播放视频帧对应的画面。
需要说明的是,画面显示装置的其他实施例的实现方式和有益效果可参考上述方法实施例,此处不再赘述。
此外,本发明实施例还提出一种计算机存储介质,存储介质上存储有视频编码程序,视频编码程序被处理器执行时实现如上文的视频编码方法的步骤。因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。确定为示例,程序指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,上述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,上述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
另外需说明的是,以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本发明提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘、U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种画面显示方法,其特征在于,用于虚拟现实设备,所述方法包括:
获取待播放视频帧;
确定所述待播放视频帧在所述虚拟现实设备的虚拟球体空间中的投影区域以及当前视场方向;其中,所述待播放视频帧在所述虚拟球体空间中通过虚拟摄像机向所述投影区域投影以生成画面;
在所述虚拟现实设备的虚拟球体空间中,向所述当前视场方向的反方向偏移所述虚拟摄像机的位置,获得虚拟摄像机修正位置;
基于所述虚拟摄像机修正位置,在所述投影区域显示所述待播放视频帧对应的画面。
2.根据权利要求1所述的画面显示方法,其特征在于,所述在所述虚拟现实设备的虚拟球体空间中,向所述当前视场方向的反方向偏移所述虚拟摄像机的位置,获得虚拟摄像机修正位置,包括:
将所述虚拟摄像机修正位置与预设初始虚拟摄像机位置之间的距离作为待调整参数;其中,所述待播放视频帧基于所述预设初始虚拟摄像机位置在预设投影面上具有初始投影映射区域,所述初始投影映射区域包括初始中间区域与初始边缘区域;
调整所述待调整参数的临时赋值;其中,所述待播放视频帧基于所述临时赋值在预设投影面上具有临时投影映射区域;
计算所述临时赋值对应的目标参数,所述目标参数包括显示比例、拉伸倍数或图像扭曲比例中的至少一者;其中,所述显示比例为所述投影区域的长度与所述临时投影映射区域的长度的比值;所述拉伸倍数为所述临时投影映射区域的边缘区域的长度与中间区域的长度的比值;所述图像扭曲比例为所述临时投影映射区域相对于所述初始投影映射区域的边缘变化量和中间变化量的比值,所述中间变化量为所述初始中间区域的长度与所述中间区域的长度之间的差值,所述边缘变化量为所述初始边缘区域的长度与所述边缘区域的长度的差值;
根据所述目标参数,确定出目标偏移量;
在所述虚拟现实设备的虚拟球体空间中,根据所述目标偏移量,向所述当前视场方向的反方向偏移所述虚拟摄像机的位置,获得虚拟摄像机修正位置。
3.根据权利要求2所述的画面显示方法,其特征在于,当所述目标参数包括显示比例时,所述根据所述目标参数,确定出目标偏移量,包括:
将所述显示比例等于1时的临时赋值确定为目标偏移量。
4.根据权利要求2或3所述的画面显示方法,其特征在于,当所述目标参数包括显示比例、拉伸倍数和图像扭曲比例时,所述根据所述目标参数,确定出目标偏移量,包括:
将所述显示比例、所述拉伸倍数以及所述图像扭曲比例的和最小时对应的临时赋值确定为目标偏移量。
5.根据权利要求2所述的画面显示方法,其特征在于,当所述目标参数包括显示比例时,所述计算所述临时赋值对应的显示比例,包括:
确定所述临时赋值与所述虚拟球体空间的半径的比值;
确定所述预设初始虚拟摄像机位置对应的初始视场角;
根据所述临时赋值与所述虚拟球体空间的半径的比值和所述初始视场角,计算所述临时赋值对应的显示比例。
6.根据权利要求5所述的画面显示方法,其特征在于,所述根据所述临时赋值与所述虚拟球体空间的半径的比值和所述初始视场角,计算所述临时赋值对应的显示比例,包括:
根据公式一、所述临时赋值与所述虚拟球体空间的半径的比值和所述初始视场角,计算所述临时赋值对应的显示比例,所述公式一为:
Figure FDA0003612677770000021
其中,所述F′为所述显示比例,所述d为所述临时赋值与所述虚拟球体空间的半径的比值,所述θ为所述预设初始虚拟摄像机位置对应的初始视场角。
7.根据权利要求1所述的画面显示方法,其特征在于,所述在所述虚拟现实设备的虚拟球体空间中,向所述当前视场方向的反方向偏移所述虚拟摄像机的位置,获得虚拟摄像机修正位置,包括:
在所述虚拟现实设备的虚拟球体空间中,向所述当前视场方向的反方向偏移所述虚拟摄像机的位置至所述虚拟球体空间的球面上,获得所述虚拟摄像机修正位置。
8.一种画面显示装置,其特征在于,配置于虚拟现实设备,包括:
视频帧获取模块,用于获取待播放视频帧;
区域确定模块,用于确定所述待播放视频帧在所述虚拟现实设备的虚拟球体空间中的投影区域以及当前视场方向;其中,所述待播放视频帧在所述虚拟球体空间中通过虚拟摄像机向所述投影区域投影以生成画面;;
摄像机调整模块,用于在所述虚拟现实设备的虚拟球体空间中,向所述当前视场方向的反方向偏移所述虚拟摄像机的位置,获得虚拟摄像机修正位置;
画面显示模块,用于基于所述虚拟摄像机修正位置,在所述投影区域显示所述待播放视频帧对应的画面。
9.一种虚拟现实设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的画面显示程序,所述画面显示程序配置为实现如权利要求1至7中任一项所述的画面显示方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有画面显示程序,所述画面显示程序被处理器执行时实现如权利要求1至7任一项所述的画面显示方法的步骤。
CN202210435333.1A 2022-04-24 2022-04-24 画面显示方法、装置、虚拟现实设备及存储介质 Active CN114827569B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210435333.1A CN114827569B (zh) 2022-04-24 2022-04-24 画面显示方法、装置、虚拟现实设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210435333.1A CN114827569B (zh) 2022-04-24 2022-04-24 画面显示方法、装置、虚拟现实设备及存储介质

Publications (2)

Publication Number Publication Date
CN114827569A true CN114827569A (zh) 2022-07-29
CN114827569B CN114827569B (zh) 2023-11-10

Family

ID=82507794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210435333.1A Active CN114827569B (zh) 2022-04-24 2022-04-24 画面显示方法、装置、虚拟现实设备及存储介质

Country Status (1)

Country Link
CN (1) CN114827569B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006155442A (ja) * 2004-12-01 2006-06-15 Nintendo Co Ltd 画像処理プログラムおよび画像処理装置
WO2012132267A1 (ja) * 2011-03-31 2012-10-04 パナソニック株式会社 全方向ステレオ画像出力装置
US20150091899A1 (en) * 2013-09-30 2015-04-02 Sisvel Technology S.R.L. Method and Device For Edge Shape Enforcement For Visual Enhancement of Depth Image Based Rendering of A Three-Dimensional Video Stream
WO2016011757A1 (zh) * 2014-07-24 2016-01-28 京东方科技集团股份有限公司 三维图像的显示方法及三维图像显示装置
WO2018120011A1 (zh) * 2016-12-30 2018-07-05 深圳前海达闼云端智能科技有限公司 投影图像校正方法、校正装置及机器人
CN110036647A (zh) * 2016-12-23 2019-07-19 三星电子株式会社 用于管理三维内容的缩略图的方法和设备
WO2021227360A1 (zh) * 2020-05-14 2021-11-18 佳都新太科技股份有限公司 一种交互式视频投影方法、装置、设备及存储介质
WO2022003066A1 (en) * 2020-06-30 2022-01-06 Sphere Research Ltd User interface
CN113906736A (zh) * 2019-06-07 2022-01-07 索尼集团公司 视频分发系统、视频分发方法和显示终端

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006155442A (ja) * 2004-12-01 2006-06-15 Nintendo Co Ltd 画像処理プログラムおよび画像処理装置
WO2012132267A1 (ja) * 2011-03-31 2012-10-04 パナソニック株式会社 全方向ステレオ画像出力装置
US20150091899A1 (en) * 2013-09-30 2015-04-02 Sisvel Technology S.R.L. Method and Device For Edge Shape Enforcement For Visual Enhancement of Depth Image Based Rendering of A Three-Dimensional Video Stream
WO2016011757A1 (zh) * 2014-07-24 2016-01-28 京东方科技集团股份有限公司 三维图像的显示方法及三维图像显示装置
CN110036647A (zh) * 2016-12-23 2019-07-19 三星电子株式会社 用于管理三维内容的缩略图的方法和设备
WO2018120011A1 (zh) * 2016-12-30 2018-07-05 深圳前海达闼云端智能科技有限公司 投影图像校正方法、校正装置及机器人
CN113906736A (zh) * 2019-06-07 2022-01-07 索尼集团公司 视频分发系统、视频分发方法和显示终端
WO2021227360A1 (zh) * 2020-05-14 2021-11-18 佳都新太科技股份有限公司 一种交互式视频投影方法、装置、设备及存储介质
WO2022003066A1 (en) * 2020-06-30 2022-01-06 Sphere Research Ltd User interface

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
殷润民;李伯虎;柴旭东;: "虚拟现实中的基于图像绘制技术综述", 系统仿真学报, no. 19 *

Also Published As

Publication number Publication date
CN114827569B (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
US11016297B2 (en) Image generation apparatus and image generation method
US11294535B2 (en) Virtual reality VR interface generation method and apparatus
US20100110069A1 (en) System for rendering virtual see-through scenes
JP2017174125A (ja) 情報処理装置、情報処理システム、および情報処理方法
WO2017086244A1 (ja) 画像処理装置、情報処理装置、および画像処理方法
JP2013211672A (ja) 曲面投影立体視装置
WO2020119822A1 (zh) 虚拟现实的显示方法及装置、设备、计算机存储介质
CN108153417B (zh) 画面补偿方法及采用该方法的头戴式显示装置
US10699372B2 (en) Image generation apparatus and image display control apparatus
JP2006061717A (ja) ゲーム画像の表示制御プログラム及びゲーム装置並びに記憶媒体
WO2017173583A1 (zh) 一种终端显示防抖方法及装置
CN114827569B (zh) 画面显示方法、装置、虚拟现实设备及存储介质
WO2024004134A1 (ja) 画像送信装置および画像送信方法
JP2020106655A (ja) 情報処理装置、情報処理方法及びプログラム
JP7118383B1 (ja) 表示システム、表示方法、及び表示プログラム
JP7475625B2 (ja) 3次元空間における入力受付および入力表示方法、プログラム、および3次元空間における入力受付および入力表示装置
US20170052684A1 (en) Display control apparatus, display control method, and program
US20220044351A1 (en) Method and system for providing at least a portion of content having six degrees of freedom motion
CN114862657A (zh) 一种双显卡渲染方法及装置
US20190394509A1 (en) Image delivery apparatus
CN117412021A (zh) 一种裸眼3d游戏画面调整方法、装置、介质及设备
JPH1166357A (ja) 画像表示システム及び画像表示処理方法
CN117788752A (zh) 一种图像显示方法、装置及电子设备
CN112698725A (zh) 一种基于眼动仪跟踪的穿透式屏幕系统的实现方法
GB2575932A (en) Method and system for providing at least a portion of content having six degrees of freedom motion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant