CN117784915A - 虚拟环境中的观影画面调整方法、装置、存储介质及设备 - Google Patents
虚拟环境中的观影画面调整方法、装置、存储介质及设备 Download PDFInfo
- Publication number
- CN117784915A CN117784915A CN202211146244.1A CN202211146244A CN117784915A CN 117784915 A CN117784915 A CN 117784915A CN 202211146244 A CN202211146244 A CN 202211146244A CN 117784915 A CN117784915 A CN 117784915A
- Authority
- CN
- China
- Prior art keywords
- video
- virtual environment
- virtual
- dragging
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 111
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 230000000007 visual effect Effects 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 21
- 230000002452 interceptive effect Effects 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 15
- 230000001960 triggered effect Effects 0.000 claims description 14
- 230000035515 penetration Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 14
- 230000003993 interaction Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 230000003190 augmentative effect Effects 0.000 description 9
- 230000008447 perception Effects 0.000 description 7
- 230000001953 sensory effect Effects 0.000 description 7
- 238000003825 pressing Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000007654 immersion Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000016776 visual perception Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 230000001339 gustatory effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请公开一种虚拟环境中的观影画面调整方法、装置、存储介质及设备,该方法包括:显示虚拟环境,虚拟环境中呈现有射线光标和视频观影区,其中,射线光标指向视频观影区方向,且与视频观影区之间形成第一夹角;响应于拖拽控制信息,并基于射线光标的初始位置与第一夹角,拖拽视频观影区;基于视频观影区位于虚拟环境中的当前拖拽位置,确定视频观影区显示的视频画面。本申请设计了针对2D视频、VR180视频、VR360视频的三维空间的拖拽方式,可以让用户体验到VR空间的魅力和在视频领域不同的观影视角,提升了在虚拟现实空间观影的沉浸式体验。
Description
技术领域
本申请涉及虚拟现实技术领域,具体涉及一种虚拟环境中的观影画面调整方法、装置、存储介质及设备。
背景技术
目前在2D视频、VR180视频、VR360视频等观影模式中,均是在固定的位置以固定的画框进行视频画面展示,并不能很好地体现出虚拟现实空间观影的沉浸式体验,用户体验较差。
发明内容
本申请实施例提供一种虚拟环境中的观影画面调整方法、装置、存储介质及设备,设计了针对2D视频、VR180视频、VR360视频的三维空间的拖拽方式,可以让用户体验到VR空间的魅力和在视频领域不同的观影视角,提升了在虚拟现实空间观影的沉浸式体验。
一方面,本申请实施例提供一种虚拟环境中的观影画面调整方法,所述方法包括:
显示虚拟环境,所述虚拟环境中呈现有射线光标和视频观影区,其中,所述射线光标指向所述视频观影区方向,且与所述视频观影区之间形成第一夹角;
响应于拖拽控制信息,并基于所述射线光标的初始位置与所述第一夹角,拖拽所述视频观影区;
基于所述视频观影区位于所述虚拟环境中的当前拖拽位置,确定所述视频观影区显示的视频画面。
在一些实施例中,所述响应于拖拽控制信息,并基于所述射线光标的初始位置与所述第一夹角,拖拽所述视频观影区,包括:
响应于拖拽控制信息,以所述射线光标的初始位置为球面空间的原点,并固定所述第一夹角,沿所述球面空间的球面拖拽所述视频观影区。
在一些实施例中,若所述虚拟环境的观影模式为二维视频观影模式,则所述视频观影区为虚拟屏幕,在响应于拖拽控制信息之前,所述虚拟屏幕处于显示状态;
所述沿所述球面空间的球面拖拽所述视频观影区,包括:
在x轴方向与y轴方向中的至少一个方向上,沿所述球面空间的球面拖拽所述虚拟屏幕。
在一些实施例中,所述方法还包括:
若在y轴方向上沿所述球面空间的球面拖拽所述虚拟屏幕至所述y轴方向的顶部或底部,则控制所述虚拟屏幕围绕所述虚拟屏幕的中心做180度翻转。
在一些实施例中,所述方法还包括:
若沿所述球面空间的球面拖拽所述虚拟屏幕至所述虚拟环境中的虚拟地面,且所述虚拟屏幕与所述虚拟地面产生穿模情况,则隐藏所述虚拟地面。
在一些实施例中,所述方法还包括:
在拖拽过程中,控制所述虚拟屏幕的边框高亮显示;
在拖拽结束时,控制所述虚拟屏幕的边框恢复常态显示。
在一些实施例中,所述基于所述视频观影区位于所述虚拟环境中的当前拖拽位置,确定所述视频观影区显示的视频画面,包括:
基于所述虚拟屏幕位于所述虚拟环境中的当前拖拽位置,确定所述视频观影区显示的视频画面为全屏播放的二维视频,其中,所述虚拟屏幕在所述当前拖拽位置显示的视频画面与所述虚拟屏幕在拖拽起始位置显示的视频画面均为全屏播放的二维视频。
在一些实施例中,若所述虚拟环境的观影模式为180度或360度的全景视频观影模式,则所述视频观影区为预设比例的取景框,在响应于拖拽控制信息之前,所述取景框处于隐藏状态;
所述响应于拖拽控制信息,以所述射线光标的初始位置为球面空间的原点,并固定所述第一夹角,沿所述球面空间的球面拖拽所述视频观影区,包括:
响应于拖拽控制信息,控制所述取景框显示于所述虚拟环境中;
以所述射线光标的初始位置为球面空间的原点,并固定所述第一夹角,在x轴方向上沿所述球面空间的球面拖拽所述取景框。
在一些实施例中,所述方法还包括:
在拖拽过程中,控制所述虚拟环境中除所述取景框之外的区域显示蒙层;
在拖拽结束时,隐藏所述取景框与所述蒙层。
在一些实施例中,所述方法还包括:
在所述取景框的左边界超出所述180度的全景视频的左边界的距离值达到预设距离值时停止拖拽,并响应于重置视野控制指令,控制所述180度的全景视频的左边界移动至所述取景框的左边界;或者
在所述取景框的右边界超出所述180度的全景视频的右边界的距离值达到预设距离值时停止拖拽,并响应于重置视野控制指令,控制所述180度的全景视频的右边界移动至所述取景框的右边界。
在一些实施例中,在所述响应于重置视野控制指令之前,还包括:
在所述取景框中显示重置视野提示信息,所述重置视野提示信息用于提示对象输入所述重置视野控制指令。
在一些实施例中,所述基于所述视频观影区位于所述虚拟环境中的当前拖拽位置,确定所述视频观影区显示的视频画面,包括:
基于所述取景框位于所述虚拟环境中的当前拖拽位置,确定所述取景框显示的视频画面为所述全景视频中所述当前拖拽位置对应的视频贴图,其中,所述取景框在所述当前拖拽位置显示的视频画面与所述取景框在拖拽起始位置显示的视频画面不同。
在一些实施例中,所述方法还包括:在拖拽过程中,隐藏所述射线光标,并显示位于所述视频观影区上的所述射线光标的光标焦点。
在一些实施例中,所述方法还包括:
若所述拖拽控制信息为基于对象操控交互设备的按键生成的拖拽控制信息,则在响应于拖拽控制信息时,向所述交互设备发送震动提示信息,所述震动提示信息用于指示所述交互设备发生震动,以提示拖拽操作被触发。
在一些实施例中,所述方法还包括:
若所述拖拽控制信息为基于对象的裸手手势生成的拖拽控制信息,则在响应于拖拽控制信息时,发出语音提示信息,所述语音提示信息用于提示拖拽操作被触发。
另一方面,本申请实施例提供一种虚拟环境中的观影画面调整装置,所述装置包括:
显示单元,用于显示虚拟环境,所述虚拟环境中呈现有射线光标和视频观影区,其中,所述射线光标指向所述视频观影区方向,且与所述视频观影区之间形成第一夹角;
控制单元,用于响应于拖拽控制信息,并基于所述射线光标的初始位置与所述第一夹角,拖拽所述视频观影区;
确定单元,用于基于所述视频观影区位于所述虚拟环境中的当前拖拽位置,确定所述视频观影区显示的视频画面。
另一方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行如上任一实施例所述的虚拟环境中的观影画面调整方法。
另一方面,本申请实施例提供一种虚拟现实设备,所述虚拟现实设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行如上任一实施例所述的虚拟环境中的观影画面调整方法。
另一方面,本申请实施例提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上任一实施例所述的虚拟环境中的观影画面调整方法。
本申请实施例通过显示虚拟环境,虚拟环境中呈现有射线光标和视频观影区,其中,射线光标指向视频观影区方向,且与视频观影区之间形成第一夹角;响应于拖拽控制信息,并基于射线光标的初始位置与第一夹角,拖拽视频观影区;基于视频观影区位于虚拟环境中的当前拖拽位置,确定视频观影区显示的视频画面。本申请实施例设计了针对2D视频、VR180视频、VR360视频的三维空间的拖拽方式,可以让用户体验到VR空间的魅力和在视频领域不同的观影视角,提升了在虚拟现实空间观影的沉浸式体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的虚拟环境中的观影画面调整方法的流程示意图。
图2为本申请实施例提供的虚拟环境中的观影画面调整方法的第一应用场景示意图。
图3为本申请实施例提供的虚拟环境中的观影画面调整方法的第二应用场景示意图。
图4为本申请实施例提供的虚拟环境中的观影画面调整方法的第三应用场景示意图。
图5为本申请实施例提供的虚拟环境中的观影画面调整方法的第四应用场景示意图。
图6为本申请实施例提供的虚拟环境中的观影画面调整方法的第五应用场景示意图。
图7为本申请实施例提供的虚拟环境中的观影画面调整方法的第六应用场景示意图。
图8为本申请实施例提供的虚拟环境中的观影画面调整方法的第七应用场景示意图。
图9为本申请实施例提供的虚拟环境中的观影画面调整方法的第八应用场景示意图。
图10为本申请实施例提供的虚拟环境中的观影画面调整方法的第九应用场景示意图。
图11为本申请实施例提供的虚拟环境中的观影画面调整方法的第十应用场景示意图。
图12为本申请实施例提供的虚拟环境中的观影画面调整方法的第十一应用场景示意图。
图13为本申请实施例提供的虚拟环境中的观影画面调整方法的第十二应用场景示意图。
图14为本申请实施例提供的虚拟环境中的观影画面调整装置的结构示意图。
图15为本申请实施例提供的虚拟现实设备的第一结构示意图。
图16为本申请实施例提供的虚拟现实设备的第二结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种虚拟环境中的观影画面调整方法、装置、计算机可读存储介质、虚拟现实设备、服务器及计算机程序产品。具体地,本申请实施例的虚拟环境中的观影画面调整方法可以由虚拟现实设备或者由服务器执行。
本申请实施例可以应用于扩展现实(eXtend ed Rea lity,XR)、虚拟现实(Virtual Reality,VR)、增强现实(Augmented Reality,AR)、混合现实(Mixed Reality,MR)等各种应用场景。
首先,在对本申请实施例进行描述的过程中出现的部分名词或者术语作如下解释:
扩展现实(eXtend ed Rea lity,XR),是包括虚拟现实(Virtual Reality,VR)、增强现实(Augumented Reality,AR)及混合现实(Mixed Reality,MR)的概念,表示制成虚拟世界与现实世界相连接的环境,用户能够与该环境实时交互的技术。
虚拟现实(Virtual Reality,VR),创建和体验虚拟世界的技术,计算生成一种虚拟环境,是一种多源信息(本文中提到的虚拟现实至少包括视觉感知,此外还可以包括听觉感知、触觉感知、运动感知,甚至还包括味觉感知、嗅觉感知等),实现虚拟环境的融合的、交互式的三维动态视景和实体行为的仿真,使用户沉浸到模拟的虚拟现实环境中,实现在诸如地图、游戏、视频、教育、医疗、模拟、协同训练、销售、协助制造、维护和修复等多种虚拟环境的应用。
增强现实(Augmented Reality,AR),一种在相机采集图像的过程中,实时地计算相机在现实世界(或称三维世界、真实世界)中的相机姿态参数,根据该相机姿态参数在相机采集的图像上添加虚拟元素的技术。虚拟元素包括但不限于:图像、视频和三维模型。AR技术的目标是在屏幕上把虚拟世界套接在现实世界上进行互动。
混合现实(Mixed Reality,MR),将计算机创建的感官输入(例如,虚拟对象)与来自物理布景的感官输入或其表示集成的模拟布景,一些MR布景中,计算机创建的感官输入可以适应于来自物理布景的感官输入的变化。另外,用于呈现MR布景的一些电子系统可以监测相对于物理布景的取向和/或位置,以使虚拟对象能够与真实对象(即来自物理布景的物理元素或其表示)交互。例如,系统可监测运动,使得虚拟植物相对于物理建筑物看起来是静止的。
增强虚拟(Augmented Virtuality,AV):AV布景是指计算机创建布景或虚拟布景并入来自物理布景的至少一个感官输入的模拟布景。来自物理布景的一个或多个感官输入可为物理布景的至少一个特征的表示。例如,虚拟对象可呈现由一个或多个成像传感器捕获的物理元素的颜色。又如,虚拟对象可呈现出与物理布景中的实际天气条件相一致的特征,如经由天气相关的成像传感器和/或在线天气数据所识别的。在另一个示例中,增强现实森林可具有虚拟树木和结构,但动物可具有从对物理动物拍摄的图像精确再现的特征。
虚拟视场,用户在虚拟现实设备中通过透镜所能够感知到的虚拟环境中的区域,使用虚拟视场的视场角(Field Of View,FOV)来表示所感知到区域。
虚拟现实设备,实现虚拟现实效果的终端,通常可以提供为眼镜、头盔式显示器(Head Mount Display,HMD)、隐形眼镜的形态,以用于实现视觉感知和其他形式的感知,当然虚拟现实设备实现的形态不限于此,根据需要可以进一步小型化或大型化。
本申请实施例记载的虚拟现实设备可以包括但不限于如下几个类型:
电脑端虚拟现实(PCVR)设备,利用PC端进行虚拟现实功能的相关计算以及数据输出,外接的电脑端虚拟现实设备利用PC端输出的数据实现虚拟现实的效果。
移动虚拟现实设备,支持以各种方式(如设置有专门的卡槽的头戴式显示器)设置移动终端(如智能手机),通过与移动终端有线或无线方式的连接,由移动终端进行虚拟现实功能的相关计算,并输出数据至移动虚拟现实设备,例如通过移动终端的APP观看虚拟现实视频。
一体机虚拟现实设备,具备用于进行虚拟功能的相关计算的处理器,因而具备独立的虚拟现实输入和输出的功能,不需要与PC端或移动终端连接,使用自由度高。
以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优先顺序的限定。
本申请各实施例提供了一种虚拟环境中的观影画面调整方法,该方法可以由终端或服务器执行,也可以由终端和服务器共同执行;本申请实施例以虚拟环境中的观影画面调整方法由终端(虚拟现实设备)执行为例来进行说明。
请参阅图1至图13,图1为本申请实施例提供的虚拟环境中的观影画面调整方法的流程示意图,图2至图13均为本申请实施例提供的相关应用场景示意图,其中,图2中的空白背景可以为三维虚拟空间层。该方法包括:
步骤110,显示虚拟环境,所述虚拟环境中呈现有射线光标和视频观影区,其中,所述射线光标指向所述视频观影区方向,且与所述视频观影区之间形成第一夹角。
例如,如图2所示,显示虚拟环境10,虚拟环境10中呈现有射线光标11和视频观影区12,其中,射线光标11指向视频观影区12方向,且与视频观影区12之间形成第一夹角α。例如,为了丰富虚拟环境10的呈现画面,可以在射线光标11的起始位置111呈现有虚拟手柄13,虚拟手柄13的正前方具有向视频观影区12方向出射的射线光标11,射线光标11与视频观影区12之间形成第一夹角α。其中,第一夹角α即为射线光标11与视频观影区12的所在平面形成的夹角。
在2D中,观影区即为交底中的视频面板(下文称虚拟屏幕);VR180和VR360中,观影区即为视觉聚焦区域,即后续拖拽时对应的取景框。
其中,虚拟环境10中呈现的射线光标11和视频观影区12可以正常显示,也可以隐藏显示。比如,若虚拟环境10的观影模式为二维视频观影模式,则该视频观影区12可以为虚拟屏幕,在虚拟屏幕被拖拽前及被拖拽过程中,该虚拟屏幕均可处于显示状态,以模拟对象(该对象可以为用户)处于电影院等观影场景中;该射线光标11在虚拟屏幕被拖拽前可以处于显示状态,该射线光标11在虚拟屏幕被拖拽过程中可以处于隐藏状态;比如若在射线光标11的起始位置111还呈现有虚拟手柄13,则该虚拟手柄13在虚拟屏幕被拖拽前可以处于显示状态,该虚拟手柄13在虚拟屏幕被拖拽过程中可以处于隐藏状态。比如,若虚拟环境10的观影模式为180度或360度的全景视频观影模式,则该视频观影区12可以为预设比例的取景框(相当于用户在虚拟环境中的视觉聚焦区),在取景框被拖拽前,该取景框可以处于隐藏状态,以模拟用户处于全景观影场景中,整个虚拟环境的画面显示的是全景视频;在取景框被拖拽过程中,取景框可以处于显示状态;该射线光标11在取景框被拖拽前可以处于显示状态,该射线光标11在取景框被拖拽过程中可以处于隐藏状态;比如若在射线光标11的起始位置111还呈现有虚拟手柄13,则该虚拟手柄13在取景框被拖拽前可以处于显示状态,该虚拟手柄13在取景框被拖拽过程中可以处于隐藏状态。
步骤120,响应于拖拽控制信息,并基于所述射线光标的初始位置与所述第一夹角,拖拽所述视频观影区。
例如,可以基于对象操控交互设备的按键生成的拖拽控制信息。例如,可以在虚拟现实设备的显示屏上显示虚拟环境。该虚拟现实设备可以外接有交互设备,可以通过操控交互设备的按键来驱动虚拟环境中的射线光标,以及可以响应于拖拽控制信息控制射线光标驱动对视频观影区的拖拽操作。例如,该交互设备可以包括手柄、数字手套、特定交互装置等。
例如,可以基于对象的裸手手势生成的拖拽控制信息。可以响应于拖拽控制信息控制射线光标驱动对视频观影区的拖拽操作。
在一些实施例中,所述响应于拖拽控制信息,并基于所述射线光标的初始位置与所述第一夹角,拖拽所述视频观影区,包括:
响应于拖拽控制信息,以所述射线光标的初始位置为球面空间的原点,并固定所述第一夹角,沿所述球面空间的球面拖拽所述视频观影区。
例如,如图3所示,可以设置一个球面空间20,该球面空间20作为观影容器,在进入观影模式时,可以在该球面空间20的观影容器中进行观影。当响应于拖拽控制信息时,以射线光标11的起始位置111为球面空间20的原点A,并固定射线光标11与视频观影区12所在平面之间的第一夹角α,沿球面空间20的球面拖拽视频观影区12。以控制射线光标11的光标焦点112位于可拖动的视频观影区内,并沿x方向和/或y轴方向,可以在球形空间进行人机交互实现观影画面拖拽。
示例性地,也可以设置一个立方体空间,该立方体空间作为观影容器,在进入观影模式时,可以在该立方体空间的观影容器中进行观影。当响应于拖拽控制信息时,以射线光标的初始位置为立方体空间的中心点,并固定射线光标与视频观影区所在平面之间的第一夹角,沿立方体空间的表面拖拽视频观影区。以控制射线光标的光标焦点位于可拖动的视频观影区内,并沿x方向和/或y轴方向,可以在立方体空间进行人机交互实现观影画面拖拽。
在一些实施例中,若所述虚拟环境的观影模式为二维视频观影模式,则所述视频观影区为虚拟屏幕,在响应于拖拽控制信息之前,所述虚拟屏幕处于显示状态;所述沿所述球面空间的球面拖拽所述视频观影区,包括:在x轴方向与y轴方向中的至少一个方向上,沿所述球面空间的球面拖拽所述虚拟屏幕。
例如,若虚拟环境的观影模式为二维(2D)视频观影模式,则视频观影区为虚拟屏幕,在响应于拖拽控制信息之前,虚拟屏幕处于显示状态。例如,2D视频观影模式可参图2或图4所示的虚拟环境10,该虚拟环境10中呈现有射线光标11和视频观影区12(即虚拟屏幕121),其中,射线光标11指向视频观影区12方向,且与视频观影区12之间形成第一夹角α。例如,为了丰富虚拟环境10的呈现画面,可以在射线光标11的起始位置111呈现有虚拟手柄13,虚拟手柄13的正前方具有向视频观影区12(即虚拟屏幕121)方向出射的射线光标11,射线光标11与视频观影区12(即虚拟屏幕121)之间形成第一夹角α。
例如,在2D视频观影模式中,拖拽触发条件包括射线光标11指向视频观影区12(即虚拟屏幕121),且射线光标11的光标焦点112在视频观影区12(即虚拟屏幕121)内,该视频观影区12(即虚拟屏幕121)可以理解为视频热区范围,并且对象通过长按交互设备(比如手柄)中的预设按键产生拖拽控制信息,以及虚拟现实设备获取到该拖拽控制信息时,可以响应于拖拽控制信息控制射线光标11在x/y轴方向的位移大于或等于xdp,以拖拽视频观影区12(即虚拟屏幕121)。
例如,xdp中的x是个动态值,可以根据用户拖拽的力度来设置回弹的大小,不同场景下可以赋不同的值。其中,dp为与密度无关的像素,是一种基于屏幕密度的抽象单位,在每英寸160点的显示器上,1dp=1px。
例如,预设按键可以包括Grip(抓握)键、Trigger(扳机)键、A/X键(功能同Trigger)等。
例如,在响应于拖拽控制信息之前,除了上述拖拽触发条件,还可以进行设置交互规避条件。例如,交互规避条件包括以下任一种:“设置面板”弹出时产生拖拽;“设置面板”消失时产生拖拽。其中,以上二者选其一进行交互规避,比如设置为“设置面板”弹出时产生拖拽,或者设置为“设置面板”消失时产生拖拽。
例如,当存在网页交互冲突时,交互规避条件还可以包括:拖拽触发时,优先执行“视频观影区拖拽”,不执行“网页交互”。
例如,在2D视频观影模式中,当响应于拖拽控制信息时,拖拽对象为视频观影区12(即虚拟屏幕121),跟随被拖拽的视频观影区12(即虚拟屏幕121),在视频观影区12(即虚拟屏幕121)中显示的视频画面为2D全屏视频。在拖拽过程中,固定射线光标11和视频观影区12(即虚拟屏幕121)的第一夹角α,通过移动射线光标11对视频观影区12(即虚拟屏幕121)进行拖拽。
如图3所示,在2D视频观影模式中,在x轴方向与y轴方向中的至少一个方向上,沿球面空间20的球面,呈球面拖拽视频观影区12(即虚拟屏幕121),即x-y球面全自由度移动视频观影区12(即虚拟屏幕121)。具体的,以射线光标11的起始位置111为球面空间20的原点A,射线光标11为球面空间20的半径,固定射线光标11与视频观影区12(即虚拟屏幕121)的第一夹角α,呈球面移动落点B的位置(x轴坐标与y轴坐标),即对象在虚拟现实设备的显示屏上看到的内容始终是与球面空间20的球面相切的B点位置,拖拽期间保证第一夹角α不变。例如,图中的线段AB表示从虚拟手柄13射向视频观影区12(即虚拟屏幕121)的射线光标11。
例如,在拖拽过程中,视频观影区的RotationZ(横向旋转)值始终为0。
如图5所示,在拖拽时,虚拟屏幕121的中心点沿球面空间20的球面在x轴方向与y轴方向中的至少一个方向上进行移动。
在一些实施例中,所述方法还包括:若在y轴方向上沿所述球面空间的球面拖拽所述虚拟屏幕至所述y轴方向的顶部或底部,则控制所述虚拟屏幕围绕所述虚拟屏幕的中心做180度翻转。
例如,在2D视频观影模式中,y轴方向达到顶部/底部后,控制虚拟屏幕进行180°翻转。例如,始终保证在y轴方向上,虚拟屏幕的上边距>=虚拟屏幕的下边距,当拖拽至虚拟屏幕的上边距=虚拟屏幕的下边距时(拖拽至最上/最下),同时响应拖拽并围绕虚拟屏幕的中心点做180°翻转。
例如,如图6所示,在拖拽时,虚拟屏幕121的中心点沿球面空间20的球面在y轴方向上进行移动,虚拟屏幕121的中心点与球面相切,在继续拖拽过程中,当拖拽虚拟屏幕121至y轴方向的顶部或底部时,控制虚拟屏幕121进行180°翻转,且若拖拽操作还在持续,则在翻转后继续响应拖拽的位移变化。
在一些实施例中,所述方法还包括:若沿所述球面空间的球面拖拽所述虚拟屏幕至所述虚拟环境中的虚拟地面,且所述虚拟屏幕与所述虚拟地面产生穿模情况,则隐藏所述虚拟地面。
例如,如图2所示,在2D视频观影模式中,拖拽产生虚拟屏幕121与虚拟地面14穿模时,虚拟地面14消失,变成没有虚拟地面14的场景。其中,在虚拟地面14消失时,可以通过设置消失处理条件保证拖拽的平滑体验,比如消失处理条件可以为虚拟地面14被虚拟屏幕121穿模时,基于拖拽速度控制虚拟地面14逐渐消失,当虚拟屏幕121完全穿过虚拟地面14时,完全隐藏虚拟地面14。
在一些实施例中,所述方法还包括:
在拖拽过程中,控制所述虚拟屏幕的边框高亮显示;
在拖拽结束时,控制所述虚拟屏幕的边框恢复常态显示。
例如,在2D视频观影模式中,在拖拽过程中,如图7所示,虚拟屏幕121的边框1211高亮显示。例如,拖拽结束时,虚拟屏幕的边框恢复nomal态。例如,在拖拽过程中,与虚拟现实设备相连接的手柄会发生震动;拖拽结束时,手柄会停止震动。
例如,可以通过长按"Home"健生成重置视野指令,以响应于重置视野指令进行重置视野,将虚拟屏幕的位置重置(reset)至视野中的默认位置。
如图8所示,播控Bar(栏)15、设置面板16显示时,如果射线光标的光标焦点在虚拟屏幕121内、且在设置面板16所示区域外触发拖拽,该虚拟屏幕121依旧响应拖拽操作;拖拽时,播控Bar(栏)15与设置面板16可以暂时隐藏。
在一些实施例中,若所述虚拟环境的观影模式为180度或360度的全景视频观影模式,则所述视频观影区为预设比例的取景框,在响应于拖拽控制信息之前,所述取景框处于隐藏状态;所述响应于拖拽控制信息,以所述射线光标的初始位置为球面空间的原点,并固定所述第一夹角,沿所述球面空间的球面拖拽所述视频观影区,包括:
响应于拖拽控制信息,控制所述取景框显示于所述虚拟环境中;
以所述射线光标的初始位置为球面空间的原点,并固定所述第一夹角,在x轴方向上沿所述球面空间的球面拖拽所述取景框。
例如,若虚拟环境的观影模式为180度或360度的全景视频观影模式,则所述视频观影区为预设比例的取景框,在响应于拖拽控制信息之前,所述取景框处于隐藏状态。例如,预设比例的取景框可以为16:9的取景框。例如,该取景框可以为1280*720的区域。
例如,在180度或360度的全景视频观影模式中,拖拽触发条件包括射线光标指向视频观影区(即取景框),且射线光标的光标焦点在视频观影区(即取景框)内,该视频观影区(即取景框)可以理解为视频热区范围(该视频热区范围也可以理解为沉浸体验中的视觉聚焦区域),并且对象通过长按交互设备(比如手柄)中的预设按键产生拖拽控制信息,以及虚拟现实设备获取到该拖拽控制信息时,可以响应于拖拽控制信息控制射线光标在x/y轴方向的位移大于或等于xdp,以拖拽视频观影区(即取景框)。
例如,预设按键可以包括Grip(抓握)键、Trigger(扳机)键、A/X键(功能同Trigger)等。
例如,在响应于拖拽控制信息之前,除了上述拖拽触发条件,还可以进行设置交互规避条件。例如,交互规避条件包括以下任一种:“设置面板”弹出时拖拽;“设置面板”弹出时产生拖拽;“设置面板”和“沉浸bar”消失时产生拖拽;“沉浸bar”显示时产生拖拽;“沉浸bar”消失时产生拖拽。其中,以上四者选其一进行交互规避。
例如,可参阅图3,在180度或360度的全景视频观影模式中,图3中的视频观影区12可以为取景框122,当响应于拖拽控制信息时,拖拽对象为视频观影区12(即取景框122),跟随被拖拽的视频观影区12(即取景框122),在视频观影区12(即取景框122)中显示的视频画面为全景视频中当前拖拽位置对应的视频贴图。在拖拽过程中,固定射线光标11和视频观影区12(即取景框122)的第一夹角α,通过移动射线光标11对视频观影区12(即取景框122)进行拖拽。
如图3所示,在180度或360度的全景视频观影模式中,在x轴水平方向上,以射线光标11的起始位置111为球面空间20的原点A,射线光标11为球面空间20的半径,固定射线光标11与视频观影区12(即取景框122)的第一夹角α,沿球面空间20的球面进行水平移动拖拽视频观影区12(即取景框122)。
在一些实施例中,所述方法还包括:
在拖拽过程中,控制所述虚拟环境中除所述取景框之外的区域显示蒙层;
在拖拽结束时,隐藏所述取景框与所述蒙层。
例如,如图9或图10所示,在180度或360度的全景视频观影模式中,在拖拽过程中,控制虚拟环境10中除取景框122之外的区域显示蒙层17,例如,该蒙层17可以为黑色蒙层,也可以为其他颜色蒙层。例如,在拖拽过程中仅取景框122内能看到对应位置的视频贴图,取景框122外的蒙层17均蒙黑显示。在拖拽结束时,隐藏取景框122与蒙层17,在沉浸体验中,整个虚拟环境10的沉浸视频画面均可见。例如,在拖拽过程中,与虚拟现实设备相连接的手柄会发生震动;拖拽结束时,手柄会停止震动。
例如,可以通过长按"Home"健生成重置视野指令,以响应于重置视野指令进行重置视野,将取景框122的位置重置(reset)至视野中的默认位置。
例如,如图11所示,播控Bar(栏)15、设置面板16显示时,如果射线光标11的光标焦点在取景框122内、且在设置面板16所示区域外触发拖拽,该取景框122依旧响应拖拽操作;拖拽时,播控Bar(栏)15与设置面板16可以暂时隐藏。
在一些实施例中,所述方法还包括:
在所述取景框的左边界超出所述180度的全景视频的左边界的距离值达到预设距离值时停止拖拽,并响应于重置视野控制指令,控制所述180度的全景视频的左边界移动至所述取景框的左边界;或者
在所述取景框的右边界超出所述180度的全景视频的右边界的距离值达到预设距离值时停止拖拽,并响应于重置视野控制指令,控制所述180度的全景视频的右边界移动至所述取景框的右边界。
在一些实施例中,在所述响应于重置视野控制指令之前,还包括:
在所述取景框中显示重置视野提示信息,所述重置视野提示信息用于提示对象输入所述重置视野控制指令。
例如,如图12所示,若取景框122的右边界被拖拽超出全景视频的右边界xdp(预设距离值)后,不能继续拖拽,此时取景框122中显示的视频画面是不完整的,可以在取景框中以toast消息提示框1221的方式显示重置视野提示信息,比如该重置视野提示信息的内容为“长按一侧手柄上的Home键重置视野”或者“长按一侧手柄上的○键重置视野”。对象通过该重置视野提示信息的内容长按Home键或○键触发重置视野控制指令,使得虚拟现实设备响应于重置视野控制指令进行重置视野操作,比如控制180度的全景视频的左边界移动至取景框的左边界,或者控制180度的全景视频的右边界移动至取景框的右边界。
例如,toast消息提示框1221用于在取景框122中显示一个重置视野提示信息,该toast消息提示框1221没有任何控制按钮,并且不会获得焦点,经过一段时间后自动消失。
例如,重置视野时看到的画面是视频边界回弹至取景框边界的画面,即视频的左边界回弹至取景框的左边界,或者视频的右边界回弹至取景框的右边界。若取景框的边界没有拖拽超出视频的边界,则不会出现toast消息提示框。
例如,该预设距离值为xdp,xdp中的x是个动态值,可以根据用户拖拽的力度来设置回弹的大小,不同场景下可以赋不同的值。
在一些实施例中,所述方法还包括:
若所述拖拽控制信息为基于对象操控交互设备的按键生成的拖拽控制信息,则在响应于拖拽控制信息时,向所述交互设备发送震动提示信息,所述震动提示信息用于指示所述交互设备发生震动,以提示拖拽操作被触发。
例如,交互设备以手柄为例,拖拽操作被触发时,向手柄发送震动提示信息,震动提示信息用于指示手柄发生震动,手柄响应于震动提示信息产生瞬时震动,以向对象提示拖拽操作被触发。例如,震动持续时间为x秒,比如3秒。
在一些实施例中,所述方法还包括:
若所述拖拽控制信息为基于对象的裸手手势生成的拖拽控制信息,则在响应于拖拽控制信息时,发出语音提示信息,所述语音提示信息用于提示拖拽操作被触发。
例如,拖拽操作被触发时,可以发出语音提示信息,语音提示信息用于提示拖拽操作被触发。
在一些实施例中,所述方法还包括:在拖拽过程中,隐藏所述射线光标,并显示位于所述视频观影区上的所述射线光标的光标焦点。
例如,在2D视频观影模式中的拖拽过程中:可以隐藏射线光标11,只显示光标焦点112。还可以隐藏播放bar(栏)15;还可以以全屏视频的画面显示非normal(标准)态;虚拟屏幕121中显示的视频播放/暂停状态不变。例如,在2D视频观影模式中的拖拽过程中,显示虚拟环境如图7所示,视频观影区12(即虚拟屏幕121)内显示的视频画面为2D全屏视频。
例如,在180度或360度的全景视频观影模式中的拖拽过程中:可以隐藏射线光标11,只显示光标焦点112。取景框122中显示的视频播放/暂停状态不变。例如,在180度或360度的全景视频观影模式中中的拖拽过程中,显示虚拟环境如图9所示,视频观影区12(即取景框122)内显示的视频画面为拖拽位置对应的视频贴图。
步骤130,基于所述视频观影区位于所述虚拟环境中的当前拖拽位置,确定所述视频观影区显示的视频画面。
在一些实施例中,若所述虚拟环境的观影模式为二维视频观影模式,所述基于所述视频观影区位于所述虚拟环境中的当前拖拽位置,确定所述视频观影区显示的视频画面,包括:
基于所述虚拟屏幕位于所述虚拟环境中的当前拖拽位置,确定所述视频观影区显示的视频画面为全屏播放的二维视频,其中,所述虚拟屏幕在所述当前拖拽位置显示的视频画面与所述虚拟屏幕在拖拽起始位置显示的视频画面均为全屏播放的二维视频。
例如,在2D视频观影模式中,对象将长按的预设按键松手时,产生拖拽结束指令,以使得虚拟现实设备响应于拖拽结束指令,取消拖拽,此时虚拟屏幕停留在当前拖拽位置。如图13所示,拖拽结束后,虚拟屏幕的整个全屏模式的“UI显示”作为整体,保持“全屏bar(栏)”、“全屏视频”、“设置面板”的相对位置不变。该全屏视频为全屏播放的二维视频。
在拖拽前、拖拽拖拽过程中及拖拽后,二维视频观影模式在视频观影区中显示的视频画面是均为全屏视频,在拖拽过程中视频的播放状态或暂停状态不变。
例如,在2D视频观影模式中,拖拽结束并退出虚拟环境后,不记录当次拖拽位置。下次进入虚拟环境时,显示屏显示的是默认状态。例如,默认状态表示显示系统的初始状态。比如当用户佩戴头戴式的虚拟现实设备躺着看电影时,会把显示的视频画面调成倾斜的45°画面(拖拽后的视频画面);但是下次佩戴虚拟现实设备时,显示的视频画面为正常的90°画面(默认状态)。
例如,可以不记录虚拟屏幕的位置拖拽信息,但是可以记射线光标的缩放信息。该缩放信息包括射线光标的缩放尺寸,可以通过射线光标的缩放尺寸并基于屏幕中心点将虚拟屏幕拉近或拉远。
在一些实施例中,若所述虚拟环境的观影模式为180度或360度的全景视频观影模式,所述基于所述视频观影区位于所述虚拟环境中的当前拖拽位置,确定所述视频观影区显示的视频画面,包括:
基于所述取景框位于所述虚拟环境中的当前拖拽位置,确定所述取景框显示的视频画面为所述全景视频中所述当前拖拽位置对应的视频贴图,其中,所述取景框在所述当前拖拽位置显示的视频画面与所述取景框在拖拽起始位置显示的视频画面不同。
例如,在180度或360度的全景视频观影模式中,对象将长按的预设按键松手时,产生拖拽结束指令,以使得虚拟现实设备响应于拖拽结束指令,取消拖拽,此时取景框停留在当前拖拽位置,且取景框以Alpha变化的方式消失,取景框显示的视频画面留在当前拖拽位置进行播放,取景框显示的视频画面为全景视频中当前拖拽位置对应的视频贴图,其中,取景框在当前拖拽位置显示的视频画面与取景框在拖拽起始位置显示的视频画面不同。
例如,VR180°的沉浸观影模式下,是个180°的全景图,相当于一个半球,在对象戴上虚拟现实设备后可以以180°范围观看全景视频。当取景框显示的视频画面内容根据取景框的移动被拖拽出180°可呈现的范围之外时,会存在一个黑色蒙板或Alpha渐变,以跟观影画面进行融入,比如场景是纯黑的,观影画面是彩色的,将视频画面内容拖出180°之外时,会存在一个从彩色观影画面过渡到纯黑场景的一个过渡状态,这个过渡状态即为Alpha变化。
例如,在180度或360度的全景视频观影模式中,拖拽结束并退出虚拟环境后,不记录当次拖拽位置。下次进入虚拟环境时,显示屏显示的是默认状态。
上述所有的技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
本申请实施例通过显示虚拟环境,虚拟环境中呈现有射线光标和视频观影区,其中,射线光标指向视频观影区方向,且与视频观影区之间形成第一夹角;响应于拖拽控制信息,并基于射线光标的初始位置与第一夹角,拖拽视频观影区;基于视频观影区位于虚拟环境中的当前拖拽位置,确定视频观影区显示的视频画面。本申请实施例设计了针对2D视频、VR180视频、VR360视频的三维空间的拖拽方式,可以让用户体验到VR空间的魅力和在视频领域不同的观影视角,提升了在虚拟现实空间观影的沉浸式体验。
为便于更好的实施本申请实施例的虚拟环境中的观影画面调整方法,本申请实施例还提供一种虚拟环境中的观影画面调整装置。请参阅图14,图14为本申请实施例提供的虚拟环境中的观影画面调整装置的结构示意图。其中,该虚拟环境中的观影画面调整装置200可以包括:
显示单元210,用于显示虚拟环境,所述虚拟环境中呈现有射线光标和视频观影区,其中,所述射线光标指向所述视频观影区方向,且与所述视频观影区之间形成第一夹角;
控制单元220,用于响应于拖拽控制信息,并基于所述射线光标的初始位置与所述第一夹角,拖拽所述视频观影区;
确定单元230,用于基于所述视频观影区位于所述虚拟环境中的当前拖拽位置,确定所述视频观影区显示的视频画面。
在一些实施例中,所述控制单元220,具体用于:
响应于拖拽控制信息,以所述射线光标的初始位置为球面空间的原点,并固定所述第一夹角,沿所述球面空间的球面拖拽所述视频观影区。
在一些实施例中,若所述虚拟环境的观影模式为二维视频观影模式,则所述视频观影区为虚拟屏幕,在响应于拖拽控制信息之前,所述虚拟屏幕处于显示状态;
所述控制单元220在沿所述球面空间的球面拖拽所述视频观影区时,具体用于:在x轴方向与y轴方向中的至少一个方向上,沿所述球面空间的球面拖拽所述虚拟屏幕。
在一些实施例中,所述控制单元220,还用于:若在y轴方向上沿所述球面空间的球面拖拽所述虚拟屏幕至所述y轴方向的顶部或底部,则控制所述虚拟屏幕围绕所述虚拟屏幕的中心做180度翻转。
在一些实施例中,所述控制单元220,还用于:若沿所述球面空间的球面拖拽所述虚拟屏幕至所述虚拟环境中的虚拟地面,且所述虚拟屏幕与所述虚拟地面产生穿模情况,则隐藏所述虚拟地面。
在一些实施例中,所述控制单元220,还用于:
在拖拽过程中,控制所述虚拟屏幕的边框高亮显示;
在拖拽结束时,控制所述虚拟屏幕的边框恢复常态显示。
在一些实施例中,所述确定单元230,具体用于:
基于所述虚拟屏幕位于所述虚拟环境中的当前拖拽位置,确定所述视频观影区显示的视频画面为全屏播放的二维视频,其中,所述虚拟屏幕在所述当前拖拽位置显示的视频画面与所述虚拟屏幕在拖拽起始位置显示的视频画面均为全屏播放的二维视频。
在一些实施例中,若所述虚拟环境的观影模式为180度或360度的全景视频观影模式,则所述视频观影区为预设比例的取景框,在响应于拖拽控制信息之前,所述取景框处于隐藏状态;
所述控制单元220,用于:
响应于拖拽控制信息,控制所述取景框显示于所述虚拟环境中;
以所述射线光标的初始位置为球面空间的原点,并固定所述第一夹角,在x轴方向上沿所述球面空间的球面拖拽所述取景框。
在一些实施例中,所述控制单元220,还用于:
在拖拽过程中,控制所述虚拟环境中除所述取景框之外的区域显示蒙层;
在拖拽结束时,隐藏所述取景框与所述蒙层。
在一些实施例中,所述控制单元220,还用于:
在所述取景框的左边界超出所述180度的全景视频的左边界的距离值达到预设距离值时停止拖拽,并响应于重置视野控制指令,控制所述180度的全景视频的左边界移动至所述取景框的左边界;或者
在所述取景框的右边界超出所述180度的全景视频的右边界的距离值达到预设距离值时停止拖拽,并响应于重置视野控制指令,控制所述180度的全景视频的右边界移动至所述取景框的右边界。
在一些实施例中,所述控制单元220在响应于重置视野控制指令之前,还用于:
在所述取景框中显示重置视野提示信息,所述重置视野提示信息用于提示对象输入所述重置视野控制指令。
在一些实施例中,所述确定单元230,具体用于:
基于所述取景框位于所述虚拟环境中的当前拖拽位置,确定所述取景框显示的视频画面为所述全景视频中所述当前拖拽位置对应的视频贴图,其中,所述取景框在所述当前拖拽位置显示的视频画面与所述取景框在拖拽起始位置显示的视频画面不同。
在一些实施例中,所述控制单元220,还用于:在拖拽过程中,隐藏所述射线光标,并显示位于所述视频观影区上的所述射线光标的光标焦点。
在一些实施例中,所述控制单元220,还用于:
若所述拖拽控制信息为基于对象操控交互设备的按键生成的拖拽控制信息,则在响应于拖拽控制信息时,向所述交互设备发送震动提示信息,所述震动提示信息用于指示所述交互设备发生震动,以提示拖拽操作被触发。
在一些实施例中,所述控制单元220,还用于:若所述拖拽控制信息为基于对象的裸手手势生成的拖拽控制信息,则在响应于拖拽控制信息时,发出语音提示信息,所述语音提示信息用于提示拖拽操作被触发。
上述虚拟环境中的观影画面调整装置200中的各个单元可全部或部分通过软件、硬件及其组合来实现。上述各个单元可以以硬件形式内嵌于或独立于虚拟现实设备中的处理器中,也可以以软件形式存储于虚拟现实设备中的存储器中,以便于处理器调用执行上述各个单元对应的操作。
虚拟环境中的观影画面调整装置200,可以集成在具备储存器并安装有处理器而具有运算能力的终端或服务器中,或者该虚拟环境中的观影画面调整装置200为该终端或服务器。
在一些实施例中,本申请还提供了一种虚拟现实设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
如图15所示,图15为本申请实施例提供的虚拟现实设备的结构示意图,该虚拟现实设备300通常可以提供为眼镜、头盔式显示器(Head Mount Display,HMD)、隐形眼镜的形态,以用于实现视觉感知和其他形式的感知,当然虚拟现实设备实现的形态不限于此,根据需要可以进一步小型化或大型化。该虚拟现实设备300可以包括但不限于以下的构成:
检测模块301:使用各种传感器检测用户的操作命令,并作用于虚拟环境,如跟随用户的视线而不断更新在显示屏上显示的影像,实现用户与虚拟和场景的交互,例如基于检测到的用户头部的转动方向来不断更新现实内容。
反馈模块302:接收来自传感器的数据,为用户提供实时反馈;其中,该反馈模块302可以为用于显示图形用户界面,比如在该图形用户界面上显示虚拟环境。例如,该反馈模块302可以包括显示屏幕等。
传感器303:一方面接受来自用户的操作命令,并将其作用于虚拟环境;另一方面将操作后产生的结果以各种反馈的形式提供给用户。
控制模块304:对传感器和各种输入/输出装置进行控制,包括获得用户的数据(如动作、语音)和输出感知数据,如图像、振动、温度和声音等,对用户、虚拟环境和现实世界产生作用。
建模模块305:构造虚拟环境的三维模型,还可以包括三维模型中的声音、触感等各种反馈机制。
在本申请实施例中,可以通过所述建模模块305构建虚拟环境,并通过所述反馈模块302显示虚拟环境,所述虚拟环境中呈现有射线光标和视频观影区,其中,所述射线光标指向所述视频观影区方向,且与所述视频观影区之间形成第一夹角;然后通过控制模块304响应于拖拽控制信息,并基于所述射线光标的初始位置与所述第一夹角,拖拽所述视频观影区;然后控制模块304基于所述视频观影区位于所述虚拟环境中的当前拖拽位置,确定所述视频观影区显示的视频画面。
在一些实施例中,如图16所示,图16为本申请实施例提供的虚拟现实设备的另一结构示意图,虚拟现实设备300还包括有一个或者一个以上处理核心的处理器310、有一个或一个以上计算机可读存储介质的存储器320及存储在存储器320上并可在处理器上运行的计算机程序。其中,处理器310与存储器320电性连接。本领域技术人员可以理解,图中示出的虚拟现实设备结构并不构成对虚拟现实设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
处理器310是虚拟现实设备300的控制中心,利用各种接口和线路连接整个虚拟现实设备300的各个部分,通过运行或加载存储在存储器320内的软件程序和/或模块,以及调用存储在存储器320内的数据,执行虚拟现实设备300的各种功能和处理数据,从而对虚拟现实设备300进行整体监控。
在本申请实施例中,虚拟现实设备300中的处理器310会按照如下的步骤,将一个或一个以上的应用程序的进程对应的指令加载到存储器320中,并由处理器310来运行存储在存储器320中的应用程序,从而实现各种功能:
显示虚拟环境,所述虚拟环境中呈现有射线光标和视频观影区,其中,所述射线光标指向所述视频观影区方向,且与所述视频观影区之间形成第一夹角;响应于拖拽控制信息,并基于所述射线光标的初始位置与所述第一夹角,拖拽所述视频观影区;基于所述视频观影区位于所述虚拟环境中的当前拖拽位置,确定所述视频观影区显示的视频画面。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
在一些实施例中,处理器310可以包括检测模块301、控制模块304和建模模块305。
在一些实施例中,如图16所示,虚拟现实设备300还包括:射频电路306、音频电路307以及电源308。其中,处理器310分别与存储器320、反馈模块302、传感器303、射频电路306、音频电路307以及电源308电性连接。本领域技术人员可以理解,图15或图16中示出的虚拟现实设备结构并不构成对虚拟现实设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
射频电路306可用于收发射频信号,以通过无线通信与网络设备或其他虚拟现实设备建立无线通讯,与网络设备或其他虚拟现实设备之间收发信号。
音频电路307可以用于通过扬声器、传声器提供用户与虚拟现实设备之间的音频接口。音频电路307可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路307接收后转换为音频数据,再将音频数据输出处理器301处理后,经射频电路306以发送给比如另一虚拟现实设备,或者将音频数据输出至存储器以便进一步处理。音频电路307还可能包括耳塞插孔,以提供外设耳机与虚拟现实设备的通信。
电源308用于给虚拟现实设备300的各个部件供电。
尽管图15或图16中未示出,虚拟现实设备300还可以包括摄像头、无线保真模块、蓝牙模块、输入模块等,在此不再赘述。
在一些实施例中,本申请还提供了一种计算机可读存储介质,用于存储计算机程序。该计算机可读存储介质可应用于虚拟现实设备或服务器,并且该计算机程序使得虚拟现实设备或服务器执行本申请实施例中的虚拟环境中的观影画面调整方法中的相应流程,为了简洁,在此不再赘述。
在一些实施例中,本申请还提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存储介质中。虚拟现实设备的处理器从计算机可读存储介质读取该计算机程序,处理器执行该计算机程序,使得虚拟现实设备执行本申请实施例中的虚拟环境中的观影画面调整方法中的相应流程,为了简洁,在此不再赘述。
本申请还提供了一种计算机程序,该计算机程序包括计算机程序,计算机程序存储在计算机可读存储介质中。虚拟现实设备的处理器从计算机可读存储介质读取该计算机程序,处理器执行该计算机程序,使得虚拟现实设备执行本申请实施例中的虚拟环境中的观影画面调整方法中的相应流程,为了简洁,在此不再赘述。
应理解,本申请实施例的处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
可以理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台虚拟现实设备(可以是个人计算机,服务器)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
Claims (19)
1.一种虚拟环境中的观影画面调整方法,其特征在于,所述方法包括:
显示虚拟环境,所述虚拟环境中呈现有射线光标和视频观影区,其中,所述射线光标指向所述视频观影区方向,且与所述视频观影区之间形成第一夹角;
响应于拖拽控制信息,并基于所述射线光标的初始位置与所述第一夹角,拖拽所述视频观影区;
基于所述视频观影区位于所述虚拟环境中的当前拖拽位置,确定所述视频观影区显示的视频画面。
2.如权利要求1所述的虚拟环境中的观影画面调整方法,其特征在于,所述响应于拖拽控制信息,并基于所述射线光标的初始位置与所述第一夹角,拖拽所述视频观影区,包括:
响应于拖拽控制信息,以所述射线光标的初始位置为球面空间的原点,并固定所述第一夹角,沿所述球面空间的球面拖拽所述视频观影区。
3.如权利要求2所述的虚拟环境中的观影画面调整方法,其特征在于,若所述虚拟环境的观影模式为二维视频观影模式,则所述视频观影区为虚拟屏幕,在响应于拖拽控制信息之前,所述虚拟屏幕处于显示状态;
所述沿所述球面空间的球面拖拽所述视频观影区,包括:
在x轴方向与y轴方向中的至少一个方向上,沿所述球面空间的球面拖拽所述虚拟屏幕。
4.如权利要求3所述的虚拟环境中的观影画面调整方法,其特征在于,所述方法还包括:
若在y轴方向上沿所述球面空间的球面拖拽所述虚拟屏幕至所述y轴方向的顶部或底部,则控制所述虚拟屏幕围绕所述虚拟屏幕的中心做180度翻转。
5.如权利要求3所述的虚拟环境中的观影画面调整方法,其特征在于,所述方法还包括:
若沿所述球面空间的球面拖拽所述虚拟屏幕至所述虚拟环境中的虚拟地面,且所述虚拟屏幕与所述虚拟地面产生穿模情况,则隐藏所述虚拟地面。
6.如权利要求3所述的虚拟环境中的观影画面调整方法,其特征在于,所述方法还包括:
在拖拽过程中,控制所述虚拟屏幕的边框高亮显示;
在拖拽结束时,控制所述虚拟屏幕的边框恢复常态显示。
7.如权利要求3-6任一项所述的虚拟环境中的观影画面调整方法,其特征在于,所述基于所述视频观影区位于所述虚拟环境中的当前拖拽位置,确定所述视频观影区显示的视频画面,包括:
基于所述虚拟屏幕位于所述虚拟环境中的当前拖拽位置,确定所述视频观影区显示的视频画面为全屏播放的二维视频,其中,所述虚拟屏幕在所述当前拖拽位置显示的视频画面与所述虚拟屏幕在拖拽起始位置显示的视频画面均为全屏播放的二维视频。
8.如权利要求2所述的虚拟环境中的观影画面调整方法,其特征在于,若所述虚拟环境的观影模式为180度或360度的全景视频观影模式,则所述视频观影区为预设比例的取景框,在响应于拖拽控制信息之前,所述取景框处于隐藏状态;
所述响应于拖拽控制信息,以所述射线光标的初始位置为球面空间的原点,并固定所述第一夹角,沿所述球面空间的球面拖拽所述视频观影区,包括:
响应于拖拽控制信息,控制所述取景框显示于所述虚拟环境中;
以所述射线光标的初始位置为球面空间的原点,并固定所述第一夹角,在x轴方向上沿所述球面空间的球面拖拽所述取景框。
9.如权利要求8所述的虚拟环境中的观影画面调整方法,其特征在于,所述方法还包括:
在拖拽过程中,控制所述虚拟环境中除所述取景框之外的区域显示蒙层;
在拖拽结束时,隐藏所述取景框与所述蒙层。
10.如权利要求8所述的虚拟环境中的观影画面调整方法,其特征在于,所述方法还包括:
在所述取景框的左边界超出所述180度的全景视频的左边界的距离值达到预设距离值时停止拖拽,并响应于重置视野控制指令,控制所述180度的全景视频的左边界移动至所述取景框的左边界;或者
在所述取景框的右边界超出所述180度的全景视频的右边界的距离值达到预设距离值时停止拖拽,并响应于重置视野控制指令,控制所述180度的全景视频的右边界移动至所述取景框的右边界。
11.如权利要求10所述的虚拟环境中的观影画面调整方法,其特征在于,在所述响应于重置视野控制指令之前,还包括:
在所述取景框中显示重置视野提示信息,所述重置视野提示信息用于提示对象输入所述重置视野控制指令。
12.如权利要求8-11任一项所述的虚拟环境中的观影画面调整方法,其特征在于,所述基于所述视频观影区位于所述虚拟环境中的当前拖拽位置,确定所述视频观影区显示的视频画面,包括:
基于所述取景框位于所述虚拟环境中的当前拖拽位置,确定所述取景框显示的视频画面为所述全景视频中所述当前拖拽位置对应的视频贴图,其中,所述取景框在所述当前拖拽位置显示的视频画面与所述取景框在拖拽起始位置显示的视频画面不同。
13.如权利要求1所述的虚拟环境中的观影画面调整方法,其特征在于,所述方法还包括:
在拖拽过程中,隐藏所述射线光标,并显示位于所述视频观影区上的所述射线光标的光标焦点。
14.如权利要求1所述的虚拟环境中的观影画面调整方法,其特征在于,所述方法还包括:
若所述拖拽控制信息为基于对象操控交互设备的按键生成的拖拽控制信息,则在响应于拖拽控制信息时,向所述交互设备发送震动提示信息,所述震动提示信息用于指示所述交互设备发生震动,以提示拖拽操作被触发。
15.如权利要求1所述的虚拟环境中的观影画面调整方法,其特征在于,所述方法还包括:
若所述拖拽控制信息为基于对象的裸手手势生成的拖拽控制信息,则在响应于拖拽控制信息时,发出语音提示信息,所述语音提示信息用于提示拖拽操作被触发。
16.一种虚拟环境中的观影画面调整装置,其特征在于,所述装置包括:
显示单元,用于显示虚拟环境,所述虚拟环境中呈现有射线光标和视频观影区,其中,所述射线光标指向所述视频观影区方向,且与所述视频观影区之间形成第一夹角;
控制单元,用于响应于拖拽控制信息,并基于所述射线光标的初始位置与所述第一夹角,拖拽所述视频观影区;
确定单元,用于基于所述视频观影区位于所述虚拟环境中的当前拖拽位置,确定所述视频观影区显示的视频画面。
17.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行如权利要求1-15任一项所述的虚拟环境中的观影画面调整方法。
18.一种虚拟现实设备,其特征在于,所述虚拟现实设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行权利要求1-15任一项所述的虚拟环境中的观影画面调整方法。
19.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-15任一项所述的虚拟环境中的观影画面调整方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211146244.1A CN117784915A (zh) | 2022-09-20 | 2022-09-20 | 虚拟环境中的观影画面调整方法、装置、存储介质及设备 |
PCT/CN2023/116228 WO2024060959A1 (zh) | 2022-09-20 | 2023-08-31 | 虚拟环境中的观影画面调整方法、装置、存储介质及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211146244.1A CN117784915A (zh) | 2022-09-20 | 2022-09-20 | 虚拟环境中的观影画面调整方法、装置、存储介质及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117784915A true CN117784915A (zh) | 2024-03-29 |
Family
ID=90387539
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211146244.1A Pending CN117784915A (zh) | 2022-09-20 | 2022-09-20 | 虚拟环境中的观影画面调整方法、装置、存储介质及设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117784915A (zh) |
WO (1) | WO2024060959A1 (zh) |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102400900B1 (ko) * | 2015-10-26 | 2022-05-23 | 엘지전자 주식회사 | 시스템 |
JP6134019B1 (ja) * | 2016-01-29 | 2017-05-24 | 株式会社コロプラ | 仮想現実空間提供方法および仮想現実空間提供プログラム |
KR20180051202A (ko) * | 2016-11-08 | 2018-05-16 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
CN107045389A (zh) * | 2017-04-14 | 2017-08-15 | 腾讯科技(深圳)有限公司 | 一种实现控制固定被控物的方法及装置 |
CN107396077B (zh) * | 2017-08-23 | 2022-04-08 | 深圳看到科技有限公司 | 虚拟现实全景视频流投影方法和设备 |
CN107977083B (zh) * | 2017-12-20 | 2021-07-23 | 北京小米移动软件有限公司 | 基于vr系统的操作执行方法及装置 |
US11320957B2 (en) * | 2019-01-11 | 2022-05-03 | Microsoft Technology Licensing, Llc | Near interaction mode for far virtual object |
US20220150464A1 (en) * | 2019-03-08 | 2022-05-12 | Sony Group Corporation | Image processing apparatus, image processing method, and image processing program |
KR102444924B1 (ko) * | 2019-04-04 | 2022-09-19 | 주식회사 빌리버 | 가상 현실 장치 및 그 제어 방법 |
CN113286138A (zh) * | 2021-05-17 | 2021-08-20 | 聚好看科技股份有限公司 | 一种全景视频显示方法及显示设备 |
-
2022
- 2022-09-20 CN CN202211146244.1A patent/CN117784915A/zh active Pending
-
2023
- 2023-08-31 WO PCT/CN2023/116228 patent/WO2024060959A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024060959A1 (zh) | 2024-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7248859B2 (ja) | 仮想、拡張、または複合現実環境内で3dビデオを生成および表示するための方法およびシステム | |
EP3396511B1 (en) | Information processing device and operation reception method | |
KR20190124766A (ko) | 혼합 현실 뷰어 시스템 및 방법 | |
CN112292657B (zh) | 围绕布景进行移动 | |
JP7247260B2 (ja) | データ処理プログラム、データ処理方法、および、データ処理装置 | |
US11900520B1 (en) | Specifying effects for entering or exiting a computer-generated reality environment | |
CN114327700A (zh) | 一种虚拟现实设备及截屏图片播放方法 | |
US11069137B2 (en) | Rendering captions for media content | |
CN115150555B (zh) | 视频录制方法、装置、设备及介质 | |
KR20210056414A (ko) | 혼합 현실 환경들에서 오디오-가능 접속된 디바이스들을 제어하기 위한 시스템 | |
CN113194329B (zh) | 直播互动方法、装置、终端及存储介质 | |
CN117784915A (zh) | 虚拟环境中的观影画面调整方法、装置、存储介质及设备 | |
JP7365132B2 (ja) | 情報処理装置、表示方法およびコンピュータプログラム | |
CN117671201A (zh) | 信息刷新方法、装置、存储介质及设备 | |
US11980807B2 (en) | Adaptive rendering of game to capabilities of device | |
CN114327032B (zh) | 一种虚拟现实设备及vr画面显示方法 | |
US12053699B2 (en) | Foveated enhancement of non-XR games within a HMD system | |
WO2024193568A1 (zh) | 交互方法、装置、设备、介质和程序 | |
CN118229934A (zh) | 虚拟对象的显示方法、装置、存储介质、设备及程序产品 | |
CN118161858A (zh) | 任务调节方法、装置、存储介质及设备 | |
CN117115237A (zh) | 虚拟现实的位置切换方法、装置、存储介质及设备 | |
CN118161857A (zh) | 任务显示方法、装置、存储介质及设备 | |
CN117908666A (zh) | 交互方法、装置、存储介质、设备及程序产品 | |
CN118142168A (zh) | 虚拟对象的控制方法、装置、存储介质及设备 | |
CN118170246A (zh) | 虚拟场景图像的显示方法、装置、存储介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |