CN113709543A - 基于虚拟现实的视频处理方法、装置、电子设备和介质 - Google Patents
基于虚拟现实的视频处理方法、装置、电子设备和介质 Download PDFInfo
- Publication number
- CN113709543A CN113709543A CN202110216528.2A CN202110216528A CN113709543A CN 113709543 A CN113709543 A CN 113709543A CN 202110216528 A CN202110216528 A CN 202110216528A CN 113709543 A CN113709543 A CN 113709543A
- Authority
- CN
- China
- Prior art keywords
- virtual reality
- selection control
- target
- virtual
- branch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 42
- 230000002452 interceptive effect Effects 0.000 claims abstract description 120
- 238000000034 method Methods 0.000 claims abstract description 40
- 230000003993 interaction Effects 0.000 claims abstract description 37
- 239000012634 fragment Substances 0.000 claims abstract description 13
- 230000009471 action Effects 0.000 claims description 63
- 238000012545 processing Methods 0.000 claims description 40
- 230000000007 visual effect Effects 0.000 claims description 32
- 230000009466 transformation Effects 0.000 claims description 28
- 238000009877 rendering Methods 0.000 claims description 26
- 230000008859 change Effects 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 15
- 238000005516 engineering process Methods 0.000 abstract description 52
- 230000002349 favourable effect Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 22
- 239000013598 vector Substances 0.000 description 20
- 230000033001 locomotion Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 10
- 210000003128 head Anatomy 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 230000006399 behavior Effects 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 239000000123 paper Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种基于虚拟现实的视频处理方法、装置、电子设备和介质；本申请实施例展示互动视频中剧情分支选择片段对应的虚拟现实视频画面，所述虚拟现实视频画面包括虚拟场景画面、以及所述互动视频中至少一个待选剧情分支的选择控件；响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面，所述目标剧情分支为所述目标选择控件对应的待选剧情分支，所述选择操作为在虚拟场景中执行的虚拟现实交互操作。本申请可以实现虚拟现实技术与选择剧情分支的结合，丰富了互动视频的互动形式，有利于提升用户的互动度。
Description
技术领域
本申请涉及计算机技术领域，具体涉及一种基于虚拟现实的视频处理方法、装置、电子设备和介质。
背景技术
随着计算机技术和网络技术的发展，多媒体的应用越来越广泛，用户对观看影视内容的需求也不断增加，传统的视频内容播放什么，用户就观看什么的方式已经不能完全满足用户的需求。利用网络互动平台与观众进行在线互动的方式逐渐成为当下一种热门的视频播放模式，其中，支持剧情分支选择的互动视频作为一种新的视频互动模式，以新颖的形式吸引了更多用户，这种互动视频是包括多个分支剧情的视频，不同的分支剧情可能会走向不同的结局。用户观看该互动视频，当播放到剧情分支选择片段时，可以通过互动操作来决定剧情进入哪个分支剧情，从而推动剧情的走向。
但是在目前的相关技术中，剧情分支选择通常是通过鼠标点击或者操作遥控器等方式，来选择观看互动视频中的剧情分支，这样的交互形式较为简单，且视频本身一般是传统的单视角的视频画面，导致视频的交互性较低，用户的参与感和沉浸感不足。
发明内容
本申请实施例提供一种基于虚拟现实的视频处理方法、装置、电子设备和介质，可以实现虚拟现实技术与选择剧情分支的结合，丰富了互动视频的互动形式，有利于提升用户的互动度。
本申请实施例提供一种基于虚拟现实的视频处理方法，包括：
展示互动视频中剧情分支选择片段对应的虚拟现实视频画面，所述虚拟现实视频画面包括虚拟场景画面、以及所述互动视频中至少一个待选剧情分支的选择控件；
响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面，所述目标剧情分支为所述目标选择控件对应的待选剧情分支，所述选择操作为在虚拟场景中执行的虚拟现实交互操作。
相应的，本申请实施例提供一种基于虚拟现实的视频处理装置，包括：
第一展示单元，用于展示互动视频中剧情分支选择片段对应的虚拟现实视频画面，所述虚拟现实视频画面包括虚拟场景画面、以及所述互动视频中至少一个待选剧情分支的选择控件；
第二展示单元，用于响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面，所述目标剧情分支为所述目标选择控件对应的待选剧情分支，所述选择操作为在虚拟场景中执行的虚拟现实交互操作。
可选的，在本申请的一些实施例中，所述虚拟现实视频画面包括第一视角下的虚拟现实视频画面，所述选择控件包括第一视角下的选择控件，所述待选剧情分支包括第一视角下的待选剧情分支；
所述基于虚拟现实的视频处理装置还可以包括第三展示单元，如下：
所述第三展示单元，用于当用户的视角变化满足预设条件时，展示互动视频中剧情分支选择片段对应的第二视角下的虚拟现实视频画面，所述第二视角下的虚拟现实视频画面包括虚拟场景画面、以及所述互动视频中至少一个第二视角下的待选剧情分支的选择控件；
所述第二展示单元具体可以用于响应于针对第二视角下的目标选择控件的选择操作，展示第二视角下的目标剧情分支对应的虚拟现实视频画面。
可选的，在本申请的一些实施例中，所述选择操作包括针对虚拟场景的语音信息；所述第二展示单元可以包括提取子单元、计算子单元、第一确定子单元和第一展示子单元，如下：
所述提取子单元，用于对获取到的语音信息提取语义特征信息；
计算子单元，用于基于所述语音信息的语义特征信息与所述选择控件对应的预设文字信息的语义特征信息，计算所述语音信息和所述选择控件对应的预设文字信息之间的匹配度；
第一确定子单元，用于基于所述匹配度，从所述选择控件中确定目标选择控件；
第一展示子单元，用于展示所述目标选择控件对应的目标剧情分支的虚拟现实视频画面。
可选的，在本申请的一些实施例中，所述选择操作包括用户在虚拟场景中执行的动作；所述第二展示单元可以包括识别子单元、第二确定子单元和第二展示子单元，如下：
所述识别子单元，用于对用户在虚拟场景中执行的动作进行识别；
第二确定子单元，用于基于识别到的当前动作的动作类型，从所述选择控件中确定目标选择控件；
第二展示子单元，用于展示所述目标选择控件对应的目标剧情分支的虚拟现实视频画面。
可选的，在本申请的一些实施例中，所述选择操作包括用户在虚拟场景中对选择控件的关注时长；所述第二展示单元具体可以用于当用户的关注对象为目标选择控件、且对目标选择控件的关注时长大于预设时长时，展示所述目标选择控件对应的目标剧情分支的虚拟现实视频画面。
可选的，在本申请的一些实施例中，所述第二展示单元可以包括移动子单元和第三展示子单元，如下：
所述移动子单元，用于基于所述用户的视角变化，将目标选择控件移动到虚拟现实视频画面中的预设位置，其中，所述预设位置上的目标选择控件为用户的关注对象；
第三展示子单元，用于当检测到所述目标选择控件在所述预设位置上的停留时长大于预设时长时，展示所述目标选择控件对应的目标剧情分支的虚拟现实视频画面，其中，在所述预设位置上的停留时长为用户对关注对象的关注时长。
可选的，在本申请的一些实施例中，所述第一展示单元可以包括获取子单元、第三确定子单元、渲染子单元和第四展示子单元，如下：
所述获取子单元，用于获取所述互动视频中剧情分支选择片段对应的多维虚拟模型；
第三确定子单元，用于基于用户的视角，确定虚拟相机的位置信息；
渲染子单元，用于根据所述虚拟相机的位置信息，对所述多维虚拟模型进行渲染，得到虚拟现实视频画面；
第四展示子单元，用于展示所述互动视频中剧情分支选择片段对应的虚拟现实视频画面。
可选的，在本申请的一些实施例中，所述渲染子单元具体可以用于根据所述虚拟相机的位置信息，构建所述虚拟相机对应的相机坐标系，并获取所述相机坐标系的视图变换参数；基于所述视图变换参数，以及所述多维虚拟模型的初始位置信息，计算所述多维虚拟模型在所述相机坐标系下的位置信息；基于所述多维虚拟模型在所述相机坐标系下的位置信息，对所述多维虚拟模型进行渲染，得到虚拟现实视频画面。
可选的，在本申请的一些实施例中，步骤“基于所述多维虚拟模型在所述相机坐标系下的位置信息，对所述多维虚拟模型进行渲染，得到虚拟现实视频画面”，可以包括：
基于所述多维虚拟模型在所述相机坐标系下的位置信息、以及预设投影变换参数，对所述多维虚拟模型进行投影变换，得到虚拟现实视频画面。
可选的，在本申请的一些实施例中，所述基于虚拟现实的视频处理装置还可以包括第四展示单元，如下：
所述第四展示单元，用于在虚拟现实视频画面的字幕显示区域中，展示字幕信息，所述字幕信息在字幕显示区域内以预设移动速度进行展示。
本申请实施例提供的一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器加载所述指令，以执行本申请实施例提供的基于虚拟现实的视频处理方法中的步骤。
此外，本申请实施例还提供一种存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本申请实施例提供的基于虚拟现实的视频处理方法中的步骤。
本申请实施例提供了一种基于虚拟现实的视频处理方法、装置、电子设备和介质，可以展示互动视频中剧情分支选择片段对应的虚拟现实视频画面，所述虚拟现实视频画面包括虚拟场景画面、以及所述互动视频中至少一个待选剧情分支的选择控件；响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面，所述目标剧情分支为所述目标选择控件对应的待选剧情分支，所述选择操作为在虚拟场景中执行的虚拟现实交互操作。本申请可以实现虚拟现实技术与选择剧情分支的结合，丰富了互动视频的互动形式，有利于提升用户的互动度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的基于虚拟现实的视频处理方法的场景示意图；
图1b是本申请实施例提供的基于虚拟现实的视频处理方法的流程图；
图1c是现有虚拟现实技术的示例图；
图1d是现有虚拟现实技术的另一示例图；
图1e是本申请实施例提供的基于虚拟现实的视频处理方法的说明图；
图1f是本申请实施例提供的基于虚拟现实的视频处理方法的页面示意图；
图1g是本申请实施例提供的基于虚拟现实的视频处理方法的另一说明图；
图1h是本申请实施例提供的基于虚拟现实的视频处理方法的另一说明图；
图1i是本申请实施例提供的基于虚拟现实的视频处理方法的另一说明图；
图2a是本申请实施例提供的基于虚拟现实的视频处理方法的另一流程图；
图2b是本申请实施例提供的基于虚拟现实的视频处理方法的另一页面示意图；
图2c是本申请实施例提供的基于虚拟现实的视频处理方法的另一页面示意图；
图2d是本申请实施例提供的基于虚拟现实的视频处理方法的另一流程图；
图3a是本申请实施例提供的基于虚拟现实的视频处理装置的结构示意图；
图3b是本申请实施例提供的基于虚拟现实的视频处理装置的另一结构示意图；
图3c是本申请实施例提供的基于虚拟现实的视频处理装置的另一结构示意图；
图3d是本申请实施例提供的基于虚拟现实的视频处理装置的另一结构示意图；
图3e是本申请实施例提供的基于虚拟现实的视频处理装置的另一结构示意图；
图3f是本申请实施例提供的基于虚拟现实的视频处理装置的另一结构示意图；
图3g是本申请实施例提供的基于虚拟现实的视频处理装置的另一结构示意图；
图4是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种基于虚拟现实的视频处理方法、装置、电子设备和介质。该基于虚拟现实的视频处理装置具体可以集成在电子设备中，该电子设备可以是终端或服务器等设备。
可以理解的是，本实施例的基于虚拟现实的视频处理方法可以是在终端上执行的，也可以是在服务器上执行，还可以由终端和服务器共同执行的。以上举例不应理解为对本申请的限制。
如图1a所示，以终端和服务器共同执行基于虚拟现实的视频处理方法为例。本申请实施例提供的基于虚拟现实的视频处理系统包括终端10和服务器11等；终端10与服务器11之间通过网络连接，比如，通过有线或无线网络连接等，其中，基于虚拟现实的视频处理装置可以集成在终端中。
其中，终端10，可以用于：展示互动视频中剧情分支选择片段对应的虚拟现实视频画面，所述虚拟现实视频画面包括虚拟场景画面、以及所述互动视频中至少一个待选剧情分支的选择控件；响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面，所述目标剧情分支为所述目标选择控件对应的待选剧情分支，所述选择操作为在虚拟场景中执行的虚拟现实交互操作。其中，终端10可以包括手机、智能电视、平板电脑、笔记本电脑、或个人计算机(PC，Personal Computer)等。终端10上还可以设置客户端，该客户端可以是视频客户端或者浏览器客户端等等。
其中，服务器11可以用于获取所述互动视频的所有视角画面合成的平面视频流、以及剧情分支选项和视频片段跳转关系等信息，并将这些信息发送给终端10，终端10将视频流画面在虚拟空间的球面上进行贴图，渲染为虚拟现实视频画面。其中，服务器11可以是单台服务器，也可以是由多个服务器组成的服务器集群或云服务器。
本申请实施例提供的基于虚拟现实的视频处理方法涉及人工智能领域中的计算机视觉技术，具体涉及计算机视觉中的虚拟现实技术领域。本申请实施例可以实现虚拟现实技术与选择剧情分支的结合，丰富了互动视频的互动形式，有利于提升用户的互动度。
其中，人工智能(AI,Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。其中，人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等方向。
其中，计算机视觉技术(CV，Computer Vision)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
其中，虚拟现实(VR，Virtual Reality)技术囊括计算机、电子信息、仿真技术于一体，其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。所谓虚拟现实，顾名思义，就是虚拟和现实相互结合。从理论上来讲，虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中。虚拟现实技术就是利用现实生活中的数据，通过计算机技术产生的电子信号，将其与各种输出设备结合使其转化为能够让人们感受到的现象。因为这些现象不是我们直接能看到的，而是通过计算机技术模拟出来的现实中的世界，故称为虚拟现实。虚拟现实技术是仿真技术与计算机图形学、人机接口技术、多媒体技术、传感技术和网络技术等多种技术的集合，是一门富有挑战性的交叉技术前沿学科和研究领域。虚拟现实技术主要包括模拟环境、动作、感知和传感设备等方面。模拟环境包括由计算机生成的、实时动态的三维立体全景图像和声音。
以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从基于虚拟现实的视频处理装置的角度进行描述，该基于虚拟现实的视频处理装置具体可以集成在电子设备中，该电子设备可以是服务器或终端等设备。
本申请实施例的基于虚拟现实的视频处理方法可以应用于影视视频中。例如，通过本实施例提供的基于虚拟现实的视频处理方法，可以将虚拟现实技术与某影视剧结合，对该影视剧设置至少一个剧情分支，当播放到该影视剧中剧情分支选择片段时，可以在剧情分支选择片段对应的虚拟现实视频画面中展示至少一个剧情分支的选择控件，用户可以通过动作、语音以及注视等多种虚拟现实交互操作来确定目标选择控件，以展示该目标选择控件对应的目标剧情分支的虚拟现实视频画面。
如图1b所示，该基于虚拟现实的视频处理方法的具体流程可以如下：
101、展示互动视频中剧情分支选择片段对应的虚拟现实视频画面，所述虚拟现实视频画面包括虚拟场景画面、以及所述互动视频中至少一个待选剧情分支的选择控件。
本实施例中，互动视频包括至少一个剧情分支，它可以通过观众的交互操作，来展现不同的剧情分支和结局。具体地，互动视频是视频与文字冒险游戏的结合，通过视频来讲述故事发生的过程，并在剧情的分歧点向观众展示不同的文字互动选项，观众根据自己的喜好选择不同的剧情走向。此外，本实施例的互动视频是基于虚拟现实技术生成的视频。
其中，虚拟现实是一种使用计算机生成模拟现实环境的虚拟世界，通过专门的输入和输出设备来接收用户的交互行为以及向用户展示虚拟世界，以便用户在虚拟世界中获得沉浸式的现实体验的技术。
目前的虚拟现实技术方案主要包括三维(3D，three-dimensional)显示、环绕声和动作捕捉等部分，其中3D显示技术使用一种头戴式显示器(参考图1c)，通过两片凸透镜近距离地将计算机实时生成的两个具有3D视差的画面分别输入到人的双眼，提供一个具有景深效果的视野；环绕声技术通过调整不同声道的音量等参数来模拟声音的方向感；动作捕捉技术则是通过陀螺仪等设备将用户的头部、肢体乃至躯干的动作捕捉并输入到计算机中以在虚拟世界中模拟不同的视角和动作。这些技术保证了视觉、听觉和行为的沉浸感和真实感。
除了使用专门的头戴显示器外，也存在借助智能手机的屏幕和陀螺仪等设备来提供虚拟现实体验的低成本技术方案，比如有一种纸盒(Cardboard)头戴式VR设备(参考图1d)，可以将Cardboard与手机配合使用，实现虚拟现实立体效果，其中，Cardboard的装配包括硬纸板、透镜、磁铁。
其中，虚拟现实视频画面可以通过多种方式获取。
例如，它可以是通过图像采集设备对真实场景进行采集而获得的，通过对真实场景的图像信息进行处理，生成真实场景对应的虚拟现实视频画面，虚拟现实视频画面中对应的场景为虚拟场景。其中，图像采集设备可以是摄像头等等。具体地，虚拟现实技术可以使用专门的摄像机获取所有视角的视频画面，并将这些视频画面进行编码(具体为球面贴图展开，参考图1e)保存在一个视频里，再通过计算机和VR设备将视频还原为双眼所见的画面，当用户视角变化时，相应调整虚拟相机的位置，通过位置调整后的虚拟相机对虚拟现实画面进行渲染，互动视频的虚拟现实视频画面也更新到对应视角的虚拟现实视频画面。
又例如，虚拟现实视频画面的获取方式还可以通过构建多维虚拟模型(具体为三维虚拟模型)，基于用户的视角，对应调整虚拟相机的位置，以渲染不同视角下的多维虚拟模型，具体表现为随用户视角的变化，虚拟现实视频画面对应更新到该视角下的虚拟现实视频画面。
可选地，本实施例中，所述虚拟现实视频画面包括第一视角下的虚拟现实视频画面，所述选择控件包括第一视角下的选择控件，所述待选剧情分支包括第一视角下的待选剧情分支；该基于虚拟现实的视频处理方法还可以包括：
当用户的视角变化满足预设条件时，展示互动视频中剧情分支选择片段对应的第二视角下的虚拟现实视频画面，所述第二视角下的虚拟现实视频画面包括虚拟场景画面、以及所述互动视频中至少一个第二视角下的待选剧情分支的选择控件。
其中，步骤“响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面”，可以包括：
响应于针对第二视角下的目标选择控件的选择操作，展示第二视角下的目标剧情分支对应的虚拟现实视频画面。
其中，该预设条件可以根据实际情况进行设置，本实施例对此不作限制，比如，预设条件可以是视角变化幅度超过某个阈值。当互动视频的剧情分支较多时，为了避免过多的选择控件占据视频播放页面的空间，可以采用上述方法将选择控件分布在不同视角下的虚拟现实视频画面中。或者，也可以为了增强用户的互动度，将选择控件分布在不同视角的虚拟现实视频画面中，让用户自行寻找想要解锁的剧情分支，增加视频的趣味性和挑战性。
其中，视角为当前用户相对于虚拟现实视频画面的第一人称视角。第一视角具体可以为用户视角变化前用户相对于虚拟现实视频画面的第一人称视角；第二视角具体可以为用户视角变化后用户相对于虚拟现实视频画面的第一人称视角。
本实施例中，互动视频可以包括多个视频片段，视频片段包括剧情内容片段和剧情分支选择片段，其中，剧情内容片段包括必须进行的剧情内容，剧情分支选择片段为供用户选择的视频片段，即它包括可以由用户选择是否进行的剧情内容，也就是说，剧情分支选择片段包括可以由用户选择是否执行的剧情逻辑。当播放该互动视频时，终端展示互动视频的视频片段对应的虚拟现实视频画面，所述虚拟现实视频画面可以随用户视角的变化而更新。当检测到所述互动视频播放到剧情分支选择片段时，在互动视频的虚拟现实视频画面上展示至少一个待选剧情分支的选择控件；基于用户针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面，所述目标剧情分支为所述目标选择控件对应的待选剧情分支，所述选择操作为在虚拟场景中执行的虚拟现实交互操作。
其中，选择控件可以为VR图标。本实施例可以通过多种方式来确定目标选择控件，进而确定目标剧情分支。比如，可以通过在虚拟场景中执行的虚拟现实交互操作来确定目标选择控件，虚拟现实交互操作可以包括用户的动作、语音、注视时长等等，本实施例对此不作限制。
在一具体实施例中，当互动视频播放到剧情分支选择片段时，在互动视频的虚拟现实视频画面上展示不同剧情分支的选择控件，如图1f所示，虚拟现实视频画面包括跟方姑姑相关的剧情分支的选择控件A、以及跟郑姑姑相关的剧情分支的选择控件B；基于用户不同的选择，可开展不同的剧情。若用户对选择控件A进行选择操作，则接下来播放的剧情为跟方姑姑相关的剧情分支。
本实施例的基于虚拟现实的视频处理装置对应的产品形态可以由客户端的主设备(如可以是安装有客户端的终端)、输入输出设备以及软件等部分组成。主设备运行客户端软件，提供基础算力支持，包括全景互动视频渲染、处理用户输入和与后台交互等。输入输出设备提供VR体验、用户动作捕捉和语音输入功能，根据不同场景，输入输出设备可以是一套独立设备，由头戴式显示器、含麦克风的耳机以及捕获肢体动作的手柄等组成，由智能电视或笔记本电脑作为主设备(如可以使用笔记本电脑打开视频客户端，通过视频客户端播放互动视频)；也可以将一部分功能与主设备集成，如一台手机可以同时作为主设备、显示设备和语音输入设备等，以满足不同场景和人群的需求。软件则是提供服务的核心，包括客户端软件和相关的后台服务，客户端软件需要实现全景视频的渲染，并实时地在画面中嵌入字幕、互动选项和操作提示等。
可选地，本实施例中，步骤“展示互动视频中剧情分支选择片段对应的虚拟现实视频画面”，可以包括：
获取所述互动视频中剧情分支选择片段对应的多维虚拟模型；
基于用户的视角，确定虚拟相机的位置信息；
根据所述虚拟相机的位置信息，对所述多维虚拟模型进行渲染，得到虚拟现实视频画面；
展示所述互动视频中剧情分支选择片段对应的虚拟现实视频画面。
其中，该多维虚拟模型可以为三维虚拟模型。虚拟相机也即渲染相机，本申请可以基于用户视角的变化，相应的调整虚拟相机的摆放位置。
其中，多维虚拟模型的获取方式有多种。它可以是直接通过建模软件所构建的三维虚拟模型；也可以是通过制作全景视频画面，将全景视频画面铺张在球面上，以便播放互动视频时达到观看全景视频中不同视角画面的效果，本实施例对此不作限制。
其中，全景视频画面的拍摄和制作时需要使用专用的摄像机和软件，全景摄像机包含多个摄像头，每个摄像头拍摄不同角度的画面，所有摄像头拍摄的画面能够覆盖全部视角的画面，再通过专用的画面拼接软件将多个画面展开和合成到一个画面上，即可得到全景视频画面。
其中，在对画面进行拼接后得到全景视频画面，可以将其划分为格子，利用计算机图形学技术，将全景视频画面铺在一个球面上，参考图1g，为视频画面球面展开示意图。球面有多种表示方法，常用的是经纬线表示法，即一个球面所有经线与纬线的交点作为顶点，其中任意两条相邻经线和任意两条相邻纬线相交得到的四个顶点处在同一平面内，且能围成一个四边形，所有这样的四边形即可组成一个近似的球面。
其中，渲染时，在每一帧画面上按照球面经纬线相同密度划分纵线和横线，这些纵线和横线相交的点，即UV顶点，与球面上的顶点一一对应，通过OpenGL等图形库将UV顶点与模型(球面)顶点绑定后，GPU即可在视频画面上采样，实现视频画面在球面上展开，并渲染视点处可见的部分到屏幕上。再根据捕获到的头部动作数据对视点进行旋转变换即可达到观看全景视频中不同视角画面的效果，可以理解的是，视点的旋转变换可以转换为虚拟相机的旋转变化，随着虚拟相机的位置变化，可以采集到不同视角下的模型对应的视频画面。
其中，纹理坐标通常具有U和V两个坐标轴，因此称之为UV坐标。U代表横向坐标上的分布、V代表纵向坐标上的分布。OpenGL全称为Open Graphics Library，开放图形库，是用于渲染2D、3D矢量图形的跨语言、跨平台的应用程序编程接口。GPU，全称GraphicsProcessing Unit，是一种图形处理器。
可选地，本实施例中，步骤“根据所述虚拟相机的位置信息，对所述多维虚拟模型进行渲染，得到虚拟现实视频画面”，可以包括：
根据所述虚拟相机的位置信息，构建所述虚拟相机对应的相机坐标系，并获取所述相机坐标系的视图变换参数；
基于所述视图变换参数，以及所述多维虚拟模型的初始位置信息，计算所述多维虚拟模型在所述相机坐标系下的位置信息；
基于所述多维虚拟模型在所述相机坐标系下的位置信息，对所述多维虚拟模型进行渲染，得到虚拟现实视频画面。
其中，相机坐标系可以以虚拟相机的位置为原点。本实施例对多维虚拟模型进行渲染，将三维的模型渲染到二维的屏幕或纹理上，模型的顶点坐标需要经过M、V、P三个矩阵的变换，其中，M指模型，V指视图，P指投影，也就是说，要将多维虚拟模型从模型空间转换到视图空间(也即相机坐标系)，再将其投影变换到屏幕上。
其中，具体地，M是模型在模型自身坐标系上的变换，实现模型自身的旋转、缩放和平移等，M矩阵是以它的模型坐标系为基准做的变换；V是视点坐标系上的变换，所有模型均使用同一个V矩阵，效果上等同于视点的平移和视角的转动；P是实现任意空间(通常是视锥体)到屏幕空间的投影变换，可以实现模型“近大远小”的透视关系。
本实施例中，视图变换参数可以是V矩阵，它由虚拟相机的位置变化决定，也可以说由视角变化的大小决定，多维虚拟模型的初始位置信息具体可以是多维虚拟模型在其自身的模型坐标系中的坐标信息。
可选地，本实施例中，步骤“基于所述多维虚拟模型在所述相机坐标系下的位置信息，对所述多维虚拟模型进行渲染，得到虚拟现实视频画面”，可以包括：
基于所述多维虚拟模型在所述相机坐标系下的位置信息、以及预设投影变换参数，对所述多维虚拟模型进行投影变换，得到虚拟现实视频画面。
其中，预设投影变换参数可以是P矩阵，具体可以根据实际情况进行设置。比如可以将多维虚拟模型投影到规则观察体(canonical view volume)，具体地，可以将视锥体内的多维虚拟模型投影变换到X、Y和Z坐标范围均为[-1,1]的空间，该空间也即屏幕空间的大小，参见图1h，为投影变换示意图。
其中，多维虚拟模型的投影变换，是把视锥体内的坐标去映射到屏幕空间上的坐标，视锥体外的模型投影在屏幕空间外，在用户侧看不见视锥体外的模型。
102、响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面，所述目标剧情分支为所述目标选择控件对应的待选剧情分支，所述选择操作为在虚拟场景中执行的虚拟现实交互操作。
其中，选择操作可以包括用户的行为互动信息，比如语音信息、动作信息以及用户对选择控件的关注时长等。动作信息具体可以是挥手、点头、摇头。
本实施例中，该基于虚拟现实的视频处理方法可以识别用户的语音信息，并将用户的语音信息与互动选项(具体可以是选择控件对应的预设文字信息)进行匹配，即可确定所要选取的目标选择控件。
可选地，本实施例中，所述选择操作包括针对虚拟场景的语音信息；步骤“响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面”，可以包括：
对获取到的语音信息提取语义特征信息；
基于所述语音信息的语义特征信息与所述选择控件对应的预设文字信息的语义特征信息，计算所述语音信息和所述选择控件对应的预设文字信息之间的匹配度；
基于所述匹配度，从所述选择控件中确定目标选择控件；
展示所述目标选择控件对应的目标剧情分支的虚拟现实视频画面。
其中，对获取到的语音信息提取语义特征信息，具体可以包括将语音信息转化为文字描述信息，再提取文字描述信息的语义特征信息。
其中，可以通过神经网络来提取语音信息和预设文字信息的语义特征信息。该神经网络可以是视觉几何组网络(VGGNet，Visual Geometry Group Network)、残差网络(ResNet，Residual Network)和密集连接卷积网络(DenseNet，Dense ConvolutionalNetwork)等等，但是应当理解的是，本实施例的神经网络并不仅限于上述列举的几种类型。通过神经网络进行语义识别匹配，使用足够良好的模型可以实现更高的容错率，更加准确地匹配用户的语音信息。
其中，语音信息的语义特征信息具体可以是语音信息的语义特征向量，选择控件对应的预设文字信息的语义特征信息具体可以是选择控件对应的预设文字信息的语义特征向量；可以计算语音信息的语义特征向量和选择控件对应的预设文字信息的语义特征向量之间的向量距离，基于该向量距离，确定语音信息和选择控件对应的预设文字信息之间的匹配度。向量距离越大，匹配度越低；向量距离越小，匹度越高。
可选地，在另一些实施例中，所述选择操作包括针对虚拟场景的语音信息；步骤“响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面”，可以包括：
将识别到的语音信息翻译为文字描述信息；
计算所述文字描述信息与选择控件对应的预设文字信息之间的匹配度；
将与所述文字描述信息的匹配度高于预设匹配度的预设文字信息对应的选择控件作为目标选择控件；
展示所述目标选择控件对应的目标剧情分支的虚拟现实视频画面。
其中，文字描述信息与选择控件对应的预设文字信息之间匹配度的计算可以根据终端设备性能和网络状况等因素选择不同方案。比如，可以直接在终端设备上直接进行相对简单的文字匹配，使用一种动态规划算法计算识别得到的文字描述信息与预设文字信息之间的字符串相似度。具体地，字符串相似度可以通过Levenshtein距离来计算。Levenshtein距离是一种编辑距离，表示从原文字经过插入字符、替换字符或删除字符等步骤转换为目标文字的最小步数，相当于表示原文字与目标文字的相似程度，距离最小的选项就是最相似的选项。本实施例中，可以通过计算文字描述信息与各选择控件对应的预设文字信息之间的Levenshtein距离，并将与文字描述信息的Levenshtein距离最小的预设文字信息对应的选择控件作为目标选择控件。
其中，动态规划计算Levenshtein距离算法的状态转移方程如下面式子所示：
其中，a和b分别表示源字符串和目标字符串，比如，a可以是文字描述信息对应的字符串，b可以是预设文字信息对应的字符串，或者，a可以是预设文字信息对应的字符串，b可以是文字描述信息对应的字符串，本实施例对此不作限制。
其中，i和j分别表示a,b字符串最左子串的长度，也就是说，i和j可以分别表示a,b字符串的下标。比如，a字符串长度为n，则i的取值为从0到n的整数。ai表示a字符串的第i个字符，bj表示b字符串的第j个字符。当i和j分别取a和b字符串的长度时，leva,b(i,j)即为最终的Levenshtein距离，最终的Levenshtein距离表示a字符串和b字符串之间的距离。
其中，leva,b(i-1,j)+1表示增加一个字符所需步数，leva,b(i,j-1)+1表示删除一个字符所需步数，leva,b(i-1,j-1)+1表示替换最后一个字符所需步数，其中ai≠bj表示+1只在源字符串的子串和目标字符串的子串最后一个字符不相同时才需要，因为相同时不需要替换最后一个字符。
其中，max为最大值函数，max(i，j)的值为i和j中的较大者，min为最小值函数，min(i，j)的值为i和j中的较小者。
可选地，本实施例中，所述选择操作包括用户在虚拟场景中执行的动作；步骤“响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面”，可以包括：
对用户在虚拟场景中执行的动作进行识别；
基于识别到的当前动作的动作类型，从所述选择控件中确定目标选择控件；
展示所述目标选择控件对应的目标剧情分支的虚拟现实视频画面。
其中，动作可以指人的头部转动、眼睛的动作、手势或者其他行为动作。比如，动作可以包括注视动作。
其中，可以通过预设动作模板对用户的动作进行识别。具体地，当互动视频播放到剧情分支选择片段时，可以通过图像采集设备(如摄像头)获取用户的动作图像，将至少一个预设动作模板与用户的动作图像进行比较，基于预设动作模板的动作与动作图像中用户的动作之间的相似度，判断动作图像中用户的动作类型是否是选择控件对应的动作类型。比如，将相似度高于预设相似度的动作图像作为目标动作图像，并将与该目标动作图像的相似度高于预设相似度的预设动作模板中的动作类型作为目标动作类型，该目标动作类型对应的选择控件即为目标选择控件。其中，预设动作模板中包括选择控件对应的动作类型。该预设相似度可以根据实际情况进行设置。
其中，计算预设动作模板的动作与动作图像中用户的动作之间的相似度，具体可以是计算预设动作模板的动作的特征向量与动作图像中用户的动作对应的特征向量之间的向量距离。向量距离越小，二者相似度越大，反之，向量距离越大，二者相似度越小。
可选地，一些实施例中，可以通过神经网络对用户的动作进行识别，以确定用户的动作是否属于选择控件对应的预设动作类型。该神经网络可以是视觉几何组网络(VGGNet，Visual Geometry Group Network)、残差网络(ResNet，Residual Network)和密集连接卷积网络(DenseNet，Dense Convolutional Network)等等，但是应当理解的是，本实施例的神经网络并不仅限于上述列举的几种类型。其中，该神经网络是基于预设类型的动作图像训练得到的。
在另一些实施例中，还可以通过传感器来识别用户的动作类型。比如，选择控件对应的动作类型包括点头和摇头等，可以通过头戴式虚拟现实设备或手机中的陀螺仪传感器来测量用户视角(或视点)的变化。如图1i所示，以摄像机为原点建立三维坐标系，可以通过测量三个轴的角速率，来获取头戴式虚拟现实设备的“偏航角Yaw”、“俯仰角Pitch”和“翻滚角Roll”。基于这三个角度，可以获取用户的头部动作和视点的旋转变换，比如，俯仰角的往复变化可判定点头动作，而偏航角的往复变化可判定摇头动作。
其中，偏航角是在摄像机的上方向向量上旋转的，俯仰角是在摄像机的上方向向量和方向向量的叉积上旋转的，翻滚角是在摄像机的方向向量上旋转的。
可选地，本实施例中，所述选择操作包括用户在虚拟场景中对选择控件的关注时长；步骤“响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面”，可以包括：
当用户的关注对象为目标选择控件、且对目标选择控件的关注时长大于预设时长时，展示所述目标选择控件对应的目标剧情分支的虚拟现实视频画面。
可选地，本实施例中，步骤“当用户的关注对象为目标选择控件、且对目标选择控件的关注时长大于预设时长时，展示所述目标选择控件对应的目标剧情分支的虚拟现实视频画面”，可以包括：
基于所述用户的视角变化，将目标选择控件移动到虚拟现实视频画面中的预设位置，其中，所述预设位置上的目标选择控件为用户的关注对象；
当检测到所述目标选择控件在所述预设位置上的停留时长大于预设时长时，展示所述目标选择控件对应的目标剧情分支的虚拟现实视频画面，其中，在所述预设位置上的停留时长为用户对关注对象的关注时长。
其中，可以给虚拟现实视频画面增加一个准心位置，该准心位置即为预设位置，具体将其设置在虚拟现实视频画面的中心(即屏幕中心)，本实施例对此不作限制。例如，用户可以通过转动视角，将所要选取的选择控件移动到画面中心，并保持一定的时长，当超过预设时长时，则展示该选择控件的剧情分支。
本实施例中选择控件对应的模型可以放入三维空间中渲染(即使这个模型可以是没有厚度的平面)，通过MVP矩阵进行一次计算得到模型在屏幕空间中的位置，再判断屏幕中心(0,0)是否位于选择控件对应的模型内部，是则判定为选中该选项，将该选择控件确定为关注对象。
可选地，本实施例中，也可以使用外部设备来确定目标选择控件，如通过键盘、鼠标和遥控器等。基于对目标选择控件的点击或滑动操作等，展示所述目标选择控件对应的目标剧情分支的虚拟现实视频画面；也可以通过外部设备上的方向键和确认键来选择目标选择控件。
本实施例中，该基于虚拟现实的视频处理方法的主要技术点可以包括全景互动视频渲染、字幕等UI(User Interface，用户界面)元素与视频画面的融合、用户交互行为处理(动作捕捉和语音识别)等。
由于本实施例将互动视频和VR全景视频结合起来，有自由转动视角的需求，因此字幕等内容将不能像传统视频那样直接嵌入视频，同时还需要观众展示互动选项以及操作指引等内容，本实施例需要实现这些内容的动态渲染。
可选地，该基于虚拟现实的视频处理方法还可以包括：
在虚拟现实视频画面的字幕显示区域中，展示字幕信息，所述字幕信息在字幕显示区域内以预设移动速度进行展示。
其中，该预设移动速度可以和用户的视角变化相关。
可选地，在另一些实施例中，字幕信息也可以固定在虚拟现实视频画面的字幕显示区域中静态显示。
本实施例中，可以将字幕信息跟随视角移动，则需要对字幕信息进行动态渲染。根据字幕跟随视角移动的方式不同，可以对视点矩阵V做不同的处理。
其中，一种方法是不对字幕进行视点变换，即字幕坐标只与其M矩阵和P矩阵相乘，对初始坐标进行适当的调校后可以实现“硬跟随”的效果，即字幕完全固定在视野的某处，相当于字幕的模型始终位于视锥体的某个方位。其效果表现为上述的字幕信息固定在虚拟现实视频画面的字幕显示区域中静态显示。
其中，另一种方法是增加一个视点矩阵V的逆运算，直接相乘(MV-1VP)的效果与上述第一种方法一致，可以以其当前状态为起始状态，V-1为结束状态对其进行插值计算得到下一时刻(下一帧)的状态，进而实现“软跟随”效果，即字幕以一定速度跟随视角移动，而非固定在视野内某处。这种方法可以有更好的灵活性，可以增加一个阈值做到只跟随较大幅度的视角转动以便观众阅读较长的文字。
本申请将互动视频与VR、语音识别等技术进行结合，弥补了这些技术单独使用时的不足，改善了互动视频的交互性、参与感和沉浸感。在用户侧，观众能够以第一人称视角观看互动剧，可以自由地观察所处的场景，还可以近距离地与剧中其他角色接触，通过语音的方式参与剧中的对话并控制剧情走向。这些特性可以满足观众与喜欢的演员接触甚至交流的痛点，增加用户与视频的互动度。
由上可知，本实施例可以展示互动视频中剧情分支选择片段对应的虚拟现实视频画面，所述虚拟现实视频画面包括虚拟场景画面、以及所述互动视频中至少一个待选剧情分支的选择控件；响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面，所述目标剧情分支为所述目标选择控件对应的待选剧情分支，所述选择操作为在虚拟场景中执行的虚拟现实交互操作。本申请可以实现虚拟现实技术与选择剧情分支的结合，丰富了互动视频的互动形式，有利于提升用户的互动度。
根据前面实施例所描述的方法，以下将以该基于虚拟现实的视频处理装置具体集成在终端举例作进一步详细说明。
本申请实施例提供一种基于虚拟现实的视频处理方法，如图2a所示，该基于虚拟现实的视频处理方法的具体流程可以如下：
201、终端展示互动视频中剧情内容片段对应的虚拟现实视频画面，所述剧情内容片段对应的虚拟现实视频画面包括虚拟场景画面。
本实施例中，互动视频包括至少一个剧情分支，它可以通过观众的交互操作，来展现不同的剧情分支和结局。具体地，互动视频是视频与文字冒险游戏的结合，通过视频来讲述故事发生的过程，并在剧情的分歧点向观众展示不同的文字互动选项，观众根据自己的喜好选择不同的剧情走向。此外，本实施例的互动视频是基于虚拟现实技术生成的视频。
其中，虚拟现实视频画面可以通过多种方式获取。
例如，它可以是通过图像采集设备对真实场景进行采集而获得的，通过对真实场景的图像信息进行处理，生成真实场景对应的虚拟现实视频画面，虚拟现实视频画面中对应的场景为虚拟场景。其中，图像采集设备可以是摄像头等等。
又例如，虚拟现实视频画面的获取方式还可以通过构建多维虚拟模型(具体为三维虚拟模型)，基于用户的视角，对应调整虚拟相机的位置，以渲染不同视角下的多维虚拟模型，具体表现为随用户视角的变化，虚拟现实视频画面对应更新到该视角下的虚拟现实视频画面。
本实施例中，互动视频可以包括多个视频片段，视频片段包括剧情内容片段和剧情分支选择片段，其中，剧情内容片段包括必须进行的剧情内容，剧情分支选择片段为供用户选择的视频片段，即它包括可以由用户选择是否进行的剧情内容，也就是说，剧情分支选择片段包括可以由用户选择是否执行的剧情逻辑。当播放该互动视频时，终端展示互动视频的视频片段对应的虚拟现实视频画面，所述虚拟现实视频画面可以随用户视角的变化而更新。当检测到所述互动视频播放到剧情分支选择片段时，在互动视频的虚拟现实视频画面上展示至少一个待选剧情分支的选择控件；基于用户针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面，所述目标剧情分支为所述目标选择控件对应的待选剧情分支，所述选择操作为在虚拟场景中执行的虚拟现实交互操作。
202、当检测到当前展示的视频片段为剧情分支选择片段时，终端展示所述互动视频中剧情分支选择片段对应的虚拟现实视频画面，所述剧情分支选择片段对应的虚拟现实视频画面包括虚拟场景画面、以及所述互动视频中至少一个待选剧情分支的选择控件。
本实施例可以通过多种方式来确定目标选择控件，进而确定目标剧情分支。比如，可以通过在虚拟场景中执行的虚拟现实交互操作来确定目标选择控件，虚拟现实交互操作可以包括点头摇头(简单的是非选择)、语音选择操作(通过剧中对话达到不同剧情分支)以及注视选择操作(适合如“走向岔路中的某一条”这样的一般行为)等，本实施例对此不作限制。
203、终端响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面，所述目标剧情分支为所述目标选择控件对应的待选剧情分支，所述选择操作为在虚拟场景中执行的虚拟现实交互操作。
其中，选择操作可以包括用户的行为互动信息，比如语音信息、动作信息以及用户对选择控件的关注时长等。动作信息具体可以是挥手、点头、摇头。
本实施例中，该基于虚拟现实的视频处理方法可以识别用户的语音信息，并将用户的语音信息与互动选项(具体可以是选择控件对应的预设文字信息)进行匹配，即可确定所要选取的目标选择控件。
其中，目前很多电子设备都提供了语音识别功能，如图2b所示，为电视语音助手的介绍页面。
可选地，本实施例中，所述选择操作包括针对虚拟场景的语音信息；步骤“响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面”，可以包括：
对获取到的语音信息提取语义特征信息；
基于所述语音信息的语义特征信息与所述选择控件对应的预设文字信息的语义特征信息，计算所述语音信息和所述选择控件对应的预设文字信息之间的匹配度；
基于所述匹配度，从所述选择控件中确定目标选择控件；
展示所述目标选择控件对应的目标剧情分支的虚拟现实视频画面。
可选地，本实施例中，所述选择操作包括用户在虚拟场景中执行的动作；步骤“响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面”，可以包括：
对用户在虚拟场景中执行的动作进行识别；
基于识别到的当前动作的动作类型，从所述选择控件中确定目标选择控件；
展示所述目标选择控件对应的目标剧情分支的虚拟现实视频画面。
其中，动作可以指人的头部转动、眼睛的动作、手势或者其他行为动作。比如，动作可以包括注视动作。
可选地，本实施例中，所述选择操作包括用户在虚拟场景中对选择控件的关注时长；步骤“响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面”，可以包括：
当用户的关注对象为目标选择控件、且对目标选择控件的关注时长大于预设时长时，展示所述目标选择控件对应的目标剧情分支的虚拟现实视频画面。
如图2c所示，为客户端GUI(Graphical User Interface，图像用户界面)示意图，即为本申请的剧情分支选择片段的虚拟现实视频画面的参考图，其中，用户可以通过多种互动方式，如语音、动作或注视等来选择对应的选择控件，进而确定剧情分支。其中，在用户首次操作时，还可以显示操作提示信息，具体可以通过小窗口显示操作提示信息，也可以在字幕上提醒用户。该虚拟现实视频画面还可以包括“菜单”控件，该控件具体可以包括退出播放等功能，用户可以通过注视选择该控件来退出互动视频的播放。此外，本实施例的互动视频是基于虚拟现实技术生成的，虚拟现实视频画面中的用户界面元素可以跟随用户视角变化而移动。
如图2d所示，展示了本实施例的VR互动视频交互逻辑，用户观看互动视频时，可以通过转动视角，对视点进行旋转变换，来调整虚拟现实视频画面，在播放到剧情分支选择片段(剧情分歧点)时，可以在虚拟现实视频画面中展示互动选项，用户可以基于对互动选项的选择，选择不同的剧情分支；具体地，可以通过语音对话、点头摇头、注视等选择目标剧情分支，并进入目标剧情分支的播放。
由上可知，本实施例可以通过终端展示互动视频中剧情内容片段对应的虚拟现实视频画面，所述剧情内容片段对应的虚拟现实视频画面包括虚拟场景画面；当检测到当前展示的视频片段为剧情分支选择片段时，终端展示所述互动视频中剧情分支选择片段对应的虚拟现实视频画面，所述剧情分支选择片段对应的虚拟现实视频画面包括虚拟场景画面、以及所述互动视频中至少一个待选剧情分支的选择控件；响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面，所述目标剧情分支为所述目标选择控件对应的待选剧情分支，所述选择操作为在虚拟场景中执行的虚拟现实交互操作。本申请可以实现虚拟现实技术与选择剧情分支的结合，丰富了互动视频的互动形式，有利于提升用户的互动度。
为了更好地实施以上方法，本申请实施例还提供一种基于虚拟现实的视频处理装置，如图3a所示，该基于虚拟现实的视频处理装置可以包括第一展示单元301和第二展示单元302，如下：
(1)第一展示单元301；
第一展示单元301，用于展示互动视频中剧情分支选择片段对应的虚拟现实视频画面，所述虚拟现实视频画面包括虚拟场景画面、以及所述互动视频中至少一个待选剧情分支的选择控件。
可选的，在本申请的一些实施例中，所述第一展示单元301可以包括获取子单元3011、第三确定子单元3012、渲染子单元3013和第四展示子单元3014，参见图3b，如下：
所述获取子单元3011，用于获取所述互动视频中剧情分支选择片段对应的多维虚拟模型；
第三确定子单元3012，用于基于用户的视角，确定虚拟相机的位置信息；
渲染子单元3013，用于根据所述虚拟相机的位置信息，对所述多维虚拟模型进行渲染，得到虚拟现实视频画面；
第四展示子单元3014，用于展示所述互动视频中剧情分支选择片段对应的虚拟现实视频画面。
可选的，在本申请的一些实施例中，所述渲染子单元3013具体可以用于根据所述虚拟相机的位置信息，构建所述虚拟相机对应的相机坐标系，并获取所述相机坐标系的视图变换参数；基于所述视图变换参数，以及所述多维虚拟模型的初始位置信息，计算所述多维虚拟模型在所述相机坐标系下的位置信息；基于所述多维虚拟模型在所述相机坐标系下的位置信息，对所述多维虚拟模型进行渲染，得到虚拟现实视频画面。
可选的，在本申请的一些实施例中，步骤“基于所述多维虚拟模型在所述相机坐标系下的位置信息，对所述多维虚拟模型进行渲染，得到虚拟现实视频画面”，可以包括：
基于所述多维虚拟模型在所述相机坐标系下的位置信息、以及预设投影变换参数，对所述多维虚拟模型进行投影变换，得到虚拟现实视频画面。
(2)第二展示单元302；
第二展示单元302，用于响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面，所述目标剧情分支为所述目标选择控件对应的待选剧情分支，所述选择操作为在虚拟场景中执行的虚拟现实交互操作。
可选的，在本申请的一些实施例中，所述选择操作包括针对虚拟场景的语音信息；所述第二展示单元302可以包括提取子单元3021、计算子单元3022、第一确定子单元3023和第一展示子单元3024，参见图3c，如下：
所述提取子单元3021，用于对获取到的语音信息提取语义特征信息；
计算子单元3022，用于基于所述语音信息的语义特征信息与所述选择控件对应的预设文字信息的语义特征信息，计算所述语音信息和所述选择控件对应的预设文字信息之间的匹配度；
第一确定子单元3023，用于基于所述匹配度，从所述选择控件中确定目标选择控件；
第一展示子单元3024，用于展示所述目标选择控件对应的目标剧情分支的虚拟现实视频画面。
可选的，在本申请的一些实施例中，所述选择操作包括用户在虚拟场景中执行的动作；所述第二展示单元302可以包括识别子单元3025、第二确定子单元3026和第二展示子单元3027，参见图3d，如下：
所述识别子单元3025，用于对用户在虚拟场景中执行的动作进行识别；
第二确定子单元3026，用于基于识别到的当前动作的动作类型，从所述选择控件中确定目标选择控件；
第二展示子单元3027，用于展示所述目标选择控件对应的目标剧情分支的虚拟现实视频画面。
可选的，在本申请的一些实施例中，所述选择操作包括用户在虚拟场景中对选择控件的关注时长；所述第二展示单元302具体可以用于当用户的关注对象为目标选择控件、且对目标选择控件的关注时长大于预设时长时，展示所述目标选择控件对应的目标剧情分支的虚拟现实视频画面。
可选的，在本申请的一些实施例中，所述第二展示单元302可以包括移动子单元3028和第三展示子单元3029，参见图3e，如下：
所述移动子单元3028，用于基于所述用户的视角变化，将目标选择控件移动到虚拟现实视频画面中的预设位置，其中，所述预设位置上的目标选择控件为用户的关注对象；
第三展示子单元3029，用于当检测到所述目标选择控件在所述预设位置上的停留时长大于预设时长时，展示所述目标选择控件对应的目标剧情分支的虚拟现实视频画面，其中，在所述预设位置上的停留时长为用户对关注对象的关注时长。
可选的，在本申请的一些实施例中，所述虚拟现实视频画面包括第一视角下的虚拟现实视频画面，所述选择控件包括第一视角下的选择控件，所述待选剧情分支包括第一视角下的待选剧情分支；
所述基于虚拟现实的视频处理装置还可以包括第三展示单元303，参见图3f，如下：
所述第三展示单元303，用于当用户的视角变化满足预设条件时，展示互动视频中剧情分支选择片段对应的第二视角下的虚拟现实视频画面，所述第二视角下的虚拟现实视频画面包括虚拟场景画面、以及所述互动视频中至少一个第二视角下的待选剧情分支的选择控件；
所述第二展示单元302具体可以用于响应于针对第二视角下的目标选择控件的选择操作，展示第二视角下的目标剧情分支对应的虚拟现实视频画面。
可选的，在本申请的一些实施例中，所述基于虚拟现实的视频处理装置还可以包括第四展示单元304，参见图3g，如下：
所述第四展示单元304，用于在虚拟现实视频画面的字幕显示区域中，展示字幕信息，所述字幕信息在字幕显示区域内以预设移动速度进行展示。
由上可知，本实施例由第一展示单元301展示互动视频中剧情分支选择片段对应的虚拟现实视频画面，所述虚拟现实视频画面包括虚拟场景画面、以及所述互动视频中至少一个待选剧情分支的选择控件；通过第二展示单元302响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面，所述目标剧情分支为所述目标选择控件对应的待选剧情分支，所述选择操作为在虚拟场景中执行的虚拟现实交互操作。本申请可以实现虚拟现实技术与选择剧情分支的结合，丰富了互动视频的互动形式，有利于提升用户的互动度。
本申请实施例还提供一种电子设备，如图4所示，其示出了本申请实施例所涉及的电子设备的结构示意图，该电子设备可以是终端或者服务器等，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，若该电子设备为终端，其还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
展示互动视频中剧情分支选择片段对应的虚拟现实视频画面，所述虚拟现实视频画面包括虚拟场景画面、以及所述互动视频中至少一个待选剧情分支的选择控件；响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面，所述目标剧情分支为所述目标选择控件对应的待选剧情分支，所述选择操作为在虚拟场景中执行的虚拟现实交互操作。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本实施例可以展示互动视频中剧情分支选择片段对应的虚拟现实视频画面，所述虚拟现实视频画面包括虚拟场景画面、以及所述互动视频中至少一个待选剧情分支的选择控件；响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面，所述目标剧情分支为所述目标选择控件对应的待选剧情分支，所述选择操作为在虚拟场景中执行的虚拟现实交互操作。本申请可以实现虚拟现实技术与选择剧情分支的结合，丰富了互动视频的互动形式，有利于提升用户的互动度。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种基于虚拟现实的视频处理方法中的步骤。例如，该指令可以执行如下步骤：
展示互动视频中剧情分支选择片段对应的虚拟现实视频画面，所述虚拟现实视频画面包括虚拟场景画面、以及所述互动视频中至少一个待选剧情分支的选择控件；响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面，所述目标剧情分支为所述目标选择控件对应的待选剧情分支，所述选择操作为在虚拟场景中执行的虚拟现实交互操作。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种基于虚拟现实的视频处理方法中的步骤，因此，可以实现本申请实施例所提供的任一种基于虚拟现实的视频处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述基于虚拟现实的视频处理方面的各种可选实现方式中提供的方法。
以上对本申请实施例所提供的一种基于虚拟现实的视频处理方法、装置、电子设备和介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (13)
1.一种基于虚拟现实的视频处理方法，其特征在于，包括：
展示互动视频中剧情分支选择片段对应的虚拟现实视频画面，所述虚拟现实视频画面包括虚拟场景画面、以及所述互动视频中至少一个待选剧情分支的选择控件；
响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面，所述目标剧情分支为所述目标选择控件对应的待选剧情分支，所述选择操作为在虚拟场景中执行的虚拟现实交互操作。
2.根据权利要求1所述的方法，其特征在于，所述虚拟现实视频画面包括第一视角下的虚拟现实视频画面，所述选择控件包括第一视角下的选择控件，所述待选剧情分支包括第一视角下的待选剧情分支；所述方法还包括：
当用户的视角变化满足预设条件时，展示互动视频中剧情分支选择片段对应的第二视角下的虚拟现实视频画面，所述第二视角下的虚拟现实视频画面包括虚拟场景画面、以及所述互动视频中至少一个第二视角下的待选剧情分支的选择控件；
所述响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面，包括：
响应于针对第二视角下的目标选择控件的选择操作，展示第二视角下的目标剧情分支对应的虚拟现实视频画面。
3.根据权利要求1所述的方法，其特征在于，所述选择操作包括针对虚拟场景的语音信息；所述响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面，包括：
对获取到的语音信息提取语义特征信息；
基于所述语音信息的语义特征信息与所述选择控件对应的预设文字信息的语义特征信息，计算所述语音信息和所述选择控件对应的预设文字信息之间的匹配度；
基于所述匹配度，从所述选择控件中确定目标选择控件；
展示所述目标选择控件对应的目标剧情分支的虚拟现实视频画面。
4.根据权利要求1所述的方法，其特征在于，所述选择操作包括用户在虚拟场景中执行的动作；所述响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面，包括：
对用户在虚拟场景中执行的动作进行识别；
基于识别到的当前动作的动作类型，从所述选择控件中确定目标选择控件；
展示所述目标选择控件对应的目标剧情分支的虚拟现实视频画面。
5.根据权利要求1所述的方法，其特征在于，所述选择操作包括用户在虚拟场景中对选择控件的关注时长；所述响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面，包括：
当用户的关注对象为目标选择控件、且对目标选择控件的关注时长大于预设时长时，展示所述目标选择控件对应的目标剧情分支的虚拟现实视频画面。
6.根据权利要求5所述的方法，其特征在于，所述当用户的关注对象为目标选择控件、且对目标选择控件的关注时长大于预设时长时，展示所述目标选择控件对应的目标剧情分支的虚拟现实视频画面，包括：
基于所述用户的视角变化，将目标选择控件移动到虚拟现实视频画面中的预设位置，其中，所述预设位置上的目标选择控件为用户的关注对象；
当检测到所述目标选择控件在所述预设位置上的停留时长大于预设时长时，展示所述目标选择控件对应的目标剧情分支的虚拟现实视频画面，其中，在所述预设位置上的停留时长为用户对关注对象的关注时长。
7.根据权利要求1所述的方法，其特征在于，所述展示互动视频中剧情分支选择片段对应的虚拟现实视频画面，包括：
获取所述互动视频中剧情分支选择片段对应的多维虚拟模型；
基于用户的视角，确定虚拟相机的位置信息；
根据所述虚拟相机的位置信息，对所述多维虚拟模型进行渲染，得到虚拟现实视频画面；
展示所述互动视频中剧情分支选择片段对应的虚拟现实视频画面。
8.根据权利要求7所述的方法，其特征在于，所述根据所述虚拟相机的位置信息，对所述多维虚拟模型进行渲染，得到虚拟现实视频画面，包括：
根据所述虚拟相机的位置信息，构建所述虚拟相机对应的相机坐标系，并获取所述相机坐标系的视图变换参数；
基于所述视图变换参数，以及所述多维虚拟模型的初始位置信息，计算所述多维虚拟模型在所述相机坐标系下的位置信息；
基于所述多维虚拟模型在所述相机坐标系下的位置信息，对所述多维虚拟模型进行渲染，得到虚拟现实视频画面。
9.根据权利要求8所述的方法，其特征在于，所述基于所述多维虚拟模型在所述相机坐标系下的位置信息，对所述多维虚拟模型进行渲染，得到虚拟现实视频画面，包括：
基于所述多维虚拟模型在所述相机坐标系下的位置信息、以及预设投影变换参数，对所述多维虚拟模型进行投影变换，得到虚拟现实视频画面。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在虚拟现实视频画面的字幕显示区域中，展示字幕信息，所述字幕信息在字幕显示区域内以预设移动速度进行展示。
11.一种基于虚拟现实的视频处理装置，其特征在于，包括：
第一展示单元，用于展示互动视频中剧情分支选择片段对应的虚拟现实视频画面，所述虚拟现实视频画面包括虚拟场景画面、以及所述互动视频中至少一个待选剧情分支的选择控件；
第二展示单元，用于响应于针对目标选择控件的选择操作，展示目标剧情分支对应的虚拟现实视频画面，所述目标剧情分支为所述目标选择控件对应的待选剧情分支，所述选择操作为在虚拟场景中执行的虚拟现实交互操作。
12.一种电子设备，其特征在于，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行权利要求1至10任一项所述的基于虚拟现实的视频处理方法中的步骤。
13.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至10任一项所述的基于虚拟现实的视频处理方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110216528.2A CN113709543B (zh) | 2021-02-26 | 2021-02-26 | 基于虚拟现实的视频处理方法、装置、电子设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110216528.2A CN113709543B (zh) | 2021-02-26 | 2021-02-26 | 基于虚拟现实的视频处理方法、装置、电子设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113709543A true CN113709543A (zh) | 2021-11-26 |
| CN113709543B CN113709543B (zh) | 2024-06-25 |
Family
ID=78647716
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110216528.2A Active CN113709543B (zh) | 2021-02-26 | 2021-02-26 | 基于虚拟现实的视频处理方法、装置、电子设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113709543B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114845147A (zh) * | 2022-04-29 | 2022-08-02 | 北京奇艺世纪科技有限公司 | 屏幕渲染方法、显示画面合成方法装置及智能终端 |
| CN114911990A (zh) * | 2022-05-27 | 2022-08-16 | 北京天域北斗文化科技集团有限公司 | 基于虚拟现实和智能交互的地图浏览系统 |
| CN115396685A (zh) * | 2022-08-23 | 2022-11-25 | 广州博冠信息科技有限公司 | 直播互动方法、装置、可读存储介质及电子设备 |
| CN115461707A (zh) * | 2022-07-08 | 2022-12-09 | 上海莉莉丝科技股份有限公司 | 视频的获取方法、电子设备、存储介质和程序产品 |
| WO2023130715A1 (zh) * | 2022-01-05 | 2023-07-13 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160005229A1 (en) * | 2014-07-01 | 2016-01-07 | Samsung Electronics Co., Ltd. | Electronic device for providing map information |
| CN106157359A (zh) * | 2015-04-23 | 2016-11-23 | 中国科学院宁波材料技术与工程研究所 | 一种虚拟场景体验系统的设计方法 |
| CN106200956A (zh) * | 2016-07-07 | 2016-12-07 | 北京时代拓灵科技有限公司 | 一种虚拟现实领域多媒体呈现和交互的方法 |
| CN107247511A (zh) * | 2017-05-05 | 2017-10-13 | 浙江大学 | 一种基于虚拟现实中眼动捕捉的跨物体交互方法与装置 |
| CN107948751A (zh) * | 2017-11-24 | 2018-04-20 | 互影科技（北京）有限公司 | 分支剧情视频的播放方法及装置 |
| CN108769814A (zh) * | 2018-06-01 | 2018-11-06 | 腾讯科技（深圳）有限公司 | 视频互动方法、装置及可读介质 |
| CN110850977A (zh) * | 2019-11-06 | 2020-02-28 | 成都威爱新经济技术研究院有限公司 | 一种基于6dof头戴式显示器的立体图像交互方法 |
| CN111282268A (zh) * | 2020-02-28 | 2020-06-16 | 苏州叠纸网络科技股份有限公司 | 一种虚拟环境中的剧情展示方法、装置、终端及存储介质 |
| CN111741367A (zh) * | 2020-07-23 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 视频互动方法、装置、电子设备及计算机可读存储介质 |
| CN112261482A (zh) * | 2020-10-16 | 2021-01-22 | 腾讯科技（深圳）有限公司 | 互动视频的播放方法、装置、设备及可读存储介质 |
-
2021
- 2021-02-26 CN CN202110216528.2A patent/CN113709543B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160005229A1 (en) * | 2014-07-01 | 2016-01-07 | Samsung Electronics Co., Ltd. | Electronic device for providing map information |
| CN106157359A (zh) * | 2015-04-23 | 2016-11-23 | 中国科学院宁波材料技术与工程研究所 | 一种虚拟场景体验系统的设计方法 |
| CN106200956A (zh) * | 2016-07-07 | 2016-12-07 | 北京时代拓灵科技有限公司 | 一种虚拟现实领域多媒体呈现和交互的方法 |
| CN107247511A (zh) * | 2017-05-05 | 2017-10-13 | 浙江大学 | 一种基于虚拟现实中眼动捕捉的跨物体交互方法与装置 |
| CN107948751A (zh) * | 2017-11-24 | 2018-04-20 | 互影科技（北京）有限公司 | 分支剧情视频的播放方法及装置 |
| CN108769814A (zh) * | 2018-06-01 | 2018-11-06 | 腾讯科技（深圳）有限公司 | 视频互动方法、装置及可读介质 |
| CN110850977A (zh) * | 2019-11-06 | 2020-02-28 | 成都威爱新经济技术研究院有限公司 | 一种基于6dof头戴式显示器的立体图像交互方法 |
| CN111282268A (zh) * | 2020-02-28 | 2020-06-16 | 苏州叠纸网络科技股份有限公司 | 一种虚拟环境中的剧情展示方法、装置、终端及存储介质 |
| CN111741367A (zh) * | 2020-07-23 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 视频互动方法、装置、电子设备及计算机可读存储介质 |
| CN112261482A (zh) * | 2020-10-16 | 2021-01-22 | 腾讯科技（深圳）有限公司 | 互动视频的播放方法、装置、设备及可读存储介质 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023130715A1 (zh) * | 2022-01-05 | 2023-07-13 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品 |
| CN114845147A (zh) * | 2022-04-29 | 2022-08-02 | 北京奇艺世纪科技有限公司 | 屏幕渲染方法、显示画面合成方法装置及智能终端 |
| CN114845147B (zh) * | 2022-04-29 | 2024-01-16 | 北京奇艺世纪科技有限公司 | 屏幕渲染方法、显示画面合成方法装置及智能终端 |
| CN114911990A (zh) * | 2022-05-27 | 2022-08-16 | 北京天域北斗文化科技集团有限公司 | 基于虚拟现实和智能交互的地图浏览系统 |
| CN114911990B (zh) * | 2022-05-27 | 2023-01-03 | 北京天域北斗文化科技集团有限公司 | 基于虚拟现实和智能交互的地图浏览系统 |
| CN115461707A (zh) * | 2022-07-08 | 2022-12-09 | 上海莉莉丝科技股份有限公司 | 视频的获取方法、电子设备、存储介质和程序产品 |
| CN115461707B (zh) * | 2022-07-08 | 2023-10-13 | 上海莉莉丝科技股份有限公司 | 视频的获取方法、电子设备、存储介质 |
| WO2024007290A1 (zh) * | 2022-07-08 | 2024-01-11 | 上海莉莉丝科技股份有限公司 | 视频的获取方法、电子设备、存储介质和程序产品 |
| US11914837B2 (en) | 2022-07-08 | 2024-02-27 | Shanghai Lilith Technology Corporation | Video acquisition method, electronic device, and storage medium |
| CN115396685A (zh) * | 2022-08-23 | 2022-11-25 | 广州博冠信息科技有限公司 | 直播互动方法、装置、可读存储介质及电子设备 |
| CN115396685B (zh) * | 2022-08-23 | 2024-03-15 | 广州博冠信息科技有限公司 | 直播互动方法、装置、可读存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113709543B (zh) | 2024-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11789524B2 (en) | Rendering location specific virtual content in any location | |
| CN113709543B (zh) | 基于虚拟现实的视频处理方法、装置、电子设备和介质 | |
| US12079946B2 (en) | Waypoint creation in map detection | |
| CN111028330B (zh) | 三维表情基的生成方法、装置、设备及存储介质 | |
| US11620780B2 (en) | Multiple device sensor input based avatar | |
| CN111862348B (zh) | 视频显示方法、视频生成方法、装置、设备及存储介质 | |
| Margetis et al. | Realistic natural interaction with virtual statues in x-reality environments | |
| CN108399653A (zh) | 增强现实方法、终端设备及计算机可读存储介质 | |
| CN117391122A (zh) | 一种基于元宇宙中建立的3d数字人互助式聊天方法 | |
| WO2024131479A1 (zh) | 虚拟环境的显示方法、装置、可穿戴电子设备及存储介质 | |
| CN111383313B (zh) | 一种虚拟模型渲染方法、装置、设备及可读存储介质 | |
| CN115379278B (zh) | 基于扩展现实（xr）技术沉浸式微课的录制方法及系统 | |
| WO2024031882A1 (zh) | 视频处理方法、装置及计算机可读存储介质 | |
| CN117808934A (zh) | 一种数据处理方法及相关设备 | |
| CN114900738A (zh) | 一种观影互动方法、装置及计算机可读存储介质 | |
| CN114327083A (zh) | 房产、对象的展示方法、装置、可读存储介质和电子设备 | |
| CN114979789A (zh) | 一种视频展示方法、装置以及可读存储介质 | |
| CN112686990A (zh) | 一种三维模型显示方法、装置、存储介质和计算机设备 | |
| CN116506675A (zh) | 互动视频的处理方法、装置、计算机设备和存储介质 | |
| KR102622709B1 (ko) | 2차원 영상에 기초하여 3차원 가상객체를 포함하는 360도 영상을 생성하는 방법 및 장치 | |
| CN118250523A (zh) | 数字人视频生成方法、装置、存储介质及电子设备 | |
| CN116109974A (zh) | 体积视频展示方法以及相关设备 | |
| CN118409656A (zh) | 基于裸眼3d虚拟对象的交互方法及装置 | |
| CN117294830A (zh) | 立体显示方法及相关装置 | |
| JP2024506299A (ja) | 占有率グリッドを使用した場面理解 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |