CN115150555B - 视频录制方法、装置、设备及介质 - Google Patents
视频录制方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115150555B CN115150555B CN202210837173.3A CN202210837173A CN115150555B CN 115150555 B CN115150555 B CN 115150555B CN 202210837173 A CN202210837173 A CN 202210837173A CN 115150555 B CN115150555 B CN 115150555B
- Authority
- CN
- China
- Prior art keywords
- video
- virtual
- real
- application
- user operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000013500 data storage Methods 0.000 claims description 4
- 238000007654 immersion Methods 0.000 abstract description 13
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 230000001953 sensory effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 210000000746 body region Anatomy 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000014860 sensory perception of taste Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
Abstract
本申请提供了一种视频录制方法、装置、设备及介质，其中方法应用于控制设备，包括：在确定视频录制功能启动时，获取用户操作数据、应用数据以及外部设备拍摄的真实视频；根据所述用户操作数据和所述应用数据，生成虚拟视频；根据所述真实视频和所述虚拟视频，合成混合现实视频。本申请能够优化VR头戴设备的实时性能消耗，避免VR头戴设备出现画面显示卡顿和帧率下降的风险，使得用户在体验VR应用时，沉浸感更强，从而为提高用户的沉浸体验提供了条件。
Description
技术领域
本申请实施例涉及虚拟现实技术领域，尤其涉及一种视频录制方法、装置、设备及介质。
背景技术
现如今，通过录制视频，以记录自己感兴趣或者喜欢的内容非常流行。例如，用户玩VR(Virtual Reality，虚拟现实)游戏过程中，可通过MRC(Mixed Reality CaptureTool，混合现实捕捉工具)录制混合现实游戏视频。
目前，主流的混合现实视频录制方案是通过VR头戴设备拍摄具有虚拟用户的虚拟视频，以及通过具有摄像头的外部设备拍摄具有真实用户的真实视频。然后，VR头戴设备将外部设备拍摄的真实视频中的真实用户合成到虚拟视频的虚拟背景中，以生成混合现实视频。
但是，在上述方案中，因为用户佩戴VR头戴设备进行操作时，VR头戴设备不仅需要实时刷新画面，还要实时对场景画面进行视频录制，导致整个过程对于VR头戴设备来说非常耗费性能，一旦场景过于复杂，极易出现画面显示卡顿和帧率下降的问题，严重影响用户的沉浸体验。
发明内容
本申请实施例提供一种视频录制方法、装置、设备及介质，能够优化VR头戴设备的实时性能消耗，避免VR头戴设备出现画面显示卡顿和帧率下降的风险，使得用户在体验VR应用时，沉浸感更强，从而为提高用户的沉浸体验提供了条件。
第一方面，本申请实施例提供了一种视频录制方法，应用于控制设备，所述方法包括：
在确定视频录制功能启动时，获取用户操作数据、应用数据以及外部设备拍摄的真实视频；
根据所述用户操作数据和所述应用数据，生成虚拟视频；
根据所述真实视频和所述虚拟视频，合成混合现实视频。
第二方便，本申请实施例提供了一种视频录制装置，配置于控制设备，包括：
数据获取模块，用于在确定视频录制功能启动时，获取用户操作数据、应用数据以及外部设备拍摄的真实视频；
视频生成模块，用于根据所述用户操作数据和所述应用数据，生成虚拟视频；
视频合成模块，用于根据所述真实视频和所述虚拟视频，合成混合现实视频。
第三方面，本申请实施例提供了一种控制设备，包括：
处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行第一方面实施例所述的视频录制方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，用于存储计算机程序，所述计算机程序使得计算机执行如第一方面实施例所述的视频录制方法。
第五方面，本申请实施例提供了一种包含程序指令的计算机程序产品，当所述程序指令在电子设备上运行时，使得所述电子设备执行如第一方面实施例所述的视频录制方法。
本申请实施例公开的技术方案，至少具有如下有益效果：
通过在确定视频录制功能启动时，获取用户操作数据、应用数据以及外部设备拍摄的真实视频，以根据用户操作数据和应用数据，生成虚拟视频，然后根据外部设备拍摄的真实视频和生成的虚拟视频，合成混合现实视频。由此，能够优化VR头戴设备的实时性能消耗，避免VR头戴设备出现画面显示卡顿和帧率下降的风险，使得用户在体验VR应用时，沉浸感更强，从而为提高用户的沉浸体验提供了条件。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种应用场景示意图；
图2是本申请实施例提供的一种视频录制方法的流程示意图；
图3是本申请实施例提供的HMD佩戴使用场景示意图；
图4是本申请实施例提供的另一种视频录制方法的流程示意图；
图5是本申请实施例提供的再一种视频录制方法的流程示意图；
图6是本申请实施例提供的一种视频录制装置的示意性框图；
图7是本申请实施例提供的一种控制设备的示意性框图；
图8是本申请实施例提供的控制设备为HMD设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。根据本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请适用于录制混合现实(Mixed Reality，简称：MR)视频的场景，考虑到目前主流的混合现实视频录制方案，是通过将外部设备拍摄的真实视频中的真实用户合成到VR头戴设备拍摄的虚拟视频的虚拟背景中，以生成混合现实视频，但因为用户佩戴的VR头戴设备不仅需要实时刷新画面，还要实时对场景画面进行视频录制，导致整个过程对于VR头戴设备来说非常耗费性能。并且，一旦场景过于复杂，VR头戴设备极易出现画面显示卡顿和帧率下降的问题，严重影响用户的沉浸体验。因此，本申请设计了一种视频录制方法，以通过该方法优化VR头戴设备的实时性能消耗，从而避免画面显示卡顿和帧率下降的风险，使得用户体验VR应用时，沉浸感更强。
为了便于理解本申请实施例，在描述本申请各个实施例之前，首先对本申请所有实施例中所涉及到的一些概念进行适当的解释说明，具体如下：
1)虚拟现实(Virtual Reality，简称为VR)，创建和体验虚拟世界的技术，计算生成一种虚拟环境，是一种多源信息(本文中提到的虚拟现实至少包括视觉感知，此外还可以包括听觉感知、触觉感知、运动感知，甚至还包括味觉感知、嗅觉感知等)，实现虚拟环境的融合的、交互式的三维动态视景和实体行为的仿真，使用户沉浸到模拟的虚拟现实环境中，实现在诸如地图、游戏、视频、教育、医疗、模拟、协同训练、销售、协助制造、维护和修复等多种虚拟环境的应用。
2)虚拟现实设备(VR设备)，实现虚拟现实效果的终端，通常可以提供为眼镜、头盔式显示器(Head Mount Display，简称为HMD)、隐形眼镜的形态，以用于实现视觉感知和其他形式的感知，当然虚拟现实设备实现的形态不限于此，根据实际需要可以进一步小型化或大型化。
可选的，本申请实施例中记载的虚拟现实设备可以包括但不限于如下几个类型：
2.1)电脑端虚拟现实(PCVR)设备，利用PC端进行虚拟现实功能的相关计算以及数据输出，外接的电脑端虚拟现实设备利用PC端输出的数据实现虚拟现实的效果。
2.2)移动虚拟现实设备，支持以各种方式(如设置有专门的卡槽的头戴式显示器)设置移动终端(如智能手机)，通过与移动终端有线或无线方式的连接，由移动终端进行虚拟现实功能的相关计算，并输出数据至移动虚拟现实设备，例如通过移动终端的APP观看虚拟现实视频。
2.3)一体机虚拟现实设备，具备用于进行虚拟功能的相关计算的处理器，因而具备独立的虚拟现实输入和输出的功能，不需要与PC端或移动终端连接，使用自由度高。
3)混合现实(Mixed Reality，简称为：MR)：将计算机创建的感官输入(例如，虚拟对象)与来自物理布景的感官输入或其表示集成的模拟布景，一些MR布景中，计算机创建的感官输入可以适应于来自物理布景的感官输入的变化。另外，用于呈现MR布景的一些电子系统可以监测相对于物理布景的取向和/或位置，以使虚拟对象能够与真实对象(即来自物理布景的物理元素或其表示)交互。例如，系统可监测运动，使得虚拟植物相对于物理建筑物看起来是静止的。
为了清楚说明本申请技术方案，下面对本申请技术方案的应用场景进行说明。应理解的是，本申请技术方案可应用于如下场景，但不限于此：
示例性的，图1是本申请实施例提供的一种应用场景示意图。如图1所示，该应用场景1000中可包括：控制设备100和外部设备200。其中，控制设备100和外部设备200之间可以进行通信。
在本申请实施例中，控制设备100可以是服务器，或者VR设备。其中，服务器可以是普通服务器或者云服务器等，本申请对其不做具体限制。VR设备可以是VR头盔、VR眼镜或者其他的头盔式显示器(Head Mount Display，简称为HMD)。比如，HMD可以是VR一体机中的HMD等，本申请对其不做具体限制。
并且，控制设备100中还可安装各种类型的VR应用程序，使得用户通过控制设备100可以沉浸式的体验上述各种类型的VR应用程序。
在一些可实现方式中，如图1所示，外部设备200可以是具有摄像头的任意设备，比如手机以及平板电脑等；或者，还可以是相机等。此处对外部设备200不做具体限制。
应理解的是，图1所示的控制设备100和外部设备200仅为示意性的，具体可根据实际情况进行设置，本申请实施例对其不做限制。
在介绍了本申请实施例的应用场景之后，下面结合附图对本申请实施例提供的一种视频录制方法进行详细说明。
图2是本申请实施例提供的一种视频录制方法的流程示意图。本申请实施例可适用于录制混合现实视频的场景，该视频录制方法可由应用于控制设备上的视频录制装置来执行，以实现对视频录制过程进行控制。在本申请实施例中，可选的以控制设备为云服务器或者HMD为例进行说明。
如图2所示，该视频录制方法可以包括以下步骤：
S101，在确定视频录制功能启动时，获取用户操作数据、应用数据以及外部设备拍摄的真实视频。
在本申请实施例中，用户操作数据包括：第一位姿信息和第二位姿信息。
其中，第一位姿信息为控制器的位姿信息，第二位姿信息为HMD的位姿信息；或者，第一位姿信息为HMD的位姿信息，第二位姿信息为控制器的位姿信息。本申请实施例中，控制器可以是但不限于：手柄、手持控制器、手环、腕带以及手套等。
作为可选的实现方式，本申请中获取控制器和HMD的位姿信息，可采用光学追踪、电磁波追踪以及超声波追踪等中的任意一种方式实现。具体的实现过程为本领域的常规技术手段，此处对其不做过多赘述。
应理解的是，本实施例中控制器的位姿信息和HMD的位姿信息可以为6自由度(degree of freedom，简称为：DoF)数据，或者还可以是3DoF数据，此处对其不做具体限制。
在本申请实施例中，应用数据，是指用户佩戴HMD之后，控制HMD运行任一应用时的运行数据。例如，若HMD运行的应用为任一游戏类应用时，该应用数据可以是但不限于：游戏进度、游戏关卡、地图位置以及技能恢复时长等。
本申请在执行S101之前，用户需要先根据自身使用该HMD的位置，确定外部设备的设置位置。可选的，可将外部设备设置于与用户使用HMD位置相距预设距离处。本实施例中，预设距离是以能够采集到用户全身区域为准则进行设置的。例如，若外部设备与用户使用HMD位置相距1米(m)时，外部设备可拍摄到用户全身区域，则可将预设距离设置为1m。又例如，若外部设备与用户使用HMD位置相距2m时，外部设备可拍摄到用户全身区域，则可将预设距离设置为2m等，此处对其不做具体限制。
设置好外部设备之后，用户可佩戴HMD，并在佩戴好HMD之后启动任一应用时，HMD自动向用户发送是否开启视频录制功能的提示信息。发送提醒信息之后，该HMD通过实时检测以确定是否接收到用户发送的视频录制功能启动指令。其中，提示信息可为文字信息和/或语音信息等形式，此处对其不做具体限制。
当接收到用户发送的视频录制功能启动指令后，HMD根据该启动指令，实时获取用户在当前运行应用上的用户操作数据，以及当前运行应用的应用数据，以为后续生成具有虚拟用户的虚拟视频奠定基础。
需要说明的是，用户佩戴好HMD之后启动任一应用时，具体为：在HMD显示的虚拟现实场景中，用户可选取目标对象(目标应用)，以启动该目标应用。其中，选取目标应用时，可以通过控制器实现，该控制器可以为手柄或者其他设备，比如手套、指环等。如果控制器为手柄，则可选的用户可通过按压手柄上的按键等操作来选取目标对象，具体参见图3所示。当然在其他实现方式中，也可以不使用控制器而使用手势或者语音对HMD设备中的目标对象进行控制。
考虑到生成混合现实视频时，除了需要虚拟视频之外还需要真实视频，而本申请中获取真实视频是通过外部设备实现的。因此，当接收到用户发送的视频录制功能启动指令后，HMD还同步向外部设备发送视频拍摄指令，以使外部设备基于该视频拍摄指令，与HMD同步实时拍摄用户在真实场景中操控HMD当前运行应用的视频画面(即真实视频)。即，获取外部设备拍摄的真实视频。
在一些实现方式中，因为用户可能在家里等比较隐私的地方使用HMD，那么为了保护用户的隐私，外部设备拍摄的真实视频可为只有真实用户区域的视频，即用户操作视频。其中，用户操作可具体为用户的动作。
也就是说，当外部设备根据视频拍摄指令，拍摄到具有真实用户和真实背景的视频之后，该外部设备可对拍摄到的视频画面进行处理，以去掉真实背景部分，只保留真实用户部分的视频，以保护用户的个人隐私不被泄露。
其中，外部设备对拍摄到的视频画面进行处理时，可基于图像分割算法或者网络模型从视频画面中分割出真实用户区域和真实背景区域，然后将真实背景区域滤除掉，以得到只有真实用户区域的用户操作视频。
考虑到本申请的执行主体控制设备可选为云服务器或者HMD，那么当控制设备为云服务器时，如果HMD接收用户发送的视频录制功能启动指令后，HMD还需同步向云服务器发送视频录制功能启动指令，以使云服务器基于该视频录制功能启动指令，同步在后台运行与HMD相同的虚拟应用。并且，该云服务器还实时获取HMD获取到的用户在当前运行应用上的用户操作数据，以及当前运行应用的应用数据，以为后续生成虚拟视频奠定基础。
当控制设备为HMD时，如果HMD接收到用户发送的视频录制功能启动指令后，HMD根据该启动指令，即可实时获取用户在当前运行应用上的用户操作数据、当前运行应用的应用数据以及外部设备拍摄的真实视频，并存储获取到的用户操作数据、应用数据以及外部设备拍摄的真实视频，以为后续基于存储的用户操作数据以及应用数据生成具有虚拟用户的虚拟视频，以及基于虚拟视频和真实视频生成混合现实视频奠定基础。
S102，根据所述用户操作数据和所述应用数据，生成虚拟视频。
考虑到本申请执行主体控制设备可选为云服务器或者HMD，那么根据用户操作数据和应用数据，生成虚拟视频，可根据控制设备分为以下情况：
第一种情况
当控制设备为云服务器时，该云服务器上运行着与HMD相同的应用。并且，该云服务器还会实时接收HMD发送的用户操作数据和应用数据。因此，该云服务器可根据HMD实时发送的用户操作数据和应用数据，在上述应用上复现与HMD相同的视频画面。同时，在复现与HMD相同的视频画面时，通过对复现的视频画面进行拍摄，以得到与HMD显示相同的虚拟视频。
情况二
当控制设备为HMD时，该HMD在确定自身当前未运行任何应用，或者CPU占用率低于预设阈值时，基于存储的用户操作数据和应用数据，控制与应用数据对应的应用复现对应的视频画面。并且，在复现视频画面时，通过对复现的视频画面进行拍摄，以得到虚拟视频。
其中，预设阈值可根据CPU型号等参数进行设置。比如，预设阈值可设置为50％或者55％等，此处对其不做具体限制。
在一些实现方式中，考虑到生成混合现实视频中使用的虚拟视频，主要使用的是虚拟视频中的虚拟背景(背景区域)。因此，可选的本申请控制设备根据用户操作数据和应用数据，生成虚拟视频时，可只获取虚拟背景视频。
也就是说，本申请根据用户操作数据和应用数据，在与应用数据对应的应用上复现对应的视频画面时，只拍摄视频画面中的背景区域，以得到虚拟背景视频，使得后续生成混合现实视频时无需对虚拟视频进行处理，从而提高混合现实视频的生成速度和效率。
S103，根据所述真实视频和所述虚拟视频，合成混合现实视频。
考虑到混合现实视频是将真实用户合成到虚拟背景中，那么本申请需要从真实视频中获取到真实用户(前景区域)，以及从虚拟视频中获取到虚拟背景(背景区域)。
可选的，本申请可采用前景背景分割算法、基于高斯混合的前景背景分割算法、基于K近邻的前景背景分割算法、OpenCV的Grabcut()函数，或者网络模型等方式，从真实视频中获取前景区域，以及从虚拟视频中获取背景区域。其中，网络模型可以是深度神经网络或卷积神经网络等，此处对其不做具体限制。
当从真实视频中获取到前景区域，以及从虚拟视频中获取到背景区域之后，本申请可将前景区域和背景区域进行融合，以生成具有真实用户和虚拟背景的混合现实视频。
考虑到本申请执行主体控制设备可为云服务器或者HMD，那么当控制设备为云服务器时，本申请可实时从真实视频中获取前景区域，以及从虚拟视频中获取背景区域，并实时将前景区域和背景区域进行融合，以生成混合现实视频。当控制设备为HMD时，本申请可在自身当前未运行任何应用，或者CPU占用率低于预设阈值时，从存储的真实视频中获取前景区域，以及从生成的虚拟视频中获取背景区域，并将前景区域和背景区域进行融合，以生成混合现实视频。
作为一种可选的实现方式，考虑到外部设备拍摄的真实视频可为只有真实用户的用户操作视频，那么本申请根据真实视频和虚拟视频，合成混合现实视频时，可首先从虚拟视频中获取虚拟背景视频，然后再将用户操作视频和虚拟背景视频进行融合，以生成混合现实视频。
在一些实现方式中，考虑到生成的虚拟视频可为只有虚拟背景的虚拟背景视频，那么本申请根据真实视频和虚拟视频，合成混合现实视频时，可首先从真实视频中获取用户操作视频，然后再将用户操作视频和虚拟背景视频进行融合，以生成混合现实视频。
在一些实现方式中，考虑到生成的虚拟视频可为只有虚拟背景的虚拟背景视频，以及外部设备拍摄的真实视频可为只有真实用户的用户操作视频，那么本申请根据真实视频和虚拟视频，合成混合现实视频时，可直接将用户操作视频和虚拟背景视频进行融合，以生成混合现实视频。
本申请提供的视频录制方法，通过在确定视频录制功能启动时，获取用户操作数据、应用数据以及外部设备拍摄的真实视频，以根据用户操作数据和应用数据，生成虚拟视频，然后根据外部设备拍摄的真实视频和生成的虚拟视频，合成混合现实视频。由此，能够优化VR头戴设备的实时性能消耗，避免VR头戴设备出现画面显示卡顿和帧率下降的风险，使得用户在体验VR应用时，沉浸感更强，从而为提高用户的沉浸体验提供了条件。
以下结合一个场景实现来描述本申请可以适用的场景方案：
随着虚拟现实技术的发展，用户可在玩VR游戏时，录制游戏视频，以使该游戏视频不仅包括游戏虚拟画面，还包括真实用户在虚拟游戏场景中的动作，使得用户在体验沉浸式虚拟现实游戏的同时，还能录制用户自己在虚拟游戏场景中的动作，从而提高了用户使用体验。例如，用户玩拳击游戏时，可将用户在真实场景中的出拳动作合成到虚拟游戏场景中，以得到混合现实游戏视频。
在本申请的一种实现方式中，考虑到本申请可由控制设备执行时，该控制设备可选为云服务器或者HMD。那么下面结合图4，以控制设备为云服务器为例，对本申请实施例提供的视频录制方法进行进一步说明。
如图4所示，该方法可以包括以下步骤：
S201，在确定视频录制功能启动时，获取用户操作数据、应用数据以及外部设备拍摄的真实视频。
可选的，当用户佩戴好HMD并启动任一应用时，HMD可向用户发送是否开启视频录制功能的提示信息。当HMD接收到用户发送的视频录制功能启动指令时，该HMD同步向云服务器发送视频录制功能启动指令，以使云服务器根据该视频录制功能启动指令，在后台同步运行与HMD相同的应用。并且，该HMD还实时将自身获取到用户操作数据以及应用数据发送给云服务器，以使云服务器在运行的应用中，基于用户操作数据以及应用数据复现与HMD相同的视频画面，以生成虚拟视频。
此外，该HMD还同步向外部设备发送视频拍摄指令，以使设置于真实场景中的外部设备基于该视频拍摄指令，实时拍摄用户在真实场景中操控HMD当前运行应用的真实视频。并且，该HMD还会控制外部设备将实时拍摄的真实视频发送给云服务器，以为云服务器基于该真实视频为生成混合现实视频奠定基础。
S202，根据所述用户操作数据和所述应用数据，在所述应用上复现与所述头戴设备相同的视频画面。
S203，拍摄所述视频画面，得到虚拟视频。
考虑到云服务器获取与HMD相同的虚拟视频时，不仅需要获取虚拟场景(虚拟背景)，还需要获取位于该虚拟背景中的虚拟用户。因此，本申请需要根据HMD中拍摄虚拟背景的第一虚拟相机设置参数，和拍摄虚拟用户的第二虚拟相机设置参数，在云服务器中创建与第一虚拟相机位置和角度等参数一致的第三虚拟相机，以及与第二虚拟相机位置和角度等参数一致的第四虚拟相机，以使云服务器可获取到与HMD相同的虚拟视频。
可选的，本申请可在HMD检测任一应用启动时，或者在HMD开机时，主动与建立通信连接的云服务器进行通信，以将HMD自身中的第一虚拟相机设置参数以及第二虚拟相机设置参数发送给云服务器，以使云服务器基于第一虚拟相机设置参数设置对应的第三虚拟相机，以及基于第二虚拟相机设置参数设置对应的第四虚拟相机。
进而，当获取到HMD实时发送的用户操作数据以及应用数据之后，云服务器可根据用户操作数据和应用数据，在自身运行的与HMD相同应用上实时复现与HMD相同的视频画面。并且，还基于预先构建的第三虚拟相机和第四虚拟相机拍摄复现的视频画面，以得到虚拟视频。
在一些实现方式中，考虑到生成混合现实视频中使用的虚拟视频，主要是虚拟视频中的背景区域。因此，可选的云服务器可根据用户操作数据和应用数据，在应用上复现与HMD相同的视频画面，以得到虚拟视频时，可只获取虚拟背景视频。
也就是说，本申请根据用户操作数据和应用数据，在与应用数据对应的应用上复现对应的视频画面时，只控制预先构建的第三虚拟摄像拍摄视频画面中的背景区域，以得到虚拟背景视频，使得后续云服务器生成混合现实视频时无需对虚拟视频进行处理，从而提高混合现实视频的生成速度和效率。
S204，根据所述真实视频和所述虚拟视频，合成混合现实视频。
可选的，本申请云服务器可从外部设备实时发送的真实视频中获取前景区域，并实时从虚拟视频中获取背景区域。然后，实时将前景区域合成到背景区域中，以生成混合现实视频。
作为一种可选的实现方式，考虑到外部设备拍摄的真实视频可为只有真实用户的用户操作视频，那么本申请云服务器根据真实视频和虚拟视频，合成混合现实视频时，可首先从虚拟视频中获取虚拟背景视频，然后再将用户操作视频和虚拟背景视频进行融合，以生成混合现实视频。
在一些实现方式中，考虑到生成的虚拟视频可为只有虚拟背景的虚拟背景视频，那么本申请云服务器根据真实视频和虚拟视频，合成混合现实视频时，可首先从真实视频中获取用户操作视频，然后再将用户操作视频和虚拟背景视频进行融合，以生成混合现实视频。
在一些实现方式中，考虑到生成的虚拟视频可为只有虚拟背景的虚拟背景视频，以及外部设备拍摄的真实视频可为只有真实用户的用户操作视频，那么本申请云服务器根据真实视频和虚拟视频，合成混合现实视频时，可直接将用户操作视频和虚拟背景视频进行融合，以生成混合现实视频。
考虑到用户可能需要实时查看录制的混合现实视频画面，因此本申请生成混合现实视频画面之后，云服务器还可确定用户是否触发实时回传混合现实视频。如果确定用户触发实时回传混合现实视频，则实时回传该混合现实视频；如果确定用户未触发实时回传混合现实视频，则在视频录制结束之后，回传混合现实视频。从而可满足用户对生成的混合现实视频的查看个性化需求。
在本实施例中，云服务器回传生成的混合现实视频时，可回传至HMD和外部设备，以及除HMD和外部设备之外的其他第三方设备，本申请对此不做具体限制。
本申请提供的视频录制方法，通过在确定视频录制功能启动时，获取用户操作数据、应用数据以及外部设备拍摄的真实视频，以根据用户操作数据和应用数据，生成虚拟视频，然后根据外部设备拍摄的真实视频和生成的虚拟视频，合成混合现实视频。由此，能够优化VR头戴设备的实时性能消耗，避免VR头戴设备出现画面显示卡顿和帧率下降的风险，使得用户在体验VR应用时，沉浸感更强，从而为提高用户的沉浸体验提供了条件。此外，还可回传生成的混合现实视频画面，以使用户能够查看生成的混合现实视频画面，从而满足用户对混合现实视频的查看个性化需求。
在本申请的另一种实现方式中，考虑到本申请由控制设备执行时，该控制设备可选为云服务器或者HMD。那么下面结合图5，以控制设备为HMD为例，对本申请实施例提供的视频录制方法进行进一步说明。
如图5所示，该方法可以包括以下步骤：
S301，在确定视频录制功能启动时，获取用户操作数据、应用数据以及外部设备拍摄的真实视频。
可选的，当用户佩戴好HMD并启动任一应用时，HMD可向用户发送是否开启视频录制功能的提示信息。当HMD接收到用户发送的视频录制功能启动指令时，该HMD可基于该视频录制功能启动指令，实时获取用户操作数据以及应用数据。
并且，HMD还同步向外部设备发送视频拍摄指令，以使设置于真实场景中的外部设备基于该视频拍摄指令，实时拍摄用户在真实场景中操控HMD当前运行应用的真实视频。
当外部设备根据该视频拍摄指令拍摄的实时的真实视频时，还可实时将真实视频发送给HMD，以为HMD基于该真实视频生成混合现实视频奠定基础。
S302，存储所述用户操作数据、所述应用数据以及所述外部设备拍摄的真实视频。
考虑到HMD当前运行应用需要实时刷新画面，那么在获取到用户操作数据、应用数据以及外部设备拍摄的真实视频时，HMD可先将用户操作数据、应用数据以及外部设备拍摄的真实视频存储在本地，以优先保证HMD中的CPU能够有足够的空间支持画面刷新需求。通过这种方式不仅保证了HMD的性能始终处于最优，而且还能确保画面显示流畅性，以给用户提供最佳的沉浸体验。
S303，当占用率低于预设阈值时，根据存储的所述用户操作数据和所述应用数据控制应用复现对应的视频画面。
S304，拍摄所述视频画面，得到虚拟视频。
在本实施例中，预设阈值可根据CPU型号等参数进行适应性设置，比如可设置为50％或55％等，此处对其不做具体限制。
考虑到HMD中CPU的占用率会影响HMD性能的好坏。比如，当CPU的占用率过高时，容易出现设备卡顿或无响应的情况。因此，本申请可实时检测CPU的占用率，当CPU的占用率低于预设阈值时，说明HMD之前运行的应用已经结束，且当前可能未运行其他大负荷的应用。此时，HMD可获取存储的用户操作数据和应用数据，并在后台自动拉起与存储数据对应的应用，以使该应用基于用户操作数据和应用数据，复现对应的视频画面。
在复现对应的视频画面的同时，HMD还控制对应的虚拟摄像机，比如拍摄虚拟背景的第一虚拟相机和拍摄虚拟用户的第二虚拟相机共同拍摄视频画面，以得到虚拟视频。
作为一种可选的实现方式，考虑到生成混合现实视频中使用的虚拟视频，主要是虚拟视频中的虚拟背景。因此，可选的本申请HMD根据用户操作数据和应用数据，生成虚拟视频时，可只获取虚拟背景视频。
也就是说，本申请根据用户操作数据和应用数据，在与存储数据对应的应用上复现对应的视频画面时，只拍摄视频画面中的背景区域，以得到虚拟背景视频，使得后续生成混合现实视频时无需对虚拟视频进行处理，从而提高混合现实视频的生成速度和效率。
S305，根据所述真实视频和所述虚拟视频，合成混合现实视频。
可选的，本申请得到虚拟视频之后，HMD可获取存储的外部设备发送的真实视频。然后，从外部设备发送的真实视频中获取前景区域，以及从虚拟视频中获取背景区域。然后，将前景区域合成到背景区域中，以生成混合现实视频。
作为一种可选的实现方式，考虑到外部设备拍摄的真实视频可为只有真实用户的用户操作视频，那么本申请云服务器根据真实视频和虚拟视频，合成混合现实视频时，可首先从虚拟视频中获取虚拟背景视频，然后再将用户操作视频和虚拟背景视频进行融合，以生成混合现实视频。
在一些实现方式中，考虑到生成的虚拟视频可为只有虚拟背景的虚拟背景视频，那么本申请云服务器根据真实视频和虚拟视频，合成混合现实视频时，可首先从真实视频中获取用户操作视频，然后再将用户操作视频和虚拟背景视频进行融合，以生成混合现实视频。
在一些实现方式中，考虑到生成的虚拟视频可为只有虚拟背景的虚拟背景视频，以及外部设备拍摄的真实视频可为只有真实用户的用户操作视频，那么本申请云服务器根据真实视频和虚拟视频，合成混合现实视频时，可直接将用户操作视频和虚拟背景视频进行融合，以生成混合现实视频。
进一步的，生成混合现实视频之后，HMD还可显示该混合现实视频，并且HMD还可将该混合现实视频发送给外部设备以及其他第三方设备，以使外部设备以及其他第三方设备显示该混合现实视频，以满足用户查看混合现实视频的需求，并且还为分享混合现实视频提供条件。
本申请提供的视频录制方法，通过在确定视频录制功能启动时，获取用户操作数据、应用数据以及外部设备拍摄的真实视频，以根据用户操作数据和应用数据，生成虚拟视频，然后根据外部设备拍摄的真实视频和生成的虚拟视频，合成混合现实视频。由此，通过异步实现高耗能的视频录制，能够优化VR头戴设备的实时性能消耗，避免VR头戴设备出现画面显示卡顿和帧率下降的风险，使得用户在体验VR应用时，沉浸感更强，从而为提高用户的沉浸体验提供了条件。此外，还通过显示设备显示生成的混合现实视频画面，以满足用户查看混合现实视频的需求，并且还为分享混合现实视频提供条件。
下面参照附图6，对本申请实施例提出的一种视频录制装置进行描述。图6是本申请实施例提供的一种视频录制装置的示意性框图。
其中，该视频录制装置400包括：数据获取模块410、视频生成模块420和视频合成模块430。
其中，数据获取模块410，用于在确定视频录制功能启动时，获取用户操作数据、应用数据以及外部设备拍摄的真实视频；
视频生成模块420，用于根据所述用户操作数据和所述应用数据，生成虚拟视频；
视频合成模块430，用于根据所述真实视频和所述虚拟视频，合成混合现实视频。
本申请实施例的一种可选实现方式，当所述控制设备为服务器时，所述服务器运行与头戴设备相同的应用；
相应的，视频生成模块420，具体用于：
根据所述用户操作数据和所述应用数据，在所述应用上复现与所述头戴设备相同的视频画面；
拍摄所述视频画面，得到虚拟视频。
本申请实施例的一种可选实现方式，当所述控制设备为头戴设备时，视频录制装置400还包括：数据存储模块；
其中，数据存储模块，用于存储所述用户操作数据、所述应用数据以及所述外部设备拍摄的真实视频。
本申请实施例的一种可选实现方式，视频生成模块420，具体用于：
当占用率低于预设阈值时，根据存储的所述用户操作数据和所述应用数据控制应用复现对应的视频画面；
拍摄所述视频画面，得到虚拟视频。
本申请实施例的一种可选实现方式，视频合成模块430，具体用于：
获取所述真实视频的前景区域，以及所述虚拟视频的背景区域；
将所述真实视频的前景区域和所述虚拟视频的背景区域进行融合，以生成混合现实视频。
本申请实施例的一种可选实现方式，若获取外部设备拍摄的真实视频为用户操作视频，则视频录制装置400还包括：视频获取模块；
其中，视频获取模块，用于从所述虚拟视频中，获取虚拟背景视频。
本申请实施例的一种可选实现方式，视频合成模块430，具体用于：
将所述用户操作视频和所述虚拟背景视频进行融合，以生成混合现实视频。
本申请实施例的一种可选实现方式，当所述控制设备为服务器时，视频录制装置400还包括：确定模块和处理模块；
其中，确定模块，用于确定是否实时回传所述混合现实视频；
处理模块，用于若是，则实时回传所述混合现实视频；若否，则在视频录制结束后，回传所述混合现实视频。
本申请实施例的一种可选实现方式，用户操作数据包括：第一位姿信息和第二位姿信息。
本申请实施例提供的视频录制装置，通过在确定视频录制功能启动时，获取用户操作数据、应用数据以及外部设备拍摄的真实视频，以根据用户操作数据和应用数据，生成虚拟视频，然后根据外部设备拍摄的真实视频和生成的虚拟视频，合成混合现实视频。由此，能够优化VR头戴设备的实时性能消耗，避免VR头戴设备出现画面显示卡顿和帧率下降的风险，使得用户在体验VR应用时，沉浸感更强，从而为提高用户的沉浸体验提供了条件。
应理解的是，装置实施例与前述方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图6所示的装置400可以执行图2对应的方法实施例，并且装置400中的各个模块的前述和其它操作和/或功能分别为了实现图2中的各个方法中的相应流程，为了简洁，在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的装置400。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的第一方面方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的第一方面方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述第一方面方法实施例中的步骤。
图7是本申请实施例提供的一种控制设备的示意性框图。其中，该控制设备可选为服务器或VR设备。
如图7所示，该控制设备500可包括：
存储器510和处理器520，该存储器510用于存储计算机程序，并将该程序代码传输给该处理器520。换言之，该处理器520可以从存储器510中调用并运行计算机程序，以实现本申请实施例中的视频录制方法。
例如，该处理器520可用于根据该计算机程序中的指令执行上述视频录制方法实施例。
在本申请的一些实施例中，该处理器520可以包括但不限于：
通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本申请的一些实施例中，该存储器510包括但不限于：
易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。
在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器510中，并由该处理器520执行，以完成本申请提供的视频录制方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该电子设备中的执行过程。
如图7所示，该控制设备还可包括：
收发器530，该收发器530可连接至该处理器520或存储器510。
其中，处理器520可以控制该收发器530与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器530可以包括发射机和接收机。收发器530还可以进一步包括天线，天线的数量可以为一个或多个。
应当理解，该控制设备中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
本申请实施例中的，当控制设备为HMD时，本申请实施例提供了一种HMD的示意性框图，如图8所示。
如图8所示，该HMD600的主要功能模块可以包括但不限于以下：检测模块610、反馈模块620、传感器630、控制模块640、建模模块650。
其中，检测模块610被配置为使用各种传感器检测用户的操作命令或者手柄发送的指令，并作用于虚拟环境，如跟随用户的视线而不断更新在显示屏上显示的影像，实现用户与虚拟和场景的交互。例如，基于检测到的用户头部的转动方向来不断更新显示内容。
反馈模块620被配置为接收来自传感器的数据，为用户提供实时反馈。例如，反馈模块620可以根据用户操作数据生成反馈指令，并输出该反馈指令。
传感器630一方面被配置为接受来自用户的操作命令，并将其作用于虚拟环境；另一方面被配置为将操作后产生的结果以各种反馈的形式提供给用户。
控制模块640被配置为对传感器和各种输入/输出装置进行控制，包括获得用户的数据如动作、语音等和输出感知数据，如图像、振动、温度和声音等，对用户、虚拟环境和现实世界产生作用。例如，控制模块640可以获取用户手势、语音等。
建模模块650被配置为构造虚拟环境的三维模型，还可以包括三维模型中的声音、触感等各种反馈机制。
应当理解，该HMD600中的各个功能模块通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线等。
本申请还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。
本申请实施例还提供一种包含程序指令的计算机程序产品，当所述程序指令在电子设备上运行时，使得所述电子设备执行上述方法实施例的方法。
当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。
Claims (8)
1.一种视频录制方法，其特征在于，应用于控制设备，所述方法包括：
在确定视频录制功能启动时，获取用户操作数据、应用数据以及外部设备拍摄的真实视频；
存储所述用户操作数据、所述应用数据以及所述外部设备拍摄的真实视频；当占用率低于预设阈值时，根据存储的所述用户操作数据和所述应用数据控制应用复现对应的视频画面，并拍摄所述视频画面，得到虚拟视频；
根据所述真实视频和所述虚拟视频，合成混合现实视频。
2.根据权利要求1所述的方法，其特征在于，根据所述真实视频和所述虚拟视频，合成混合现实视频，包括：
获取所述真实视频的前景区域，以及所述虚拟视频的背景区域；
将所述真实视频的前景区域和所述虚拟视频的背景区域进行融合，以生成混合现实视频。
3.根据权利要求1所述的方法，其特征在于，若获取外部设备拍摄的真实视频为用户操作视频，则根据所述真实视频和所述虚拟视频，合成混合现实视频之前，包括：
从所述虚拟视频中，获取虚拟背景视频。
4.根据权利要求3所述的方法，其特征在于，根据所述真实视频和所述虚拟视频，合成混合现实视频，包括：
将所述用户操作视频和所述虚拟背景视频进行融合，以生成混合现实视频。
5.根据权利要求1-4中任一项所述的方法，其特征在于，用户操作数据包括：第一位姿信息和第二位姿信息。
6.一种视频录制装置，其特征在于，配置于控制设备，包括：
数据获取模块，用于在确定视频录制功能启动时，获取用户操作数据、应用数据以及外部设备拍摄的真实视频；
数据存储模块，用于存储所述用户操作数据、所述应用数据以及所述外部设备拍摄的真实视频；
视频生成模块，用于当占用率低于预设阈值时，根据存储的所述用户操作数据和所述应用数据控制应用复现对应的视频画面，并拍摄所述视频画面，得到虚拟视频；
视频合成模块，用于根据所述真实视频和所述虚拟视频，合成混合现实视频。
7.一种控制设备，其特征在于，包括：
处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行如权利要求1至5中任一项所述的视频录制方法。
8.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至5中任一项所述的视频录制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210837173.3A CN115150555B (zh) | 2022-07-15 | 2022-07-15 | 视频录制方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210837173.3A CN115150555B (zh) | 2022-07-15 | 2022-07-15 | 视频录制方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115150555A CN115150555A (zh) | 2022-10-04 |
| CN115150555B true CN115150555B (zh) | 2023-12-19 |
Family
ID=83411523
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210837173.3A Active CN115150555B (zh) | 2022-07-15 | 2022-07-15 | 视频录制方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115150555B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115665461B (zh) * | 2022-10-13 | 2024-03-22 | 聚好看科技股份有限公司 | 一种视频录制方法及虚拟现实设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105872521A (zh) * | 2016-04-26 | 2016-08-17 | 乐视控股（北京）有限公司 | 2d视频播放方法及装置 |
| CN107158704A (zh) * | 2017-05-14 | 2017-09-15 | 深圳游视虚拟现实技术有限公司 | 一种虚拟现实游戏系统 |
| CN107995481A (zh) * | 2017-11-30 | 2018-05-04 | 贵州颐爱科技有限公司 | 一种混合现实的显示方法及装置 |
| CN109696959A (zh) * | 2018-11-30 | 2019-04-30 | 歌尔科技有限公司 | 一种画面展示方法、设备及存储介质 |
| CN110276232A (zh) * | 2018-03-16 | 2019-09-24 | 东方联合动画有限公司 | 一种基于社交场景的数据处理方法、系统 |
| CN110337098A (zh) * | 2019-07-05 | 2019-10-15 | 视联动力信息技术股份有限公司 | 一种通信连接的建立方法及装置 |
| CN110866978A (zh) * | 2019-11-07 | 2020-03-06 | 辽宁东智威视科技有限公司 | 一种实时混合现实视频拍摄中的相机同步方法 |
| US11126850B1 (en) * | 2020-04-09 | 2021-09-21 | Facebook Technologies, Llc | Systems and methods for detecting objects within the boundary of a defined space while in artificial reality |
| CN113848646A (zh) * | 2021-09-18 | 2021-12-28 | 融信信息科技有限公司 | 一种ar/mr智能眼镜 |
| CN114119264A (zh) * | 2020-08-28 | 2022-03-01 | 明日基金知识产权有限公司 | 相近的用户图形表示之间的自组织虚拟通信 |
-
2022
- 2022-07-15 CN CN202210837173.3A patent/CN115150555B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105872521A (zh) * | 2016-04-26 | 2016-08-17 | 乐视控股（北京）有限公司 | 2d视频播放方法及装置 |
| CN107158704A (zh) * | 2017-05-14 | 2017-09-15 | 深圳游视虚拟现实技术有限公司 | 一种虚拟现实游戏系统 |
| CN107995481A (zh) * | 2017-11-30 | 2018-05-04 | 贵州颐爱科技有限公司 | 一种混合现实的显示方法及装置 |
| CN110276232A (zh) * | 2018-03-16 | 2019-09-24 | 东方联合动画有限公司 | 一种基于社交场景的数据处理方法、系统 |
| CN109696959A (zh) * | 2018-11-30 | 2019-04-30 | 歌尔科技有限公司 | 一种画面展示方法、设备及存储介质 |
| CN110337098A (zh) * | 2019-07-05 | 2019-10-15 | 视联动力信息技术股份有限公司 | 一种通信连接的建立方法及装置 |
| CN110866978A (zh) * | 2019-11-07 | 2020-03-06 | 辽宁东智威视科技有限公司 | 一种实时混合现实视频拍摄中的相机同步方法 |
| US11126850B1 (en) * | 2020-04-09 | 2021-09-21 | Facebook Technologies, Llc | Systems and methods for detecting objects within the boundary of a defined space while in artificial reality |
| CN114119264A (zh) * | 2020-08-28 | 2022-03-01 | 明日基金知识产权有限公司 | 相近的用户图形表示之间的自组织虚拟通信 |
| CN113848646A (zh) * | 2021-09-18 | 2021-12-28 | 融信信息科技有限公司 | 一种ar/mr智能眼镜 |
Non-Patent Citations (1)
| Title |
|---|
| 虚拟现实技术在传媒业的应用与未来发展;范广斌;传媒(第06期);第24-28页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115150555A (zh) | 2022-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10843088B2 (en) | Sharing recorded gameplay | |
| CN107801045B (zh) | 当播放增强现实场景时自动变焦的方法、设备和系统 | |
| KR102316327B1 (ko) | 가상 공간의 캡쳐 방법 및 그 전자장치 | |
| US20210165481A1 (en) | Method and system of interactive storytelling with probability-based personalized views | |
| CN110300909A (zh) | 用于显示交互式增强现实展示的系统、方法和介质 | |
| JP2018113616A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| US11302049B2 (en) | Preventing transition shocks during transitions between realities | |
| KR20180013892A (ko) | 가상 현실을 위한 반응성 애니메이션 | |
| CN115150555B (zh) | 视频录制方法、装置、设备及介质 | |
| CN113411537B (zh) | 视频通话方法、装置、终端及存储介质 | |
| CN107408186A (zh) | 隐私内容的显示 | |
| US20230104514A1 (en) | Systems and methods for haptic feedback effects | |
| CN117369677A (zh) | 光标位置的确定方法、装置、设备及介质 | |
| CN117785344A (zh) | 提示信息的显示方法、装置、设备和介质 | |
| WO2023056225A2 (en) | Systems and methods for haptic feedback effects | |
| CN117130465A (zh) | 基于xr设备的参数设置方法、装置、设备及存储介质 | |
| CN117940976A (zh) | 游戏根据装置能力的自适应渲染 | |
| CN116233513A (zh) | 虚拟现实直播间虚拟礼物特效播放处理方法、装置和设备 | |
| CN117784915A (zh) | 虚拟环境中的观影画面调整方法、装置、存储介质及设备 | |
| CN115485736A (zh) | 用户选择虚拟相机位置以使用来自多个相机的合成输入制作视频 | |
| CN117319790A (zh) | 基于虚拟现实空间的拍摄方法、装置、设备及介质 | |
| CN116206090A (zh) | 基于虚拟现实空间的拍摄方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |