CN115665461A

CN115665461A - 一种视频录制方法及虚拟现实设备

Info

Publication number: CN115665461A
Application number: CN202211252901.0A
Authority: CN
Inventors: 杨彬; 史东平; 任子健; 吴连朋
Original assignee: Juhaokan Technology Co Ltd
Current assignee: Juhaokan Technology Co Ltd
Priority date: 2022-10-13
Filing date: 2022-10-13
Publication date: 2023-01-31
Anticipated expiration: 2042-10-13
Also published as: CN115665461B

Abstract

本申请涉及虚拟现实技术领域，提供一种视频录制方法及虚拟现实设备，在3D空间中创建两个相互绑定的虚拟相机，一个用于拍摄显示在用户视窗的画面，一个用于拍摄生成录制视频的画面，由于预先对VR直播画面中的显示元素标记了是否被过滤的标签，且该标签仅作用于录制视频的虚拟相机，且两个虚拟相机独立拍摄，从而将录制的显示元素和非录制的显示元素显示在同一视窗时，实现对2D显示元素或3D显示元素的过滤性录制，且不影响VR直播的正常观看。同时，通过是否对录制相机拍摄的画面进行旋转，从而录制出2D平面视频或3D VR视频这两种格式的视频，提高了录制视频的多样性。

Description

一种视频录制方法及虚拟现实设备

技术领域

本申请涉及虚拟现实(Virtual Reality，VR)技术领域，提供一种视频录制方法及虚拟现实设备。

背景技术

直播是随着现场事件的发生和发展的进程，同步制作和传送相关媒体信息的过程，直播可以让观众具有实时参与感，并可以有效地加快信息的传播。

随着网络直播技术的应用发展，各种直播平台呈现了多样化的直播内容。为了增加直播内容对用户的吸引度的同时，增加直播的互动性、娱乐性以及现场感，虚拟现实技术逐渐融入至直播技术中。相对于传统的直播方式，VR直播具有高逼真度，高沉浸感等优势。

目前，VR直播过程中，视频录制通常采用录屏方式，将录制画面和非录制画面显示于不同的视窗，从而实现视频的过滤性采集。然而，该录制方法会导致开启的显示视窗数量过多，用于显示录制画面的视窗占比较小，影响录制视频的清晰度；并且，录制画面与非录制画面分离，会降低VR体验。

发明内容

本申请提供一种视频录制方法及虚拟现实设备用于VR直播中显示元素与非显示元素处于同一视窗的情况下，支持平面视频和VR视频这两种格式视频的录制。

一方面，本申请提供一种视频录制方法，应用于VR直播，包括：

创建第一虚拟相机和第二虚拟相机并相互绑定；其中，所述第一虚拟相机用于拍摄VR直播中显示在用户视窗的第一画面，所述第一画面包含所述VR直播画面中的所有显示元素，所述第二虚拟相机用于拍摄所述VR直播中不显示在所述用户视窗的第二画面，所述第二画面不包含所述VR直播画面中带有被过滤的标签的显示元素；

根据所述第二画面是否包含目标类型的显示元素，确定是否使用所述第一虚拟相机拍摄的所述第一画面渲染所述用户视窗；

根据所述第二虚拟相机拍摄的多帧第二画面，生成所述VR直播中的录制视频。

另一方面，本申请提供一种虚拟现实设备，包括处理器、存储器和显示屏，所述处理器、所述存储器和所述显示屏之间通过总线连接；

所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：

根据所述第二画面是否包含目标类型的显示元素，确定是否使用所述第一虚拟相机拍摄的所述第一画面渲染所述用户视窗，并通过所述显示屏进行显示；

另一方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机设备执行本申请实施例提供的视频录制方法。

本申请提供的视频录制方法及虚拟现实设备中，录制VR直播中的视频时，创建了两个用途不同的虚拟相机，其中，第一虚拟相机拍摄的VR直播中的第一画面包含VR直播中的所有显示元素，因此，第一画面可用于渲染显示用户视窗，不影响用户看到的直播内容，第二虚拟相机拍摄的VR直播中的第二画面不用于渲染显示用户视窗，且第二画面对VR直播中的显示元素进行了过滤，由于用户视窗的数据源和录制视频的数据源来自于两个不同的虚拟相机，从而可以将VR直播中的所有元素显示在同一用户视窗，提高了视频的录制质量和观看体验，同时，支持录制平面视频及VR视频这两种格式的视频，提高了录制视频的多样性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的VR直播应用场景示意图；

图2为本申请实施例提供的VR直播画面示意图；

图3为本申请实施例提供的视频录制方法流程图；

图4为本申请实施例提供的不同目标类型的显示元素是否录制到视频时用户视窗的渲染显示方式示意图；

图5为本申请实施例提供的录制平面视频的底层实现示意图；

图6为本申请实施例提供的生成VR视频的流程图；

图7为本申请实施例提供的录制VR视频的底层实现示意图；

图8为本申请实施例提供的实现视频录制方法时软硬件间的时序交互图；

图9为本申请实施例提供的对录制的画面进行裁剪的示意图；

图10为本申请实施例提供的虚拟现实设备的结构图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。

为清楚描述本申请的实施例，下面对本申请的名词给出解释说明。

RenderTexture是Unity引擎定义的一种特殊的Texture类型，连接着一个FrameBufferObject(简称为FBO)，存在于图形处理器(Graphics Processing Unit，GPU)端的Texture(Server-Side Texture)。

FrameBufferObject是一个集合，集合了FrameBuffer，通过快速刷新Framebuffer实现动态效果，是GPU端渲染数据目的地。最典型的FBO就是Unity的主相机(Main Camera)。

下面对本申请实施例的设计思想进行介绍。

VR直播是虚拟现实与直播的结合，由于VR技术囊括了仿真技术与计算机图形学、人机接口技术、多媒体技术、传感技术、网络技术、等多种技术，因此，相比于传统直播，VR直播最大区别是让观众身临其境来到直播现场，实时全方位体验。

如图1所示，为本申请实施例提供的VR直播的应用场景示意图用户在家中观看直播，通过佩戴的VR头戴式显示设备实现身临直播现场的全方位体验。观看VR直播的过程中，还可以利用电视的大屏显示优势，将VR直播画面投影到电视上进行观看。

为了增加直播内容对用户的吸引度的同时，增加直播的互动性、娱乐性以及现场感，VR直播的画面中通常会包含立体的3D显示元素以及一些用于进行UI操作的2D显示元素。

参见图2，为本申请实施例提供的演唱会的VR直播画面，该VR直播画面中，歌词、舞台、观众送出的礼物等物体为3D显示元素，而礼物、分享、点赞、语音、评论、多功能等UI操作图标为2D显示元素。

在VR直播过程中，不同用户对直播画面显示内容的关注点不同，因此，通常会支持UI操作来控制直播场景切换、文字显示、道具显示等，从而满足不同用户的观看需求。

VR直播过程中，通过VR头戴式显示设备创建一个虚拟相机，可以对VR直播画面进行录制。目前，在录制VR直播过程的视频时，一般采用将包含非录制的显示元素的非录制画面显示在一个视窗，包含录制的显示元素的录制画面显示在另一个视窗，然后对录制的显示元素所在的视窗进行VR直播视频的录制，从而通过分视窗显示，实现VR直播视频的过滤性采集。然而，该录制方法会导致开启的显示视窗数量过多，用于显示录制画面的视窗占比较小，影响录制视频的清晰度；并且，录制画面与非录制画面分离，会降低VR体验。

鉴于此，本申请实施例针对使用三维虚拟场景进行直播场景，提供一种视频录制方法及虚拟现实设备，在VR直播的过程中，可以将录制元素和非录制显示元素显示在同一视窗，并对非录制显示元素(包括2D元素或3D元素)进行过滤，使得录制的VR直播视频中仅包含视窗中需采集的显示元素，提高了视频的录制质量和观看体验，同时，支持2D平面视频及VR视频这两种格式视频的录制。

本申请实施例中，为实现对同一视窗中非录制的显示元素的过滤，预先对VR直播画面中的显示元素设置标签，通过预设标签来表征相应的显示元素是否被渲染显示在录制视频中。具体实施时，可将标签与渲染层级进行映射，设置用于视频录制的虚拟相机不会拍摄到某一渲染层级的显示元素。

其中，带有被过滤的标签的显示元素可以是2D显示元素，也可以是3D显示元素。如表1所示，为标签与渲染层级之间的映射关系。

表1、标签与渲染层级之间的映射关系

显示元素ID	标签	渲染层级	含义
				1	1	1	ID为1的显示元素不包含在录制视频中
2	0	0	ID为2的显示元素包含在录制视频中
				3	1	1	ID为3的显示元素不包含在录制视频中
...	...	...	...

上述表1中，0表示不被过滤的标签，1表示被过滤的标签。

在另一种打标签的方式中，为节约工作量，可仅对非录制的显示元素打上被过滤的标签，而对于需录制的显示元素不打标签，从而根据标签的有无，建立标签与渲染层级之间的映射关系，如表2所示。

表2、标签与渲染层级之间的映射关系

为VR直播画面中的非录制的显示元素打上标签后，可将需录制的显示元素和非录制的显示元素显示在同一用户视窗，从而通过预先标记的标签，使得录制的视频中不包含非录制的显示元素。

参见图3，为本申请实施例提供的VR直播中视频录制方法的流程图，该流程由虚拟现实设备执行，主要包括以下几步：

S301：创建第一虚拟相机和第二虚拟相机并相互绑定。

在S301中，通过3D引擎(如Unity引擎)，创建两个虚拟相机并将两个虚拟相机进行绑定，绑定方式为：设置两个虚拟相机的在3D空间中的位置、旋转、视场角(Field ofView，FOV)、景深等参数一致。

通过将两个虚拟相机进行绑定，以此保证两个虚拟相机拍摄的画面实时同步，实现两个虚拟相机拍摄画面的实时自动交互。

例如，无论VR直播的虚拟场景中增加或者删除物体，都可实时在两个虚拟相机拍摄的画面中体现。

为区分描述，将两个虚拟相机分别记为第一虚拟相机(也称为渲染相机)和第二虚拟相机(也称为录制相机)，其中，第一虚拟相机拍摄的VR直播画面记为第一画面，第二虚拟相机拍摄的VR直播画面记为第二画面，第一画面包含VR直播画面中的所有显示元素(包括3D显示元素和2D显示元素)，第一虚拟相机拍摄的第一画面可显示在用户视窗，以保证用户观看到完整的VR直播画面，第二虚拟相机拍摄的第二画面不包含带有预设过滤标签的显示元素，第二画面仅用于生成录制视频，不用于渲染显示用户视窗。因此，在创建虚拟相机的同时，可新建一个RenderTexture，并将RenderTexture与第二虚拟相机进行关联，从而将第二虚拟相机拍摄第二画面渲染在RenderTexture。

需要说明的是，本申请实施例中预先为显示元素标记的标签，只作用于录制VR直播视频的第二虚拟相机，对于用于渲染用户视窗的第二虚拟相机不产生影响。

例如，针对打了过滤标签的显示元素，其可出现在第一虚拟相机拍摄的第一画面中，但不出现在第二虚拟相机拍摄的第二画面中。

S302：根据第二画面是否包含目标类型的显示元素，确定是否使用第一虚拟相机拍摄的第一画面渲染用户视窗。

通常的，VR直播的画面中，包含2D显示元素和3D显示元素这两种目标类型，这两种目标类型的显示元素，可以通过预设过滤标签，确定其是否被录制的到视频中。在视频录制过程中，针对不同类型的显示元素对否被录制到视频中的不同情况，可以采用不同的数据源渲染用户视窗，且不影响VR直播的正常观看。

参见图4，为不同目标类型的显示元素是否录制到视频中的多种情况下，用户视窗的渲染显示方式示意图，根据渲染用户视窗的数据源不同，可分为基于屏幕的渲染显示方式和基于第一虚拟相机的渲染显示方式。

情况一

当2D显示元素(如UI操作图标)被打上了过滤的标签时，即用于生成录制视频的第二画面不包含2D显示元素时，采用基于屏幕的渲染显示方式，直接将VR直播画面渲染显示在用户视窗。具体的，采用基于屏幕的渲染显示方式，将VR直播画面中带有预设过滤标签的2D显示元素渲染在画布中，并将画布显示在用户视窗，即不使用第一虚拟相机拍摄的第二画面渲染显示用户视窗，而是直接将VR直播画面渲染显示在用户视窗。这样，经过打了过滤标签的2D显示元素，可显示在用户能够看到的用户视窗中，但由于使用第二虚拟相机拍摄的第二画面生成录制视频，且非录制的2D显示元素打上了过滤标签，故第二虚拟相机录制的视频中不会包含打了过滤标签的2D显示元素，即可实现UI操作图标的不录制功能。

情况二

当2D显示元素(如：UI操作图标)未被打上过滤的标签时，即用于生成录制视频的第二画面包含此2D显示元素时，采用基于第一虚拟相机的渲染显示方式，使用第一虚拟相机拍摄的第一画面渲染显示用户视窗。具体的，采用基于第一虚拟相机的渲染显示方式，将第一虚拟相机拍摄的第一画面渲染在画布中，并将画布显示在用户视窗，由于第一相机拍摄的第一画面不受过滤标签的影响，因此，第一画面包含VR直播画面中的所有显示元素(包括2D显示元素)。由于未被打上过滤标签的2D显示元素能够被第二虚拟相机拍摄到，因此，使用第二虚拟相机拍摄的第二画面生成的录制视频，同样包含2D显示元素，从而实现第一虚拟相机拍摄的第一画面的渲染显示和第二虚拟相机采集的第二画面的录制，使得2D显示元素既能出现在用户视窗，也能出现在录制的视频中。

情况三

当3D显示元素(如：VR直播中观众发送的礼物)被打上过滤的标签时，即用于生成录制视频的第二画面不包含3D显示元素时，采用基于第一虚拟相机的渲染显示方式，使用第一虚拟相机拍摄的第一画面渲染用户视窗。由于被打上过滤标签的3D显示元素仍然会出现在第一虚拟相机的视野中，而被打上过滤标签的3D显示元素不会出现在第二虚拟相机的视野中，这样，第一虚拟相机拍摄的第一画面仍包含被打上过滤标签的3D显示元素，第二虚拟相机拍摄的第二画面不包含被打上过滤标签的3D显示元素，从而基于第一画面渲染显示用户视窗时，不影响用户的正常观看，且实现了第二虚拟相机对同一用户视窗中此3D显示元素的过滤功能。

情况四

当3D显示元素(如：VR直播中观众发送的礼物)未被打上过滤的标签时，即用于生成录制视频的第二画面包含3D显示元素时，采用基于第一虚拟相机的渲染显示方式，使用第一虚拟相机拍摄的第一画面渲染用户视窗。由于未被打上过滤的标签的3D显示元素均能够被第一虚拟相机和第二虚拟相机拍摄到，从而基于第一虚拟相机拍摄的第一画面渲染显示用户视窗，基于第二虚拟相机拍摄的第二画面生成录制视频时，用户视窗和录制视频中均包含该3D显示元素，同时满足录制和观看需求。

由上述情况一至情况四可知，用户佩戴VR头戴式显示设备观看VR直播时，无论用户视窗图如何被渲染显示，当录制的显示元素和非录制的显示元素在同一用户视窗显示时，通过使用独立于渲染相机(即第一虚拟相机)之外的录制相机(即第二虚拟相机)，在不影响VR直播被正常观看的情况下，实现了VR直播画面中显示元素的过滤功能，可以得到满足用户需求的录制视频，提高了VR直播画面的自由度。

S303：根据第二虚拟相机拍摄的多帧第二画面，生成VR直播中的录制视频。

本申请实施例可以录制2D的平面视频，也可以录制3D的VR视频。

当生成的录制视频为2D的平面视频时，通多开启多线程，直接将第二虚拟相机拍摄的每帧第二画面发送给编码器，由编码器生成VR直播中录制的平面视频。

参见图5，为本申请实施例提供的平面视频的底层实现示意图，第二虚拟相机拍摄的每帧第二画面(即纹理，Texture)起初被存储到硬盘(RAM)里，然后被CPU解压缩。由于数据在CPU端用二进制数据表示，若想得到视觉可观看的形式，CPU通过Camera.targetTexture命令，将解压缩后第二画面的二进制数据发送给GPU。GPU将接收的数据存储在显存(VRAM)中，显存中有一块内存区域叫做渲染缓存(RenderBuffer)，RenderBuffer只是数据缓存，不能用作Texture渲染。当要渲染这帧第二画面的2D纹理(Texture2D)时，会生成一个帧缓存(FrameBuffer)，将这个帧缓存被添加到物体上(FrameBufferObject)得到2D纹理，GPU通过RenderTexture.active&&Texture2D.readPixels命令，将FrameBufferObject上的2D纹理发送给CPU，由于FrameBufferObject不连接窗口区域，因此，FrameBufferObject的渲染结果不会显示在用户视窗。CPU将2D纹理存储在缓存(Buffer)中，并根据多帧第二画面的2D纹理数据(FrameData)，生成2D的平面视频。

当生成的录制视频为3D的VR视频时，不能直接根据第二虚拟相机采集的第二画面生成录制视频，需要对第二画面处理后生成VR视频。VR视频的具体生成过程参见图6，主要包括以下几步：

S3031：针对每帧第二画面，对第二画面进行旋转，得到上下左右前后6个方向的画面。

一般的，立方体贴图(Cubemap)中的任一个面，通过旋转，都可以转换为其它的5个面。在S3031中，将第二画面作为立方体贴图哪个方向的画面，本申请实施例不做限制性要求。

S3032：将6个方向的画面合并为一张立方体贴图，得到一帧VR全景图像。

在S3032中，针对每帧第二画面旋转后得到的上下左右前后6个方向的画面，将这6个方向的画面合并为一张Cubemap，从而得到一帧VR全景图像。

S3033：开启多线程，对各帧VR全景图像进行编码，生成VR直播中拍摄的VR视频。

在S3033中，通过开启多线程，对一帧一帧的VR全景图像发送给编码器，通过编码生成VR直播中录制的VR视频。

参见图7，为本申请实施例提供的VR视频的底层实现示意图，第二虚拟相机拍摄的每帧第二画面(即纹理，Texture)起初被存储到硬盘(RAM)里，然后被CPU解压缩。由于数据在CPU端用二进制数据表示，若想得到视觉可观看的形式，CPU通过Camera.RenderToCubemap命令，将解压缩后第二画面的二进制数据发送给GPU。GPU将接收的数据进行旋转，得到上下左右前后6个方向的画面数据，并将这6个方向的画面数据进行立方体贴图(Cubemap)，得到一帧VR全景图像数据，并通过Graphics.Blit命令，将VR全景图像数据存储在显存(VRAM)的渲染缓存(RenderBuffer)区域。当要渲染这帧VR全景图像的2D纹理(Texture2D)时，会生成一个帧缓存(FrameBuffer)，将这个帧缓存添加到3D物体上(FrameBufferObject)得到2D纹理，GPU通过Texture2D.SetPixels&&Cubemap.GetPixels命令，将FrameBufferObject上的2D纹理发送给CPU。CPU将2D纹理存储在缓存(Buffer)中，并根据多帧VR全景图像的2D纹理数据(FrameData)，生成3D的VR视频。

本申请提供的视频录制方法中，预先根据实际需求对VR直播画面中的显示元素标记标签以表征该显示元素是否需要被录制，这样，通过在3D空间中创建两个相互绑定的虚拟相机，一个用于拍摄显示在用户视窗的画面，包含VR直播的全部显示元素，一个用于拍摄生成录制视频的画面，不包含被打上过滤的标签的显示元素，两个虚拟相机独立拍摄，可以将录制的显示元素和非录制的显示元素显示在同一视窗时，实现对2D显示元素或3D显示元素的过滤性录制，且不影响VR直播的正常观看，VR直播的自由度更高。同时，通过是否对录制相机拍摄的画面进行旋转，从而录制出2D平面视频或3D VR视频这两种格式的视频，提高了录制视频的多样性。

参见图8，为本申请实施例提供的实现上述视频录制方法时，虚拟现实设备内部软硬件间的时序交互图，主要包括以下几步：

S801：3D引擎创建第一虚拟相机和第二虚拟相机。

S802：3D引擎设置第一虚拟相机拍摄包含VR直播画面中所有显示元素的第一画面，设置第二虚拟相机拍摄不包含被打上被过滤的标签的显示元素的第二画面。

S803：SDK(Software Development Kit，软件开发工具包)获取第二虚拟相机拍摄的第二画面。

S804：SDK过滤掉第二画面中打上被过滤的标签的显示元素的数据。

S805：SDK将第二画面过滤后的剩余数据发送给GPU。

S806：GPU将接收的第二画面的数据存储于RenderTexture区域。

S807：当要生成录制视频时，针对每帧第二画面，GPU生成一个FrameBuffer，将这个FrameBuffer添加到FrameBufferObject上得到Texture2D，并将Texture2D发送给SDK。

S808：SDK将Texture2D解压缩为二进制数据，并将解压缩后的二进制数据发送给编码器。

S809：Encoder(编码器)对各帧第二画面对应的二进制数据进行编码，生成录制视频。

本申请的实施例中，由于用户视窗渲染和视频录制分别使用两个虚拟相机拍摄的画面，且这两个虚拟相机拍摄的画面相互独立，因此，在第二虚拟相机拍摄完不包含VR直播画面中带有被过滤的标签的显示元素的第二画面后，生成录制视频之前，还可以对第二画面进行裁剪，进一步提高录制视频的质量。

如图9所示，为本申请实施例提供的对第二虚拟相机采集的第二画面进行裁剪的示意图，由于在录制过程中，对第二虚拟相机和第一虚拟相机进行了绑定，二者在3D空间中的位置、旋转、视场角一致，理论上，第二虚拟相机拍摄的第二画面应与第一虚拟相机拍摄的第一画面的分辨率大小相同，考虑到UI操作图标等2D显示元素一般分布在图像的边缘区域，如图9所示。当这些2D显示元素带有被过滤的标签时，这些2D显示元素不会出现在第二画面中，但第二画面中仍留有这些2D显示元素的区域，缩小了VR直播主区域在第二画面中的占比。因此，可通过调整第二虚拟相机的景深等方式，改变第二虚拟相机录制的区域，使得第二画面不包含被过滤的2D显示元素的区域，从而实现对第二画面的裁剪。

本申请实施例中，由于用户视窗渲染和视频录制分别使用两个虚拟相机拍摄的画面，且这两个虚拟相机拍摄的画面相互独立，因此，可以对第二画面包含的区域进行调整，进一步提高了录制视频的质量。

基于相同的技术构思，本申请实施例提供一种虚拟现实设备，该虚拟现实设备可执行上述视频录制方法，且能达到相同的技术效果。

参见图10，该虚拟现实设备包括处理器1001、存储器1002和显示屏1003，所述处理器1001、所述存储器1002和所述显示屏1003之间通过总线1004连接；

所述存储器1002存储有计算机程序，所述处理器1001根据所述计算机程序，执行以下操作：

可选的，当目标类型为2D时，所述处理器1001根据所述第二画面是否包含目标类型的显示元素，确定是否使用所述第一虚拟相机拍摄的所述第一画面渲染所述用户视窗，具体操作为：

当所述第二画面不包含2D显示元素时，采用基于屏幕的渲染显示方式，直接将所述VR直播画面渲染显示在所述用户视窗；

当所述第二画面包含2D显示元素时，使用所述第一虚拟相机拍摄的所述第一画面渲染显示所述用户视窗。

可选的，当所述目标类型为3D时，所述处理器1001根据所述第二画面是否包含目标类型的显示元素，确定是否使用所述第一虚拟相机拍摄的所述第一画面渲染所述用户视窗，还执行以下操作：

当所述第二画面不包含3D显示元素时，使用所述第一虚拟相机拍摄的所述第一画面渲染所述用户视窗；

当所述第二画面包含3D显示元素时，使用所述第一虚拟相机拍摄的所述第一画面渲染所述用户视窗。

可选的，当生成的录制视频为2D的平面视频时，所述处理器1001根据所述第二虚拟相机拍摄的多帧第二画面，生成所述VR直播中的录制视频，具体操作为：

开启多线程，直接对所述第二虚拟相机拍摄的每帧第二画面进行编码，生成所述VR直播中录制的平面视频；

可选的，当生成的录制视频为3D的VR视频时，所述处理器1001根据所述第二虚拟相机拍摄的多帧第二画面，生成所述VR直播中的录制视频，具体操作为：

针对每帧第二画面，对所述第二画面进行旋转，得到上下左右前后6个方向的画面，并将6个方向的画面合并为一张立方体贴图，得到一帧VR全景图像；

开启多线程，对各帧VR全景图像进行编码，生成所述VR直播中录制的VR视频。

可选的，所述第二画面拍摄之后，生成视频之前，所述处理器1001还执行：

对所述第二虚拟相机拍摄的第二画面进行裁剪。

可选的，所述第一画面和所述第二画面拍摄的过程中，所述第一虚拟相机和所述第二虚拟相机在3D空间中的位置、旋转、视场角、景深一致。

其中，图10中的处理器1001为CPU和GPU，CPU上可运行3D引擎、SDK、编码器等软件。

需要说明的是，图10仅是一种示例，给出虚拟现实设备实现本申请实施例提供的视频录制方法步骤所必要的硬件。未示出的，该虚拟现实设备还包括扬声器、听筒、镜片、电源接口、通信接口等常规硬件。

本申请实施例还提供一种计算机可读存储介质，用于存储一些指令，这些指令被执行时，可以完成前述实施例中的视频录制方法。

本申请实施例还提供一种计算机程序产品，用于存储计算机程序，该计算机程序用于执行前述实施例中的视频录制方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims

1.一种视频录制方法，其特征在于，应用于VR直播场景，所述方法包括：

2.如权利要求1所述的方法，其特征在于，当目标类型为2D时，所述根据所述第二画面是否包含目标类型的显示元素，确定是否使用所述第一虚拟相机拍摄的所述第一画面渲染所述用户视窗，包括：

3.如权利要求1所述的方法，其特征在于，当所述目标类型为3D时，所述根据所述第二画面是否包含目标类型的显示元素，确定是否使用所述第一虚拟相机拍摄的所述第一画面渲染所述用户视窗，还包括：

4.如权利要求1所述的方法，其特征在于，当生成的录制视频为2D的平面视频时，所述根据所述第二虚拟相机拍摄的多帧第二画面，生成所述VR直播中的录制视频，包括：

开启多线程，直接对所述第二虚拟相机拍摄的每帧第二画面进行编码，生成所述VR直播中录制的平面视频。

5.如权利要求1所述的方法，其特征在于，当生成的录制视频为3D的VR视频时，所述根据所述第二虚拟相机拍摄的多帧第二画面，生成所述VR直播中的录制视频，包括：

6.如权利要求1-5中任一项所述的方法，其特征在于，所述第二画面拍摄之后，生成视频之前，所述方法还包括：

对所述第二虚拟相机拍摄的第二画面进行裁剪。

7.如权利要求1-5中任一项所述的方法，其特征在于，所述第一画面和所述第二画面拍摄的过程中，所述第一虚拟相机和所述第二虚拟相机在3D空间中的位置、旋转、视场角、景深一致。

8.一种虚拟现实设备，其特征在于，包括处理器、存储器和显示屏，所述处理器、所述存储器和所述显示屏之间通过总线连接；

9.如权利要求8所述的虚拟现实设备，其特征在于，当目标类型为2D时，所述处理器根据所述第二画面是否包含目标类型的显示元素，确定是否使用所述第一虚拟相机拍摄的所述第一画面渲染所述用户视窗，具体操作为：

10.如权利要求8所述的虚拟现实设备，其特征在于，当所述目标类型为3D时，所述处理器根据所述第二画面是否包含目标类型的显示元素，确定是否使用所述第一虚拟相机拍摄的所述第一画面渲染所述用户视窗，还执行以下操作：