CN107682688B - 基于增强现实的视频实时录制方法及录制设备 - Google Patents

Abstract

本发明实施例提供了一种基于增强现实的视频实时录制方法及录制设备。所述录制设备，包括AR引擎和3D引擎，其中：所述AR引擎，用于接收图像信息，识别所述图像信息中的目标物体，并提取所述目标物体的属性信息，将所述目标物体的属性信息和所述目标物体所处的环境内容发送给所述3D引擎，所述环境内容包括所述目标物体所处的环境信息；所述3D引擎，用于接收所述AR引擎发送的目标物体的属性信息和环境内容，并根据所述目标物体的属性信息确定所述目标物体所对应的虚拟内容，将所述虚拟内容中需要录制的内容与所述环境内容进行叠加，形成交互内容，以使所述交互内容能被合成为图像，以及将所述交互内容与所述虚拟内容中不需要录制的内容叠加后通过显示单元显示出来。

Description

基于增强现实的视频实时录制方法及录制设备

技术领域

本发明涉及增强现实技术领域，尤其涉及一种基于增强现实的视频实时录制方法及录制设备。

背景技术

AR(Augmented Reality，增强现实)技术是一种全新的人机交互技术，通过智能终端设备和可视化技术将虚拟内容应用到真实世界，使得虚拟内容和真实世界同时叠加到同一个画面或空间呈现给用户。随着智能终端的普及，AR技术的应用愈加广泛，可以通过在智能终端上安装AR应用进行体验。具体的，AR应用的工作流程如下：智能终端通过摄像头拍摄图像帧，对图像帧进行识别，确定AR目标物体；对图像帧中的AR目标物体进行跟踪，确定AR目标物体的位置，获取与所述AR目标物体相关联的AR虚拟内容，对图像帧进行渲染，将所述AR虚拟内容叠加在AR目标物体上进行显示，在终端屏幕上同时显示AR目标物体和AR虚拟内容以供用户进行交互。

目前在AR处理技术中，不但能对一帧或者一副静态的图像上叠加虚拟的内容，而且也可以在已经录制的视频上叠加虚拟内容。

在现有技术中，将录制的视频上叠加虚拟内容一般是先录制一段视频，然后再将需要叠加的虚拟内容叠加到录制好的视频中，通过后期制作的方式将虚拟内容叠加到录制好的视频中，然后再呈现给用户，但无法实现在录制的过程中实时叠加虚拟内同。

因此，在目前的视频AR处理技术中，视频录制者并不清楚虚拟内容的呈现形式、出现时间、动作节奏，因此录制的视频很难跟虚拟内容有机的结合并实现互动。

发明内容

本发明提供了一种基于增强现实的视频实时录制方法及录制设备，将目标物体的环境内容与虚拟内容叠加后，不仅能实现实时录制，而且还能将叠加后的内容实时显示在显示单元上，不但能实现将虚拟内容和录制视频有机结合，并且还能实现与虚拟内容进行互动。

本发明实施例提供了一种录制设备，包括AR引擎和3D引擎，其中：

所述AR引擎，用于接收图像信息，识别所述图像信息中的目标物体，并提取所述目标物体的属性信息，将所述目标物体的属性信息和所述目标物体所处的环境内容发送给所述3D引擎，所述环境内容包括所述目标物体所处的环境信息；

所述3D引擎，用于接收所述AR引擎发送的目标物体的属性信息和环境内容，并根据所述目标物体的属性信息确定所述目标物体所对应的虚拟内容，所述3D引擎使用空白的中间态离屏图像作为绘制目标，将所述绘制目标上叠加环境内容的图像信息和虚拟内容的图像信息，完成对所述中间态离屏图像的渲染，形成交互内容，以使所述交互内容能被合成为图像，将所述交互内容与所述虚拟内容中不需要录制的内容叠加后通过显示单元显示出来；所述共享的模式包括使用ShareContext共享两端的绘制目标，或者EglImage共享两端的绘制目标。

优选地，所述3D引擎具体用于：

在第一绘制目标上绘制环境内容的图像信息，在第二绘制目标绘制虚拟内容中需要录制的内容的图像信息，然后将所述第一绘制目标和第二绘制目标叠加，完成对所述中间态离屏图像的渲染；或者

在同一个绘制目标上先绘制所述环境内容的图像信息，再绘制所述虚拟内容中需要录制的内容的图像信息，完成对所述中间态离屏图像的渲染；或者

在同一个绘制目标上先绘制所述虚拟内容的图像信息，再绘制所述环境内容中需要录制的内容的图像信息，完成对所述中间态离屏图像的渲染。

优选地，所述录制设备还包括：

摄像头，用于将拍摄到的图像信息发送给所述AR引擎。

优选地，所述3D引擎将所述交互内容发送给编码单元进行编码处理，以使编码后的交互内容能被合成为图像。

优选地，所述编码单元包括视频编码单元时：

所述视频编码单元，用于将接收到的所述中间态的离屏图像进行编码，并将图像编码信息发送给媒体文件处理单元；

所述媒体文件处理单元，用于将所述接收到的图像编码信息合成为图像。

优选地，所述编码单元还包括音频编码单元时，所述录制设备还包括：

所述3D引擎，还用于将所述目标物体所对应虚拟内容中的音频信息发送给音频合成单元；

所述音频合成单元，用于接收所述3D引擎发送的虚拟内容的音频信息，并与环境内容的音频信息进行混合，将混合后的音频信息发送给音频编码单元；

所述音频编码单元，用于接收所述音频合成单元发送的音频信息，并对所述音频信息进行编码，将音频编码结果发送给媒体文件处理单元进行处理。

优选地，所述媒体文件处理单元，还用于将接收到的图像编码数据和音频编码数据合并成图像。

优选地，所述录制设备还包括：

存储单元，用于存储虚拟内容，以及目标物体的属性信息与虚拟内容的对应关系。

本发明实施例还提供了一种基于增强现实的视频实时录制方法，所述方法包括：

3D引擎接收AR引擎发送的目标物体的属性信息以及所述目标物体的环境内容，所述环境内容包括所述目标物体所处的环境信息；

所述3D引擎根据所述目标物体的属性信息确定所述目标物体所对应的虚拟内容，所述3D引擎使用空白的离屏图像作为绘制目标，将所述绘制目标上叠加环境内容的图像信息，同时也在所述绘制目标上叠加所述目标物体的虚拟内容中需要录制的内容的图像信息，形成中间态的离屏图像，完成对所述中间态离屏图像的渲染，形成交互内容，以使所述交互内容能被合成为图像，以及将所述交互内容与所述交互内容中不需要录制的内容叠加后通过显示单元显示出来；所述共享的模式包括使用ShareContext共享两端的绘制目标，或者EglImage共享两端的绘制目标。

优选地，所述方法还包括：

所述AR引擎接收摄像头发送的图像信息，并对接收到的图像信息进行分析，确定所述图像信息中的目标物体，并获取所述目标物体的属性信息；

所述AR引擎将所述所述目标物体的属性信息以及所述目标物体的环境内容发送给所述3D引擎。

优选地，所述3D引擎根据所述目标物体的属性信息确定所述目标物体所对应的虚拟内容，包括：

所述3D引擎根据所述目标物体的属性信息以及预先存储的目标物体的虚拟内容与目标物体属性的对应关系确定所述目标物体所对应的虚拟内容。

优选地，所述3D引擎将所述绘制目标上叠加环境内容的的图像信息，同时也在所述绘制目标上叠加虚拟内容的图像信息，完成对中间态离屏图像的渲染，具体包括：

所述3D引擎在第一绘制目标上绘制环境的图像信息，在第二绘制目标绘制虚拟内容中需要录制的内容的图像信息，然后将所述第一绘制目标和第二绘制目标叠加，完成对中间态离屏图像的渲染；或者

所述3D引擎在同一个绘制目标上先绘制环境内容的图像信息，再绘制虚拟内容中需要录制的内容的图像信息，完成对中间态离屏图像的渲染；或者

所述3D引擎在同一个绘制目标上先绘制虚拟内容中需要录制的内容的图像信息，再绘制环境内容的图像信息，完成对中间态离屏图像的渲染。

优选地，所述3D引擎将所述中间态离屏图像和虚拟内容中不需要录制的内容的图像信息进行叠加后，发送至所述显示单元进行显示。

优选地，所述方法还包括：

所述3D引擎将所述交互内容发送给编码单元，以使所述编码单元将所述交互内容编码后发送给媒体文件处理单元进行图像合成。

优选地，所述方法还包括：

所述3D引擎将所述目标物体虚拟内容的音频信息发送给音频合成单元，以使所述音频合成单元将所述虚拟内容的音频部分和所述环境内容的音频部分混合后，发送给音频编码单元进行编码。

优选地，所述方法还包括：

音频合成单元接收所述3D引擎发送的所述目标物体的音频信息，并与所述目标物体环境内容的音频信息混合后发送给音频编码单元；

所述音频编码单元接收所述音频合成单元发送的混合后的音频信息，并对所述音频信息进行编码，将编码结果发送给所述媒体文件处理单元；

所述3D引擎还将所述中间态的离屏图像发送给视频编码单元；

所述视频编码单元将接收到的所述中间态的离屏图像进行编码，并将图像编码信息发送给媒体文件处理单元；

所述媒体文件处理单元将接收到的图像编码数据和音频编码数据进行合成。

本发明实施例所提供的基于增强现实的视频实时录制方法及录制设备，具有以下有益效果：

1、不但可以将目标物体的虚拟内容和环境内容叠加后的视频实时通过显示单元进行显示，而且对叠加后的视频能完成同步录制的功能；

2、在对叠加后的内容进行视频录制或者显示时，还可以实现虚拟内容和实际场景的交互，实现实时互动。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述汇总所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例所提供的录制设备第一结构示意图；

图2是本发明实施例所提供的基于增强现实的视频实时录制方法示意图；

图3是本发明实施例所提供的录制设备第二结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

本发明实施例提供了一种录制设备，可以实现基于AR(Augmented Reality，增强现实)的视频实时录制方法，如图1所示，该录制设备包括摄像头11、AR引擎12、3D引擎13、视频编码单元14、音频合成单元15、音频编码单元16、媒体文件处理单元17和显示单元18，其中：

摄像头11将拍摄到的图像信息传送给AR引擎12，AR引擎12接收到图像信息后识别其中的目标物体，并提取目标物体的属性信息，将目标物体的属性信息和环境内容发送给3D引擎13，其中，环境内容是摄像头拍摄到的实际场景，也即目标物体所处的环境本身，可以包含图像信息，也可以包含环境中的音频信息；3D引擎13接收到目标物体的属性信息和环境内容后，根据目标物体的属性信息确定该目标物体所对应的虚拟内容，并将虚拟内容与所述环境内容后，形成交互内容，所谓的交互内容可以包括图像信息和音频信息，具体的3D引擎13将环境内容的图像信息和虚拟内容的图形信息相叠加，完成对中间态Off-Screen(离屏)图像的渲染，将渲染后的Off-Screen图像共享给视频编码单元14，视频编码单元14接收到Off-Screen图像后对Off-Screen图像进行编码，并将Off-Screen图像的视频编码数据发送给媒体文件处理单元17；3D引擎13还将目标物体虚拟内容的音频信息发送给音频合成单元15，音频合成单元15根据将目标物体虚拟内容的音频信息和环境内容的音频信息进行混合，将混合后的音频信息发送给音频编码单元16，音频编码单元16接收到音频信息后，对音频编码信息进行编码，并将编码后的音频编码数据发送给媒体文件处理单元17；媒体文件处理单元17将接收到的视频编码数据和音频编码数据进行合成，形成最终的图像。

在本发明实施例中，3D引擎获取到的目标物体的虚拟内容中，根据系统的配置，部分虚拟内容需要录制，而部分内容不需要录制而需要直接显示。这样，需要录制的虚拟内容可以和环境内容叠加起来生成交互内容发送给视频编码单元，而对于不需要录制的内容，则和交互内容一起发送给显示单元进行显示。

在本发明实施例中，所述3D引擎还可以将所述渲染后的中间态Off-Screen图像和不需要录制的虚拟内容的图像信息进行叠加后，绘制到作为上屏的渲染目标上，并最终通过显示单元18进行显示。

在本发明实施例中，图像信息可以包括摄像头拍摄到的图片或照片，还可以包括摄像头拍摄到的视频，因此图像信息在某些场景下，还可以指代视频信息(视频中的一帧一帧图像)，本发明对此不做限定。

在本发明实施例中，所述的环境内容是指目标物体所处的环境，如目标物体是人物肖像，摄像头在拍摄人物肖像时，人物肖像的背景、真实环境等均可被认为是环境信息。

在本发明实施例中，叠加后的虚拟内容和环境内容，也可以称为交互内容，或者环境交互内容。交互内容可以呈现虚拟内容与环境内容互动的场景，如营造游戏环境、战争环境、动画环境、魔幻环境、3D效果、以及其他的假想环境等，都可以通过显示单元完成最终的显示。

本发明实施例所提供的录制设备还可以包括存储单元，用来存储虚拟内容，以及目标物体的属性与虚拟内容的对应关系。进一步的，该存储单元还可以存储目标物体的模板信息。

在本发明实施例中，还可以将虚拟内容，以及目标物体的属性与虚拟内容的对应关系存储在服务器中，录制设备需要将目标物体的属性发送给服务器来获取目标物体所对应的虚拟内容。

在本发明实施例所提供的录制设备还可以包括运算单元，可以用来根据目标物体的GIS(Geographic Information System，地理信息系统)信息，并结合图像跟踪及空间重建的方法，计算出目标物体的属性信息。

在本发明实施例中，录制设备可以是用户终端，如智能手机、平板电脑以及其他智能终端，还可以是其他具备本发明实施例所记载功能的智能设备。

在本发明实施例中，显示单元可以集成在录制设备上，作为录制设备的一部分，也可以作为单独的设备存在，如智能手环、智能眼镜或者其他的显示装置。

在本发明实施例中，音频合成单元15可以是麦克风或者其他音频采集设备，集成在录制设备上。音频合成单元15可以自动收集环境内容中的音频信息，并自动将环境内容中的音频信息和接收到的虚拟内容的音频信息进行混合。

在本发明实施例中，所谓的交互内容能被重新合成为图像，具体可以是指交互内容被重新编码后，可以被媒体文件处理单元重新合成为图像。在本实施例另外一个方案中，交互内容也可以被合成为视频，即一帧一帧合成后图像即可被合成视频，也即所谓的AR技术中的录屏功能。在本实施例另外一个方案中，被合成的图像或者视频中还可以包含音频部分的内容。

在本发明实施例中，所谓的AR引擎和3D引擎均为录制设备中的一个模块，在另外的一个方案中，AR引擎和3D引擎的功能也可以集成在一个模块上实现。

需要强调的是，在本发明实施例所提供的录制设备1中，各主要模块的具体功能如下：

AR引擎12，也可以称为增强现实引擎，在接收到摄像头发送的图像信息信息后，对图像信息进行分析，识别出视频或图像中的目标物体，并结合图像的GIS信息，利用空间重建和图像跟踪算法，解析目标物体的属性信息，如位置、场景深度、方向、强度等属性信息，并将目标物体的属性信息及图像信息的环境内容发送给3D引擎13；

3D引擎13，也可以称为游戏引擎或渲染引擎，用来接收AR引擎发送的目标物体的属性信息及图像信息的环境内容，根据目标物体的属性信息查找该目标物体所对应的虚拟内容，并将虚拟内容与环境内容进行叠加，形成交互内容，并将交互内容中的图像信息共享给视频编码单元14。需要说明的是：交互内容可以是相互叠加的虚拟内容和环境内容，可以包含了图像信息和音频信息。

视频编码单元14，也可以称为图像编码单元，用于将3D引擎13发送交互内容进行编码，并输入给媒体文件处理单元17。需要强调的是，由于交互内容中的图像信息所占据的内存空间较大，因此3D引擎和视频编码单元之间图像信息传输的方式采用共享的模式，即3D引擎和视频编码单元在数据传输时采用同样的数据格式，3D引擎直接将需要传输的图像信息打包为视频编码单元可以直接读取的文件包格式，这样视频编码单元在收到3D引擎发送的数据包后可以直接使用，减少了内存之间的文件复制，提高了传输效率和流畅性。

音频合成单元15，接收3D引擎发送的目标物体的虚拟内容的音频信息，并与采集到的环境内容的音频信息进行混合，将混合后的音频信息发送给音频编码单元16

音频编码单元16，接收音频合成单元15发送的混合后的音频信息，并完成对混合后的音频信息完成编码，并输入给媒体文件处理单元17；

媒体文件处理单元17：接收视频编码单元14发送的视频编码数据和音频编码单元16发送的音频编码数据，并将接收到的视频编码数据和音频编码数据完成合并，合并为最终的图像。

本发明实施例所提供的录制设备，可以将目标物体的环境内容和虚拟内容渲染为中间态的Off-Screen图像，并将渲染后的Off-Screen图像重新编码合成为新的视频或图像，也可以将渲染后的Off-Screen图像和其他不需要录制的虚拟内容以及系统内容叠加后送往显示单元进行显示。本发明实施例所提供的录制设备，其不但能实现虚拟内容与目标物体的交互并显示出来，而且还能将交互内容录制并保存。

实施例二：

如图2所示，本发明实施例提供了一种基于增强现实的视频实时录制方法，使用如实施例一所示的录制设备，具体包括：

S1、摄像头采集真实场景下的图像信息，并将采集到的图像信息发送给AR引擎；

具体的，开启录制设备中的摄像头，对真实场景下需要交互的部分进行拍照。

S2、AR引擎对接收到的图像信息进行分析，确定所述图像信息中的目标物体并获取所述目标物体的属性信息，并将所述目标物体的属性信息和环境内容发送3D引擎；

在步骤S2中，AR引擎接收摄像头发送的图像信息，并通过图像检索等方法确定图像中的目标物体，当图像中的目标物体是两个或者两个以上时，可以根据需要选择其中一个或者多个作为目标物体，其选择的方法本发明不做限定，可以是由用户根据喜好进行选择，或者是系统根据设置自动匹配选择等。

在步骤S2中，AR引擎获取所述目标物体的属性信息，具体可以是根据目标物体本身，以及接收到的图像的GIS进行并结合图像跟踪和三维重建来获取目标物体的属性信息，所述属性信息可以是标识目标物体三维空间参数信息和目标物体交互场参数信息，具体可以是目标物体在三维空间中的位置、姿态(场景深度/方向)、强度等信息。

在步骤S2中，环境内容可以是摄像头所拍摄的真实场景，具体表现为所拍摄图像所处的环境，还可以包括所拍摄图像环境中的音频信息等。

S3、所述3D引擎根据接收到目标物体的属性信息获取所述目标物体所对应的虚拟内容，将所述虚拟内容与所述环境内容相叠加，形成交互内容，其中：3D引擎可以将虚拟内容的图像信息与环境内容的图像信息进行叠加，并将叠加后的图像信息发送给视频编码单元或者将叠加后的图像信息发送给显示单元进行显示；3D引擎将虚拟内容的音频信息发送给音频合成单元；

在步骤S3中，为了使得图像信息传输更加流畅，减少传输过程中对内存空间的占用，可以使用共享的方式在3D引擎和视频编码单元之间完成图像的传输。

S4、视频编码单元将接收到的图像信息完成编码后发送给媒体文件处理单元；

在步骤S4中，为了使得图像信息的传输更加流畅，减少传输过程中对内存空间的占用，可以使用共享的方式在视频编码单元和媒体文件处理单元之间完成图像的传输。

S5、音频合成单元接收到虚拟内容的音频信息后与采集到的环境内容的音频信息进行混合，并将混合后的音频信息发送给音频编码模块；

S6、音频编码模块将接收到的混合后音频信息编码后发送给媒体文件处理单元；

S7、媒体文件处理单元将接收到的音频编码数据和视频编码数据合成完整的图像信息。

在本发明实施例中，所述3D引擎根据接收到目标物体的属性信息获取所述目标物体所对应的虚拟内容，将所述虚拟内容的图像信息与所述环境内容的图像信息相叠加，完成对中间态图像的渲染，将渲染成的中间态图像发送给视频编码单元，具体包括：

S21、3D引擎接收目标物体的属性信息后，根据目标物体的属性信息查找所述目标物体所对应的虚拟内容，所述虚拟内容可以包括图像信息，进一步的，还可以包括音频信息，具体的：

S211、预先在用户终端或者服务器上存储有不同目标物体的所对应的虚拟内容，可以使用目标物体的属性信息作为索引，建立目标物体的属性信息与虚拟内容的索引表；

S212、根据目标物体的属性信息去查找目标物体的属性信息与虚拟内容的索引表，确定目标物体所对应的虚拟内容；

S22、3D引擎根据确定的虚拟内容以及所述目标物体的环境内容生成互动环境下的增强现实内容，具体的：

S221、3D引擎绘制中间态的Off-Screen渲染目标，对图像进行渲染，也即将目标物体的虚拟内容与目标物体的环境内容进行内容叠加，具体的：使用空白的Off-Screen作为绘制目标，将该绘制目标上叠加摄像头采集到的环境内容的图像信息，同时也在该绘制目标上叠加查找到的虚拟内容的图像信息，形成中间态的Off-Screen图像，完成对中间态Off-Screen图像的渲染，并将渲染完成的中间态off-Screen图像共享给视频编码单元。

需要说明的是：空白的Off-Screen可以看作是OpenGL(Open Graphics Library，开放图形库)类型的绘制目标，也可以看作是(Direct3D，3D加速卡)D3D的绘制目标，前述绘制目标(Target)可以是Texture(结构)或者renderBuffer(渲染缓冲区)等，前述绘制目标包含有绘制区域，以显存或内存作支持，绘制内容结果不直接做上屏显示，也即绘制结果不会直接显示在显示设备上。

S222、按照步骤S221所示的方法，将后续的每一帧图像完成渲染后，共享给视频编码单元，原则上每一个空白的off-Screen上绘制或者叠加一帧环境交互图像信息以及一帧虚拟部分内容。

在本发明实施例中，可以将渲染完成的中间态off-Screen图像、不需要录制的部分虚拟内容，如UI元素等，甚至还可以包括其他需要显示的系统内容一起进行叠加，绘制到作为上屏的渲染目标上，通过显示屏幕最终呈现出来。

在本发明实施例中：渲染中间态Off-Screen图像所采用的方案至少包括如下三种：

方案一：在一个绘制目标(如TextureA)上绘制环境内容，在另外一个绘制目标(如TextureB)上绘制需要录制的部分虚拟内容，然后将两个绘制目标叠加，完成对中间态Off-Screen图像的渲染；

方案二：在同一个绘制目标Texture上先绘制环境内容后，再绘制需要录制的部分虚拟内容，完成对中间态Off-Screen图像的渲染；

方案三：在同一个绘制目标Texture上先绘制需要录制的部分虚拟内容，再绘制环境内容，完成对中间态Off-Screen图像的渲染。

本发明实施例所提供的基于增强现实的视频实时录制方法，3D引擎可以实时将环境内容和虚拟内容进行叠加，并生成中间态的off-screen图像，并重新编码后，重新合成新的图像信息，这样不但能完成对增强现实图像的实时交互，而且也能完成实时录制。

在本发明实施例中，使用共享的中间结果可以实现录制通路上，从增强现实引擎、3D引擎到编码模块的录屏通路及显示模块通路的流畅性，尽可能减少内存大块之间的复制。如果直接将Off-Screen的中间绘制结果一步一步发送到视频编码的输入内存块之间，有2～3次潜在的CPU内存到CPU内存，或者GPU内存到GPU内存的拷贝，实现GPU绘制结果到编码器识别的内存方式。通过使用共享的方案如ShareContext共享两端的绘制目标(如OpenGL Texture及其他绘制目标)；或者EglImage共享两端的绘制目标(如OpenGL Texture及其他绘制目标)，方案通过对系统的技术特性深入理解，将copy减少到了0～1次，实现了产品级的同时录制和显示复杂的增强现实内容。

在本发明实施例中，针对可能潜在的编码优化和媒体文件的内容进一步消费，方案使用了可编码率和分辨率的编码输出，能实时输出特定文件大小和分辨率的录制文件；并且方案实时地对音视频编码单元写入时间戳，保证了打包出来文件的音视频同步，避免了使用后处理方案可能存在的音视频不同步问题。

实施例三：

本发明实施例还提供了一种基于增强现实的视频实时录制方法，使用实施例一所述的录制设备，该方法包括：

301、智能手机采集真实场景下的图像，如智能手机开启摄像头，启动视频拍摄模式，对现实场景进行录制，如录制包含有人物、建筑、花草树木和室内空间等图像中至少一种；

在本实施例中，以录制设备是智能手机，并且所有的处理和存储均在智能手机上完成为例进行描述。

302、智能手机将采集到的图像信息发送给AR引擎进行处理；

303、AR引擎接收到图像信息后，首先对图像进行分析，使用图像检索的方法，识别出图像中存在的目标物体，即对接收到的图像内容进行检索，检索出图像中所包含的目标物体，如人物、建筑、花草等，其次，根据确定的目标物体并结合图像的GIS信息进行图像跟踪和三维重建，从而计算出目标物体在三维空间中的位置、姿态(场景深度/方向)、强度等属性信息。

具体的，例如AR引擎对图像进行分析后，确定中所包含的目标物体是人物肖像，人物肖像的GIS信息可以综合人物在图像中的相对位置、人物肖像的相对朝向(相对于摄像头的朝向)、人物肖像的绝对位置GPS位置信息，以及大小比例等信息来确定。对人物小小进行图像跟踪以及三维重建后，获得包含人物的空间位置信息以及预先定义的互动信息，如对某个工作的反馈，以及对某个物体的特殊处理等。

304、AR引擎将获取到的目标物体的属性信息发送给3D引擎进行处理；

具体的：AR引擎将人物肖像的属性信息发送给3D引擎，同时也将环境内容，即人物肖像以及该人物肖像目前所处的真实环境发送给3D引擎；

305、3D引擎接收目标物体的属性信息，根据所述属性信息查找所对应的虚拟内容；同时结合确定的虚拟内容和环境内容生成互动环境下的增强现实内容，具体的：

3051、预先在智能手机或者服务器上存储有不同目标物体的所对应的虚拟内容，可以使用目标物体的属性信息作为索引，建立目标物体的属性信息与虚拟内容的索引表，如：在智能手机的存储模块中配置目标物体的标识001(标识人物肖像的属性)、002(标识花草的属性)、003(标识人物建筑物的属性)等与虚拟内容的对应关系。在本实施例中，目标物体的是人物肖像，因此查找人物肖像的属性(001)所对应的虚拟内容即可。在本实施例中，以001所对应的虚拟内容为“对战游戏”为例进行描述。

3052、根据目标物体的属性信息去查找目标物体的属性信息与虚拟内容的索引表，确定目标物体所对应的虚拟内容，根据前述描述，则可以查找到人物肖像的属性所对应的虚拟内容是“对战游戏”，并获取该“对战游戏”虚拟内同。

3053、将目标物体的虚拟内容与目标物体的环境内容进行内容叠加，即绘制中间态的Off-Screen渲染目标，对图像进行渲染，具体的：使用一个空白的Off-Screen作为绘制目标，其中空白的Off-Screen可以是OpenGL/D3D的绘制目标-Target，如Texture，renderBuffer等，其包含有绘制区域，以显存或内存作支持，绘制内容结果不直接做上屏显示；将该绘制目标上叠加用户终端采集到的图像信息，也即环境交互内容，同时也在该绘制目标上叠加查找到的虚拟内容，形成中间态的Off-Screen图像，完成对中间态Off-Screen图像的渲染，并将渲染完成的中间态off-Screen图像共享给视频编码单元。例如：可以在空白的Off-Screen的图像上绘制人物肖像或“对战游戏”，也可以先在空白的Off-Screen的图像上绘制人物肖像所处的真实环境，然后再继续绘制“对战游戏”，或者也可以先在空白的Off-Screen的图像上绘制“对战游戏”，然后再继续绘制人物肖像所处的真实环境。

3054、按照步骤3051所示的方法，将后续的每一帧图像完成渲染后，共享给视频编码单元，原则上每一个空白的off-Screen上绘制或者叠加一帧环境内容的图像信息以及一帧虚拟内容的图像信息。

需要说明的是：在对图像进行渲染时，如果认为部分虚拟内容不需要录屏显示，如UI(接口界面)元素等，可以将中间态的Off-Screen图像和不需要录制的虚拟内容叠加后绘制到作为上屏的渲染目标上，送往用户终端的显示屏幕上进行显示，所谓的上屏渲染目标可以是指用户终端的显示屏幕上选择显示的目标。

306、视频编码单元接收到共享的渲染后的中间态off-Screen图像后，将AR互动所需的内容同步到视频编码模块与3D引擎模块之间，将中间态图像标识的绘制目标，同步到编码模块，由编码模块绘制或拷贝到编码输入单元(以输入Buffer队列做支撑)，由编码模块完成编码，输出视频编码帧数据给媒体文件处理单元。

在步骤306中，共享的方案至可以采用1)使用ShareContext(内容共享)共享两端的绘制目标(如OpenGL Texture或其他绘制目标)；2)使用EglImage共享两端的绘制目标(如OpenGL Texture或其他绘制目标)。

307、3D引擎将目标物体的虚拟内容的音频信息发送给音频合成单元，在本实施例中，音频合成单元以麦克风为例进行描述。

308、音频合成单元接收虚拟内容的音频信息后，与其采集到的环境内容的音频部分进行混合，并将混合后的音频信息发送给音频编码模块；

309、音频编码模块将接收到的音频信息进行编码，并将编码后的音频编码数据发送给媒体文件处理单元；

310、媒体文件处理单元将接收到的音频编码数据和视频编码帧数据进行合成，输出完整的媒体数据。

在本发明实施例中，媒体文件处理单元将合成的媒体数据进行合成，进一步的，还可以将合成的媒体数据进行保存，实现了所谓的录屏功能。

实施例四

如图3所示，本发明实施例还提供了一种录制设备，包括增强现实(AR)引擎401和3D引擎403，其中：

所述AR引擎401，用于接收图像信息，识别所述图像信息中的目标物体，并提取所述目标物体的属性信息，将所述将目标物体的属性信息和所述目标物体所处的环境内容发送给所述3D引擎403，所述环境内容是图像信息中所包含的音频信息或者图像信息；

所述3D引擎403，用于接收所述AR引擎401发送的目标物体的属性信息和环境内容，并根据所述目标物体的属性信息确定所述目标物体所对应的虚拟内容，将所述虚拟内容与所述环境内容进行叠加，形成交互内容，以使所述交互内容能被录制为视频，和/或以使所述交互内容通过显示单元显示出来。

在本发明实施例中，所述3D引擎403具体用于使用空白的中间态Off-Screen(离屏)图像作为绘制目标，将所述绘制目标上叠加环境内容的图像信息和虚拟内容的图像信息，完成对所述中间态Off-Screen图像的渲染，形成所述交互内容。

在本发明实施例中，所述3D引擎403还用于将所述交互内容发送至所述显示单元进行显示。

在本发明实施例中，所述3D引擎403将所述交互内容发送给编码单元405重新进行编码处理，以使重新编码后的交互内容能重新被合成为视频或图像。

在本发明实施例中，所述编码单元405包括视频编码单元4051时：

所述视频编码单元4051，用于将接收到的所述中间态的Off-Screen图像进行编码，并将图像编码信息发送给媒体文件处理单元407；

所述媒体文件处理单元407，用于将所述接收到的图像编码信息合成为视频或图像，并将合成后的视频或图像通过显示单元显示出来。

在本发明实施例中，所述编码单元405还包括音频编码单元4052时，所述录制设备4还包括：

所述3D引擎403，还用于将所述目标物体所对应虚拟内容中的音频信息发送给音频合成单元409；

所述音频合成单元409，用于接收所述3D引擎403发送的虚拟内容的音频信息，并与环境内容的音频信息进行混合，将混合后的音频信息发送给音频编码单元4052；

所述音频编码单元4052，用于接收所述音频合成单元发送的音频信息，并对所述音频信息进行编码，将音频编码结果发送给媒体文件处理单元407进行处理。

需要说明的是，实施例一中的所描述的录制设备，其未详尽描述的地方可以参照实施例二和实施例三中的描述，而实施例二和实施例三所描述到的方法，也可以使用实施例一所描述的录制设备。实施例四中的所描述的录制设备，其未详尽描述的地方可以参照实施例一二、三中的描述。

应该理解，本发明的各种实施例中，上述各过程中序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

另外，本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅是一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或者组件可以结合或者可以继承到一个系统，或者一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或者直接耦合或者通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其他的形式连接。

所述作为分离部件说明的单元可以是或者可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在个单元中。上述集成的单元即可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可以用硬件实现，或者软件实现，或它们的组合方式来实现。当使用软件实现时，可以见上述功能存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何介质。以此为例但不限于：计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。此外，任何连接可以适当的成为计算机可读介质，例如，如果软件是使用同轴电缆、光纤光缆、双绞线、数字用户线(SDL)或者诸如红外线、无线电和微波之类的无线技术包括在所属介质的定影中。如本发明所使用的盘(Disk)和碟(Disc)包括压缩光碟(CD)、激光碟、光碟、数字通用光碟(DVD)、软盘和蓝光光碟，其中盘通常磁性的复制数据，而碟则用激光来光学的复制数据。上面的组合也应当包括在计算机可读介质的保护范围之内。

总之，以上所述仅为本发明技术方案的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种录制设备，其特征在于：包括AR引擎和3D引擎，其中：

所述AR引擎，用于接收视频信息，识别所述视频信息中的目标物体，并提取所述目标物体的属性信息，将所述目标物体的属性信息和所述目标物体所处的环境内容发送给所述3D引擎，所述环境内容包括所述目标物体所处的环境信息；

所述3D引擎，用于接收所述AR引擎发送的目标物体的属性信息和环境内容，并根据所述目标物体的属性信息确定所述目标物体所对应的虚拟内容，所述3D引擎使用空白的中间态离屏图像作为绘制目标，将所述绘制目标上叠加环境内容的图像信息和虚拟内容的图像信息，完成对所述中间态离屏图像的渲染，形成交互内容，并将所述交互内容打包为视频编码单元能直接读取的文件包格式后以共享的模式发送给所述视频编码单元，以使所述交互内容能被所述视频编码单元合成为视频，以及将所述交互内容通过显示单元显示出来；所述共享的模式包括使用ShareContext共享两端的绘制目标，或者EglImage共享两端的绘制目标。

2.根据权利要求1所述的设备，其特征在于：所述3D引擎将所述虚拟内容中需要录制的内容与所述环境内容进行叠加，形成交互内容，并将所述交互内容以共享的模式发送给视频编码单元，以使所述交互内容能被所述视频编码单元合成为视频。

3.根据权利要求2所述的设备，其特征在于：所述3D引擎还用于将所述交互内容与所述虚拟内容中不需要录制的内容叠加后通过所述显示单元显示出来。

4.一种基于增强现实的视频实时录制方法，其特征在于：所述方法包括：

3D引擎接收AR引擎发送的目标物体的属性信息以及所述目标物体的环境内容，所述环境内容包括所述目标物体所处的环境信息；

所述3D引擎根据所述目标物体的属性信息确定所述目标物体所对应的虚拟内容，所述3D引擎使用空白的离屏图像作为绘制目标，将所述绘制目标上叠加环境内容的图像信息，同时也在所述绘制目标上叠加所述目标物体的虚拟内容的图像信息，形成中间态的离屏图像，完成对所述中间态离屏图像的渲染，并将所述目标物体的虚拟内容与所述目标物体的环境内容进行叠加，形成交互内容，并将所述交互内容打包为视频编码单元能直接读取的文件包格式后以共享的模式发送给所述视频编码单元，以使所述交互内容能被所述视频编码单元合成为视频，以及将所述交互内容通过显示单元显示出来；所述共享的模式包括使用ShareContext共享两端的绘制目标，或者EglImage共享两端的绘制目标。

5.根据权利要求4所述的方法，其特征在于：所述3D引擎将所述虚拟内容中需要录制的内容与所述环境内容进行叠加，形成交互内容，并将所述交互内容以共享的模式发送给视频编码单元，以使所述交互内容能被所述视频编码单元合成为视频。

6.根据权利要求5所述的方法，其特征在于：所述3D引擎还用于将所述交互内容与所述虚拟内容中不需要录制的内容叠加后通过所述显示单元显示出来。

7.一种录制设备，其特征在于：包括存储器和处理器，其中：

所述存储器，用于存储代码；

所述处理器，用于执行所述存储器中的代码，执行所述存储器中的代码能实施如权利要求4至6任一所述的方法步骤。

Images