CN110290291A - 画面合成方法和装置以及互动方法 - Google Patents

Abstract

本公开实施例提供了一种画面合成方法和装置以及互动方法。其中，该画面合成方法包括：获取现实场景画面及其实时的拍摄参数、以及实物的动捕数据；其中，现实场景画面为拍摄实物的画面；确定虚拟角色、以及待将虚拟角色置于现实场景画面中的位置；基于待将虚拟角色置于现实场景画面中的位置、现实场景画面实时的拍摄参数和实物的动捕数据，确定虚拟场景画面；将虚拟场景画面与现实场景画面相叠加。通过本公开实施例，解决了如何提高观众的互动参与感的技术问题，而且还提高了观众体验度，也使得互动效果更加真实和细腻。

Description

画面合成方法和装置以及互动方法

技术领域

本公开涉及图像处理技术领域，特别是涉及画面合成方法和装置以及互动方法。

背景技术

目前，在演出中，经常采取虚拟偶像与观众或主持人进行互动的方式。其中，虚拟偶像通过屏幕(例如，LED屏幕)呈现出来。

通过屏幕呈现出虚拟偶像而与观众或主持人互动的方式，类似于视频通话的方式。这会使得虚拟偶像与观众之间产生沟通隔阂,从而会造成参与感差的体验。

因此，现有技术因采用了类似于视频通话的方式进行互动而存在参与感差的缺陷。

公开内容

为了克服上述现有技术存在的缺陷，本公开实施例提供一种画面合成方法和装置以及互动方法，以解决如何提高互动参与感的技术问题。

为了实现上述目的，根据本公开的第一个方面，本公开提供了以下技术方案：

一种画面合成方法，其包括：

获取现实场景画面及其实时的拍摄参数、以及实物的动捕数据；其中，所述现实场景画面为拍摄所述实物的画面；

确定虚拟角色、以及待将所述虚拟角色置于所述现实场景画面中的位置；

基于待将所述虚拟角色置于所述现实场景画面中的所述位置、所述现实场景画面实时的拍摄参数和所述实物的动捕数据，确定虚拟场景画面；

将所述虚拟场景画面与所述现实场景画面相叠加。

在本公开第一个方面的第一种可能的实现方式中，基于待将所述虚拟角色置于所述现实场景画面中的所述位置、所述现实场景画面实时的拍摄参数和所述实物的动捕数据，确定虚拟场景画面的步骤，具体包括：

基于所述现实场景画面实时的拍摄参数，构建虚拟场景背景画面；

基于所述虚拟场景背景画面对虚拟角色进行渲染，得到包括虚拟角色图像的初始虚拟场景画面；

基于所述实物的动捕数据，确定所述虚拟角色图像的运动轨迹；

基于所述初始虚拟场景画面以及所述虚拟角色图像的运动轨迹，形成所述虚拟场景画面。

结合本公开第一个方面的第一种可能的实现方式，在本公开第一个方面的第二种可能的实现方式中，将所述虚拟场景画面与所述现实场景画面相叠加的步骤，具体包括：

获取所述实物的点云数据；其中，所述点云数据包括所述实物上各点与现实摄像机之间的距离数据；所述现实摄像机用于拍摄所述现实场景画面；

根据所述点云数据，将所述现实场景画面分离为实物图像与背景图像；

根据待将该虚拟角色置于现实场景画面中的位置，以及所述实物上各点与所述现实摄像机之间的所述距离数据，判断所述实物图像与所述虚拟角色图像的重叠关系；

根据所述重叠关系，将所述虚拟场景画面与所述现实场景画面相叠加。

结合本公开第一个方面的第二种可能的实现方式，在本公开第一个方面的第三种可能的实现方式中，根据所述重叠关系，将所述虚拟场景画面与所述现实场景画面相叠加的步骤，具体包括：

如果所述实物图像位于所述虚拟角色图像之上，则执行以下步骤：

对所述虚拟角色图像进行裁剪并根据裁剪后的虚拟角色图像确定虚拟场景画面；

将包含裁剪后的虚拟角色图像的虚拟场景画面、所述实物图像和所述背景图像相叠加。

结合本公开第一个方面的第三种可能的实现方式，在本公开第一个方面的第四种可能的实现方式中，对所述虚拟角色图像进行裁剪并根据裁剪后的虚拟角色图像确定虚拟场景画面的步骤，具体包括：

确定所述虚拟角色图像上被遮挡的部位；

按照所述被遮挡的部位的轮廓，对所述虚拟角色图像进行裁剪；

基于所述现实场景画面实时的拍摄参数和裁剪后的虚拟角色图像，确定出所述虚拟场景画面。

结合本公开第一个方面的第三种可能的实现方式，在本公开第一个方面的第五种可能的实现方式中，将包含裁剪后的虚拟角色图像的虚拟场景画面、所述实物图像和所述背景图像相叠加的步骤，具体包括：

将包含裁剪后的虚拟角色图像的虚拟场景画面、所述实物图像和所述背景图像中各像素的三基色值对应相加。

结合本公开第一个方面的第二种可能的实现方式，在本公开第一个方面的第六种可能的实现方式中，根据所述重叠关系，将所述虚拟场景画面与所述现实场景画面相叠加的步骤，具体包括：

如果所述实物图像位于所述虚拟角色图像之下，则执行以下步骤：

基于所述点云数据，对所述实物图像进行裁剪；

将所述虚拟场景画面、裁剪后的实物图像和所述背景图像相叠加。

结合本公开第一个方面的第二种可能的实现方式，在本公开第一个方面的第七种可能的实现方式中，将所述虚拟场景画面、裁剪后的实物图像和所述背景图像相叠加的步骤，具体包括：

将所述虚拟场景画面、裁剪后的实物图像和所述背景图像中各像素的三基色值对应相加。

在本公开第一个方面的第八种可能的实现方式中，所述方法还可以包括：

在叠加后的画面上添加特效；其中，所述特效包括但不限于二维文字特效、图片特效、滤镜特效和/或三维粒子特效。

为了实现上述目的，根据本公开的第二个方面，本公开提供了以下技术方案：

一种互动方法，其包括如本公开第一个方面所述的画面合成方法；其中，所述实物为观众。

为了实现上述目的，根据本公开的第三个方面，本公开提供了以下技术方案：

一种画面合成装置，其包括：

获取模块，用于获取现实场景画面及其实时的拍摄参数，以及实物的动捕数据；其中，所述现实场景画面为拍摄所述实物的画面；

第一确定模块，用于确定虚拟角色、以及待将所述虚拟角色置于所述现实场景画面中的位置；

第二确定模块，用于基于待将所述虚拟角色置于所述现实场景画面中的所述位置、所述现实场景画面实时的拍摄参数和所述实物的动捕数据，确定虚拟场景画面；

叠加模块，用于将所述虚拟场景画面与所述现实场景画面相叠加。

在本公开第二个方面的第一种可能的实现方式中，第二确定模块具体用于：

基于所述现实场景画面实时的拍摄参数，构建虚拟场景背景画面；

基于所述虚拟场景背景画面对虚拟角色进行渲染，得到包括虚拟角色图像的初始虚拟场景画面；

基于所述实物的动捕数据，确定所述虚拟角色图像的运动轨迹；

基于所述初始虚拟场景画面以及所述虚拟角色图像的运动轨迹，形成所述虚拟场景画面。

结合本公开第二个方面的第一种可能的实现方式，在本公开第二个方面的第二种可能的实现方式中，叠加模块具体用于：

获取所述实物的点云数据；其中，所述点云数据包括所述实物上各点与现实摄像机之间的距离数据；所述现实摄像机用于拍摄所述现实场景画面；

根据所述点云数据，将所述现实场景画面分离为实物图像与背景图像；

根据待将该虚拟角色置于现实场景画面中的位置，以及所述实物上各点与所述现实摄像机之间的所述距离数据，判断所述实物图像与所述虚拟角色图像的重叠关系；

根据所述重叠关系，将所述虚拟场景画面与所述现实场景画面相叠加。

结合本公开第二个方面的第二种可能的实现方式，在本公开第二个方面的第三种可能的实现方式中，如果所述实物图像位于所述虚拟角色图像之上，叠加模块具体用于：

对所述虚拟角色图像进行裁剪并根据裁剪后的虚拟角色图像确定虚拟场景画面；

将包含裁剪后的虚拟角色图像的虚拟场景画面、所述实物图像和所述背景图像相叠加。

结合本公开第二个方面的第三种可能的实现方式，在本公开第二个方面的第四种可能的实现方式中，叠加模块具体用于：

确定所述虚拟角色图像上被遮挡的部位；

按照所述被遮挡的部位的轮廓，对所述虚拟角色图像进行裁剪；

基于所述现实场景画面实时的拍摄参数和裁剪后的虚拟角色图像，确定出所述虚拟场景画面。

结合本公开第二个方面的第三种可能的实现方式，在本公开第二个方面的第五种可能的实现方式中，叠加模块具体用于：

将包含裁剪后的虚拟角色图像的虚拟场景画面、所述实物图像和所述背景图像中各像素的三基色值对应相加。

结合本公开第二个方面的第二种可能的实现方式，在本公开第二个方面的第六种可能的实现方式中，如果所述实物图像位于所述虚拟角色图像之下，叠加模块具体用于：

基于所述点云数据，对所述实物图像进行裁剪；

将所述虚拟场景画面、裁剪后的实物图像和所述背景图像相叠加。

结合本公开第二个方面的第二种可能的实现方式，在本公开第二个方面的第七种可能的实现方式中，叠加模块具体用于：

将所述虚拟场景画面、裁剪后的实物图像和所述背景图像中各像素的三基色值对应相加。

在本公开第二个方面的第八种可能的实现方式中，所述装置还可以包括：

特效模块，用于在叠加后的画面上添加特效；其中，所述特效包括但不限于二维文字特效、图片特效、滤镜特效和/或三维粒子特效。

本公开实施例提供一种画面合成方法和装置以及互动方法。其中，该画面合成方法包括：获取现实场景画面及其实时的拍摄参数、以及实物的动捕数据；其中，现实场景画面为拍摄实物的画面；确定虚拟角色、以及待将虚拟角色置于现实场景画面中的位置；基于待将虚拟角色置于现实场景画面中的位置、现实场景画面实时的拍摄参数和实物的动捕数据，确定虚拟场景画面；将虚拟场景画面与现实场景画面相叠加。通过本公开实施例，可以将虚拟偶像融入对话场景中，可以实现虚拟偶像与观众面对面的交流互动，由此提高了观众的互动参与感，进而提高了观众体验度，也使得互动效果更加真实和细腻。

当然，实施本公开的任一产品不一定需要同时实现以上所述的所有优点。

为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例,并配合附图，详细说明如下。本公开的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而得以体现。本公开的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。所要求保护的主题不限于解决在背景技术中提及的任何或所有缺点。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，附图作为本公开的一部分，用来对本公开作进一步的理解。下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1为根据一示例性实施例的、通过屏幕与虚拟角色进行互动的示意图；

图2为根据一示例性实施例的背景图像、观众、小鸡虚拟角色和摄像机的示意图；

图3为根据一示例性实施例的画面合成方法的流程示意图；

图4a为根据一示例性实施例的现实场景画面的示意图；

图4b为根据一示例性实施例的现实摄像机拍摄现实场景画面的示意图；

图4c为根据一示例性实施例的虚拟摄像机拍小鸡虚拟角色的示意图；

图4d为根据一示例性实施例的将现实场景画面分离为实物图像与背景图像的示意图；

图5a为根据一示例性实施例的小鸡虚拟角色图像位于人物图像之上的示意图；

图5b为根据一示例性实施例的人物图像位于小鸡虚拟角色图像之上的示意图；

图6为根据一示例性实施例的画面合成装置的结构示意图。

上述附图和文字描述并不旨在以任何方式来限制本公开的保护范围，而是通过参考特定实施例，以向本领域技术人员说明本公开的概念。并且，任一附图中的标记和文字仅仅是为了更清楚地说明本公开，不应视为对本公开保护范围的不当限定。

具体实施方式

下面通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合而形成技术方案。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。本公开的示意性实施例及其说明可以用于解释本公开，但不构成对本公开保护范围的不当限定。

在诸如舞台演出或节目录制等活动中，如果需要虚拟歌姬或虚拟偶像等虚拟角色与观众进行互动，则通常采用平面影像作为沟通媒介。即：通过在屏幕中呈现出虚拟角色，并结合音响来与观众进行交流。

图1示例性示出了通过屏幕与虚拟角色进行互动的示意图。如图1所示，屏幕11显示出虚拟角色111。人物(12,13)分别通过屏幕11与该虚拟角色111进行互动。

上述互动方式类似于视频通话的互动方式，会给互动带来隔阂感，从而造成互动参与感差的效果。

鉴于此，为了解决如何提高互动参与感的技术问题，本公开实施例提供一种互动方法。

下面对本实施例的应用场景进行简要介绍。

图2示例性地示出了背景图像21、观众22、小鸡虚拟角色23和摄像机25。其中，摄像机以一定的拍摄角度24进行拍摄。该摄像机25可以通过齿轮而设置在云台之上。该观众22可以与小鸡虚拟角色23进行互动。

如图3所示，本公开实施例听一种画面合成方法。该方法主要可以包括步骤S300至步骤S330。其中：

S300：获取现实场景画面及其实时的拍摄参数，以及实物的动捕数据；其中，该现实场景画面为拍摄所述实物的画面。

其中，现实场景画面可以通过摄像机来获取。现实场景画面包括背景图像和实物图像。请参见图4a，其中示例性示出了现实场景画面。该现实场景画面4包括背景画面41和人物的图像42。

在本申请上下文中，拍摄现实场景画面4的摄像机也称为现实摄像机43。

图4b示例性地示出了现实摄像机43拍摄现实场景画面4的示意图。其中，该拍摄参数基于预定的三维坐标系(X,Y,Z)及其原点O。

现实摄像机43固定在云台上。现实摄像机43的转动会带动云台的转动。云台上的齿轮会随着云台的转动而转动。

现实摄像机43的拍摄参数可以包括现实摄像机43的拍摄角度、拍摄高度、水平位置及其变化情况等，可以用于构建虚拟场景画面。该拍摄参数可以通过云台得到；具体而言，可以通过以下方式得到：

云台(例如，带有刻度齿轮的云台、带有轨道机位的云台、带有摇臂机位的云台等)作为现实摄像机43的固定支撑设备可以采集现实摄像机43的工作参数，并根据该工作参数计算出现实摄像机43的位置，具体实现方式如下：

(1)；在现实摄像机转动的过程中，现实摄像机43转过不同的角度，采集该现实摄像机43的转动角度；

(2)当通过摇臂旋转该现实摄像机43的时候，采集现实摄像机43的旋转角度；

(3)在现实摄像机43移动过程中，获取其焦距变化情况；

(4)根据现实摄像机43在轨道上的运动情况，计算出该现实摄像机43的水平位置变化情况；

(5)根据摇臂的角度，通过三角函数，计算出现实摄像机43的水平位置和高度。

以实物为观众为例，上述实物的动捕数据可以通过捕捉观众骨骼的轨迹数据而得到(参见：http://graphics.cs.cmu.edu/projects/sma/jamesTwigg_SMA.pdf)。

S310：确定虚拟角色、以及待将该虚拟角色置于现实场景画面中的位置。

S320：基于该虚拟角色置于现实场景画面中的位置、以及现实场景画面实时的拍摄参数和实物的动捕数据，确定虚拟场景画面。

其中，该虚拟角色例如可以为三维小鸡角色、三维小萝莉角色、三维小仙女角色等。

上述待将该虚拟角色置于现实场景画面中的位置可以根据实际情况来设置。例如，可以将小鸡虚拟角色置于观众的前面，也可以将小鸡虚拟角色置于观众的后面。

作为一个可选的实施例，本步骤具体可以包括：

Sa1：基于现实场景画面实时的拍摄参数，构建虚拟场景背景画面；

Sa2：基于该虚拟场景背景画面对虚拟角色进行渲染，得到包括虚拟角色图像的初始虚拟场景画面；

Sa3：基于该实物的动捕数据，确定虚拟角色图像的运动轨迹；

Sa4：基于初始虚拟场景画面以及虚拟角色图像的运动轨迹，形成虚拟场景画面。

其中，基于现实场景画面实时的拍摄参数，构建虚拟拍摄参数。该虚拟拍摄参数采用与现实场景画面拍摄时相同的三维坐标系和原点。图4c示例性地示出了虚拟摄像机拍小鸡虚拟角色的示意图，并具体示出了虚拟坐标系(X',Y',Z')、虚拟原点(O')、虚拟摄像机43'和小鸡虚拟角色23。

在本实施例中，基于与现实摄像机43具有相同的三维坐标系和原点，以及基于该相同三维坐标系和原点的拍摄参数，来构建与现实场景画面的背景画面相同步的虚拟场景背景画面。这里的同步可以是视角转换、位置转换等的同步。例如，当现实场景画面进行视角转换时，虚拟场景画面也进行相应的视角转换。

上述对虚拟角色的渲染可以通过CPU和/或GPU来实现。

在本实施例中，通过动捕数据来驱动虚拟角色进行动作，以使得该虚拟角色图像与实物图像相协调。虚拟角色图像与实物图像相适应主要是指虚拟角色图像的动作与实物图像的动作相相适应。以实物图像为观众图像为例，当虚拟角色图像显示摆手动作时，观众图像也相应地作出摆手动作，以进行回应。

本实施例通过将获得的现实摄像机43的拍摄参数，作为虚拟摄像机的拍摄参数，以构建与现实场景画面同步的虚拟场景画面；同时，还利用实物的动捕数据来驱动虚拟角色，以得到与实物图像运动相协调的虚拟角色图像，形成连续的图像帧(即在某个时刻，虚拟场景画面和现实场景画面均同时存在一帧RGB(红绿蓝)格式的图片)。由此，可以减少实物与虚拟角色之间的隔阂感，从而可以增强互动参与感。

S330：将虚拟场景画面与现实场景画面相叠加。

本步骤根据实时确定出的虚拟场景画面，来与现实场景画面进行叠加，从而得到实时的合成画面。

为了增强互动参与感，本实施例考虑虚拟场景画面中的虚拟角色的位置根据现实场景画面中实物与显示摄像机间距的变化而变化。其中，在将虚拟角色画面叠加在现实场景画面上时，至少可以分为两种情况：(一)虚拟角色位于现实场景画面中实物的前面、(二)虚拟角色位于现实场景画面中实物的后面。

如果虚拟角色位于现实场景画面中实物的前面，则虚拟角色图像会遮挡住一部分实物图像，因此，需要对虚拟角色图像进行裁剪。如果实物位于虚拟角色的前面，则实物图像会遮挡住虚拟角色图像，因此，需要对实物图像进行裁剪。

作为一个可选的实施例，步骤S330具体包括：

S331：获取实物的点云数据；其中，该点云数据包括实物上各点与现实摄像机之间的距离数据；该现实摄像机用于拍摄所述现实场景画面。

S332：根据点云数据，将现实场景画面分离为实物图像与背景图像。

在本实施例中，可以通过深度相机来获取现实场景中实物的点云数据；然后，通过该点云数据进行计算，由此确定出现实场景中实物与摄像机之间的距离。根据实物上各点距现实摄像机的距离数据，通过逐像素对比，可以判断现实场景画面中实物相对于现实摄像机的的远近情况。再将对比结果与距离数据相结合，据此可以将实物与背景相分离。

图4d示例性地示出了将图4a分离为实物图像与背景图像的示意图。如图5所示，本公开实施例将人物图像与背景图像相分离。

S333：根据待将该虚拟角色置于现实场景画面中的位置，以及实物上各点与现实摄像机之间的距离数据，判断实物图像与虚拟角色图像的重叠关系；

在本步骤中，通过测距感应器对现实场景中的实物进行扫描，得到实物与现实摄像机之间的距离数据。然后，根据该距离数据，判断判断实物图像位于虚拟角色图像之上，还是位于虚拟角色图像之下。图5a示例性地示出了小鸡虚拟角色图像位于人物图像之上的示意图。图5b示例性地示出了人物图像位于小鸡虚拟角色图像之上的示意图。

S334：根据该重叠关系，将虚拟场景画面与现实场景画面相叠加。

作为一个可选的实施例，步骤S334具体可以包括：

Sb1：如果实物图像位于虚拟角色图像之上，则执行步骤Sb2和步骤Sb3。

Sb2：对虚拟角色图像进行裁剪并根据裁剪后的虚拟角色图像确定虚拟场景画面。

具体地，本步骤可以包括：

Sb21：确定虚拟角色图像上被遮挡的部位；

Sb22：按照该被遮挡的部位的轮廓，对虚拟角色图像进行裁剪；

Sb23：基于现实场景画面实时的拍摄参数和裁剪后的虚拟角色图像，确定出虚拟场景画面。

Sb3：将包含裁剪后的虚拟角色图像的虚拟场景画面、实物图像和背景图像相叠加。

Sb4：如果实物图像位于虚拟角色图像之下，则执行步骤Sb5和步骤Sb6。

Sb5：基于点云数据，对实物图像进行裁剪；

具体地，本步骤可以包括：

Sb51：确定实物图像上被遮挡的部位；

Sb52：按照该被遮挡的部位的轮廓，按照实物图像进行裁剪。

Sb6：将虚拟场景画面、裁剪后的实物图像和背景图像相叠加。

本实施例通过采取上述技术方案，例如，可以实现当虚拟角色走到观众前面时可以盖住观众，而走到观众后面时可以被观众图像盖住的逼真效果。

作为一个可选的实施例，步骤Sb3具体可以包括：将包含裁剪后的虚拟角色图像的虚拟场景画面、实物图像和背景图像中各像素的三基色值对应相加。

作为一个可选的实施例，步骤Sb6具体可以包括：将虚拟场景画面、裁剪后的实物图像和背景图像中各像素的三基色值对应相加。

作为一个可选的实施例，在步骤S330之后，画面合成方法还可以包括：

S340：在叠加后的画面上添加特效；其中，所述特效包括但不限于二维文字特效、图片特效、滤镜特效和/或三维粒子特效。

另外，本公开实施例还提供一种互动方法。该互动方法采用上述画面合成方法实施例所述的步骤。

举例而言，该互动方法可以包括步骤S400至步骤S420。其中：

S400：获取实物场景视频图像。其中，该实物场景视频图像包括真实人物图像。

其中，本步骤可以通过摄像机来获取实物场景视频图像。

S410：获取虚拟场景视频图像。其中，该虚拟场景视频图像包括虚拟人物图像。

S420：通过前述画面合成方法实施例所述的步骤，将虚拟场景视频图像与实物场景视频图像相叠加。

综上所述，将本公开与现有技术相比可知：现有技术中沟通的双方通过屏幕进行互动。这种方式需要在屏幕前方进行拍摄，由此会限制摄像机的拍摄角度。拍摄角度的限制会在视觉上降低互动参与感；另外，现有技术中的虚拟角色是以扁平化的形式呈现的。这对于侧重于三维立体效果的虚拟角色不够友好。上述现有技术存在的缺陷均限制了互动参与感。本公开与现有技术不同，通过现实场景画面实时的拍摄参数、以及实物的动捕数据，来构建虚拟场景画面，由此使得虚拟角色与实物相协调，然后再将虚拟角色图像与实物图像相协调的虚拟场景画面与现实场景画面相叠加，从而消除了实物与虚拟角色之间的隔阂感，因而增强了互动参与感。

在上文中，虽然按照上述的顺序描述了画面合成方法和互动方法实施例中的各个步骤，本领域技术人员应清楚，本公开实施例中的步骤并不必然按照上述顺序执行，其也可以倒序、并行、交叉等其他顺序执行，而且，在上述步骤的基础上，本领域技术人员也可以再加入其他步骤，这些明显变型或等同替换的方式也应包含在本公开的保护范围之内，在此不再赘述。

下面为本公开装置实施例，本公开装置实施例用于执行本公开方法实施例实现的步骤，为了便于说明，仅示出了与本公开实施例相关的部分，具体技术细节未揭示的，请参照本公开方法实施例。在本公开各个装置实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独实物存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

为了解决如何提高互动参与感的技术问题，本公开实施例提供一种画面合成装置。如图6所示，该装置主要可以包括：获取模块61、第一确定模块62、第二确定模块63和叠加模块64。其中，获取模块61用于获取现实场景画面及其实时的拍摄参数，以及实物的动捕数据；其中，现实场景画面为拍摄实物的画面。第一确定模块62用于确定虚拟角色、以及待将虚拟角色置于现实场景画面中的位置。第二确定模块63用于基于待将虚拟角色置于现实场景画面中的位置、现实场景画面实时的拍摄参数和实物的动捕数据，确定虚拟场景画面。叠加模块64用于将虚拟场景画面与现实场景画面相叠加。

在一个可选的实施例中，第二确定模块具体用于：基于现实场景画面实时的拍摄参数，构建虚拟场景背景画面；基于虚拟场景背景画面对虚拟角色进行渲染，得到包括虚拟角色图像的初始虚拟场景画面；基于实物的动捕数据，确定虚拟角色图像的运动轨迹；基于初始虚拟场景画面以及虚拟角色图像的运动轨迹，形成虚拟场景画面。

在一个可选的实施例中，叠加模块具体用于：获取实物的点云数据；其中，点云数据包括实物上各点与现实摄像机之间的距离数据；现实摄像机用于拍摄现实场景画面；根据点云数据，将现实场景画面分离为实物图像与背景图像；根据待将该虚拟角色置于现实场景画面中的位置，以及实物上各点与现实摄像机之间的距离数据，判断实物图像与虚拟角色图像的重叠关系；根据重叠关系，将虚拟场景画面与现实场景画面相叠加。

在一个可选的实施例中，如果实物图像位于虚拟角色图像之上，叠加模块具体用于：对虚拟角色图像进行裁剪并根据裁剪后的虚拟角色图像确定虚拟场景画面；将包含裁剪后的虚拟角色图像的虚拟场景画面、实物图像和背景图像相叠加。

在一个可选的实施例中，叠加模块具体用于：确定虚拟角色图像上被遮挡的部位；按照被遮挡的部位的轮廓，对虚拟角色图像进行裁剪；基于现实场景画面实时的拍摄参数和裁剪后的虚拟角色图像，确定出虚拟场景画面。

在一个可选的实施例中，叠加模块具体用于：将包含裁剪后的虚拟角色图像的虚拟场景画面、实物图像和背景图像中各像素的三基色值对应相加。

在一个可选的实施例中，如果实物图像位于虚拟角色图像之下，叠加模块具体用于：基于点云数据，对实物图像进行裁剪；将虚拟场景画面、裁剪后的实物图像和背景图像相叠加。

在一个可选的实施例中，叠加模块具体用于：将虚拟场景画面、裁剪后的实物图像和背景图像中各像素的三基色值对应相加。

在一个可选的实施例中，该画面合成装置还可以包括特效模块。其中，该特效模块用于在叠加后的画面上添加特效；其中，所述特效包括但不限于二维文字特效、图片特效、滤镜特效和/或三维粒子特效。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的画面合成装置的具体工作过程及其解决的技术问题和取得的技术效果，可以参考前述画面合成方法实施例中的对应过程及其解决的技术问题和取得的技术效果，在此不再赘述。

本公开实施例提供的画面合成装置，第二确定模块63通过基于由获取模块61获得的现实场景画面实时的拍摄参数、以及实物的动捕数据，来构建虚拟场景画面，由此使得通过第一确定模块62所确定的虚拟角色与实物相协调，然后再将虚拟角色图像与实物图像相协调的虚拟场景画面与现实场景画面相叠加，从而消除了实物与虚拟角色之间的隔阂感，因而增强了互动参与感。

此外，本公开实施例还提供一种画面合成装置。该装置主要可以包括处理器和存储器。其中，该存储器用于存放计算机程序。该处理器用于执行存储器上所存放的程序时，实现前述画面合成方法实施例所述的步骤。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的画面合成装置的具体工作过程及其解决的技术问题和取得的技术效果，可以参考前述画面合成方法实施例中的对应过程及其解决的技术问题和取得的技术效果，在此不再赘述。

上述处理器可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central Processing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器还可以包括AI(ArtificialIntelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器所执行。

在一些示例性的实施例中，上述画面合成装置还可选地包括：外围设备接口和至少一个外围设备。处理器、存储器和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。

再者，本公开实施例还提供一种计算机可读存储介质，其用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行画面合成方法实施例或互动方法实施例所述的步骤。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的计算机可读存储介质的具体工作过程及其解决的技术问题和取得的技术效果，可以参考前述方法实施例中的对应过程及其解决的技术问题和取得的技术效果，在此不再赘述。

该计算机可读存储介质可应用于终端，该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该指令、该程序、该代码集或该指令集由处理器加载并执行以实现。

上述计算机可读存储介质可以包括但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦写可编程只读存储器(EPROM)、电可擦写可编程只读存储器(EEPROM)、闪存(例如，NOR型闪存或NAND型闪存)、内容可寻址存储器(CAM)、聚合物存储器(例如，铁电聚合物存储器)、相变存储器、双向开关半导体存储器、硅-氧化物-氮化硅-氧化硅-硅(Silicon-Oxide-Nitride-Oxide-Silicon，SONOS)存储器、磁卡或者光卡，亦或是其他任意适当类型的计算机可读存储介质。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

需要说明的是，本文中涉及到的流程图和/或框图不仅仅局限于本文所示的形式，其还可以进行划分和/或组合。

还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。本说明书中的各个实施例均采用相关的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。本领域技术人员在考虑说明书及这里公开的具体实施方式后，会容易想到本发明的其它实施方案。本公开旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开所未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正保护范围由权利要求指出。

以上所述仅为本公开的较佳实施例而已，并非用于限定本公开的保护范围。凡在本公开的精神和原则之内所作的任何修改、等同替换、改进、改变、添加和子组合等，均包含在本公开的保护范围内。

Claims (10)

1.一种画面合成方法，其特征在于，包括：

获取现实场景画面及其实时的拍摄参数、以及实物的动捕数据；其中，所述现实场景画面为拍摄所述实物的画面；

确定虚拟角色、以及待将所述虚拟角色置于所述现实场景画面中的位置；

基于待将所述虚拟角色置于所述现实场景画面中的所述位置、所述现实场景画面实时的拍摄参数和所述实物的动捕数据，确定虚拟场景画面；

将所述虚拟场景画面与所述现实场景画面相叠加。

2.根据权利要求1所述的方法，其特征在于，基于待将所述虚拟角色置于所述现实场景画面中的所述位置、所述现实场景画面实时的拍摄参数和所述实物的动捕数据，确定虚拟场景画面的步骤，具体包括：

基于所述现实场景画面实时的拍摄参数，构建虚拟场景背景画面；

基于所述虚拟场景背景画面对虚拟角色进行渲染，得到包括虚拟角色图像的初始虚拟场景画面；

基于所述实物的动捕数据，确定所述虚拟角色图像的运动轨迹；

基于所述初始虚拟场景画面以及所述虚拟角色图像的运动轨迹，形成所述虚拟场景画面。

3.根据权利要求2所述的方法，其特征在于，将所述虚拟场景画面与所述现实场景画面相叠加的步骤，具体包括：

获取所述实物的点云数据；其中，所述点云数据包括所述实物上各点与现实摄像机之间的距离数据；所述现实摄像机用于拍摄所述现实场景画面；

根据所述点云数据，将所述现实场景画面分离为实物图像与背景图像；

根据待将该虚拟角色置于现实场景画面中的位置，以及所述实物上各点与所述现实摄像机之间的所述距离数据，判断所述实物图像与所述虚拟角色图像的重叠关系；

根据所述重叠关系，将所述虚拟场景画面与所述现实场景画面相叠加。

4.根据权利要求3所述的方法，其特征在于，根据所述重叠关系，将所述虚拟场景画面与所述现实场景画面相叠加的步骤，具体包括：

如果所述实物图像位于所述虚拟角色图像之上，则执行以下步骤：

对所述虚拟角色图像进行裁剪并根据裁剪后的虚拟角色图像确定虚拟场景画面；

将包含裁剪后的虚拟角色图像的虚拟场景画面、所述实物图像和所述背景图像相叠加。

5.根据权利要求4所述的方法，其特征在于，对所述虚拟角色图像进行裁剪并根据裁剪后的虚拟角色图像确定虚拟场景画面的步骤，具体包括：

确定所述虚拟角色图像上被遮挡的部位；

按照所述被遮挡的部位的轮廓，对所述虚拟角色图像进行裁剪；

基于所述现实场景画面实时的拍摄参数和裁剪后的虚拟角色图像，确定出所述虚拟场景画面。

6.根据权利要求4所述的方法，其特征在于，将包含裁剪后的虚拟角色图像的虚拟场景画面、所述实物图像和所述背景图像相叠加的步骤，具体包括：

将包含裁剪后的虚拟角色图像的虚拟场景画面、所述实物图像和所述背景图像中各像素的三基色值对应相加。

7.根据权利要求3所述的方法，其特征在于，根据所述重叠关系，将所述虚拟场景画面与所述现实场景画面相叠加的步骤，具体包括：

如果所述实物图像位于所述虚拟角色图像之下，则执行以下步骤：

基于所述点云数据，对所述实物图像进行裁剪；

将所述虚拟场景画面、裁剪后的实物图像和所述背景图像相叠加。

8.根据权利要求3所述的方法，其特征在于，将所述虚拟场景画面、裁剪后的实物图像和所述背景图像相叠加的步骤，具体包括：

将所述虚拟场景画面、裁剪后的实物图像和所述背景图像中各像素的三基色值对应相加。

9.一种互动方法，其特征在于，包括如权利要求1-8中任一所述的画面合成方法；其中，所述实物为观众。

10.一种画面合成装置，其特征在于，包括：

获取模块，用于获取现实场景画面及其实时的拍摄参数，以及实物的动捕数据；其中，所述现实场景画面为拍摄所述实物的画面；

第一确定模块，用于确定虚拟角色、以及待将所述虚拟角色置于所述现实场景画面中的位置；

第二确定模块，用于基于待将所述虚拟角色置于所述现实场景画面中的所述位置、所述现实场景画面实时的拍摄参数和所述实物的动捕数据，确定虚拟场景画面；

叠加模块，用于将所述虚拟场景画面与所述现实场景画面相叠加。