CN106296789A - 一种虚拟植入物体在实景中穿梭的方法及终端 - Google Patents

Abstract

本发明实施例公开了一种虚拟植入物体在实景中穿梭的方法及终端。该方法包括：从深度传感器获取的每一帧深度图像中提取每个实景物体的信息，每个实景物体的信息包括在深度传感器坐标系下的位置和轮廓大小；在深度传感器获取的相应的彩色图像中提取出每个实景物体的图像；将深度传感器坐标系转化为虚拟场景中的虚拟深度传感器坐标系，在虚拟场景中的相应位置生成与每个实景物体轮廓相同的掩膜，利用提取出的每个实景物体的图像对掩膜进行贴图；将虚拟场景进行投影后覆盖到同步的真实图像上。上述方法和终端可实现虚拟植入物体根据实景物体深度值穿梭于实景物体中而无任何穿帮现象。

Description

一种虚拟植入物体在实景中穿梭的方法及终端

技术领域

本发明涉及虚拟技术领域，尤其涉及一种虚拟植入物体在实景中穿梭的方法及终端。

背景技术

目前虚拟植入系统的应用中，针对各种实景舞台、演播室等，经摄像机拍摄后各种实景物体如主持人、嘉宾、真实道具等，都只能映射为一层视频，因此，再植入的各类三维虚拟植入物体、三维特效等只能处于实景物体(视频)前方或侧面，而不能穿梭在实景物体中(如运动的三维虚拟植入物体在主持人的身后，应该被遮挡，在主持人前面，应该被显示)，给节目录制带来很大的限制，难于实现虚拟植入物体和实景演播室等场景的真实互动和无缝融合。

发明内容

本发明提出了一种虚拟植入物体在实景中穿梭的方法及终端，可实现虚拟植入物体在实景中的互动且没有任何穿帮现象。

一种虚拟植入物体在实景中穿梭的方法，所述方法包括：

获取真实摄像机拍摄的真实图像、深度传感器与所述真实摄像机同步拍摄的深度图像和彩色图像，所述深度传感器摄像头的参数与真实摄像机的参数相匹配；

从每一帧深度图像中提取每个实景物体的信息，所述实景物体的信息包括所述实景物体在深度传感器坐标系下的位置、轮廓大小；

根据深度图像与彩色图像的对应关系和深度图像中每个实景物体的信息，从获取的彩色图像中提取每个实景物体的图像；

根据虚拟植入物体所在虚拟场景的虚拟摄像机的坐标计算出深度传感器在虚拟场景中的坐标；

根据每个实景物体的信息和深度传感器在虚拟场景中的坐标，在虚拟场景中的相应位置生成与每个实景物体轮廓相同的掩膜；

利用提取出的每个实景物体的图像为相应的掩膜进行贴图；

将虚拟场景进行投影后覆盖到同步的真实图像上。

一种终端，所述终端包括：

获取单元，用于获取真实摄像机拍摄的真实图像、深度传感器与所述真实摄像机同步拍摄的深度图像和彩色图像，所述深度传感器摄像头的参数与真实摄像机的参数相匹配；

第一提取单元，用于从每一帧深度图像中提取每个实景物体的信息，所述实景物体的信息包括所述实景物体在深度传感器坐标系下的位置、轮廓大小；

第二提取单元，用于根据深度图像与彩色图像的对应关系和深度图像中每个实景物体的信息，从获取的彩色图像中提取每个实景物体的图像；

计算单元，用于根据虚拟植入物体所在虚拟场景的虚拟摄像机的坐标计算出深度传感器在虚拟场景中的坐标；

生成单元，用于根据每个实景物体的信息和深度传感器在虚拟场景中的坐标，在虚拟场景中的相应位置生成与每个实景物体轮廓相同的掩膜；

贴图单元，用于利用提取出的每个实景物体的图像为相应的掩膜进行贴图；

投影单元，用于将虚拟场景进行投影后覆盖到同步的真实图像上。

上述方法和终端可实现虚拟植入物体根据实景物体深度值在实景场景中互动而无任何穿帮现象。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种方法的示意性流程图；

图2为本发明实施例提供的摄像头的参数相匹配的方法示意性流程图；

图3为图1中S12具体方法的示意性流程图；

图4为本发明实施例提供的一种终端的示意性框图；

图5为本发明实施例提供的第一提取单元的示意性框图；

图6为本发明第二实施例提供的一种终端的示意性框图；

图7为本发明第二实施例提供的匹配单元的示意性框图；

图8为本发明第三实施例提供的一种终端的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

图1是本发明实施例提供的一种方法流程图。该方法应用于虚拟植入系统中。该方法包括S11～S17。

S11，获取真实摄像机拍摄的真实图像、深度传感器与该真实摄像机同步拍摄的深度图像和彩色图像，该深度传感器摄像头的参数与真实摄像机的参数相匹配。

深度传感器安装在真实摄像机的云台/三脚架/摇臂/导轨或者其附属物等的周围。如此，真实摄像机运动时，深度传感器也同步运动。深度传感器可以获取彩色图像以及彩色图像所对应的深度图像。优选地，深度传感器为Kinect传感器。真实摄像机拍摄的图像优选为最大视场角下拍摄的图像，以方便在跟踪的过程中计算。

如图2所示，深度传感器摄像头的参数与真实摄像机的参数相匹配可以通过以下步骤来完成。S21，驱动深度传感器摄像头多次调整参数以设置深度传感器摄像头的参数。其中，参数包括但不限于拍摄方向、拍摄的视场角、焦距等。深度传感器摄像头的参数调整可通过操作人员来调整，也可通过软件来进行调整。S22，计算深度传感器摄像头在每个设置参数下拍摄的彩色图像和真实摄像机拍摄的真实图像的相似度。相似度，优选为结构相似度(structural similarity，SSIM)。结构相似度是一种衡量两幅图像相似度的指标，其值越大表示两幅图像越相似，其值最大为1。S23，选择相似度为最大值的调整参数作为深度传感器摄像头的参数。保存相似度为最大值时真实摄像机与深度传感器的相对位置关系以及相应的参数。在后续的跟踪过程中，真实摄像机与深度传感器的相对位置关系保持不变。

S12，从每一帧深度图像中提取每个实景物体的信息，该实景物体的信息包括所述实景物体在深度传感器坐标系下的位置、轮廓大小。

在跟踪的过程中，无论是固定摄像机机位跟踪还是移动摄像机机位跟踪，从深度传感器获取的每一帧深度图像中获取实景物体的深度信息，从而获得每个实景物体的信息。其中，每个实景物体的信息包括在深度传感器坐标系下的位置(包括坐标、深度等)、轮廓大小。深度传感器坐标系是指深度传感器实体的空间坐标系，该坐标系以深度传感器的中心点为原点，摄像头所对的方向为Z轴正方向建立的右手坐标系。优选地，对每一帧深度图像进行基于边缘检测的干扰消除和改进的联合双边滤波器插值算法处理。优选地，请参看图3，S12包括S31-S34。S31，将深度传感器每一帧中获取的深度图像与彩色图像进行处理以使深度图像与彩色图像的分辨率相同且实景物体显示一致。由于深度传感器的深度摄像头和彩色摄像头并不完全重合，还有一定的距离，因此深度传感器获取的深度图像和彩色图像有一定的差异。将深度传感器获取的深度图像与对应的彩色图像进行处理如裁剪等以使深度图像与彩色图像的分辨率相同且实景物体显示一致。S32，对深度图像与彩色图像分别进行边缘检测以获取深度边缘检测图和彩色边缘检测图。其中，边缘检测的方法可参考目前成熟的方法，再此不在赘述。S33，在深度图像中，将深度边缘检测图与彩色边缘检测图边缘差异部分的值置为零。S34，在深度图像中，将值置为零的部分进行改进的联合双边滤波器插值处理以获取精确的实景物体深度信息，从而获得每个实景物体的信息。优选地，改进的联合双边滤波器插值处理的公式如公式(1)所示。具体地，在深度图像中，根据计算出的权重因子将值置为零的部分进行联合双边滤波器插值处理以获取精确的实景物体深度信息，从而获得每个实景物体的信息，其中，权重因子是根据彩色图像在值置为零的部分及其周围的亮度均值和亮度标准差计算出来的。权重因子的计算公式如公式(2)所示。

其中，I为pq处的深度值，f为空域滤波器，优选地，f为高斯滤波器，g为时域滤波器，优选地，g为均值滤波器，t为权重因子。

$t(S_p-S_q)=\frac{3}{10}\frac{(2u_p{u}_q+\mathrm{\α})(2{\mathrm{\σ}}_{pq}+\mathrm{\β})}{(u_p^2+u_q^2+\mathrm{\α})({\mathrm{\σ}}_p^2+{\mathrm{\σ}}_q^2+\mathrm{\β})}---\left(2\right)$

其中，u为彩色图像在pq周围的亮度均值，σ为亮度标准差，α,β为常数。

计算出的权重因子作为联合双边滤波器插值处理中的权重因子。联合双边滤波器需要引导图，其中，引导图为忽略内部细节并且具有完整边缘的图像。由于彩色图像的边缘信息优于深度图像的边缘信息，因此选择彩色图像作为联合双边滤波器的引导图使用。具体地，由彩色图像作为引导图获取对应深度图像的边缘，在深度图像中值置为零的点的邻域内，进行改进的联合双边滤波器插值以获取精确的实景物体深度信息，从而获得每个实景物体的信息。

S13，根据深度图像与彩色图像的对应关系和深度图像中每个实景物体的信息，从获取的彩色图像中提取每个实景物体的图像。在彩色图像中提取每个实景物体图像的方法包括但不限于基于深度信息的抠像或基于色键的抠像方法。其中，基于深度信息的抠像依据深度传感器获取的深度图像将深度传感器获取的彩色图像中的实景物体提取出来；基于色键的抠像，局限于蓝箱(或绿箱等单色背景)内，即深度传感器的拍摄的实景物体在蓝箱(或绿箱等单色背景)内，将深度传感器获取的彩色图像中输入色键得到色键的输出图像即为实景物体。

S14，根据虚拟植入物体所在虚拟场景的虚拟摄像机的坐标计算出深度传感器在虚拟场景中的坐标。拍摄场景中的真实摄像机的坐标与虚拟场景中的虚拟摄像机的坐标是相匹配的，再根据拍摄场景中的真实摄像机与深度传感器的相对位置关系，计算出深度传感器在虚拟场景中的坐标。

S15，根据每个实景物体的信息和深度传感器在虚拟场景中的坐标，在虚拟场景中的相应位置生成与每个实景物体轮廓相同的掩膜。以深度传感器在虚拟场景中的坐标为原点建立平行于虚拟摄像机的虚拟深度传感器坐标系，再根据每个实景物体的信息，如在深度传感器坐标系下的位置、轮廓大小等，在虚拟场景中的虚拟深度传感器坐标系下的相应位置生成与每个实景物体轮廓相同的掩膜。如此，可达到实景物体在虚拟场景中的掩膜的深度与实景物体在拍摄场景中的深度一致。

S16，利用提取出的每个实景物体的图像为相应的掩膜进行贴图。

S17，将虚拟场景进行投影后覆盖到同步的真实图像上。将虚拟场景中的虚拟植入物体、实景物体的掩膜和掩膜贴图进行投影，将投影后的图像覆盖到真实摄像机拍摄的真实图像上。真实摄像机拍摄的真实图像可以以视频图像的形式显示。虚拟植入系统的视频图像的输入输出可以为SDI、HDMI等各种视频格式，也可为各种流媒体格式。虚拟场景中的实景物体的掩膜和掩膜贴图可以覆盖真实摄像机拍摄的视频图像中相应的实景物体。由于虚拟场景中的实景物体的掩膜是有深度的且与实景物体在拍摄场景中的深度一致，经过深度排序投影后，即可实现虚拟植入物体在实景场景中的互动效果且无任何穿帮现象。

上述实施例可实现虚拟植入物体根据实景物体深度值显示或遮挡于实景物体上，即穿梭于实景物体中，实现虚拟植入物体在实景场景中的互动效果而无任何穿帮现象。

图4为本发明实施例提供的一种终端的示意性框图。该终端40包括获取单元41、第一提取单元42、第二提取单元43、计算单元44、生成单元45、贴图单元46、投影单元47。

获取单元41，用于获取真实摄像机拍摄的真实图像、深度传感器与该真实摄像机同步拍摄的深度图像和彩色图像，该深度传感器摄像头的参数与真实摄像机的参数相匹配。

深度传感器安装在真实摄像机的云台/三脚架/摇臂/导轨或者其附属物等的周围。如此，真实摄像机运动时，深度传感器也同步运动。深度传感器可以获取彩色图像以及彩色图像所对应的深度图像。优选地，深度传感器为Kinect传感器。真实摄像机拍摄的图像优选为最大视场角下拍摄的图像，以方便在跟踪的过程中计算。

第一提取单元42，用于从每一帧深度图像中提取每个实景物体的信息，所述实景物体的信息包括所述实景物体在深度传感器坐标系下的位置、轮廓大小。

在跟踪的过程中，无论是固定摄像机机位跟踪还是移动摄像机机位跟踪，从深度传感器获取的每一帧深度图像中获取实景物体的深度信息，从而获得每个实景物体的信息。其中，每个实景物体的信息包括在深度传感器坐标系下的位置(包括坐标、深度等)、轮廓大小。深度传感器坐标系是指深度传感器实体的空间坐标系，该坐标系以深度传感器的中心点为原点，摄像头所对的方向为Z轴正方向建立的右手坐标系。优选地，对每一帧深度图像进行基于边缘检测的干扰消除和改进的联合双边滤波器插值算法处理。优选地，请参看图5，第一提取单元42包括处理单元51、边缘检测单元52、差异置零单元53、插值处理单元54。处理单元51，用于将深度传感器每一帧中获取的深度图像与彩色图像进行处理以使深度图像与彩色图像的分辨率相同且实景物体显示一致。由于深度传感器的深度摄像头和彩色摄像头并不完全重合，还有一定的距离，因此深度传感器获取的深度图像和彩色图像有一定的差异。将深度传感器获取的深度图像与对应的彩色图像进行处理如裁剪等以使深度图像与彩色图像的分辨率相同且实景物体显示一致。边缘检测单元52，对深度图像与彩色图像分别进行边缘检测以获取深度边缘检测图和彩色边缘检测图。其中，边缘检测的方法可参考目前成熟的方法，再此不在赘述。差异置零单元53，在深度图像中，将深度边缘检测图与彩色边缘检测图边缘差异部分的值置为零。插值处理单元54，在深度图像中，将值置为零的部分进行改进的联合双边滤波器插值处理以获取精确的实景物体深度信息，从而获得每个实景物体的信息。优选地，改进的联合双边滤波器插值处理的公式如公式(1)所示。具体地，在深度图像中，根据计算出的权重因子将值置为零的部分进行联合双边滤波器插值处理以获取精确的实景物体深度信息，从而获得每个实景物体的信息，其中，权重因子是根据彩色图像在值置为零部分及其周围的亮度均值和亮度标准差计算出来的。权重因子的计算公式如公式(2)所示。

计算出的权重因子作为联合双边滤波器插值处理中的权重因子。联合双边滤波器需要使用引导图，其中，引导图为忽略内部细节并且具有完整边缘的图像。由于彩色图像的边缘信息优于深度图像的边缘信息，因此选择彩色图像作为联合双边滤波器的引导图使用。具体地，由彩色图像作为引导图获取对应深度图像的边缘，在深度图像中值置为零的点的邻域内，进行改进的联合双边滤波器插值处理以获取精确的实景物体深度信息，从而获得每个实景物体的信息。

第二提取单元43，用于根据深度图像与彩色图像的对应关系和深度图像中每个实景物体的信息，从获取的彩色图像中提取每个实景物体的图像。在彩色图像中提取每个实景物体图像的方法包括但不限于基于深度信息的抠像或基于色键的抠像方法。其中，基于深度信息的抠像依据深度传感器获取的深度图像将深度传感器获取的彩色图像中的实景物体提取出来；基于色键的抠像，局限于蓝箱(或绿箱等单色背景)内，即深度传感器的拍摄的实景物体在蓝箱(或绿箱等单色背景)内，将深度传感器获取的彩色图像中输入色键得到色键的输出图像即为实景物体。

计算单元44，用于根据虚拟植入物体所在虚拟场景的虚拟摄像机的坐标计算出深度传感器在虚拟场景中的坐标。拍摄场景中的真实摄像机的坐标与虚拟场景中的虚拟摄像机的坐标是相匹配的，再根据拍摄场景中的真实摄像机与深度传感器的相对位置关系，计算出深度传感器在虚拟场景中的坐标。

生成单元45，用于根据每个实景物体的信息和深度传感器在虚拟场景中的坐标，在虚拟场景中的相应位置生成与每个实景物体轮廓相同的掩膜。以深度传感器在虚拟场景中的坐标为原点建立平行于虚拟摄像机的虚拟深度传感器坐标系，再根据每个实景物体的信息，如在深度传感器坐标系下的位置、轮廓大小等，在虚拟场景中的虚拟深度传感器坐标系下的相应位置生成与每个实景物体轮廓相同的掩膜。如此，可达到实景物体在虚拟场景中的掩膜的深度与实景物体在拍摄场景中的深度一致。

贴图单元46，用于利用提取出的每个实景物体的图像为相应的掩膜进行贴图。

投影单元47，用于将虚拟场景进行投影后覆盖到同步的真实图像上。将虚拟场景中的虚拟植入物体、实景物体的掩膜和掩膜贴图进行投影，将投影后的图像覆盖到真实摄像机拍摄的真实图像上。真实摄像机拍摄的真实图像可以以视频图像的形式显示。虚拟植入系统的视频图像的输入输出可以为SDI、HDMI等各种视频格式，也可为各种流媒体格式。虚拟场景中的实景物体的掩膜和掩膜贴图可以覆盖真实摄像机拍摄的视频图像中相应的实景物体。由于虚拟场景中的实景物体的掩膜是有深度的且与实景物体在拍摄场景中的深度一致，经过深度排序投影后，即可实现虚拟植入物体在实景场景中的互动效果且无任何穿帮现象。

上述实施例可实现虚拟植入物体根据实景物体深度值显示或遮挡于实景物体上，即穿梭于实景物体中，可实现虚拟植入物体在实景场景中的互动效果而无任何穿帮现象。

在其他可行的实施例中，如图6所示，终端60包括获取单元61、第一提取单元62、第二提取单元63、计算单元64、生成单元65、贴图单元66、投影单元67、匹配单元68。该终端60与终端40的区别在于：增加了匹配单元68。其中，获取单元61、第一提取单元62、第二提取单元63、计算单元64、生成单元65、贴图单元66、投影单元67请参看图4实施例的描述，再次不在赘述。

匹配单元68，用于使深度传感器摄像头的参数与真实摄像机的参数相匹配。优选地，如图7所示，匹配单元68包括设置单元71、相似度计算单元72、选择单元73。其中，设置单元71，用于驱动深度传感器摄像头多次调整参数以设置深度传感器摄像头的参数。其中，参数包括但不限于拍摄方向、拍摄的视场角、焦距等。深度传感器摄像头的参数调整可通过操作人员来调整，也可通过软件来进行调整。相似度计算单元72，用于计算深度传感器摄像头在每个设置参数下拍摄的彩色图像和真实摄像机拍摄的真实图像的相似度。相似度，优选为结构相似度(structural similarity，SSIM)。结构相似度是一种衡量两幅图像相似度的指标，其值越大表示两幅图像越相似，其值最大为1。选择单元73，用于选择相似度为最大值的调整参数作为深度传感器摄像头的参数。保存相似度为最大值时真实摄像机与深度传感器的相对位置关系以及相应的参数。在后续的跟踪过程中，真实摄像机与深度传感器的相对位置关系保持不变。

图8为本发明另一实施例提供的一种终端的示意性框图。该终端80包括输入装置81、输出装置82、存储器83以及处理器84，输入装置81、输出装置82、存储器83以及处理器84通过总线85连接，其中：

输入装置81，用于提供用户输入信息。具体实现中，本发明实施例的输入装置81可包括键盘、鼠标、光电输入装置、声音输入装置、触摸式输入装置等。

输出装置82，用于输出基准图形中心在深度摄像头坐标系下的坐标等。具体实现中，本发明实施例的输出装置82可包括显示器、显示屏、触摸屏等。

存储器83，用于存储带有各种功能的程序数据。本发明实施例中存储器83存储的数据包括真实摄像机与深度传感器的相对位置关系、实景物体的个数以及实景物体的信息等，以及其他可调用并运行的程序数据。具体实现中，本发明实施例的存储器83可以是系统存储器，比如，挥发性的(诸如RAM)，非易失性的(诸如ROM，闪存等)，或者两者的结合。具体实现中，本发明实施例的存储器83还可以是系统之外的外部存储器，比如，磁盘、光盘、磁带等。

处理器84，用于调用存储器83中存储的程序数据，并执行如下操作：

获取真实摄像机拍摄的真实图像、深度传感器与所述真实摄像机同步拍摄的深度图像和彩色图像，所述深度传感器摄像头的参数与真实摄像机的参数相匹配；从每一帧深度图像中提取每个实景物体的信息，所述实景物体的信息包括所述实景物体在深度传感器坐标系下的位置、轮廓大小；根据深度图像与彩色图像的对应关系和深度图像中每个实景物体的信息，从获取的彩色图像中提取每个实景物体的图像；根据虚拟植入物体所在虚拟场景的虚拟摄像机的坐标计算出深度传感器在虚拟场景中的坐标；根据每个实景物体的信息和深度传感器在虚拟场景中的坐标，在虚拟场景中的相应位置生成与每个实景物体轮廓相同的掩膜；利用提取出的每个实景物体的图像为相应的掩膜进行贴图；将虚拟场景进行投影后覆盖到同步的真实图像上。

处理器84，还执行如下操作：

将深度传感器每一帧中获取的深度图像与彩色图像进行处理以使深度图像与彩色图像的分辨率相同且实景物体显示一致；对深度图像与彩色图像分别进行边缘检测以获取深度边缘检测图和彩色边缘检测图；在深度图像中，将深度边缘检测图与彩色边缘检测图边缘差异部分的值置为零；在深度图像中，将值置为零的部分进行改进的联合双边滤波器插值处理以获取精确的实景物体深度信息，从而获得每个实景物体的信息。

处理器84，还执行如下操作：

驱动深度传感器摄像头多次调整参数以设置深度传感器摄像头的参数；计算深度传感器摄像头在每个设置参数下拍摄的彩色图像和真实摄像机拍摄的真实图像的相似度；选择相似度为最大值的调整参数作为深度传感器摄像头的参数。

在本申请所提供的几个实施例中，应该理解到，所揭露的终端和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种虚拟植入物体在实景中穿梭的方法，其特征在于，所述方法包括：

获取真实摄像机拍摄的真实图像、深度传感器与所述真实摄像机同步拍摄的深度图像和彩色图像，所述深度传感器摄像头的参数与真实摄像机的参数相匹配；

从每一帧深度图像中提取每个实景物体的信息，所述实景物体的信息包括所述实景物体在深度传感器坐标系下的位置、轮廓大小；

根据深度图像与彩色图像的对应关系和深度图像中每个实景物体的信息，从获取的彩色图像中提取每个实景物体的图像；

根据虚拟植入物体所在虚拟场景的虚拟摄像机的坐标计算出深度传感器在虚拟场景中的坐标；

根据每个实景物体的信息和深度传感器在虚拟场景中的坐标，在虚拟场景中的相应位置生成与每个实景物体轮廓相同的掩膜；

利用提取出的每个实景物体的图像为相应的掩膜进行贴图；

将虚拟场景进行投影后覆盖到同步的真实图像上。

2.如权利要求1所述的方法，其特征在于，从每一帧深度图像中提取每个实景物体的信息，包括：

将深度传感器每一帧中获取的深度图像与彩色图像进行处理以使深度图像与彩色图像的分辨率相同且实景物体显示一致；

对深度图像与彩色图像分别进行边缘检测以获取深度边缘检测图和彩色边缘检测图；

在深度图像中，将深度边缘检测图与彩色边缘检测图边缘差异部分的值置为零；

在深度图像中，将值置为零的部分进行改进的联合双边滤波器插值处理以获取精确的实景物体深度信息，从而获得每个实景物体的信息。

3.如权利要求2所述的方法，其特征在于，在深度图像中，将值置为零的部分进行改进的联合双边滤波器插值处理以获取精确的实景物体深度信息，从而获得每个实景物体的信息，包括：

在深度图像中，根据计算出的权重因子将值置为零的部分进行联合双边滤波器插值处理以以获取精确的实景物体深度信息，从而获得每个实景物体的信息，其中，权重因子是根据彩色图像在值置为零部分及其周围的亮度均值和亮度标准差计算出来的。

4.如权利要求1所述的方法，其特征在于，从获取的彩色图像中提取每个实景物体的图像，包括：在深度传感器获取的彩色图像中进行基于深度信息的抠像或者基于色键的抠像以提取每个实景物体的图像。

5.如权利要求1所述的方法，其特征在于，深度传感器摄像头的参数与真实摄像机的参数相匹配，包括：

驱动深度传感器摄像头多次调整参数以设置深度传感器摄像头的参数；

计算深度传感器摄像头在每个设置参数下拍摄的彩色图像和真实摄像机拍摄的真实图像的相似度；

选择相似度为最大值的调整参数作为深度传感器摄像头的参数。

6.一种终端，其特征在于，所述终端包括：

获取单元，用于获取真实摄像机拍摄的真实图像、深度传感器与所述真实摄像机同步拍摄的深度图像和彩色图像，所述深度传感器摄像头的参数与真实摄像机的参数相匹配；

第一提取单元，用于从每一帧深度图像中提取每个实景物体的信息，所述实景物体的信息包括所述实景物体在深度传感器坐标系下的位置、轮廓大小；

第二提取单元，用于根据深度图像与彩色图像的对应关系和深度图像中每个实景物体的信息，从获取的彩色图像中提取每个实景物体的图像；

计算单元，用于根据虚拟植入物体所在虚拟场景的虚拟摄像机的坐标计算出深度传感器在虚拟场景中的坐标；

生成单元，用于根据每个实景物体的信息和深度传感器在虚拟场景中的坐标，在虚拟场景中的相应位置生成与每个实景物体轮廓相同的掩膜；

贴图单元，用于利用提取出的每个实景物体的图像为相应的掩膜进行贴图；

投影单元，用于将虚拟场景进行投影后覆盖到同步的真实图像上。

7.如权利要求6所述的终端，其特征在于，第一提取单元包括：

处理单元，用于将深度传感器每一帧中获取的深度图像与彩色图像进行处理以使深度图像与彩色图像的分辨率相同且实景物体显示一致；

边缘检测单元，用于对深度图像与彩色图像分别进行边缘检测以获取深度边缘检测图和彩色边缘检测图；

差异置零单元，用于在深度图像中，将深度边缘检测图与彩色边缘检测图边缘差异部分的值置为零；

插值处理单元，用于在深度图像中，将值置为零的部分进行改进的联合双边滤波器插值处理以获取精确的实景物体深度信息，从而获得每个实景物体的信息。

8.如权利要求7所述的终端，其特征在于，所述插值处理单元包括：

在深度图像中，根据计算出的权重因子将值置为零的部分进行联合双边滤波器插值处理以获取精确的实景物体深度信息，从而获得每个实景物体的信息，其中，权重因子是根据彩色图像在值置为零部分及其周围的亮度均值和亮度标准差计算出来的。

9.如权利要求6所述的终端，其特征在于，所述第二提取单元包括：根据深度图像与彩色图像的对应关系和深度图像中每个实景物体的信息，在深度传感器获取的彩色图像中进行基于深度信息的抠像或者基于色键的抠像以提取每个实景物体的图像。

10.如权利要求6所述的终端，其特征在于，所述终端还包括匹配单元，用于使深度传感器摄像头的参数与真实摄像机的参数相匹配，所述匹配单元包括：

设置单元，用于驱动深度传感器摄像头多次调整参数以设置深度传感器摄像头的参数；

相似度计算单元，用于计算深度传感器摄像头在每个设置参数下拍摄的彩色图像和真实摄像机拍摄的真实图像的相似度；

选择单元，用于选择相似度为最大值的调整参数作为深度传感器摄像头的参数。