CN105096283A - 全景图像的获取方法和装置 - Google Patents

Abstract

本发明提供了一种全景图像的获取方法和装置，其中该方法包括：获取至少两张第一图像，提取第一图像的背景图像和前景图像，确定至少两张第一图像的背景图像形成的第一重叠图像和第一非重叠图像，确定至少两张第一图像的前景图像形成的第二重叠图像和第二非重叠图像，对第一重叠图像分割得到多个第一分割子图像，对第二重叠图像分割得到多个第二分割子图像，为每个第一分割子图像选取第一拼接子图像，为每个第二分割子图像选取第二拼接子图像，对第一拼接子图像进行拼接得到目标背景图像，对第二拼接子图像进行拼接得到目标前景图像，通过对目标背景图像、目标前景图像、第一非重叠图像和第二非重叠图像进行合成，从而得到高分辨率的目标全景图像。

Description

全景图像的获取方法和装置

技术领域

本发明实施例涉及图像处理技术，尤其涉及全景图像的获取方法和装置。

背景技术

随着科技的发展，人们对于分辨率的追求达到一个新的高度，尤其是显示设备的屏幕越来愈大，这也客观上要求采集设备有更高的分辨率。

目前超高清的视频(图像)采集设备的价格十分昂贵，于是通过相对廉价的较低分辨率的相机组成相机阵列就成了一种自然的替代方案。现有的全景拼接技术，将多个相机的光心重合(或者近似重合)，从而得到大的视场的全景图像。

然而，这些技术需要精密的光学设备以实现多个相机的光心重合，实现过程比较复杂、所需成本较高。

发明内容

本发明提供一种全景图像的获取方法和装置，从而实现无需相机之间共光心，只需要通过标定获得相机的内外参数便可得到大的视场的高分辨率全景图像。

第一方面，本发明实施例提供一种全景图像的获取方法，包括：获取至少两张第一图像；分别提取所述第一图像的背景图像和前景图像；确定至少两张所述第一图像的背景图像形成的第一重叠图像和第一非重叠图像，以及确定至少两张所述第一图像的前景图像形成的第二重叠图像和第二非重叠图像；对所述第一重叠图像进行分割得到多个第一分割子图像，对所述第二重叠图像进行分割得到多个第二分割子图像；为每个所述第一分割子图像在至少两张所述第一图像的背景图像中选取对应第一拼接子图像，为每个所述第二分割子图像在至少两张所述第一图像的前景图像中选取对应的第二拼接子图像；对多个所述第一分割子图像对应的第一拼接子图像进行拼接得到目标背景图像，对多个所述第二分割子图像对应的第二拼接子图像进行拼接得到目标前景图像；对所述目标背景图像、所述目标前景图像、所述第一非重叠图像和所述第二非重叠图像进行合成，得到目标全景图像。

结合第一方面，在第一方面的第一种可能的实现方式中，根据所述第一图像的深度值确定所述第一图像的前景模板；所述第一图像的前景模板为0,1组成的矩阵，在同一像素点处，提取前景模板1所对应的所述第一图像的像素点，构成所述第一图像的前景图像；在同一像素点处，提取前景模板的补中1所对应的所述第一图像的像素点，构成所述第一图像的背景图像。

结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述确定至少两张所述第一图像形成的背景图像的第一重叠图像和第一非重叠图像，以及确定至少两张所述第一图像形成的前景图像的第二重叠图像和第二非重叠图像，具体包括：通过单应变换将每个所述背景图像转换为背景虚拟图像，通过单应变换将每个所述前景图像转换为前景虚拟图像；根据所述背景虚拟图像计算各个所述背景图像的所述第一重叠图像和所述第一非重叠图像，根据所述前景虚拟图像计算各个所述前景图像的所述第二重叠图像和所述第二非重叠图像。

结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述对所述第一重叠图像进行分割得到多个第一分割子图像，包括：计算所述第一重叠图像在各个颜色通道上的第一差值，对所述第一差值依次进行拉普拉斯滤波变换和平滑处理，得到第一摩尔斯函数值；根据所述第一摩尔斯函数值确定所述第一重叠图像上的所述第一分割子图像；对所述第二重叠图像进行分割得到多个第二分割子图像，具体包括：计算所述第二重叠图像在各个颜色通道上的第二差值图像，对所述第二差值图像依次进行拉普拉斯滤波变换和平滑处理，得到第二摩尔斯函数值；根据所述第二摩尔斯函数值确定所述第二重叠图像上的所述第二分割子图像。

结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述根据所述第一摩尔斯函数值确定所述第一重叠图像上的所述第一分割子图像，具体包括：根据所述第一重叠图像上的像素点的第一摩尔斯函数值确定所述第一重叠图像上的第一局部最小值点、第一局部最大值点和第一鞍点；根据每一个所述第一局部最小值点、一个第一局部最大值点和两个所述第一鞍点确定一个第一分割子图像；所述根据所述第二摩尔斯函数值确定所述第二重叠图像上的所述第二分割子图像，具体包括：根据所述第二重叠图像上的像素点的第二摩尔斯函数值确定所述第二重叠图像上的第二局部最小值点，第二局部最大值点和第二鞍点；根据每一个所述第二局部最小值点，一个第二局部最大值点和两个所述第二鞍点确定一个第二分割子图像。

结合第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现方式中，所述根据所述第一摩尔斯函数值确定所述第一重叠图像上的所述第一分割子图像之后，还包括：确定每个所述第一分割子图像的第一最大值点，使用区域算法，根据所述第一最大值点确定所述第一重叠图像对应的第一对偶分割子图像；所述根据所述第二摩尔斯函数值确定所述第二重叠图像上的所述第二分割子图像之后，还包括：确定每个所述第二分割子图像的第二最大值点，使用区域算法，根据所述第二最大值点确定所述第二重叠图像对应的第二对偶分割子图像。

结合第一方面的第五种可能的实现方式，在第一方面的第六种可能的实现方式中，所述为每个所述第一分割子图像在至少两个所述第一图像的背景图像中选取对应第一拼接子图像，具体包括：根据相连的所述第一对偶分割子图像的最大颜色差的平均值计算光滑开销，根据所述第一重叠图像的图像中心到所述第一对偶分割子图像的距离计算数据开销；根据所述光滑开销和所述数据开销为每个所述第一对偶分割子图像选取对应的所述第一拼接子图像；所述为每个所述第二分割子图像在至少两个所述第一图像的前景图像中选取对应的第二拼接子图像，具体包括：根据相连的所述第二对偶分割子图像的最大颜色差的平均值计算光滑开销，根据所述第二重叠图像的图像中心到所述第二对偶分割子图像的距离计算数据开销；根据所述光滑开销和所述数据开销为每个所述第二对偶分割子图像选取对应的所述第二拼接子图像。

结合第一方面的第六种可能的实现方式，在第一方面的第七种可能的实现方式中，所述根据所述光滑开销和所述数据开销为每个所述第一对偶分割子图像选取对应的所述第一拼接子图像，包括：根据所述第一对偶分割子图像构造第一图；根据所述光滑开销和所述数据开销确定所述第一图每条边的权值；根据所述第一图每条边的权值采用图切割方法对所述第一对偶分割子图像进行分类，根据分类结果为每个所述第一对偶分割子图像选取对应的所述第一拼接子图像；所述根据所述光滑开销和所述数据开销为每个所述第二对偶分割子图像选取对应的所述第二拼接子图像，包括：根据所述第二对偶分割子图像构造第二图；根据所述光滑开销和所述数据开销确定所述第二图每条边的权值；根据所述第二图每条边的权值采用图切割方法对所述第二对偶分割子图像进行分类，根据分类结果为每个所述第二对偶分割子图像选取对应的所述第二拼接子图像。

第二方面，本发明实施例提供一种全景图像的获取装置，包括：获取模块，用于获取至少两张第一图像；提取模块，用于提取所述第一图像的背景图像和前景图像；确定模块，用于确定所述至少两张第一图像第一图像的背景图像的第一重叠图像和第一非重叠图像，以及确定所述至少两张第一图像第一图像的前景图像的第二重叠图像和第二非重叠图像；分割模块，用于对所述第一重叠图像进行分割得到多个第一分割子图像，对所述第二重叠图像进行分割得到多个第二分割子图像；选取模块，用于为每个所述第一分割子图像在至少两个所述第一图像的背景图像中选取对应第一拼接子图像，为每个所述第二分割子图像在至少两个所述第一图像的前景图像中选取对应的第二拼接子图像；拼接模块，用于对多个所述第一分割子图像对应的第一拼接子图像进行拼接得到目标背景图像，对多个所述第二分割子图像对应的第二拼接子图像进行拼接得到目标前景图像；合成模块，用于对所述目标背景图像、所述目标前景图像、所述第一非重叠图像和所述第二非重叠图像进行合成，得到目标全景图像。

结合第二方面，在第二方面的第一种可能的实现方式中，根据所述第一图像的深度值确定所述第一图像的前景模板；所述第一前景模板为0,1组成的矩阵，在同一像素点处，提取前景模板1所对应的所述第一图像的像素点，构成所述第一图像的前景图像；在同一像素点处，提取前景模板的补中1所对应的所述第一图像的像素点，构成所述第一图像的背景图像。

结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述确定模块具体用于：通过单应转换将每个所述第一背景图像转换为第一背景虚拟图像，通过单应转换将每个所述第一前景图像转换为第一前景虚拟图像；根据所述第一背景虚拟图像计算各个所述第一背景图像的所述第一重叠图像和所述第一非重叠图像，根据所述第一前景虚拟图像计算各个所述第一前景图像的所述第二重叠图像和所述第二非重叠图像。

结合第二方面或第二方面的第一种可能的实现方式或第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，所述分割模块具体用于：计算所述第一重叠图像在各个颜色通道上的第一差值，对所述第一差值依次进行拉普拉斯滤波变换和平滑处理，得到第一摩尔斯函数值；根据所述第一摩尔斯函数值确定所述第一重叠图像上的所述第一分割子图像；计算所述第二重叠图像在各个颜色通道上的第二差值图像，对所述第二差值图像依次进行拉普拉斯滤波变换和平滑处理，得到第二摩尔斯函数值；根据所述第二摩尔斯函数值确定所述第二重叠图像上的所述第二分割子图像。

结合第二方面的第三种可能的实现方式，在第二方面的第四种可能的实现方式中，所述分割模块还用于：根据所述第一重叠图像上的像素点的第一摩尔斯函数值确定所述第一重叠图像上的第一局部最小值点、第一局部最大值点和第一鞍点；根据每一个所述第一局部最小值点、一个第一局部最大值点和两个所述第一鞍点确定一个第一分割子图像；根据所述第二重叠图像上的像素点的第二摩尔斯函数值确定所述第二重叠图像上的第二局部最小值点，第二局部最大值点和第二鞍点；根据每一个所述第二局部最小值点，一个第二局部最大值点和两个所述第二鞍点确定一个第二分割子图像。

结合第二方面的第四种可能的实现方式，在第二方面的第五种可能的实现方式中，所述分割模块还用于：确定每个所述第一分割子图像的第一最大值点，使用区域算法，根据所述第一最大值点确定所述第一重叠图像对应的第一对偶分割子图像；确定每个所述第二分割子图像的第二最大值点，使用区域算法，根据所述第二最大值点确定所述第二重叠图像对应的第二对偶分割子图像。

结合第二方面的第五种可能的实现方式，在第二方面的第六种可能的实现方式中，所述选取模块具体用于：根据相连的所述第一对偶分割子图像的最大颜色差的平均值计算光滑开销，根据所述第一重叠图像的图像中心到所述第一对偶分割子图像的距离计算数据开销；根据所述光滑开销和所述数据开销为每个所述第一对偶分割子图像选取对应的所述第一拼接子图像；根据相连的所述第二对偶分割子图像的最大颜色差的平均值计算光滑开销，根据所述第二重叠图像的图像中心到所述第二对偶分割子图像的距离计算数据开销；根据所述光滑开销和所述数据开销为每个所述第二对偶分割子图像选取对应的所述第二拼接子图像。

结合第二方面的第六种可能的实现方式，在第二方面的第七种可能的实现方式中，所述选取模块还用于：根据所述第一对偶分割子图像构造第一图，所述第一图包括：多个所述第一对偶分割子图像；根据所述光滑开销和所述数据开销确定所述第一图每条边的权值；根据所述第一图每条边的权值采用图切割方法对所述第一对偶分割子图像进行分类，根据分类结果为每个所述第一对偶分割子图像选取对应的所述第一拼接子图像；所述根据所述光滑开销和所述数据开销为每个所述第二对偶分割子图像选取对应的所述第二拼接子图像，包括：根据所述第二对偶分割子图像构造第二图，所述第二图包括：多个所述第二对偶分割子图像；根据所述光滑开销和所述数据开销确定所述第二图每条边的权值；根据所述第二图每条边的权值采用图切割方法对所述第二对偶分割子图像进行分类，根据分类结果为每个所述第二对偶分割子图像选取对应的所述第二拼接子图像。

本发明实施例提供的全景图像的获取方法和装置，通过对至少两个相机拍摄的第一图像的背景图像的第一重叠图像和前景图像的第二重叠图像进行分割，为每个第一分割子图像在至少两个第一图像的背景图像中选取对应第一拼接子图像，为每个第二分割子图像在至少两个第一图像的前景图像中选取对应的第二拼接子图像，将第一拼接子图像进行拼接得到目标背景图像，将第二拼接子图像进行拼接得到目标前景图像，最后对目标背景图像、目标前景图像、第一非重叠图像和第二非重叠图像进行合成，从而得到更大视场范围的高分辨率目标全景图像。

附图说明

图1为本发明一实施例提供的一种全景图像的获取方法的流程图；

图2为本发明另一实施例提供的一种全景图像的获取方法的流程图；

图3A为本发明一实施例提供的第一分割子图像示意图；

图3B为本发明另一实施例提供的第一分割子图像示意图；

图4A为本发明一实施例提供的目标全景图像示意图；

图4B为本发明另一实施例提供的目标全景图像示意图；

图5为本发明再一实施例提供的一种全景图像的获取方法的流程图；

图6A为本发明再一实施例提供的图切割示意图；

图6B为本发明再一实施例提供的图切割的分类结果示意图；

图6C为本发明又一实施例提供的目标全景图像的示意图；

图7为本发明又一实施例提供的一种全景图像的获取方法的流程图；

图8为本发明又一实施例提供的相机阵列的示意图；

图9为本发明又一实施例提供的背景图像拼接示意图；

图10为本发明一实施例提供的一种全景图像的获取装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明一实施例提供的一种全景图像的获取方法的流程图，该方法适用于图像处理领域，该方法的执行主体可以为全景图像的获取装置，其中该装置可以为计算机等智能设备，全景图像的获取方法的具体步骤包括：

S101：获取至少两张第一图像。

具体地，计算机获得至少两张第一图像，其中每张第一图像为对同一物体不同角度的拍摄图像，由于拍摄角度的不同，因此第一图像的视场范围不同，并且获得拍摄上述第一图像的相机的标定数据，其中标定数据包括相机的内参矩阵，外参矩阵，内参矩阵包括相机的分辨率、焦距等参数，外参矩阵包括相机的平移、旋转等位置参数。

S102：分别提取第一图像的背景图像和前景图像。

可选地，根据第一图像的深度值确定第一图像的前景模板，其中第一图像的前景模板为0,1组成的矩阵，在同一像素点处，提取前景模板1所对应的第一图像的像素点，构成第一图像的前景图像，进一步地，还可在同一像素点处，提取前景模板的补中1所对应的第一图像的像素点，构成第一图像的背景图像。

具体地，对第一图像的深度值进行划分，定义一个阈值范围，深度值在阈值范围之内和在阈值范围之外分别对应数字“1”和“0”，则第一图像可以根据深度值转换为一个由“0”和“1”构成的矩阵，形成的矩阵为前景模板，在同一像素点处，提取前景模板1所对应的第一图像的像素点，构成第一图像的前景图像，进一步地，还可在同一像素点处，提取前景模板的补中1所对应的第一图像的像素点，构成第一图像的背景图像。获取第一图像的前景图像和背景图像的方法还可为其它前景、背景图像检测方法。

S103：确定至少两张第一图像的背景图像形成的第一重叠图像和第一非重叠图像，确定至少两张第一图像的前景图像形成的第二重叠图像和第二非重叠图像。

具体地，通过单应变换将每个背景图像转换为背景虚拟图像，通过单应变换将每个前景图像转换为前景虚拟图像，根据背景虚拟图像计算各个背景图像的第一重叠图像和第一非重叠图像，然后根据前景虚拟图像计算各个前景图像的第二重叠图像和第二非重叠图像。其中单应变换的计算方式可以根据每个相机的内参矩阵、外参矩阵以及深度值确定，该深度值可以为某一第一图像的背景图像的深度值，也可以为自定义的深度值。假设背景虚拟图像所在的平面的法向量n平行于第i个相机所在坐标系的z轴，并且它与该相机之间的距离为z_bg，那么该相机所拍摄的第一图像的背景图像到对应的背景虚拟图像之间的单应变换为这里d表示[001]，K_i表示第i个相机的3x3内参矩阵，其中K_v可以取所有相机内参的平均值，R_v和t_v可以通过对所有相机外参进行插值得到。单应变换的方法不局限与上述方法。最后，根据第一背景虚拟图像计算第一重叠图像和第一非重叠图像，同样的方法，根据第一前景虚拟图像计算第二重叠图像和第二非重叠图像。

S104：对第一重叠图像进行分割得到多个第一分割子图像，对第二重叠图像进行分割得到多个第二分割子图像。

具体地，首先计算第一重叠图像在各个颜色通道上的第一差值，对第一差值依次进行拉普拉斯滤波变换和平滑处理，得到第一摩尔斯函数值，然后根据第一摩尔斯函数值确定第一重叠图像上的第一分割子图像，同样对第二重叠图像进行分割得到多个第二分割子图像，具体包括：计算第二重叠图像在各个颜色通道上的第二差值图像，对第二差值图像依次进行拉普拉斯滤波变换和平滑处理，得到第二摩尔斯函数值，然后根据第二摩尔斯函数值确定第二重叠图像上的第二分割子图像。其中根据第一摩尔斯函数值确定第一重叠图像上的第一分割子图像具体包括：根据第一重叠图像上的像素点的第一摩尔斯函数值确定第一重叠图像上的第一局部最小值点、第一局部最大值点和第一鞍点，根据每一个第一局部最小值点、一个第一局部最大值点和两个第一鞍点确定一个第一分割子图像，也就是说每一个第一分割子图像均包括上述四个点。同样，根据第二摩尔斯函数值确定第二重叠图像上的第二分割子图像，具体包括：根据第二重叠图像上的像素点的第二摩尔斯函数值确定第二重叠图像上的第二局部最小值点，第二局部最大值点和第二鞍点，然后根据每一个第二局部最小值点，一个第二局部最大值点和两个第二鞍点确定一个第二分割子图像。

进一步地，由于第一分割子图像的边界可能存在与第一重叠图像无法对齐的现象，因此在根据第一摩尔斯函数值确定第一重叠图像上的第一分割子图像之后，还包括：确定每个第一分割子图像的第一最大值点，使用区域算法，根据第一最大值点确定第一重叠图像对应的第一对偶分割子图像，同样，根据第二摩尔斯函数值确定第二重叠图像上的所述第二分割子图像之后，还包括：确定每个第二分割子图像的第二最大值点，使用区域算法，根据第二最大值点确定第二重叠图像对应的第二对偶分割子图像。

S105：为每个第一分割子图像在至少两个第一图像的背景图像中选取对应第一拼接子图像，为每个第二分割子图像在至少两个第一图像的前景图像中选取对应的第二拼接子图像。

具体地，首先根据相连的第一对偶分割子图像的最大颜色差的平均值计算光滑开销，根据第一重叠图像的图像中心到第一对偶分割子图像的距离计算数据开销，然后根据所述光滑开销和所述数据开销为每个所述第一对偶分割子图像选取对应的所述第一拼接子图像，为每个第二分割子图像在至少两个第一图像的前景图像中选取对应的第二拼接子图像，具体包括：根据相连的第二对偶分割子图像的最大颜色差的平均值计算光滑开销，根据第二重叠图像的图像中心到第二对偶分割子图像的距离计算数据开销，根据光滑开销和数据开销为每个第二对偶分割子图像选取对应的第二拼接子图像。

进一步地，根据光滑开销和数据开销为每个第一对偶分割子图像选取对应的第一拼接子图像，包括：首先，根据第一对偶分割子图像构造第一图，第一图包括：多个第一对偶分割子图像，其次，根据光滑开销和数据开销确定第一图每条边的权值，最后，根据第一图每条边的权值采用图切割方法对第一对偶分割子图像进行分类，根据分类结果为每个第一对偶分割子图像选取对应的第一拼接子图像，同样地，根据光滑开销和数据开销为每个第二对偶分割子图像选取对应的第二拼接子图像，包括：根据第二对偶分割子图像构造第二图，第二图包括：多个第二对偶分割子图像，根据光滑开销和数据开销确定第二图每条边的权值，根据第二图每条边的权值采用图切割方法对第二对偶分割子图像进行分类，根据分类结果为每个第二对偶分割子图像选取对应的第二拼接子图像。

S106：对多个第一分割子图像对应的第一拼接子图像进行拼接得到目标背景图像，对多个第二分割子图像对应的第二拼接子图像进行拼接得到目标前景图像。

具体地，在选取完第一拼接子图像之后，对所有的第一拼接子图像进行拼接，从而得到目标背景图像，对多个第二分割子图像对应的第二拼接子图像进行拼接得到目标前景图像。

S107：对目标背景图像、目标前景图像、第一非重叠图像和第二非重叠图像进行合成，得到目标全景图像。

具体地，对目标背景图像和目标前景图像通过合成算法形成目标图像，然后对目标图像和第一非重叠图像和第二非重叠图像进行合成，得到目标全景图像。

本发明提供了一种全景图像的获取方法，其中通过对至少两张第一图像的背景图像的第一重叠图像和前景图像的第二重叠图像进行分割，为每个第一分割子图像在至少两个第一图像的背景图像中选取对应第一拼接子图像，为每个第二分割子图像在至少两个第一图像的前景图像中选取对应的第二拼接子图像，将第一拼接子图像进行拼接得到目标背景图像，将第二拼接子图像进行拼接得到目标前景图像，最后对目标背景图像、目标前景图像、第一非重叠图像和第二非重叠图像进行合成，从而得到更大视场范围的高分辨率目标全景图像。

图2为本发明另一实施例提供的一种全景图像的获取方法的流程图，该方法可适用于图像处理技术领域，执行主体可以为计算机等智能设备，其中在上一实施例基础之上，该方法主要是对步骤S104的细化，具体包括如下步骤：

S1041：计算第一重叠图像在各个颜色通道上的第一差值，对第一差值依次进行拉普拉斯滤波变换和平滑处理，得到第一摩尔斯函数值。

具体地，计算第一重叠图像在红、黄、蓝颜色通道上的第一差值，其中差值公式为，I₁和I₂分别表示两张第一图像所对应的颜色函数，(x,y)表示像素点的位置坐标，i表示第i个颜色通道，通过上述的差值公式来衡量第一重叠图像的错位情况，然后对第一差值依次进行拉普拉斯滤波变换和平滑处理，得到第一摩尔斯函数值。

S1042：根据第一摩尔斯函数值确定第一重叠图像上的第一分割子图像。

具体地，根据第一重叠图像上的像素点的第一摩尔斯函数值确定第一重叠图像上的第一局部最小值点、第一局部最大值点和第一鞍点，根据每一个所述第一局部最小值点、一个第一局部最大值点和两个第一鞍点确定一个第一分割子图像，图3A为本发明一实施例提供的第一分割子图像示意图，图3B为本发明另一实施例提供的第一分割子图像示意图，如图3A和图3B所示，每四个点确定一个第一分割子图像，这四个点分别为：第一局部最小值点、一个第一局部最大值点和两个第一鞍点。其中图3A和图3B在平滑处理过程中所选择的平滑参数不相同，因此所得到的第一分割子图像的大小并不相同，例如图3A采用的平滑参数为10，图3B采用的平滑参数为20，一个更大的平滑参数—一个高斯平滑的更大的标准差会得到更大的第一分割子图像。

进一步地，图4A为本发明一实施例提供的目标全景图像示意图，如图4A所示，在得到第一分割子图像之后没有再采用区域算法得到第一对偶分割子图像，因此存在第一分割子图像的边界与第一重叠图像无法对齐的情况，因此可能存在拼接缝隙，图4B为本发明另一实施例提供的目标全景图像示意图，由于根据第一摩尔斯函数值确定第一重叠图像上的第一分割子图像之后，还包括：确定每个第一分割子图像的第一最大值点，使用区域算法，根据第一最大值点确定第一重叠图像对应的第一对偶分割子图像，该方法可以解决第一分割子图像的边界与第一重叠图像无法对齐的问题，因此获得到的目标全景图像不存在拼接缝隙。

进一步地，还可以计算第二重叠图像在各个颜色通道上的第二差值图像，对第二差值图像依次进行拉普拉斯滤波变换和平滑处理，得到第二摩尔斯函数值。

具体地，计算第二重叠图像在红、黄、绿颜色通道上的第二差值，其中差值公式为，I₁和I₂分别表示提供第二图像的两个相机所对应的颜色函数，(x,y)表示像素点的坐标位置，i表示第i个颜色通道，通过上述的差值公式来衡量第二重叠图像的错位情况，然后对第二差值依次进行拉普拉斯滤波变换和平滑处理，得到第二摩尔斯函数值。然后，根据第二摩尔斯函数值确定第二重叠图像上的第二分割子图像。根据第二重叠图像上的像素点的第二摩尔斯函数值确定第二重叠图像上的第二局部最小值点，第二局部最大值点和第二鞍点，根据每一个第二局部最小值点，一个第二局部最大值点和两个第二鞍点确定一个第二分割子图像。根据第二摩尔斯函数值确定第二重叠图像上的第二分割子图像之后，还包括：确定每个第二分割子图像的第二最大值点，使用区域算法，根据第二最大值点确定第二重叠图像对应的第二对偶分割子图像。

本实施例提供了一种全景图像的获取方法，其中通过计算第一摩尔斯函数值和第二摩尔斯函数值，从而确定第一重叠图像上的第一分割子图像和第二重叠图像上的第二分割子图像，进一步地，采用区域算法对第一重叠图像，第二重叠图像进行二次分割，从而实现对第一重叠图像和第二重叠图像的对齐分割，再通过拼接方法进而得到更大视场范围的高分辨率目标全景图像。

图5为本发明再一实施例提供的一种全景图像的获取方法的流程图，该方法可适用于图像处理技术领域，执行主体可以为计算机等智能设备，其中在实施例一的基础之上，该方法主要是对步骤S105的细化，具体包括如下步骤：

S1051：根据相连的第一对偶分割子图像的最大颜色差的平均值计算光滑开销，根据第一重叠图像的图像中心到第一对偶分割子图像的距离计算数据开销。

具体地，对相连的第一对偶分割子图像中的每个像素点在红黄蓝三个颜色通道上求颜色差，该颜色差表示两个相机所拍摄的第一背景虚拟图像在每一个像素点上的颜色差，获取最大颜色差，最后对三个颜色通道上的最大颜色差求平均值，根据平均值确定光滑开销，另外，根据第一重叠图像的图像中心到第一对偶分割子图像的距离计算数据开销。

S1052：根据光滑开销和数据开销为每个第一对偶分割子图像选取对应的第一拼接子图像。

可选地，根据第一对偶分割子图像构造第一图，根据光滑开销和数据开销确定第一图每条边的权值，根据第一图每条边的权值采用图切割方法对第一对偶分割子图像进行分类，根据分类结果为每个第一对偶分割子图像选取对应的第一拼接子图像。例如：假设存在两个相机TL和TR，则采用图切割方法确定第一对偶分割子图像的切割线，由于第一图中除了包括第一对偶切割片，还包括终端节点，该终端节点用来表示某一相机，图6A为本发明再一实施例提供的图切割示意图，节点s和节点t分别表示两个相机，若某一第一对偶分割子图像与节点s在切割线的同一侧，则为该第一对偶分割子图像选节点s对应的相机拍摄的第一背景图像中相应的区域图像为第一拼接子图像，图6B为本发明再一实施例提供的图切割的分类结果示意图，子图像601由属于相机TL拍摄的第一图像所形成的第一分割子图像构成的，子图像602由属于相机TR拍摄的第一图像所形成的第一分割子图像构成的，根据该分割结果可以选择第一拼接子图像，例如子图像601中的某一个第一分割子图像对应的第一拼接子图像取自于TL拍摄的第一图像中同一位置的部分图像，对第一拼接子图像进行拼接最终形成目标背景图像，同样的方法可以选择第二拼接子图像，最终形成目标背景图像，图6C为本发明又一实施例提供的目标全景图像的示意图，如图6C所示，它是经过将对目标背景图像、目标前景图像、第一非重叠图像和第二非重叠图像进行合成，得到目标全景图像。

进一步地，还可以根据相连的第二对偶分割子图像的最大颜色差的平均值计算光滑开销，根据第二重叠图像的图像中心到第二对偶分割子图像的距离计算数据开销。

具体地，对相连的第二对偶分割子图像中的每个像素点在红黄绿三个颜色通道上求颜色差，该颜色差表示两个相机所拍摄的第一前景虚拟图像在每一个像素点上的颜色差，获取最大颜色差，最后对三个颜色通道上的最大颜色差求平均值，根据平均值确定光滑开销，另外，根据第二重叠图像的图像中心到第二对偶分割子图像的距离计算数据开销。然后，根据光滑开销和数据开销为每个第二对偶分割子图像选取对应的第二拼接子图像。可选地，根据第二对偶分割子图像构造第二图，根据光滑开销和数据开销确定第二图每条边的权值，根据第二图每条边的权值采用图切割方法对第二对偶分割子图像进行分类，根据分类结果为每个第二对偶分割子图像选取对应的第二拼接子图像。

本实施例提供了一种全景图像的获取方法，其中主要包括：通过计算光滑开销和数据开销，从而为每个第一对偶分割子图像选取对应的第一拼接子图像和每个第二对偶分割子图像选取对应的第二拼接子图像，在上述图切割方法的基础之上实现有效拼接，从而得到更大视场范围的高分辨率目标全景图像。

图7为本发明又一实施例提供的一种全景图像的获取方法的流程图，该方法可适用于图像处理技术领域，执行主体可以为计算机等智能设备，在上述实施例的基础上，本实施例举出实例说明全景图像的获取方法，图8为本发明又一实施例提供的相机阵列的示意图，假设存在四个相机TL、TR、BL和BR组成2*2的相机阵列，对同一物体进行拍摄，它们的拍摄角度不相同，该深度值可以为某一第一图像的背景图像的深度值，也可以为自定义的深度值，全景图像的获取方法具体包括如下步骤：

S701：获取四张第一图像和对应的四个前景模板。

具体地，计算机获得四张第一图像，其中这四张第一图像分别由四个相机TL、TR、BL和BR组成2*2的相机阵列对同一物体所拍摄的图像，它们的拍摄角度不相同，因此第一图像的视场范围不同，并且获得拍摄上述第一图像的相机的标定数据，其中标定数据包括相机的内参矩阵，外参矩阵，内参矩阵包括相机的分辨率、焦距等参数，外参矩阵包括相机的平移、旋转等位置参数。对第一图像的深度值进行划分，定义一个阈值范围，深度值在阈值范围之内和在阈值范围之外分别对应二进制“1”和“0”，则第一图像可以根据深度值转换为一个由“0”和“1”构成的矩阵

S702：采用前景模板提取每张第一图像的前景图像和背景图像。

具体地，对第一图像的深度值进行划分，定义一个阈值范围，深度值在阈值范围之内和在阈值范围之外分别对应二进制“1”和“0”，则第一图像可以根据深度值转换为一个由“0”和“1”构成的矩阵，形成的矩阵为前景模板，在同一像素点处，提取前景模板1所对应的第一图像的像素点，构成第一图像的前景图像，进一步地，还可在同一像素点处，提取前景模板的补中1所对应的第一图像的像素点，构成第一图像的背景图像，其中获取第一图像的前景图像和背景图像的方法还可为其它前景、背景图像检测方法。

S703：确定背景图像的深度值，以及背景图像到虚拟背景图像的单应变换。

确定深度值方法可以为以某一第一图像的背景图像的深度值作为背景图像的深度值，也可以为自定义的深度值。另外，单应变换的确定方法为：假设背景虚拟图像所在的平面的法向量n平行于第i个相机所在坐标系的z轴，并且它与该相机之间的距离为z_bg，那么该相机所拍摄的第一图像的背景图像到对应的第一背景虚拟图像之间的单应变换为这里d表示[001]，K_i表示第i个相机的3x3内参矩阵，其中K_v可以取所有相机内参的平均值，R_v和t_v可以通过对所有相机外参进行插值得到。单应变换的方法不局限与上述方法。

S704：基于相机TL、TR分别拍摄的第一图像的第一重叠图像进行分割，并基于分割结果进行背景图像的拼接，选取第一拼接子图像，形成目标背景图像。

具体地，首先计算第一重叠图像在各个颜色通道上的第一差值，对第一差值依次进行拉普拉斯滤波变换和平滑处理，得到第一摩尔斯函数值，然后根据第一摩尔斯函数值确定第一重叠图像上的第一分割子图像，其中根据第一摩尔斯函数值确定第一重叠图像上的第一分割子图像具体包括：根据第一重叠图像上的像素点的第一摩尔斯函数值确定第一重叠图像上的第一局部最小值点、第一局部最大值点和第一鞍点，根据每一个第一局部最小值点、一个第一局部最大值点和两个第一鞍点确定一个第一分割子图像，也就是说每一个第一分割子图像均包括上述四个点。进一步地，由于第一分割子图像的边界可能存在与第一重叠图像无法对齐的现象，因此在根据第一摩尔斯函数值确定第一重叠图像上的第一分割子图像之后，还包括：确定每个第一分割子图像的第一最大值点，使用区域算法，根据第一最大值点确定第一重叠图像对应的第一对偶分割子图像。然后，为每个第一分割子图像在至少两个第一图像的背景图像中选取对应第一拼接子图像，形成目标背景图像，包括：根据相连的第一对偶分割子图像的最大颜色差的平均值计算光滑开销，根据第一重叠图像的图像中心到第一对偶分割子图像的距离计算数据开销，然后根据所述光滑开销和所述数据开销为每个所述第一对偶分割子图像选取对应的所述第一拼接子图像，

进一步地，根据光滑开销和数据开销为每个第一对偶分割子图像选取对应的第一拼接子图像，包括：首先，根据第一对偶分割子图像构造第一图，第一图包括：多个第一对偶分割子图像，其次，根据光滑开销和数据开销确定第一图每条边的权值，最后，根据第一图每条边的权值采用图切割方法对第一对偶分割子图像进行分类，根据分类结果为每个第一对偶分割子图像选取对应的第一拼接子图像。最后，对上述的第一拼接子图像进行拼接形成目标背景图像。

S705：基于相机BL、BR分别拍摄的第一图像的第一重叠图像进行分割，并基于分割结果进行背景图像的拼接，选取第一拼接子图像，形成目标背景图像。

该步骤与S704类似，在此不再赘述。

S706：对TL、TR所拍摄的第一图像形成的目标背景图像以及BL、BR所拍摄的第一图像形成的目标背景图像的重叠图像进行分割，并基于分割结果形成最终的目标背景图像。

具体地，图9为本发明又一实施例提供的背景图像拼接示意图，如图9所示，第一行图像分别为相机TL、TR、BL和BR所拍摄的第一图像，第二行左边的图像是TL、TR所拍摄的第一图像形成的目标背景图像，右侧的图像是BL、BR所拍摄的第一图像形成的目标背景图像，第三行图像则为对TL、TR所拍摄的第一图像形成的目标背景图像以及BL、BR所拍摄的第一图像形成的目标背景图像的重叠图像进行分割，并基于分割结果形成最终的目标背景图像。

S707：确定前景图像的深度值，以及前景图像到虚拟前景图像的单应变换。

S708：基于相机TL、TR分别拍摄的第一图像的第二重叠图像进行分割，并基于分割结果进行前景图像的拼接，形成目标前景图像。

由于前景图像的拼接并不能显著增加视场的大小，因此可以只对上面任意两个相机所拍摄的第一图像的前景图像进行拼接即可。

S709：根据上述第一拼接子图像和第二拼接子图像确定目标全景图像。

对上述的目标背景图像、目标前景图像、以及第一图像的背景图像所确定的第一非重叠图像、第一图像的前景图形所确定的第二非重叠图像进行合成，最后得到目标全景图像。如图9所示的背景图像拼接过程得到的目标背景图像，同时类似于图9所示的背景图像拼接过程的前景拼接过程，得到的目标前景图像，并且同时对第一图像的背景图像所确定的第一非重叠图像、第一图像的前景图形所确定的第二非重叠图像进行合成，最后得到目标全景图像。

本发明提供了一种全景图像的获取方法，其中包括对第一重叠图像进行分割，形成第一分割子图像，同样对第二重叠图像进行分割，形成第二分割子图像，为每个第一分割子图像选取对应第一拼接子图像，为每个第二分割子图像选取对应的第二拼接子图像，将第一拼接子图像进行拼接得到目标背景图像，将第二拼接子图像进行拼接得到目标前景图像，最后对目标背景图像、目标前景图像、第一非重叠图像和第二非重叠图像进行合成，从而得到更大视场范围的高分辨率目标全景图像。

图10为本发明一实施例提供的一种全景图像的获取装置的结构示意图，该装置可以为计算机等智能设备，其中全景图像的获取装置包括：获取模块111，用于获取至少两张第一图像；提取模块112，用于提取第一图像的背景图像和前景图像；确定模块113，用于确定至少两张第一图像的背景图像形成的第一重叠图像和第一非重叠图像，以及确定至少两张第一图像的前景图像形成的第二重叠图像和第二非重叠图像；其中提取模块112具体用于：根据第一图像的深度值确定第一图像的前景模板；第一前景模板为0,1组成的矩阵，在同一像素点处，提取前景模板1所对应的第一图像的像素点，构成第一图像的前景图像；在同一像素点处，提取前景模板的补中1所对应的第一图像的像素点，构成第一图像的背景图像。确定模块113具体用于：通过单应转换将每个第一背景图像转换为第一背景虚拟图像，通过单应转换将每个第一前景图像转换为第一前景虚拟图像；根据第一背景虚拟图像计算各个第一背景图像的第一重叠图像和第一非重叠图像，根据第一前景虚拟图像计算各个第一前景图像的第二重叠图像和第二非重叠图像。分割模块114，用于对第一重叠图像进行分割得到多个第一分割子图像，对第二重叠图像进行分割得到多个第二分割子图像；选取模块115，用于为每个第一分割子图像在至少两个第一图像的背景图像中选取对应第一拼接子图像，为每个第二分割子图像在至少两个第一图像的前景图像中选取对应的第二拼接子图像；拼接模块116，用于对多个第一分割子图像对应的第一拼接子图像进行拼接得到目标背景图像，对多个第二分割子图像对应的第二拼接子图像进行拼接得到目标前景图像；合成模块117，用于对目标背景图像、目标前景图像、第一非重叠图像和第二非重叠图像进行合成，得到目标全景图像。

本实施例的全景图像的获取装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

在上一实施例的基础之上，进一步地，分割模块114具体用于：计算第一重叠图像在各个颜色通道上的第一差值，对第一差值依次进行拉普拉斯滤波变换和平滑处理，得到第一摩尔斯函数值；根据所述第一摩尔斯函数值确定第一重叠图像上的第一分割子图像；还用于计算第二重叠图像在各个颜色通道上的第二差值图像，对第二差值图像依次进行拉普拉斯滤波变换和平滑处理，得到第二摩尔斯函数值；根据第二摩尔斯函数值确定第二重叠图像上的第二分割子图像。进一步地，分割模块114还用于：根据第一重叠图像上的像素点的第一摩尔斯函数值确定第一重叠图像上的第一局部最小值点、第一局部最大值点和第一鞍点；根据每一个第一局部最小值点、一个第一局部最大值点和两个第一鞍点确定一个第一分割子图像；还用于根据第二重叠图像上的像素点的第二摩尔斯函数值确定第二重叠图像上的第二局部最小值点，第二局部最大值点和第二鞍点；根据每一个第二局部最小值点，一个第二局部最大值点和两个第二鞍点确定一个第二分割子图像。分割模块114还用于：确定每个第一分割子图像的第一最大值点，使用区域算法，根据第一最大值点确定第一重叠图像对应的第一对偶分割子图像；确定每个第二分割子图像的第二最大值点，使用区域算法，根据第二最大值点确定第二重叠图像对应的第二对偶分割子图像。

本实施例的全景图像的获取装置，可以用于执行图2所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

进一步地，在图10所示装置实施例的基础之上，选取模块115具体用于：根据相连的第一对偶分割子图像的最大颜色差的平均值计算光滑开销，根据第一重叠图像的图像中心到第一对偶分割子图像的距离计算数据开销；根据光滑开销和数据开销为每个第一对偶分割子图像选取对应的第一拼接子图像；根据相连的第二对偶分割子图像的最大颜色差的平均值计算光滑开销，根据第二重叠图像的图像中心到第二对偶分割子图像的距离计算数据开销；根据光滑开销和数据开销为每个第二对偶分割子图像选取对应的第二拼接子图像。此外，选取模块115还用于：根据第一对偶分割子图像构造第一图，第一图包括：多个第一对偶分割子图像；根据光滑开销和数据开销确定第一图每条边的权值；根据第一图每条边的权值采用图切割方法对第一对偶分割子图像进行分类，根据分类结果为每个第一对偶分割子图像选取对应的第一拼接子图像；根据光滑开销和数据开销为每个第二对偶分割子图像选取对应的第二拼接子图像，包括：根据第二对偶分割子图像构造第二图，第二图包括：多个第二对偶分割子图像；根据光滑开销和数据开销确定第二图每条边的权值；根据第二图每条边的权值采用图切割方法对第二对偶分割子图像进行分类，根据分类结果为每个第二对偶分割子图像选取对应的第二拼接子图像。

本实施例的全景图像的获取装置，可以用于执行图5所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (16)

1.一种全景图像的获取方法，其特征在于，包括：

获取至少两张第一图像；

分别提取所述第一图像的背景图像和前景图像；

确定所述至少两张第一图像的背景图像形成的第一重叠图像和第一非重叠图像；

确定所述至少两张第一图像的前景图像形成的第二重叠图像和第二非重叠图像；

对所述第一重叠图像进行分割得到多个第一分割子图像，对所述第二重叠图像进行分割得到多个第二分割子图像；

为每个所述第一分割子图像在所述至少两张第一图像的背景图像中选取对应第一拼接子图像，为每个所述第二分割子图像在所述至少两张第一图像的前景图像中选取对应的第二拼接子图像；

对多个所述第一分割子图像对应的第一拼接子图像进行拼接得到目标背景图像，对多个所述第二分割子图像对应的第二拼接子图像进行拼接得到目标前景图像；

对所述目标背景图像、所述目标前景图像、所述第一非重叠图像和所述第二非重叠图像进行合成，得到目标全景图像。

2.根据权利要求1所述的方法，其特征在于，所述分别提取所述第一图像的背景图像和前景图像，具体包括：

根据所述第一图像的深度值确定所述第一图像的前景模板；

所述第一图像的前景模板为0,1组成的矩阵，在同一像素点处，提取前景模板1所对应的所述第一图像的像素点，构成所述第一图像的前景图像；

在同一像素点处，提取前景模板的补中1所对应的所述第一图像的像素点，构成所述第一图像的背景图像。

3.根据权利要求1或2所述的方法，其特征在于，所述确定所述至少两张第一图像形成的背景图像的第一重叠图像和第一非重叠图像；确定所述至少两张第一图像的前景图像形成的第二重叠图像和第二非重叠图像，具体包括：

通过单应变换将每个所述背景图像转换为背景虚拟图像，通过所述单应变换将每个所述前景图像转换为前景虚拟图像；

根据所述背景虚拟图像计算各个所述背景图像的所述第一重叠图像和所述第一非重叠图像，根据所述前景虚拟图像计算各个所述前景图像的所述第二重叠图像和所述第二非重叠图像。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述对所述第一重叠图像进行分割得到多个第一分割子图像，包括：

计算所述第一重叠图像在各个颜色通道上的第一差值，对所述第一差值依次进行拉普拉斯滤波变换和平滑处理，得到第一摩尔斯函数值；

根据所述第一摩尔斯函数值确定所述第一重叠图像上的所述第一分割子图像。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一摩尔斯函数值确定所述第一重叠图像上的所述第一分割子图像，具体包括：

根据所述第一重叠图像上的像素点的第一摩尔斯函数值确定所述第一重叠图像上的第一局部最小值点、第一局部最大值点和第一鞍点；

根据每一个所述第一局部最小值点、一个第一局部最大值点和两个所述第一鞍点确定一个第一分割子图像。

6.根据权利要求5所述的方法，其特征在于，所述根据所述第一摩尔斯函数值确定所述第一重叠图像上的所述第一分割子图像之后，还包括：

确定每个所述第一分割子图像的第一最大值点，使用区域算法，根据所述第一最大值点确定所述第一重叠图像对应的第一对偶分割子图像。

7.根据权利要求6所述的方法，其特征在于，所述为每个所述第一分割子图像在至少两个所述第一图像的背景图像中选取对应第一拼接子图像，具体包括：

根据相连的所述第一对偶分割子图像的最大颜色差的平均值计算光滑开销，根据所述第一重叠图像的图像中心到所述第一对偶分割子图像的距离计算数据开销；

根据所述光滑开销和所述数据开销为每个所述第一对偶分割子图像选取对应的所述第一拼接子图像。

8.根据权利要求7所述的方法，其特征在于，所述根据所述光滑开销和所述数据开销为每个所述第一对偶分割子图像选取对应的所述第一拼接子图像，包括：

根据所述第一对偶分割子图像构造第一图；

根据所述光滑开销和所述数据开销确定所述第一图每条边的权值；

根据所述第一图每条边的权值采用图切割方法对所述第一对偶分割子图像进行分类，根据分类结果为每个所述第一对偶分割子图像选取对应的所述第一拼接子图像。

9.一种全景图像的获取装置，其特征在于，包括：

获取模块，用于获取至少两张第一图像；

提取模块，用于提取所述第一图像的背景图像和前景图像；

确定模块，用于确定所述至少两张第一图像的背景图像形成的第一重叠图像和第一非重叠图像；

所述确定模块，还用于确定所述至少两张第一图像的前景图像的第二重叠图像和第二非重叠图像；

分割模块，用于对所述第一重叠图像进行分割得到多个第一分割子图像，对所述第二重叠图像进行分割得到多个第二分割子图像；

选取模块，用于为每个所述第一分割子图像在至少两个所述第一图像的背景图像中选取对应第一拼接子图像，为每个所述第二分割子图像在至少两个所述第一图像的前景图像中选取对应的第二拼接子图像；

拼接模块，用于对多个所述第一分割子图像对应的第一拼接子图像进行拼接得到目标背景图像，对多个所述第二分割子图像对应的第二拼接子图像进行拼接得到目标前景图像；

合成模块，用于对所述目标背景图像、所述目标前景图像、所述第一非重叠图像和所述第二非重叠图像进行合成，得到目标全景图像。

10.根据权利要求9所述的装置，其特征在于，所述提取模块具体用于：

根据所述第一图像的深度值确定所述第一图像的前景模板；

所述第一前景模板为0,1组成的矩阵，在同一像素点处，提取前景模板1所对应的所述第一图像的像素点，构成所述第一图像的前景图像；

在同一像素点处，提取前景模板的补中1所对应的所述第一图像的像素点，构成所述第一图像的背景图像。

11.根据权利要求9或10所述的装置，其特征在于，所述确定模块具体用于：

通过单应转换将每个所述第一背景图像转换为第一背景虚拟图像，通过单应转换将每个所述第一前景图像转换为第一前景虚拟图像；

根据所述第一背景虚拟图像计算各个所述第一背景图像的所述第一重叠图像和所述第一非重叠图像，根据所述第一前景虚拟图像计算各个所述第一前景图像的所述第二重叠图像和所述第二非重叠图像。

12.根据权利要求9-11任一项所述的装置，其特征在于，所述分割模块具体用于：

计算所述第一重叠图像在各个颜色通道上的第一差值，对所述第一差值依次进行拉普拉斯滤波变换和平滑处理，得到第一摩尔斯函数值；

根据所述第一摩尔斯函数值确定所述第一重叠图像上的所述第一分割子图像。

13.根据权利要求12所述的装置，其特征在于，所述分割模块还用于：

根据所述第一重叠图像上的像素点的第一摩尔斯函数值确定所述第一重叠图像上的第一局部最小值点、第一局部最大值点和第一鞍点；

根据每一个所述第一局部最小值点、一个第一局部最大值点和两个所述第一鞍点确定一个第一分割子图像。

14.根据权利要求13所述的装置，其特征在于，所述分割模块还用于：

确定每个所述第一分割子图像的第一最大值点，使用区域算法，根据所述第一最大值点确定所述第一重叠图像对应的第一对偶分割子图像。

15.根据权利要求14所述的装置，其特征在于，所述选取模块具体用于：

根据相连的所述第一对偶分割子图像的最大颜色差的平均值计算光滑开销，根据所述第一重叠图像的图像中心到所述第一对偶分割子图像的距离计算数据开销；

根据所述光滑开销和所述数据开销为每个所述第一对偶分割子图像选取对应的所述第一拼接子图像。

16.根据权利要求15所述的装置，其特征在于，所述选取模块还用于：

根据所述第一对偶分割子图像构造第一图，所述第一图包括：多个所述第一对偶分割子图像；

根据所述光滑开销和所述数据开销确定所述第一图每条边的权值；

根据所述第一图每条边的权值采用图切割方法对所述第一对偶分割子图像进行分类，根据分类结果为每个所述第一对偶分割子图像选取对应的所述第一拼接子图像。