CN104217414A - 用于影像拼接的拼接线提取方法和装置 - Google Patents

Abstract

本发明公开了一种用于影像拼接的拼接线提取方法和装置。其中，拼接线提取方法包括：获取第一影像和第二影像；确定第一影像与第二影像的重叠区域；对第一影像中处于重叠区域的图像和第二影像中处于重叠区域的图像进行像素差值运算，得到重叠区域的差值图像；计算重叠区域的图像的平滑因子，得到平滑因子图像；以及通过差值图像和平滑因子图像提取用于拼接第一影像和第二影像的拼接线，解决了现有技术中影像拼接容易出现错位的问题，降低由于配准偏差和拍摄角度不同造成的拼接错位现象，提高最优拼接线的精确性及高效性。

Description

用于影像拼接的拼接线提取方法和装置

技术领域

本发明涉及影像拼接领域，具体而言，涉及一种用于影像拼接的拼接线提取方法和装置。 

背景技术

随着航空航天遥感技术的快速发展，遥感影像拼接技术也得到了广泛应用，实现遥感影像自动拼接的需求也越来越迫切。影像拼接又称影像镶嵌，早在20世纪70年代，影像镶嵌技术就在遥感技术领域出现，为了获得更大范围、更宽视角的遥感影像，更好地统一处理、分析和研究遥感影像信息，往往需要将具有重叠区域的两幅或多幅遥感影像拼接为一幅影像图，形成整个拍摄区的整体影像，拼接后的影像保留了原始影像中的细节信息，在实际应用当中有重大意义。 

影像拼接的应用领域非常广阔，在医学领域，针对人体的同一解剖结构，将各种设备的成像信息拼接起来，可以便于临床医生进行综合性分析及诊断；在环境监测领域，通过将卫星图片或航空照片镶嵌成大范围的场景图片，实现对某一地区的河流流域、耕地面积及农作物病虫害情况的监控；在航空航天和宇宙空间探测领域，将空间探测器和卫星传回的照片进行拼接，建立大型全景图，可以降低光学设备的成本和数据传输的复杂性。 

在拼接过程中，针对两幅具有重叠区域的遥感影像，通常在影像的重叠区域上选定一条直线为拼接线，将两幅影像拼接起来，由于拍摄角度和配准偏差的影响，拼接后的影像容易在拼接线处出现房屋、桥梁和道路的断裂现象。 

理想的遥感影像拼接线，能避开房屋、树木等高出地面的地物，同时降低由于配准偏差引起的错位现象，而且最好在水面、路面等平滑区域通过，以保证拼接线两侧的影像能平滑过渡。但现有的方案中，只考虑了两幅待拼接图像的重叠区域的色度差异和纹理差异，影像拼接容易出现错位，导致影像拼接效果不理想。 

针对现有技术中影像拼接容易出现错位的问题，目前尚未提出有效的解决方案。 

发明内容

本发明的主要目的在于提供一种用于影像拼接的拼接线提取方法和装置，以解决现有技术中影像拼接容易出现错位的问题。 

为了实现上述目的，根据本发明实施例的一个方面，提供了一种用于影像拼接的拼接线提取方法。根据本发明的用于影像拼接的拼接线提取方法包括：获取第一影像和第二影像，第一影像和第二影像为待拼接在一起的影像；确定第一影像与第二影像的重叠区域；对第一影像中处于重叠区域的图像和第二影像中处于重叠区域的图像进行像素差值运算，得到重叠区域的差值图像，差值图像用于反映第一影像处于重叠区域的图像和第二影像处于重叠区域的图像上在相同位置处的像素差；计算重叠区域的图像的平滑因子，得到平滑因子图像，其中，重叠区域的图像为第一影像中处于重叠区域的图像或者第二影像中处于重叠区域的图像，平滑因子图像用于反映重叠区域的图像的平滑程度；以及通过差值图像和平滑因子图像提取用于拼接第一影像和第二影像的拼接线。 

进一步地，对第一影像处于重叠区域的图像和第二影像处于重叠区域的图像进行像素差值运算，得到重叠区域的差值图像包括：依次计算第一影像处于重叠区域的图像与第二影像处于重叠区域的图像上相同位置点的像素差值；以及由计算得到的像素差值生成差值图像。 

进一步地，计算重叠区域的图像的平滑因子，得到平滑因子图像包括：通过以下公式计算第一影像处于重叠区域的图像与第二影像处于重叠区域的图像上相同位置点的平滑因子： 

$s(x,y)=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}|p(x,y)-t_k(i,j)|$

其中，s(x，y)为重叠区域的图像上坐标(x，y)处像素点的平滑因子，p(x，y)为重叠区域的图像上坐标(x，y)处像素点的像素值，t_k(i,j)为重叠区域的图像上坐标(i，j)处像素点的像素值，像素点(i，j)是像素点(x，y)的相邻像素，n为相邻像素点的数量；以及由计算得到的平滑因子生成平滑因子图像。 

进一步地，通过差值图像和平滑因子图像提取用于拼接第一影像和第二影像的拼接线包括：获取用于拼接第一影像和第二影像的初始拼接线，初始拼接线为在重叠区域上预先设置的拼接线；以及通过差值图像和平滑因子图像对初始拼接线进行修正，得到修正后的拼接线，将修正后的拼接线作为用于拼接第一影像和第二影像的拼接线。 

进一步地，通过差值图像和平滑因子图像对初始拼接线进行修正，得到修正后的拼接线包括：将初始拼接线的起始点作为用于拼接第一影像和第二影像的拼接线的起始点；根据平滑因子图像上的平滑因子和差值图像上的灰度差值按照预设算法依次计算起始点之后每一行的路径点；以及由起始点和计算得到的路径点生成用于拼接第一影像和第二影像的拼接线。 

为了实现上述目的，根据本发明实施例的另一方面，提供了一种用于影像拼接的 拼接线提取装置。根据本发明的用于影像拼接的拼接线提取装置包括：获取单元，用于获取第一影像和第二影像，第一影像和第二影像为待拼接在一起的影像；确定单元，用于确定第一影像与第二影像的重叠区域；第一计算单元，用于对第一影像中处于重叠区域的图像和第二影像中处于重叠区域的图像进行像素差值运算，得到重叠区域的差值图像，差值图像用于反映第一影像处于重叠区域的图像和第二影像处于重叠区域的图像上在相同位置处的像素差；第二计算单元，用于计算重叠区域的图像的平滑因子，得到平滑因子图像，其中，重叠区域的图像为第一影像中处于重叠区域的图像或者第二影像中处于重叠区域的图像，平滑因子图像用于反映重叠区域的图像的平滑程度；以及提取单元，用于通过差值图像和平滑因子图像提取用于拼接第一影像和第二影像的拼接线。 

进一步地，第一计算单元包括：第一计算模块，用于依次计算第一影像处于重叠区域的图像与第二影像处于重叠区域的图像上相同位置点的像素差值；以及第一生成模块，用于由计算得到的像素差值生成差值图像。 

进一步地，第二计算单元包括：第二计算模块，用于通过以下公式计算第一影像处于重叠区域的图像与第二影像处于重叠区域的图像上相同位置点的平滑因子： 

$s(x,y)=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}|p(x,y)-t_k(i,j)|$

其中，s(x，y)为重叠区域的图像上坐标(x，y)处像素点的平滑因子，p(x，y)为重叠区域的图像上坐标(x，y)处像素点的像素值，t_k(i,j)为重叠区域的图像上坐标(i，j)处像素点的像素值，像素点(i，j)是像素点(x，y)的相邻像素，n为相邻像素点的数量；以及第二生成模块，用于由计算得到的平滑因子生成平滑因子图像。 

进一步地，提取单元包括：获取模块，用于获取用于拼接第一影像和第二影像的初始拼接线，初始拼接线为在重叠区域上预先设置的拼接线；以及修正模块，用于通过差值图像和平滑因子图像对初始拼接线进行修正，得到修正后的拼接线，将修正后的拼接线作为用于拼接第一影像和第二影像的拼接线。 

进一步地，修正模块包括：确定子模块，用于将初始拼接线的起始点作为用于拼接第一影像和第二影像的拼接线的起始点；计算子模块，用于根据平滑因子图像上的平滑因子和差值图像上的灰度差值按照预设算法依次计算起始点之后每一行的路径点；以及生成子模块，用于由起始点和计算得到的路径点生成用于拼接第一影像和第二影像的拼接线。 

根据发明实施例，通过获取第一影像和第二影像，第一影像和第二影像为待拼接在一起的影像；确定第一影像与第二影像的重叠区域；对第一影像中处于重叠区域的 图像和第二影像中处于重叠区域的图像进行像素差值运算，得到重叠区域的差值图像，差值图像用于反映第一影像处于重叠区域的图像和第二影像处于重叠区域的图像上在相同位置处的像素差；计算重叠区域的图像的平滑因子，得到平滑因子图像，其中，重叠区域的图像为第一影像中处于重叠区域的图像或者第二影像中处于重叠区域的图像，平滑因子图像用于反映重叠区域的图像的平滑程度；以及通过差值图像和平滑因子图像提取用于拼接第一影像和第二影像的拼接线，解决了现有技术中影像拼接容易出现错位的问题，降低由于配准偏差和拍摄角度不同造成的拼接错位现象，提高最优拼接线的精确性及高效性。 

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中： 

图1是根据本发明实施例的用于影像拼接的拼接线提取方法的流程图； 

图2a是根据本发明实施例的一种第一影像上处于重叠区域的图像示意图； 

图2b是根据本发明实施例的一种第二影像上处于重叠区域的图像示意图； 

图2c示出了图2a和图2b中图像的差值图像； 

图3a是根据本发明实施例的一种重叠区域的图像的示意图； 

图3b示出了由图3a的图像计算得到的平滑因子图像； 

图4是根据本发明实施例的一种初始拼接线的示意图； 

图5a是根据本发明实施例的引入平滑因子前的最优拼接线的示意图； 

图5b是根据本发明实施例的引入平滑因子后的最优拼接线的示意图；以及 

图6是根据本发明实施例的用于影像拼接的拼接线提取装置的示意图。 

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。 

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于 本发明保护的范围。 

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。 

本发明实施例提供了一种用于影像拼接的拼接线提取方法。 

图1是根据本发明实施例的用于影像拼接的拼接线提取方法的流程图。如图1所示，该拼接线提取方法包括步骤如下： 

步骤S102，获取第一影像和第二影像，第一影像和第二影像为待拼接在一起的影像。 

第一影像和第二影像均为待拼接影像，该待拼接影像为经过配准的具有重叠区域的两幅影像。获取到待拼接影像，以便于确定待拼接影像之间的重叠区域。 

步骤S104，确定第一影像与第二影像的重叠区域。 

在获取到第一影像和第二影像之后，从第一影像和第二影像上确定出重叠区域。对于通过遥感拍摄的地理影像，该重叠区域可以根据两幅影像的地理信息来确定。 

步骤S106，对第一影像中处于重叠区域的图像和第二影像中处于重叠区域的图像进行像素差值运算，得到重叠区域的差值图像。差值图像用于反映第一影像处于重叠区域的图像和第二影像处于重叠区域的图像上在相同位置处的像素差。 

将第一影像和第二影像在重叠区域的图像进行差值运算，得到两个影像在重叠区域的差值图像。 

例如，如图2a至图2c所示，其中，图2a所示为第一影像中处于重叠区域的图像，图2b所示为第二影像中处于重叠区域的图像，图2c所示为通过差值运算得到的差值图像。由于第一影像和第二影像在重叠区域的图像相同，但是图像上的像素不相同，因此，得到的差值图像与重叠区域的影像也相同，从图2a至图2c可以看出，三张图像上的区别仅在于其像素上的差异。如图2c所示，在该差值图像上，每一个像素点处像素均由图2a所示的第一影像和图2b所示的第二影像上相同位置处的像素点的像素计算得到。在差值图像上的较亮区域为两幅影像差异较大的区域，由配准误差和影像上物体本身差异造成。 

步骤S108，计算重叠区域的图像的平滑因子，得到平滑因子图像。其中，重叠区域的图像为第一影像中处于重叠区域的图像或者第二影像中处于重叠区域的图像，平滑因子图像用于反映重叠区域的图像的平滑程度。 

用于计算重叠区域的图像可以是第一影像中重叠区域的图像，也可以是第二影像中重叠区域的图像，如图2a和2b所示，既可以是图2a所示的图像，也可以是图2b所示的图像。平滑因子可以用于反映出不同区域具有不同的平滑度，例如，通过遥感拍摄的地理图片上水面、路面比较平整、纹理单一的区域，平滑度高，而建筑物、林地等区域，纹理多样，平滑度低。 

以遥感影像为例，理想的遥感影像拼接线，能避开房屋、树木等高出地面的地物，同时降低由于配准偏差引起的错位现象，而且最好在水面、路面等平滑区域通过，以保证拼接线两侧的影像能平滑过渡。并充分考虑重叠区域颜色差异、影像平滑等条件。因此通过计算重叠区域的图像的平滑因子，得到平滑因子图像，利用该平滑因子图像来提取理想的拼接线来拼接影像，从而提高影像拼接的精度，避免造成影响拼接错位。 

步骤S110，通过差值图像和平滑因子图像提取用于拼接第一影像和第二影像的拼接线。 

在计算得到差值图像和平滑因子图像之后，结合差值图像和平滑因子图像来提取用于拼接第一影像和第二影像的拼接线。具体地，可以利用差值图像上的像素差值和平滑因子图像上的平滑因子，采用蚁群算法来提取拼接线。这样，综合考虑拼接区域差值和局部平滑度，能够尽量使拼接线避开例如楼宇、树木、河流等地物，尽量通过水面、路面等相对平滑区域，解决了现有技术中影像拼接容易出现错位的问题，降低由于配准偏差和拍摄角度不同造成的拼接错位现象，提高最优拼接线的精确性及高效性。 

需要说明的是，本领域技术人员可以清楚的知道，本发明实施例的方案可以用于遥感地图影像的拼接线提取，也可以用于其它图像的拼接线的提取，本发明仅以遥感地图影像为例，对于本方案的应用场景并没有不当限定。 

优选地，对第一影像处于重叠区域的图像和第二影像处于重叠区域的图像进行像素差值运算，得到重叠区域的差值图像包括：依次计算第一影像处于重叠区域的图像与第二影像处于重叠区域的图像上相同位置点的像素差值；以及由计算得到的像素差值生成差值图像。 

可以预先建立影像的坐标系，将第一影像和第二影像映射到该坐标系上，确定其重叠区域，然后依次计算重叠区域的坐标点上的像素差值。当然，也可以利用图像上原有的坐标系(例如遥感影像)直接计算每个重叠区域的坐标点上的像素差值。 

具体地，将输入的两个重叠区域根据地面坐标进行灰度差值运算，得到重叠区域 的差值图像。差值图像由如下运算求得： 

c(x,y)＝|f1(x,y)-f2(x,y)| 

式中，c(x,y)为求差后的差值图像上坐标(x,y)位置处的灰度值，f1(x,y)和f2(x,y)分别为两个重叠区域影像在对应点处的灰度值。差值图像上的较亮区域为两幅影像差异较大的区域(如下图所示)，由配准误差和地物本身差异造成。 

根据本发明实施例，通过生成差值图，以便于利用该差值图来提取拼接线，能够提取到更优质的拼接线，进而进一步提高了拼接后影像的准确度和视觉效果。 

优选地，计算重叠区域的图像的平滑因子，得到平滑因子图像包括：通过以下公式计算第一影像处于重叠区域的图像与第二影像处于重叠区域的图像上相同位置点的平滑因子： 

$s(x,y)=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}|p(x,y)-t_k(i,j)|$

其中，s(x，y)为重叠区域的图像上坐标(x，y)处像素点的平滑因子，p(x，y)为重叠区域的图像上坐标(x，y)处像素点的像素值，t_k(i,j)为重叠区域的图像上坐标(i，j)处像素点的像素值，像素点(i，j)是像素点(x，y)的相邻像素，n为相邻像素点的数量；以及由计算得到的平滑因子生成平滑因子图像。 

由于不同区域具有不同的平滑度，水面、路面比较平整、纹理单一的区域，平滑度高，而建筑物、林地等区域，纹理多样，平滑度低。通过计算平滑因子来确定重叠区域的图像上的平滑度，从而提取拼接线，能够有效地提高拼接线提取的准确性。 

具体地，在此定义平滑度因子计算公式如下： 

$s(x,y)=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}|p(x,y)-t_k(i,j)|$

s(x,y)为(x,y)处的平滑因子，该值越小，该点的平滑度越高，p(x,y)为(x,y)的像素值，t_k(i,j)为(i,j)处的像素值，像素点(i,j)是像素点(x,y)的相邻像素，n为相邻像素的数量，通常n取4或8。根据该公式可计算出平滑因子图像，如图3a和3b所示。其中，图3a表示第一影像或者第二影像重叠区域的图像，图3b表示计算得到的平滑因子图像。对比图3a和图3b可以看出，从图3b上能够清晰地识别出平滑度较高的区域，这样，从平滑度较高的区域来提取拼接线，能够提取到更优的拼接线，从而提升影像拼接的效果。 

现有技术中没有考虑拼接线是否从图像的平滑区域通过，导致局部拼接效果不理想。本发明实施例提出影像平滑因子计算方法，并充分考虑重叠区域颜色差异、影像 平滑等条件，寻找最优拼接线，有效解决了拼接线穿越楼宇等目标的问题，降低了由配准偏差造成的拼接错位现象，极大提升了拼接效果。 

优选地，通过差值图像和平滑因子图像提取用于拼接第一影像和第二影像的拼接线包括：获取用于拼接第一影像和第二影像的初始拼接线，初始拼接线为在重叠区域上预先设置的拼接线；以及通过差值图像和平滑因子图像对初始拼接线进行修正，得到修正后的拼接线，将修正后的拼接线作为用于拼接第一影像和第二影像的拼接线。 

初始拼接线可以是在确定重叠区域之后设置的初始拼接线，例如，可以设置重叠区域的中心线为初始拼接线，该初始拼接线没有考虑房屋等是否被切割，如图4所示，可以通过获取该初始拼接线，利用差值图像和平滑因子图像对该初始拼接线进行修正，得到最终的拼接线。 

根据本发明实施例，通过获取预先设置的初始拼接线，将该初始拼接线作为参考拼接线，利用差值图像和平滑因子图像来对初始拼接线进行修正和优化，相对于没有初始拼接线，提高了拼接线的提取效率。 

进一步地，通过差值图像和平滑因子图像对初始拼接线进行修正，得到修正后的拼接线包括：将初始拼接线的起始点作为用于拼接第一影像和第二影像的拼接线的起始点；根据平滑因子图像上的平滑因子和差值图像上的灰度差值按照预设算法依次计算起始点之后每一行的路径点；以及由起始点和计算得到的路径点生成用于拼接第一影像和第二影像的拼接线。 

在获取到初始拼接线之后，确定初始拼接线的起始点，如图4所示，该起始点可以是图4所示初始拼接线上方的点，也可以是图4所示初始拼接线下方的点。将初始拼接线的起始点作为最终拼接线的起始点，以平滑因子图像上的平滑因子和差值图像上的灰度差值为参数，按照预设算法依次计算起始点之后每一行的路径点。这里的每一行是指重叠区域的图像上像素行，由于重叠区域的图像上包括多行像素点，以该起始点为起点，计算该起始点相邻的一行上的路径点，再根据该路径点计算下一行的路径点，以此类推直到计算出最后一行的路径点为止。 

预设算法可以是蚁群算法，可以采用蚁群算法通过以下公式依次计算所述差值图像上每一行的路径点： 

g(x,y)＝s(x,y)+α*c(x,y)+β*d(x,y) 

其中，s(x，y)为当前路径点的平滑因子，α为差值权值，c(x，y)为所述当前路径点的像素差值，β为所述当前路径点与上一行路径点的距离权值，d(x，y)为所述当前路径点到所述上一行路径点的距离。 

具体地，根据差值图和平滑因子图优化初始拼接线，使优化后的拼接线尽量通过 差值小的区域和较平滑的区域。该过程是优化过程，可采用蚁群算法搜索最优路径，步骤如下： 

a)将初始镶嵌线的起点像素作为路径搜索的起点放置一只蚂蚁，蚂蚁的备选路径点为下一行像素上在当前点附近的若干个路径点。 

b)蚂蚁根据评价准则从备选路径点中选择一个路径点作为下一个当前路径点。评价准则如下： 

g(x,y)＝s(x,y)+α*c(x,y)+β*d(x,y) 

式中，s(x,y)为该点的平滑因子，α为差值权值，c(x,y)为该点的像素差值，β为距离上一行路径点的距离权值，d(x,y)为该点到上一行路径点的距离。 

重复该过程直到蚂蚁到达路径点的最后一行。 

c)将蚂蚁路径表中记载的路径点更新。 

d)重复a)-c)步，直至达到循环次数或者路径收敛为止。 

这样，通过上述步骤提取到最优的拼接线。 

本发明实施例中，效果对比如图5a至图5b所示。图5a为只考虑差值图的最优拼接线，图5b为综合考虑差值图和平滑因子图得到的最优拼接线结果。从图中可看出，引入平滑因子之后，拼接线能够尽量通过水面、路面等相对平滑的区域，并能够尽量保持物体的完整性，在这些区域拼接错位不明显，可极大提升拼接的效果。 

本发明实施例还提供了一种用于影像拼接的拼接线提取装置。该装置可以通过计算设备实现其功能。需要说明的是，本发明实施例的用于影像拼接的拼接线提取装置可以用于执行本发明实施例所提供的用于影像拼接的拼接线提取方法，本发明实施例的用于影像拼接的拼接线提取方法也可以通过本发明实施例所提供的用于影像拼接的拼接线提取装置来执行。 

图6是根据本发明实施例的用于影像拼接的拼接线提取装置的示意图。如图6所示，该用于影像拼接的拼接线提取装置包括：获取单元10、确定单元20、第一计算单元30、第二计算单元40和提取单元50。 

获取单元10用于获取第一影像和第二影像，第一影像和第二影像为待拼接在一起的影像。 

第一影像和第二影像均为待拼接影像，该待拼接影像为经过配准的具有重叠区域的两幅影像。获取到待拼接影像，以便于确定待拼接影像之间的重叠区域。 

确定单元20用于确定第一影像与第二影像的重叠区域。在获取到第一影像和第二 影像之后，从第一影像和第二影像上确定出重叠区域。对于通过遥感拍摄的地理影像，该重叠区域可以根据两幅影像的地理信息来确定。 

第一计算单元30用于对第一影像中处于重叠区域的图像和第二影像中处于重叠区域的图像进行像素差值运算，得到重叠区域的差值图像，差值图像用于反映第一影像处于重叠区域的图像和第二影像处于重叠区域的图像上在相同位置处的像素差。 

将第一影像和第二影像在重叠区域的图像进行差值运算，得到两个影像在重叠区域的差值图像。 

例如，如图2a至图2c所示，其中，图2a所示为第一影像中处于重叠区域的图像，图2b所示为第二影像中处于重叠区域的图像，图2c所示为通过差值运算得到的差值图像。如图2c所示，在该差值图像上，每一个像素点处像素均由图2a所示的第一影像和图2b所示的第二影像上相同位置处的像素点的像素计算得到。在差值图像上的较亮区域为两幅影像差异较大的区域，由配准误差和影像上物体本身差异造成。 

第二计算单元40用于计算重叠区域的图像的平滑因子，得到平滑因子图像，其中，重叠区域的图像为第一影像中处于重叠区域的图像或者第二影像中处于重叠区域的图像，平滑因子图像用于反映重叠区域的图像的平滑程度。 

用于计算重叠区域的图像可以是第一影像中重叠区域的图像，也可以是第二影像中重叠区域的图像，如图2a和2b所示，既可以是图2a所示的图像，也可以是图2b所示的图像。平滑因子可以用于反映出不同区域具有不同的平滑度，例如，通过遥感拍摄的地理图片上水面、路面比较平整、纹理单一的区域，平滑度高，而建筑物、林地等区域，纹理多样，平滑度低。 

以遥感影像为例，理想的遥感影像拼接线，能避开房屋、树木等高出地面的地物，同时降低由于配准偏差引起的错位现象，而且最好在水面、路面等平滑区域通过，以保证拼接线两侧的影像能平滑过渡。并充分考虑重叠区域颜色差异、影像平滑等条件。因此通过计算重叠区域的图像的平滑因子，得到平滑因子图像，利用该平滑因子图像来提取理想的拼接线来拼接影像，从而提高影像拼接的精度，避免造成影响拼接错位。 

提取单元50用于通过差值图像和平滑因子图像提取用于拼接第一影像和第二影像的拼接线。 

在计算得到差值图像和平滑因子图像之后，结合差值图像和平滑因子图像来提取用于拼接第一影像和第二影像的拼接线。具体地，可以利用差值图像上的像素差值和平滑因子图像上的平滑因子，采用蚁群算法来提取拼接线。这样，综合考虑拼接区域差值和局部平滑度，能够尽量使拼接线避开例如楼宇、树木、河流等地物，尽量通过水面、路面等相对平滑区域，解决了现有技术中影像拼接容易出现错位的问题，降低由于配准偏差和拍摄角度不同造成的拼接错位现象，提高最优拼接线的精确性及高效 性。 

需要说明的是，本领域技术人员可以清楚的知道，本发明实施例的方案可以用于遥感地图影像的拼接线提取，也可以用于其它影像的拼接线的提取，本发明仅以遥感地图影像为例，对于本方案的应用场景并没有不当限定。 

优选地，第一计算单元包括：第一计算模块，用于依次计算第一影像处于重叠区域的图像与第二影像处于重叠区域的图像上相同位置点的像素差值；以及第一生成模块，用于由计算得到的像素差值生成差值图像。 

可以预先建立影像的坐标系，将第一影像和第二影像映射到该坐标系上，确定其重叠区域，然后依次计算重叠区域的坐标点上的像素差值。当然，也可以利用图像上原有的坐标系(例如遥感影像)直接计算每个重叠区域的坐标点上的像素差值。 

具体地，将输入的两个重叠区域根据地面坐标进行灰度差值运算，得到重叠区域的差值图像。差值图像由如下运算求得： 

c(x,y)＝|f1(x,y)-f2(x,y)| 

式中，c(x,y)为求差后的差值图像上坐标(x,y)位置处的灰度值，f1(x,y)和f2(x,y)分别为两个重叠区域影像在对应点处的灰度值。差值图像上的较亮区域为两幅影像差异较大的区域(如下图所示)，由配准误差和地物本身差异造成。 

根据本发明实施例，通过生成差值图，以便于利用该差值图来提取拼接线，能够提取到更优质的拼接线，进而进一步提高了拼接后影像的准确度和视觉效果。 

优选地，第二计算单元包括：第二计算模块，用于通过以下公式计算第一影像处于重叠区域的图像与第二影像处于重叠区域的图像上相同位置点的平滑因子： 

$s(x,y)=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}|p(x,y)-t_k(i,j)|$

其中，s(x，y)为重叠区域的图像上坐标(x，y)处像素点的平滑因子，p(x，y)为重叠区域的图像上坐标(x，y)处像素点的像素值，t_k(i,j)为重叠区域的图像上坐标(i，j)处像素点的像素值，像素点(i，j)是像素点(x，y)的相邻像素，n为相邻像素点的数量；以及第二生成模块，用于由计算得到的平滑因子生成平滑因子图像。 

由于不同区域具有不同的平滑度，水面、路面比较平整、纹理单一的区域，平滑度高，而建筑物、林地等区域，纹理多样，平滑度低。通过计算平滑因子来确定重叠区域的图像上的平滑度，从而提取拼接线，能够有效地提高拼接线提取的准确性。 

具体地，在此定义平滑度因子计算公式如下： 

$s(x,y)=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}|p(x,y)-t_k(i,j)|$

s(x,y)为(x,y)处的平滑因子，该值越小，该点的平滑度越高，p(x,y)为(x,y)的像素值，为(i,j)处的像素值，像素点(i,j)是像素点(x,y)的相邻像素，n为相邻像素的数量，通常n取4或8。根据该公式可计算出平滑因子图像，如图3a和3b所示。其中，图3a表示第一影像或者第二影像重叠区域的图像，图3b表示计算得到的平滑因子图像。对比图3a和图3b可以看出，从图3b上能够清晰地识别出平滑度较高的区域，这样，从平滑度较高的区域来提取拼接线，能够提取到更优的拼接线，从而提升影像拼接的效果。 

现有技术中没有考虑拼接线是否从图像的平滑区域通过，导致局部拼接效果不理想。本发明实施例提出影像平滑因子计算方法，并充分考虑重叠区域颜色差异、影像平滑等条件，寻找最优拼接线，有效解决了拼接线穿越楼宇等目标的问题，降低了由配准偏差造成的拼接错位现象，极大提升了拼接效果。 

优选地，提取单元包括：获取模块，用于获取用于拼接第一影像和第二影像的初始拼接线，初始拼接线为在重叠区域上预先设置的拼接线；以及修正模块，用于通过差值图像和平滑因子图像对初始拼接线进行修正，得到修正后的拼接线，将修正后的拼接线作为用于拼接第一影像和第二影像的拼接线。 

初始拼接线可以是在确定重叠区域之后设置的初始拼接线，例如，可以设置重叠区域的中心线为初始拼接线，该初始拼接线没有考虑房屋等是否被切割，如图4所示，可以通过获取该初始拼接线，利用差值图像和平滑因子图像对该初始拼接线进行修正，得到最终的拼接线。 

根据本发明实施例，通过获取预先设置的初始拼接线，将该初始拼接线作为参考拼接线，利用差值图像和平滑因子图像来对初始拼接线进行修正和优化，相对于没有初始拼接线，提高了拼接线的提取效率。 

进一步地，修正模块包括：确定子模块，用于将初始拼接线的起始点作为用于拼接第一影像和第二影像的拼接线的起始点；计算子模块，用于根据平滑因子图像上的平滑因子和差值图像上的灰度差值按照预设算法依次计算起始点之后每一行的路径点；以及生成子模块，用于由起始点和计算得到的路径点生成用于拼接第一影像和第二影像的拼接线。 

在获取到初始拼接线之后，确定初始拼接线的起始点，如图4所示，该起始点可以是图4所示初始拼接线上方的点，也可以是图4所示初始拼接线下方的点。将初始拼接线的起始点作为最终拼接线的起始点，以平滑因子图像上的平滑因子和差值图像上的灰度差值为参数，按照预设算法依次计算起始点之后每一行的路径点。这里的每 一行是指重叠区域的图像上像素行，由于重叠区域的图像上包括多行像素点，以该起始点为起点，计算该起始点相邻的一行上的路径点，再根据该路径点计算下一行的路径点，以此类推直到计算出最后一行的路径点为止。 

预设算法可以是蚁群算法，可以采用蚁群算法通过以下公式依次计算所述差值图像上每一行的路径点： 

g(x,y)＝s(x,y)+α*c(x,y)+β*d(x,y) 

其中，s(x，y)为当前路径点的平滑因子，α为差值权值，c(x，y)为所述当前路径点的像素差值，β为所述当前路径点与上一行路径点的距离权值，d(x，y)为所述当前路径点到所述上一行路径点的距离。 

具体地，根据差值图和平滑因子图优化初始拼接线，使优化后的拼接线尽量通过差值小的区域和较平滑的区域。该过程是优化过程，可采用蚁群算法搜索最优路径，步骤如下： 

a)将初始镶嵌线的起点像素作为路径搜索的起点放置一只蚂蚁，蚂蚁的备选路径点为下一行像素上在当前点附近的若干个路径点。 

b)蚂蚁根据评价准则从备选路径点中选择一个路径点作为下一个当前路径点。评价准则如下： 

g(x,y)＝s(x,y)+α*c(x,y)+β*d(x,y) 

式中，s(x,y)为该点的平滑因子，α为差值权值，c(x,y)为该点的像素差值，β为距离上一行路径点的距离权值，d(x,y)为该点到上一行路径点的距离。 

重复该过程直到蚂蚁到达路径点的最后一行。 

c)将蚂蚁路径表中记载的路径点更新。 

d)重复a)-c)步，直至达到循环次数或者路径收敛为止。 

这样，通过上述步骤提取到最优的拼接线。 

本发明实施例中，效果对比如图5a至图5b所示。图5a为只考虑差值图的最优拼接线，图5b为综合考虑差值图和平滑因子图得到的最优拼接线结果。从图中可看出，引入平滑因子之后，拼接线能够尽量通过水面、路面等相对平滑的区域，并能够尽量保持物体的完整性，在这些区域拼接错位不明显，可极大提升拼接的效果。 

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术 人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。 

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。 

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。 

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。 

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。 

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、移动终端、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。 

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。 

Claims (10)

1.一种用于影像拼接的拼接线提取方法，其特征在于，包括：

获取第一影像和第二影像，所述第一影像和所述第二影像为待拼接在一起的影像；

确定所述第一影像与所述第二影像的重叠区域；

对所述第一影像中处于所述重叠区域的图像和所述第二影像中处于所述重叠区域的图像进行像素差值运算，得到重叠区域的差值图像，所述差值图像用于反映所述第一影像处于所述重叠区域的图像和所述第二影像处于所述重叠区域的图像上在相同位置处的像素差；

计算所述重叠区域的图像的平滑因子，得到平滑因子图像，其中，所述重叠区域的图像为所述第一影像中处于所述重叠区域的图像或者所述第二影像中处于所述重叠区域的图像，所述平滑因子图像用于反映所述重叠区域的图像的平滑程度；以及

通过所述差值图像和所述平滑因子图像提取用于拼接所述第一影像和所述第二影像的拼接线。

2.根据权利要求1所述的拼接线提取方法，其特征在于，对所述第一影像处于所述重叠区域的图像和所述第二影像处于所述重叠区域的图像进行像素差值运算，得到重叠区域的差值图像包括：

依次计算所述第一影像处于所述重叠区域的图像与所述第二影像处于所述重叠区域的图像上相同位置点的像素差值；以及

由计算得到的像素差值生成所述差值图像。

3.根据权利要求1所述的拼接线提取方法，其特征在于，计算所述重叠区域的图像的平滑因子，得到平滑因子图像包括：

通过以下公式计算所述第一影像处于所述重叠区域的图像与所述第二影像处于所述重叠区域的图像上相同位置点的平滑因子：

$s(x,y)=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}|p(x,y)-t_k(i,j)|$

其中，s(x，y)为所述重叠区域的图像上坐标(x，y)处像素点的平滑因子，p(x，y)为所述重叠区域的图像上坐标(x，y)处像素点的像素值，t_k(i,j)为所述重叠区域的图像上坐标(i，j)处像素点的像素值，像素点(i，j)是像素点(x，y)的相邻像素，n为相邻像素点的数量；以及

由计算得到的平滑因子生成所述平滑因子图像。

4.根据权利要求1所述的拼接线提取方法，其特征在于，通过所述差值图像和所述平滑因子图像提取用于拼接所述第一影像和所述第二影像的拼接线包括：

获取用于拼接所述第一影像和所述第二影像的初始拼接线，所述初始拼接线为在所述重叠区域上预先设置的拼接线；以及

通过所述差值图像和所述平滑因子图像对所述初始拼接线进行修正，得到修正后的拼接线，将所述修正后的拼接线作为所述用于拼接所述第一影像和所述第二影像的拼接线。

5.根据权利要求4所述的拼接线提取方法，其特征在于，通过所述差值图像和所述平滑因子图像对所述初始拼接线进行修正，得到修正后的拼接线包括：

将所述初始拼接线的起始点作为所述用于拼接所述第一影像和所述第二影像的拼接线的起始点；

根据所述平滑因子图像上的平滑因子和所述差值图像上的灰度差值按照预设算法依次计算所述起始点之后每一行的路径点；以及

由所述起始点和计算得到的路径点生成所述用于拼接所述第一影像和所述第二影像的拼接线。

6.一种用于影像拼接的拼接线提取装置，其特征在于，包括：

获取单元，用于获取第一影像和第二影像，所述第一影像和所述第二影像为待拼接在一起的影像；

确定单元，用于确定所述第一影像与所述第二影像的重叠区域；

第一计算单元，用于对所述第一影像中处于所述重叠区域的图像和所述第二影像中处于所述重叠区域的图像进行像素差值运算，得到重叠区域的差值图像，所述差值图像用于反映所述第一影像处于所述重叠区域的图像和所述第二影像处于所述重叠区域的图像上在相同位置处的像素差；

第二计算单元，用于计算所述重叠区域的图像的平滑因子，得到平滑因子图像，其中，所述重叠区域的图像为所述第一影像中处于所述重叠区域的图像或者所述第二影像中处于所述重叠区域的图像，所述平滑因子图像用于反映所述重叠区域的图像的平滑程度；以及

提取单元，用于通过所述差值图像和所述平滑因子图像提取用于拼接所述第一影像和所述第二影像的拼接线。

7.根据权利要求6所述的拼接线提取装置，其特征在于，所述第一计算单元包括：

第一计算模块，用于依次计算所述第一影像处于所述重叠区域的图像与所述第二影像处于所述重叠区域的图像上相同位置点的像素差值；以及

第一生成模块，用于由计算得到的像素差值生成所述差值图像。

8.根据权利要求6所述的拼接线提取装置，其特征在于，所述第二计算单元包括：

第二计算模块，用于通过以下公式计算所述第一影像处于所述重叠区域的图像与所述第二影像处于所述重叠区域的图像上相同位置点的平滑因子：

$s(x,y)=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}|p(x,y)-t_k(i,j)|$

其中，s(x，y)为所述重叠区域的图像上坐标(x，y)处像素点的平滑因子，p(x，y)为所述重叠区域的图像上坐标(x，y)处像素点的像素值，t_k(i,j)为所述重叠区域的图像上坐标(i，j)处像素点的像素值，像素点(i，j)是像素点(x，y)的相邻像素，n为相邻像素点的数量；以及

第二生成模块，用于由计算得到的平滑因子生成所述平滑因子图像。

9.根据权利要求6所述的拼接线提取装置，其特征在于，所述提取单元包括：

获取模块，用于获取用于拼接所述第一影像和所述第二影像的初始拼接线，所述初始拼接线为在所述重叠区域上预先设置的拼接线；以及

修正模块，用于通过所述差值图像和所述平滑因子图像对所述初始拼接线进行修正，得到修正后的拼接线，将所述修正后的拼接线作为所述用于拼接所述第一影像和所述第二影像的拼接线。

10.根据权利要求9所述的拼接线提取装置，其特征在于，所述修正模块包括：

确定子模块，用于将所述初始拼接线的起始点作为所述用于拼接所述第一影像和所述第二影像的拼接线的起始点；

计算子模块，用于根据所述平滑因子图像上的平滑因子和所述差值图像上的灰度差值按照预设算法依次计算所述起始点之后每一行的路径点；以及

生成子模块，用于由所述起始点和计算得到的路径点生成所述用于拼接所述第一影像和所述第二影像的拼接线。