CN115272077A - 一种基于视域融合的图像拼接方法及系统 - Google Patents

Abstract

本发明涉及图像拼接技术领域，具体涉及一种基于视域融合的图像拼接方法及系统，对拍摄图像先通过粗配准计算出两张图像的拼接粗偏移量，随后再经过精配准实现对两张图像的精准拼接，保证基准图像与待拼接图像能够快速准确地进行拼接，克服通过图像内容特征进行匹配拼接造成适用范围小的不足，同时利用基准图像与待拼接图像重叠区域的像素值根据与粗拼接图像中基准图像的像素值和待拼接图像的像素值进行加权计算得到融合后的像素值，使得融合效果更好。

Description

一种基于视域融合的图像拼接方法及系统

技术领域

本发明涉及图像拼接技术领域，具体涉及一种基于视域融合的图像拼接方法及系统。

背景技术

由于无人机能够搭载雷达或者相机获取部分区域的地理信息和地貌特征，因此在地图地貌绘制领域获得了较为广泛的应用；但无人机视场有限，拍摄的每一张图像只能包含部分区域，为了获得更大的视野，需要对依次拍摄的图像进行拼接，传统的如sift或者surf算法等基于特征点配准的算法需要计算两张待拼接图像的特征点，然后根据一张图像的特征点去匹配另一张图像与之相似的特征点，根据配对成功的一系列特征点计算出转换矩阵，并根据转换矩阵对图像进行变换，最后实现两张图像的配准，这类算法依赖于图像含有较多的特征点，而当拍摄区域为戈壁、沙漠等地区这一类平坦的拍摄场景下，很难找到图像的特征，在这种的情况下则会导致这类算法配准失败；此外，在图像拼接过程中，为了消除两图直接拼接造成的过渡区域不自然的现象，常规的方法有渐入渐出融合算法，最佳缝合线融合算法以及其衍生出来的一些相关算法，渐入渐出融合算法在两幅图像的横向和纵向方向都出现偏移时只能消除部分区域，在某些边界上仍会有拼接痕迹，而最佳缝合线算法由于计算量大，耗时长，不能满足快速拼接的要求。

发明内容

针对现有图像拼接存在的不足，本发明的目的是提供一种基于视域融合的图像拼接方法及系统，使得对无人机拍摄的图像能够进行精准拼接和最优融合。

本发明解决上述技术问题的方案：

一种基于视域融合的图像拼接方法，其特征在于，包括以下步骤：

图像输入，导入拍摄图像形成图像库；

图像粗配准，从图像库中选择基准图像与待拼接图像，计算得到基准图像与待拼接图像之间的粗偏移量；

图像精配准，通过粗偏移量计算得到基准图像与待拼接图像之间重叠部分的粗重叠区域，再根据基准图像与待拼接图像在粗重叠区域中相似度最高的区域确定基准图像与待拼接图像之间的精偏移量，并将基准图像与待拼接图像按照粗偏移量和精偏移量拼接得到粗拼接图像；

图像融合，对粗拼接图像中基准图像与待拼接图像重叠区域的像素进行融合处理得到拼接图像。

进一步限定，所述图像粗配准包括以下步骤：

从图像库中选择一张拍摄图像或者拼接图像作为基准图像，再从图像库中按拍摄图像的拍摄顺序选择一个拍摄图像作为待拼接图像；

读取基准图像的经纬度和待拼接图像的经纬度；

根据基准图像的经纬度和待拼接图像的经纬度计算待拼接图像相对于基准图像的粗偏移量。

进一步限定，所述图像精配准包括以下步骤：

根据所述粗偏移量获取基准图像与待拼接图像之间重叠部分的粗重叠区域；

在待拼接图像上的粗重叠区域内选取匹配模板；

在基准图像内选取准匹配区域，所述准匹配区域的中心位置位于基准图像上的粗重叠区域且准匹配区域与匹配模板大小相等；

选择与匹配模板相似度最高的准匹配区域作为匹配区域；

利用匹配区域与匹配模板之间的位置计算待基准图像与拼接图像之间的精偏移量；

对基准图像边界进行扩展得到基准扩展图像，并将待拼接图像根据粗偏移量与精偏移量拼接在基准图像中得到粗拼接图像。

进一步限定，所述匹配区域的确定包括以下步骤：

将基准图像上粗重叠区域中的每一个像素位置作为准匹配区域的中心位置，得到多个中心位置均不相同的准匹配区域；

计算每一个准匹配区域中像素值与匹配模板中像素值之间的相似度，得到与匹配模板相似度最高的准匹配区域，将该准匹配区域作为匹配区域。

进一步限定，所述图像融合包括以下步骤：

对粗拼接图像中的所有像素值均加k，k为大于0的正整数；

在粗拼接图像上边界、下边界、左边界和右边界的相邻外侧均增加与对应边界长度相同宽度至少为1并且像素值为0的像素；

对粗拼接图像二值化后利用高斯边缘检测算子获取粗拼接图像所有边界点的位置；

利用粗拼接图像中基准图像与待拼接图像重叠区域内任一像素位置到基准图像边界点的最短欧氏距离D1和该像素到待拼接图像边界点的最短欧氏距离D2，确定该像素的像素值融合权重并得到该像素融合后的像素值，完成该像素的像素融合；

将基准图像与待拼接图像重叠区域中所有像素完成像素融合后完成图像融合，得到拼接图像。

一种基于视域融合的图像拼接系统，其特征在于，包括：

图像库单元，用于导入拍摄图像形成图像库；

图像粗配准单元，用于从图像库中选择基准图像与待拼接图像，计算得到基准图像与待拼接图像之间的粗偏移量；

图像精配准单元，用于通过粗偏移量计算得到基准图像与待拼接图像之间重叠部分的粗重叠区域，再根据基准图像与待拼接图像在粗重叠区域中相似度最高的区域确定基准图像与待拼接图像之间的精偏移量，并将基准图像与待拼接图像按照粗偏移量和精偏移量拼接得到粗拼接图像；

图像融合单元，用于对粗拼接图像中基准图像与待拼接图像重叠区域的像素进行融合处理得到拼接图像。

进一步限定，所述图像粗配准单元包括：

图像输入模块，用于从图像库中选择一张拍摄图像或者拼接图像作为基准图像，再从图像库单元中按拍摄图像的拍摄顺序选择一个拍摄图像作为待拼接图像；

经纬度读取模块，用于读取基准图像的经纬度和待拼接图像的经纬度；

粗偏移量计算模块，用于根据基准图像的经纬度和待拼接图像的经纬度计算待拼接图像相对于基准图像的粗偏移量。

进一步限定，所述图像精配准单元包括：

粗重叠区域计算模块，用于根据所述粗偏移量获取基准图像与待拼接图像之间重叠部分的粗重叠区域；

匹配模板获取模块，用于在待拼接图像上的粗重叠区域内选取匹配模板；

匹配区域计算模块，用于在基准图像内选取准匹配区域，所述准匹配区域的中心位置位于基准图像上的粗重叠区域且准匹配区域与匹配模板大小相等，选择与匹配模板相似度最高的准匹配区域作为匹配区域；

精偏移量计算模块，用于利用匹配区域与匹配模板之间的位置计算待基准图像与拼接图像之间的精偏移量；

图像拼接模块，用于对基准图像边界进行扩展得到基准扩展图像，并将待拼接图像根据粗偏移量与精偏移量拼接在基准图像中得到粗拼接图像。

进一步限定，所述匹配区域计算模块包括：

准匹配区域获取模块，用于将基准图像上粗重叠区域中的每一个像素位置作为准匹配区域的中心位置，得到多个中心位置均不相同的准匹配区域；

匹配区域获取模块，用于计算每一个准匹配区域中像素值与匹配模板中像素值之间的相似度，得到与匹配模板相似度最高的准匹配区域，将该准匹配区域作为匹配区域。

进一步限定，所述图像融合单元包括：

边界点获取模块，用于对粗拼接图像中的所有像素值均加k，k为大于0的正整数，并在粗拼接图像上边界、下边界、左边界和右边界的相邻外侧均增加与对应边界长度相同宽度至少为1并且像素值为0的像素，随后对粗拼接图像二值化后利用高斯边缘检测算子获取粗拼接图像所有边界点的位置；

像素融合模块，用于利用粗拼接图像中基准图像与待拼接图像重叠区域内任一像素位置到基准图像边界点的最短欧氏距离D1和该像素到待拼接图像边界点的最短欧氏距离D2，确定该像素的像素值融合权重并得到该像素融合后的像素值，完成该像素的像素融合，将基准图像与待拼接图像重叠区域中所有像素完成像素融合后完成图像融合，得到拼接图像。

本发明的有益效果在于：

1、对拍摄图像先通过粗配准计算出两张图像的拼接粗偏移量，随后再经过精配准实现对两张图像的精准拼接，保证基准图像与待拼接图像能够快速准确地进行拼接，克服通过图像内容特征进行匹配拼接造成适用范围小的不足，同时利用基准图像与待拼接图像重叠区域的像素值根据与粗拼接图像中基准图像的像素值和待拼接图像的像素值进行加权计算得到融合后的像素值，使得融合效果更好。

2、计算准匹配区域中像素与匹配模块区域中像素的相似度计算采用高斯距离计算公式，高斯距离的计算能够避免像素点上的噪声对计算两幅图像相似度的影响，提高匹配的精度。

附图说明

图1为本发明实施例1的基于视域融合的图像拼接方法步骤图；

图2为本发明实施例1中图像精配准的具体步骤图；

图3为本发明实施例1中的拍摄图像a；

图4为本发明实施例1中的拍摄图像b；

图5为本发明实施例1中得到的粗拼接图像；

图6为本发明实施例1中得到拼接图像；

图7为本发明实施例1中拍摄区域图像；

图8为现有的图像拼接融合得到的拍摄区域图像；

图9为本发明实施例2中基于视域融合的图像拼接系统的示意图；

图10为本发明实施例2中基于视域融合的图像拼接系统的具体示意图。

具体实施方式

实施例1

参考图1，本实施例提供一种基于视域融合的图像拼接方法，包括以下步骤：

图像输入，导入拍摄图像形成图像库；

图像粗配准，从图像库中选择基准图像与待拼接图像，计算得到基准图像与待拼接图像之间的粗偏移量；

图像精配准，通过粗偏移量计算得到基准图像与待拼接图像之间重叠部分的粗重叠区域，再根据基准图像与待拼接图像在粗重叠区域中相似度最高的区域确定基准图像与待拼接图像之间的精偏移量，并将基准图像与待拼接图像按照粗偏移量和精偏移量拼接得到粗拼接图像；

图像融合，对粗拼接图像中基准图像与待拼接图像重叠区域的像素进行融合处理得到拼接图像。

参考图3与图4，分别为无人机依次拍摄的拍摄图像a和拍摄图像b，两张图像中存在公共区域，也存在不同的新区域；具体的，无人机通常搭载摄像设备例如摄像机或者雷达对地面进行拍摄，无人机在执行拍摄任务时会设定拍摄路径，保证拍摄的图像更全面同时也不会数量过多，每一张拍摄图像都含有对应的图像信息，其中图像信息中会含有该图像拍摄时的时间，图像信息中还会含有图像的名称，通常图像的名称也会按照设定的顺序依次进行命名，同时图像信息中还含有无人机拍摄时的经纬度，该经纬度也代表此时图像中心位置所在的经纬度，拍摄时会将拍摄图像发送给地面端或者拍摄完成后保存在无人机搭载的存储装置后续再进行读取。

具体的，将拍摄的图像导入得到图像库，此时图像库中的拍摄图像按照拍摄时的时间顺序进行排序，在开始对拍摄的拍摄图像进行拼接时，通常会先对拍摄图像进行校准，针对无人机在拍摄过程中因设备运行不稳定或者风吹等外界因素使拍摄角度与设定角度之间出现轻微偏差导致个别拍摄图像需要旋转后再进行拼接工作。

在开始拼接工作前，为了方便图像选择时快速准确，通常会将拍摄图像按照拍摄时间和拍摄名称按照设定的拍摄路径进行排序，使得每一张拍摄图像依次拼接能够得到无人机拍摄路径下所有的底面照片，保证图像拼接内容准确不会出现区域颠倒等缺陷。

具体的，图像粗配准包括以下步骤：

从图像库中选择一张拍摄图像或者拼接图像作为基准图像，再从图像库单元中按拍摄图像的拍摄顺序选择一个拍摄图像作为待拼接图像；

在开始进行图像拼接工作时，会先选择第一张拍摄图像作为基准图像，随后按照与拍摄路线对应的拍摄时间顺序选择第二张拍摄图像作为待拼接图像，当完成两张图像的最终拼接得到由两张拍摄图像拼接的拼接图像(包括图像融合)后，进行第三张拍摄图像拼接时，此时选择前两张拍摄图像拼接得到的拼接图像作为基准图像与第三张拍摄图像进行拼接，如此循环，直至最后一张拍摄图像与上一步得到的拼接图像完成最终拼接，从而完成图像拼接工作，工作简单。

读取基准图像的经纬度和待拼接图像的经纬度；

根据基准图像的经纬度和待拼接图像的经纬度计算待拼接图像相对于基准图像的粗偏移量；

具体的，随后，读取基准图像的经度与纬度和待拼接图像的经度与纬度；

根据

计算待拼接图像相对于基准图像的粗偏移量，其中LG1和LA1分别为基准图像的经度和纬度，LG2和LA2分别为待拼接图像的经度和纬度，offsetX为待拼接图像相对于基准图像在水平方向的粗偏移量，offsetY为待拼接图像相对于基准图像在竖直方向的粗偏移量，M为像元大小，R为地球半径。

参考图2，具体的，图像精配准包括以下步骤：

根据所述粗偏移量获取基准图像与待拼接图像之间重叠部分的粗重叠区域，具体为：

其中，roi1为基准图像中的粗重叠区域，roi1.x为基准图像中粗重叠区域的起始横坐标，roi1.y为基准图像中粗重叠区域的起始纵坐标，roi1W₁为基准图像中粗重叠区域的宽，roi1H₁为基准图像中粗重叠区域的高，roi2为待拼接图像中的粗重叠区域，roi2.x为基准图像中粗重叠区域的起始横坐标，roi2.y为基准图像中粗重叠区域的起始纵坐标，roi2W₂为基准图像中粗重叠区域的宽，roi2H₂为基准图像中粗重叠区域的高，abs为绝对值函数；

在待拼接图像上的粗重叠区域内选取匹配模板，在基准图像内选取准匹配区域，所述准匹配区域的中心位置位于基准图像上的粗重叠区域且准匹配区域与匹配模板大小相等，随后选择与匹配模板相似度最高的准匹配区域作为匹配区域；

具体的，在roi2中选取匹配模板，匹配模板的宽为tw，匹配模板的高为th，匹配模板的位置为(tcx，tcy)；

在roi1中以任一像素为中心做宽为M高为N的准匹配区域，计算准匹配区域中各像素与匹配模块区域中各像素的相似度，将与匹配模块区域相似度最高的准匹配区域作为匹配区域，得到匹配区域的位置(POS.x，POS.y)；

其中，M＝tw，N＝th；寻找与匹配模板相似度最高的匹配区域在搜素区域较大时会花费较多时间进行相似度的计算与比较从而花费大量时间，所以进一步优选将粗重叠区域图像缩小B倍，当B＝0.5时，缩小后的粗重叠区域的长于宽各缩小一半，则缩小后的粗重叠区域大小为原来的四分之一，随后对缩小后的粗重叠区域中的像素依次进行相似度计算，随后将在缩小后的粗重叠区域的像素位置对应在原本的粗重叠区域，同时对该像素位置相邻的像素再进行相似度计算，从而在保证计算准确性的同时提高相似度最高的匹配对应位置的计算效率。

利用匹配区域与匹配模板之间的位置计算待基准图像与拼接图像之间的精偏移量；

具体的，利用匹配区域的位置计算待拼接图像相对于基准图像的精偏移量(accurateX，accurateY)，其中accurateX＝offsetX+POS.x-tcx，accurateY＝offsety+POS.y-tcy；

对基准图像边界进行扩展得到基准扩展图像，并将待拼接图像根据粗偏移量与精偏移量拼接在基准图像中得到粗拼接图像；

具体的，对基准图像边界进行扩展得到基准扩展图像，所述基准扩展图像为：

Left＝max(-accurateX，0)

Right＝max(accurateX，0)

Top＝max(-accurateY，0)

Bottom＝max(accurateY，0)

其中，Left为基准扩展图像的左边线，Right为基准扩展图像的右边线，Top为基准扩展图像的顶部边线，Bottom为基准扩展图像的底部边线；将待拼接图像复制到基准扩展图像的P位置(P.x，P.y)得到粗拼接图像，其中

参考图5，将拍摄图像b拼接在拍摄图像a扩展后的基准扩展图像中，通过拍摄图像a与拍摄图像b拼接得到的粗拼接图像；

匹配区域的确定包括以下步骤：

将基准图像上粗重叠区域中的每一个像素位置作为准匹配区域的中心位置，得到多个中心位置均不相同的；

计算每一个准匹配区域中像素值与匹配模板中像素值之间的相似度，得到与匹配模板相似度最高的准匹配区域，将该准匹配区域作为匹配区域。

准匹配区域中像素与匹配模块区域中像素相似度的评价利用高斯距离公式进行计算，具体的，计算准匹配区域中像素与匹配模块区域中像素的相似度具体为：

利用准匹配区域与匹配模板的高斯距离作为相似度S大小的评价，所述准匹配区域与匹配模板的高斯距离作为相似度S大小的评价公式为：

其中，P1(m，n)为匹配模板所在区域中任一像素的像素值，P2(m，n)为与该匹配模板对应的准匹配区域中相同位置的像素值，D(m，n)为准匹配区域与匹配模块相减得到的像素值差值，m为该像素的横坐标，n为该像素的纵坐标，MSE为标准差，D(m，n)＝P1(m，n)-P2(m，n)，

具体的，图像融合包括以下步骤：

对粗拼接图像中的所有像素值均加k，k为大于0的正整数；

在粗拼接图像上边界、下边界、左边界和右边界的相邻外侧均增加与对应边界长度相同宽度至少为1并且像素值为0的像素；

对粗拼接图像二值化后利用高斯边缘检测算子获取粗拼接图像所有边界点的位置；

其中k可选为1，避免粗拼接图像内部存在像素值为0的像素，随后在粗拼接图像的周侧增加一圈长度与对应边界相同宽度为1个像素的像素边界，并将该像素边界的像素值赋值为0，随后对粗拼接图像内的图像进行二值化操作，选择阈值为0.5，然后利用利用高斯边缘检测算子获取粗拼接图像所有边界点坐标的位置。

利用粗拼接图像中基准图像与待拼接图像重叠区域内任一像素位置P(x，y)到基准图像边界点的最短欧氏距离D1和基准图像与待拼接图像重叠区域中各个像素位置到待拼接图像边界点的最短欧氏距离D2，计确定该像素的像素值融合权重并得到该像素融合后的像素值P(X，Y)，完成该像素的像素融合；

将基准图像与待拼接图像重叠区域中所有像素完成像素融合后完成图像融合，得到拼接图像；

像素融合表达式为：

其中，Least为一个大于0的常数，避免分母为0，重叠区域像素点P距离基准图像边界越远说明该像素点P越靠近基准图像的中心位置同时越远离待拼接图像的中心位置，则像素点P在基准图像的权重越大在待拼接图像的权重越小，相反的，像素点P距离基准图像边界越近则说明该像素越远离基准图像的中心位置同时也越靠近待拼接图像的中心位置，所以像素点在基准图像的权重越小，在待拼接图像的权重越大，权重越大，其像素值越进行该图像的像素值。

参考图6，为对图5粗拼接图像进行像素融合后得到的拼接图像；如果此时拍摄图像还没有完成全部拼接融合，则此时将图5的拼接图像作为基准图像，再按序选择一个拍摄图像与新的基准图像进行拼接融合，最终得到图7所示的拍摄区域图像；图8作为通过现有技术得到的相同的拍摄区域图像，拍摄图像之间的拼接存在误差，并且相邻两张拍摄图像之间的过度生硬存在明显色差，效果不佳。

实施例2

参考图9，本实施例提供一种基于视域融合的图像拼接系统，包括：

图像库单元，用于导入拍摄图像形成图像库；

图像粗配准单元，用于从图像库中选择基准图像与待拼接图像，计算得到基准图像与待拼接图像之间的粗偏移量；

图像精配准单元，用于通过粗偏移量计算得到基准图像与待拼接图像之间重叠部分的粗重叠区域，再根据基准图像与待拼接图像在粗重叠区域中相似度最高的区域确定基准图像与待拼接图像之间的精偏移量，并将基准图像与待拼接图像按照粗偏移量和精偏移量拼接得到粗拼接图像；

图像融合单元，用于对粗拼接图像中基准图像与待拼接图像重叠区域的像素进行融合处理得到拼接图像。

参考图10，具体的，图像粗配准单元包括：

图像输入模块，用于从图像库中选择一张拍摄图像或者拼接图像作为基准图像，再从图像库单元中按拍摄图像的拍摄顺序选择一个拍摄图像作为待拼接图像；

经纬度读取模块，用于读取基准图像的经纬度和待拼接图像的经纬度；

粗偏移量计算模块，用于根据基准图像的经纬度和待拼接图像的经纬度计算待拼接图像相对于基准图像的粗偏移量；

具体的，根据

计算待拼接图像相对于基准图像的粗偏移量，其中LG1和LA1分别为基准图像的经度和纬度，LG2和LA2分别为待拼接图像的经度和纬度，offsetX为待拼接图像相对于基准图像在水平方向的粗偏移量，offsetY为待拼接图像相对于基准图像在竖直方向的粗偏移量，M为像元大小，R为地球半径；

所述图像信息包括拍摄图像中心位置的经纬度。

具体的，图像精配准单元包括：

粗重叠区域计算模块，用于根据所述粗偏移量获取基准图像与待拼接图像之间重叠部分的粗重叠区域，具体为：

其中，roi1为基准图像中的粗重叠区域，roi1.x为基准图像中粗重叠区域的起始横坐标，roi1.y为基准图像中粗重叠区域的起始纵坐标，roi1W₁为基准图像中粗重叠区域的宽，roi1H₁为基准图像中粗重叠区域的高，roi2为待拼接图像中的粗重叠区域，roi2.x为基准图像中粗重叠区域的起始横坐标，roi2.y为基准图像中粗重叠区域的起始纵坐标，roi2W₂为基准图像中粗重叠区域的宽，roi2H₂为基准图像中粗重叠区域的高，abs为绝对值函数；

匹配模板获取模块，用于在待拼接图像上的粗重叠区域内选取匹配模板；

具体的，在roi2中选取匹配模板，匹配模板的宽为tw，匹配模板的高为th，匹配模板的位置为(tcx，tcy)；

匹配区域计算模块，用于在基准图像内选取准匹配区域，所述准匹配区域的中心位置位于基准图像上的粗重叠区域且准匹配区域与匹配模板大小相等；选择与匹配模板相似度最高的准匹配区域作为匹配区域；

具体的，在roi1中以任一像素为中心做宽为M高为N的准匹配区域，计算准匹配区域中各像素与匹配模块区域中各像素的相似度，将与匹配模块区域相似度最高的准匹配区域作为匹配区域，得到匹配区域的位置(POS.x，POS.y)；

其中，M＝tw，N＝th；寻找与匹配模板相似度最高的匹配区域在搜素区域较大时会花费较多时间进行相似度的计算与比较从而花费大量时间，所以进一步优选将粗重叠区域图像缩小B倍，当B＝0.5时，缩小后的粗重叠区域的长于宽各缩小一半，则缩小后的粗重叠区域大小为原来的四分之一，随后对缩小后的粗重叠区域中的像素依次进行相似度计算，随后将在缩小后的粗重叠区域的像素位置对应在原本的粗重叠区域，同时对该像素位置相邻的像素再进行相似度计算，从而在保证计算准确性的同时提高相似度最高的匹配对应位置的计算效率

精偏移量计算模块，用于利用匹配区域与匹配模板之间的位置计算待基准图像与拼接图像之间的精偏移量；

具体的，利用匹配区域的位置计算待拼接图像相对于基准图像的精偏移量(accurateX，accurateY)，其中accurateX＝offsetX+POS.x-tcx，accurateY＝offsety+POS.y-tcy；

图像拼接模块，用于对基准图像边界进行扩展得到基准扩展图像，并将待拼接图像根据粗偏移量与精偏移量拼接在基准图像中得到粗拼接图像；

匹配区域计算模块包括：

准匹配区域获取模块，用于将基准图像上粗重叠区域中的每一个像素位置作为准匹配区域的中心位置，得到多个中心位置均不相同的准匹配区域；

匹配区域获取模块，用于计算每一个准匹配区域中像素值与匹配模板中像素值之间的相似度，得到与匹配模板相似度最高的准匹配区域，将该准匹配区域作为匹配区域。

具体的，对基准图像边界进行扩展得到基准扩展图像，所述基准扩展图像为：

Left＝max(-accurateX，0)

Right＝max(accurateX，0)

Top＝max(-accurateY，0)

Bottom＝max(accurateY，0)

其中，Left为基准扩展图像的左边线，Right为基准扩展图像的右边线，Top为基准扩展图像的顶部边线，Bottom为基准扩展图像的底部边线；用于将待拼接图像复制到基准扩展图像的P位置(P.x，P.y)得到粗拼接图像，其中

准匹配区域中像素与匹配模块区域中像素相似度的评价利用高斯距离公式进行计算，具体的，计算准匹配区域中像素与匹配模块区域中像素的相似度具体为：

利用准匹配区域与匹配模板的高斯距离作为相似度S大小的评价，所述准匹配区域与匹配模板的高斯距离作为相似度S大小的评价公式为：

其中，P1(m，n)为匹配模板所在区域中任一像素的像素值，P2(m，n)为与该匹配模板对应的准匹配区域中相同位置的像素值，D(m，n)为准匹配区域与匹配模块相减得到的像素值差值，m为该像素的横坐标，n为该像素的纵坐标，MSE为标准差，D(m，n)＝P1(m，n)-P2(m，n)，

具体的，图像融合单元包括：

边界点获取模块，用于对粗拼接图像中的所有像素值均加k，k为大于0的正整数，并在粗拼接图像上边界、下边界、左边界和右边界的相邻外侧均增加与对应边界长度相同宽度至少为1并且像素值为0的像素，随后对粗拼接图像二值化后利用高斯边缘检测算子获取粗拼接图像所有边界点的位置；

像素融合模块，用于利用粗拼接图像中基准图像与待拼接图像重叠区域内任一像素位置到基准图像边界点的最短欧氏距离D1和该像素到待拼接图像边界点的最短欧氏距离D2，确定该像素的像素值融合权重并得到该像素融合后的像素值P(X，Y)，完成该像素的像素融合，将基准图像与待拼接图像重叠区域中所有像素完成像素融合后得到拼接图像：

其中，Least为一个大于0的常数，避免分母为0，重叠区域像素点P距离基准图像边界越远说明该像素点P越靠近基准图像的中心位置同时越远离待拼接图像的中心位置，则像素点P在基准图像的权重越大在待拼接图像的权重越小，相反的，像素点P距离基准图像边界越近则说明该像素越远离基准图像的中心位置同时也越靠近待拼接图像的中心位置，所以像素点在基准图像的权重越小，在待拼接图像的权重越大，权重越大，其像素值越进行该图像的像素值。

Claims (10)

1.一种基于视域融合的图像拼接方法，其特征在于，包括以下步骤：

图像输入，导入拍摄图像形成图像库；

图像粗配准，从图像库中选择基准图像与待拼接图像，计算得到基准图像与待拼接图像之间的粗偏移量；

图像精配准，通过粗偏移量计算得到基准图像与待拼接图像之间重叠部分的粗重叠区域，再根据基准图像与待拼接图像在粗重叠区域中相似度最高的区域确定基准图像与待拼接图像之间的精偏移量，并将基准图像与待拼接图像按照粗偏移量和精偏移量拼接得到粗拼接图像；

图像融合，对粗拼接图像中基准图像与待拼接图像重叠区域的像素进行融合处理得到拼接图像。

2.根据权利要求1所述的基于视域融合的图像拼接方法，其特征在于，所述图像粗配准包括以下步骤：

从图像库中选择一张拍摄图像或者拼接图像作为基准图像，再从图像库中按拍摄图像的拍摄顺序选择一个拍摄图像作为待拼接图像；

读取基准图像的经纬度和待拼接图像的经纬度；

根据基准图像的经纬度和待拼接图像的经纬度计算待拼接图像相对于基准图像的粗偏移量。

3.根据权利要求1或2所述的基于视域融合的图像拼接方法，其特征在于，所述图像精配准包括以下步骤：

根据所述粗偏移量获取基准图像与待拼接图像之间重叠部分的粗重叠区域；

在待拼接图像上的粗重叠区域内选取匹配模板；

在基准图像内选取准匹配区域，所述准匹配区域的中心位置位于基准图像上的粗重叠区域且准匹配区域与匹配模板大小相等；

选择与匹配模板相似度最高的准匹配区域作为匹配区域；

利用匹配区域与匹配模板之间的位置计算待基准图像与拼接图像之间的精偏移量；

对基准图像边界进行扩展得到基准扩展图像，并将待拼接图像根据粗偏移量与精偏移量拼接在基准图像中得到粗拼接图像。

4.根据权利要求3所述的基于视域融合的图像拼接方法，其特征在于，所述匹配区域的确定包括以下步骤：

将基准图像上粗重叠区域中的每一个像素位置作为准匹配区域的中心位置，得到多个中心位置均不相同的准匹配区域；

计算每一个准匹配区域中像素值与匹配模板中像素值之间的相似度，得到与匹配模板相似度最高的准匹配区域，将该准匹配区域作为匹配区域。

5.根据权利要求4所述的基于视域融合的图像拼接方法，其特征在于，所述图像融合包括以下步骤：

对粗拼接图像中的所有像素值均加k，k为大于0的正整数；

在粗拼接图像上边界、下边界、左边界和右边界的相邻外侧均增加与对应边界长度相同宽度至少为1并且像素值为0的像素；

对粗拼接图像二值化后利用高斯边缘检测算子获取粗拼接图像所有边界点的位置；

利用粗拼接图像中基准图像与待拼接图像重叠区域内任一像素位置到基准图像边界点的最短欧氏距离D1和该像素到待拼接图像边界点的最短欧氏距离D2，确定该像素的像素值融合权重并得到该像素融合后的像素值，完成该像素的像素融合；

将基准图像与待拼接图像重叠区域中所有像素完成像素融合后完成图像融合，得到拼接图像。

6.一种基于视域融合的图像拼接系统，其特征在于，包括：

图像库单元，用于导入拍摄图像形成图像库；

图像粗配准单元，用于从图像库中选择基准图像与待拼接图像，计算得到基准图像与待拼接图像之间的粗偏移量；

图像精配准单元，用于通过粗偏移量计算得到基准图像与待拼接图像之间重叠部分的粗重叠区域，再根据基准图像与待拼接图像在粗重叠区域中相似度最高的区域确定基准图像与待拼接图像之间的精偏移量，并将基准图像与待拼接图像按照粗偏移量和精偏移量拼接得到粗拼接图像；

图像融合单元，用于对粗拼接图像中基准图像与待拼接图像重叠区域的像素进行融合处理得到拼接图像。

7.根据权利要求6所述的基于视域融合的图像拼接系统，其特征在于，所述图像粗配准单元包括：

图像输入模块，用于从图像库中选择一张拍摄图像或者拼接图像作为基准图像，再从图像库单元中按拍摄图像的拍摄顺序选择一个拍摄图像作为待拼接图像；

经纬度读取模块，用于读取基准图像的经纬度和待拼接图像的经纬度；

粗偏移量计算模块，用于根据基准图像的经纬度和待拼接图像的经纬度计算待拼接图像相对于基准图像的粗偏移量。

8.根据权利要求6或7所述的基于视域融合的图像拼接系统，其特征在于，所述图像精配准单元包括：

粗重叠区域计算模块，用于根据所述粗偏移量获取基准图像与待拼接图像之间重叠部分的粗重叠区域；

匹配模板获取模块，用于在待拼接图像上的粗重叠区域内选取匹配模板；

匹配区域计算模块，用于在基准图像内选取准匹配区域，所述准匹配区域的中心位置位于基准图像上的粗重叠区域且准匹配区域与匹配模板大小相等；选择与匹配模板相似度最高的准匹配区域作为匹配区域；

精偏移量计算模块，用于利用匹配区域与匹配模板之间的位置计算待基准图像与拼接图像之间的精偏移量；

图像拼接模块，用于对基准图像边界进行扩展得到基准扩展图像，并将待拼接图像根据粗偏移量与精偏移量拼接在基准图像中得到粗拼接图像。

9.根据权利要求8所述的基于视域融合的图像拼接系统，其特征在于，所述匹配区域计算模块包括：

准匹配区域获取模块，用于将基准图像上粗重叠区域中的每一个像素位置作为准匹配区域的中心位置，得到多个中心位置均不相同的准匹配区域；

匹配区域获取模块，用于计算每一个准匹配区域中像素值与匹配模板中像素值之间的相似度，得到与匹配模板相似度最高的准匹配区域，将该准匹配区域作为匹配区域。

10.根据权利要求9所述的基于视域融合的图像拼接系统，其特征在于，所述图像融合单元包括：

边界点获取模块，用于对粗拼接图像中的所有像素值均加k，k为大于0的正整数，并在粗拼接图像上边界、下边界、左边界和右边界的相邻外侧均增加与对应边界长度相同宽度至少为1并且像素值为0的像素，随后对粗拼接图像二值化后利用高斯边缘检测算子获取粗拼接图像所有边界点的位置；

像素融合模块，用于利用粗拼接图像中基准图像与待拼接图像重叠区域内任一像素位置到基准图像边界点的最短欧氏距离D1和该像素到待拼接图像边界点的最短欧氏距离D2，确定该像素的像素值融合权重并得到该像素融合后的像素值，完成该像素的像素融合，将基准图像与待拼接图像重叠区域中所有像素完成像素融合后完成图像融合，得到拼接图像。

Images