CN103679672A - 基于边缘垂直距离匹配的全景图像拼接方法 - Google Patents

Abstract

一种基于边缘垂直距离匹配的全景图像拼接方法，（1）利用CANNY算法提取两幅图像边缘；（2）筛选匹配的像素列；（3）按边缘像素纵坐标的方差进行匹配；（4）按方差值和反映的图像相对位置分组；（5）对每组进行边缘垂直距离匹配，距离统计值最小一组确定图像拼接位置；（6）进行图像缝合处理。本发明通过对两幅相邻图片的边缘垂直距离进行匹配，实现全景图像的自动拼接。本方法预先对匹配位置进行筛选，减小了计算量，节约了计算机时间以提高计算精度。垂直距离匹配算法可以找到最优接缝，即接缝位置位于图片中信息量较小处，尽可能避开信息关键部位；拼接图的大部分区域完整保留原始图像，最大限度地保存原始图像的信息。

Description

基于边缘垂直距离匹配的全景图像拼接方法

技术领域

本发明涉及360度的全方位图像的场景绘制方法，尤其是基于边缘垂直距离匹配的全景图像拼接方法。 

背景技术

全景图生成是基于图像的绘制技术(IBR)中的一项重要内容，广泛应用于虚拟现实、视频压缩和传输、医学等领域。全景图指在固定视点以垂直180°的视角宽度向四周360°方向观看，视觉可能看到的全部景象的图像。全景图的简单形式可以是固定视平面上的水平360°的图像。利用专用器材可以直接获得全景图，但这些器材价值高昂不易获取，利用计算机进行图像拼接更加简单易行。全景图像的拼合是IBR绘制方法中的一项基本技术，它是指利用照相机的平移或旋转得到的部分重叠的图像样本，生成一个较大的甚至360°的全方位图像的场景绘制方法。全景图像的拼合利用离散的局部图像作为基础数据，利用计算机进行一系列处理后，形成一幅全景图。图像的拼接主要处理相邻的两幅图像样本之间的重叠部分，对样本进行局部匹配和拼接。 

全景图生成技术中最核心的一步是图像拼接，目前有多种全景图像的拼接算法，常见的有基于面积的算法和基于特征的算法两大类：(1)基于面积的匹配是把一幅图像的某一像素值邻域作为模板，在另一幅图像上搜索具有相同或相似像素值分布的对应点邻域，从而确定两幅图像的 重叠范围。在搜索过程中，通常以相关函数作为两个搜索邻域间的相似性测度。(2)基于特征的匹配不是直接利用图像的像素值，而是在频域或空域通过像素导出符号特征进行匹配，该方法比基于面积的方法要快，具体方法有基于图像中特征场景的匹配、基于提取图像某两列像素差的匹配、基于特征线段的图像匹配等算法。上述图像拼接方法准确度不够高，往往拼接出来的全景图会扭曲失真。 

发明内容

本发明所要解决的技术问题是提供一种基于边缘垂直距离匹配的全景图像拼接方法，图片拼接准确度高，实现无缝拼接。 

为解决上述技术问题，本发明的技术方案是：一种基于边缘垂直距离匹配的全景图像拼接方法，包括以下步骤： 

（1）利用CANNY算法提取两幅图像边缘； 

（2）筛选匹配的像素列； 

（3）按边缘像素纵坐标的方差进行匹配； 

（4）按方差值和反映的图像相对位置分组； 

（5）对每组进行边缘垂直距离匹配，距离统计值最小一组确定图像拼接位置； 

（6）进行图像缝合处理。 

本发明提供一种新的图像自动识别拼接方法，通过对两幅相邻图片的边缘垂直距离进行匹配，实现全景图像的自动拼接。本方法预先对匹配位置进行筛选，减小了计算量，节约了计算机时间以提高计算精度。垂直距离匹配算法可以找到最优接缝，即接缝位置位于图片中信息量较 小处，尽可能避开信息关键部位；拼接图的大部分区域完整保留原始图像，最大限度地保存原始图像的信息；确定待拼接图像的水平拼接关系同时准确找到垂直偏移，在不具备固定拍摄条件如手持拍摄的场合具有优势。 

作为改进，所述步骤（1）的具体为：首先利用Canny算法提取每幅图像的边缘，记录每一列的边缘点的纵坐标，求出每一列边缘点的纵坐标的均值μ_j和方差δ_j。 

作为改进，所述步骤（2）的具体为：由于纵坐标的均值表示边缘的平均位置，方差表示分散程度，相邻列之间均值或方差的变化程度大，说明此列附近的图像在水平方向有较大的变化，筛选出这样的列进行比较，均值和方差的变化程度由前后列增加量的平均值衡量，其公式为： 

${{\mathrm{\μ}}^{\′}}_j=\frac{{\mathrm{\μ}}_{j+1}-{\mathrm{\μ}}_{j-1}}{2}$

${{\mathrm{\δ}}^{\′}}_j=\frac{{\mathrm{\δ}}_{j+1}-{\mathrm{\δ}}_{j-1}}{2}$

增量的阀值可取图像垂直高度的1%。选取增量大于阀值的列，分为正、负增量两组，每幅图像的正组与正组匹配，负组与负组匹配，通过这种方法预先筛选出待比较的列。 

作为改进，所述步骤（3）的具体为：筛选出待匹配的列并分组以后进行邻域方差匹配：首先比较由需要匹配的列确定的一个邻域中，相对应的列的边缘点纵坐标方差；每对待匹配，以待匹配列的横坐标为中点，确定两个长度为L的方差数列SmA和SnB，L选取图像宽度的15%左右，SmA与SnB的相似程度由SmA与SnB之差的绝对值来衡量，即 

$\mathrm{Sim}(S_m^A,S_n^B)=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}|S_m^A\left(i\right)-S_n^B\left(i\right)|$

越小说明SmA与SnB相似程度越高。 

作为改进，所述步骤（4）的具体为：每对待匹配列都可以得到一个Sim值，对所有待匹配列进行邻域方差匹配后，对每一对匹配过的列进行分组：图像A、B中的待匹配列同时落在邻近范围内的分为一组；以每一组的中最小的Sim值作为该组的Sim值，并记录Sim值最小一对的横坐标m、n作为匹配组的位置；分组后把每组按Sim值从小到大排列，也即按相似程度从大到小排列，对前K组进行垂直距离匹配处理，一般K取20左右是充足的；垂直距离即一列像素点中每点到该列中最近的边缘点的距离。 

作为改进，所述步骤（5）的具体为：进行垂直距离匹配：匹配组位置m、n为中心在各自原图中对应的长度为L的邻域中，等间距地取10对像素列，计算每对像素列的距离数列

与

进行比较，j表示第j对对应像素列；比较方式为每对距离列取垂直偏移量Offset在–h/2到h/2之内变化，h为图像高度，求绝对差值的平均值，取结果最小值，即： 

${\mathrm{Distence}}_{m,n}^j=\underset{\mathrm{Offset}\∈(-h/2,h/2)}{\min }\left\{\underset{i+\mathrm{Offset}\∈(0,h)}{\mathrm{\Σ}}\right|D_m^j(i+\mathrm{Offset})-D_n^j\left(i\right)|/(h-\mathrm{Offest})\}$

对10对像素列的Distance值求和，得到该组的相似系数GroupSim_m,n： 

${\mathrm{GroupSim}}_{m,n}=\underset{j=1}{\overset{10}{\mathrm{\Σ}}}\mathrm{Distenc}{e}_{m,n}^j$

前K组中GroupSim最小的一组即为最优匹配组，在最优匹配组中，Distance值最小的一对像素列为最优匹配列，最优垂直偏移量为使这对匹配列取得Distance最小值的Offset值，以这一对像素列作为两幅图像的接缝，可以得到最佳的拼接效果。 

作为改进，所述步骤（7）的具体为：图片合缝采用的加权合成的方 法： 

P_tran=(1-ω)P₁+ωP₂

其中Ptran为融合区域的灰度值，P1、P2为原图中相应像素的灰度值，ω为加权系数；对以接缝为中心长度为D的融合区域，ω从0到1渐变，由于本文算法获得了最佳的接缝位置，D只需取图像宽度的1/40～1/20。 

本发明与现有技术相比所带来的有益效果是： 

使用大量照片进行实验，结果表明本文算法具有很强的鲁棒性，即使拼接的图片之间有明显的垂直偏移和角度偏差，也能实现无缝拼接。另外，与其他图像拼接算法最大的不同点在于，本算法使用了边缘点的垂直距离数列进行匹配，不仅找到图片的相对位置的偏移量，而且找到了最优匹配接缝，这是本算法的创新点。通常最优接缝附近图像的几何特征较简单，没有很明显的标志物，因此对最优接缝的一个小邻域作平滑处理，可以避免大面积的图像灰度融合导致的模糊和重影问题，尽可能地保留了图片的原始信息。 

附图说明

图1为本发明流程框图。 

图2为对前K组进行垂直距离匹配处理的示意图。 

具体实施方式

下面结合说明书附图对本发明作进一步说明。 

用以拼接全景图像的样本序列的获取过程是照相机光心在固定圆心，围绕圆心在水平平面内旋转一周每隔一定角度拍摄一张照片。虽然拍摄尽可能保持在同一水平面，但在不具备固定拍摄条件如手持拍摄的场合， 获得的原始图片在垂直方向仍有小量偏移。本文提出的垂直边缘距离匹配的方法，确定待拼接图像的水平拼接关系同时也能确定垂直偏移，多列匹配的机制避免了局部最优，在现有图像拼接算法中具有特别的优势。 

全景图的生成实际上就是囊括水平360°视场所有景象的一系列图像的两两拼接，因此以下只讨论两幅相邻图像的拼接。对两幅图像进行自动识别拼接，需要两幅图像有20%以上的重叠区域。图像的拼接实际上是要找出两幅图像的相对位置关系，即找出图像A的重叠区域中某点在图像B中的位置（假设图像A与图像B是待拼接的相邻图像，下同），然后根据相对位置关系结合两幅图像，生成一幅包含图像A和图像B的图像范围的大图。 

如图1所示，基于边缘垂直距离匹配的全景图像拼接方法的具体步骤如下： 

提取边缘并筛选匹配列； 

首先利用Canny算法提取每幅图像的边缘，记录每一列的边缘点的纵坐标，求出每一列边缘点的纵坐标的均值μ_j和方差δ_j。由于纵坐标的均值表示边缘的平均位置，方差表示分散程度，相邻列之间均值或方差的变化程度大，说明此列附近的图像在水平方向有较大的变化，筛选出这样的列进行比较。均值和方差的变化程度可由前后列增加量的平均值衡量，如第j列为： 

${{\mathrm{\μ}}^{\′}}_j=\frac{{\mathrm{\μ}}_{j+1}-{\mathrm{\μ}}_{j-1}}{2}$

${{\mathrm{\δ}}^{\′}}_j=\frac{{\mathrm{\δ}}_{j+1}-{\mathrm{\δ}}_{j-1}}{2}$

由于图像数据有一定的干扰量，利用两列增量的平均值比单列的增量有更好的稳定性，增量的阀值可取图像垂直高度的1%。选取增量大于阀值的列，分为正、负增量两组，每幅图像的正组与正组匹配，负组与负组匹配，通过这种方法预先筛选出待比较的列，不仅可以减小计算量，而且能降低最终结果落入局部极值的概率。这是由于这些列附近图像边缘的波动较大，匹配的条件更为苛刻，避免了仅仅因为由于边缘分布简单（甚至没有边缘）而错误匹配的情况。 

图像匹配； 

筛选出待匹配的列并分组以后，匹配算法分为两步：邻域方差匹配和垂直距离匹配。邻域方差比较可以初步衡量对比的列附近图像的相似程度，垂直距离匹配则可以进一步确定图像的匹配关系和垂直偏移量。 

首先比较由需要匹配的列确定的一个邻域中，相对应的列的边缘点纵坐标方差，即2.1提到的方差δj。每对待匹配列（例如图像A中的第m列于图像B中的第n列），以待匹配列的横坐标为中点，确定两个长度为L的方差数列SmA和SnB，L一般选取图像宽度的15%左右，SmA与SnB的相似程度由SmA与SnB之差的绝对值来衡量，即 

$\mathrm{Sim}(S_m^A,S_n^B)=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}|S_m^A\left(i\right)-S_n^B\left(i\right)|$

越小说明SmA与SnB相似程度越高。 

每对待匹配列都可以得到一个Sim值。对所有待匹配列进行邻域方差匹配后，对每一对匹配过的列进行分组：图像A、B中的待匹配列同时落在邻近范围内的分为一组。例如(SmA SnB)对和(Sm’A Sn’B)对，若m与m’、n与n’相差小于一定值，则分为一组。以每一组的中最小的Sim值作为该组的Sim值，并记录Sim值最小一对的横坐标m、n作为匹配组的位置。 

分组后把每组按Sim值从小到大排列，也即按相似程度从大到小排列。对前K组进行垂直距离匹配处理（一般K取20左右是充足的）。垂直距离即一列像素点中每点到该列中最近的边缘点的距离。 

垂直距离匹配策略如下：匹配组位置m、n为中心在各自原图中对应的长度为L的邻域中，等间距地取10对像素列，计算每对像素列的距离数列与

进行比较，j表示第j对对应像素列。比较方式为每对距离列取垂直偏移量Offset在–h/2到h/2之内变化（h为图像高度），求绝对差值的平均值，取结果最小值，即： 

${\mathrm{Distence}}_{m,n}^j=\underset{\mathrm{Offset}\∈(-h/2,h/2)}{\min }\left\{\underset{i+\mathrm{Offset}\∈(0,h)}{\mathrm{\Σ}}\right|D_m^j(i+\mathrm{Offset})-D_n^j\left(i\right)|/(h-\mathrm{Offest})\}$

对10对像素列的Distance值求和，得到该组的相似系数GroupSim_m,n： 

${\mathrm{GroupSim}}_{m,n}=\underset{j=1}{\overset{10}{\mathrm{\Σ}}}\mathrm{Distenc}{e}_{m,n}^j$

前K组中GroupSim最小的一组即为最优匹配组。在最优匹配组中，Distance值最小的一对像素列为最优匹配列，最优垂直偏移量为使这对匹 配列取得Distance最小值的Offset值。以这一对像素列作为两幅图像的接缝，可以得到最佳的拼接效果。由于Distance值最小的一对像素列的边缘像素分布通常比较简单，也就是说这一对列中信息量比较小，以这一对像素列作为接缝，对图像原始信息的破坏最小，最大限度保留了原始图像的信息。 

图像融合； 

虽然已经找到了最佳接合位置，但由于图像光照条件不尽相同，拍摄的图片也不可能是完全精确的平移关系，甚至可能有小幅度的角度偏差，如果直接把图像拼接起来，则会出现明显的接缝。为了达到更好的拼接效果，需要对接缝附近进行平滑处理。目前已有很多方法处理这一问题，本文采用较为简单有效的加权合成的方法： 

P_tran=(1-ω)P₁+ωP₂

其中Ptran为融合区域的灰度值，P1、P2为原图中相应像素的灰度值，ω为加权系数。对以接缝为中心长度为D的融合区域，ω从0到1渐变。由于本文算法获得了最佳的接缝位置（最不明显的拼接位置），D只需取图像宽度的1/40～1/20即可，D取更大值反而可能出现重影，影响拼接效果。 

使用大量照片进行实验，结果表明本文算法具有很强的鲁棒性，即使拼接的图片之间有明显的垂直偏移和角度偏差，也能实现无缝拼接。另外，与其他图像拼接算法最大的不同点在于，本算法使用了边缘点的垂直距离数列进行匹配，不仅找到图片的相对位置的偏移量，而且找到 了最优匹配接缝，这是本算法的创新点。通常最优接缝附近图像的几何特征较简单，没有很明显的标志物，因此对最优接缝的一个小邻域作平滑处理，可以避免大面积的图像灰度融合导致的模糊和重影问题，尽可能地保留了图片的原始信息。 

Claims (7)

1.一种基于边缘垂直距离匹配的全景图像拼接方法，其特征在于，包括以下步骤：

（1）利用CANNY算法提取两幅图像边缘；

（2）筛选匹配的像素列；

（3）按边缘像素纵坐标的方差进行匹配；

（4）按方差值和反映的图像相对位置分组；

（5）对每组进行边缘垂直距离匹配，距离统计值最小一组确定图像拼接位置；

（6）进行图像缝合处理。

2.根据权利要求1所述的基于边缘垂直距离匹配的全景图像拼接方法，其特征在于：所述步骤（1）的具体为：首先利用Canny算法提取每幅图像的边缘，记录每一列的边缘点的纵坐标，求出每一列边缘点的纵坐标的均值μ_j和方差δ_j。

3.根据权利要求2所述的基于边缘垂直距离匹配的全景图像拼接方法，其特征在于：所述步骤（2）的具体为：由于纵坐标的均值表示边缘的平均位置，方差表示分散程度，相邻列之间均值或方差的变化程度大，说明此列附近的图像在水平方向有较大的变化，筛选出这样的列进行比较，均值和方差的变化程度由前后列增加量的平均值衡量，其公式为：

${{\mathrm{\μ}}^{\′}}_j=\frac{{\mathrm{\μ}}_{j+1}-{\mathrm{\μ}}_{j-1}}{2}$

${{\mathrm{\δ}}^{\′}}_j=\frac{{\mathrm{\δ}}_{j+1}-{\mathrm{\δ}}_{j-1}}{2}$

增量的阀值可取图像垂直高度的1%。选取增量大于阀值的列，分为正、负增量两组，每幅图像的正组与正组匹配，负组与负组匹配，通过这种方法预先筛选出待比较的列。

4.根据权利要求3所述的基于边缘垂直距离匹配的全景图像拼接方法，其特征在于：所述步骤（3）的具体为：筛选出待匹配的列并分组以后进行邻域方差匹配：首先比较由需要匹配的列确定的一个邻域中，相对应的列的边缘点纵坐标方差；每对待匹配，以待匹配列的横坐标为中点，确定两个长度为L的方差数列SmA和SnB，L选取图像宽度的15%左右，SmA与SnB的相似程度由SmA与SnB之差的绝对值来衡量，即

$\mathrm{Sim}(S_m^A,S_n^B)=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}|S_m^A\left(i\right)-S_n^B\left(i\right)|$

越小说明SmA与SnB相似程度越高。

5.根据权利要求4所述的基于边缘垂直距离匹配的全景图像拼接方法，其特征在于：所述步骤（4）的具体为：每对待匹配列都可以得到一个Sim值，对所有待匹配列进行邻域方差匹配后，对每一对匹配过的列进行分组：图A、B中的待匹配列同时落在邻近范围内的分为一组；以每一组的中最小的Sim值作为该组的Sim值，并记录Sim值最小一对的横坐标m、n作为匹配组的位置；分组后把每组按Sim值从小到大排列，也即按相似程度从大到小排列，对前K组进行垂直距离匹配处理，一般K取20左右是充足的；垂直距离即一列像素点中每点到该列中最近的边缘点的距离。

6.根据权利要求5所述的基于边缘垂直距离匹配的全景图像拼接方法，其特征在于：所述步骤（5）的具体为：进行垂直距离匹配：匹配组位置m、n为中心在各自原图中对应的长度为L的邻域中，等间距地取10对像素列，计算每对像素列的距离数列Dmj(i)与Dnj(i)进行比较，j表示第j对对应像素列；比较方式为每对距离列取垂直偏移量Offset在–h/2到h/2之内变化，h为图像高度，求绝对差值的平均值，取结果最小值，即：

${\mathrm{Distence}}_{m,n}^j=\underset{\mathrm{Offset}\∈(-h/2.h/2)}{\min }\left\{\underset{i+\mathrm{Offset}\∈(0,h)}{\mathrm{\Σ}}\right|D_m^j(i+\mathrm{Offset})-D_n^j\left(i\right)|/(h-\mathrm{Offest})\}$

对10对像素列的Distance值求和，得到该组的相似系数GroupSim_m,n：

${\mathrm{GroupSim}}_{m,n}=\underset{j=1}{\overset{10}{\mathrm{\Σ}}}{\mathrm{Distence}}_{m,n}^j$

前K组中GroupSim最小的一组即为最优匹配组，在最优匹配组中，Distance值最小的一对像素列为最优匹配列，最优垂直偏移量为使这对匹配列取得Distance最小值的Offset值，以这一对像素列作为两幅图像的接缝，可以得到最佳的拼接效果。

7.根据权利要求6所述的基于边缘垂直距离匹配的全景图像拼接方法，其特征在于：所述步骤（7）的具体为：图片合缝采用的加权合成的方法：

P_tran=(1-ω)P₁+ωP₂

其中Ptran为融合区域的灰度值，P1、P2为原图中相应像素的灰度值，ω为加权系数；对以接缝为中心长度为D的融合区域，ω从0到1渐变，由于本文算法获得了最佳的接缝位置，D只需取图像宽度的1/40～1/20。

Images