CN105678720A - 一种全景拼接判断图像匹配方法及装置 - Google Patents

Abstract

本发明涉及图像处理技术领域，尤其是一种全景拼接判断图像匹配方法及装置。判断图像匹配方法包括：S101、采集两幅以上待拼接的全景分区图；S102、将所述全景分区图进行特征提取；S103、将S102所得全景分区图分别进行特征粗匹配和特征精匹配，并计算特征粗匹配和特征精匹配的匹配特征点对数；S104、根据所述匹配特征点对数，判断图像是否匹配。通过对采集到的所述全景分区图进行特征提取、特征匹配，再通过计算特征粗匹配和特征精匹配的匹配特征点对数，根据所述匹配特征点对数，判断图像是否匹配，从而消除了拼接过程的图像误匹配。

Description

一种全景拼接判断图像匹配方法及装置

技术领域

本发明涉及图像处理技术领域，尤其是一种全景拼接判断图像匹配方法及装置。

背景技术

在监控系统快速发展的今天，系统规模越来越大，监控点越来越多，工作人员面对越来越多的监控图像已无暇顾及，随着监控范围的不断扩大，需要对整座桥梁、机场、很长一段公路或者高层建筑进行监控，大多数摄像机的视场达不到这样大的监控范围，因此对大视场视频监控的要求逐渐增多，逐渐形成了一种高端需求。视频全景拼接作为一种解决方案，也得到了越来越多的关注。全景拼接过程中往往在图像匹配这一重要环节出现图像的误匹配，因此，如何判断图像匹配是当前较关注的问题。

发明内容

本发明所要解决的技术问题是：提供一种全景拼接判断图像匹配方法及装置，用来判断图像是否匹配，实现消除图像的误匹配。

为了解决上述技术问题，本发明采用的技术方案为：

一种全景拼接判断图像匹配方法，包括：

S101、采集两幅以上待拼接的全景分区图；

S102、将所述全景分区图进行特征提取；

S103、将S102所得全景分区图分别进行特征粗匹配和特征精匹配，并计算特征粗匹配和特征精匹配的匹配特征点对数；

S104、根据所述匹配特征点对数，判断图像是否匹配。

本发明采用的另一技术方案为：

一种全景拼接判断图像匹配装置，包括依次连接的图像采集模块、特征提取模块、特征匹配模块、计算模块和判断匹配模块；

所述图像采集模块，用于采集两幅以上待拼接的全景分区图；

所述特征提取模块，用于将采集到的两幅以上待拼接的全景分区图进行特征提取；

所述特征匹配模块，用于将特征提取过的两幅以上待拼接的全景分区图进行特征粗匹配和特征精匹配；

所述计算模块，用于计算特征粗匹配和特征精匹配的匹配特征点对数；

所述判断匹配模块，用于根据所述匹配特征点对数，判断图像是否匹配。

本发明的有益效果在于：通过对采集到的所述全景分区图进行特征提取、特征匹配，再通过计算特征粗匹配和特征精匹配的匹配特征点对数，根据所述匹配特征点对数，判断图像是否匹配，从而消除了拼接过程的图像误匹配，本发明的主要功效是将待拼接图像序列中，不是同一场景下的图像剔除，使得余下的图像都是来自同一场景，利用RANSAC算法选取内点获取最佳匹配对集合，能够更高效的完成拼接。

附图说明

图1为本发明具体实施方式全景拼接判断图像匹配方法的步骤图；

图2为本发明具体实施方式中的尺度空间极值检测的示意图；

图3为本发明具体实施方式中提取sift特征点生成本地特征描述符的示意图；

图4为本发明具体实施方式中的灰色区域积分的示意图；

图5为本发明具体实施方式中提取surf特征点生成本地特征描述符的示意图；

图6为本发明具体实施方式中提取到的harris角点的示意图；

图7为本发明具体实施方式全景拼接判断图像匹配装置的结构示意图；

标号说明：

10、图像采集模块；20、特征提取模块；30、特征匹配模块；40、计算模块；50、判断匹配模块。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：将特征提取过的两幅以上待拼接的全景分区图分别进行特征粗匹配和特征精匹配，并计算特征粗匹配和特征精匹配的匹配特征点对数，从而判断图像是否匹配，实现消除图像的误匹配。

请参照图1，是本发明具体实施方式全景拼接判断图像匹配方法的步骤图；

一种全景拼接判断图像匹配方法，包括：

S101、采集两幅以上待拼接的全景分区图；

S102、将所述全景分区图进行特征提取；

S103、将S102所得全景分区图分别进行特征粗匹配和特征精匹配，并计算特征粗匹配和特征精匹配的匹配特征点对数；

S104、根据所述匹配特征点对数，判断图像是否匹配。

从上述描述可知，本发明的有益效果在于：通过对采集到的所述全景分区图进行特征提取、特征匹配，再通过计算特征粗匹配和特征精匹配的匹配特征点对数，根据所述匹配特征点对数，判断图像是否匹配，从而消除了拼接过程的图像误匹配，本发明的主要功效是将待拼接图像序列中，不是同一场景下的图像剔除，使得余下的图像都是来自同一场景，利用RANSAC算法选取内点计算获取最佳匹配对集合，能够更高效的完成拼接。

进一步的，所述步骤S102中“特征提取”为提取sift、surf或harris特征点。

所述提取sift特征点步骤为：

1)尺度空间极值检测，初步确定关键点位置和所在尺度。通过高斯核函数与图像的卷积来实现二维图像的尺度空间。

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)}/2{\mathrm{\σ}}^2;$

在检测尺度空间极值时，图2中标记为叉号的像素需要跟包括同一尺度的周围邻域8个像素和相邻尺度对应位置的周围邻域9×2个像素总共26个像素进行比较，以确保在尺度空间和二维图像空间都检测到局部极值；

2)精确定位特征点的位置，通过拟合三维二次函数以精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点；

在关键点处用泰勒展开式得到：

$D\left(X\right)=D+\frac{{\∂D}^T}{\∂X}X+\frac{1}{2}{X}^T\frac{{\∂}^{2}D}{{\∂X}^2}X;$

式中，X＝(x,y,σ)^T为关键点的偏移量，D是在D(x,y,σ)关键点处的值；

3)确定特征点的主方向；

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

θ(x，y)＝atan2((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y)))；

4)生成本地特征描述符；

首先将坐标轴旋转为关键点的方向，以关键点为中心取4*4的窗口，如图3所示。图3中左图的黑点为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度的大小，圆圈代表高斯加权的范围(越靠近关键点的像素梯度方向信息贡献越大)。接下来在每个4*4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，一个关键点由4*4共16个种子点组成，每个种子点有8个方向向量信息，即最终形成128维的sift特征向量。

所述提取surf特征点步骤为：

1)IntegralImages(积分图)；

积分图主要是计算图像内某一个区域的像素和，积分图在位置x处的定义如下：

$I_{\mathrm{\Σ}}\left(x\right)=\underset{i=0}{\overset{i\≤x}{\mathrm{\Σ}}}\underset{j=0}{\overset{j\≤y}{\mathrm{\Σ}}}I(i,j);$

如图4中灰色区域积分图为：A-B-C+D；

2)近似Hessian矩阵；

给定图像I中一点X＝(x，y)，其Hessian矩阵为：

$L_{\mathrm{xx}}=\frac{{\∂}^{2}g\left(\mathrm{\σ}\right)}{{\∂x}^2}*I(x,y);$

3)尺度空间描述；

surf中只是boxfilter的大小变化，而非图像缩放；

4)特征点定位；

根据Hessian矩阵求出尺度图像在(x，y)处的极值后，首先在极值点的3×3×3的立体邻域内进行非极大值抑制，在尺度空间和图像空间中进行插值，使用二次拟合函数进行插值：

$D\left(X\right)=D+\frac{{\∂D}^T}{\∂X}X+\frac{1}{2}{X}^T\frac{\∂D}{{\∂X}^2}X;$

对上式进行求导，并取得极值点处的极值为：

$L_{\mathrm{xx}}=\frac{{\∂}^{2}g\left(\mathrm{\σ}\right)}{{\∂x}^2}*I(x,y);$

当极值≥0.03，该点为特征点；

5)特征描述符；

如图5，以特征点为中心，沿着主方位构建一个边长为20的正方形，再分为4*4的子区域，在每个小区域内又分为5*5采样点，计算Haar小波在相对于主方位响应的水平和垂直方向上的响应；

所述提取harris特征点步骤为：

1)对每一像素点计算相关矩阵m；

$m=\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]$

$I_x^2=I_x*I_x$

$I_y^2=I_y*I_y;$

2)对m的四个元素进行高斯平滑滤波，得到新的m，高斯函数为：

$\mathrm{Gauss}=\exp (-\frac{(x^2+y^2)}{2{\mathrm{\σ}}^2});$

3)利用m计算每个像素的角点量cim；

$\mathrm{cim}=\frac{I_x^2*I_y^2-{\left(I_x{I}_y\right)}^2}{I_x^2+I_y^2};$

4)cim满足大于某一个阈值和cim是某邻域局部极大值，满足条件的就是角点；

如图6为一幅图像中提取到的harris角点。

由上述描述可知，所述“特征提取”采用提取sift特征点中“通过拟合三维二次函数以精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点”可增强匹配稳定性、提高抗噪声能力；所述“特征提取”采用提取surf特征点中“在尺度空间和图像空间中进行插值”能够对候选特征点进行亚像素定位。

进一步的，所述步骤S103中“特征粗匹配”和“特征精匹配”是通过欧式距离进行特征匹配。

所述采用欧式距离具体步骤为：

1)假设待匹配图像为图像1(1，m)，图像2(2，n)，图像1有m个特征点，图像2有n个特征点，图像1中特征点i＝1，2，....m，在图像2中为图像1中的每一个特征点寻找匹配对；

2)图像1中特征点i＝1，在图像2中为图像1中的第一个特征点寻找最近点d1和次近点d2，前面提到过每个特征点有(sift：128维)特征描述符，通过特征点描述符计算欧式距离，如果满足下面公式，那么就认为特征i＝1与图像2中欧式距离最近点匹配。

$\frac{d_1}{d_2}<\mathrm{\&epsiv;};$

3)重复步骤2)中i＝2，3，4....m，寻找图像1中其它特征点在图像2中寻找匹配对。

进一步的，所述步骤S103中“特征粗匹配的匹配特征点对数”是通过K-d树进行搜索，计算特征粗匹配的匹配特征点对数。

所述K-d树搜索具体步骤如下：

1)确定分裂域，统计它们在每个维上的数据方差，选用方差大的维度，数据方差大表明沿该坐标轴方向上的数据分散得比较开，在这个方向上进行数据分割有较好的分辨率；

2)确定分裂节点，数据点集按其分裂域的值排序。位于正中间的那个数据点被选为根节点；

3)确定左子空间和右子空间，在分裂域，数据大于根节点作为右子树，除去根节点和右子树，其余放到左子树；

由上述描述可知，所述k-d树能够对大量数据进行搜索，并且快速而准确地找到查询点的近邻。

进一步的，所述步骤S103中“特征精匹配的匹配特征点对数”是通过RANSAC算法进行计算特征精匹配的匹配特征点对数。

所述RANSAC算法具体步骤如下：

1)假设特征匹配对的个数为P_all，从P中随机抽取包含n个样本的P的子集S初始化模型M；

所述模型M即是指通过随机抽取包含n(n>＝4)个样本，计算透视变换矩阵H，将余下的匹配对子集通过透视变换矩阵H验证误差；

验证误差过程：

匹配对坐标如下(pt_i，mpt_i)，将pt_i通过透视变换矩阵H变为pt_i′，计算pt_i′与mpt_i之间的距离误差，若误差小于一个阈值，则该点是内点。

2)特征匹配对P中除去n个样本后，计算余下的子集与模型M的误差，若误差小于某一设定阈值，我们认为该匹配对是内点P_in；

3)若内点个数大于一定阈值，就认为得到正确的模型参数，并利用所有内点采用最小二乘等方法重新计算新的模型M；

4)在完成一定的抽样次数后，若未找到满足条件的内点集，就认为算法失败，否则选取抽样后得到的内点个数最大的集合作为最佳匹配对集合。

由上述描述可知，RANSAC算法拟合只考虑内点，拟合效果更佳。

进一步的，判断两幅图像是否匹配的依据如下：

若上述的P_all与P_in满足以下公式，则认定两幅图像匹配。

P_in＞8.0+0.3P_all；

请参阅图7，是本发明具体实施方式的全景拼接判断图像匹配装置的结构示意图，包括依次连接的图像采集模块10、特征提取模块20、特征匹配模块30、计算模块40和判断匹配模块50；

所述图像采集模块10，用于采集两幅以上待拼接的全景分区图；

所述特征提取模块20，用于将采集到的两幅以上待拼接的全景分区图进行特征提取；

所述特征匹配模块30，用于将特征提取过的两幅以上待拼接的全景分区图进行特征粗匹配和特征精匹配；

所述计算模块40，用于计算特征粗匹配和特征精匹配的匹配特征点对数；

所述判断匹配模块50，用于根据所述匹配特征点对数，判断图像是否匹配。

从上述描述可知，本发明的有益效果在于：通过对采集到的所述全景分区图进行特征提取、特征匹配，再通过计算特征粗匹配和特征精匹配的匹配特征点对数，根据所述匹配特征点对数，判断图像是否匹配，从而消除了拼接过程的图像误匹配，本发明的主要功效是将待拼接图像序列中，不是同一场景下的图像剔除，使得余下的图像都是来自同一场景，利用RANSAC算法选取内点计算获取最佳匹配对集合，能够更高效的完成拼接。

进一步的，所述特征提取模块20为提取sift特征点单元、提取surf特征点单元或提取harris特征点单元。

由上述描述可知，所述提取sift特征点单元采用提取sift特征点中“通过拟合三维二次函数以精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点”可增强匹配稳定性、提高抗噪声能力；所述提取surf特征点单元采用提取surf特征点中“在尺度空间和图像空间中进行插值”能够对候选特征点进行亚像素定位。

进一步的，所述特征匹配模块30包括特征粗匹配单元和特征精匹配单元；

所述特征粗匹配单元，用于将特征提取过的两幅以上待拼接的全景分区图分别进行特征粗匹配；

所述特征精匹配单元，用于将特征提取过的两幅以上待拼接的全景分区图分别进行特征精匹配。

进一步的，所述计算模块40包括粗匹配特征点对数单元和精匹配特征点对数单元；

所述粗匹配特征点对数单元，用于计算特征粗匹配的匹配特征点对数；

所述精匹配特征点对数单元，用于计算特征精匹配的匹配特征点对数。

综上所述，本发明提供的一种全景拼接判断图像匹配方法及装置，通过对采集到的所述全景分区图进行特征提取、特征匹配，再通过计算特征粗匹配和特征精匹配的匹配特征点对数，根据所述匹配特征点对数，判断图像是否匹配，从而消除了拼接过程的图像误匹配。本发明主要是将待拼接图像序列中，不是同一场景下的图像剔除，使得余下的图像都是来自同一场景，利用RANSAC算法选取内点计算获取最佳匹配对集合，能够更高效的完成拼接。所述“特征提取”采用提取sift特征点中“通过拟合三维二次函数以精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点”可增强匹配稳定性、提高抗噪声能力；所述“特征提取”采用提取surf特征点中“在尺度空间和图像空间中进行插值”能够对候选特征点进行亚像素定位。所述k-d树能够对大量数据进行搜索，并且快速而准确地找到查询点的近邻。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种全景拼接判断图像匹配方法，其特征在于，包括：

S101、采集两幅以上待拼接的全景分区图；

S102、将所述全景分区图进行特征提取；

S103、将S102所得全景分区图分别进行特征粗匹配和特征精匹配，并计算特征粗匹配和特征精匹配的匹配特征点对数；

S104、根据所述匹配特征点对数，判断图像是否匹配。

2.根据权利要求1所述的全景拼接判断图像匹配方法，其特征在于，所述步骤S102中“特征提取”为提取sift、surf或harris特征点。

3.根据权利要求1所述的全景拼接判断图像匹配方法，其特征在于，所述步骤S103中“特征粗匹配”和“特征精匹配”是通过欧式距离进行特征匹配。

4.根据权利要求1所述的全景拼接判断图像匹配方法，其特征在于，所述步骤S103中“特征粗匹配的匹配特征点对数”是通过K-d树进行搜索，计算特征粗匹配的匹配特征点对数。

5.根据权利要求1所述的全景拼接判断图像匹配方法，其特征在于，所述步骤S103中“特征精匹配的匹配特征点对数”是通过RANSAC算法进行计算特征精匹配的匹配特征点对数。

6.一种全景拼接判断图像匹配装置，其特征在于，包括依次连接的图像采集模块、特征提取模块、特征匹配模块、计算模块和判断匹配模块；

所述图像采集模块，用于采集两幅以上待拼接的全景分区图；

所述特征提取模块，用于将采集到的两幅以上待拼接的全景分区图进行特征提取；

所述特征匹配模块，用于将特征提取过的两幅以上待拼接的全景分区图进行特征粗匹配和特征精匹配；

所述计算模块，用于计算特征粗匹配和特征精匹配的匹配特征点对数；

所述判断匹配模块，用于根据所述匹配特征点对数，判断图像是否匹配。

7.根据权利要求6所述的全景拼接判断图像匹配装置，其特征在于，所述特征提取模块为提取sift特征点单元、提取surf特征点单元或提取harris特征点单元。

8.根据权利要求6所述的全景拼接判断图像匹配装置，其特征在于，所述特征匹配模块包括特征粗匹配单元和特征精匹配单元；

所述特征粗匹配单元，用于将特征提取过的两幅以上待拼接的全景分区图分别进行特征粗匹配；

所述特征精匹配单元，用于将特征提取过的两幅以上待拼接的全景分区图分别进行特征精匹配。

9.根据权利要求6所述的全景拼接判断图像匹配装置，其特征在于，所述计算模块包括粗匹配特征点对数单元和精匹配特征点对数单元；

所述粗匹配特征点对数单元，用于计算特征粗匹配的匹配特征点对数；

所述精匹配特征点对数单元，用于计算特征精匹配的匹配特征点对数。