CN105677669A - 一种全景拼接图像排序方法及装置 - Google Patents

Abstract

本发明涉及图像处理技术领域，尤其是一种全景拼接图像排序方法及装置。其方法为：S101.采集两幅以上待拼接的全景分区图；S102.将所得全景分区图进行图像特征提取；S103.将所得全景分区图进行图像特征匹配；S104.计算所得全景分区图图像特征匹配成功的特征点对数；S105.选取图像特征匹配成功最多的全景分区图作为基准平面，计算每幅全景分区图图像与所述基准平面图像特征匹配成功的特征点对数，按照图像特征匹配成功的特征点对数进行排序；S106.输出有序的图像。按照计算全景分区图图像特征匹配成功的特征点对数进行排序，输出有序图像，对后续进行图像拼接提供巨大的便利，也避免拼接过程出现错误。

Description

一种全景拼接图像排序方法及装置

技术领域

本发明涉及图像处理技术领域，尤其是一种全景拼接图像排序方法及装置。

背景技术

在监控系统快速发展的今天，系统规模越来越大，监控点越来越多，工作人员面对越来越多的监控图像已无暇顾及，随着监控范围的不断扩大，需要对整座桥梁、机场、很长一段公路或者高层建筑进行监控，大多数摄像机的视场达不到这样大的监控范围，因此对大视场视频监控的要求逐渐增多，逐渐形成了一种高端需求。视频全景拼接作为一种解决方案，也得到了越来越多的关注。

早期的图像拼接技术基本属于手动拼接，需要指定图像顺序。现有的拼接算法不能实现对输入图像的自动拼接主要原因是图像在拍摄后移动，存储的过程中导致图像顺序混乱，算法往往按照默认顺序或者规则进行拼接，从而导致图像拼接失败。因此，尤其需要一种全景拼接图像排序方法及装置，实现图像自动排序。

发明内容

本发明所要解决的技术问题是：提供一种全景拼接图像排序方法及装置，实现图像自动排序。

为了解决上述技术问题，本发明采用的技术方案为：

一种全景拼接图像排序方法，包括：

S101、采集两幅以上待拼接的全景分区图；

S102、将S101所得全景分区图进行图像特征提取；

S103、将S102所得全景分区图进行图像特征匹配；

S104、计算S103所得全景分区图图像特征匹配成功的特征点对数；

S105、选取图像特征匹配成功最多的全景分区图作为基准平面，计算每幅全景分区图图像与所述基准平面图像特征匹配成功的特征点对数，按照图像特征匹配成功的特征点对数进行排序；

S106、输出有序的图像。

本发明采用的另一技术方案为：

一种全景拼接图像排序装置，包括依次连接的图像采集模块、特征提取模块、特征匹配模块、计算模块、排序模块和图像输出模块；

所述图像采集模块，用于采集两幅以上待拼接的全景分区图；

所述特征提取模块，用于将采集到的两幅以上待拼接的全景分区图进行图像特征提取；

所述特征匹配模块，用于将特征提取过的两幅以上待拼接的全景分区图进行图像特征匹配；

所述计算模块，用于计算图像特征匹配后所得全景分区图图像特征匹配成功的特征点对数；

所述排序模块，用于选取图像特征匹配成功最多的全景分区图作为基准平面，计算每幅全景分区图图像与所述基准平面图像特征匹配成功的特征点对数，按照图像特征匹配成功的特征点对数进行排序；

所述图像输出模块，用于输出有序的图像。

本发明的有益效果在于：通过对采集到的所述全景分区图进行图像特征提取、图像特征匹配，计算所得全景分区图图像特征匹配成功的特征点对数，选取图像特征匹配成功最多的全景分区图作为基准平面，计算每幅全景分区图图像与所述基准平面图像特征匹配成功的特征点对数，按照图像特征匹配成功的特征点对数进行排序，输出有序的图像，对后续进行图像拼接提供了巨大的便利，也避免拼接过程出现错误现象。

附图说明

图1为本发明具体实施方式全景拼接图像排序方法的步骤图；

图2为本发明具体实施方式中的尺度空间极值检测的示意图；

图3为本发明具体实施方式中提取sift特征点生成本地特征描述符的示意图；

图4为本发明具体实施方式中的灰色区域积分的示意图；

图5为本发明具体实施方式中提取surf特征点生成本地特征描述符的示意图；

图6为本发明具体实施方式中提取到的harris角点的示意图；

图7为本发明具体实施方式具体排序示意图；

图8为本发明具体实施方式全景拼接图像排序装置的结构示意图；

标号说明：

10、图像采集模块；20、特征提取模块；30、特征匹配模块；40、计算模块；50、排序模块；60、图像输出模块。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：选取图像特征匹配成功最多的全景分区图作为基准平面，计算每幅全景分区图图像与所述基准平面图像特征匹配成功的特征点对数，按照图像特征匹配成功的特征点对数进行排序。

请参照图1，为本发明具体实施方式全景拼接图像排序方法步骤图，具体如下：

一种全景拼接图像排序方法，包括：

S101、采集两幅以上待拼接的全景分区图；

S102、将S101所得全景分区图进行图像特征提取；

S103、将S102所得全景分区图进行图像特征匹配；

S104、计算S103所得全景分区图图像特征匹配成功的特征点对数；

S105、选取图像特征匹配成功最多的全景分区图作为基准平面，计算每幅全景分区图图像与所述基准平面图像特征匹配成功的特征点对数，按照图像特征匹配成功的特征点对数进行排序；

S106、输出有序的图像。

从上述描述可知，本发明的有益效果在于：通过对采集到的所述全景分区图进行图像特征提取、图像特征匹配，计算所得全景分区图图像特征匹配成功的特征点对数，选取图像特征匹配成功最多的全景分区图作为基准平面，计算每幅全景分区图图像与所述基准平面图像特征匹配成功的特征点对数，按照图像特征匹配成功的特征点对数进行排序，输出有序的图像，对后续进行图像拼接提供了巨大的便利，也避免拼接过程出现错误现象。

进一步的，所述步骤S102中“特征提取”采用提取sift、surf或harris特征点。

所述提取sift特征点步骤：

1)尺度空间极值检测，初步确定关键点位置和所在尺度。通过高斯核函数与图像的卷积来实现二维图像的尺度空间。

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)}/{2\mathrm{\σ}}^2;$

在检测尺度空间极值时，图2中标记为叉号的像素需要跟包括同一尺度的周围邻域8个像素和相邻尺度对应位置的周围邻域9×2个像素总共26个像素进行比较，以确保在尺度空间和二维图像空间都检测到局部极值；

2)精确定位特征点的位置，通过拟合三维二次函数以精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点；

在关键点处用泰勒展开式得到：

$D\left(X\right)=D+\frac{{\∂D}^T}{\∂X}X+\frac{1}{2}{X}^T\frac{{\∂}^{2}D}{{\∂X}^2}X;$

式中，X＝(x,y,σ)^T为关键点的偏移量，D是在D(x,y,σ)关键点处的值；

3)确定特征点的主方向；

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

$\mathrm{\θ}(x,y)=a\tan 2((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)));$

4)生成本地特征描述符；

首先将坐标轴旋转为关键点的方向，以关键点为中心取4*4的窗口，如图3所示。图3中左图的黑点为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度的大小，圆圈代表高斯加权的范围(越靠近关键点的像素梯度方向信息贡献越大)。接下来在每个4*4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，一个关键点由4*4共16个种子点组成，每个种子点有8个方向向量信息，即最终形成128维的sift特征向量。

所述提取surf特征点步骤：

1)IntegralImages(积分图)；

积分图主要是计算图像内某一个区域的像素和，积分图在位置x处的定义如下：

$I_{\mathrm{\Σ}}\left(x\right)=\underset{i=0}{\overset{i\≤x}{\mathrm{\Σ}}}\underset{j=0}{\overset{j\≤y}{\mathrm{\Σ}}}I(i,j);$

如图4中灰色区域积分图为：A-B-C+D；

2)近似Hessian矩阵；

给定图像I中一点X＝(x，y)，其Hessian矩阵为：

3)尺度空间描述；

surf中只是boxfilter的大小变化，而非图像缩放；

4)特征点定位；

根据Hessian矩阵求出尺度图像在(x，y)处的极值后，首先在极值点的3×3×3的立体邻域内进行非极大值抑制，在尺度空间和图像空间中进行插值，使用二次拟合函数进行插值：

$D\left(X\right)=D+\frac{{\∂D}^T}{\∂X}X+\frac{1}{2}{X}^T\frac{\∂D}{{\∂X}^2}X;$

对上式进行求导，并取得极值点处的极值为：

$L_{\mathrm{xx}}=\frac{{\∂}^{2}g\left(\mathrm{\σ}\right)}{{\∂x}^2}*I(x,y);$

当极值≥0.03，该点为特征点；

5)特征描述符；

如图5，以特征点为中心，沿着主方位构建一个边长为20的正方形，再分为4*4的子区域，在每个小区域内又分为5*5采样点，计算Haar小波在相对于主方位响应的水平和垂直方向上的响应；

所述提取harris特征点步骤：

1)对每一像素点计算相关矩阵m；

$m=\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]$

$I_x^2=I_x*I_x$

$I_y^2=I_y*I_y;$

2)对m的四个元素进行高斯平滑滤波，得到新的m，高斯函数为：

$\mathrm{Gauss}=\exp (-\frac{(x^2+y^2)}{{2\mathrm{\σ}}^2});$

3)利用m计算每个像素的角点量cim；

$\mathrm{cim}=\frac{I_x^2*I_y^2-{\left(I_x{I}_y\right)}^2}{I_x^2+I_y^2};$

4)cim满足大于某一个阈值和cim是某邻域局部极大值，满足条件的就是角点；

图6为一幅图像中提取到的harris角点。

由上述描述可知，所述“特征提取”采用提取sift特征点中“通过拟合三维二次函数以精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点”可增强匹配稳定性、提高抗噪声能力；所述“特征提取”采用提取surf特征点中“在尺度空间和图像空间中进行插值”能够对候选特征点进行亚像素定位。

进一步的，所述步骤S103中“特征匹配”采用欧式距离进行特征匹配。

所述步骤S103中的“特征匹配”采用欧式距离具体步骤：

1)假设待匹配图像为图像1(1，m)，图像2(2，n)，图像1有m个特征点，图像2有n个特征点，图像1中特征点i＝1，2，....m，在图像2中为图像1中的每一个特征点寻找匹配对；

2)图像1中特征点i＝1，在图像2中为图像1中的第一个特征点寻找最近点d1和次近点d2，前面提到过每个特征点有(sift：128维)特征描述符，通过特征点描述符计算欧式距离，如果满足下面公式，那么就认为特征i＝1与图像2中欧式距离最近点匹配。

$\frac{d_1}{d_2}<\mathrm{\&epsiv;};$

3)重复步骤2)中i＝2，3，4....m，寻找图像1中其它特征点在图像2中寻找匹配对。

进一步的，所述步骤S105具体为：

S1051、选取图像特征匹配成功最多的全景分区图作为基准平面；

S1052、计算每幅全景分区图图像与步骤S1051所得基准平面图像特征匹配成功的特征点对数；

S1053、选择图像特征匹配成功的特征点对数大于0的图像，按照图像特征匹配成功的特征点对数由多到少进行排序；

S1054、选择所述基准平面的下一幅图像作为基准平面，计算未排序的全景分区图图像与所述基准平面图像特征匹配成功的特征点对数，返回步骤S1053，直至所有全景分区图图像完成排序。

如图7，每幅图像和与之匹配的图像间的内点对，m1、m2、m3、m4是内点对，具体排序如下：例如：图像a内点对和为m1＝10；图像b内点对和为m1+m2＝22；图像c内点对和为m2+m3＝26；图像d内点对和为m3+m4＝24；图像e内点对和为m4＝10；

1、首先选取内点和最大的作为基准平面，最大的内点对和为图像c；

2、判断与图像c匹配的图像的内点和大小，由于图像b的内点和小于图像d的内点和，所以排序为cdb；

3、由于图像c的匹配图像已确定，接着确定图像d的匹配图像，与图像d有内点对的有图像c、图像e，而图像c已排序，那么顺序为cdbe；

4、然后选择与b有匹配对图像排序，顺序为cdbea。

请参阅图8，为本发明具体实施方式全景拼接图像排序装置的结构示意图，具体如下：

一种全景拼接图像排序装置，包括依次连接的图像采集模块10、特征提取模块20、特征匹配模块30、计算模块40、排序模块50和图像输出模块60；

所述图像采集模块10，用于采集两幅以上待拼接的全景分区图；

所述特征提取模块20，用于将采集到的两幅以上待拼接的全景分区图进行图像特征提取；

所述特征匹配模块30，用于将特征提取过的两幅以上待拼接的全景分区图进行图像特征匹配；

所述计算模块40，用于计算图像特征匹配后所得全景分区图图像特征匹配成功的特征点对数；

所述排序模块50，用于选取图像特征匹配成功最多的全景分区图作为基准平面，计算每幅全景分区图图像与所述基准平面图像特征匹配成功的特征点对数，按照图像特征匹配成功的特征点对数进行排序；

所述图像输出模块60，用于输出有序的图像。

从上述描述可知，本发明的有益效果在于：通过对采集到的所述全景分区图进行图像特征提取、图像特征匹配，计算所得全景分区图图像特征匹配成功的特征点对数，选取图像特征匹配成功最多的全景分区图作为基准平面，计算每幅全景分区图图像与所述基准平面图像特征匹配成功的特征点对数，按照图像特征匹配成功的特征点对数进行排序，输出有序的图像，对后续进行图像拼接提供了巨大的便利，也避免拼接过程出现错误现象。

进一步的，所述特征提取模块20为提取sift特征点单元、提取surf特征点单元或提取harris特征点单元。

由上述描述可知，所述提取sift特征点单元采用提取sift特征点中“通过拟合三维二次函数以精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点”可增强匹配稳定性、提高抗噪声能力；所述提取surf特征点单元采用提取surf特征点中“在尺度空间和图像空间中进行插值”能够对候选特征点进行亚像素定位。

进一步的，所述特征匹配模块30包括欧式距离单元，用于采用欧氏距离进行特征匹配。

进一步的，所述排序模块50包括判断单元，用于判断全景分区图图像特征匹配成功的特征点对数。

由上述描述可知，根据判断单元，可以得知所述全景分区图图像特征匹配成功的特征点对数的数量情况。

进一步的，所述排序模块50包括第一选择单元和第二选择单元；

所述第一选择单元，用于选择图像特征匹配成功的特征点对数大于0的图像，按照图像特征匹配成功的特征点对数由多到少进行排序；

所述第二选择单元，用于选择所述基准平面的下一幅图像作为基准平面。

综上所述，本发明提供的一种全景拼接图像排序方法及装置，通过对采集到的所述全景分区图进行图像特征提取、图像特征匹配，计算所得全景分区图图像特征匹配成功的特征点对数，选取图像特征匹配成功最多的全景分区图作为基准平面，计算每幅全景分区图图像与所述基准平面图像特征匹配成功的特征点对数，按照图像特征匹配成功的特征点对数进行排序，输出有序的图像，对后续进行图像拼接提供了巨大的便利，也避免拼接过程出现错误现象。所述“特征提取”采用提取sift特征点中“通过拟合三维二次函数以精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点”可增强匹配稳定性、提高抗噪声能力；所述“特征提取”采用提取surf特征点中“在尺度空间和图像空间中进行插值”能够对候选特征点进行亚像素定位。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种全景拼接图像排序方法，其特征在于，包括：

S101、采集两幅以上待拼接的全景分区图；

S102、将S101所得全景分区图进行图像特征提取；

S103、将S102所得全景分区图进行图像特征匹配；

S104、计算S103所得全景分区图图像特征匹配成功的特征点对数；

S105、选取图像特征匹配成功最多的全景分区图作为基准平面，计算每幅全景分区图图像与所述基准平面图像特征匹配成功的特征点对数，按照图像特征匹配成功的特征点对数进行排序；

S106、输出有序的图像。

2.根据权利要求1所述的全景拼接图像排序方法，其特征在于，所述步骤S102中“特征提取”采用提取sift、surf或harris特征点。

3.根据权利要求1所述的全景拼接图像排序方法，其特征在于，所述步骤S103中“特征匹配”采用欧式距离进行特征匹配。

4.根据权利要求1所述的全景拼接图像排序方法，其特征在于，所述步骤S105具体为：

S1051、选取图像特征匹配成功最多的全景分区图作为基准平面；

S1052、计算每幅全景分区图图像与步骤S1051所得基准平面图像特征匹配成功的特征点对数；

S1053、选择图像特征匹配成功的特征点对数大于0的图像，按照图像特征匹配成功的特征点对数由多到少进行排序；

S1054、选择所述基准平面的下一幅图像作为基准平面，计算未排序的全景分区图图像与所述基准平面图像特征匹配成功的特征点对数，返回步骤S1053，直至所有全景分区图图像完成排序。

5.一种全景拼接图像排序装置，其特征在于，包括依次连接的图像采集模块、特征提取模块、特征匹配模块、计算模块、排序模块和图像输出模块；

所述图像采集模块，用于采集两幅以上待拼接的全景分区图；

所述特征提取模块，用于将采集到的两幅以上待拼接的全景分区图进行图像特征提取；

所述特征匹配模块，用于将特征提取过的两幅以上待拼接的全景分区图进行图像特征匹配；

所述计算模块，用于计算图像特征匹配后所得全景分区图图像特征匹配成功的特征点对数；

所述排序模块，用于选取图像特征匹配成功最多的全景分区图作为基准平面，计算每幅全景分区图图像与所述基准平面图像特征匹配成功的特征点对数，按照图像特征匹配成功的特征点对数进行排序；

所述图像输出模块，用于输出有序的图像。

6.根据权利要求5所述的全景拼接图像排序装置，其特征在于，所述特征提取模块为提取sift特征点单元、提取surf特征点单元或提取harris特征点单元。

7.根据权利要求5所述的全景拼接图像排序装置，其特征在于，所述特征匹配模块包括欧式距离单元，用于采用欧氏距离进行特征匹配。

8.根据权利要求5所述的全景拼接图像排序装置，其特征在于，所述排序模块包括第一选择单元和第二选择单元；

所述第一选择单元，用于选择图像特征匹配成功的特征点对数大于0的图像，按照图像特征匹配成功的特征点对数由多到少进行排序；

所述第二选择单元，用于选择所述基准平面的下一幅图像作为基准平面。