CN106952225A - 一种面向森林防火的全景拼接方法 - Google Patents

Abstract

本发明公布了一种面向森林防火的全景拼接方法，属于计算机视觉领域，对于输入的当前检测范围的图像序列，该方法通过使用sift特征点从相邻的多幅图像中提取sift特征，使用k‑d算法为每个特征点找到最邻近的匹配特征点，然后使用RANSAC算法找到几何一致的特征匹配来得到图像间的对应矩阵；为了得到更精确的匹配图像，消除复杂大场景全景拼接中常见的畸变问题，使用捆绑调整算法，调整对应矩阵中各个参数后，再使用多波段融合的方法调整整个拼接图像，从而得到更为准确的全景拼接图像。本发明获得了整个摄像头拍摄区域的全景图，便于后续的图像语义标注以达到降低误警率的目的，本发明拼接图像数量大，拼接效率较高。

Description

一种面向森林防火的全景拼接方法

技术领域

本发明属于计算机视觉领域，具体涉及一种面向森林防火的全景拼接方法。

背景技术

随着国内外图像拼接技术研究的兴起，更多的国内外学界对其研究也逐渐得到发展。在国外，2007年提出了对一组无序图像采用概率模型从而得到顺序图像并且检测出其中的噪声图像，实现了自动拼接图像。随后有人提出了基于sift的图像序列拼接算法，算法通过一个概率模型验证全景图像序列，通过假设图像特征点不变的基础上实现全自动图像拼接。近几年又提出了基于能量谱技术消除拼接后的重影，该技术通过使用人眼更加关注显著特征这一特点，计算图像的灰度提到和能量谱，还原并放大缝隙处的特征点，然后根据人眼视觉特点消除重影。在国内，有人分析了Harris算子的实现原理及其不足，提出了一种改进Harris角点检测算法提取图像的特征点，提高了角点的定位精度，增强了算法抗噪性能，还减少了计算量，图像融合采用的是像素加权的方法，该算法能有效提高配准精确性，具有较好的使用价值。2010提出了基于SURF特征配准的pcb图像拼接算法，在拼接过程中引入SURF配准来完成pcb图像融合，实现了pcb局部小图像间的无缝拼接，成像质量较高。2010年改进了图像拼接算法中的特征点匹配问题，他使用双向顺序搜寻的方法得到图像间的最大相关性角点，有效地提高了图像拼接的精度和速度。

从图像拼接理念的提出到现在，图像拼接技术得到了极大的重视和较多的研究，国内外研究者提出并设计了多种多样的图像拼接方法，拼接技术获得了长足的发展。但是目前现有的拼接技术，基本上都是针对近距离以及镜头焦距基本固定的场景。在森林防火中摄像头监测的距离达到了5公里以上，监测范围的变化以及检测场景的复杂为全景拼接带来了各种新的挑战，如摄像头的变焦带来的图像模糊，监测范围内大量植物、山区的相似性引发的特征提取的困难等。通过分析研究全景图像拼接的发展现状可知，图像拼接技术依然面临一些需要解决的问题。

发明内容

针对现有技术中存在的上述技术问题，本发明提出一种面向森林防火的全景拼接方法，设计合理，克服了现有技术的不足，具有良好的效果。

在面向森林防火复杂大场景的全景图像拼接过程中，由于现在要拼接的对象是从摄像头获取的连续图像帧，待拼接图像数量较大，需要匹配速率较快的算法，直接从视频中得到待拼接的图像的话，相邻两帧的图像重叠部分太多，会降低匹配速率，所以本发明中每隔N帧来拼接，N的选择由摄像机旋转角度等参数决定，以使相邻两帧图像重叠部分在一半左右为宜；场景复杂，对应的拼接算法时要满足多种场景的拼接，包括森林、天空、道路、湖泊等复杂场景的拼接，这就对算法的配准精度提出了更高的要求；监测距离超过5公里，整个全景包含的区域达到了100平方公里，带来了各种摄像参数和图像质量的变化，使得全景拼接的算法更为复杂。

为了实现上述目的，本发明采用如下技术方案：

1、一种面向森林防火的全景拼接方法，包括如下步骤：

步骤1：启动用于森林防火监控的摄像头，将沿特定方向转动过程中获得的视频帧经过预处理后输入给拼接线程，具体包括如下步骤：

步骤1.1：启动拼接线程，在拼接线程启动的同时启动预处理线程，裁剪从摄像头中获取的一帧图像的边缘部分；

步骤1.2：将步骤1.1预处理完成的一帧图像传送到拼接线程中；

步骤2：对预处理后的每一帧图像提取特征点；

步骤3：对于相邻图像的每个特征点，使用k-d树算法寻找最邻近的匹配特征点；

步骤4：根据步骤3中找到的匹配特征点，用RANSAC算法选取4对特征匹配对求解对应矩阵；

步骤5：对于步骤4求出的对应矩阵，利用捆绑调整算法估计具有最小误差的相机参数值，并以此计算出初步的全景拼接图像；

步骤6：对于步骤5中所得到的全景拼接图像，使用多波段融合的方法消除拼接缝隙，得到最终的全景拼接图像。

优选地，在步骤3中，具体包括如下步骤：

步骤3.1：用待拼接图像的左侧的图和待拼接图像的右侧的图的特征初始化k-d树；

步骤3.2：对待拼接图像的左侧图中的每个特征执行优先搜索以查找最邻近的匹配特征点。

优选地，在步骤4中，具体包括如下步骤：

步骤4.1：随机地从所提取的特征点中抽出4对特征点，计算出变换矩阵H，记为模型M；

其中，H的形式为：

其中，H_ij为从图像j向图像i变换时的矩阵；

K_i是源图像的相机模型，R_i为向图像i变换时的旋转参数，用对数表示：

R_j、K_j是和R_i、K_i形式相同的参数；

步骤4.2：根据实际情况设置一个阈值；

步骤4.3：计算特征点中所有数据与模型M的误差，并判断误差与阈值的大小；

若：判断结果是误差小于阈值，则将误差小于阈值的特征点加入到内点集I中；

或判断结果是误差大于阈值，则重复步骤4.3；

步骤4.4：判断步骤4.3中内点集I中元素个数与最优内点集I_optimal中元素个数的大小；

若：判断结果是步骤4.3中内点集I中元素个数大于最优内点集I_optimal中元素个数，则更新I_optimal＝I，同时更新迭代次数k；

或判断结果是步骤4.3中内点集I中元素个数小于或者等于最优内点集I_optimal中元素个数，则重复步骤4.3-步骤4.4；

步骤4.5：判断迭代次数k与总迭代次数K的大小；

若：判断结果是迭代次数k大于总迭代次数K，则退出；

或判断结果是迭代次数k小于或者等于总迭代次数K，则迭代次数k加1，并重复步骤4.3-步骤4.5，直至迭代次数k大于总迭代次数K。

优选地，在步骤6中，具体包括如下步骤：

步骤6.1：为每个图像i分配一个加权函数w(x,y)＝w(x)w(y)；

其中，从中心到边缘w(x)的值从1到0线性变化；

步骤6.2：对加权函数在球形坐标系wⁱ(θ,φ)内重新采样，采样后的加权函数的图像强度的加权总和如公式(1)所示：

其中，I^liner(θ,φ)是使用线性融合形成的复合球面图像；上标i是每个需要融合的图像的编号，i的取值范围为[1n]，n是需要融合的图像的总数量；wⁱ(θ,φ)是图像i的权重；θ、分别是图像i的水平和纵向角度参数；Iⁱ(θ,φ)为第i个图像在球形坐标系wⁱ(θ,φ)中的表示；

步骤6.3：通过找到图像最有用的点集来初始化每个图像的混合权重，混合权重表示如下：

这些最大权值的映射连续混合形成了每个波段的混合权值，所呈现图像的高通版本形式如下：

其中，g_σ(θ,φ)是标准偏差为σ的高斯分布；*操作符表示卷积；Iⁱ(θ,φ)为第i个图像在球形坐标系wⁱ(θ,φ)中的表示，i的取值范围为[1n]，n是需要融合的图像的总数量；

表示第i个图像的高频细节内容；为第i个图像经过高斯滤波后的低频概貌内容；

通过模糊这幅图像的最大权值映射，形成融合权值，表示如下：

其中，为波长在[0,σ]的波段内的融合权值，g_σ(θ,φ)是标准偏差为σ的高斯分布；后续的频段使用低频带通图像和模糊融合权值来融合；

步骤6.4：对每个波段，使用对应的融合权值线性合并重叠的图像，如下所示：

其中，下标k指的是各个波段；为将i个图像在k个波段上融合后的最终结果；为第i个图像在第k个波段上的融合权值；为图像i在第k个波段上滤波后的图像。

这会引起高频段在小范围内的融合,低频段在大范围内的融合。

本发明所带来的有益技术效果：

本发明使用特征点匹配时使用RANSAC算法和捆绑调整相结合的算法、多波段融合的算法适应森林防火项目中复杂场景的拼接；本发明拼接图像数量大，包含的场景范围达到了100平方公里以上，并且拼接效率较高。

附图说明

图1为面向森林防火拼接方法的流程图。

图2为用k-d树算法寻找最近邻特征点匹配的流程图。

图3为用RANSAC算法求区单应矩阵的流程图。

具体实施方式

下面结合附图以及具体实施方式对本发明作进一步详细说明：

为了满足森林防火项目中待拼接图像数量大并且适合多种复杂大场景的图像拼接，在一定程度上提高图像拼接速率，本发明提出了一种面向森林防火复杂大场景的全景拼接方法。该方法主要包括两部分：特征点的匹配和图像匹配。点的匹配涉及发明内容中的步骤(3)，变换矩阵的求解涉及发明内容的步骤(4)至步骤(5)。首先对于相邻图像的每个特征点，使用k-d树算法寻找最近邻的匹配特征点，然后根据上面找到的匹配特征点用RANSAC算法选取4对特征匹配对求解对应矩阵，然后使用捆绑调整算法对所得到的对应矩阵中的参数调制以达到最小的误差。下面展开具体说明。

由于sift特征在旋转和尺度变化时是不变的，所以可以处理方向和大小变化的图像，这是传统的特征匹配技术不能实现的，例如Harris角点图像修补的相关性。传统的相关性在图像旋转是是发生变化的，Harris角点在改变图像尺度时也是变化的。

在这里假设相机绕光学中心旋转，图像的变换群是一个对应矩阵的特殊群。由一个旋转矢量θ＝[θ₁,θ₂,θ₃]和焦距f把每个摄像头参数化，就给出了成对的对应矩阵(i,j分别是目标图像和待拼接图像的下标)，其中并且是均匀的图像坐标(其中u_i是二维的图像坐标)。

4参数的相机模型定义为：

旋转使用指数表示，旋转参数R_i用对数表示：

在这个变换群中，理想条件下将会使用不变的图像特征。

在图像坐标中对于小的变换表示如下：

或者等价于

其中，是通过一个关于u_i0的对应线性化得到的仿射变换。就意味着每个小的图像修补经过一次仿射变换，并且合理利用了在仿射变换下局部不变的sift特征。

从所有n个图像提取特征点后，需对特征点进行匹配。由于多个图像可能重叠在一个单一的光线上，在特征空间内每个特征点需和它最近的4个领域点匹配，通过使用k-d树算法找到近似最近的领域点，时间复杂度为O(nlogn)。K-d树是一种轴对齐的二进制空间划分，它在平均最高方差递归划分特征空间。

下面来详细地展开利用k-d树的最近邻搜索算法寻找匹配特征点x，也就是寻找与根结点距离最近的叶子结点x的过程。具体的实施方法如下：

(1)从根结点出发，递归地向下访问k-d树。如果目标点x当前维的坐标小于切分点的坐标，则移动到左子结点，否则移动到右子结点。直到子节点为叶结点为止。

(2)以此叶结点为“当前最近点”。

(3)递归地向上回退，在每个结点进行以下操作：

(a)如果该结点保存的实际点比当前最近点距离目标点更近，则以该实例点为“当前最近点”。

(b)当前最近点一定存在于该结点的一个子结点对应区域。检查该子结点的父结点的另一个子结点对应的区域是否有更近的点。具体地，检查另一个子结点对应的区域是否与以目标点为球心、以目标点与“当前最近点”间的距离为半径的超球体相交。如果相交，可能在另一个子结点对应的区域内存在距离目标点更近的点，移动到另一个子结点。接着，递归地进行最近邻搜索；如果不相交，向上回退。

(4)当回退到根结点时，搜索结束，最后的“当前最近点”即为x的最近邻点。

具体的流程图如图2所示。

2.面向森林防火的图像匹配

图像匹配的目标是找到所有匹配图像，然后匹配连通成为全景图。在面向森林防火的整个图像拼接过程中，得到的是有序的图像序列。从上面的特征匹配的步骤中，找到大量匹配点的图像。对于当前图像，将m幅图像作为可能的匹配图像，这m幅图像与当前图像有最大数量的匹配特征点。首先，使用RANSAC算法选择一系列和图像间对应矩阵包含的内点。RANSAC算法是使用最少的一组随机采样匹配点的一种鲁棒估计过程，用来估计图像变换参数，并找到与数据具有最好一致性的解决方案。在全景图的情况下，选择r＝4对匹配特征点，使用直接线性变换方法计算图像间的对应矩阵H。该算法的具体步骤图3所示。

然而考虑到图像间的几何一致性匹配集，需要捆绑调整解决所有相机参数的问题，这是重要的一个步骤，由于成对对应矩阵拼接将会造成累计误差，忽略图像间的多重约束。图像一个一个被添加到捆绑调节器，最佳匹配图像在每一步被添加，新图像用与最佳匹配图像具有相同的旋转和焦距长度初始化，然后相机参数使用L-M算法被更新。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (4)

1.一种面向森林防火的全景拼接方法，其特征在于：包括如下步骤：

步骤1：启动用于森林防火监控的摄像头，将沿特定方向转动过程中获得的视频帧经过预处理后输入给拼接线程，具体包括如下步骤：

步骤1.1：启动拼接线程，在拼接线程启动的同时启动预处理线程，裁剪从摄像头中获取的一帧图像的边缘部分；

步骤1.2：将步骤1.1预处理完成的一帧图像传送到拼接线程中；

步骤2：对预处理后的每一帧图像提取特征点；

步骤3：对于相邻图像的每个特征点，使用k-d树算法寻找最邻近的匹配特征点；

步骤4：根据步骤3中找到的匹配特征点，用RANSAC算法选取4对特征匹配对求解对应矩阵；

步骤5：对于步骤4求出的对应矩阵，利用捆绑调整算法估计具有最小误差的相机参数值，并以此计算出初步的全景拼接图像；

步骤6：对于步骤5中所得到的全景拼接图像，使用多波段融合的方法消除拼接缝隙，得到最终的全景拼接图像。

2.根据权利要求1所述的面向森林防火的全景拼接方法，其特征在于：在步骤3中，具体包括如下步骤：

步骤3.1：用待拼接图像的左侧的图和待拼接图像的右侧的图的特征初始化k-d树；

步骤3.2：对待拼接图像的左侧图中的每个特征执行优先搜索以查找最邻近的匹配特征点。

3.根据权利要求1所述的面向森林防火的全景拼接方法，其特征在于：在步骤4中，具体包括如下步骤：

步骤4.1：随机地从所提取的特征点中抽出4对特征点，计算出变换矩阵H，记为模型M；

其中，H的形式为：

$H_{ij}=K_i{R}_i{R}_j^T{K}_j^{-1};$

其中，H_ij为从图像j向图像i变换时的矩阵；

K_i是源图像的相机模型，R_i为向图像i变换时的旋转参数，用对数表示：

${\[{\mathrm{\θ}}_i\]}_x=\left[\begin{array}{ccc}0& -{\mathrm{\θ}}_{i3}& {\mathrm{\θ}}_{i2}\\ {\mathrm{\θ}}_{i3}& 0& -{\mathrm{\θ}}_{i1}\\ -{\mathrm{\θ}}_{i2}& {\mathrm{\θ}}_{i1}& 0\end{array}\right];$

R_j、K_j是和R_i、K_i形式相同的参数；

步骤4.2：根据实际情况设置一个阈值；

步骤4.3：计算特征点中所有数据与模型M的误差，并判断误差与阈值的大小；

若：判断结果是误差小于阈值，则将误差小于阈值的特征点加入到内点集I中；

或判断结果是误差大于阈值，则重复步骤4.3；

步骤4.4：判断步骤4.3中内点集I中元素个数与最优内点集I_optimal中元素个数的大小；

若：判断结果是步骤4.3中内点集I中元素个数大于最优内点集I_optimal中元素个数，则更新I_optimal＝I，同时更新迭代次数k；

或判断结果是步骤4.3中内点集I中元素个数小于或者等于最优内点集I_optimal中元素个数，则重复步骤4.3-步骤4.4；

步骤4.5：判断迭代次数k与总迭代次数K的大小；

若：判断结果是迭代次数k大于总迭代次数K，则退出；

或判断结果是迭代次数k小于或者等于总迭代次数K，则迭代次数k加1，并重复步骤4.3-步骤4.5，直至迭代次数k大于总迭代次数K。

4.根据权利要求1所述的面向森林防火的全景拼接方法，其特征在于：在步骤6中，具体包括如下步骤：

步骤6.1：为每个图像i分配一个加权函数w(x,y)＝w(x)w(y)；

其中，从中心到边缘w(x)的值从1到0线性变化；

步骤6.2：对加权函数在球形坐标系wⁱ(θ,φ)内重新采样，采样后的加权函数的图像强度的加权总和如公式(1)所示：

$I^{liner}(\mathrm{\θ},\mathrm{\φ})=\frac{{\mathrm{\Σ}}_{i=1}^n{I}^i(\mathrm{\θ},\mathrm{\φ})W^i(\mathrm{\θ},\mathrm{\φ})}{{\mathrm{\Σ}}_{i=1}^n{W}^i(\mathrm{\θ},\mathrm{\φ})}---\left(1\right)$

其中，I^liner(θ,φ)是使用线性融合形成的复合球面图像；上标i是每个需要融合的图像的编号，i的取值范围为[1n]，n是需要融合的图像的总数量；wⁱ(θ,φ)是图像i的权重；θ、分别是图像i的水平和纵向角度参数；Iⁱ(θ,φ)为第i个图像在球形坐标系wⁱ(θ,φ)中的表示；

步骤6.3：通过找到图像最有用的点集来初始化每个图像的混合权重，混合权重表示如下：

$W_{max}^i(\mathrm{\θ},\mathrm{\φ})=\left\{\begin{array}{cc}1& \begin{array}{cc}if& W^i(\mathrm{\θ},\mathrm{\φ})=\arg {\max }_j{W}^j(\mathrm{\θ},\mathrm{\φ})\end{array}\\ 0& otherwise\end{array}\right.$

这些最大权值的映射连续混合形成了每个波段的混合权值，所呈现图像的高通版本形式如下：

$B_{\mathrm{\σ}}^i(\mathrm{\θ},\mathrm{\φ})=I^i(\mathrm{\θ},\mathrm{\φ})-I_{\mathrm{\σ}}^i(\mathrm{\θ},\mathrm{\φ})$

$I_{\mathrm{\σ}}^i(\mathrm{\θ},\mathrm{\φ})=I^i(\mathrm{\θ},\mathrm{\φ})*g_{\mathrm{\σ}}(\mathrm{\θ},\mathrm{\φ})$

其中，g_σ(θ,φ)是标准偏差为σ的高斯分布；*操作符表示卷积；Iⁱ(θ,φ)为第i个图像在球形坐标系wⁱ(θ,φ)中的表示，i的取值范围为[1n]，n是需要融合的图像的总数量；表示第i个图像的高频细节内容；为第i个图像经过高斯滤波后的低频概貌内容；

通过模糊这幅图像的最大权值映射，形成融合权值，表示如下：

$W_{\mathrm{\σ}}^i(\mathrm{\θ},\mathrm{\φ})=W_{max}^i(\mathrm{\θ},\mathrm{\φ})*g_{\mathrm{\σ}}(\mathrm{\θ},\mathrm{\φ})$

其中，为波长在[0,σ]的波段内的融合权值，g_σ(θ,φ)是标准偏差为σ的高斯分布；后续的频段使用低频带通图像和模糊融合权值来融合；

步骤6.4：对每个波段，使用对应的融合权值线性合并重叠的图像，如下所示：

$I_{k\mathrm{\σ}}^{multi}(\mathrm{\θ},\mathrm{\φ})=\frac{{\mathrm{\Σ}}_{i=1}^n{B}_{k\mathrm{\σ}}^i(\mathrm{\θ},\mathrm{\φ})W_{k\mathrm{\σ}}^i(\mathrm{\θ},\mathrm{\φ})}{{\mathrm{\Σ}}_{i=1}^n{W}_{k\mathrm{\σ}}^i(\mathrm{\θ},\mathrm{\φ})}$

其中，下标k指的是各个波段；为将i个图像在k个波段上融合后的最终结果；为第i个图像在第k个波段上的融合权值；为图像i在第k个波段上滤波后的图像。