CN106886785A - 一种基于多特征哈希学习的航拍图像快速匹配算法 - Google Patents

Abstract

本发明公开了一种基于多特征哈希学习的航拍图像快速匹配算法，根据航拍图像的航向重叠率选取匹配区域，在匹配区域内提取特征点获取特征点集；对获取到的特征点进行多特征描述，得到其特征向量；通过核方法将特征向量映射到统一的核空间；选取训练样本数据，在核空间内学习样本特征点的二进制哈希码和生成哈希函数；根据哈希函数，将匹配区域提取的特征点进行二进制哈希码描述，在汉明空间内依据汉明距离大小进行快速匹配。本发明采用多特征融合与哈希学习方法，将特征点表示为二进制哈希码形式，克服了传统浮点型特征描述子计算复杂、匹配速度慢的问题，简化了特征匹配方法，较单一特征的特征描述子，有更强的区分性，匹配快速且准确度高。

Description

一种基于多特征哈希学习的航拍图像快速匹配算法

技术领域

本发明涉及一种航拍图像快速匹配算法，特别是涉及一种基于多特征哈希学习的航拍图像快速匹配算法，属于数字图像处理技术领域。

背景技术

航拍图像匹配技术是计算机视觉、图像处理和计算机图形学邻域的研究热点，利用多幅具有重叠区域的图像产生高分辨率全景图像，在场景重建、灾害防治、环境监测、遥感图像等领域有着广泛的应用价值。由于航拍图像数据量大、分辨率高，如何构建高效的特征描述子是实现航拍图像快速匹配的关键。

航拍图像局部特征匹配主要分为两个步骤：特征点检测、特征描述子构建。通过对特征点邻域的像素灰度信息进行描述，即可得到该特征点的描述子，一般表示为向量形式。为了更精确的描述特征点以用于后续匹配，通常一种好的特征描述子需要满足如下性质：高区分性、高鲁棒性。高区分性要求特征点被独一无二地描述；高鲁棒性要求在不同图像上能识别出相同特征点。最近十几年，提出了很多高鲁棒性和高区分性的局部特征描述子，如SIFT、SURF。但这些特征描述子均属于手工设计的特征，且采用浮点型数值描述，运算速度慢、匹配复杂度高，不适用于大尺度、高分辨率的航拍图像匹配。

为了解决高维浮点型描述子的匹配问题，学者们提出采用二进制描述子进行特征点描述。运用二进制特征描述子进行航拍图像特征匹配具有很多优点，如运算速度快、占用内存空间少、匹配方法简单，通过汉明距离大小即可判断特征是否匹配。二进制特征描述子主要分为两类：一类是将高维的浮点型特征描述子进行降维、量化，获取简短的二进制特征描述子，使得高维描述子的相似性在汉明空间内仍能保留；另一类是直接从原始图像块中获取二进制串，通过强度信息差异选取二进制比特位，典型的方法有BRIEF，ORB，BRISK，FREAK等。二进制描述子将特征点表示为二进制串，可以大大提高运算速度，减少内存空间，但是该类描述子大多采用特征点邻域的单一特征，如灰度特征、梯度特征，得到的二进制描述子区分性不如浮点型特征描述子，用于航拍图像匹配时，匹配准确度不高。

发明内容

本发明的主要目的在于，克服现有技术中的不足，提供一种基于多特征哈希学习的航拍图像快速匹配算法，将特征点表示为二进制哈希码形式，解决基于传统浮点型特征描述子时匹配效率低的问题，并大幅提高特征描述子区分性和匹配准确度。

为了达到上述目的，本发明所采用的技术方案是：

一种基于多特征哈希学习的航拍图像快速匹配算法，其包括以下步骤：

1)输入航拍图像f₁、f₂，根据航拍图像的航向重叠率α选取匹配区域f；

在匹配区域f内采用FAST-9算法提取特征点，获取特征点集{(x₁,y₁),(x₂,y₂),...,(x_i,y_i),...,(x_n,y_n)}，i∈[1,n]，n为自然数；其中，(x_i,y_i)为坐标形式的某一特征点；

2)对获取到的特征点(x_i,y_i)进行多特征描述，得到其特征向量其中，F_i1,F_i2,F_i3为不同维度的特征，为梯度特征，为平均强度特征，为强度比较特征，m＝m₁+m₂+m₃；

3)通过核方法将特征向量F_i映射到统一的核空间K；

4)选取训练样本数据，在统一的核空间K内学习样本特征点的二进制哈希码{c₁,c₂,…,c_n}和生成哈希函数集H(·)＝{h₁(·),...,h_k(·),...,h_r(·)}，h_k(·)为哈希函数，k∈[1,r]，r表示哈希码的位数；

5)根据哈希函数集H(·)，将匹配区域f提取的特征点进行二进制哈希码描述，在汉明空间内依据汉明距离大小进行快速匹配。

本发明进一步设置为：所述步骤1)中的航拍图像f₁、f₂的像幅边长相等，像幅边长都分别为l_x、l_y，则匹配区域f的像幅边长分别为αl_x、l_y。

本发明进一步设置为：所述步骤2)中的对获取到的特征点(x_i,y_i)进行多特征描述，具体为，

2-1)以特征点(x_i,y_i)为中心选取中心邻域D_i，并将中心邻域D_i划分为小块形式的小区域块；

2-2)确定主方向，并将中心邻域D_i旋转至主方向，以实现特征的旋转不变性；

2-3)在每个小区域块内提取梯度特征、平均强度特征，在特征点整个中心邻域内提取强度比较特征，从而得到特征点的不同维度描述。

本发明进一步设置为：所述步骤2-1)中的中心邻域D_i划分为4×4个小区域块，记为d_i1,d_i2,…,d_it,…,d_i16，t＝1,2,…,16，每个小区域块的大小为5pixel×5pixel。

本发明进一步设置为：所述步骤2-2)中的主方向采用灰度质心法确定。

本发明进一步设置为：所述步骤2-3)的在每个小区域块内提取梯度特征、平均强度特征，在特征点整个中心邻域内提取强度比较特征，从而得到特征点的不同维度描述，具体为，

2-3-1)在每个小区域块d_it内提取梯度信息∑dx、∑dy、∑|dx|、∑|dy|，并将所有小区域块的梯度信息进行整合，得到中心邻域D_i内的梯度特征记为F_i1，

2-3-2)在每个小区域块d_it内提取平均强度信息I_avg(i)，则整个中心邻域D_i内的平均强度特征记为F_i2，

其中，I(x,y)为小区域块d_it内像素点(x,y)的灰度值；

2-3-3)在整个中心邻域D_i内随机选取64个像素点对{(x_i,y_i),(x_j,y_j)}，i,j＝1,2,…,20，对像素点对根据以下公式进行强度比较得到强度比较特征，将强度比较特征记为F_i3，

从而得到特征点(x_i,y_i)的特征向量表示为

本发明进一步设置为：所述步骤3)的通过核方法将特征向量F_i映射到统一的核空间K，具体为，

3-1)设给定n个特征点的特征点集{(x₁,y₁),(x₂,y₂),...,(x_i,y_i),...,(x_n,y_n)}对应的特征向量集，矩阵表示为

3-2)采用高斯核函数建立不同特征的核空间

其中，F_p、F_q分别表示两个特征点的特征向量，α_j为高斯核函数的参变量

3-3)选取权值β_j，将不同特征的核空间组合得到统一的核空间K；

其中，m为特征向量的维度，β_j≥0，

本发明进一步设置为：所述步骤4)的选取训练样本数据，在统一的核空间K内学习样本特征点的二进制哈希码{c₁,c₂,…,c_n}和生成哈希函数集H(·)＝{h₁(·),...,h_k(·),...,h_r(·)}，h_k(·)为哈希函数，k∈[1,r]，r表示哈希码的位数，具体为，

4-1)选取航拍图像的特征向量集F＝[F₁,F₂,…,F_i,…,F_n]作为训练样本数据，根据训练样本数据中特征点的相似性，定义相似性矩阵

相似性矩阵S中的每个元素S_ij表示对于位置的特征点是否匹配，

其中，F_i和F_j分别为第i个和第j个特征点的特征向量；

4-2)定义代价函数L，表示哈希码汉明距离与语义相似度的距离，

其中，c_i为特征向量F_i对应的哈希码，为哈希码c_i的转置，c_j为特征向量F_j对应的哈希码；

通过最小化训练样本数据的经验误差求得样本特征点的二进制哈希码{c₁,c₂,…,c_n}；

4-3)设Φ(F_i)为特征向量F_i在统一的核空间K的映射，定义哈希函数h_k(·)，

其中，V_k为统一的核空间K中超平面的法向量，V_k ^T为法向量V_k的转置，b_k为偏差调整向量；

V_k由一组地标样本向量的线性加权表示为则哈希函数表示为，

其中，A_kr为加权系数，{z_{k|k＝1,...,l}}为从训练样本数据中选取的地标样本，κ为地标样本的个数，Φ(z_k)为z_k在统一的核空间K的映射；

4-4)定义目标函数O(A,b,μ)，

其中，c_ik是样本的第k位哈希码，是用来控制核函数平滑度的正则化项，λ为控制系数；

通过最小化哈希函数的输出与对应学习得到的哈希码的经验损失，确定哈希函数的各参数后生成哈希函数。

与现有技术相比，本发明具有的有益效果是：

本发明采用多特征融合与哈希学习方法，将特征点表示为二进制哈希码形式，克服了传统浮点型特征描述子计算复杂、匹配速度慢的问题；将哈希学习运用到航拍图像特征提取与匹配中，将特征点描述为简短的二进制哈希码，简化了特征匹配方法；同时对提取到的特征点采用多特征描述，较单一特征的特征描述子，有更强的区分性，用于航拍图像特征匹配时，准确度高。

上述内容仅是本发明技术方案的概述，为了更清楚的了解本发明的技术手段，下面结合附图对本发明作进一步的描述。

附图说明

图1为本发明一种基于多特征哈希学习的航拍图像快速匹配算法的流程图。

具体实施方式

下面结合说明书附图，对本发明作进一步的说明。

本发明提供一种基于多特征哈希学习的航拍图像快速匹配算法，如图1所示，包括以下步骤：

1)输入像幅边长相等的航拍图像f₁、f₂，两者的像幅边长都分别为l_x、l_y，航向重叠率为α；根据航拍图像的航向重叠率α选取匹配区域f，则匹配区域f的像幅边长分别为αl_x、l_y；在匹配区域f内采用FAST-9算法提取特征点，获取特征点集{(x₁,y₁),(x₂,y₂),...,(x_i,y_i),...,(x_n,y_n)}，i∈[1,n]，n为自然数；其中，(x_i,y_i)为坐标形式的某一特征点。

2)对获取到的特征点(x_i,y_i)进行多特征描述，得到其特征向量其中，F_i1,F_i2,F_i3为不同维度的特征，特征为梯度特征，为平均强度特征，为强度比较特征，m＝m₁+m₂+m₃。

所述步骤2)中的对获取到的特征点(x_i,y_i)进行多特征描述，具体为，

2-1)以特征点(x_i,y_i)为中心选取中心邻域D_i，并将中心邻域D_i划分为小块形式的4×4个小区域块，记为d_i1,d_i2,…,d_it,…,d_i16，t＝1,2,…,16，每个小区域块的大小为5pixel×5pixel；

2-2)采用灰度质心法确定主方向，并将中心邻域D_i旋转至主方向，以实现特征的旋转不变性；

2-3)在每个小区域块内提取梯度特征、平均强度特征，在特征点整个中心邻域内提取强度比较特征，从而得到特征点的不同维度描述。

所述步骤2-3)具体为，

2-3-1)在每个小区域块d_it内提取梯度信息∑dx、∑dy、∑|dx|、∑|dy|，并将所有小区域块的梯度信息进行整合，得到中心邻域D_i内的梯度特征记为F_i1，

2-3-2)在每个小区域块d_it内提取平均强度信息I_avg(i)，则整个中心邻域D_i内的平均强度特征记为F_i2，

其中，I(x,y)为小区域块d_it内像素点(x,y)的灰度值；

2-3-3)在整个中心邻域D_i内随机选取64个像素点对{(x_i,y_i),(x_j,y_j)}，i,j＝1,2,…,20，对像素点对根据以下公式进行强度比较得到强度比较特征，将强度比较特征记为F_i3，

从而得到特征点(x_i,y_i)的特征向量表示为

3)通过核方法将特征向量F_i映射到统一的核空间K，具体为，

3-1)设给定n个特征点的特征点集{(x₁,y₁),(x₂,y₂),...,(x_i,y_i),...,(x_n,y_n)}对应的特征向量集，矩阵表示为

3-2)采用高斯核函数建立不同特征的核空间

其中，F_p、F_q分别表示两个特征点的特征向量，α_j为高斯核函数的参变量；

3-3)选取权值β_j，将不同特征的核空间组合得到统一的核空间K；

其中，m为特征向量的维度，β_j≥0，

4)选取训练样本数据，在统一的核空间K内学习样本特征点的二进制哈希码{c₁,c₂,…,c_n}和生成哈希函数集H(·)＝{h₁(·),...,h_k(·),...,h_r(·)}，h_k(·)为哈希函数，k∈[1,r]，r表示哈希码的位数。

具体为，

4-1)选取航拍图像的特征向量集F＝[F₁,F₂,…,F_i,…,F_n]作为训练样本数据，根据训练样本数据中特征点的相似性，定义相似性矩阵

相似性矩阵S中的每个元素S_ij表示对于位置的特征点是否匹配，

其中，F_i和F_j分别为第i个和第j个特征点的特征向量；

4-2)定义代价函数L，表示哈希码汉明距离与语义相似度的距离，

其中，c_i为特征向量F_i对应的哈希码，为哈希码c_i的转置，c_j为特征向量F_j对应的哈希码；

通过最小化训练样本数据的经验误差求得样本特征点的二进制哈希码{c₁,c₂,…,c_n}；

4-3)设Φ(F_i)为特征向量F_i在统一的核空间K的映射，定义哈希函数h_k(·)，

其中，V_k为统一的核空间K中超平面的法向量，V_k ^T为法向量V_k的转置，b_k为偏差调整向量；

V_k由一组地标样本向量的线性加权表示为则哈希函数表示为，

其中，A_kr为加权系数，{z_{k|k＝1,...,l}}为从训练样本数据中选取的地标样本，κ为地标样本的个数，Φ(z_k)为z_k在统一的核空间K的映射；

4-4)定义目标函数O(A,b,μ)，

其中，c_ik是样本的第k位哈希码，是用来控制核函数平滑度的正则化项，λ为控制系数；

通过最小化哈希函数的输出与对应学习得到的哈希码的经验损失，确定哈希函数的各参数后生成哈希函数。

5)根据哈希函数H(·)，将匹配区域f提取的特征点进行二进制哈希码描述，在汉明空间内依据汉明距离大小进行快速匹配。

本发明的创新点在于，采用多特征融合与哈希学习方法，将特征点表示为二进制哈希码形式，克服了传统浮点型特征描述子计算复杂、匹配速度慢的问题，简化了特征匹配方法，较单一特征的特征描述子，有更强的区分性，匹配快速且准确度高。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种基于多特征哈希学习的航拍图像快速匹配算法，其特征在于，包括以下步骤：

1)输入航拍图像f₁、f₂，根据航拍图像的航向重叠率α选取匹配区域f；

在匹配区域f内采用FAST-9算法提取特征点，获取特征点集{(x₁,y₁),(x₂,y₂),...,(x_i,y_i),...,(x_n,y_n)}，i∈[1,n]，n为自然数；其中，(x_i,y_i)为坐标形式的某一特征点；

2)对获取到的特征点(x_i,y_i)进行多特征描述，得到其特征向量其中，F_i1,F_i2,F_i3为不同维度的特征，为梯度特征，为平均强度特征，为强度比较特征，m＝m₁+m₂+m₃；

3)通过核方法将特征向量F_i映射到统一的核空间K；

4)选取训练样本数据，在统一的核空间K内学习样本特征点的二进制哈希码{c₁,c₂,…,c_n}和生成哈希函数集H(·)＝{h₁(·),...,h_k(·),...,h_r(·)}，h_k(·)为哈希函数，k∈[1,r]，r表示哈希码的位数；

5)根据哈希函数集H(·)，将匹配区域f提取的特征点进行二进制哈希码描述，在汉明空间内依据汉明距离大小进行快速匹配。

2.根据权利要求1所述的一种基于多特征哈希学习的航拍图像快速匹配算法，其特征在于：所述步骤1)中的航拍图像f₁、f₂的像幅边长相等，像幅边长都分别为l_x、l_y，则匹配区域f的像幅边长分别为αl_x、l_y。

3.根据权利要求1所述的一种基于多特征哈希学习的航拍图像快速匹配算法，其特征在于：所述步骤2)中的对获取到的特征点(x_i,y_i)进行多特征描述，具体为，

2-1)以特征点(x_i,y_i)为中心选取中心邻域D_i，并将中心邻域D_i划分为小块形式的小区域块；

2-2)确定主方向，并将中心邻域D_i旋转至主方向，以实现特征的旋转不变性；

2-3)在每个小区域块内提取梯度特征、平均强度特征，在特征点整个中心邻域内提取强度比较特征，从而得到特征点的不同维度描述。

4.根据权利要求3所述的一种基于多特征哈希学习的航拍图像快速匹配算法，其特征在于：所述步骤2-1)中的中心邻域D_i划分为4×4个小区域块，记为d_i1,d_i2,…,d_it,…,d_i16，t＝1,2,…,16，每个小区域块的大小为5pixel×5pixel。

5.根据权利要求4所述的一种基于多特征哈希学习的航拍图像快速匹配算法，其特征在于：所述步骤2-2)中的主方向采用灰度质心法确定。

6.根据权利要求5所述的一种基于多特征哈希学习的航拍图像快速匹配算法，其特征在于：所述步骤2-3)的在每个小区域块内提取梯度特征、平均强度特征，在特征点整个中心邻域内提取强度比较特征，从而得到特征点的不同维度描述，具体为，

2-3-1)在每个小区域块d_it内提取梯度信息Σdx、∑dy、∑|dx|、∑|dy|，并将所有小区域块的梯度信息进行整合，得到中心邻域D_i内的梯度特征记为F_i1，

2-3-2)在每个小区域块d_it内提取平均强度信息I_avg(i)，则整个中心邻域D_i内的平均强度特征记为F_i2，

$I_{avg}\left(i\right)=\frac{1}{m}\underset{x,y\∈d_{it}}{\Σ}I(x,y)$

其中，I(x,y)为小区域块d_it内像素点(x,y)的灰度值；

2-3-3)在整个中心邻域D_i内随机选取64个像素点对{(x_i,y_i),(x_j,y_j)}，i,j＝1,2,…,20，对像素点对根据以下公式进行强度比较得到强度比较特征，将强度比较特征记为F_i3，

$\mathrm{\&Gamma;}(I;(x_i,y_i),(x_j,y_j\left)\right)=\left\{\begin{array}{cc}1,& I(x_i,y_i)>I(x_j,y_j)\\ -1,& I(x_i,y_i)<I(x_j,y_j)\\ 0,& otherwise\end{array}\right.$

从而得到特征点(x_i,y_i)的特征向量表示为

7.根据权利要求1所述的一种基于多特征哈希学习的航拍图像快速匹配算法，其特征在于：所述步骤3)的通过核方法将特征向量F_i映射到统一的核空间K，具体为，

3-1)设给定n个特征点的特征点集{(x₁,y₁),(x₂,y₂),...,(x_i,y_i),...,(x_n,y_n)}对应的特征向量集，矩阵表示为

3-2)采用高斯核函数建立不同特征的核空间

$K_j^{pq}=\exp \{-\frac{\left|\right|F_p-F_q|{|}^2}{{\mathrm{\&alpha;}}_j}\}$

其中，F_p、F_q分别表示两个特征点的特征向量，α_j为高斯核函数的参变量

3-3)选取权值β_j，将不同特征的核空间组合得到统一的核空间K；

${\mathrm{\&beta;}}_1{K}_1+{\mathrm{\&beta;}}_2{K}_2+...+{\mathrm{\&beta;}}_j{K}_j=\underset{j=1}{\overset{m}{\&Sigma;}}{\mathrm{\&beta;}}_j{K}_j=K$

其中，m为特征向量的维度，β_j≥0，

8.根据权利要求7所述的一种基于多特征哈希学习的航拍图像快速匹配算法，其特征在于：所述步骤4)的选取训练样本数据，在统一的核空间K内学习样本特征点的二进制哈希码{c₁,c₂,…,c_n}和生成哈希函数集H(·)＝{h₁(·),...,h_k(·),...,h_r(·)}，h_k(·)为哈希函数，k∈[1,r]，r表示哈希码的位数，具体为，

4-1)选取航拍图像的特征向量集F＝[F₁,F₂,…,F_i,…,F_n]作为训练样本数据，根据训练样本数据中特征点的相似性，定义相似性矩阵

相似性矩阵S中的每个元素S_ij表示对于位置的特征点是否匹配，

其中，F_i和F_j分别为第i个和第j个特征点的特征向量；

4-2)定义代价函数L，表示哈希码汉明距离与语义相似度的距离，

$L(c_i,c_j)={(c_i^T{c}_j-{\mathrm{rS}}_{ij})}^2;$

其中，c_i为特征向量F_i对应的哈希码，为哈希码c_i的转置，c_j为特征向量F_j对应的哈希码；

通过最小化训练样本数据的经验误差求得样本特征点的二进制哈希码{c₁,c₂,…,c_n}；

4-3)设Φ(F_i)为特征向量F_i在统一的核空间K的映射，定义哈希函数h_k(·)，

$h_k\left(F_i\right)=sign\left(V_k^T\mathrm{\&Phi;}\right(F_i)+b_k)$

其中，V_k为统一的核空间K中超平面的法向量，为法向量V_k的转置，b_k为偏差调整向量；

V_k由一组地标样本向量的线性加权表示为则哈希函数表示为，

$\begin{array}{c}{h}_k\left(F_i\right)=sign\left(\underset{j=1}{\overset{l}{\&Sigma;}}{A}_{jk}\mathrm{\&Phi;}{\left(z_j\right)}^T\mathrm{\&Phi;}\right(F_i)+b_k)\\ =sign\left(\underset{i=1}{\overset{l}{\&Sigma;}}{A}_{jk}\mathrm{\&kappa;}\right(z_j,F_i)+b_k)\end{array}$

其中，A_kr为加权系数，{z_{k|k＝1,...,l}}为从训练样本数据中选取的地标样本，κ为地标样本的个数，Φ(z_k)为z_k在统一的核空间K的映射；

4-4)定义目标函数O(A,b,μ)，

$O(A,b,\mathrm{\&mu;})=min\underset{k=1}{\overset{r}{\&Sigma;}}\underset{i=1}{\overset{n}{\&Sigma;}}{\left(h_k\right(x_i)-c_{ik})}^2+\mathrm{\&lambda;}\underset{k=1}{\overset{r}{\&Sigma;}}\left|\right|V_k|{|}_F^2$

其中，c_ik是样本的第k位哈希码，是用来控制核函数平滑度的正则化项，λ为控制系数；

通过最小化哈希函数的输出与对应学习得到的哈希码的经验损失，确定哈希函数的各参数后生成哈希函数。