CN104216974A - 基于词汇树分块聚类的无人机航拍图像匹配的方法 - Google Patents

Abstract

本发明涉及一种基于词汇树分块聚类的无人机航拍图像匹配的方法，本发明首先以词汇树量化场景中的图像，将图像集中的海量特征建立层次聚类，实现快速的带匹配图像与海量图像集相似性的筛选。实现了快速的场景分类过程，避免了传统方法中逐帧匹配挑选带匹配图像集运算量。其次，该方法对于已经得到具有相似性的两帧图像，建立图像的缩略图并在缩略图下对图像进行粗匹配。随后利用聚类的方法将图像分块，是对由粗到细匹配思想的一次有效的尝试。此外，该发明针对无人机图像数据量大，图像分辨率高和图像重叠率低等数据特性，第一次提出适合无人机海量图像匹配的方法。从而，使得无人机图像匹配的精度和效率有效的提升。通过在PAMView:Providence Aerial MultiView Dataset数据库中航拍图像进行测试，验证了发明方法的有效性。

Description

基于词汇树分块聚类的无人机航拍图像匹配的方法

技术领域

本发明涉及海量航拍图像的匹配方法，具体为一种基于词汇树分块聚类的无人机航拍图像匹配的方法。 

背景技术

图像匹配是计算机视觉和场景分析领域一个重要的问题，其在图像拼接和三维重建等领域具有广泛的应用。现有的图像匹配算法主要有：基于kd-tree的最近邻匹配方法，基于图像块近似匹配方法以及基于哈希表的临近元素检索方法。文献“Computing Nearest-Neighbor Fields via Propagation-Assisted KD-Trees,2012 CVPR”提出了一种基于传播方法KD-Trees匹配方法计算两个视角间稠密的匹配关系，旨在两张图像中通过一张图像恢复出另一张图像的信息。传统的基于树形结构的匹配方法，通常利用KD-Tree计算特征点之间的最近邻关系，该方法能够通过树形结构统计图像中带匹配特征的分布信息，然而该方法常常独立的考虑每一组匹配关系，并没有充分利用多个匹配特征对之间的相互依赖关系。图像块近似匹配方法(PatchMatch)是基于图像的局部一致性假设设计的图像匹配方法，即若图像1中的区域A与图像2中的区域B已验证具有匹配关系，则在相当的概率上A的临近区域与B的临近区域也具有相似的匹配关系。这是一个高效且自动的算法，巧妙的结合了基于树形结构与图像块的两种匹配思想。同时有效的避免了针对树形结构检索时具有的大量的回溯现象，而有能够提前对图像数据进行整理，回避了图像块匹配中需要随机采样的算法不稳定性。然而，在无人机航拍领域需要的进行的是特征点之间的稀疏匹配，且图像间存在大量的旋转与缩放。常常无需完全的得到从一个视角到另一个视角的完美恢复，而是需要准确的计算同名特征点。因此该算法不能直接应用的无人机航拍图像匹配的问题中。 

发明内容

要解决的技术问题 

为了解决该类图像的匹配时存在匹配的速度较慢且匹配的误差较大等的缺点，本发明提出一种基于词汇树分块聚类的无人机航拍图像匹配的方法。 

技术方案 

一种基于词汇树分块聚类的无人机航拍图像匹配的方法，其特征在于步骤如下： 

步骤1：对航拍图像建立训练集，给每一张图像建立一个独立的ID_i，提取图像的SIFT特征集合，将所有图像的特征构建特征集合Feat＝{Feat_i}； 

步骤2：利用K-Means聚类方法对特征集合Feat＝{Feat_i}建立有层次的L层聚类的聚类树,每一层的特征分为k类，节点数为

步骤3：计算每个ID_i图像与聚类树中的每一个聚类中心节点F_i的权值矩阵： 

$\left(\begin{array}{cccc}{w}_{\mathrm{1,1}}& w_{\mathrm{2,1}}& ...& w_{t,1}\\ w_{\mathrm{1,2}}& w_{\mathrm{2,2}}& ...& w_{t,2}\\ .& .& & .\\ .& .& & .\\ .& .& & .\\ w_{1,N}& w_{2,N}& ...& w_{t,N}\end{array}\right)$

其中，m_j,i为聚类中心节点F_j出现在图像ID_i中的频数，N为训练集图像总数，n_j表示节点包含图像总数，矩阵的每一行表示第i张图像对从1到t个聚类中心节点的相关度权值； 

步骤4：将无人机采集到的新的图像作为匹配图像ID，提取匹配图像ID的SIFT特征集合，计算匹配图像在聚类树中的权值向量q＝[w₁,w₂,...,w_t]，m_j为匹配图像特征在聚类中心节点F_j中出现的频数； 

对匹配图像的q逐行计算与训练集图像的ID_i的2-范数，用快速排序算法得到距离排名前20的图像形成待匹配图像集合{ID_i}； 

步骤5：对待匹配图像和匹配图像进行水平与竖直方向上降采样得到缩略图，在 待匹配图像集{ID_i}与匹配图像ID的缩略图尺度下，利用SIFT特征构建KD-Tree，采用下式计算匹配图像与待匹配图像集合中的每个图像ID_i的FLANN最近邻特征： 

当图像对的特征的最近邻距离与次近邻的距离小于固定阈值时，匹配图像能够与待匹配图像匹配，对匹配缩略图像的已匹配的特征分别进行k-means聚类，根据聚类类别对图像特征进行分块，利用下述规则得到匹配缩略图像上第i个聚类的图像块的四个方向的边界： 

其中，x,y分别为第i个特征点的像素的位置，同时对待匹配缩略图像集合中的ID_i进行分块，并映射到原始图像的尺度下； 

步骤6：对能够匹配的图像块在原始图像下构建KD-Tree子树，按照步骤5的方法计算匹配图像ID与待匹配集合{ID_i}每个元素间的特征匹配关系。 

所述的固定阈值为0.7。 

有益效果 

本发明提出的一种基于词汇树分块聚类的无人机航拍图像匹配的方法，从图像的缩略图入手，有效地较少的运算代价。同时在确定图像块之间具有匹配属性时，进一步有针对性的计算图像分块之间的匹配关系。更新原始特征匹配队列，实现了航拍图像间的快速匹配。 

具体实施方式

现结合实施例对本发明作进一步描述： 

1、基于词汇树的待匹配图像集选取策略 

针对无人机所采集的大量图像建立训练集,为每一张图像建立一个独立的ID，并提取图像的SIFT特征，至此我们可以得到一个特征集合Feat＝{feat_i}以及包含该特征的图像ID集合，即{ID_i}，采用K-Means聚类方法对特征集合进行有层次的聚类。限定聚类的类别数为k，在第一层将所有的特征分为可k类，得到聚类中心C_i，然后对每一类重复上述聚类过程。限定该聚类树的层次为L层，数中的节点数为 这里我们对无人机采集的海量数据实现了无监督的训练过程。 

为了保证快速性，需要根据已经得到的层次聚类树对每一张图像表示为一个由权值构成的向量。聚类树中的每一个节点，即分层聚类过程中的每个聚类中心为描述该无人机采集大场景的一个单词，设其为F_i，其中i＝1,2,...,t，t为单词个数。而对训练集合中的所有图片建立词汇树，即计算该ID_i图像与聚类树中的每一个聚类中心节点F_i(每一层的聚类中心)权值矩阵： 

$\left(\begin{array}{cccc}{w}_{\mathrm{1,1}}& w_{\mathrm{2,1}}& ...& w_{t,1}\\ w_{\mathrm{1,2}}& w_{\mathrm{2,2}}& ...& w_{t,2}\\ .& .& & .\\ .& .& & .\\ .& .& & .\\ w_{1,N}& w_{2,N}& ...& w_{t,N}\end{array}\right)$

其中，该权值可以由计算得到，其中m_j,i为聚类中心节点F_j出现在图像ID_i中频数。矩阵的每一行表示第i张图像对从1到t个聚类中心节点的相关度权值。N为训练集图片总数，n_j表示该节点包含图片总数。 

当无人机采集到一张新的图片时，称其为匹配图像ID并提取其Sift特征集合，计算该图像在聚类树中的权值向量q＝[w₁,w₂,...,w_t]，m_i为特征在聚类中心节点F_j中出现的频数，N为训练集图片总数，n_j表示节点包含图片总数； 

对该匹配图像的q逐行计算与训练集图像的ID_i的2-范数，用快速排序算法得到距离排名前20的图片形成待匹配图像集合{ID_i}； 

2、待匹配图像与筛选图片集的匹配方法 

对待匹配图像进行水平与竖直方向上降采样得到缩略图，在待匹配图像集{ID_i}与匹配图像ID的缩略图尺度下，利用Sift特征构建KD-Tree，得到该图像与待匹配图像集合的逐个图像ID_i计算FLANN最近邻特征： 

即当图像对的特征的最近邻距离与此近邻的距离小于固定阈值0.7时，认为该图像对中的特征具有匹配关系。分别得到匹配缩略图与待匹配缩略图像集{ID_i}的匹配关系，对待匹配缩略图像已匹配特征分别进行k-means聚类，根据聚类结果对图像特征每一个类别进行分块，对缩略图上第i个聚类，利用下属规则得到该类别的图像块： 

其中，x,y分别为第i个特征点的像素的位置，得到第i个聚类的图像分块的四个方向的边界，同时根据记录的匹配关系将对待匹配缩略图像集中的ID_i进行分块，并映射到原始图像的尺度下分别对上述每一个图像块具有匹配关系的图像块对，在原始尺度下重新计算计算匹配关系，即对逐个分块在原图下构建KD-Tree子树，采用与缩略图中的相同的方法计算特征匹配关系并得到匹配图像ID与待匹配集合{ID_i}每个元素间的特征匹配关系。 

Claims (2)

1.一种基于词汇树分块聚类的无人机航拍图像匹配的方法，其特征在于步骤如下：

步骤1：对航拍图像建立训练集，给每一张图像建立一个独立的ID_i，提取图像的SIFT特征集合，将所有图像的特征构建特征集合Feat＝{Feat_i}；

步骤2：利用K-Means聚类方法对特征集合Feat＝{Feat_i}建立有层次的L层聚类的聚类树,每一层的特征分为k类，节点数为

步骤3：计算每个ID_i图像与聚类树中的每一个聚类中心节点F_i的权值矩阵：

$\left(\begin{array}{cccc}{w}_{\mathrm{1,1}}& w_{\mathrm{2,1}}& ...& w_{t,1}\\ w_{\mathrm{1,2}}& w_{\mathrm{2,2}}& ...& w_{t,2}\\ .& .& & .\\ .& .& & .\\ .& .& & .\\ w_{1,N}& w_{2,N}& ...& w_{t,N}\end{array}\right)$

其中，m_j,i为聚类中心节点F_j出现在图像ID_i中的频数，N为训练集图像总数，n_j表示节点包含图像总数，矩阵的每一行表示第i张图像对从1到t个聚类中心节点的相关度权值；

步骤4：将无人机采集到的新的图像作为匹配图像ID，提取匹配图像ID的SIFT特征集合，计算匹配图像在聚类树中的权值向量q＝[w₁,w₂,...,w_t]，m_j为匹配图像特征在聚类中心节点F_j中出现的频数；

对匹配图像的q逐行计算与训练集图像的ID_i的2-范数，用快速排序算法得到距离排名前20的图像形成待匹配图像集合{ID_i}；

步骤5：对待匹配图像和匹配图像进行水平与竖直方向上降采样得到缩略图，在待匹配图像集{ID_i}与匹配图像ID的缩略图尺度下，利用SIFT特征构建KD-Tree，采用下式计算匹配图像与待匹配图像集合中的每个图像ID_i的FLANN最近邻特征：

当图像对的特征的最近邻距离与次近邻的距离小于固定阈值时，匹配图像能够与待匹配图像匹配，对匹配缩略图像的已匹配的特征分别进行k-means聚类，根据聚类类别对图像特征进行分块，利用下述规则得到匹配缩略图像上第i个聚类的图像块的四个方向的边界：

其中，x,y分别为第i个特征点的像素的位置，同时对待匹配缩略图像集合中的ID_i进行分块，并映射到原始图像的尺度下；

步骤6：对能够匹配的图像块在原始图像下构建KD-Tree子树，按照步骤5的方法计算匹配图像ID与待匹配集合{ID_i}每个元素间的特征匹配关系。

2.根据权利要求1所述的基于词汇树分块聚类的无人机航拍图像匹配的方法，其特征在所述的固定阈值为0.7。