CN111144239B - 一种利用词汇树引导的无人机倾斜影像特征匹配方法 - Google Patents

Abstract

一种利用词汇树引导的无人机倾斜影像特征匹配方法，包括利用UAV影像构建词汇树，UAV影像特征提取，UAV影像特征选择，利用K‑means聚类算法构建词汇树；基于词汇树建立UAV影像索引；利用词汇树引导UAV影像匹配，引导UAV影像匹配对选择；约束UAV影像候选匹配点；UAV影像匹配。本发明针对无人机倾斜影像特征匹配困难的问题，设计了一种基于词汇树引导匹配对选择和特征匹配的思路，用于实现匹配对选择和约束特征匹配的候选点，提高影像匹配的成功率。

Description

一种利用词汇树引导的无人机倾斜影像特征匹配方法

技术领域

本发明属于数字摄影测量与遥感技术领域，尤其涉及一种利用词汇树引导的无人机倾斜影像特征匹配方法。

背景技术

无人机(Unmanned Aerial Vehicle,UAV)具备经济成本低、操作简单、携带便捷，以及高效获取高分辨率影像的特点，已成为一种常用数据采集平台。无人机已在工程监测、城市管理、灾害应急等领域得到了广泛的应用。同时，无人机平台与倾斜摄影技术结合，具备获取目标顶面和立面信息的优势。

尽管无人机倾斜摄影具备上述技术优势和广泛应用领域，但是无人机影像的后续处理是保证成功应用的关键。由于有限的载荷能力和高昂的设备成本，UAV平台没有搭载高精度的专业定位和定向传感器。影像定向是数据处理环节必不可少的步骤。其中，连接点提取和匹配是影像定向的关键环节。相比传统的竖直航空摄影，无人机倾斜摄影具有两个比较明显的差异：其一，对于同样大小的测量区域，无人机影像地面覆盖区域小，导致影像数量显著增加；其二，由于搭载非量测数码相机，并采用较大的安装角进行摄影，无人机倾斜影像存在较大的辐射和几何畸变，以及尺度差异。对于第一个特点，如何选择具有空间重叠的影像匹配对是关键。因为无空间重叠区域的影像匹配不仅增加影像匹配的时间消耗，而且会引入很多错误匹配。对于第二个特点，常规的基于全局搜索的影像匹配方法往往剔除过多的正确匹配点，并且会引入很多错误匹配。因此，无人机倾斜影像的上述特点将增加影像匹配难度，导致无法提取足够数量的匹配点或者匹配点中包含较多的粗差，无法用于后续影像定向。为此，本发明设计了一种基于词汇树引导匹配对选择和特征匹配的思路，用于实现匹配对选择和约束特征匹配的候选点，提高影像匹配的成功率。

综上所述，为了实现无人机倾斜摄影影像的实际应用，影像可靠连接点提取是无人机影像数据处理环节的关键问题。因此，本发明所涉及的相关技术具有实际的应用价值。

发明内容

本发明提出了一种利用词汇树引导的无人机倾斜影像特征匹配方法。

本发明提出的一种利用词汇树引导的无人机倾斜影像特征匹配方法，包括以下步骤：

S1：利用无人机UAV影像构建词汇树，具体如下：

S11：利用SIFT算法对UAV影像进行特征点提取；

S12：UAV影像特征选择，即采用随机采样策略选择UAV影像集，从原始数据集中选择一个比例p的影像集X＝{x_i},i＝1,2…,n，0＜p≤1,n为影像的总数，x_i表示第i个影像；然后，采用尺度约束策略分别对每个影像x_i选择特征子集P＝{p_i},i＝1,2…,h，即对于每个影像x_i，将S11中提取的特征点按照尺度因子从大到小排列，选择前面h个特征点，影像集X中所有选择的特征构成训练特征，所述训练特征包括n个影像，每个影像包含h个特征点，h为预设值；

S13：对于步骤S12中选择的训练特征，采用分层K-means聚类算法构建词汇树W＝{w_i},i＝1,2,...,v，w表示单词，v表示单词总个数；

S2：基于词汇树建立UAV影像索引，UAV影像索引的本质就是利用单词对UAV影像进行描述，得到每张影像对应的词频向量，即利用S1生成的词汇树W＝{w_i},i＝1,2,...,v，UAV影像采用一个v维向量v_d＝(t₁,…,t_i…,t_v)进行描述,向量v_d中的元素t_i表示单词w_i在id号为d的影像中出现的加权频率，即

其中，n_id表示单词w_i在id号为d的影像中的频数；n_d表示id号为d的影像包含的总词汇数；N_i是包含单词w_i的影像数；N表示UAV影像的总数；

UAV影像索引建立步骤具体如下：

S21：利用KDTree算法建立单词集合W的最近邻查找索引T_W；

S22：对于id号为d的影像的每个特征点p_i，从索引T_W中搜索特征点最近邻单词w_j，将搜索到的特征点最近邻单词w_j记录到倒排索引结构，倒排索引采用“单词-文档”的结构建立单词与文档之间的索引关系，即在单词w_j对应的倒排文件列表中增加一条记录(d,i)；

S23：按照步骤S22处理所有影像，即实现了基于词汇树的UAV影像索引的构建；

S3：基于词汇树构建的UAV影像索引，引导UAV影像匹配，具体如下：

S31：引导UAV影像匹配对选择具有空间重叠的影像对，避免无重叠影像对匹配导致的时间消耗和错误匹配；

S32：利用词汇树构建的“单词-文档”索引关系，约束UAV影像候选匹配点，将候选匹配点限定在一个更小的集合内部；

S33：将经过上述S31得到的影像匹配对和S32得到的候选匹配点后进行UAV影像匹配。

进一步地，所述S13中对于训练特征，词汇树的构建步骤如下：

S131：利用K-means聚类算法确定训练特征的K个初始聚类中心；

S132：根据最近距离测度，将输入的特征子集合划分为K个子集，构成词汇树的第一层，其中根节点为第零层；

S133：对每个子集进行迭代的聚类操作，直到词汇树的层数或者叶子节点数达到给定的阈值256*256；那么，词汇树的叶子节点就构成了用于影像描述的单词集合W＝{w_i},i＝1,2,...,v；其中w_i表示第i个单词，v表示单词总个数。

进一步地，所述S31中采用影像检索技术进行影像匹配对选择，基于S2建立的UAV影像索引结构，可以得到任意两张影像x_i和x_j的加权词频向量v_di和v_dj,那么，影像x_i和x_j的相似性采用词频向量v_di和v_dj的夹角余弦值进行量化，即得到影像x_i和x_j的相似性值,依此步骤，可以得到影像x_i与其他所有影像的相似性值,那么，影像x_i的匹配对选择就是选择与其相似性值最高的T个影像，构成影像匹配对M_i＝{(x_i,x_j)},j＝1,2,…T，T为预设值。

进一步地，所述S32中约束UAV影像候选匹配点的具体方法如下：

S321：对词频向量v_di和v_dj求与运算，得到一个V维标识向量f_ij；

S322：对于标识向量f_ij中任一取值为1，索引为k的元素，从单词w_k的倒排文件中查找影像i_i和i_j的所有特征点，得到P_ki和P_kj；

S323：按照步骤S322处理标识向量f_ij的所有取值为1的元素，得到影像匹配对(x_i,x_j)的候选匹配点集合列表C_ij＝{(P_ki,P_kj)}。

进一步地，所述S33进行UAV影像匹配步骤如下：

S331：对于UAV影像匹配对(x_i,x_j)，遍历C_ij的每一个候选匹配点集合(P_ki,P_kj)；

S332：对于P_ki中任一特征点p_ki，从P_kj中搜索与其欧式距离最近的两个特征点p_kj1和p_kj2，如果最近特征p_kj1和次近特征p_kj2的距离比值小于给定阈值T_d，那么保留当前匹配点(p_ki,p_kj1)；

S333：重复S332，得到影像匹配对(x_i,x_j)的初始匹配结果；

S334：基于RANSAC算法的基本矩阵估计，利用影像匹配对的几何约束优化初始匹配结果，得到最终的匹配点。

本发明提供的技术方案带来的有益效果是：提高影像匹配的成功率。

附图说明

图1为本发明一种利用词汇树引导的无人机倾斜影像特征匹配方法利用词汇树引导UAV影像匹配流程图；

图2为本发明一种利用词汇树引导的无人机倾斜影像特征匹配方法的流程图；

图3为本发明一种利用词汇树引导的无人机倾斜影像特征匹配方法构建词汇树流程图；

图4为本发明一种利用词汇树引导的无人机倾斜影像特征匹配方法倒排索引结果示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细描述。

参见图2，本发明的实施例包括四个步骤：

S1：利用无人机UAV影像构建词汇树，参见图3，具体如下：

S11：利用SIFT算法对UAV影像进行特征点提取；

S12：UAV影像特征选择，即采用随机采样策略选择UAV影像集，从原始数据集中选择一个比例p的影像集X＝{x_i},i＝1,2…,n，0＜p≤1,本实施例中数量比例p的取值为20％，n为影像的总数，x_i表示第i个影像；然后，采用尺度约束策略分别对每个影像x_i选择特征子集P＝{p_i},i＝1,2…,h，即对于每个影像x_i，将S11中提取的特征点按照尺度因子从大到小排列，选择前面h个特征点，影像集X中所有选择的特征构成训练特征，所述训练特征包括n个影像，每个影像包含h个特征点，经过试验分析，本发明中特征数量h的取值为1500；

S13：对于步骤S12中选择的训练特征，采用分层K-means聚类算法构建词汇树W＝{w_i},i＝1,2,...,v，具体步骤如下；

S131：利用K-means聚类算法确定训练特征的K个初始聚类中心，K表示词汇树的分支数；

S132：根据最近距离测度，将输入的特征子集合划分为K个子集，构成词汇树的第一层，其中根节点为第零层；

S133：对每个子集进行迭代的聚类操作，直到词汇树的层数或者叶子节点数达到给定的阈值256*256；那么，词汇树的叶子节点就构成了用于影像描述的单词集合W＝{w_i},i＝1,2,...,v；其中w_i表示第i个单词，v表示单词总个数。

S2：基于词汇树建立UAV影像索引，UAV影像索引的本质就是利用单词对UAV影像进行描述，得到每张影像对应的词频向量，即利用S1生成的词汇树W＝{w_i},i＝1,2,...,v，UAV影像采用一个v维向量v_d＝(t₁,…,t_i…,t_v)进行描述,向量v_d中的元素t_i表示单词w_i在id号为d的影像中出现的加权频率，即

其中，n_id表示单词w_i在id号为d的影像中的频数；n_d表示id号为d的影像包含的总词汇数；N_i是包含单词w_i的影像数；N表示UAV影像的总数；

UAV影像索引建立步骤具体如下：

S21：利用KDTree算法建立单词集合W的最近邻查找索引T_W；

S22：对于id号为d的影像的每个特征点p_i，从索引T_W中搜索特征点最近邻单词w_j，将搜索到的特征点最近邻单词w_j记录到倒排索引结构，倒排索引采用“单词-文档”的结构建立单词与文档之间的索引关系，即在单词w_j对应的倒排文件列表中增加一条记录(d,i)；其结构如图4所示，对于每个单词w_i，倒排索引维护一个倒排文件(InvertedFile)列表，包含所有与单词w_i关联的影像索引和特征索引，

S23：按照步骤S22处理所有影像，即实现了基于词汇树的UAV影像索引的构建；

S3：基于词汇树构建的UAV影像索引，引导UAV影像匹配，参见图1，具体如下：

S31：引导UAV影像匹配对选择具有空间重叠的影像对，避免无重叠影像对匹配导致的时间消耗和错误匹配，具体如下：

采用影像检索技术进行影像匹配对选择，其基本思路是具有空间重叠的影像对相似性高；反之，其相似性就较低，基于S2建立的UAV影像索引结构，可以得到任意两张影像x_i和x_j的加权词频向量v_di和v_dj,那么，影像x_i和x_j的相似性采用词频向量v_di和v_dj的夹角余弦值进行量化，即得到影像x_i和x_j的相似性值,依此步骤，可以得到影像x_i与其他所有影像的相似性值,那么，影像x_i的匹配对选择就是选择与其相似性值最高的T个影像，构成影像匹配对M_i＝{(x_i,x_j)},j＝1,2,…T，T为预设值；

S32：利用词汇树构建的“单词-文档”索引关系，约束UAV影像候选匹配点，将候选匹配点限定在一个更小的集合内部，具体如下：

S321：对词频向量v_di和v_dj求与运算，得到一个V维标识向量f_ij，其元素取值为0或1，其中，0表示对应单词在其中一张影像的词频为0，即不包含该单词；1表示对应单词同时出现在两张影像；

S322：对于标识向量f_ij中任一取值为1，索引为k的元素，从单词w_k的倒排文件中查找影像i_i和i_j的所有特征点，得到P_ki和P_kj；

S323：按照步骤S322处理标识向量f_ij的所有取值为1的元素，得到影像匹配对(x_i,x_j)的候选匹配点集合列表C_ij＝{(P_ki,P_kj)}。

S33：将经过上述S31得到的影像匹配对和S32得到的候选匹配点后进行UAV影像匹配，步骤如下：

S331：对于UAV影像匹配对(x_i,x_j)，遍历C_ij的每一个候选匹配点集合(P_ki,P_kj)；

S332：对于P_ki中任一特征点p_ki，从P_kj中搜索与其欧式距离最近的两个特征点p_kj1和p_kj2，如果最近特征p_kj1和次近特征p_kj2的距离比值小于给定阈值T_d，那么保留当前匹配点(p_ki,p_kj1)；

S333：重复S332，得到影像匹配对(x_i,x_j)的初始匹配结果；

S334：基于RANSAC算法的基本矩阵估计，利用影像匹配对的几何约束优化初始匹配结果，得到最终的匹配点。

Claims (3)

1.一种利用词汇树引导的无人机倾斜影像特征匹配方法，其特征在于，包括以下步骤：

S1：利用无人机UAV影像构建词汇树，具体如下：

S11：利用SIFT算法对UAV影像进行特征点提取；

S12：UAV影像特征选择，即采用随机采样策略选择UAV影像集，从原始数据集中选择一个比例p的影像集X＝{x_i},i＝1,2…,n，0＜p≤1,n为影像的总数，x_i表示第i个影像；然后，采用尺度约束策略分别对每个影像x_i选择特征子集P＝{p_i},i＝1,2…,h，即对于每个影像x_i，将S11中提取的特征点按照尺度因子从大到小排列，选择前面h个特征点，影像集X中所有选择的特征构成训练特征，所述训练特征包括n个影像，每个影像包含h个特征点，h为预设值；

S13：对于步骤S12中选择的训练特征，采用分层K-means聚类算法构建词汇树W＝{w_i},i＝1,2,...,v，w表示单词，v表示单词总个数；

S2：基于词汇树建立UAV影像索引，UAV影像索引的本质就是利用单词对UAV影像进行描述，得到每张影像对应的词频向量，即利用S1生成的词汇树W＝{w_i},i＝1,2,...,v，UAV影像采用一个v维向量v_d＝(t₁,…,t_i…,t_v)进行描述,向量v_d中的元素t_i表示单词w_i在id号为d的影像中出现的加权频率，即

其中，n_id表示单词w_i在id号为d的影像中的频数；n_d表示id号为d的影像包含的总词汇数；N_i是包含单词w_i的影像数；N表示UAV影像的总数；

UAV影像索引建立步骤具体如下：

S21：利用KDTree算法建立单词集合W的最近邻查找索引T_W；

S22：对于id号为d的影像的每个特征点p_i，从索引T_W中搜索特征点最近邻单词w_j，将搜索到的特征点最近邻单词w_j记录到倒排索引结构，倒排索引采用“单词-文档”的结构建立单词与文档之间的索引关系，即在单词w_j对应的倒排文件列表中增加一条记录(d,i)；

S23：按照步骤S22处理所有影像，即实现了基于词汇树的UAV影像索引的构建；

S3：基于词汇树构建的UAV影像索引，引导UAV影像匹配，具体如下：

S31：引导UAV影像匹配对选择具有空间重叠的影像对，避免无重叠影像对匹配导致的时间消耗和错误匹配；

S32：利用词汇树构建的“单词-文档”索引关系，约束UAV影像候选匹配点，将候选匹配点限定在一个更小的集合内部；

所述S32中约束UAV影像候选匹配点的具体方法如下：

S321：对词频向量v_di和v_dj求与运算，得到一个V维标识向量f_ij；

S322：对于标识向量f_ij中任一取值为1，索引为k的元素，从单词w_k的倒排文件中查找影像i_i和i_j的所有特征点，得到P_ki和P_kj；

S323：按照步骤S322处理标识向量f_ij的所有取值为1的元素，得到影像匹配对(x_i,x_j)的候选匹配点集合列表C_ij＝{(P_ki,P_kj)}；

S33：将经过上述S31得到的影像匹配对和S32得到的候选匹配点后进行UAV影像匹配；

所述S33进行UAV影像匹配步骤如下：

S331：对于UAV影像匹配对(x_i,x_j)，遍历C_ij的每一个候选匹配点集合(P_ki,P_kj)；

S332：对于P_ki中任一特征点p_ki，从P_kj中搜索与其欧式距离最近的两个特征点p_kj1和p_kj2，如果最近特征p_kj1和次近特征p_kj2的距离比值小于给定阈值T_d，那么保留当前匹配点(p_ki,p_kj1)；

S333：重复S332，得到影像匹配对(x_i,x_j)的初始匹配结果；

S334：基于RANSAC算法的基本矩阵估计，利用影像匹配对的几何约束优化初始匹配结果，得到最终的匹配点。

2.根据权利要求1所述的一种利用词汇树引导的无人机倾斜影像特征匹配方法，其特征在于，所述S13中对于训练特征，词汇树的构建步骤如下：

S131：利用K-means聚类算法确定训练特征的K个初始聚类中心；

S132：根据最近距离测度，将输入的特征子集合划分为K个子集，构成词汇树的第一层，其中根节点为第零层；

S133：对每个子集进行迭代的聚类操作，直到词汇树的层数或者叶子节点数达到给定的阈值256*256；那么，词汇树的叶子节点就构成了用于影像描述的单词集合W＝{w_i},i＝1,2,...,v；其中w_i表示第i个单词，v表示单词总个数。

3.根据权利要求1所述一种利用词汇树引导的无人机倾斜影像特征匹配方法，其特征在于，所述S31中采用影像检索技术进行影像匹配对选择，基于S2建立的UAV影像索引结构，可以得到任意两张影像x_i和x_j的加权词频向量v_di和v_dj,那么，影像x_i和x_j的相似性采用词频向量v_di和v_dj的夹角余弦值进行量化，即得到影像x_i和x_j的相似性值,依此步骤，可以得到影像x_i与其他所有影像的相似性值,那么，影像x_i的匹配对选择就是选择与其相似性值最高的T个影像，构成影像匹配对M_i＝{(x_i,x_j)},j＝1,2,…T，T为预设值。

Images