CN110807828A - 一种倾斜摄影三维重建匹配方法 - Google Patents

Abstract

本发明涉及无人机倾斜摄影三维重建领域，公开了一种倾斜摄影三维重建匹配方法，包括提取图像位置与位姿特征分量；提取图像颜色特征分量；提取纹理特征分量；对3种分量进行标准化处理后组合得到融合特征向量；构造哈希函数对得到的融合特征向量进行映射；进一步计算欧氏距离后排序形成待匹配图像集合，之后的运动恢复结构过程中的单幅图像匹配对象从待匹配图像集合中选取。与现有技术相比，本发明融合无人机影像POS信息与颜色纹理信息，根据无人机图像特点对重建前图像进行聚类，避免了传统重建算法的全局匹配过程，在倾斜摄影图像三维重建中显著提高了效率，在提升重建效率的同时，本发明的重建密集点云能够保持良好的精度。

Description

一种倾斜摄影三维重建匹配方法

技术领域

本发明涉及无人机倾斜摄影三维重建技术领域，特别涉及一种倾斜摄影三维重建匹配方法。

背景技术

近年来，随着特征点检测和匹配算法、自标定算法、运动恢复结构重建算法(Structure from motion，SFM)以及多视图立体匹配算法(Multi-view stereopsis，MVS)等技术的不断进步和完善，基于图像的三维重建技术有了突飞猛进的发展，已广泛应用于林业资源调查、林分研究及立木三维重建。由于无人机的低空飞行特性使其具有视角灵活、时效性强等优势，利用无人机可以获取同一场景大量连续视角的无标定图像序列，同时结合SFM技术即可获取场景的三维信息。然而由于无人机获取图像分辨率高，重叠度大，在SFM处理过程中效率低下，为解决无人机序列影像三维重建的时效性问题，亟需新的解决方法。

SFM过程中的图像特征匹配和光束平差(BundlerAdjustment)是无人机序列图像三维重建过程中耗时最长的步骤，SFM三维重建框架下为尽可能多的恢复细节，其在计算序列图像的约束关联过程中采用了穷尽列举两两匹配的策略，可得其时间复杂度为O(n²)，O为图像数量，Shum H等分析指出在光束平差过程中时间复杂度达到了O(n⁴)。因此在高效的无人机序列图像三维重建过程中首要任务就是建立有效的图像匹配关系，去除冗余匹配计算。

为了提高处理效率，Snavely等采用基于特征的骨骼提取策略对影像进行分组重建，有效提高了重建的效率，但未充分考虑图像自身特征。Jared Heinly等提出了基于流的SFM重建计算框架，算法适用于大规模互联网图像三维重建，但同样未能将图像特征考虑在内。 Farenzena M等以距离的重叠为度量将图像集形成一个树，重建时遵循从树的叶子到根的顺序，该方法将整体重建问题分解为较小的实例，然后分别解决和组合，具有较低的计算复杂度，但存在小场景距离匹配冗余问题。AliAkbarpour等利用影像拍摄时间约束减少影像匹配的复杂度，采用连续帧到帧策略进行影像特征匹配，大大提高了匹配效率。KunSun等提出一种中心驱动的图像集划分方法，通过计算图像的重叠度来将图像聚类，并将图像关系引入三维重建，提升了三维重建效率，但未考虑图像其他特征。许志华等提出了一种基于GPS 信息的影像拓扑关系构建方法，将三维重建过程中的图像匹配限制在有拓扑关系的影像之间 --------------------- 进行，减小了匹配耗时，但未考相机位置相同，拍摄角度完全不同的情况。宋征玺等将图像分块后通过提取Sift特征构建图像KD-tree后再进行匹配，但其初次图像聚类仍采用Sift特征，聚类效率并不是很高。

针对上述问题，本发明结合无人机影像特点，提出了一种融合无人机影像POS信息与颜色纹理信息的重建匹配方法，根据无人机图像特点对重建前图像进行聚类，避免了传统重建算法的全局匹配过程。

发明内容

发明目的：针对现有技术中存在的问题，本发明结合无人机影像特点，提出了一种倾斜摄影三维重建匹配方法，融合无人机影像POS信息与颜色纹理信息，根据无人机图像特点对重建前图像进行聚类，避免了传统重建算法的全局匹配过程。

技术方案：本发明提供了一种倾斜摄影三维重建匹配方法，包括图像位置与位姿特征提取、颜色特征提取、纹理特征提取、特征融合和待匹配图像集合生成几个步骤，详细步骤如下：

S1对航拍序列图像提取GPS/IMU值，得到6维位置与位姿特征分量；

S2将航拍序列图像进行4×4分块提取颜色不变量分量的16维颜色特征分量；

S3对航拍序列图像进行8倍降采样处理，提取4方向32维纹理特征描述子；

S4对S1-S3中位置与位姿特征分量、颜色特征分量、纹理特征分量分别进行数据标准化处理后组合得到无人机序列图像54维融合特征向量；

S5构造L个函数，g_i(·)＝(h₁ ⁱ(·),h₂ ⁱ(·),···,h_k ⁱ(·))(i＝1,2,···,L)，其中，h₁(·),h₂(·),···,h_k(·) 是P-Stable分布LSH函数簇中独立随机选取的哈希函数；

S6将S4中无人机序列图像54维特征向量集分别利用LSH函数 g_i(v)＝(h₁ ⁱ(v),h₂ ⁱ(v),···,h_k ⁱ(v))进行映射，将相似度高的图像映射到一个哈希桶内；

S7对S6中哈希桶内向量逐一计算欧式距离，按照距离计算结果排序并取前k个构成待匹配图像集合；

S8根据哈希值计算查询图像与待匹配图像集合匹配关系，记录匹配关系并代入重建匹配运算过程。

进一步地，根据S7中每张图像存在k幅图像与之匹配，但存在待匹配图像总数小于k 的情况，在此情况下认为所有图像与当前图像匹配。

进一步地，所述S4中的标准化处理采用L²范数方法，对6维位置与位姿特征分量、16维颜色特征分量以及32维纹理特征分量进行标准化处理。

进一步地，所述S3中的4个方向为：设图像上两点间距离为d，两点连线与坐标轴的夹角为θ，取d＝1,θ{0°,45°,90°,135°}的4个方向。

进一步地，所述S5中P-Stable分布下LSH函数簇为：

式中，a为满足P-Stable分布的随机函数生成的d维向量，b是取值域为[0,w]的随机实数；即为将融合特征向量v映射到向量a上，同时用b来修正映射过程产生的偏差，再以w为间隔量化处理，这样就可以将相似的向量映射到相近的区间。

进一步地，所述S3中涉及的纹理特征包括相关性、熵、惯性矩、异质性、角二阶矩、逆差矩、均值和标准差工8个纹理特征。

有益效果：

1、本发明结合无人机影响特点，融合无人机印象POS信息与颜色纹理信息，根据无人机图像特点对重建前图像进行聚类，避免了传统重建算法的全局匹配过程，简化过程。

2、本发明在倾斜摄影图像三维重建中显著提高了效率，且本发明方法匹配过程较全局匹配算法有显著提升。

3、在提升重建效率的同时，本发明的重建密集点云能够保持良好的精度。

具体实施方式

本发明提出的一种倾斜摄影三维重建匹配方法主要包括图像位置与位姿特征提取、颜色特征提取、纹理特征提取、特征融合和待匹配图像集合生成几个步骤。

对于无人机序列图像聚类算法

无人机拍摄的序列图像具有±10米左右精度的位置信息，±5°左右的姿态信息，同时其航向重叠及旁向重叠较高，针对以上特点本发明图像聚类同时考虑图像位姿信息及自身特征，主要分为GPS/IMU特征提取、颜色特征提取、纹理特征提取、特征向量生成及聚类几个步骤。

1.1图像特征

(1)位置与姿态特征分量。

无人机的机载GPS/IMU系统在影像的曝光时刻记录影像形成时无人机的空间信息及姿态信息并写入EXIF文件。机载GPS/IMU系统输出影像位姿信息为C_i＝[R_i|t_i]，式中R_i是一个3阶旋转矩阵，t_i则是包含相机位置及姿态信息的三维空间向量。其中无人机飞控系统中得到的位姿信息为IMU本体坐标系相对于导航坐标系的偏航角、侧翻角及俯仰角(Φ,Θ,Ψ)，可以通过坐标变换确定像空间坐标系在地面测量坐标系中的外方位角元素(ψ,ω,κ)。无人机在地心地固坐标系下位置坐标向量可表示为G_r＝[x_r,y_r,z_r]，可与转换后的IMU信息组成图像位置与姿态向量分量。

(2)颜色特征分量。

颜色是图像的全局性特征，能够在图像分类过程中提供最为直观的区分信息。无人机图像具有丰富的颜色信息，所以本文采用颜色信息作为影像特征的一个分量，颜色有多种表达方式，本文根据Kubelka-Munk理论计算具有光照、旋转不变特征的颜色不变量作为衡量图像间颜色相似度分量。

根据Kubelka-Munk理论可知，非透明状态下物体的光谱辐射特性模型为：

其中：λ是光的波长；

表示成像平面位置，

为光谱强度；

代表

处的菲涅耳反射系数；

表示材料的反射率；

为观测处的反射谱。一般情况下，

仅与位置有关，改写

为

则式(1)变为：

上式分别求取λ的一阶导数和二阶导数，相除即可求得颜色不变量K：

从式(3)可以看出颜色不变量K值只与物体的反射率有关，采用线性变换及高斯颜色模型可得到符合CIE-1964-XYZ标准及人眼视觉特征下的RGB分量和(E,E_λ,E_λλ)的转换关系为：

构造颜色描述子过程为：首先根据图像尺寸将图像分割成4×4区域，然后分别统计4×4 区域内分布的特征点的颜色不变量K标准差，最后形成16维的颜色特征描述子： C＝[C₁,C₂,...C_i,...,C₁₆]。在相对应的含有m×n个像素点区域q中构造C_q，C_q可以被定义为如下形式：

其中：K(i,j)是区域q中第i行、第j列的颜色不变量，μ表示区域q中颜色不变量均值。

(3)纹理特征描述向量。

纹理是描述图像特征的一种重要信息，相关研究表明灰度共生矩阵(gray-levelco-occurrence matrix，GLCM)是图像纹理特征的一种非常有效的描述方法。GLCM采用不同位置之间的联合概率密度函数来表述图像纹理，能够同时反映同一亮度的整体分布特性和相近亮度的位置分布特性，是能够描述图像纹理的二阶统计特征。用f(x,y)表示一幅灰度级别为N_g、大小为M×N的二维数字图像，则该图像GLCM可表示为：

式中，F(i,j)是图像f(x,y)中符合{(x₁,y₁),(x₂,y₂)∈M×N|f(x₁,y₁)＝i,f(x₂,y₂)＝j}条件的点对数，进一步可知G为N_g阶方阵。设图像上两点(x₁,y₁)与(x₂,y₂)间距离为d，两点连线与坐标轴的夹角为θ，则可由d与θ计算得出GLCM各分量：G(i,j,d,θ)。

根据GLCM分量可以得到描述图像纹理的各种特征，在GLCM基础上可以定义14种图像纹理特征，本文选择了其中最常用的相关性(COR)、熵(ENT)、惯性矩(CON)、异质性(DIS)、角二阶矩(ASM)、逆差矩(HOM)、均值(u)、标准差(σ)等8种纹理特征参与图像间纹理相似度计算。

由于GLCM计算量较大，计算GLCM时，首先对无人机采集图像进行8倍降采样处理，取d＝1,θ{0°,45°,90°,135°}，计算得到4个方向上的GLCM，然后分别计算4个方向上的8个纹理特征值，得到可以描述图像纹理特征的32维向量。

(4)融合特征描述向量。

由于GPS/IMU特征，颜色特征与纹理特征量纲不同，为消除特征之间的量纲影响，便于融合特征描述子后期的比较和匹配等工作，需对三个描述子分量特征值进行标准化处理，本文采用L²范数方法对以上三组特征数据进行标准化处理。将向量X(X₁,X₂,...,X_n)的L²范数定义如下：

选择1作为数据标准化上限，则可根据下式建立x的映射x′：

可以得出：

1.2P-Stable局部敏感哈希图像聚类算法

对于高维向量的检索与聚类局部敏感哈希(Locality Sensitive Hashing，LSH)方法有着很好的表现。根据LSH特点，使用不同的哈希函数簇会产生不同的哈希效果。

如果在p≥0的条件下满足D上的n个随机变量X₁,X₂,…,X_n对n个实数a₁,a₂,…,a_n，随机变量

与

分布相同，那么即可定义D为P稳定分布。

根据P-Stable性质可知其可直接计算向量间的欧氏距离同时降低高维特征维度。具体为利用P-Stable分布的随机函数生成一个相互独立的随机向量a，对于54维的图像融合特征向量v，则可用a·v来估算||v||^p。

定义P-Stable分布下LSH的函数簇为：

式中，a为满足P-Stable分布的随机函数生成的d维向量，b是取值域为[0,w]的随机实数。具体为将融合特征向量v映射到向量a上，同时用b来修正映射过程产生的偏差，再以w为间隔量化处理，这样就可以将相似的向量映射到相近的区间。

设c＝||v₁-v₂||_p f_p(t)为数据集中两个任意向量v₁，v₂的P-Stable分布的概率密度函数绝对值，则|a·v₁-a·v₂|＜w可表示特征向量v₁和v₂向a的映射，即|a·(v₁-v₂)|＜w，进一步可得：

||v₁-v₂||_p X＝|cX|＜w (11)

由式(11)可得，v₁与v₂的碰撞概率为

由式(12)可知，在w不变的情况下，概率p_r(c)随c增大而减小。序列图像融合特征通过P-Stable分布LSH算法可得到一组降维后的哈希值，记为h₁,h₂,...,h_k存入哈希表中。

综上所述，无人机序列影像融合特征匹配算法流程：

Step 1对航拍序列图像提取GPS/IMU值，得到6维位置与位姿特征分量。

Step 2将图像进行4×4分块提取颜色不变量分量的16维颜色特征分量。

Step 3对图像进行8倍降采样处理提取4方向32维纹理特征描述子。

Step 4对上面3步形成的6维位置与位姿特征分量、16维颜色特征分量、32维纹理特征描述子数据标准化处理后组合得到无人机序列图像54维融合特征向量。

Step 5构造L个函数，g_i(·)＝(h₁ ⁱ(·),h₂ ⁱ(·),···,h_k ⁱ(·))(i＝1,2,···,L)，h₁(·),h₂(·),···,h_k(·)是 P-Stable分布LSH函数簇中独立随机选取的哈希函数，由上式(10)得出。

Step 6将无人机序列图像54维特征向量集分别利用LSH函数 g_i(v)＝(h₁ ⁱ(v),h₂ ⁱ(v),···,h_k ⁱ(v))进行映射，将相似度高的图像映射到一个哈希桶内。

Step 7对哈希桶内向量逐一计算欧式距离，按照距离计算结果排序并取前k个构成待匹配图像集合。

Step 8根据哈希值计算查询图像与待匹配图像集合匹配关系，记录匹配关系并代入重建匹配运算过程。

其中，根据算法每张图像存在k幅图像与之匹配，但存在待匹配图像总数小于k的情况，在此情况下认为所有图像与当前图像匹配。

上述实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种倾斜摄影三维重建匹配方法，其特征在于，包括图像位置与位姿特征提取、颜色特征提取、纹理特征提取、特征融合和待匹配图像集合生成几个步骤，详细步骤如下：

S1对航拍序列图像提取GPS/IMU值，得到6维位置与位姿特征分量；

S2将航拍序列图像进行4×4分块提取颜色不变量分量的16维颜色特征分量；

S3对航拍序列图像进行8倍降采样处理，提取4方向32维纹理特征描述子；

S4对S1-S3中位置与位姿特征分量、颜色特征分量、纹理特征分量分别进行数据标准化处理后组合得到无人机序列图像54维融合特征向量；

S5构造L个函数，g_i(·)＝(h₁ ⁱ(·),h₂ ⁱ(·),···,h_k ⁱ(·))(i＝1,2,···,L)，其中，h₁(·),h₂(·),···,h_k(·)是P-Stable分布LSH函数簇中独立随机选取的哈希函数；

S6将S4中无人机序列图像54维特征向量集分别利用LSH函数g_i(v)＝(h₁ ⁱ(v),h₂ ⁱ(v),···,h_k ⁱ(v))进行映射，将相似度高的图像映射到一个哈希桶内；

S7对S6中哈希桶内向量逐一计算欧式距离，按照距离计算结果排序并取前k个构成待匹配图像集合；

S8根据哈希值计算查询图像与待匹配图像集合匹配关系，记录匹配关系并代入重建匹配运算过程。

2.根据权利要求1所述的一种倾斜摄影三维重建匹配方法，其特征在于，根据S7中每张图像存在k幅图像与之匹配，但存在待匹配图像总数小于k的情况，在此情况下认为所有图像与当前图像匹配。

3.根据权利要求1所述的一种倾斜摄影三维重建匹配方法，其特征在于，所述S4中的标准化处理采用L²范数方法，对6维位置与位姿特征分量、16维颜色特征分量以及32维纹理特征分量进行标准化处理。

4.根据权利要求1所述的一种倾斜摄影三维重建匹配方法，其特征在于，所述S3中的4个方向为：设图像上两点间距离为d，两点连线与坐标轴的夹角为θ，取d＝1,θ{0°,45°,90°,135°}的4个方向。

5.根据权利要求1所述的一种倾斜摄影三维重建匹配方法，其特征在于，所述S5中P-Stable分布下LSH函数簇为：

式中，a为满足P-Stable分布的随机函数生成的d维向量，b是取值域为[0,w]的随机实数；即为将融合特征向量v映射到向量a上，同时用b来修正映射过程产生的偏差，再以w为间隔量化处理，这样就可以将相似的向量映射到相近的区间。

6.根据权利要求1所述的一种倾斜摄影三维重建匹配方法，其特征在于，所述S3中涉及的纹理特征包括相关性、熵、惯性矩、异质性、角二阶矩、逆差矩、均值和标准差工8个纹理特征。