CN112163622A - 全局与局部融合约束的航空宽基线立体像对线段特征匹配方法 - Google Patents

Abstract

针对宽基线摄影过程中各影像视点的位置与姿态发生较大变化导致给线段特征提取及匹配工作增添的难度，本发明提供一种全局与局部融合约束的航空宽基线立体像对线段特征匹配方法，以立体匹配同名像点及线段特征检测算法为研究基础，以线段特征提取、描述及立体匹配为研究主线，以全局与局部多层次互补信息融合约束为研究思路，包括提取顾及全局与局部的高质量线段特征、构建顾及全局与局部的互补描述符及匹配测度、全局与局部信息融合约束的线段特征多层次迭代匹配三个步骤，来提高获得精确的线段特征匹配率，促进宽基线摄影测量理论体系的完善与发展。

Description

全局与局部融合约束的航空宽基线立体像对线段特征匹配 方法

技术领域

本发明涉及摄影测量与遥感中数字图像处理相关技术领域，具体的说是一种全局与局部融合约束的航空宽基线立体像对线段特征匹配方法。

背景技术

近年来，随着全球信息化进程的加快，数字区域乃至智慧区域建设方兴未艾，同时人们对三维建模的精细、逼真以及现势性等需求日益提高，推动了大倾角航空摄影测量技术的发展与应用。航空倾斜摄影测量能够从不同角度获取地面场景高分辨率影像，不仅能够为真三维立体重建提供丰富的纹理、光谱、形状及上下文等信息，还具有良好的空间几何构形条件及重构精度优势。目前的三维重建技术已较为成熟，而大倾角立体像对中的同名特征线仍然依赖人工来批量采集，费时费力，并且量测精度受作业人员技术水平的限制。总之，航空倾斜摄影影像的自动处理与分析，特别是关于同名线段特征自动与可靠的匹配，一直是该技术发展与应用中的瓶颈问题，同时亦成为当今数字摄影测量与计算机视觉界亟需攻关的重难点问题之一。

众所周知，地球表面无论是地物(如建筑、农田等)，还是地貌(如河流、山脊等)，都蕴含着丰富的线状结构，可以说，线特征是人类视觉信息中最显著、直观、代表性的特征。摄影成像后，线特征往往以轮廓或边界样式广泛存在于影像中，无论对场景整体还是局部结构均具有良好的语义描述性能，与点特征相比，它能以较少的特征数量表达较丰富、直观的信息，而且受遮挡的影响较小，因为即使线段部分被遮挡，可见部分仍可提供足够信息来实现三维重建；与区域特征相比，它的计算复杂度相对较低，更容易被提取与描述。因此，线段特征是一种基础特征、代表特征和关键特征，对于此类特征的立体匹配具有重要的实际应用价值。

然而，相比于正直摄影，大倾角摄影过程中各影像视点的位置与姿态发生较大变化，给线段特征提取及匹配工作增添了更多的不确定性因素，究其具体困难原因可归纳如下：(1)大倾角摄影所获得立体像对，受诸如目标遮挡、几何与光照变化等因素影响，很容易出现特征线段提取断裂、不完整、过提取或虚假提取等问题，导致同名特征线提取重复度较低；(2)同名特征线及其邻域存在较大的几何与辐射畸变，即左右影像中所对应特征线的长度、倾角及其邻域亮度均发生显著差异，直接利用几何关系、亮度相关、距离比率等相似测度来判别同名特征线的成功率较低；(3)线段特征一般位于场景轮廓或边界上，对于往往包含复杂三维地形的航空影像，线特征两边景深变化显著，即所处邻域存在较大的视差突变，造成全局统一的单应变换失效，从而缺乏严格和有效的几何关系来约束匹配。在上述因素综合影响下，使得线段特征匹配变得尤为复杂和困难，很容易出现“一配零”、“一配多”甚至是“多配多”的错误匹配情况。

近年来，研究人员对线特征匹配进行研究，提出多种线特征匹配的方法，但这些方法存在的问题如下：

(1)基于稀疏表达与几何构型约束的线段特征匹配方法，该方法利用SIFT与分层梯度方位直方图(Pyramid Histogram of Oriented Gradients,PHOG)联合描述待匹配线段及其邻域，继而根据相关系数峰值来确定同名线段，提高了线段特征匹配成功率，但对稀少纹理影像的效果不好。

(2)针对高分辨率稀少纹理影像，有学者提出一种仿射不变线段特征匹配算法，该方法采用了直线分类分阶段匹配思想，即首先利用仿射不变性实现显著性线段特征的匹配，在此基础根据空间邻近性原则把其余线特征划分到已匹配特征中，最终完成了所有线段特征的匹配判别，但该算法的可靠性依赖于初始特征匹配。

(3)基于物体空间拓扑结构进行影像线特征匹配，该方法利用物体的结构点及平面交线建立拓扑关联图，然后通过基匹配、匹配传递等环节实现同名直线的匹配，然而该方法受限于视角变化导致的投影变形。

(4)还有一种基于特征编组的直线立体匹配算法，该方法在预匹配阶段采用核线几何与灰度相似约束，在匹配阶段引入了特征编组、整数规划以及分支定限思想，以从全局及整体角度求取最优匹配，该方法为直线匹配中出现的“一配多”、“多配多”难题探索了一种可行的途径，但算法的计算复杂度尚待优化

综上，对于全局与局部的航空大倾角立体影像，线段特征匹配仍然是难点问题。

发明内容

为了解决上述问题，使大倾角摄影中的线特征匹配更为准确，减少光照、遮挡物等环境问题影响，削弱几何畸变、视察突变等计算方法带来的误差，从而提高线特征匹配精度，提出以下技术方案。

全局与局部融合约束的航空宽基线立体像对线段特征匹配方法，至少包括步骤：

1)顾及全局与局部的高质量线段特征提取

S1.顾及影像全局的优化提取：

采用LSD作为线段特征检测子，并通过左右影像的亮度均值及均方根联合改正立体像对的亮度畸变，采用图像分块策略和双重阈值控制方法均匀提取线段。

S2.顾及局部区域的线段优化：

同样采用LSD算子作为线段特征检测子，结合几何尺度约束、梯度分布检验假设，通过牛顿-拉普逊迭代优化方法定位线段，得到待匹配线段特征。

2)顾及全局与局部的互补描述符及匹配测度构建

S3.立体像对几何对应估计：

融合MSER与Harris&Hessian Affine的互补不变特征，并采用顾及匹配点空间分布的RANSAC算法及多层次自适应特征匹配策略，增加40％-60％的特征匹配数量，且消除95％-100％的离群点，通过LSM方法针对大倾角高分辨率立体像对精化同名像点定位精度，针对三维场景复杂的大倾角立体影像，进一步采用核线驱动及自适应匹配传播策略，把互补匹配点由单平面场景匹配传播到多平面场景中，在此基础上，再增加宽基线立体像对精确几何对应估计，至少包括：

①采用最小平方中值算法来估计影像全局核线几何关系矩阵；

②根据搜索待匹配线段邻域阈值范围至少三对同名像点来估计线段邻域局部单应变换矩阵；

S4.综合描述符提取：

通过基于立体像对几何对应估计，对已提取的线段特征建立线段拓扑距离描述符D、线段拓扑方位描述符θ以及线段最优支持域的梯度描述符G，并在进一步融合该三类描述符基础上，构建顾及影像全局与局部信息的综合互补描述符f。

3)全局与局部信息融合约束的线段特征多层次迭代匹配

S5.鲁棒匹配测度模型构建:

基于综合互补描述符f，分别计算待匹配线段的距离描述符D₁与候选匹配线段的距离描述符D′₁、待匹配线段的拓扑方位描述符θ₁与候选匹配线段的拓扑方位描述符θ′₁、待匹配线段的最优支持域的梯度描述符G₁与候选匹配线段的最优支持域的梯度描述符G′₁的欧氏距离，对应结果分别记为ε_D、ε_θ和ε_G；在此基础上，构建一种互补集成的匹配测度评价模型如下式所示：

ρ＝e^-εDe^-εΘe^-εG

其中，e为自然底数，匹配测度值ρ∈[0,1]，容易看出，同名线段的相似度正比于ρ值。

S6.多约束互补匹配测度的自适应迭代优化匹配：

先在同名像点约束下，基于分水岭变换的图像分割把待匹配线段划分为视差平滑区域的线段特征、视差突变区域的线段特征两类，第一类线段特征匹配采用的方法为：根据线段邻域匹配点估计得到全局单应变换模型，并采用全局与局部的多重约束关系缩小匹配线段的搜索空间；视差突变区域的线段特征约束匹配采用方法为：取已知最近匹配点的邻域几何变换关系作为线段局部单应，在此引导下进行多重互补约束匹配；

针对不同类型区域的线段合理采用不同的匹配阈值，以识别不同区域的同名线段，判断同名线段数目是否增加，如果成立，则根据已匹配线段的邻域类型及拓扑关系对未匹配线段重新进行分类；经过多次循环迭代，直至同名线段数目不再增加，退出此循环。

S7.多约束双向线段特征拓扑关系匹配及加权拟合定位：

在同名点、同名线邻域以及核线几何多重约束下，对待匹配线段中的离散点进行K-d树加速的拓扑关系双向搜索匹配，并对匹配结果进行最小二乘高斯加权曲面拟合，以此获得精确的同名线段。

优选的，步骤S5的匹配测度值ρ的阈值ρ_T取值为0.65。

优选的，步骤S6所述全局与局部的多重约束关系为核线关系约束或视差置信度。

与现有技术相比，本发明的有益效果如下：

针对存在高畸变、视差突变及遮挡问题的航空大倾角立体影像，在无需任何先验知识条件下，研究提出一种融合影像全局与局部信息的线段特征自动优化匹配算法，该方法为大倾角立体影像的线段特征的自动匹配提供了一种可行的思路，并为下一步多源新型数据的融合处理及分析奠定实验与方法基础。

具体包含：

(1)提出顾及影像全局与局部信息的线段特征鲁棒提取方法，以保障线段特征提取的准确性、完整性及重复度；

(2)基于互补仿射不变特征匹配、立体像对几何对应估计及线段最优支持域提取基础上，提出多类型描述符及匹配测度集成构建策略，以保障线段特征描述与评判的精准性、区分性以及全面性；

(3)基于全局与局部信息约束及线段特征分类匹配思想引导下，提出线段特征自适应迭代优化匹配策略，以保障线段特征匹配的可靠性、多量性以及最优性。

附图说明

图1为本发明所述方法流程示意图；

图2为顾及全局与局部的高质量线段特征提取流程图；

图3为顾及全局与局部的互补描述符及匹配测度构建流程图；

图4为基于几何尺度约束的线段融合连接示意图；

图5为线段支持域几何变形改正与提取策略流程图；

图6为线段支持域几何变形改正及提取示意图；

图7为基于全局与局部约束及互补匹配测度自适应迭代优化匹配流程图。

具体实施方式：

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种全局与局部融合约束的航空宽基线立体像对线段特征匹配方法，总体技术路线如图1所示，具体实施方式分为以下步骤：

1)顾及全局与局部的高质量线段特征提取

S1.顾及影像全局的优化提取：

采用LSD作为线段特征检测子，并进行基于均值与均方根的亮度畸变改正，分别计算左右影像各自的亮度均值与均方根值，通过均值与均方根求取亮度空间变换参数，继而利用傅里叶变换快速实现立体像对的亮度一致性，通过左右影像的亮度均值及均方根联合改正立体像对的亮度畸变；再按一定像素大小把影像依次划分为若干子区域，相邻子区域之间保持一定的重叠度，然后，在图像信息熵与特征数目的双阈值控制下分别在各个子区域内进行自适应线段提取，提高特征分布均匀性，待子区域遍历完毕后，把重叠区域的重复特征剔除。采用图像分块策略和双重阈值控制方法均匀提取线段。

S2.顾及局部区域的线段优化：

同样采用LSD算子作为线段特征检测子，结合几何尺度约束与梯度分布检验假设进行线段优化，首先，采用端点距离d₁、侧向距离d₂以及线段方位差θ等多重几何约束的方法(如图4所示，具体构建方式参见步骤S4所述)，搜索当前线段邻域符合条件的线段作为候选融合连接对象；接着，统计候选连接区域的梯度分布，并采用自适应显著水平的t假设检验法来判断当前候选线段是否连接，其中所需的显著水平根据候选连接区域的光谱纹理信息来自适应确定；然后，剔除长度小于D_T(单位为像素，拟取值为影像大小的4％)不稳定线段特征；

通过牛顿-拉普逊迭代优化方法定位线段，根据线段最近邻域梯度大小来构建线段上离散采样点的加权概率密度函数，然后基于该概率密度函数拟合得到线段的像素坐标，继而作为迭代初值，采用牛顿-拉普逊迭代方法来求取各采样点的整体最优解，最终实现线段的定位精度优化。

2)顾及全局与局部的互补描述符及匹配测度构建

S3.立体像对几何对应估计：

采用对离群点鲁棒性较好的最小平方中值(Least Median of Square,LMS)算法来估计全局核线几何关系矩阵F；搜索判断待匹配线段邻域给定阈值范围内是否满足至少三对同名像点，根据这些同名像点来估计仿射变换参数作为当前线段邻域单应几何估计H。

S4.综合描述符提取：

构建线段拓扑距离描述符D：

搜索得到待匹配线段l的最近邻匹配点X₁及次近邻匹配点X₂，X₁和X₂到l的垂足分别为O₁和O₂，X₁到O₁的距离记为d₁，X₂到O₂的距离记为d₂，则l的拓扑距离描述符D＝[d₁ d₂]；X₁和X₂的对应同名像点分别为X′₁和X′₂，根据邻域点与线的相对位置关系确定l可能的候选匹配线段为l′，同理，可得l′的拓扑距离描述符D′＝[d′₁ d′₂]，其中d′₁和d′₂已经过尺度归一化，尺度因子即为X₁ X₂与X′₁X′₂的长度比；

构建线段拓扑方位描述符θ：

参考上述线段拓扑距离描述符构建情形，待匹配线段l与过X₁和X₂的直线所成夹角为θ₁，l分别与过O₁和O₂的核线所成夹角为θ₂和θ₃，则l的拓扑方位描述符θ＝[θ₁ θ₂ θ₃]；类似的，可得候选匹配线段l′的拓扑方位描述符θ′＝[θ′₁ θ′₂ θ′₃]，其中，角度单位均为弧度；

构建线段邻域梯度描述符：

利用上述步骤估计的精确核线几何F分别对各个待匹配线段进行候选同名线段筛选及线段重叠部分计算(如图5所示)，然后进行线段最优支持区域的自动识别与提取，重点包括：对待匹配线段l两侧给定的邻域分别进行颜色直方图统计，并对候选同名线段l′两侧给定的邻域亦分别进行颜色直方图统计；然后，对待匹配线段与候选匹配线段对应侧的颜色直方图进行相似度计算，如果两侧的颜色直方图相似度均较高，则线段两侧区域均取为支持区域，如果相似度均较低，则直接剔除当前的候选匹配，如果两侧的直方图相似度相差较大，则取相似度较高一侧的邻域作为线段的支持区域；

线段支持区域几何变形改正与提取：

图6示意了取线段一侧邻域作为支持域的情况，并进行了对应邻域的几何变形改正与提取。图中I和I′分别表示左右倾斜影像。l和l′分别表示待匹配线段和候选匹配线段，其中与灰色区域相交的部分为线段的同名重叠部分，灰色区域W和W′为一对候选线段支持域，二者的局部单应变换H已由前文求得；W的区域大小为m×n(m,n一般取值为奇数)，对W与W′分别进行双线性插值与重采样得到l与l′的对应支持域纠正结果

与

基于

与

分别提取128维的SIFT描述符G和G′；

构建顾及影像全局与局部信息的综合互补描述符f：

对上述待匹配线段的三类描述符进行融合，得到新的综合互补性描述符f＝[D₁ θ₁G₁]；同样的，候选匹配线段的综合互补描述符f′＝[D′₁ θ′₁ G′₁]；注意，对于核线与待匹配线段平行或近似平行的情形，无法进行候选匹配线段重叠部分计算，此时，G和G′均取为零向量，可基于拓扑距离描述符D和拓扑方位描述符θ进行相似计算，依然可以识别同名线段特征。

3)全局与局部信息融合约束的线段特征多层次迭代匹配

S5.鲁棒匹配测度模型构建:

基于上文综合互补描述符，分别计算向量D₁与D′₁、θ₁与θ′₁、G₁与G′₁的欧氏距离，对应结果分别记为ε_D、ε_θ和ε_G；在此基础上，构建一种互补集成的匹配测度评价模型如下式所示：

其中，e为自然底数，匹配测度值ρ∈[0,1]，容易看出，同名线段的相似度正比于ρ值，匹配测度阈值ρ_T拟取值为0.65。

S6.多约束互补匹配测度的自适应迭代优化匹配：

首先在同名像点约束下，基于分水岭变换的图像分割把待匹配线段划分为两类，分别为视差平滑区域的线段特征与视差突变区域的线段特征，其中第一类线段特征匹配采用的方法为，根据线段邻域匹配点估计得到全局单应变换模型，并结合核线关系、视差置信度等全局与局部的多重约束关系进行匹配，而视差突变区域的线段特征约束匹配则采用，取已知最近匹配点的邻域几何变换关系作为线段局部单应，在此引导下进行多重互补约束匹配；接着，研究采用一种基于互补匹配测度及自适应阈值的由粗到精的匹配方法，即针对不同类型区域的线段合理采用不同的匹配阈值，以便能够准确识别出不同区域的同名线段；然后，判断同名线段数目是否增加，如果成立，则根据已匹配线段的邻域类型及拓扑关系对未匹配线段重新进行分类；这样，经过多次循环迭代，直至同名线段数目不再增加，退出此循环，如图7所示。

S7.多约束双向线段特征拓扑关系匹配及加权拟合定位：

在同名点、同名线邻域以及核线几何多重约束下，对待匹配线段中的离散点进行K-d树(K-dimension tree)加速的拓扑关系双向搜索匹配，并对匹配结果进行最小二乘高斯加权曲面拟合，以此获得精确的同名线段。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.全局与局部融合约束的航空宽基线立体像对线段特征匹配方法，其特征在于，至少包括步骤：

1)顾及全局与局部的高质量线段特征提取

S1.顾及影像全局的优化提取：

采用LSD作为线段特征检测子，并通过左右影像的亮度均值及均方根联合改正立体像对的亮度畸变，采用图像分块策略和双重阈值控制方法均匀提取线段；

S2.顾及局部区域的线段优化：

同样采用LSD算子作为线段特征检测子，结合几何尺度约束、梯度分布检验假设，通过牛顿-拉普逊迭代优化方法定位线段，得到待匹配线段特征；

2)顾及全局与局部的互补描述符及匹配测度构建

S3.立体像对几何对应估计：

融合MSER与Harris&Hessian Affine的互补不变特征，并采用顾及匹配点空间分布的RANSAC算法及多层次自适应特征匹配策略，增加40％-60％的特征匹配数量，且消除95％-100％的离群点，通过LSM方法针对大倾角高分辨率立体像对精化同名像点定位精度，针对三维场景复杂的大倾角立体影像，进一步采用核线驱动及自适应匹配传播策略，把互补匹配点由单平面场景匹配传播到多平面场景中，在此基础上，再增加宽基线立体像对精确几何对应估计，至少包括：

①采用最小平方中值算法来估计影像全局核线几何关系矩阵；

②根据搜索待匹配线段邻域阈值范围至少三对同名像点来估计线段邻域局部单应变换矩阵；

S4.综合描述符提取：

通过基于立体像对几何对应估计，对已提取的线段特征建立线段拓扑距离描述符D、线段拓扑方位描述符θ以及线段最优支持域的梯度描述符G，并在进一步融合该三类描述符基础上，构建顾及影像全局与局部信息的综合互补描述符f；

3)全局与局部信息融合约束的线段特征多层次迭代匹配

S5.鲁棒匹配测度模型构建:

基于综合互补描述符f，分别计算待匹配线段的距离描述符D₁与候选匹配线段的距离描述符D₁′、待匹配线段的拓扑方位描述符θ₁与候选匹配线段的拓扑方位描述符θ₁′、待匹配线段的最优支持域的梯度描述符G₁与候选匹配线段的最优支持域的梯度描述符G′₁的欧氏距离，对应结果分别记为ε_D、ε_θ和ε_G；在此基础上，在此基础上，构建一种互补集成的匹配测度评价模型如下式所示：

其中，e为自然底数，匹配测度值ρ∈[0,1]，容易看出，同名线段的相似度正比于ρ值；

S6.多约束互补匹配测度的自适应迭代优化匹配：

先在同名像点约束下，基于分水岭变换的图像分割把待匹配线段划分为视差平滑区域的线段特征、视差突变区域的线段特征两类，第一类线段特征匹配采用的方法为：根据线段邻域匹配点估计得到全局单应变换模型，并采用全局与局部的多重约束关系缩小匹配线段的搜索空间；视差突变区域的线段特征约束匹配采用方法为：取已知最近匹配点的邻域几何变换关系作为线段局部单应，在此引导下进行多重互补约束匹配；

针对不同类型区域的线段合理采用不同的匹配阈值，以识别不同区域的同名线段，判断同名线段数目是否增加，如果成立，则根据已匹配线段的邻域类型及拓扑关系对未匹配线段重新进行分类；经过多次循环迭代，直至同名线段数目不再增加，退出此循环；

S7.多约束双向线段特征拓扑关系匹配及加权拟合定位：

在同名点、同名线邻域以及核线几何多重约束下，对待匹配线段中的离散点进行K-d树加速的拓扑关系双向搜索匹配，并对匹配结果进行最小二乘高斯加权曲面拟合，以此获得精确的同名线段。

2.根据权利要求1所述的全局与局部融合约束的航空宽基线立体像对线段特征匹配方法，其特征在于，步骤S5的匹配测度值ρ的阈值ρ_T取值为0.65。

3.根据权利要求1所述的全局与局部融合约束的航空宽基线立体像对线段特征匹配方法，其特征在于，步骤S6所述全局与局部的多重约束关系为核线关系约束或视差置信度。

Images