CN111739079B - 一种基于语义特征多源低空立体像对快速匹配方法 - Google Patents

Abstract

本发明公开了一种基于语义特征多源立体像对快速匹配方法。首先，构建多尺度差分卷积层(Difference of Convolutional Layers,DoC)提取影像多尺度高频信息用于检测稳定极值点，并采用尺度空间DoC函数进行曲线拟合方程精确定位特征点位，实现由低级‑高级语义特征检测；然后，基于语义特征点尺度确定局部特征支撑区范围；最后，通过楔入多级相似性测度模块的深度卷积神经网络对语义特征点进行快速相似性测度，并结合核几何约束的RANSAC算法剔除误匹配点和粗差。本发明解决了多源立体像对宽基线大倾角、背景非线性变化情况下语义特征尺度不变性的快速匹配问题。

Description

一种基于语义特征多源低空立体像对快速匹配方法

技术领域

本发明涉及测绘科学技术领域，尤其涉及一种基于语义特征多源低空立体像对快速匹配方法。

背景技术

空天地多源协同一体化对地观测和数据采集大众化极大拓宽了摄影测量立体影像获取途径和来源，避免了采用单一数据源存在相邻地物遮挡、表面材质反射、地物混杂交错等问题，可获取地表更精确的地理信息和更丰富的影像信息，利用多源立体像对协同进行场景三维重建成为了摄影测量的发展方向和重要趋势。在多源立体像对协同摄影测量数据处理中，立体像对匹配是最为关键的步骤之一，多源立体像对存在摄影基线、视角、尺度、遮挡、几何与辐射畸变等复合型差异较大，如何高效、快捷、准确地实现多源立体像对匹配，成为多源立体像对协同摄影测量数据自动化处理领域所面临的瓶颈。

大体上，摄影测量影像匹配最直观的方式是基于影像基元进行相似性比对，也即是围绕兴趣点附近的影像灰度窗口进行匹配，可分为：基于灰度的匹配和基于特征的匹配。相比而言，基于特征的匹配，影像特征基元包括点、线、面等特征，相比影像像素点数量大为减少，提取的特征也具有较强的抗噪性，且对影像间灰度变化、局部形变和遮挡也有较强的鲁棒性，因而，当前摄影测量影像匹配广泛采用基于特征的匹配方法，该方法主要包括三个过程即特征提取、特征描述、特征匹配。然而，多源立体像对共轭特征存在灰度信息非线性变化、大尺度变化、宽基线大倾角等一系列复杂变换，给多源协同摄影测量数据处理带来较大困难。立体像对匹配的可靠性与几何精度直接关系到多时相影像空中三角测量成功与否，当前自动匹配方法大多以影像纹理、梯度、局部结构等作为依据查找共轭特征难以在重叠影像中提取到相同的特征，且以相位一致性、局部自相似性、边缘强度等构建特征描述符，降低了匹配的可靠性，难以满足非线性变化的多源立体像对匹配需要。近年来，不少研究人员利用深度学习进行影像匹配，但在多源立体像对中利用深度学习进行同名特征提取与匹配问题还未涉及。

与本发明最相近的发明专利实现方案包括：(1)一种基于改进SIFT算子的低空多视角遥感影像匹配方法(申请公开号：CN105160686A,2015)[1]，该发明提供了时间效率高和对影像几何畸变较稳定的SIFT改进匹配方法，但该方法不适用于宽基线大倾角的影像匹配，也难以满足多源立体像对背景非线性变化情况下的匹配需求；(2)一种多传感器遥感影像匹配方法(申请公开号：CN105261014A,2016)[2]，该发明能解决在多传感器影像间的几何形变和辐射差异情况下大量分布均匀同名点自动获取问题，但不适用于宽基线大倾角、背景复杂变化的多传感器低空立体像对匹配；(3)基于图像灰度引导的非局部立体像对密集匹配方法(申请公开号：CN106530337A,2017)[3]，该发明采用改进的HOG算法来提高传统密集匹配方法在视差边缘匹配的精度，并未涉及多源立体像对复杂背景变化的匹配；(4)一种均衡的半密集立体匹配方法(申请公开号：CN107122782A，2017)[4]，该发明通过分块策略获取足够数量的匹配点信息，但未考虑宽基线大倾角、背景非线性变化情况下的影像匹配，难以满足多源立体像对匹配；(5)一种多影像立体匹配方法(申请公开号：CN108846436A，2018)[5]，该发明立足于提供于多余的观测数据来提高匹配精度，未考虑摄影基线、视角、尺度、遮挡、几何与辐射畸变等差异较大的立体像对匹配；(6)一种尺度不变性的倾斜影像多视密集匹配方法(申请公开号：CN108399631A，2018)[6]，该发明克服了倾斜影像因比例尺差异大、视角差异大、遮挡区域大量存在等问题对密集匹配造成的困难，但该发明并未解决多源立体像对背景非线性变化的问题；(7)一种基于方向相位一致性的多源遥感影像特征匹配方法(申请公开号：CN109523585A，2019)[7]，该发明并未针对倾斜大交会角立体像对匹配提出解决方案；(8)一种基于卷积神经网络的多时相遥感影像匹配方法及系统(申请公开号：CN109784223A，2019)[8]，该发明利用卷积神经网络提取图像特征来提高多时相遥感影像匹配精度，但该发明利用固定大小块进行匹配难以准确地构建特征点支撑区，也未考虑倾斜大视角变化立体像对的匹配，且VGG-16网络使用包含了大量的卷积运算致使匹配复杂度高、匹配效率低下；(9)一种基于深度学习的倾斜航空影像匹配方法和系统(申请公开号：CN110135474A，2019)[9]，该发明构建Triplet深度网络旨在解决倾斜航空影像匹配中地物目标深度变化剧烈导致像对之间无法用单一仿射变换模型近似表达的难题，但该发明采用基于手工设计的点特征而未抽取语义高级特征进行匹配，难以在多源立体像对中提取到相同的特征，而不适用于多源立体像对背景非线性变化情况下的匹配，且大量的卷积运算也会造成匹配效率低下。

与本发明最相近的学术论文实现方案包括：(1)李坚[10]提出了一种基于三阶矩阵的仿射不变特征来解决城市地区低空无人机倾斜影像匹配中几何变形大、视差断裂、高程不平滑的问题，姚国标[11]研究了仿射不变的倾斜立体影像匹配方法，仇春平等[12]提出一种基于SIFT和几何约束的倾斜立体影像匹配传播算法，肖雄武等[13]提出了一种具有视点不变性的倾斜影像快速匹配方法，这些算法未就存在灰度辐射畸变的多源立体影像匹配展开研究；(2)何海清等[14]利用相位相关法辅助Harris-Laplace角点匹配，适用于重复纹理区低空影像匹配，而不适应于视角变化较大的立体影像匹配；(3)陈敏等[15]提出的面向城区宽基线立体像对视角变化的结构自适应特征点匹配方法，该方法提高了宽基线影像匹配的鲁棒性，但未对背景复杂变化的多源低空立体像对展开研究；(4)Zagoruyko等[16]提出了基于卷积神经网络的立体影像匹配，但该方法用于自然影像匹配而不是低空影像，并未通过深度学习来提取同名特征，采用固定大小块来进行相似性比对，未实现尺度不变性卷积神经网络相似性测度和多源立体像对匹配。

现有技术文献：

[1]一种基于改进SIFT算子的低空多视角遥感影像匹配方法,发明专利,申请公开号:CN105160686A,2015.

[2]叶沅鑫,慎利,曹云刚.一种多传感器遥感影像匹配方法,发明专利,申请公开号:CN105261014A,2016.

[3]黄旭,周刚,陆正武,樊海波,蔡刚山,范超.基于图像灰度引导的非局部立体像对密集匹配方法,发明专利,申请公开号:CN106530337A,2017.

[4]唐荣富,周剑.一种均衡的半密集立体匹配方法,发明专利,申请公开号:CN107122782A,2017.

[5]邓练兵.一种基于卷积神经网络的多时相遥感影像匹配方法及系统,发明专利,申请公开号:CN109784223A,2019.

[6]吴百川,黄晓萍.一种多影像立体匹配方法,发明专利,申请公开号:CN108846436A,2018.

[7]熊小东,朱俊峰,曾晓茹.一种尺度不变性的倾斜影像多视密集匹配方法,发明专利,申请公开号:CN108399631A,2018.

[8]杨宇辉,李欣,杨博.一种基于方向相位一致性的多源遥感影像特征匹配方法,发明专利,申请公开号:CN109523585A,2019.

[9]吴春,郑振华,宋洁,等.一种基于深度学习的倾斜航空影像匹配方法和系统，发明专利,申请公开号:CN110135474A,2019.

[10]李坚.基于三阶矩和自适应物方面元传播的倾斜影像匹配研究[D].武汉大学博士论文,2014.

[11]姚国标.倾斜影像匹配关键算法及应用研究[D].中国矿业大学博士论文,2014.

[12]仇春平,于瑞鹏,丁翠,et al.面向倾斜立体影像的尺度不变特征匹配[J].遥感信息,2016,000(001):43-47.

[13]肖雄武,李德仁,郭炳轩,江万寿,臧玉府,刘健辰.一种具有视点不变性的倾斜影像快速匹配方法[J].武汉大学学报(信息科学版),2016,41(9):1151-1159.

[14]何海清,张永军,黄声享.相位相关法辅助的重复纹理区低空影像匹配[J].武汉大学学报(信息科学版),2014,39(10):1204-1207.

[15]陈敏,朱庆,何海清,严少华,赵怡涛.面向城区宽基线立体像对视角变化的结构自适应特征点匹配[J].测绘学报,2019,48(9):1129-1140.

[16]Zagoruyko S,Komodakis N.Learning to compare image patches viaconvolutional neural networks[J].CVPR,2015.

发明内容

因此，为了满足多源立体像对高精度匹配需要，本发明提供一种基于语义特征多源低空立体像对快速匹配方法，解决了多源低空立体像对中因存在摄影辐射畸变、宽基线大倾角、背景非线性变化、尺度变化较大等问题对特征提取与匹配造成的困难。该方法主要包括以下步骤：

(1)构建多尺度差分卷积层(Difference of Convolutional Layers,DoC)提取可以抵抗辐射畸变、宽基线大倾角几何形变、背景等非线性变化情况下的多源立体像对尺度不变性同名语义特征提取；

(2)深度卷积神经网络驱动高层语义抽象特征相似性比较，提高多源立体像对宽基线大倾角、背景非线性变化情况下匹配的鲁棒性；

(3)构建由低-高级特征相似性测度的深度卷积神经网络结构，逐步比对匹配点与终止非匹配点比对，加快匹配效率，提高基于深度卷积神经网络的立体像对匹配效率。

具体来说，该方法包括以下步骤：

步骤1，提取抵抗多源低空立体像对摄影基线、视角、尺度、遮挡、几何与辐射畸变、背景非线性变化的高级语义特征，确保在多源多视低空立体像对中能提取到相同的尺度不变性特征；

步骤2，通过多尺度差分卷积层(Difference of Convolutional Layers,DoC)与尺度空间DoC函数曲线拟合方程，确定位语义特征点p_i；

步骤3，基于语义特征点尺度确定局部特征支撑区范围；

步骤4，构建具有尺度、旋转、透视不变性匹配的双通道深度卷积神经网络；

步骤5，高层次语义特征相似性比较；

步骤6，实现能抵抗多源低空立体像对视角、背景变化等非线性变化的特征匹配；

步骤7，基于匹配与非匹配概率的距离提取匹配点位；

步骤8，在双通道深度卷积神经网络中，设计多级相似性测度模块加速影像匹配。

本发明与现有技术相比的优势在于：

(1)通过深度卷积神经网络提取能抵抗辐射畸变、宽基线大倾角几何形变、背景等非线性变化和具有尺度不变性、旋转与透视不变性的语义特征，并可实现高层次抽象特征相似性测度，弥补了现有技术在低空立体像对匹配不足，提高了影像匹配的鲁棒性；

(2)针对深度卷积神经网络中涉及大量的卷积运算，效率低下，通过楔入两个相似性测度模块提前终止非匹配点比对，实现基于深度卷积神经网络的低空立体像对的快速匹配。

附图说明

图1为本发明实施例总体流程图。

图2为透视变换图。

图3为双通道深度卷积神经网络架构图。

图4为多尺度差分卷积层图。

具体实施方式

本发明实施例提供一种基于语义特征多源低空立体像对快速匹配方法，如图1所示，该方法利用多尺度差分卷积层(Difference of Convolutional Layers,DoC)提取语义特征点，然后在双通道深度卷积神经网络上进行立体像对语义特征匹配，该方法主要包括如下步骤：

(1)多源低空立体像对深度卷积神经网络训练样本选取

收集具有辐射畸变、宽基线大倾角几何形变、背景等非线性变化的多源低空立体像对影像数据集S_img，对这些影像扩张操作：

a、按照比例系数

进行尺度缩放产生新影像集

b、按角度0°、45°、90°、135°、180°、225°、270°、315°进行旋转变换产生新影像集

c、根据透视变换公式

其中，(u,v)和(x,y)为变换前后的坐标，a_1...8是变换系数，将立体像对影像进行变换见图2，生成新的透视变换的影像集

在经扩张处理后，多源低空立体像对影像数据集S_img扩张为新的数据集

在新的影像数据集S中，通过标注定位匹配点集M，并确定特征点p_i的支撑区半径

然后按照半径r提取图像子块组成匹配训练样本集P^m。同时，随机抽取训练样本集P^m中的图像子块构成非匹配训练样本集P^nm，为避免匹配样本被选入，剔除图像子块归一化梯度均值和标准差之差的绝对值小于其中任一子块均值和标准差的0.2的样本。

(2)构建的双通道深度卷积神经网络见图3，包括输入层、5层卷积层、2层池化层、2层全连接层、输出层、3个相似性测度模块。

步骤(2)代价函数为：

其中，n是样本数，x_i为第i个样本，h(x_i)为预测值，y_i为目标值，w为权值，λ为权值退化参数。

步骤(2)输出层即相似性测度包括匹配与非匹配概率sim，其基于公式

来计算。

步骤(2)池化层构建了多尺度空间，为提取尺度不变性的特征点提供了保障。

基于步骤(1)的多源低空立体像对样本训练双通道深度卷积神经网络。

(3)多源低空立体像对与内方位元素获取。

所获取的像对包括不同传感器、不同时相、不同重叠度、宽基线大倾角、背景变化的多视多角度低空影像。

低空影像内方位元素包括传感器焦距f、像主点(x₀,y₀)、畸变参数(k₁,k₂,p₁,p₂)。

(4)根据步骤(3)的内方位元素对低空影像进行畸变差改正，消除不同影像的因镜头等系统误差造成的影像扭曲。

(5)利用步骤(2)训练好的单通道深度卷积神经网络提取语义特征点，首先构建多尺度差分卷积层(Difference of Convolutional Layers,DoC)见图4，计算各卷积特征图绝对值之和，然后计算相邻层之差过滤影像低频信息，提取影像多尺度高频信息用于检测稳定极值点，并对尺度空间DoC函数进行曲线拟合方程精确定位特征点位，该特征点的偏移量

可由以下公式计算：

其中，X是初始点位坐标。

(6)利用步骤(2)训练好的双通道深度卷积神经网络进行多层相似性测度，基于步骤2中相似性公式计算的概率和以下约束来确定匹配p^m与非匹配p^nm：

d(p^m,p^nm)＝sim(p^m)-sim(p^nm)

其中，max(.)和second_max(.)分别是最大值和次最大值，t_sim是阈值(通常取值0.6)。

从相似性测度模块1、2楔入到双通道深度卷积神经网络架构之间以提高匹配效率，相似性测度模块1→相似性测度模块2→相似性测度模块3，若相似性测度模块1、2中不满足步骤6的约束条件则提前退出卷积运算。

(7)利用极几何约束与随机采样一致性RANSAC算法，以点到极线距离大于3倍模型中误差为条件来剔除步骤6的误匹配点与粗差，实现多源低空立体像对精确匹配。

选取具有代表性的经典的SIFT、仿射不变的ASIFT算法、基于Harris-Laplace的匹配算法、Zagoruyko提出的深度学习方法与本发明的方法进行对比分析，采用3组存在宽基线大倾角、背景变化等多源低空立体像对进行对比试验，得到的匹配点数见表1，基于Harris-Laplace的匹配算法在3个像对里匹配失败；本发明的方法在多源低空立体像对能得到大量的匹配点，远多于其它三种方法，能满足多源低空立体像对匹配需要。此外，基于深度卷积神经网络的影像匹配因包含了大量的卷积运算致使效率低下，本发明通过多级相似性测度模块大幅提高了基于深度学习匹配的效率，在同一硬件配置下，与Zagoruyko提出的深度学习方法对比效率提高了5倍。尽管SIFT算法效率最高，但其获得的匹配点较少甚至匹配失败，匹配可靠性较差，而本发明综合匹配性能与效率而言表现最优。

表1五种方法匹配点统计

表2五种方法匹配耗时(s)

Claims (5)

1.一种基于语义特征多源低空立体像对快速匹配方法，包括以下步骤：

步骤1，提取抵抗多源低空立体像对摄影基线、视角、尺度、遮挡、几何与辐射畸变、背景非线性变化的高级语义特征，确保在多源多视低空立体像对中能提取到相同的尺度不变性特征；

步骤2，通过多尺度差分卷积层(Difference of Convolutional Layers,DoC)与尺度空间DoC函数曲线拟合方程，定位语义特征点p_i；

步骤3，基于语义特征点尺度确定局部特征支撑区范围；具体步骤为：

收集具有辐射畸变、宽基线大倾角几何形变、背景非线性变化的多源低空立体像对影像数据集S_img，对这些影像扩张处理后获得新的数据集S；

在新的数据集S中，通过标注定位匹配点集M，并确定特征点p_i的支撑区半径

然后按照支撑区半径提取图像子块组成训练样本集P^m；同时，随机抽取训练样本集P^m中的图像子块构成非匹配训练样本集P^nm；

步骤4，构建具有尺度、旋转、透视不变性匹配的双通道深度卷积神经网络；所述双通道深度卷积神经网络包括输入层、5层卷积层、2层池化层、2层全连接层、输出层、3个相似性测度模块；

步骤5，高层次语义特征相似性比较；

步骤6，实现能抵抗多源低空立体像对视角、背景非线性变化的特征匹配；

步骤7，基于匹配与非匹配概率的距离提取匹配点位；

步骤8，在双通道深度卷积神经网络中，设计多级相似性测度模块加速影像匹配，具体步骤为：

利用双通道深度卷积神经网络进行多级相似性测度，基于相似性概率和以下约束来确定匹配p^m与非匹配p^nm：

d(p^m,p^nm)＝sim(p^m)-sim(p^nm)

其中，max(.)和second_max(.)分别是最大值和次最大值，t_sim是阈值；

从相似性测度模块1、2楔入到双通道深度卷积神经网络架构之间以提高匹配效率，相似性测度模块1→相似性测度模块2→相似性测度模块3，若相似性测度模块1、2中不满足上述约束的条件则提前退出卷积运算。

2.根据权利要求1所述的方法，其特征在于：深度卷积神经网络训练样本根据透视变换公式

生成新的透视变换的影像集，以实现宽基线大倾角低空立体像对匹配训练；其中，(u,v)和(x,y)为变换前后的坐标，a_1...8是变换系数。

3.根据权利要求2所述的方法，其特征在于：池化层构建多尺度空间提取尺度不变性的特征点。

4.根据权利要求3所述的方法，其特征在于：利用多尺度差分卷积层(Difference ofConvolutional Layers,DoC)计算各卷积特征图绝对值之和，然后计算相邻层之差过滤影像低频信息，提取影像多尺度高频信息和检测稳定极值点。

5.根据权利要求3所述的方法，其特征在于：尺度空间DoC函数进行曲线拟合方程精确定位特征点位，该特征点的偏移量

由以下公式计算

其中，X是初始点位坐标，DoC是差分卷积层。

Images