CN115294371A - 基于深度学习的互补特征可靠描述与匹配方法 - Google Patents

Abstract

本发明提供了一种基于深度学习的互补特征可靠描述与匹配方法，至少包括步骤：特征描述与匹配训练样本获取，构建基于DNN的特征描述与匹配算法，实行基于预训练网络模型的迁移学习，建立融合同名与非同名区域的目标损失函数模型，基于DNN模型的互补基元特征实现所有测试影像的准稠密匹配。本发明综合运用数字摄影测量与计算机视觉、深度学习、误差理论与分析、数字影像及信号处理等多学科的理论方法和技术，构建基于深度学习的互补特征高区分度描述与匹配策略，以获取大倾角立体影像较为可靠的互补匹配结果，极具前沿性、科学性、综合性及应用性特色。

Description

基于深度学习的互补特征可靠描述与匹配方法

技术领域

本发明涉及摄影测量与遥感中数字图像处理相关技术领域，具体的说是一种基于深度学习的互补特征可靠描述与匹配方法。

背景技术

近年来，源于计算机视觉界的特征描述及匹配技术的出现，使得大倾角困难立体像对的匹配成为可能。特征描述符是一种数值向量，该向量是影像区域中局部特征的编码，可用于评判不同影像特征间的相似性。目前，基于分布的描述符是应用最为广泛的描述符，以尺度不变特征变换(Scale Invariant Feature Transform,SIFT)描述符为代表，它的基本思想是对关键点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量。在此基础上，研究人员针对SIFT描述符的缺陷进行改进。例如，针对描述符计算过程较为复杂的问题，研究人员提出一种加速鲁棒特征(Speed Up Robust Feature,SURF)描述符，它是利用Haar小波来近似SIFT方法中的梯度操作，同时利用积分图技术进行快速计算，可实现影像特征的快速描述与匹配。DAISY描述符是在影像分块策略上进行的改进，利用高斯卷积来进行梯度方向直方图的分块汇聚，可以快速稠密地进行特征描述符的提取，一定程度上提高SIFT描述符的鲁棒性与区分度。然而，面向视点变化较大、纹理匮乏、视差断裂、阴影以及遮挡等复杂场景影像，以SIFT描述符为代表的各类描述符的匹配效果均不理想。

由于SIFT或SURF特征描述符占用大量的内存空间，导致匹配效率较低，难以大规模应用。为此，研究人员还提出了许多二进制特征描述符，例如ORB、BRISK和FREAK等。其中，BRIEF是典型二进制描述符，它是利用局部图像邻域内随机点对的灰度大小关系来建立的，不仅匹配速度快，而且存储要求内存低，因此嵌入式应用中具有很好的前景。然而，这些轻量级的描述符虽然匹配速度快、实时性强。但面对复杂影像，尤其是地类复杂，视角变化大的卫星、无人机等遥感影像，匹配效果较差，甚至失效。

综合考虑上述影像特征描述和匹配中的问题，并考虑到近年来神经网络和深度学习作为强大的非线性系统和技术手段，在处理复杂影像中表现出较大潜力。因此，如何结合深度学习与神经网络的特点，建立能够适应透视几何变形、景深突变及部分遮挡的高可靠互补基元特征描述与匹配方法，以最大限度地获得准稠密同名互补基元特征匹配，是本发明解决的关键问题。

发明内容

为了解决上述问题，建立能够适应透视几何变形、景深突变及部分遮挡的可靠互补基元特征描述与匹配方法，从而获得准稠密同名互补基元特征匹配。提出以下技术方案：

基于深度学习的互补特征可靠描述与匹配方法，至少包括步骤：

(1)特征描述与匹配训练样本获取；

(2)构建基于DNN(深度神经网络)的特征描述与匹配算法；

(3)实行基于预训练网络模型的迁移学习；

(4)建立融合同名与非同名区域的目标损失函数模型；

(5)基于DNN模型的互补基元特征实现所有测试影像的准稠密匹配。

进一步的，上述步骤(1)包括：

基于随机采样一致性算法的立体像对共轭矩阵估计算法；

基于准单应几何变换与自适应窗口策略优化同名特征位置及其局部仿射变换邻域；

采用点线面特征集成描述与匹配策略对所有待匹配特征逐一进行描述与匹配。

进一步的，上述步骤(2)为面向影像高畸变特征描述与匹配的DNN构建方法，具体为：

特征描述，运行顾及视差突变及遮挡情况的透视不变卷积描述符生成方法；

特征匹配，实行高区分度匹配测度构建策略。

进一步的，特征描述包括步骤：

构建原始L2-Net核心网络层；

引入亮度归一化卷积层、视察感知卷积层及透视不变卷积层；

建立梯度向量连接层；

归一化描述符。

进一步的，特征匹配包括：

构建描述符欧氏空间距离L2范数的极值函数F＝||f(R)-f(P)||₂＝min，其中R和P分别为左影像和右影像特征的128维深度描述符，当F取最小且不大于给定阈值F_T，则输出匹配结果，F_T取值为0.3。

进一步的，步骤(4)包括：

构建加权平均损失函数Loss如下

m为批(Batch)中的样本数目；R_i和P_i代表一对匹配描述符向量；

分别代表最近邻、次近邻及第三近邻非匹配描述符向量；D(R_i,P_i)表示匹配描述符欧氏距离；D((R_i,P_i),N_i)则表示非匹配描述符欧氏距离，且D((R_i,P_i),N_i)＝min(D(R_i,N_i),D(P_i,N_i))，N_i表示任意非匹配描述符向量；权重参数w₁、w₂和w₃取值分别为2.0、0.6和0.4；

非匹配相似描述符通过加权参与训练；

基于训练样本，通过随机梯度下降法和残差后向迭代传播，使加权损失函数Loss最终趋于最小，实现DNN模型的训练与优化。

本发明提出了基于准单应几何变换与自适应窗口的大倾角立体影像同名邻域归一化算法及匹配策略，以及面向影像高畸变特征描述与匹配的深度神经网络DNN构建方法，建立融合同名与非同名区域的目标损失函数模型增强了DNN模型的描述能力，基于DNN模型的互补基元特征全自动匹配策略能够获得可靠准密集种子匹配。

因此，本发明的有益效果为：基于真三维数字城市建设的需求背景，综合运用数字摄影测量与计算机视觉、深度学习、误差理论与分析、数字影像及信号处理等多学科的理论方法和技术，构建基于深度学习的互补特征可靠描述与匹配方法。具体是基于互补特征描述与匹配样本自动生成、预训练模型引入及迁移学习等基础上，构建基于深度学习的互补特征高区分度描述与匹配策略，以获取大倾角立体影像较为可靠的互补匹配结果，极具前沿性、科学性、综合性及应用性特色。

附图说明

图1为基于深度学习的互补特征可靠描述与匹配方法流程图；

图2为基于共轭基本矩阵的立体影像准单应几何映射示意图；

图3为以点基元为例的同名特征邻域的确定与优化示意图；

图4为特征描述与匹配DNN模型结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于深度学习的互补特征可靠描述与匹配方法，该方法流程及关键技术如图1所示，具体实施方式分为以下步骤：

1)特征描述与匹配训练样本获取方法

S1.获得初始匹配：

基于多种仿射不变特征与SIFT描述符获得初始匹配。

S2.估算全局准单应几何变换：

采用一种改进的随机采样一致性算法对初始匹配估计共轭基本矩阵，继而在共轭核线驱动下得到全局准单应几何变换，如图2示意，四组大倾角立体像对准单应映射关系，图中黑色和白色线分别代表共轭核线关系，它们分别由共轭基本矩阵计算得到，左影像中浅灰色交叉点代表待匹配点，而右影像中深灰色点则为准单应几何映射点。

S3.优化同名特征位置及其局部仿射变换邻域：

基于全局似单应几何变换确定候选匹配及局部仿射变换邻域，并采用自适应窗口策略，优化同名特征位置及其局部仿射变换邻域，如图3所示，优化后的特征邻域能够自适应扩展尽量多的纹理内容，同时有效规避视差突变及遮蔽等不一致区域。为方便后续DNN的学习与训练，仍采用目前综合性能较优的SIFT梯度向量完成同名特征邻域的描述与匹配。

S4.对所有待匹配特征逐一进行描述与匹配：

基于S3方法，对所有待匹配特征逐一进行描述与匹配。如果待匹配特征为点基元或线基元，则取特征邻域作为描述区域；如果待匹配特征为面基元，则直接取基元面本身作为描述区域。

2)基于DNN的特征描述与匹配学习

相比于常规影像，非常规大倾角影像特征的描述与匹配会更加复杂和困难，可归因于同名特征邻域之间普遍存在较大的几何与辐射畸变、视差突变及遮挡等因素。因此，为实现该类影像的准稠密同名特征的自动可靠匹配，首先构建了一种基于DNN的特征描述与匹配算法，使之能够尽量克服复杂畸变、视差断裂及遮挡等问题；然后，通过迁移学习策略与可靠的训练样本基础，使目标DNN模型得到充分的训练与学习；最后，基于DNN模型实现所有测试影像的准稠密匹配。具体内容如下：

S5.DNN模型构建：

在引入L2-Net网络基础上，构建了如图4所示的DNN模型结构，该结构主要包括两部分：特征描述与特征匹配。在特征描述阶段，首先继承原始L2-Net核心网络层，再分别引入亮度归一化卷积层、视差感知卷积层及透视不变卷积层，增强了新模型结构对辐射畸变、视差断裂、部分遮挡及复杂透视畸变等情况的描述与区分能力；此外，在各卷积层中还采用了直方图均衡化和批归一化处理策略，从而提升描述符的表达精度，继而建立能够顾及视差突变与复杂畸变影响的梯度向量连接层，该连接层承载着左右影像特征128维深度描述符，并把经归一化后的描述符分别被标记为R(代表左影像中的描述符)和P(代表右影像中的描述符)。在特征匹配阶段，构建R和P欧氏空间距离L2范数的极值函数F＝||f(R)-f(P)||₂＝min，当F取最小且不大于给定阈值F_T(取值为0.3)，则输出匹配结果。

S6.DNN训练与优化：

首先，利用国际上开源的常规影像匹配集(如UBC数据集)，对L2-Net模型权重进行训练与学习，得到L2-Net的训练模型，并通过迁移学习策略把训练参数传递给DNN模型，继而完成DNN模型的权重初始化。接着，准备DNN训练样本集，包括同名样本与非同名样本，其中，同名样本已由上文同名特征归一化与匹配策略获取，而非同名样本可取自于国际开源的影像集(如微软COCO、Hpatches等数据集)。然后，按图4所示模型执行训练，其中，在描述训练阶段，各分支网络采用权重共享策略，可有效简化模型参数，提高学习效率；而在匹配训练阶段，为使学习的描述符能够在同名特征邻域之间取最小化，而非同名邻域之间取最大化，构建一种新的加权平均损失函数Loss如下：

m为批(Batch)中的样本数目；R_i和P_i代表一对匹配描述符向量；

分别代表最近邻、次近邻及第三近邻非匹配描述符向量；D(R_i,P_i)表示匹配描述符欧氏距离；D((R_i,P_i),N_i)则表示非匹配描述符欧氏距离，且D((R_i,P_i),N_i)＝min(D(R_i,N_i),D(P_i,N_i))，N_i表示任意非匹配描述符向量；权重参数w₁、w₂和w₃取值分别为2.0、0.6和0.4。

该发明通过上述加权损失函数，让非匹配相似描述符通过加权参与训练，使得非同名描述符的差异性得到增强，同时提高同名描述符的相似度，因而有利于学习到高可靠性描述符。最后，基于广泛的训练样本，通过随机梯度下降法和残差后向迭代传播，使加权损失函数Loss最终趋于最小，继而实现DNN模型的训练与优化。

所述的互补特征高可靠描述，即通过构建深度神经网络模型获得具有较高区分度的描述符，上文利用提出的深度学习网络及其加权损失函数策略，让更多的非匹配相似性描述符N_i ^1st、N_i ^2nd、N_i ^3rd通过加权平均参与训练，因而，有利于尽量增大非同名(非匹配)描述符(R_i,N_i)或(P_i,N_i)之间的距离，同时尽量减少同名(匹配)描述符(R_i,P_i)之间的距离，最终获得具有高区分度的特征描述符。至此，利用已训练DNN对测试影像中待匹配特征进行描述与匹配，即可获得准稠密互补同名特征。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.基于深度学习的互补特征可靠描述与匹配方法，其特征在于，至少包括步骤：

(1)特征描述与匹配训练样本获取；

(2)构建基于DNN的特征描述与匹配算法；

(3)实行基于预训练网络模型的迁移学习；

(4)建立融合同名与非同名区域的目标损失函数模型；

(5)基于DNN模型的互补基元特征实现所有测试影像的准稠密匹配。

2.根据权利要求1所述的基于深度学习的互补特征可靠描述与匹配方法，其特征在于，所述步骤(1)包括：

基于随机采样一致性算法的立体像对共轭矩阵估计算法；

基于准单应几何变换与自适应窗口策略优化同名特征位置及其局部仿射变换邻域；

采用点线面特征集成描述与匹配策略对所有待匹配特征逐一进行描述与匹配。

3.根据权利要求1所述的基于深度学习的互补特征可靠描述与匹配方法，其特征在于，所述步骤(2)为面向影像高畸变特征描述与匹配的DNN构建方法，具体为：

特征描述，运行顾及视差突变及遮挡情况的透视不变卷积描述符生成方法；

特征匹配，实行高区分度匹配测度构建策略。

4.根据权利要求3所述的基于深度学习的互补特征可靠描述与匹配方法，其特征在于，所述特征描述包括步骤：

构建原始L2-Net核心网络层；

引入亮度归一化卷积层、视察感知卷积层及透视不变卷积层；

建立梯度向量连接层；

归一化描述符。

5.根据权利要求3所述的基于深度学习的互补特征可靠描述与匹配方法，其特征在于，所述特征匹配包括：

构建描述符欧氏空间距离L2范数的极值函数F＝||f(R)-f(P)||₂＝min，其中R和P分别为左影像和右影像中特征的128维深度描述符，当F取最小且不大于给定阈值F_T，则输出匹配结果，F_T取值为0.3。

6.根据权利要求1所述的基于深度学习的互补特征可靠描述与匹配方法，其特征在于，所述步骤(4)包括：

构建加权平均损失函数Loss如下

m为Batch中的样本数目；R_i和P_i代表一对匹配描述符向量；N_i ^1st、N_i ^2nd、N_i ^3rd分别代表最近邻、次近邻及第三近邻非匹配描述符向量；D(R_i,P_i)表示匹配描述符欧氏距离；D((R_i,P_i),N_i)则表示非匹配描述符欧氏距离，且D((R_i,P_i),N_i)＝min(D(R_i,N_i),D(P_i,N_i))，N_i表示任意非匹配描述符向量；权重参数w₁、w₂和w₃取值分别为2.0、0.6和0.4；

非匹配相似描述符通过加权参与训练；

基于训练样本，通过随机梯度下降法和残差后向迭代传播，使加权损失函数Loss最终趋于最小，实现DNN模型的训练与优化。

Images