CN113971760B - 基于深度学习的高质量准稠密互补特征提取方法 - Google Patents

Abstract

为了使大倾角摄影中的特征提取更为稳定，避免提取出的特征容易出现断裂和不完整问题，削弱几何畸变、视察突变等带来的误差，提升特征的重复度、检测数目以及空间分布均匀性，提出一种基于深度学习的高质量准稠密互补特征提取方法，该方法为大倾角立体影像的稠密特征的自动提取提供了一种可行的技术，并为多源新型数据的融合处理及智能应用分析奠定方法基础。

Description

基于深度学习的高质量准稠密互补特征提取方法

技术领域

本发明涉及摄影测量与遥感中数字图像处理相关技术领域，具体的说是一种基于深度学习的高质量准稠密互补特征提取方法。

背景技术

近年来，随着大数据、云计算、物联网等高新技术的出现，新型测绘开始蓬勃发展，同步涌现出了众多的新型的数据采集模式，如卫星多角度遥感、无人机倾斜航测以及移动宽基线摄影等。倾斜数据采集模式能够从不同角度获取目标场景影像，不仅为真三维重建提供丰富的光谱、纹理、形状及上下文等信息，还具有良好的空间几何构形及重构精度优势。

众所周知，地球表面无论是地物(如建筑、森林等)，还是地貌(如山脉、盆地等)，均蕴含着丰富的点状、线状及面状等多基元特征；反之，我们融合多基元特征则能够对一切复杂地形环境来建模与精细化表达。摄影成像后，遍布于影像中各类基元，相互之间既对立又统一，各类特征基元之间既各有分工，又紧密关联。因此，研究如何最大限度检测出互补基元的稠密特征，具有重要的研究意义与实际应用价值。

然而，相比于传统摄影，大倾角倾斜摄影所获得立体像对，受诸如目标遮蔽、几何与光照变化、阴影光斑等因素影响，很容易出现特征提取不完整、过提取或欠提取甚至是虚假提取等问题，即导致同名特征提取重复度较低，使得大倾角立体像对所蕴含的稠密特征仍然依赖人机交互来批量采集，费时费力，并且量测精度往往受作业人员技术水平的限制。总之，大倾角困难影像序列的智能处理与深度分析，特别是关于稠密稳定特征的自动检测与提取，一直是该技术发展与实际应用中的瓶颈问题，同时亦成为当今数字摄影测量与人工智能等领域亟需攻关的重难点问题之一。

近年来，研究人员对影像特征检测进行深入研究，提出多种特征检测的方法，但这些方法存在的问题如下：

(1)针对于影像点特征检测，相关学者提出Moravec算子、Forstner算子、Harris算子以及SIFT算子等角点特征检测算法，对于一些纹理匮乏或重复的特殊纹理影像或仿射变换角度较大的影像，通常会出现特征点少且分布不均匀，同时也不能定位在地物的边缘或纹理重复的区域，容易造成后续的匹配精度低，匹配失败等问题。

(2)针对于影像线特征检测，按照相关学者的提出的算法原理可分为三类，即Hough变换算法、基于链码的直线提取算法和相位编组直线提取算法。如较为著名的LSD线特征检测子，本质上是一种相位编组的直线提取算法，利用了梯度方向取代梯度幅度，直接在灰度图像中经过梯度幅值和梯度方向估计、直线支撑域生成、矩形逼近直线支撑域、直线检测等步骤后进行直线提取，虽具有实时性、准确性等优点，但容易出现线特征提取不完整，端点不稳定，断裂线阻碍匹配，缺少有效的约束条件等问题，导致后续的匹配精度和正确率较低，难以获得可靠密集的匹配结果。

(3)针对面特征检测。就特征检测而言，提取有意义的面特征比提取有意义的点线特征更容易，一些学者对面状特征的检测进行一些新的研究，并应用于光学影像与雷达影像、遥感影像与地图数据的配准。面特征检测的手段主要为影像分割，但由于基于阈值的分割未考虑空间特征，因此抗噪性差；而基于边缘的分割没有解决边缘检测时抗噪性和检测精度的矛盾等，这些问题会综合影响到后续匹配的可靠性。

综上，对于大倾角复杂场景的立体像对，如何检测到稳定性更高、数目较多、空间分布均匀性的影像特征仍然是难点问题。

发明内容

为了解决上述问题，使大倾角摄影中的特征提取更为稳定，避免提取出的特征容易出现断裂和不完整问题，削弱几何畸变、视察突变等带来的误差，提升特征的重复度、检测数目以及空间分布均匀性，提出以下技术方案。

基于深度学习的高质量准稠密互补特征提取方法，至少包括步骤：

(1)影像预处理，建立连续尺度空间金字塔影像；

(2)点线面互补特征自动检测，提取原始影像的准稠密特征；

(3)分类剔除重复及不稳定特征；

(4)根据特征中心之间的欧氏距离，建立最小生成树，再依据空间距离约束完成特征的属性聚类，建立顾及特征空间分布的自适应信息熵阈值预测模型，优选出高信息熵特征，同时保留纹理匮乏区域的特征；

(5)构建特征学习卷积神经网络(Convolutional Neural Network,CNN)模型结构；

(6)对原始训练影像进行多视多角度随机重采样，利用CNN训练策略执行前后向传播迭代，对CNN进行训练与优化；

(7)选取大倾角立体像对，利用互补特征检测算法与训练后CNN模型进行特征提取。

其中，上述步骤(1)影像预处理方法采用顶帽和小波变换集成的仿生滤波算法；而连续尺度空间金字塔影像生成，则采用最近邻尺度降采样方法。

更进一步，所述步骤(2)还包括：

(2a)集成Harris、LSD及MSERs多类型点线面互补特征检测算法；

(2b)引入影像分块检测策略和顾及纹理特征的自适应特征检测算法，采用自上而下逐级引导的互补特征检测方法自动提取原始影像的准稠密特征。

更进一步，所述步骤(3)包括：

(3a)针对点特征集合，统计当前点特征邻域半径阈值范围(取值为2像素)内所有点特征及其检测响应值，保留最大响应值的点特征；

(3b)针对线特征集合，剔除长度小于线特征阈值(取值为影像大小的4％)的不稳定线段特征；

(3c)针对面特征集合，基于面特征的长轴与短轴和尺度条件，筛选稳定的中间尺度面特征。

上述，特征邻域半径阈值取为2，线特征集合阈值定义为影像大小的4％，面特征的尺度条件定义为I_min≤(a+b)/2≤I_max；

其中，a、b分别为面特征的长短轴，a/b≤e_T,e_T＝5；

I_min、I_max单位为像素，分别取值10和80。

更进一步，所述步骤(6)包括在三维空间里对原始训练影像进行多视多角度随机重采样，生成训练数据，利用CNN训练策略执行前后向传播迭代，关键步骤为：

(6a)利用不同的小随机数对CNN网络中的所有向量权重进行初始化；

(6b)基于CNN模型输出训练影像学习结果，求取学习特征与已知参考特征之间的偏量；

(6c)判断偏量是否在给定的限差范围内或满足给定的迭代次数，如满足则退出迭代，否则进行网络权重更新，重复执行上述两步，直至退出迭代。

其中，上述步骤(6c)所述网络权重更新采用的方法为：

将误差传回网络，基于梯度下降法和极小化误差策略，依次计算各层网络的权重改正值，继而进行网络权重更新。

与现有技术相比，本发明的有益效果如下：

针对存在高畸变、视差突变及遮挡等问题的大倾角复杂场景立体影像，在无需摄影内外方位元素、真稠密特征标注样本等先验知识条件下，研究提出一种基于深度学习的高质量准稠密互补特征提取方法，该方法为大倾角立体影像的稠密特征的自动提取提供了一种可行的技术，并为多源新型数据的融合处理及智能应用分析奠定方法基础。

具体包含：

(1)集成点线面特征检测算法的准稠密互补特征提取及优选策略，为后续影像不变特征深度学习提供有效的训练样本；

(2)提出基于卷积神经网络CNN的高质量特征学习与自动训练策略，以最大限度地获得高质量和均匀分布的互补特征检测结果。

(3)基于CNN模型的高质量互补特征自动提取算法及模型泛化能力提升策略，来提升特征的重复度、检测数目以及空间分布均匀性，保证检测特征的稳定性。

附图说明

图1为基于深度学习的高质量准稠密互补特征提取流程图；

图2为大倾角影像的互补特征自动检测结果；

图3为特征学习CNN模型结构；

图4为CNN模型训练与优化流程图；

图5为两组大倾角立体像对的互补特征检测与CNN模型检测结果对比；

具体实施方式：

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于深度学习的高质量准稠密互补特征提取方法，高质量准稠密互补特征提取流程及关键技术如图1所示，具体实施方式分为以下步骤：

1)特征自动检测策略

S1.影像预处理：

首先对影像拟采用顶帽和小波变换集成的仿生滤波算法对影像进行预处理，以解决光照不均匀导致的影像辐射畸变问题，并较好地保留局部边缘细节；

为克服影像大尺度变化及特征提取断裂问题，研究基于最近邻尺度降采样，建立连续尺度空间金字塔影像。

S2.点线面互补特征自动检测：

对上述影像先集成Harris、LSD(Line Segment Detector)及MSERs(MaximalStable Extremal Regions)多类型点线面互补特征检测算法，为后续CNN深度学习提供训练样本；然后引入影像分块检测策略和顾及纹理特征的自适应特征检测算法，并采用自上而下逐级引导的互补特征检测方法，以确保特征检测的准确与高效，在原始影像上自动提取到空间互补性较好的准稠密特征。

2)高质量互补特征优选策略

S3.分类剔除重复特征或明显不稳定特征：

分类剔除重复特征或明显不稳定特征，具体有：

①针对点特征集合，统计当前点特征邻域半径为d_T(单位为像素，拟取值为2)范围内所有点特征及其检测响应值，并保留其中具有最大响应值的点特征；

②针对线特征集合，直接剔除长度小于l_T(单位为像素，拟取值为影像大小的4％)不稳定线段特征；

③针对面特征集合，基于面特征的长轴a与短轴b，并利用尺度条件：I_min≤(a+b)/2≤I_max(I_min、I_max单位为像素，拟分别取值10和80)，及比率a/b≤e_T(e_T拟取值为5)筛选中间尺度且稳定的面特征。

S4.特征的属性聚类与优选：

根据特征中心(其中面特征的中心为其重心)之间的欧氏距离，建立最小生成树，再依据空间距离约束完成特征的属性聚类，最后建立顾及特征空间分布的自适应信息熵阈值预测模型，以优选出高信息熵特征，同时尽量保留纹理匮乏区域的特征。

为验证采用的自动检测策略的可行性，基于上述特征自动检测策略进行实现与测试，随机抽取两组实验结果展示于图2，其中纯白色点、灰色线段和灰色椭圆分别代表Harris角点、LSD线特征和MSERs面特征，观察可见特征优选结果空间分布均匀且互补性较好，验证了采用的自动检测策略的可行性，为后续CNN深度学习提供训练样本。

然而，考虑到更多不同平台、不同纹理结构的大倾角多平面场景影像的多样性和复杂性，特别是面向重复纹理、地物的多平面交界处等典型困难区域，如果仅利用上述特征自动检测策略难以取得合格训练样本的情况下，可以启用传统手工特征标注策略作为候补方法，从而保障特征检测训练样本的质量，进而确保方案体系的完整性与可靠性。

3)CNN自动训练策略

S5.CNN模型构建：

研究模仿人脑视觉皮层的多级网络感知特点，构建如图3所示的特征学习CNN模型结构，包括两个部分：编码部分和解码部分。

在编码部分，起始输入为256×256像素大小的彩色3通道影像，继而通过尺度不变卷积层来学习多尺度特征，接着利用视点不变卷积层生成透视不变特征变换网络，然后再通过引入非线性激活层，实现对复杂场景及视差不连续区域的多类基元特征位置及其几何不变性的深度集成学习；

在解码阶段，分别执行升采样、多层卷积、全连接及模型重组等运算，逐级实现目标不变特征还原，最终恢复到原输入影像大小尺寸，在此过程中，还通过跳层连接引入视觉感受野扩张、残差学习以及双重注意力等模块，其中视觉感受野扩张模块有望减少大倾角影像中目标场景的大尺度变化影响，残差学习模块旨在避免网络学习中的退化问题，而双重注意力模块则增强了对复杂场景中的局部细节的捕捉与表达性能，再利用全连接层实现影像全局与局部复杂结构的完整映射，并进一步通过对不同神经元的组合关闭，构建模型重组层，确保提取出相互独立的显著特征，同时有利于提升特征学习的泛化能力。

S6.CNN训练与优化：

CNN模型对不变特征的检测性能，在一定程度上取决于训练样本的数量与广度。因此，首先在三维空间里对原始训练影像进行多视多角度随机重采样，包括随机尺度采样、随机视点采样等运算，以最大限度地生成足够多的训练数据。在此基础上，利用图4所示的CNN训练策略执行前后向传播迭代，其中关键步骤包括：

①利用不同的小随机数对CNN网络中的所有向量权重进行初始化；

②读入样本中的训练影像及对应的特征检测标记，并基于CNN模型对训练影像依次执行网络编码和解码运算，输出影像学习结果，继而求取学习特征与已知参考特征之间的偏量；

③判断偏量是否在给定的限差范围内或满足给定的迭代次数，如满足条件，则退出迭代，否则将误差传回网络中，基于梯度下降法和极小化误差策略，依次计算各层网络的权重改正值，继而进行网络权重更新，重复执行②和③，直到退出迭代；

④确保按批次对所有样本数据执行上述迭代步骤，最后输出各网络层学习参数，结束训练程序。

S7.CNN模型特征提取测试：

基于Tensorflow与Python搭建CNN训练平台，并通过增广数据集实现CNN模型学习与训练。然后，随机抽取两组大倾角立体像对，分别利用互补特征检测算法与训练后CNN模型进行特征提取实验，其结果对比展示于图5，图中所检测的特征统一用白色表示。对图5进行目视观察可见，CNN模型在特征提取数目、特征空间分布互补性以及特征检测重复度等方面具有一定优势。因此，从定性角度表明，提出的基于深度学习的高质量准稠密互补特征提取方法的可行性。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.基于深度学习的高质量准稠密互补特征提取方法，其特征在于，至少包括步骤：

(1)影像预处理，建立连续尺度空间金字塔影像；

(2)点线面互补特征自动检测，提取原始影像的准稠密特征；

(3)分类剔除重复及不稳定特征：

(3a)针对点特征集合，统计当前点特征邻域半径阈值范围内所有点特征及其检测响应值，保留最大响应值的点特征；

(3b)针对线特征集合，剔除长度小于线特征阈值的不稳定线段特征；

(3c)针对面特征集合，基于面特征的长轴a与短轴b，首先，根据尺度条件：I_min≤(a+b)/2≤I_max，筛选中间尺度稳定的面特征，其中a、b分别为面特征的长短轴，I_min、I_max单位为像素，分别取值10和80；接着，根据比率条件：a/b≥e_T，进一步剔除狭长不稳定的面特征，其中，e_T取值为5；

(4)根据特征中心之间的欧氏距离，建立最小生成树，再依据空间距离约束完成特征的属性聚类，建立顾及特征空间分布的自适应信息熵阈值预测模型，优选出高信息熵特征，同时保留纹理匮乏区域的特征，为后续影像不变特征深度学习提供训练样本；

(5)构建CNN模型结构；

(6)对原始训练影像进行多角度随机重采样，利用CNN训练策略执行前后向传播迭代，对CNN进行训练与优化；

(7)选取大倾角立体像对，利用互补特征检测算法与训练后CNN模型进行特征提取。

2.根据权利要求1所述的基于深度学习的高质量准稠密互补特征提取方法，其特征在于，所述步骤(1)影像预处理方法采用顶帽和小波变换集成的仿生滤波算法。

3.根据权利要求1所述的基于深度学习的高质量准稠密互补特征提取方法，其特征在于，所述步骤(2)还包括：

(2a)集成Harris特征点、LSD特征线及MSERs特征面的多类型点线面互补特征检测算法；

(2b)引入影像分块检测策略和顾及纹理特征的自适应特征检测算法，采用自上而下逐级引导的互补特征检测方法自动提取原始影像的准稠密特征。

4.根据权利要求1所述的基于深度学习的高质量准稠密互补特征检测方法，其特征在于，所述步骤(6)包括在三维空间里对原始训练影像进行多视多角度随机重采样，生成训练数据，利用CNN训练策略执行前后向传播迭代，关键步骤为：

(6a)利用不同的小随机数对CNN网络中的所有向量权重进行初始化；

(6b)基于CNN模型输出训练影像学习结果，求取学习特征与已知参考特征之间的偏量；

(6c)判断偏量是否在给定的限差范围内或满足给定的迭代次数，如满足则退出迭代，否则进行网络权重更新，重复执行上述两步，直至退出迭代。

5.根据权利要求4所述的基于深度学习的高质量准稠密互补特征检测方法，其特征在于，所述步骤(6c)所述网络权重更新采用的方法为：

将误差传回网络，基于梯度下降法和极小化误差策略，依次计算各层网络的权重改正值，继而进行网络权重更新。