CN113313002A - 一种基于神经网络的多模态遥感影像特征提取方法 - Google Patents

Abstract

本发明公开了一种基于神经网络的多模态遥感影像特征提取方法，包括：基于Harris角点检测算法提取主影像中的特征点：将主影像中的特征点的像素坐标映射至待配准影像中作为待配准影像特征点；取待配准影像特征点附近领域δ范围作为待配准区域；利用卷积神经网络分别构建主影像的特征点描述符和待配准区域的特征点描述符；计算主影像的特征点描述符和待配准区域的特征点描述符之间的欧氏距离；在待配准区域中找到和主影像特征点距离最近点为最终配准点。本发明解决了现有技术中特征提取算子不稳定导致特征匹配效率低以及单一描述符无法描述多模态遥感影像的技术问题。

Description

一种基于神经网络的多模态遥感影像特征提取方法

技术领域

本发明涉及遥感图像处理技术领域，更具体的说是涉及多模态影像联合特征提取中的一种基于关键点选择和卷积神经网络的图像特征提取方法。经本发明提取的多模态遥感影像特征可用于遥感影像的异源配准、多源定位等领域。

背景技术

目前，多模态遥感影像特征提取已经成为遥感图像处理领域的一个很重要的基础研究。多模态遥感影像特征提取有很广泛的应用，如全球遥感全天候监测，多源信息联合定位，确定自然灾害发生面积等领域。但是由于多模态遥感影像具有多分辨率，多光谱，多时相等问题内容复杂，导致每个图像的特征描述不同，提取共同特征就变得很有挑战性。

多模态遥感影像特征提取方法中应用比较广泛的是基于互信息的遥感影像匹配方法和基于SIFT的模板特征提取方法。二者在特定的任务中具有很好的表现，但是不具有普适性无法应对较高的非线性畸变和噪声。

叶沅鑫，慎利等人在论文《局部相位特征描述的多源遥感影像自动匹配》(武汉大学学报(信息科学版),2017,42(09),1278-1284)中公开了一种基于局部相位一致性直方图的多模态遥感影像特征提取方法。该方法引入具有光照和对比度不变性的相位一致性模型,并对其进行扩展，构建相位一致性的特征方向信息，然后借助于梯度方向直方图的模板结构，利用其特征值和特征方向建立一种局部特征描述符——局部相位一致性方向直方图(local histogram oforientatedphase congruency,LHOPC)，最后利用欧氏距离作为匹配测度进行同点名识别。其具体做法是：第一步，建立影像的高斯差分(difference-of-Gaussian,DOG)尺度空间，并在DOG尺度空间进行极值检测，提取出具有尺度不变性的特征点。第二步，对相位一致性模型进行拓展，构建相位一致性特征方向，然后利用尺度空间中的影像的相位一致性特征值和特征方向建立LHOPC特征向量，对上述特征点进行描述。第三步采用欧式距离作为匹配测度，通过LHOPC描述符之间的最近邻和次近邻距离之比进行同名点识别，最终得到稳定的多模态描述符。虽然该方法有效利用了相位响应一致性原理可以在一定程度上对抗多模态遥感影像产生的非线性形变，但是方法还存在局限性。该方法仅仅在遥感影像经过严格校正仅仅存在少量位移偏差时具有较高的准确性。当遥感影像有较大的偏差计算量较大性能变差。

河海大学提出的专利申请《一种基于SIFT-LPP的高光谱遥感影像特征提取方法》(专利申请号201611039115.7，公开号CN106778494)公开了一种基于SIFT-LPP的高光谱遥感影像特征提取方法。该方法首先根据SIFT特征找到关键点，然后求解出SIFT中128维特征向量并进行归一化处理。随后将128维特征向量映射到PCA子空间，利用LPP算法将128维向量映射到低维空间最后通过支持向量机分类。该方法虽然是对SIFT的改进方法，通过PCA降维起到了滤波去噪的作用。在一定程度上这种做法可以克服因为图像噪声造成的影响，但是SIFT无法处理多模态影像产生的非线性映射问题，该方法无法用于多模态特征提取。

因此，如何提供一种具有普适性的多模态遥感影像特征提取方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于神经网络的多模态遥感影像特征提取方法，以至少解决现有技术中的多模态遥感影像无法提取鲁棒性的特征信息，导致异源信息融合困难卫星无控定位精度低的问题。

为了实现上述目的，本发明采用如下技术方案：

一种基于神经网络的多模态遥感影像特征提取方法，包括：

S1：基于Harris角点检测算法提取主影像中的特征点：

S2：将所述主影像中的所述特征点的像素坐标映射至待配准影像中作为待配准影像特征点；

S3：取所述待配准影像特征点附近领域δ范围作为待配准区域；

S4：利用卷积神经网络分别构建所述主影像的特征点描述符和所述待配准区域的特征点描述符；

S5：计算所述主影像的特征点描述符和所述待配准区域的特征点描述符之间的欧氏距离；

S6：在所述待配准区域中找到和所述主影像特征点距离最近点为最终配准点。

优选的，所述S1具体为：

S11：对原始主影像进行非线性扩散滤波，其中非线性扩散滤波函数为：

L为图像亮度，▽L表示图像的梯度，传导函数c(x,y,t)，如式(2)所示：

c(x,y,t)＝g(|▽L_σ(x,y,t)|) (2)

▽L_σ为高斯平滑后的图像梯度，(x,y,t)表示像素坐标(x,y)在t轮滤波，其中函数g的形式如式(3)所示：

k为一个常数；

S12：将滤波后的主影像分为N×N个不重叠的图像块，并在每个所述图像块中根据Harris角点检测算法提取角点，并取Harris算子值最大的k个作为该图像块的特征点，则最终特征点的数量为N×N×k。

优选的，所述卷积神经网络结构依次为：输出维度分别为32×32×32的2个卷积层、64×16×16的2个卷积层、128×8×8的2个卷积层、128×8×8的Dropout层和128×1×1的卷积层。

优选的，在S1之前还包括S0：对多模态遥感影像进行预处理。

优选的，所述S0具体为：

S01：判断所述多模态遥感影像是否为全色黑白影像，如是执行S02，否则将多模态遥感影像加权成为全色黑白影像；

S02：将其中一幅全色黑白影像设置为主影像，另外一幅全色黑白影像设置为待配准影像；

S03：将所述主影像和所述待配准影像重采样为分辨率相同的影像。

优选的，所述S6具体为：

S61：对所述待配准区域中每个特征点描述符和对应所述主影像的特征点描述符之间的欧式距离根据大小进行排序；

S62：选择距离值最小的点作为最终配准点，并将所述主影像特征点和对应待配准影像的所述最终配准点的卷积神经网络特征向量进行提取，形成多模态遥感影像特征向量。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于神经网络的多模态遥感影像特征提取方法，首先利用非线性扩散方法对多模态遥感影像进行非线性扩散滤波；对主影像分为若干不重合的图像块；对每个图像块进行Harris角点特征提取；在主影像的图像块中对Harris角点值进行排序；找出Harris角点值最大的若干点为图像块的特征点；主影像每个图像块的特征点集合作为主影像特征点。经过非线性扩散滤波避免了多模态影像噪声对于特征点提取算法的影像，尽可能保留置信度大的图像结构。此外分图像块提取Harris角点并通过排序确定最终角点可有效避免因光照辐射不均导致的图像特征点分布过于集中，特征提取效率低下的问题。

其次，通过像素坐标映射，将主影像特征点的像素坐标映射到待匹配影像中；在待匹配影像中以映射点为中心划出一个待匹配邻域；将邻域内每个点通过卷积神经网络计算出对应的特征向量；把主影像特征点的特征向量和待匹配影像中的待匹配邻域内每个点的特征向量求欧式距离；将上述距离排序，取距离最小值的像素坐标为待匹配图像的最佳匹配点；进一步将主影像特征点的特征向量和对应待匹配影像最佳特征点的特征向量组合形成多模态遥感影像特征向量。上述过程实现了用卷积神经网络描述符对多模态影像信息的描述，进而解决了单一描述符无法描述多模态遥感影像的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是根据本发明实施例的一种基于神经网络的多模态遥感影像特征提取方法的步骤流程图；

图2是根据本发明实施例的一种可选的图像块提取Harris角点提取的结果示意图；

图3是根据本发明实施例的一种可选的卷积神经网络结构示意图；

图4是本发明的仿真结果图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于神经网络的多模态遥感影像特征提取方法，如图1所示，包括：

S1：对多模态遥感影像进行影像预处理；具体为：

S11：判断多模态遥感影像是否为全色黑白图像，如果为是直接进入S12，如果为否将多通道影像转化为全色黑白影像；

S12：设置其中一幅影像为主影像，另外一幅影像为待配准影像；

S13：将主影像和待配准影像重采样为分辨率大小相同的影像。

S2：对主影像提取特征点；具体为：

S21：设置迭代系数t＝50，迭代常数k＝2；

对原始主影像和待配准影像进行非线性扩散滤波，其非线性扩散滤波函数如式(1)所示：

式(1)中的L为图像亮度，▽L表示图像的梯度，传导函数c(x,y,t)，如式(2)所示：

c(x,y,t)＝g(|▽L_σ(x,y,t)|) (2)

式(3)中▽L_σ为高斯平滑后的图像梯度，其中函数g的形式如式(3)所示：

根据式(1)进行迭代，最终得到进行非线性扩散后的主影像和待配准影像。

S22：将主影像分为N×N个不重叠区域，在本实施例中具体设置为5×5个不重叠的图像块，并在每个图像块中根据Harris算子提取角点，如图2的图像块Harris结果所示；

将每个图像块Harris算子值进行排序，取Harris算子值最大的k个点作为该图像块的特征点，本实施例选用5个点为此图像块的特征点，则最终特征点的数量为5×5×5＝125个特征点。

S3：待匹配影像邻域选取；具体为：

S31：将主影像生成的特征点的像素坐标映射到待配准影像中形成待配准影像中的映射点，在本实施例中为125个特征点。

S32：在待配准影像中，以每个映射点像素坐标为中心以δ为边长做出一个正方形的待配准邻域，在本实施例中，采用10像素为边长做出一个正方形的待配准邻域。

S4：卷积神经网络特征匹配；具体为：

S41：对主影像中每个特征点都通过卷积神经网络特征提取算法，获取主影像特征点的卷积神经网络特征向量，即特征点描述符；

S42：将待配准邻域内映射点逐一利用卷积神经网络提取特征点描述符。

S5：多模态影像特征输出；具体为：

S51：对待配准影像中映射点待配准邻域中每个特征点描述符和对应主影像特征点描述符计算欧氏距离；

S52：对待配准影像中每个映射点邻域中每个特征点描述符和对应主影像特征点描述符的欧式距离根据大小排序；

S53：在待匹配影像中取每个映射点待配准邻域欧式距离最小的点作为最终配准点；

S54：将主影像特征点和对应待匹配影像的最终配准点的卷积神经网络特征向量提取出来，形成多模态遥感影像特征向量。多模态遥感影像的特征向量的组合形式根据应用场景的不同可以灵活组合。

最终如图4所示，为发明的仿真结果图。图中左边为来自Google earth的全色光学影像，右边为来自高分三号卫星的SAR影像。将光学影像设置为主影像，SAR影像设置为待配准影像后，经过本发明所示方法提取的关联特征点，提取的特征点定位精度达到1像素精度。充分说明本发明提出的一种多模态遥感影像特征联合提取方法可以更好的完成图像特征提取。

本实施例中，卷积神经网络具体结构，如图3所示：

层名称	层性质	输出维度	卷积核大小	卷积步长
					Conv0	卷积层	32×32×32	3×3	1
Conv1	卷积层	32×32×32	3×3	1
					Conv2	卷积层	64×16×16	3×3	2
Conv3	卷积层	64×16×16	3×3	1
					Conv4	卷积层	128×8×8	3×3	1
Conv5	卷积层	128×8×8	3×3	1
					Drop0	Dropout层	128×8×8	-	-
Conv6	卷积层	128×1×1	8×8	1

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种基于神经网络的多模态遥感影像特征提取方法，其特征在于，包括：

S1：基于Harris角点检测算法提取主影像中的特征点：

S2：将所述主影像中的所述特征点的像素坐标映射至待配准影像中作为待配准影像特征点；

S3：取所述待配准影像特征点附近领域δ范围作为待配准区域；

S4：利用卷积神经网络分别构建所述主影像的特征点描述符和所述待配准区域的特征点描述符；

S5：计算所述主影像的特征点描述符和所述待配准区域的特征点描述符之间的欧氏距离；

S6：在所述待配准区域中找到和所述主影像特征点距离最近点为最终配准点。

2.根据权利要求1所述的一种基于神经网络的多模态遥感影像特征提取方法，其特征在于，所述S1具体为：

S11：对原始主影像进行非线性扩散滤波，其中非线性扩散滤波函数为：

L为图像亮度，

表示图像的梯度，传导函数c(x,y,t)，如式(2)所示：

为高斯平滑后的图像梯度，(x,y,t)表示像素坐标(x,y)在t轮滤波，其中函数g的形式如式(3)所示：

k为一个常数；

S12：将滤波后的主影像分为N×N个不重叠的图像块，并在每个所述图像块中根据Harris角点检测算法提取角点，并取Harris算子值最大的k个作为该图像块的特征点，则最终特征点的数量为N×N×k。

3.根据权利要求1所述的一种基于神经网络的多模态遥感影像特征提取方法，其特征在于，所述卷积神经网络结构依次为：输出维度分别为32×32×32的2个卷积层、64×16×16的2个卷积层、128×8×8的2个卷积层、128×8×8的Dropout层和128×1×1的卷积层。

4.根据权利要求1所述的一种基于神经网络的多模态遥感影像特征提取方法，其特征在于，在S1之前还包括S0：对多模态遥感影像进行预处理。

5.根据权利要求4所述的一种基于神经网络的多模态遥感影像特征提取方法，其特征在于，所述S0具体为：

S01：判断所述多模态遥感影像是否为全色黑白影像，如是执行S02，否则将多模态遥感影像加权成为全色黑白影像；

S02：将其中一幅全色黑白影像设置为主影像，另外一幅全色黑白影像设置为待配准影像；

S03：将所述主影像和所述待配准影像重采样为分辨率相同的影像。

6.根据权利要求1所述的一种基于神经网络的多模态遥感影像特征提取方法，其特征在于，所述S6具体为：

S61：对所述待配准区域中每个特征点描述符和对应所述主影像的特征点描述符之间的欧式距离根据大小进行排序；

S62：选择距离值最小的点作为最终配准点，并将所述主影像特征点和对应待配准影像的所述最终配准点的卷积神经网络特征向量进行提取，形成多模态遥感影像特征向量。

Images