CN113066015B - 一种基于神经网络的多模态遥感影像旋转差异校正方法 - Google Patents

Abstract

本发明公开了一种基于神经网络的多模态遥感影像旋转差异校正方法。包括以下步骤：S1：获取一组具有相同目标场景的多模态遥感影像对，进行影像预处理；S2：针对每幅预处理后的影像，计算相位一致性特征值与方向角，并根据相位一致性特征值与方向角计算影像的旋转特征向量；S3：分别将两幅影像的旋转特征向量作为神经网络的输入，计算输出两幅影像的预测差异角；S4：基于预测差异角，完成多模态遥感影像旋转差异角的校正。本发明有效解决了在仅有简单影像数据信息的情况下，快速准确地预测多模态遥感影像间旋转差异角的技术问题，摆脱了辅助地理空间信息的限制。

Description

一种基于神经网络的多模态遥感影像旋转差异校正方法

技术领域

本发明涉及遥感图像处理技术领域，更具体的说是涉及多模态遥感影像匹配中针对旋转差异进行粗校准的预处理方法。

背景技术

多模态遥感影像匹配是遥感图像处理技术领域的重要研究任务，具有十分广阔的应用前景。实现遥感影像间的精确配准有助于将不同成像源、不同时相等的各类遥感影像数据的内在信息相互关联起来，从多个角度提高联合影像的可利用性。

然而，几何差异与非线性辐射畸变是制约遥感影像配准精度的关键难点，几何差异主要包括尺度差异与旋转差异。尺度不变特征变换(SIFT)及其改进算法通过尺度金字塔的构建与标记主方向等方法较好地实现了算法对同源影像间几何差异的鲁棒性，然而，由于多模态影像潜在的非线性辐射畸变与噪声，该算法仍然受到一定的局限；近年来，叶沅鑫等学者提出的定向相位一致性直方图(HOPC)算法与定向梯度通道特征(CFOG)算法则在配准过程中利用了相对准确的辅助几何地理信息分别对参考图像与目标图像进行几何校正，通过初始配准消除图像对之间明显的旋转和平移差异，但在实践中，图像的地理信息可能不够准确甚至无法使用，相关算法也将失去原有的作用；周微硕，安博文等人在论文《基于几何不变性和局部相似特征的异源遥感图像配准算法》(红外技术,2019,41(06):561-571)中公开了一种基于几何不变性与局部相似特征进行遥感影像匹配的方法，该方法利用了加速鲁棒特征算子对存在几何差异的异源遥感图像进行了预匹配，随后利用SURF(SpeededUp Robust Features,加速鲁棒特征)算法的特征方向生成原理获得已提取粗匹配点的特征方向矢量，并消除粗大误差，然后计算两幅图像之间的特征方向角度差，接着根据相应角度差，并结合双三次插值法对图像进行旋转校正，最后将待配准图像中的粗匹配点进行与图像校正一致的点坐标校正转换，虽然该方法在特征点的方向提取与生成上做出了较好的改进，在一定程度上实现了异源图像旋转差异的校正，但该方法中主方向的选取主要基于SURF算法，对于有较大辐射畸变的各类多模态遥感影像很难取得很好的表现，同时，该方法对初始粗匹配具有较高的依赖，因此仍然具有一定的局限性。

因此，如何提供一种无需利用任何辅助地理空间信息并能够对多模态遥感影像旋转差异进行较高精度校正的方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于神经网络的多模态遥感影像旋转差异校正方法，以解决背景技术存在的技术问题，拓展影像匹配算法的普适性。

为了实现上述目的，本发明采用如下技术方案：

一种基于神经网络的多模态遥感影像旋转差异校正方法，包括以下步骤：

S1：获取一组具有相同目标场景的多模态遥感影像对，进行影像预处理；

S2：针对每幅预处理后的影像，计算相位一致性特征值与方向角，并根据相位一致性特征值与方向角计算影像的旋转特征向量；

S3：分别将两幅影像的旋转特征向量作为神经网络的输入，计算输出两幅影像的预测差异角；

S4：基于预测差异角，完成多模态遥感影像旋转差异角的校正。

优选的，所述校正方法还包括：构建并训练神经网络，所述神经网络包括两个输入分支，步骤S2计算的两幅影像的旋转特征向量分别作为所述神经网络两个分支的输入。

优选的，所述神经网络两个输入分支结构相同，包括五个输出维度依次递减的全连接层与一个Dropout层，所述两个输入分支通过欧氏距离相连接为一个主干。

优选的，所述两个输入分支连接成的主干依次接入两个全连接层与一个Log-softmax层输出层。

优选的，所述S1中影像预处理包括以下过程，判断两幅影像是否为全色黑白影像，如果是则调整两幅影像的分辨率，使两幅影像的分辨率大小相同；如果不是则先通过加权将影像转换成为全色黑白影像再进行分辨率的调整。

优选的，所述步骤S2中的相位一致性特征值与方向角，具体计算过程包括对影像每个像素点(x,y)，其在log-Gabor滤波器所有不同尺度s、不同方向o下的相位一致性测度PC(x,y)的计算公式为：

式中w_o(x,y)为基于频响范围的权值函数，T为噪声阈值，ξ为常量，运算符

表示当且仅当表达式为正时取本身，否则取0，振幅分量A_so(x,y)为振幅分量、相位偏差函数ΔΦ_so(x,y)表示相位偏差；

构建中间变量a、b如下式所示：

其中O_so(θ)响应分量O_so(x,y)在log-Gabor滤波器方向θ下的值，则相位一致性方向角

为

优选的，所述每幅影像的旋转特征向量的计算包括以下步骤：

S21对单幅影像，将每个像素点的相位一致性特征值的集合构成该影像的相位一致性特征图，每个像素点的相位一致性方向角的集合构成该影像的方向图；

S22在相位一致性特征图上，对影像的每个像素点的相位一致性特征值PC(x,y)与方向角

影像的初始化旋转特征向量为Rot＝(r₀,r₁,……,r_j,……,r₃₅₉)，令

其中符号

表示向下取整，当n+1＝360时，令r_n+1＝r₀，则有如下计算式：

S23依次遍历影像的所有像素点，将初始化旋转特征向量Rot中每一个元素r_j进行归一化处理后即为该影像的旋转特征向量Rot_n，归一化计算式如下：

n_j＝(r_j-r_m)/(r_M-r_m)

式中r_M、r_m分别表示初始化旋转特征向量Rot中元素最大值与最小值，n_j表示r_j归一化处理后对应的旋转特征向量Rot_n中元素。

优选的，所述步骤S3中的预测差异角的计算包括以下步骤：

S31：将两幅影像的旋转特征向量作为神经网络的输入，经过神经网络输出1×1×180维特征向量，记为：

Aout＝(a₀,a₁,……,a_i,……,a₁₇₉)

S32：将向量Aout视为向量环，即a₀的前一位元素为a₁₇₉，取Aout中元素的最大值，记为a_m，其位于向量中的位置为m，计算a_m前89位元素的和为S_m1，后89位元素的和为S_m2，设网络训练误差为error，则预测差异角为：

Ang＝(m+(S_m1-S_m2)×error/2(S_m1+S_m2))

经由上述的技术方案可知，本发明公开提供了一种基于神经网络的多模态遥感影像旋转差异校正方法，对待配准图像进行旋转仿射校正，与现有技术相比具有以下有益效果：

1、在本发明中，首先应用了相位一致性信息来构建影像的旋转特征向量，该思想一方面利用了相位一致性信息对非线性辐射畸变的鲁棒性，从根本上减弱了多模态遥感影像辐射畸变的影响，加强了算法对各类多模态影像应用的普适性；另一方面，以提取的稳健特征向量作为后续步骤中神经网络的输入有利于简化网络结构，可潜在地提高旋转差异预测精度与算法执行速度。

2、本发明搭建了双分支结构神经网络进行旋转差异的预测。该过程在旋转差异预测任务中首次引入神经网络，有助于对影像内在旋转特征进行更深入的挖掘，较大程度地消除校正误差，权重共享的双分支结构则充分联合了两幅影像的相似与差异信息，最终实现旋转差异的精确校正。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是根据本发明实施例的基于神经网络的多模态遥感影像旋转差异校正方法的步骤流程图；

图2是根据本发明实施例的神经网络结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于神经网络的多模态遥感影像旋转差异校正方法，如图1所示包括以下步骤：

S1：获取一组具有相同目标场景的多模态遥感影像对，进行影像预处理；

S2：针对每幅预处理后的影像，计算相位一致性特征值与方向角，并根据相位一致性特征值与方向角计算影像的旋转特征向量；

S3：分别将两幅影像的旋转特征向量作为神经网络的输入，计算输出两幅影像的预测差异角；

S4：基于预测差异角，完成多模态遥感影像旋转差异角的校正。

为了进一步优化上述技术方案，上述校正方法还包括：构建并训练神经网络，所述神经网络包括两个输入分支，步骤S2计算的两幅影像的旋转特征向量分别作为所述神经网络两个分支的输入。

如图2所示用于预测差异角的神经网络具有两个输入分支，每个分支结构相同，均由五个全连接层与一个Dropout层构成，两个分支通过欧氏距离相连接为一个主干，随后主干再接入两个全连接层与一个Log-softmax层，神经网络具体结构参见下表

层名称	层位置	层性质	输出维度	激活函数
					Branch-FC0	分支	全连接层	1×1×1024	ReLU
Branch-FC1	分支	全连接层	1×1×512	ReLU
					Branch-FC2	分支	全连接层	1×1×256	ReLU
Branch-FC3	分支	全连接层	1×1×128	ReLU
					Branch-FC4	分支	全连接层	1×1×64	ReLU
Dropout	分支	Dropout层	1×1×64	-
					FC5	主干	全连接层	1×1×128	ReLU
FC6	主干	全连接层	1×1×180	ReLU
					Log-softmax	主干	输出层	1×1×180	-

步骤S1中影像预处理首先判断影像是否为全色黑白，如果是则转入第二步将两幅影像重采样，调整两幅影像的分辨率，使其分辨率大小相同，否则将多通道影像加权转换成为黑白影像再转入第二步进行分辨率的调整；

步骤S2中对每幅影像的每个像素点(x，y)，其在log-Gabor滤波器所有不同尺度s、不同方向o下的相位一致性测度PC(x，y)如下式(1)所示：

式(1)中w_o(x，y)为基于频响范围的权值函数，T为噪声阈值，ξ为一个小量，运算符

表示当且仅当表达式为正时取本身，否则取0，振幅分量A_so(x，y)、相位偏差函数ΔΦ_so(x，y)的定义分别如式(2)、(3)所示：

式(3)中

与

分别由如下式(4)、(5)、(6)给出：

上述式(2)～(6)中E_so(x，y)、O_so(x，y)为滤波后的响应分量，定义如式(7)所示：

[E_so(x，y)，O_so(x，y)]

＝[I(x，y)*L^even(x，y，s，o)，I(x，y)*L^odd(x，y，s，o)] (7)

式(7)中L^even(x，y，s，o)与Lo^dd(x，y，s，o)分别为二维log-Gabor滤波函数在空间域内的实部与虚部，其中二维log-Gabor滤波函数的形式如式(8)所示：

式(8)中(ρ，θ)代表对数极坐标，s、o为滤波器的尺度与方向，ρ_s、θ_so为中心频率对应参数，σ_ρ、σ_θ为ρ、θ的带宽；

计算像素点(x，y)的相位一致性方向角，设式(7)中响应分量O_so(x，y)在方向θ下的值为O_so(θ)，构建中间变量a、b如下所示：

a＝∑_θ(O_so(θ)cos(θ)) (9)

b＝∑_θ(O_so(θ)sin(θ)) (10)

则相位一致性方向角

为

其中，方向角范围在[0°，360°)内；

对单幅影像，由公式(1)计算得每个像素点的相位一致性特征值的集合构成该影像的相位一致性特征图，公式(11)计算的每个像素点的相位一致性方向角的集合构成该影像的方向图；

初始化影像的旋转特征向量为Rot＝(r₀，r₁，……，r_j，……，r₃₅₉),对影像的每个像素点的相位一致性特征值PC(x,y)与方向角

令

其中符号

表示向下取整。当n+1＝360时，令r_n+1＝r₀，则有如下计算式：

依次遍历影像的所有像素点，根据其相位一致性方向角的大小，以特征值为权重，更新向量Rot的各元素值，并对向量Rot进行归一化处理后即为该影像的旋转特征向量Rot_n：

设向量Rot_n＝(n₀,n₁,……,n_j,……,n₃₅₉)，r_M、r_m分别为向量Rot中元素最大值与最小值，对Rot_n中每一个元素n_j(j∈[0,359],j∈Z)，归一化计算式如下：

n_j＝(r_j-r_m)/(r_M-r_m) (13)

最终得到大小为1×360的旋转特征向量Rot_n。

步骤S3中分别将两幅影像的旋转特征向量作为神经网络的两个分支的输入，输出1×1×180维特征向量，记为Aout＝(a₀，a₁，……，a_i，……,a₁₇₉)，其中a₀＝a₁＝...a_i...＝a₁₇₉＝0；将向量Aout视为向量环，即a₀的前一位元素为a₁₇₉，取Aout中元素的最大值，记为a_m，其位于向量中的位置为m(m∈[0,179],m∈Z)。计算a_m前89位元素的和为S_m1，后89位元素的和为S_m2，舍去a_m向前第90位(或向后第90位)的元素,设网络的训练误差error＝5°，则预测差异角由下式计算：

Ang＝(m+(S_m1-S_m2)×error/2(S_m1+S_m2)) (14)

步骤S3计算获取预测差异角后对影像进行相应角度的旋转，使两幅影像角度近乎一致，完成多模态遥感影像旋转差异角的校正。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种基于神经网络的多模态遥感影像旋转差异校正方法，其特征在于，所述校正方法包括以下步骤：

S1：获取一组具有相同目标场景的多模态遥感影像对，进行影像预处理；

S2：针对每幅预处理后的影像，计算相位一致性特征值与方向角，并根据相位一致性特征值与方向角计算影像的旋转特征向量；

构建并训练神经网络，所述神经网络包括两个输入分支，计算的两幅影像的旋转特征向量分别作为所述神经网络两个分支的输入；

所述每幅影像的旋转特征向量的计算包括以下步骤：

S21对单幅影像，将每个像素点的相位一致性特征值的集合构成该影像的相位一致性特征图，每个像素点的相位一致性方向角的集合构成该影像的方向图；

S22在相位一致性特征图上，对影像的每个像素点的相位一致性特征值PC(x,y)与方向角

影像的初始化旋转特征向量为Rot＝(r₀,r₁,……,r_j,……,r₃₅₉)，令

其中符号

表示向下取整，当n+1＝360时，令r_n+1＝r₀，则有如下计算式：

S23依次遍历影像的所有像素点，将初始化旋转特征向量Rot中每一个元素r_j进行归一化处理后即为该影像的旋转特征向量Rot_n，归一化计算式如下：

n_j＝(r_j-r_m)/(r_M-r_m)

式中r_M、r_m分别表示初始化旋转特征向量Rot中元素最大值与最小值，n_j表示r_j归一化处理后对应的旋转特征向量Rot_n中元素；

S3：分别将两幅影像的旋转特征向量作为神经网络的输入，计算输出两幅影像的预测差异角；

具体包括以下步骤：

S31：将两幅影像的旋转特征向量作为神经网络的输入，经过神经网络输出1×1×180维特征向量，记为：

Aout＝(a₀,a₁,……,a_i,……,a₁₇₉)

S32：将向量Aout视为向量环，即a₀的前一位元素为a₁₇₉，取Aout中元素的最大值，记为a_m，其位于向量中的位置为m，计算a_m前89位元素的和为S_m1，后89位元素的和为S_m2，设网络训练误差为error，则预测差异角为：

Ang＝(m+(S_m1-S_m2)×error/2(S_m1+S_m2))

S4：基于预测差异角，完成多模态遥感影像旋转差异角的校正。

2.根据权利要求1所述的基于神经网络的多模态遥感影像旋转差异校正方法，其特征在于：所述神经网络两个输入分支结构相同，包括五个输出维度依次递减的全连接层与一个Dropout层，所述两个输入分支通过欧氏距离相连接为一个主干。

3.根据权利要求2的基于神经网络的多模态遥感影像旋转差异校正方法，其特征在于：所述两个输入分支连接成的主干依次接入两个全连接层与一个Log-softmax层输出层。

4.根据权利要求1所述的基于神经网络的多模态遥感影像旋转差异校正方法，其特征在于：所述S1中影像预处理包括以下过程，判断两幅影像是否为全色黑白影像，如果是则调整两幅影像的分辨率，使两幅影像的分辨率大小相同；如果不是则先通过加权将影像转换成为全色黑白影像再进行分辨率的调整。

5.根据权利要求1所述的基于神经网络的多模态遥感影像旋转差异校正方法，其特征在于：

所述步骤S2中的相位一致性特征值与方向角，具体计算过程包括，对影像每个像素点(x,y)，其在log-Gabor滤波器所有不同尺度s、不同方向o下的相位一致性测度PC(x,y)的计算公式为：

式中w_o(x,y)为基于频响范围的权值函数，T为噪声阈值，ξ为常量，运算符

表示当且仅当表达式为正时取本身，否则取0，振幅分量A_so(x,y)为振幅分量、相位偏差函数ΔΦ_so(x,y)表示相位偏差；

构建中间变量a、b如下式所示：

其中O_so(θ)响应分量O_so(x,y)在log-Gabor滤波器方向θ下的值，则相位一致性方向角

为

。

Images