CN115131671A - 一种跨域高分辨率遥感图像典型目标细粒度识别方法 - Google Patents

Abstract

本发明公开了一种跨域高分辨率遥感图像典型目标细粒度识别方法，涉及遥感图像技术领域，包括以下步骤：获取典型目标的跨域高分辨率遥感图像，对源域高分辨率遥感图像进行预训练；利用预训练得到的深度神经网络对高分辨率遥感图像进行公共域不变特征提取；根据公共域不变特征构建典型目标的细粒度视觉并进行识别。本发明通过源域高分辨率遥感图像预训练，公共域不变特征提取，典型目标的细粒度视觉构建与识别，解决跨域条件下高分遥感图像典型目标的细粒度识别问题，提升识别的有效性与精度。

Description

一种跨域高分辨率遥感图像典型目标细粒度识别方法

技术领域

本发明涉及遥感图像技术领域，具体为一种跨域高分辨率遥感图像典 型目标细粒度识别方法。

背景技术

随着对地观测技术的进步，以及地球成像卫星系统、天基侦察系统的 不断发展，卫星的重访周期逐渐缩短，尤其是星座组网技术的不断进步， 使得遥感图像的时空分辨率逐渐提高，可利用的卫星遥感图像呈指数级地 增长，更新速度也逐步加快。传统方式逐渐不能满足遥感信息高效处理的 需求，亟需发展智能化分析与有效的数据挖掘方法。

高分遥感已经进入了“三高”(高空间分辨率、高光谱分辨率、髙时间 分辨率)和“三多”(多平台、多传感器和多角度)时代。这给遥感信息的处 理提供了极为丰富的数据源，同时也带来了挑战。

由于高分遥感图像具有跨域特性，典型目标则具有细粒度特性，导致 跨域迁移难、精细识别难问题。

发明内容

本发明针对上述现有技术存在的不足，提供一种跨域高分辨率遥感图 像典型目标细粒度识别方法，解决跨域条件下典型目标的细粒度识别问题。

为了解决上述技术问题，本发明提供了如下的技术方案：

一种跨域高分辨率遥感图像典型目标细粒度识别方法，包括以下步骤：

获取典型目标的跨域高分辨率遥感图像，对源域高分辨率遥感图像进 行预训练；

利用预训练得到的深度神经网络对高分辨率遥感图像进行公共域不变 特征提取；

根据公共域不变特征构建典型目标的细粒度视觉并进行识别。

作为本发明的进一步技术方案为，所述获取典型目标的跨域高分辨率 遥感图像，对源域高分辨率遥感图像进行预训练；具体包括：

设遥感图像源域目标训练样本D＝(x_i,t_i)，i＝1,2,…,n，n为训练样本总 数，x_i为样本，t_i为样本标签；

利用深度神经网络对样本进行训练，其中，定义W为网络参数，H为 网络结构，此时样本训练误差E_D可以如下表示：

其中，f()为网络对于典型目标训练样本的实际输出值，考虑到训练 学习过程中网络参数权重的影响，在训练误差后加上权重衰减项E_W：

其中，m表示网络中的参数数量.w_i为权重；因此整体训练误差可以如 下表示：

F(W)＝βE_D+αE_W； (3)

其中，α、β是超参数，要用来对网络参数的分布形式进行控制；

然后，利用贝叶斯公式对超参数α、β进行推断表示和计算求解，其后 验分布形式如下：

由于式(4)中p(D|H)与α、β无关，所以，模型参数最大后验求解问题 等价于最大似然函数P(D|α,β,H)的计算求解。

设F(W)取最小值时所对应的权值为W_MP，利用最大似然原理，求出满足 最大似然函数的α、β，即得到网络最优的超参数，如下所示，

其中，

表示网络中有多少参数在训练过程中起作 用，其取值范围是[0,m]，m表示网络参数的总体数量；

在对网络模型进行优化求解时，需要对F(W)在其最小点W_MP处的 Hessian矩阵进行求解计算，即

这里采用高斯-牛顿逼近法对 Hessian阵进行简化，得到

其中J是E_D在点W_MP的雅可 比矩阵，I_m为单位矩阵。

进一步地，所述α、β是超参数，在初始化超参数时，设定α＝0和β＝1， 对网络参数赋予初始值。

作为本发明的进一步技术方案为，所述利用预训练得到的深度神经网络对 高分辨率遥感图像进行公共域不变特征提取；具体包括：

深度神经网络作为公共域不变特征的初始提取网络，定义该网络为Z， 源域中样本为x_i，样本标签为t_i，目标域中样本为x_j；此时，源域样本分 类损失可以表示为：

L_cls＝Φⁱ(Z(x_i)),y_i； (6)

Φⁱ为特定的线性层；

定义源域、目标域的域判别模型损失：

L_D(D(x⁽ⁱ⁾,x^(j)))＝E[log D(G(x⁽ⁱ⁾))]+E[log(1-D(G(x^(j))))]； (7)

定义欺骗域判别模型的损失：

L_G(G(x⁽ⁱ⁾,x^(j)))＝||E[G(x⁽ⁱ⁾)]-E[G(x^(j))]||²； (8)

定义总体损失：

L_total＝L_cls+L_D(D(x⁽ⁱ⁾,x^(j)))+L_G(G(x⁽ⁱ⁾,x^(j)))； (9)

将总体损失作为目标函数进行优化求解，得到公共域不变特征。

作为本发明的进一步技术方案为，所述根据公共域不变特征构建典型目标 的细粒度视觉并进行识别；具体包括：

根据提取公共域不变特征的主干网络获取局部判别性区域；

对局部判别性区域进行注意力聚焦，进行强制学习局部判别性区域；

对局部判别性区域进行注意力转移，获得全局-多局部判别性区域融 合特征矩阵；

对全局-多局部判别性区域融合特征矩阵进行分类，实现细粒度识别。

进一步地，所述根据公共域不变特征提取的主干网络获取局部判别性 区域；具体包括：

公共域不变特征主干网络生成N个特征Maps，可以表示为F∈R^H×W×N， 其中，H、W、N分别表示高度，宽度与通道数；随后特征Maps经过卷积 运算f(·)得到M个注意力Maps，可以表示为A∈R^H×W×M，其中，H、W、M 分别表示高度，宽度与注意力Maps的数量；

M个注意力Maps中每一个A_k表征了目标的某一个局部判别性区域。

进一步地，所述对局部判别性区域进行注意力聚焦，进行强制学习局 部判别性区域；具体包括：

对A_k进行归一化处理得到A_k ^*，设定阈值θ_C，此时，将A_k ^*(i,j)大于阈 值的元素置为1，其他置为0，得到聚焦后的Mask C_k，用以表征某一个 局部判别性区域，将其上采样至原输入样本尺寸，作为一个新的样本输入 对模型进行训练，以强制模型学习这些局部判别性区域。

进一步地，所述对局部判别性区域进行注意力转移，获得全局-多局 部判别性区域融合特征矩阵；具体包括：

设定阈值θ_D，将A_k ^*(i,j)小于阈值的元素置为1，其他置为0，得到注 意力转移后的Mask D_k，用以表征其他具有判别性的局部区域，增强目标 多局部判别性特征的表示能力；

当主干网络生成N个表征全局信息的特征Maps与表征多局部判别性 区域的M个注意力Maps后，利用双线性注意力池化进行全局-多局部区 域判别性特征的多模态融合，即将特征Maps与某一局部区域的注意力Map 按元素对应相乘得到F_k；

F_k＝A_k×F(k＝1,2,……M)； (11)

然后，通过全局平均池化策略得到特征向量f_k＝g(F_k)，最后，将典型 目标的多个局部区域特征进行连接，得到全局-多局部判别性区域融合特 征矩阵Γ(A,F)；

进一步地，对全局-多局部判别性区域融合特征矩阵进行分类，实现细 粒度识别；具体包括：对全局-多局部判别性区域融合特征矩阵，利用 softmax分类器对其进行分类，实现其细粒度识别。

本发明的有益效果是：

本发明通过源域高分辨率遥感图像预训练，公共域不变特征提取，典 型目标的细粒度视觉构建与识别，解决跨域条件下高分遥感图像典型目标 的细粒度识别问题，提升识别的有效性与精度。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与 本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明提出的一种跨域高分辨率遥感图像典型目标细粒度识别 方法流程图；

图2为本发明提出的根据公共域不变特征构建典型目标的细粒度视觉 与识别方法流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描 述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

参见图1，一种跨域高分辨率遥感图像典型目标细粒度识别方法，包 括以下步骤：

步骤101，获取典型目标的跨域高分辨率遥感图像，对源域高分辨率 遥感图像进行预训练；

步骤102，利用预训练得到的深度神经网络对高分辨率遥感图像进行 公共域不变特征提取；

步骤103，根据公共域不变特征构建典型目标的细粒度视觉并进行识 别。

在步骤101中，所述获取典型目标的跨域高分辨率遥感图像，对源域 高分辨率遥感图像进行预训练；具体包括：

设遥感图像源域目标训练样本D＝(x_i,t_i)，i＝1,2,…,n，n为训练样本总 数，x_i为样本，t_i为样本标签；

利用深度神经网络对样本进行训练，其中，定义W为网络参数，H为 网络结构，此时样本训练误差E_D可以如下表示：

其中，f()为网络对于典型目标训练样本的实际输出值，考虑到训练学 习过程中网络参数权重的影响，在训练误差后加上权重衰减项E_W：

其中，m表示网络中的参数数量.w_i为权重。因此整体训练误差可以 如下表示：

F(W)＝βE_D+αE_W； (3)

其中，α、β是超参数，主要用来对网络参数的分布形式进行控制。因 此，在深度神经网络训练过程中，需要权衡考虑二者情况，此时，最小化 目标函数是为了保证减少网络训练误差的同时，也能有效降低网络的复杂 性，从而避免过拟合，进一步增强模型的泛化性能；

然后，利用贝叶斯公式对超参数α、β进行推断表示和计算求解，其后 验分布形式如下：

由于式(4)中p(D|H)与α、β无关，所以，模型参数最大后验求解问题等 价于最大似然函数P(D|α,β,H)的计算求解。

设F(W)取最小值时所对应的权值为W_MP，利用最大似然原理，求出满足 最大似然函数的α、β，即得到网络最优的超参数，如下所示，

其中，

表示网络中有多少参数在训练过程中起作 用，其取值范围是[0,m]，m表示网络参数的总体数量。

在对网络模型进行优化求解时，需要对F(W)在其最小点W_MP处的 Hessian矩阵进行求解计算，即

这里采用高斯-牛顿逼近法对Hessian 阵进行简化，得到

其中J是E_D在点W_MP的雅可比矩阵， I_m为单位矩阵。

下面给出深度神经网络预训练方法的具体步骤；

初始化超参数α、β，设定为α＝0和β＝1，对网络参数赋予初始值；

训练深度卷积神经网络，使总误差F(W)＝βE_D+αE_W达到最小；

利用高斯-牛顿逼近法求解Hessian阵

并计算出网 络参数的有效个数γ；

由式(5)对网络超参数α、β的新估计值进行求解计算。

在步骤102中，所述利用预训练得到的深度神经网络对高分辨率遥感 图像进行公共域不变特征提取；具体包括：

源域样本预训练完成后，将步骤101得到的深度神经网络作为公共域 不变特征的初始提取网络，定义该网络为Z，源域中样本为x_i，样本标签 为t_i，目标域中样本为x_j；此时，源域样本分类损失可以表示为：

L_cls＝Φⁱ(Z(x_i)),y_i； (6)

Φⁱ为特定的线性层；

定义源域、目标域的域判别模型损失：

L_D(D(x⁽ⁱ⁾,x^(j)))＝E[log D(G(x⁽ⁱ⁾))]+E[log(1-D(G(x^(j))))]； (7)

定义欺骗域判别模型的损失：

L_G(G(x⁽ⁱ⁾,x^(j)))＝||E[G(x⁽ⁱ⁾)]-E[G(x^(j))]||²； (8)

定义总体损失：

L_total＝L_cls+L_D(D(x⁽ⁱ⁾,x^(j)))+L_G(G(x⁽ⁱ⁾,x^(j)))； (9)

将总体损失作为目标函数进行优化求解，得到公共域不变特征。 参见图2，在步骤103中，所述根据公共域不变特征构建典型目标的细粒 度视觉并进行识别；具体包括：

步骤131，根据公共域不变特征提取的主干网络获取局部判别性区域；

步骤132，对局部判别性区域进行注意力聚焦，进行强制学习局部判 别性区域；

步骤133，对局部判别性区域进行注意力转移，获得全局-多局部判 别性区域融合特征矩阵；

步骤134，对全局-多局部判别性区域融合特征矩阵进行分类，实现细 粒度识别。

在步骤131中，所述根据公共域不变特征提取的主干网络获取局部判 别性区域；具体包括：

公共域不变特征主干网络生成N个特征Maps，可以表示为F∈R^H×W×N， 其中，H、W、N分别表示高度，宽度与通道数；随后特征Maps经过卷积 运算f(·)得到M个注意力Maps，可以表示为A∈R^H×W×M，其中，H、W、M 分别表示高度，宽度与注意力Maps的数量；

M个注意力Maps中每一个A_k表征了目标的某一个局部判别性区域。

然后，进行注意力聚焦和注意力转移：

在步骤132中，所述对局部判别性区域进行注意力聚焦，进行强制学 习局部判别性区域；具体包括：

对A_k进行归一化处理得到A_k ^*，设定阈值θ_C，此时，将A_k ^*(i,j)大于阈 值的元素置为1，其他置为0，得到聚焦后的Mask C_k，用以表征某一个 局部判别性区域，将其上采样至原输入样本尺寸，作为一个新的样本输入 对模型进行训练，以强制模型学习这些局部判别性区域。

在步骤133中，所述对局部判别性区域进行注意力转移，获得全局- 多局部判别性区域融合特征矩阵；具体包括：

设定阈值θ_D，将A_k ^*(i,j)小于阈值的元素置为1，其他置为0，得到注意 力转移后的Mask D_k，用以表征其他具有判别性的局部区域，增强目标多 局部判别性特征的表示能力；

当主干网络生成N个表征全局信息的特征Maps与表征多局部判别性 区域的M个注意力Maps后，研究利用双线性注意力池化进行全局-多局 部区域判别性特征的多模态融合，即将特征Maps与某一局部区域的注意 力Map按元素对应相乘得到F_k；

F_k＝A_k×F(k＝1,2,……M)； (11)

然后，通过全局平均池化策略得到特征向量f_k＝g(F_k)，最后，将典型 目标的多个局部区域特征进行连接，得到全局-多局部判别性区域融合特 征矩阵Γ(A,F)；

在步骤134中，对全局-多局部判别性区域融合特征矩阵进行分类，实 现细粒度识别；具体包括：对全局-多局部判别性区域融合特征矩阵，利用 softmax分类器对其进行分类，实现其细粒度识别。

本发明通过源域高分辨率遥感图像预训练，公共域不变特征提取，典 型目标的细粒度视觉构建与识别，解决跨域条件下高分遥感图像典型目标 的细粒度识别问题，提升识别的有效性与精度。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于 限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领 域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修 改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之 内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围 之内。

Claims (9)

1.一种跨域高分辨率遥感图像典型目标细粒度识别方法，其特征在于，包括以下步骤：

获取典型目标的跨域高分辨率遥感图像，对源域高分辨率遥感图像进行预训练；

利用预训练得到的深度神经网络对高分辨率遥感图像进行公共域不变特征提取；

根据公共域不变特征构建典型目标的细粒度视觉并进行识别。

2.根据权利要求1所述的方法，其特征在于，所述获取典型目标的跨域高分辨率遥感图像，对源域高分辨率遥感图像进行预训练；具体包括：

设遥感图像源域目标训练样本D＝(xi,ti)，i＝1,2,…,n，n为训练样本总数，xi为样本，ti为样本标签；

利用深度神经网络对样本进行训练，其中，定义W为网络参数，H为网络结构，此时样本训练误差ED可以如下表示：

其中，f()为网络对于典型目标训练样本的实际输出值，考虑到训练学习过程中网络参数权重的影响，在训练误差后加上权重衰减项E_W：

其中，m表示网络中的参数数量.w_i为权重；因此整体训练误差可以如下表示：

F(W)＝βE_D+αE_W； (3)

其中，α、β是超参数，要用来对网络参数的分布形式进行控制；

然后，利用贝叶斯公式对超参数α、β进行推断表示和计算求解，其后验分布形式如下：

由于式(4)中p(D|H)与α、β无关，所以，模型参数最大后验求解问题等价于最大似然函数P(D|α,β,H)的计算求解。

设F(W)取最小值时所对应的权值为W_MP，利用最大似然原理，求出满足最大似然函数的α、β，即得到网络最优的超参数，如下所示，

其中，

表示网络中有多少参数在训练过程中起作用，其取值范围是[0,m]，m表示网络参数的总体数量；

在对网络模型进行优化求解时，需要对F(W)在其最小点W_MP处的Hessian矩阵进行求解计算，即

这里采用高斯-牛顿逼近法对Hessian阵进行简化，得到

其中J是E_D在点W_MP的雅可比矩阵，I_m为单位矩阵。

3.根据权利要求2所述的方法，其特征在于，所述α、β是超参数，在初始化超参数时，设定α＝0和β＝1，对网络参数赋予初始值。

4.根据权利要求1所述的方法，其特征在于，所述对源域高分辨率遥感图像预训练得到的深度神经网络进行公共域不变特征提取；具体包括：

深度神经网络作为公共域不变特征的初始提取网络，定义该网络为Z，源域中样本为x_i，样本标签为t_i，目标域中样本为x_j；此时，源域样本分类损失可以表示为：

L_cls＝Φⁱ(Z(x_i)),y_i； (6)

Φⁱ为特定的线性层；

定义源域、目标域的域判别模型损失：

L_D(D(x⁽ⁱ⁾,x^(j)))＝E[logD(G(x⁽ⁱ⁾))]+E[log(1-D(G(x^(j))))]； (7)

定义欺骗域判别模型的损失：

L_G(G(x⁽ⁱ⁾,x^(j)))＝||E[G(x⁽ⁱ⁾)]-E[G(x^(j))]||²； (8)

定义总体损失：

L_total＝L_cls+L_D(D(x⁽ⁱ⁾,x^(j)))+L_G(G(x⁽ⁱ⁾,x^(j)))； (9)

将总体损失作为目标函数进行优化求解，得到公共域不变特征。

5.根据权利要求1所述的方法，其特征在于，所述根据公共域不变特征构建典型目标的细粒度视觉并进行识别；具体包括：

根据公共域不变特征提取的主干网络获取局部判别性区域；

对局部判别性区域进行注意力聚焦，进行强制学习局部判别性区域；

对局部判别性区域进行注意力转移，获得全局-多局部判别性区域融合特征矩阵；

对全局-多局部判别性区域融合特征矩阵进行分类，实现细粒度识别。

6.根据权利要求5所述的方法，其特征在于，所述根据公共域不变特征提取的主干网络获取局部判别性区域；具体包括：

公共域不变特征主干网络生成N个特征Maps，可以表示为F∈R^H×W×N，其中，H、W、N分别表示高度，宽度与通道数；随后特征Maps经过卷积运算f(·)得到M个注意力Maps，可以表示为A∈R^H×W×M，其中，H、W、M 分别表示高度，宽度与注意力Maps的数量；

M个注意力Maps中每一个A_k表征了目标的某一个局部判别性区域。

7.根据权利要求5所述的方法，其特征在于，所述对局部判别性区域进行注意力聚焦，进行强制学习局部判别性区域；具体包括：

对A_k进行归一化处理得到A_k ^*，设定阈值θ_C，此时，将A_k ^*(i,j)大于阈值的元素置为1，其他置为0，得到聚焦后的Mask C_k，用以表征某一个局部判别性区域，将其上采样至原输入样本尺寸，作为一个新的样本输入对模型进行训练，以强制模型学习这些局部判别性区域。

8.根据权利要求5所述的方法，其特征在于，所述对局部判别性区域进行注意力转移，获得全局-多局部判别性区域融合特征矩阵；具体包括：

设定阈值θ_D，将A_k ^*(i,j)小于阈值的元素置为1，其他置为0，得到注意力转移后的MaskD_k，用以表征其他具有判别性的局部区域，增强目标多局部判别性特征的表示能力；

当主干网络生成N个表征全局信息的特征Maps与表征多局部判别性区域的M个注意力Maps后，利用双线性注意力池化进行全局-多局部区域判别性特征的多模态融合，即将特征Maps与某一局部区域的注意力Map按元素对应相乘得到F_k；

F_k＝A_k×F(k＝1,2,……M)； (11)

然后，通过全局平均池化策略得到特征向量f_k＝g(F_k)，最后，将典型目标的多个局部区域特征进行连接，得到全局-多局部判别性区域融合特征矩阵Γ(A,F)；

9.根据权利要求5所述的方法，其特征在于，对全局-多局部判别性区域融合特征矩阵进行分类，实现细粒度识别；具体包括：对全局-多局部判别性区域融合特征矩阵，利用softmax分类器对其进行分类，实现其细粒度识别。

Images