CN115641445B - 一种非对称内卷积与Transformer相融合的遥感图像阴影检测方法 - Google Patents

Abstract

本发明属于遥感图像阴影检测技术领域，提供了一种非对称内卷积与Transformer相融合的遥感图像阴影检测方法，通过Transformer网络具有捕获长距离依赖关系的特点，提取遥感图像全局特征信息，解决CNN感受野不足的问题；通过构建多尺度非对称内卷积模块，利用交叉式感受野的特点减轻捕获代表性特征中的冗余信息；通过利用内卷积的空间特异性和通道不变性，改善长距离像素依赖的问题，提升网络的计算效率；通过采用内卷积替换平时池化层，缩减输入数据的尺寸大小，防止图像中一些低分辨率特征的信息的丢失；通过构建特征融合模块，使得网络结构能够同时继承CNN和Transformer的优点，并且最大程度保留全局和局部特征，提高了遥感图像中阴影检测的精度和准确率。

Description

一种非对称内卷积与Transformer相融合的遥感图像阴影检 测方法

技术领域

本发明属于遥感图像阴影检测技术领域，具体为一种非对称内卷积与Transformer相融合的遥感图像阴影检测方法。本发明可用于对遥感图像进行语义分割，进而实现遥感图像阴影检测的任务。

背景技术

随着遥感技术的发展，遥感图像数据量越来越大，分辨率越来越高。遥感图像包含了大量的信息，而遥感图像中的阴影给给高分辨率遥感（HSR）图像的处理工作带来了巨大的挑战。阴影在卫星遥感图像中是一个不可避免的现象。直射光投射在地面上的汽车、树木或建筑物上等障碍物上时，在道路、屋顶或其他物体上就会产生阴影。阴影检测是阴影去除的重要前提，现有的大量工作试图消除遥感图像中阴影的负面影响。阴影的提取是遥感图像进一步应用的关键。

基于几何的方法需要关于现场条件和传感器的先验知识，并且严重依赖先验位置。如遥感中的几何图像、太阳的位置、来自太阳的照明角度、数字表面模型 (DSM) 数据、照明条件， 和传感器的参数。这些对获取几何信息有很大的影响，如果先限制了之前可利用的信息，这个策略可能不起作用。然而，基于物理模型的阴影提取方法需要非常高质量的数据并且计算量大，而且很难获得高质量的数据，这极大地限制了该方法在实践中的应用。

基于机器学习的方法通常使用一些经典的基于学习的分类器，例如支持向量机（SVM），将阴影提取视为二元分类问题，以区分图像区域中的阴影和非阴影区域。经典的基于机器学习的方法将阴影检测视为具有基本视觉效果（如纹理、颜色和照明）的非阴影像素特征，通过标记阴影并手工制作它们。然而，传统的机器学习方法学习有限由于相邻之间的空间相关性不考虑像素。虽然这些方法在应用于阴影提取时取得了一些效果，但有些物体的暗部特征与阴影非常相似，会干扰正常识别。这些遥感影像中捕获的物体类型多样且复杂。机器学习阴影提取算法缺乏能够提取阴影的深层语义特征，因此难以区分阳光照射的黑暗物体和明亮的阴影物体。

近年来，深度学习被广泛运用在计算机视觉领域，语义分割取得了一些成果，但仍面临着很多挑战，因为遥感图像包含大量的信息，在实际场景中以多尺度存在，并同时有光照、白云、阴影、遮挡等复杂场景，且不同场景下的样本也各不相同，相同种类的样本也有不同的信息特征，比如不同颜色的树木植被，建筑的顶色也各有不同。因拍摄角度或者时间的不同，比如太阳的不同角度会在图像上会形成阴影，给图像带来噪声。这些是目前进行语义分割精度较低的主要原因。遥感图像需要高质量的分割，分割效果仍有待提高，深度学习对复杂场景有很好的解析能力，减少遥感图像对专家知识的依赖，提高分类精度和识别效率，因此结合深度学习解决遥感图像分割问题具有现实的意义。常见的ASPP模块位于编码器的末端，来提取多尺度的特征，但是在信息量较大的遥感图像中，这种操作不足以提取更多的特征，并且随着网络的深入导致目标的浅层特征丢失严重。因此即使普通的网络可以在一定程度上分割遥感图像，分割算法并没有得到很大改进。

发明内容

本发明的目的在于克服现有技术的不足，提供一种非对称内卷积与自注意力相融合的遥感图像阴影检测方法，用Transformer来提取图像的全局特征，凭借Transformer可以捕获长距离依赖关系，非对称内卷积用来捕捉局部细节信息，用内卷积（Involution）来替换普通的卷积，让模型在精度和效率上取得双重的提升，解决普通卷积带来的参数冗余问题，加快了收敛速度。通过跳跃连接将高级特征与低级特征相融合，形成有效上下文信息，最大程度上保留全部和局部特征信息，提高了遥感图像中阴影检测的精度和准确率。

为实现上述发明目的，本发明一种非对称内卷积与自注意力融合的遥感图像阴影检测网络模型，其特征在于，包括以下步骤：

步骤S1：获取遥感图像阴影检测数据集，通过随机旋转、中心旋转、平移、裁剪、尺寸缩放的方式对数据集进行数据增强；

步骤S2：构建一种非对称内卷积与Transformer相融合的遥感图像阴影检测网络模型，模型具体包括：Transformer网络模型、多尺度非对称内卷积模块、内卷积层以及特征融合模块；其中，Transformer网络模型，用于捕获遥感图像有效的全局特征信息；

多尺度非对称内卷积模块，用于提取图像阴影的细节特征信息；

内卷积层，代替平时池化层用于进行下采样；

特征融合模块，用于将图像的全局特征信息和细节特征信息进行有效融合；

步骤S3：基于步骤S1得到的数据集，基于输入步骤S2中构建的非对称内卷积与Transformer相融合的遥感图像阴影检测网络模型，进行遥感图像的阴影检测网络模型的训练；

步骤S4：将遥感图像阴影检测的测试集输入到步骤S3训练好的网络模型进行遥感图像的阴影检测。

进一步的，所述S2非对称内卷积与Transformer相融合的遥感图像阴影检测网络模型以编码器-解码器作为基础结构，其中：

S21：所述全局特征提取模块采用Transformer模型，用于对图像全局特征信息进行提取。Transformer模型中的自注意力机制提取遥感图像的深层次信息，得到四个阶段的特征信息图，并将提取的深层次特征输入到解码器阶段；

S22：所述多尺度非对称内卷积模块由内卷积核大小分别是1×1、1×3、3×1、5×5的内卷积组成，步长均设置为1，分别经过归一化层和激活层，再将不同卷积核进行融合，构成多尺度非对称内卷积层；可以表述为：

，

其中，V表示输入特征，m表示第m步，P、Q卷积核的大小，

表示第m步卷积核的操作，

代表第m步卷积核的偏差，ReLU表示修正后的线性激活函数，

为

特征经过第m步卷积核大小为P×Q的特征；初步融合后的特征为：

，

表示经过此多尺度非对称内卷积模块后的特征，C代表特征融合，m代表第m步；在编码器阶段，多尺度非对称内卷积模块对图像的每个细节特征提取结束时，用卷积核为3，步长为2的内卷积层，代替2×2 的最大池化层，以缩小特征图；编码器阶段经过四次下采样后的图像特征图像素大小依次分别为[128×64×64]、[256×32×32]、[512×16×16]、[1024×8×8]；

S23：多尺度非对称内卷积模块在编码器阶段对遥感图像丰富的细节信息进行提取后，输出不同尺寸的细节特征信息至特征融合模块，在解码器阶段通过跳跃连接细节特征信息再次与同一卷积层的相应全局特征信息进行融合，生成有效上下文引导信息；在特征融合阶段，多尺度非对称内卷积（MAI，Multiscale Asymmetric Involution）模块公式为：

，

其中，

表示常规特征，I表示步长为2，填充层为1，卷积核为2的内卷积；

表示多尺度非对称内卷积模块特征；

S24：经过解码器阶段后，四次上采样后的图像特征图大小依次为[512×16×16]、[256×32×32]、[128×64×64]、[64×128×128]；对最后一层的特征信息应用一个 1×1的卷积层来改变输出图像的通道数，再通过 Sigmoid 函数进行阈值化对，以获得最终的阴影分布的预测图；

进一步的，所述S3训练非对称内卷积与Transformer相融合的遥感图像阴影检测网络模型，具体实施方式为：

S31：遥感图像输入非对称内卷积与Transformer相融合的遥感图像阴影检测模型中，前向传播获得输出的遥感图像阴影检测的预测特征信息；

S32：采用二元加权交叉熵损失函数，目的是平衡正负样本，计算预测结果与实际结果之间的损失并通过反向传播算法不断优化模型的参数；其损失函数计算公式如下：

，

其中：N表示图像中像素的总数量；y _i表示遥感图像中第i个像素的标签值，正类(阴影像素)为1，负类(非阴影像素)为0；y _i∈{0，1}表示遥感图像中的第i个阴影像素，p(y _i)表示第i个像素预测为阴影像素的概率，m为权重，取值根据本发明实验所得为0.65。

由上述技术方案可知，本发明的有益效果为：

第一，本发明在对图像特征提取阶段，构建Transformer网络模型，解决了CNN感受野有限导致很难捕获全局信息的问题，凭借Transformer可以捕获长距离依赖关系，来进行全局特征信息的提取；

第二，本发明构建多尺度非对称内卷积模块，交叉式感受野可以减轻捕获代表性特征中的冗余信息，并利用多尺度融合特征对图像的局部细节特征信息进行有效的提取，形成有效的上下文信息；

第三，本发明利用内卷积的空间特异性和通道不变性，有效改善了长距离像素依赖的问题，一定程度上减少通道间的冗余信息，提升网络的计算效率，让模型在精度和效率上取得双重的提升，解决普通卷积带来的参数冗余问题，加快了收敛速度；在编码器下采样阶段用卷积核大小为3×3、步长为2、填充层为1的内卷积，来代替池化层的作用，进行图像下采样，缩减输入数据的尺寸大小，能有效防止图像中一些低分辨率特征的信息的丢失；

第四，本发明构建全局特征信息与局部特征信息相融合的模块，将多尺度非对称内卷积模块后得到的细节特征，与相应层的常规全局特征通过跳跃连接进行特征融合。使得网络结构能够继承CNN和Transformer的优点，并且最大程度保留全局和局部特征，提高了遥感图像中阴影检测的精度和准确率。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明实施例提供的一种非对称内卷积与Transformer相融合的遥感图像阴影检测方法的流程图；

图2是本发明实施例提供的一种非对称内卷积与Transformer相融合的遥感图像阴影检测方法的整体网络框架图；

图3是本发明实施例提供的多尺度非对称内卷积模型的结构示意图；

图4是本发明实施例提供的实验中各个模型的对比定性分析图1；

图5是本发明实施例提供的实验中各个模型的对比定性分析图2；

图6是本发明实施例提供的消融性实验中各个模型的对比定性分析图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

参照附图1和实施例，对本发明的实现步骤做进一步的详细描述。

步骤1，数据预处理阶段：

步骤11， 从公开的AISD(Aerial Imagery Shadow Detection)数据集中获取遥感图像阴影检测的数据集，这也是目前为止第一个公开的用于遥感图像的阴影检测数据集，并将其按照8:1:1的比例划分为训练集、验证集和测试集；

步骤12，对原始数据集进行数据增强，在现有遥感图像数据集中，图像大小分辨率为从 256 × 256 像素到 1688 × 1688像素不等，其中 512×512像素的占比最大。将训练集和验证集中的每一张遥感图像裁剪成m×n大小的图像块，在本实施例中，裁剪为256×256的小图像块。为了探索本发明模型的真实有效性，除了裁剪数据外，没有进行冗余数据增强，用这种数据增强的方式，以增加模型的复杂性和有效性；

步骤13，得到用于遥感图像阴影检测的训练集图像41981张，验证集图像3734张；

步骤2，构建一种非对称内卷积与Transformer相融合的遥感图像阴影检测网络模型阶段；

步骤21，构建Transformer模型，Transformer模型主要是基于多尺度的自注意力机制，注意力层捕捉多粒度的特征，对图像建立长距离依赖，从而更好地提取全局上下文信息。对图像全局特征的提取包含四个阶段，在每个阶段，每个块都输出相同大小的特征图，本实施例中，采用跨度为2的卷积层（Linear embedding）来连接不同的阶段，在进入下一阶段之前，特征图的大小将被减半，但尺寸将被加倍。在每个阶段的输出中有四个特征图F1，F2，F3，F4，每个阶段的输出f分别为

大小的特征图，其中Ck表示第k个输出的特征图的通道数。本实施例中，每个阶段输出的特征图的大小分别是[64×64×64]，[128×32×32]，[256×16×16]，[512×8×8]；让整个网络模型能够捕捉多尺度的物体，CNN通常感受野较小而难以捕获全局信息。而Transformer基于全局信息进行建模，与CNN相比感受野更大，因此本模型用Transformer来进行全局特征信息的提取；

步骤22，图2所示，构建多尺度非对称内卷积模块，此模块中包含四个内卷积分支，来对图像的细节特征信息进行提取，卷积核大小分别是1×1、1×3、3×1、5×5，步长均设置为1，每个内卷积后都经过归一化层和激活层，这种交叉式感受野可以减轻捕获代表性特征中的冗余信息，再将这四个分支生成的特征图相加，达到多尺度特征融合的结果。将融合后的特征再经过归一化，激活函数。激活层均采用LeakyReLU函数实现， 归一化层和激活层用于增加数值稳定性并以非线性方式激活输出。得到的图像特征将有四倍的原始通道，因此需要进行初步融合以减少参数并避免过度拟合以捕获重要信息，在本实施例中多尺度非对称内卷积模块由内卷积核大小分别是1×1、1×3、3×1、5×5的内卷积组成，步长均设置为1，分别经过归一化层和激活层，再将不同卷积核进行融合，构成多尺度非对称内卷积层；可以表述为：

，

其中，V表示输入特征，m表示第m步，P、Q卷积核的大小，

表示第m步卷积核的操作，

代表第m步卷积核的偏差，ReLU表示修正后的线性激活函数，

为

特征经过第m步卷积核大小为P×Q的特征；初步融合后的特征为：

，

表示经过此多尺度非对称内卷积模块后的特征，C代表特征融合，m代表第m步；初步特征

包含丰富的图像细节特征信息，将应用于有效的上下文提升；在编码器阶段，多尺度非对称内卷积模块对图像的每个细节特征提取结束时，用卷积核为3，步长为2的内卷积层，代替2×2 的最大池化层，以缩小特征图；编码器阶段经过四次下采样后的图像特征图像素大小依次分别为[128×64×64]、[256×32×32]、[512×16×16]、[1024×8×8]；

步骤23，构建全局特征信息与局部特征信息相融合的模块，将多尺度非对称内卷积模块后得到的细节特征，与相应层的常规全局特征通过跳跃连接进行特征融合，这样的级联特征在经过多次卷积和融合后可能包含噪声，因此，它通过 3×3 滤波器内核作为多尺度非对称内卷积特征再次进行细化。这个细化还可以降低特征维度并避免过度拟合。假设常规特征是

，多尺度非对称内卷积（MAI，Multiscale Asymmetric Involution）模块公式可以表述为：

，

其中，

表示常规特征，I表示步长为2，填充层为1，卷积核为2的内卷积；

表示多尺度非对称内卷积模块特征；

将该 MAI特征输入到下一个MAI以方便下一个细节特征与常规全局尺度进行进一步操作，从而最终可以对不同尺度的鲁棒上下文进行编码；

步骤24，在编码器阶段，通过多尺度非对称内卷积模块、下采样层和与相应尺度的规则深度特征融合，作为该层的MAI特征来发现图像的有效上下文信息，对图像的局部特征进行提取，然后将该特征输入到下一个多尺度非对称内卷积模块以供下一层继续用于区分上下文的抽象过程。再通过卷积核大小为3×3、步长为2、填充层为1的内卷积，来代替池化层的作用，进行图像下采样，缩减输入数据的尺寸大小，经过四次下采样后的图像特征图像素大小为[128×64×64]、 [256×32×32]、[512×16×16]、[1024×8×8]；

步骤25，在解码器阶段，多尺度非对称内卷积后的MAI 特征也再次与同一卷积层的全局特征信息融合，从而在解码器中获得有效上下文引导生成，通过跳跃连接，实现图像全局特征信息与图像局部信息的有效融合，来增强适当尺度的有效对象上下文以进行阴影检测，这样得到的图像特征可以适应不同尺度阴影区域的检测。经过四次上采样后的图像特征图像素大小为[512×16×16]、 [256×32×32]、[128×64×64]、[64×128×128]。再经过最后一次上采样，用一个 1×1 的卷积层并通过 Sigmoid 进行阈值化以获得最终的阴影分布的预测图；

步骤26，输出结果图像信息，对最后的特征信息应用一个 1×1 的卷积层来改变输出图像的通道数，再通过 Sigmoid 函数进行阈值化对，以获得最终的阴影分布的预测图；

步骤3，训练阶段

步骤31， 用深度学习框架Pytorch1.7搭建遥感图像阴影检测的网络架构，实验中所有模型均采用二元交叉熵损失函数及Adam优化器，超参数设置（整初始学习率为0.0001，总迭代次数为100次，batch size 为8，L2 权重正则化为0.0005），每一轮的训练保存最佳模型；其中，二分类交叉熵损失函数计算公式为：

，

其中：N表示图像中像素的总数量；y _i表示遥感图像中第i个像素的标签值，正类(阴影像素)为1，负类(非阴影像素)为0；y _i∈{0，1}表示遥感图像中的第i个阴影像素，p(y _i )表示第i个像素预测为阴影像素的概率，m的取值根据本发明实验所得为0.65；采用二元加权交叉熵损失函数，目的是平衡正负样本，计算预测结果与实际结果之间的损失并通过反向传播算法不断优化模型的参数；

步骤32，阴影检测性能评价指标

为直观有效地分析所提模型的阴影检测分割精度，采用了语义分割中常用的四种语义分割评估指标，即准确率Accuracy、F1-score、精确率Precision、召回率Recall，还有阴影检测领域中的标准指标，即平衡错误率BER（Balance Error Rate）系数，来评价模型遥感图像阴影检测的性能。

准确率Accuracy的公式如下：

，

F1-score的公式如下：

，

精确率Precision的公式如下：

，

召回率Recall的公式如下：

，

平衡错误率BER系数的公式如下：

，

其中，TP：真阳性，即正确识别的真阴影像素的总数。FN：假阴性，即正确识别的真阴影像素的总数。FP：误报，即被错误识别为阴影像素的非阴影；TN：真负数，即正确识别的真非阴影像素的数量。四种语义分割评估指标，值越高，检测结果越好；平衡错误率（BER），其值越低，检测结果越好；

步骤3.3、从数据集中获取到的数据输入至步骤2中所构建的遥感图像阴影检测的网络模

型中，然后再利用反向传播算法，对模型进行训练；

步骤4，预测阶段

将数据增强后的数据集输入到训练好的遥感图像阴影检测的网络模型，使用测试图片进行预测，对遥感图像进行阴影检测，得到mask图；

本发明的效果可以通过以下仿真实验进一步说明。

1.仿真实验条件：

本发明的仿真实验的硬件平台为：处理器为AMD Ryzen9 3900X，主存32GHz，外存为2T，显卡为NVIDIA GeForce RTX3090，显存为24GB；

本发明的仿真实验的软件平台为：Ubuntu 18.04LTS操作系统和python 3.7，CUDA11.5，CUDNN8.3.1；

2.仿真实验内容及结果分析：

本发明的仿真实验是采用本发明的方法和现有技术的消融实验方法，分别按照下述步骤进行仿真实验；

所述对比实验方法为Adam作为优化器，二元交叉熵作为损失函数训练非对称内卷积与Transformer相融合的遥感图像阴影检测方网络模型；

在相同实验环境下完成100次迭代训练，经过100次迭代模型达到收敛状态，对比五种常见语义分割网络Unet、SegNet、FCN、Swin-Transformer、Shunted-Transformer、和两种阴影检测网络CAD、MSASDNet，评价指标结果如表1所示， 通过各项评价指标数据显示，由此可见本模型在遥感图像阴影检测效果上更出色。平衡错误率BER系数，来评价模型遥感图像阴影检测的性能。本发明网络的BER系数比其他模型的BER系数都低，由此可见阴影检测效果更好。除此之外，三种经典的语义分割网络 FCN、SegNet、UNet的 F1分数分别只有0.8944、0.8634和0.87263，而两种Transformer网络在0.91左右，其他两种流行的深度学习阴影检测方法在 0.92 左右，本发明公开的方法最高为0.93。本发明公开的方法的F1值提高了1.2~5.92%，显然，本发明公开的方法在阴影检测任务中表现最好；

表

各模型分割性能评价指标

图4(a)和图5(a)为测试集中的遥感图像原图，图4(b)和图5(b)为测试集中与图4(a)和图5(a)对应的标签图Mask，图4(c)和图5(c)为FCN网络的阴影检测结果图，图4(d)和图5(d)为SegNet 网络的阴影检测结果图，图4(e)和图5(e)为Unet 网络的阴影检测结果图，图4(f)和图5(f)为CAD网络的阴影检测结果图，图4(g)和图5(g)为Swin-Transformer网络的阴影检测结果图，图4(h)和图5(h)为Shunted-Transformer网络的阴影检测结果图，图4(i)和图5(i)为MSASDNet 网络的阴影检测结果图，图4 (j)和图5(j)为本发明网络的阴影检测结果图；

本发明的方法更好地检测更多细小的阴影，抑制了非阴影区域，减少更多的误检漏检情况。对于一些容易被复杂非阴影区域淹没的小阴影区域，本发明的方法对这些区域具有更好的检测性能；

3.消融性实验：

为了进一步分析多尺度非对称内卷积模块在整个网络模型中的作用，进行了消融研究。本发明将实验分为分成三个模块，第一个是多尺度非对称内卷积模块没有与Shunted-Transformer模型融合的模块，称为

特征；第二个是多尺度非对称内卷积模块只用了3×3的卷积核，称为

；第S三个是没有用多尺度非对称内卷积融合的模块，多尺度非对称内卷积模块特征后再与Shunted-Transformer模型融合的模块，称为

；

表

仿真实验中本发明方法的消融实验方法的阴影检测分割的定量分析表

表2中，各项评价指标表明本发明的方法更好，其中F1值，准确率都比其他两种情况高，BER值也更低。从图片6中，可以明显看出在经过本发明的完整的多尺度非对称内卷积模块后，对小阴影的检测效果更好，漏检率更低，准确性更高。

Claims (1)

1.一种非对称内卷积与Transformer相融合的遥感图像阴影检测方法，其特征在于，包括以下方法：

步骤S1：获取遥感图像阴影检测数据集，通过随机旋转、中心旋转、平移、裁剪、尺寸缩放的方式对数据集进行数据增强；

步骤S2：构建非对称内卷积与Transformer相融合的遥感图像阴影检测网络模型，模型具体包括：Transformer网络模型、多尺度非对称内卷积模块、内卷积层以及特征融合模块；其中，

Transformer网络模型，用于捕获遥感图像有效的全局特征信息；

多尺度非对称内卷积模块，用于提取图像阴影的细节特征信息；

内卷积层，代替平时池化层用于进行下采样；

特征融合模块，用于将图像的全局特征信息和细节特征信息进行有效融合；

步骤S21：所述全局特征提取模块采用Transformer模型，用于对图像全局特征信息进行提取；Transformer模型中的自注意力机制提取遥感图像的深层次信息，得到四个阶段的特征信息图，并将提取的深层次特征输入到解码器阶段；

步骤S22：所述多尺度非对称内卷积模块由四个内卷积组成，其内卷积核大小分别为1×1、1×3、3×1、5×5，步长均设置为1，分别经过归一化层和激活层，再将不同卷积核进行融合，构成多尺度非对称内卷积层；可以表述为：

其中，V表示输入特征，m表示第m步，P、Q卷积核的大小，

表示第m步卷积核的操作，

代表第m步卷积核的偏差，ReLU表示修正后的线性激活函数，

为

特征经过第m步卷积核大小为P×Q的特征；初步融合后的特征为：

表示经过此多尺度非对称内卷积模块后的特征，C代表特征融合，m代表第m步；在编码器阶段，多尺度非对称内卷积模块对图像的每个细节特征提取结束时，用卷积核为3，步长为2的内卷积层，代替2×2的最大池化层，以缩小特征图；编码器阶段经过四次下采样后的图像特征图像素大小依次分别为[128×64×64]、[256×32×32]、[512×16×16]、[1024×8×8]；

步骤S23：多尺度非对称内卷积模块在编码器阶段对遥感图像丰富的细节信息进行提取后，输出不同尺寸的细节特征信息至特征融合模块，在解码器阶段通过跳跃连接细节特征信息再次与同一卷积层的相应全局特征信息进行融合，生成有效上下文引导信息；在特征融合阶段，多尺度非对称内卷积(MAI，Multiscale Asymmetric Involution)模块公式为：

其中，

表示常规特征，I表示步长为2，填充层为1，卷积核为2的内卷积；

表示多尺度非对称内卷积模块特征；

步骤S24：经过解码器阶段后，四次上采样后的图像特征图大小依次为[512×16×16]、[256×32×32]、[128×64×64]、[64×128×128]；对最后一层的特征信息应用一个1×1的卷积层来改变输出图像的通道数，再通过Sigmoid函数进行阈值化对，以获得最终的阴影分布的预测图。

步骤S3：将步骤S1得到的数据集输入到步骤S2中构建的非对称内卷积与Transformer相融合的遥感图像阴影检测网络模型中，进行遥感图像的阴影检测网络模型的训练；

步骤S31：遥感图像输入非对称内卷积与Transformer相融合的遥感图像阴影检测模型中，前向传播获得输出的遥感图像阴影检测的预测特征信息；

步骤S32：采用二元加权交叉熵损失函数，目的是平衡正负样本，计算预测结果与实际结果之间的损失并通过反向传播算法不断优化模型的参数；其损失函数计算公式如下：

其中：N表示图像中像素的总数量；yi表示遥感图像中第i个像素的标签值，正类(阴影像素)为1，负类(非阴影像素)为0；yi∈{0，1}表示遥感图像中的第i个阴影像素，p(yi)表示第i个像素预测为阴影像素的概率，m为权重，取值为0.65。

步骤S4：将遥感图像阴影检测的测试集输入到步骤S3训练好的网络模型进行遥感图像的阴影检测。

Images