CN115880586A - 基于混合特征网络的卫星遥感影像云雪检测方法 - Google Patents

Abstract

本发明公开了一种基于混合特征网络的卫星遥感影像云雪检测方法，属于卫星遥感图像处理与应用的技术领域。本发明的目的是解决卫星遥感影像中云雪共存的条件下云雪检测精度低，无法准确获取雪和云分布状态细节的问题。本发明采用卫星遥感影像作为数据源，使用GLCM、LBP和SEEDS的方法提取图像的浅层特征，通过深度特征提取网络提取图像的深度热图特征，随后将浅层特征与深度热图特征融合形成混合特征，同时将混合特征送入基于混合特征的云雪检测网络中训练和验证，应用训练好的云雪检测模型最终获得云和雪的检测结果。本发明方法能在云雪共存条件下和不同空间分辨率的卫星遥感影像中准确地检测云和雪。

Description

基于混合特征网络的卫星遥感影像云雪检测方法

技术领域

本发明属于卫星遥感图像处理与应用的技术领域。

背景技术

积雪作为冰冻圈的主要组成部分，在地球气候系统中发挥着重要作用。获取准确的积雪信息对气候变化研究以及水循环和水文资源调查具有重要意义。光学遥感卫星已用于检测积雪状况，而在光学遥感积雪监测研究中，云的出现给积雪动态监测带来了很大的干扰。随着光学数据可及性的不断提高，基于光学遥感图像的云检测方法被大量提出。目前主要是通过基于规则的云检测方法和基于深度学习的云检测方法。

基于规则的方法利用云的物理属性，如地物光谱阈值、纹理特征、形状特征等，从图像中检测云。这类基于规则的方法通常用于处理特定类型的卫星图像。基于阈值规则的方法在传统经验值或大量统计值的基础上，获得提取不同波段云雪所需的阈值范围。基于纹理规则的方法常用于云检测。由于各类物体的纹理特征各不相同，因此根据纹理特征也可以对云进行检测。Ghosh等人提出了一种基于阈值的云探测技术，对具有时间序列的NOAA-AVHRR数据进行云提取。(参见Ghosh RR,Ali MS,Hena A,Rahman H(2015)A simplecloud detection algorithm using NOAA-AVHRR satellite data.Int J Sci Eng Res 3(6))；Zhang提出了一种利用颜色、纹理、形状等多种浅特征对高分辨率RSI云进行高精度检测的方法。(参见Zhang J,Zhou Q,Shen X,Li Y(2019)Cloud detection inhighresolution remote sensing images using multi-features of ground objects.JGeovis Spat Anal 3:14)；

近年来，深度学习方法通过使用不同大小的卷积核从输入图像中提取深度和高级抽象特征，在云特征提取和云检测中得到了广泛的应用。Wieland提出了一种基于改进U-Net的云提取方法即MU-net实现对云的检测。(参见M.Wieland,Y.Li,and S.Martinis,“Multi-sensor cloud and cloud shadow segmentation with a convolutional neuralnetwork,”Remote Sens.Environ.,vol.230,Sep.2019,Art.no.111203.)；Chai在深度卷积神经网络基础上，改进了SegNet(MSegNet)实现了从Landsat图像中提取云和阴影。(参见D.Chai,S.Newsam,H.K.Zhang,Y.Qiu,and J.Huang,“Cloud and cloud shadow detectionin Landsat imagery based on deep convolutional neural networks,”RemoteSens.Environ.,vol.225,pp.307–316,May 2019.)

到目前为止，国内外学者提出了诸多云检测的方法，但仍存在一些明显的缺陷：(1)对于稀薄的云和不规则的云的检测精度低。(2)在与云光谱反射率相似的区域(如雪和冰)中，云很难被检测出来。(3)当近红外波段和短波红外波段缺乏时，也会降低云雪检测的准确性。

发明内容

为了解决已有云检测方法无法在云雪共存的条件下获得高精度云雪检测检测结果、无法在多种不同空间分辨率多光谱遥感影像数据和自然图像中实现精准的云雪检测等问题。本发明使用灰度共生矩阵(GLCM)、局部二值模式(LBP)和能量驱动采样法提取超像素(SEEDS)的方法提取图像的浅层特征，通过深度特征提取网络提取图像的深度热图特征，随后将浅层特征与深度热图特征融合形成混合特征，同时将混合特征送入基于混合特征的云雪检测网络(CSD-HFnet)中进行训练和验证，最终获得卫星遥感影像中云和雪的检测结果。

本发明采用的技术方案如下：

基于混合特征网络的卫星遥感影像云雪检测方法，具体步骤如下：

步骤一、影像预处理：对卫星遥感影像进行辐射定标、大气校正、拼接以及裁剪选取实验区。

(a)辐射定标的方法：辐射定标就是将图像的数字量化值(DN)转化为辐射亮度值、反射率或者表面温度等物理量的处理过程。辐射定标参数一般放在元数据文件中，利用完整的遥感图像处理平台(ENVI)的辐射定标工具(Radiometric Calibration)能自动从元数据文件中读取参数，从而完成辐射定标。

(b)大气校正的方法：利用完整的遥感图像处理平台(ENVI)的大气校正工具(FLASSH)来消除由于大气影响所造成的辐射误差，反演地物真实的表面反射率。

(c)MOD09GA数据拼接的方法：利用MODIS Reprojection Tool(MRT)软件实现不同条带号数据的拼接，形成覆盖实验区的完整数据。

(d)图像剪裁用于获得感兴趣的研究区域(ROI)。

步骤二、提取浅层特征：通过灰度共生矩阵(Gray level co-occurrence matrix，GLCM)、局部二值模式(Local Binary Pattern，LBP)和超像素分割(SuperpixelsExtracted via Energy-Driven Sampling，SEEDS)方法获得图像的浅层特征。

(a)提取图像的GLCM特征

GLCM纹理特征可以统计图像中所包含的灰度信息，并可以计算出每个灰度信息的频率。GLCM纹理特征的优点是可以准确预测和反映图像灰度的方向、相邻区间和变化范围等综合信息。GLCM特征主要有均值(Mean)、标准差(STD)、能量(ASM)、对比度(CON)、熵(ENT)、逆差分矩(IDM)、同质性(HOMO)和差异性(DIS)。

公式如下：

/>

其中，(i,j)代表图像像素对的位置，N为图像大小，p(i,j)代表特定位置关系下像素对的频率，(i-j)代表像素对的灰度差。

Mean反映纹理的规则程度，图像纹理杂乱无章值较小；而规律性强、易描述的，值较大。STD度量的是GLCM元素值以其均值为中心的分散程度；ASM可用来反映图像区域内灰度分布的均匀性。粗纹理能量值较大，而细纹理则较小；CON反映图像的清晰度与纹理凹槽的深度。对比度越大，纹理的凹槽越深，效果越清晰；对比度越小，则纹理的凹槽越浅，效果越模糊；ENT图像内容的随机性，反映了图像的信息量和复杂度。若纹理复杂，熵值大，反之，若图像中灰度均匀，纹理较为简单，则熵值小；IDM反映图像分布平滑度的度量。均匀度值较小，表示纹理较细；均匀度的值较大，则表示纹理较粗；HOMO测量灰度图像的局部强度的均匀性；DIS描述图像的局部变化。

(b)提取图像的LBP特征

LBP是一种灰度不变的纹理特征提取方法。它具有旋转不变性、对光照变化具有良好的鲁棒性以及对噪声极其敏感的特点。LBP运算符取相邻的8个像素与中心像素的灰度值之差。如果相邻像素的值大于中心像素的值，则该像素的值被标记为1，否则被标记为0，然后进行矩阵编码，将8位二进制数转换成十进制数作为中心像素的LBP值。LBP可以用以下公式计算。

其中，(x_c,y_c)代表中心像素点，h_C代表中心像素点的灰度值。以像素点(x_c,y_c)为圆心，以R为半径的圆圈区域被定义为中心像素点的邻域，N代表场内像素点的数量，h_n为邻域像素点的灰度值。

(c)提取图像的SEEDS特征

SEEDS算法用一个规则的网格来划分图像。对于SEEDS算法，网格是初始超级像素，然后逐渐移动当前超级像素的边缘，使超级像素内部的像素具有尽可能统一的颜色特征，从而快速完成分割。SEEDS定义了一个能量函数作为目标函数，来度量每个超像素的值。

E(s)＝H(s)+γG(s)……………………………………………(10)

其中，H(s)是颜色表达式，表示超像素的颜色信息。超像素中颜色越单一，颜色分布越集中，H(s)值越大；G(s)是形状表达式，用来表示超像素的规整程度；γ为自适应系数，用来调整颜色表达式与形状表达式的权重。

SEEDS算法具体步骤如下所示：

(1)使用K个网格对图像进行预分割。K即为最终分割出的超像素的个数。规定第k个超像素区域用A_k表示。

(2)计算颜色表达项H(s)。首先为每个超像素区域建立一个颜色直方图，将颜色空间划分为若干区域，每个区域在直方图中用一个箱格表示，记为H_j。定义

作为A_k中像素在颜色直方图中的分布，如公式(11)。

其中，I(i)代表像素i的颜色；Z是一个规范化因子，用于将公式归一化；δ()是一个指示函数，当像素i的颜色落在颜色直方图的箱格j中时，δ()值取1。再定义一个函数

用来衡量每个超像素区域中的颜色分布。如式(12)所示。

当超像素区域中的像素在颜色直方图中越集中，取值越大，当所有的像素都集中在颜色直方图的同一个箱格上时，取值达到最大，为1。在此基础上，可得到所有超像素颜色项的和，如式(13)所示。

(3)计算边缘表达项G(s)。G(s)通过惩罚超像素边缘之间的局部不规整性，来帮助产生贴合目标轮廓的边缘。首先用N×N的网格分割图像，然后为每个网格建立直方图。每个直方图中有K个箱格，代表着K个超像素.然后统计每个网格中的像素在直方图中的分布，定义N_i表示像素包含i的网格，则直方图可以用式(14)表示。

为了使得超像素拥有更好、更平滑的边缘，需要只包含一个超像素的网格尽可能多。所以用式(15)定义边缘项G(s)。

当N_i中的像素只属于一个超像素时，G(s)取值达到最大。

(4)迭代的实现超像素分割。在每次迭代中选取能量最低的超像素，将边缘附近的像素移入邻居超像素，使颜色分布更集中。最后设定迭代次数。

步骤三、提取深度热图特征：本发明通过构建深度特征提取网络获取图像的深度热图特征，实现在云雪共存的条件下，初步区分云和雪。提取深度热图特征由两个部分组成，首先由深度特征提取网络进行图像深度特征的提取，获取云和雪等地物的深层次抽象特征，随后通过Heatmap模块可以获得到图像深度热图特征，通过该特征可以有效区分云、雪及其他地物。

(1)获取深度特征：所述的深度特征提取网络采用残差神经网络结构，残差神经网络中第一部分由一个卷积层、BN层、Relu层和Maxpool串联组成，目的是压缩图像。第二部分为四个构建层，每个构建层由CONV BLOCK模块和多个IDENTITY BLOCK模块串联组成的。IDENTITY BLOCK模块是一个包含了一组由3个卷积层首尾串联的组合和一个作为残差线的Relu层的残差块，IDENTITY BLOCK模块的输入与输出通道数相同，目的是起到加深网络的作用，可以实现深层特征的提取；CONV BLOCK模块是一个由一组有3个卷积层首尾串联的组合和一组卷积层与Relu串联的并列组合形成的残差块，其中以一组卷积层与Relu串联作为残差线，CONV BLOCK模块输入与输出通道数不相同，目的是改变图像的大小和通道数。将多个CONV BLOCK与IDENTITY BLOCK组合的目的是改变图像的大小和图像通道数，以步长为区分，当步长为1时，不改变图像大小仅改变图像的通道数，而当步长不等于1时，不仅改变图像的大小还会改变图像的通道数。

(2)获取深度热图特征：经过步骤三(1)通过深度特征提取网络得到了深度特征，但在深度特征提取网络的后端，使用2D平均池化层、全连接层与Heatmap层获取深度特征的热图特征，并将该特征尺寸自适应成与输入图像尺寸一致。通过Heatmap模块获取热图特征，它可以简单地聚合大量数据，直观地展现空间数据，很多的目标检测任务是通过热图特征进行的，它可以将深度特征提取的过程可视化，更容易理解网络对于云雪检测过程。Heatmap模块实际上空间维度上的特征匹配，利用卷积核在特征图平面上滑动，从而更多地关注和利用局部信息。Heatmap通过使用卷积核进行逐个计算，随后判断每一个局部信息是否符合关键点的特征，计算出的响应越大，越有可能是关键点。最后在深度特征提取网络的输出处可得到与输入图像尺寸大小一致的深度热图特征。本发明借助深度热图特征可以降低云雪检测的难度。

步骤四、特征融合与云雪检测：将浅层特征和深层热图特征融合形成混合特征，对混合特征云雪检测网络进行训练和验证。在云雪共存的情况下，应用训练好的云雪检测网络模型对不同空间分辨率遥感数据图像进行云雪提取。

混合特征云雪检测网络主要由特征融合层、四个LSTM模块和一个随机森林分类器组成。首先通过云雪检测网络的特征融合层中使用CONCAT函数将由浅层特征提取模块得到的浅层特征、由深层特征提取网络得到的深层热图特征和原始数据波段组成云雪检测混合特征。随后混合特征被发送到具有最佳单元数的多特征LSTM的混合特征云雪检测网络进行训练和验证，以提取云和雪。每个LSTM模块的结构主要包括n个LSTM单元和dropout，其中n代表LSTM的深度。n个LSTM单元的使用是为了提取混合特征中可用的高层次非线性信息。最后一个LSTM模块在输出端包含了全连接层，以提高泛化能力。云雪检测网络的最后一层是随机森林分类器，它包含三个神经元对应于三个类别(云、雪和其他)，最终可以得到不同遥感图像的云雪检测结果。

本发明的有益效果：

本发明采用灰度共生矩阵、局部二值模式和能量驱动采样法提取超像素的方法提取图像的浅层特征，浅层特征可以保护云和雪的纹理信息。通过深度特征提取网络提取图像的深度热图特征，深度特征网络提取的深度热图特征是一种深层次的、抽象的特征，可以将易混淆的云和雪进行初步区分。随后将浅层特征与深度热图特征融合形成混合特征，同时将混合特征送入云雪检测网络训练和验证，最终获得卫星遥感影像中云和雪的检测结果。本发明方法能在云雪共存条件下准确地检测云和雪，可以在具有不同空间分辨率的遥感影像中实现云雪检测，为融雪径流分析、农业灌溉及生态环境保护提供可靠的分析数据。

附图说明

图1是本发明使用的研究数据。

图2是本发明基于混合特征网络的卫星遥感影像云雪检测方法流程图。

图3是本发明使用灰度共生矩阵获取的浅层特征示例图。

图4是本发明使用局部二值模式获取的浅层特征示例图。

图5是本发明使用SEEDS超像素分割获取的浅层特征示例图。

图6是本发明使用的深度特征提取网络结构图。

图7是本发明获取的深度热图特征示例图。

图8是本发明使用的混合特征云雪检测网络结构图。

图9是本发明使用基于混合特征网络的卫星遥感影像云雪检测方法获得的云雪检测结果图。

具体实施方式

下面以具体实施例的形式对本发明技术方案做进一步解释和说明。

采用1幅2019年1月27日的Landsat 8卫星数据、1幅2019年2月12日的MOD09GA卫星数据、1幅2019年2月12日的FY3D-MERSI卫星数据、1幅来自高分(GF)卫星云雪检测数据集的高分卫星数据和1幅来自资源卫星(ZY-3)云雪检测数据集的资源卫星数据为实验数据(图1)。各实验数据的详细参数如表1所示。

表1

卫星数据	实验波段	空间分辨率/时间分辨率率
			Landsat 8	R,G,B,NIR,SW1,SW2	30m/16day
FY3D MERSI	R,G,B,NIR	250m/1day
			MOD09GA	R,G,B,NIR,SW1,SW2	500m/1day
GF	R,G,B	1m/4day
			ZY-3	R,G,B	2m/5day

本发明提出的基于混合特征网络的云雪检测方法，使用灰度共生矩阵、局部二值模式和能量驱动采样法提取超像素的方法提取实验数据的浅层特征，随后通过深度特征提取网络提取图像的深度热图特征，利用云雪检测网络先将浅层特征与深度热图特征融合形成混合特征，同时将混合特征送入云雪检测网络进行训练和验证，最终获得Landsat 8卫星图像、MOD09GA卫星图像、FY3D-MERSI卫星图像、高分卫星图像和资源卫星图像的云雪检测结果，并与对应卫星数据的更高分辨率图像进行云雪检测精度的验证，经过本发明得到的云雪检测结果的整体精度可以达到95.36％，参照本实例整体流程图(图2)。

步骤一：影像预处理

对Landsat 8卫星遥感影像、MOD09GA光谱反射率影像、FY3D-MERSI卫星影像、高分卫星影像和资源卫星影像进行辐射定标、大气校正、拼接以及裁剪选取实验区。

(a)辐射定标的方法：辐射定标就是将图像的数字量化值(DN)转化为辐射亮度值、反射率或者表面温度等物理量的处理过程。辐射定标参数一般放在元数据文件中，利用完整的遥感图像处理平台(ENVI)的辐射定标工具(Radiometric Calibration)能自动从元数据文件中读取参数，从而完成辐射定标。

(b)大气校正的方法：利用完整的遥感图像处理平台(ENVI)的大气校正工具(FLASSH)来消除由于大气影响所造成的辐射误差，反演地物真实的表面反射率。

(c)MOD09GA数据拼接的方法：利用MODIS Reprojection Tool(MRT)软件实现不同条带号数据的拼接，形成覆盖实验区的完整数据。

(d)图像剪裁用于获得感兴趣的研究区域(ROI)。

步骤二、提取浅层特征：

通过灰度共生矩阵、局部二值模式和超像素分割等方法获得实验数据的浅层特征。浅层特征可以提供图像的基本信息，如地面物体的纹理和形状等信息为云和雪的检测提供基本信息。经过灰度共生矩阵得到均值、标准差、能量、对比度、熵、逆差分矩、同质性和差异性8个灰度共生矩阵纹理特征(图3)；经过局部二值模式得到图像的LBP特征(图4)；经过SEEDS超像素分割得到可以保护云和雪等地物的形状信息得到图像的形状特征，其中设置超像素个数(K值)为2000，网络N×N设置为5×5，迭代次数默认设置为10(图5)。

步骤三：提取深度热图特征：

深度热图特征是一个抽象的特征，它可以使云和雪之间的区别更加明显，并降低检测云和雪的难度。本发明通过构建深度特征提取网络(图6)获取图像的深度热图特征，实现在云雪共存的条件下，初步区分云和雪。提取深度热图特征由两个部分组成，首先由深度特征提取网络进行图像深度特征的提取，获取云和雪等地物的深层次抽象特征，随后通过深度特征提取网络中的Heatmap模块可以获得到图像深度热图特征(图7)，通过该特征可以有效区分云、雪及其他地物。

步骤四：特征融合与云雪检测：

浅层特征和深度热图特征将为云和雪的检测提供有效信息。首先要将浅层特征和深层热图特征融合形成混合特征，随后对混合特征云雪检测网络进行训练和验证。在云雪共存的情况下，应用训练好的混合特征云雪检测网络模型对不同空间分辨率遥感数据图像进行云雪提取。

混合特征云雪检测网络主要由特征融合层、四个LSTM模块和一个随机森林分类器组成(图8)。首先通过云雪检测网络的特征融合层中CONCAT函数将由浅层特征提取模块得到的浅层特征、由深层特征提取网络得到的深层热图特征和原始数据波段组成云雪检测混合特征。随后混合特征被发送到具有最佳单元数的多特征LSTM云雪检测网络进行训练和验证，应用训练好的网络模型实现云雪检测。每个LSTM模块的结构主要包括n个LSTM单元和dropout单元，其中n代表LSTM的深度，即混合特征的个数，对于Landsat 8卫星数据n为17，对于FY3D-MERSI卫星数据n为15，对于高分卫星和资源卫星数据n为14。n个LSTM单元的使用是为了提取混合特征中可用的高层次非线性信息。最后一个LSTM模块在输出端包含了全连接层，以提高泛化能力。云雪检测网络的最后一层是随机森林分类器，它包含三个神经元对应于三个类别(云、雪和其他)。基于混合特征云雪检测网络设定学习率为0.001，辍学率为0.5，迭代次数为10000。最终可以得到Landsat 8卫星数据、MOD09GA卫星数据、FY3D-MERSI卫星数据、高分卫星数据的和资源卫星数据的云雪检测结果(图9)。

本发明利用灰度共生矩阵、局部二值模式和能量驱动采样提取超像素的方法提取图像的纹理特征和形状特征等不同的浅层特征，同时利用深度学习网络分别实现图像深度热图特征提取、特征融合以及云雪检测。浅层特征可以保护图像的基础地物信息，深度学习特征提取网络可以获取深层次的抽象信息，本发明在原始卫星数据波段的基础上，将浅层特征与深度热图特征混合可以兼顾地物的基础信息与抽象信息，提升云雪共存条件下的云雪检测精度。本发明通过使用对特征变化敏感的混合特征云雪检测网络，最终可以获得不同空间分辨率卫星数据中的云雪检测结果，为实现动态积雪监测提供有效的参考数据，本发明得到的云雪检测结果与真实验证数据相比的整体精度可以达到95.36％

实验结果：为了说明使用基于混合特征的云雪检测方法准确性，选择比各实验数据空间分辨率更高的卫星数据作为验证数据，验证本发明得到的云雪检测结果的准确性。本发明可以将深层热图特征与浅层特征进行多层非线性混合，以表征云、雪以及薄云和不规则形状的云特征，可以实现高精度的云雪检测。同时，本发明有效地在不同空间分辨率的卫星数据中准确地检测云和雪，为积雪研究、水文分析提供真实可靠的数据。

Claims (5)

1.基于混合特征网络的卫星遥感影像云雪检测方法，其特征在于，该方法额的具体步骤如下：

步骤一、影像预处理：对卫星遥感影像进行辐射定标、大气校正、拼接以及裁剪选取实验区；

步骤二、提取浅层特征：通过灰度共生矩阵、局部二值模式和超像素分割方法获得图像的浅层特征；

步骤三、提取深度热图特征：提取深度热图特征由两个部分组成，首先由深度特征提取网络进行图像深度特征的提取，获取云和雪等地物的深层次抽象特征，随后通过Heatmap模块可以获得到图像深度热图特征，

所述的深度特征提取网络采用残差神经网络结构，Heatmap模块与深度特征提取网络连接，由2D平均池化层、全连接层与Heatmap层连接构成；

步骤四、特征融合与云雪检测：将浅层特征和深层热图特征融合形成混合特征，对混合特征云雪检测网络进行训练和验证；在云雪共存的情况下，应用训练好的云雪检测网络模型对不同空间分辨率遥感数据图像进行云雪提取；

混合特征云雪检测网络主要由特征融合层、四个LSTM模块和一个随机森林分类器组成；首先通过云雪检测网络的特征融合层中使用CONCAT函数将由浅层特征提取模块得到的浅层特征、由深层特征提取网络得到的深层热图特征和原始数据波段组成云雪检测混合特征；

随后混合特征被发送到具有最佳单元数的多特征LSTM的混合特征云雪检测网络进行训练和验证，以提取云和雪；每个LSTM模块的结构主要包括n个LSTM单元和dropout；最后一个LSTM模块在输出端包含了全连接层，最后通过随机森林分类器，将结果分为云、雪和其他三个类别，得到遥感图像的云雪检测结果。

2.根据权利要求1所述的基于混合特征网络的卫星遥感影像云雪检测方法，其特征在于，步骤一中，影像预处理的步骤具体如下：

(a)辐射定标的方法：辐射定标就是将图像的数字量化值转化为辐射亮度值、反射率或者表面温度等物理量的处理过程；辐射定标参数一般放在元数据文件中，利用完整的遥感图像处理平台的辐射定标工具能自动从元数据文件中读取参数，从而完成辐射定标；

(b)大气校正的方法：利用完整的遥感图像处理平台的大气校正工具来消除由于大气影响所造成的辐射误差，反演地物真实的表面反射率；

(c)MOD09GA数据拼接的方法：利用MODIS Reprojection Tool软件实现不同条带号数据的拼接，形成覆盖实验区的完整数据；

(d)图像剪裁用于获得感兴趣的研究区域。

3.根据权利要求1所述的基于混合特征网络的卫星遥感影像云雪检测方法，其特征在于，步骤二提取浅层特征的步骤具体如下：

(a)提取图像的GLCM特征

GLCM纹理特征可以统计图像中所包含的灰度信息，并计算出每个灰度信息的频率；GLCM特征主要有均值Mean、标准差STD、能量ASM、对比度CON、熵ENT、逆差分矩IDM、同质性HOMO和差异性DIS，公式如下：

其中，(i,j)代表图像像素对的位置，N为图像大小，p(i,j)代表特定位置关系下像素对的频率，(i-j)代表像素对的灰度差；

(b)提取图像的LBP特征

LBP运算符取相邻的8个像素与中心像素的灰度值之差；如果相邻像素的值大于中心像素的值，则该像素的值被标记为1，否则被标记为0，然后进行矩阵编码，将8位二进制数转换成十进制数作为中心像素的LBP值；LBP可以用以下公式计算；

其中，(x_c,y_c)代表中心像素点，h_C代表中心像素点的灰度值；以像素点(x_c,y_c)为圆心，以R为半径的圆圈区域被定义为中心像素点的邻域，N代表场内像素点的数量，h_n为邻域像素点的灰度值；

(c)提取图像的SEEDS特征

SEEDS算法具体步骤如下所示：

(1)使用K个网格对图像进行预分割；K即为最终分割出的超像素的个数；规定第k个超像素区域用A_k表示；

(2)计算颜色表达项H(s)；首先为每个超像素区域建立一个颜色直方图，将颜色空间划分为若干区域，每个区域在直方图中用一个箱格表示，记为H_j；定义

作为A_k中像素在颜色直方图中的分布，如公式(11)；/>

其中，I(i)代表像素i的颜色；Z是一个规范化因子，用于将公式归一化；δ()是一个指示函数，当像素i的颜色落在颜色直方图的箱格j中时，δ()值取1；再定义一个函数ψ(C_Ak)，用来衡量每个超像素区域中的颜色分布；如式(12)所示；

当超像素区域中的像素在颜色直方图中越集中，取值越大，当所有的像素都集中在颜色直方图的同一个箱格上时，取值达到最大，为1；在此基础上，可得到所有超像素颜色项的和，如式(13)所示；

(3)计算边缘表达项G(s)；G(s)通过惩罚超像素边缘之间的局部不规整性，来帮助产生贴合目标轮廓的边缘；首先用N×N的网格分割图像，然后为每个网格建立直方图；每个直方图中有K个箱格，代表着K个超像素.然后统计每个网格中的像素在直方图中的分布，定义N_i表示像素包含i的网格，则直方图可以用式(14)表示；

为了使得超像素拥有更好、更平滑的边缘，需要只包含一个超像素的网格尽可能多；所以用式(15)定义边缘项G(s)；

当N_i中的像素只属于一个超像素时，G(s)取值达到最大；

(4)迭代的实现超像素分割；在每次迭代中选取能量最低的超像素，将边缘附近的像素移入邻居超像素，使颜色分布更集中；最后设定迭代次数。

4.根据权利要求1所述的基于混合特征网络的卫星遥感影像云雪检测方法，其特征在于，步骤三提取深度热图特征中残差神经网络中第一部分由一个卷积层、BN层、Relu层和Maxpool串联组成；

第二部分为四个构建层，每个构建层由CONV BLOCK模块和多个IDENTITY BLOCK模块串联组成，CONV BLOCK模块是一个由一组3个卷积层首尾串联的组合和一个卷积层分别与Relu串联的并列组合形成的残差块，其中以一个卷积层与Relu串联作为残差线；IDENTITYBLOCK模块是一个包含了一组由3个卷积层首尾串联的组合和一个作为残差线的Relu层的残差块；

第一构建层中包含2个IDENTITY BLOCK模块，第二构建层中包含3个IDENTITY BLOCK模块，第三构建层中包含5个IDENTITY BLOCK模块，第四构建层中包含2个IDENTITY BLOCK模块。

5.根据权利要求1所述的基于混合特征网络的卫星遥感影像云雪检测方法，其特征在于，步骤四特征融合与云雪检测中混合特征云雪检测网络中LSTM的最佳单元数对于Landsat 8卫星数据n为17，对于FY3D-MERSI卫星数据n为15，对于高分卫星和资源卫星数据n为14。

Images