CN111553289A - 一种遥感图像云检测方法及系统 - Google Patents

一种遥感图像云检测方法及系统 Download PDF

Info

Publication number
CN111553289A
CN111553289A CN202010358850.4A CN202010358850A CN111553289A CN 111553289 A CN111553289 A CN 111553289A CN 202010358850 A CN202010358850 A CN 202010358850A CN 111553289 A CN111553289 A CN 111553289A
Authority
CN
China
Prior art keywords
layer
image
cloud
information
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010358850.4A
Other languages
English (en)
Inventor
孙显
付琨
闫志远
闫梦龙
刁文辉
李�浩
陈凯强
柴亚捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202010358850.4A priority Critical patent/CN111553289A/zh
Publication of CN111553289A publication Critical patent/CN111553289A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种遥感图像云检测方法及系统，对待检测图像进行滑动窗切片；将各图像切片输入至训练好的全卷积神经网络模型，获得各图像切片的云检测结果；将各图像切片的云检测结果进行拼接，输出待检测图像的检测结果；其中，全卷积神经网络模型是基于提取训练集图像中云的多尺度上下文信息，并对云的多尺度上下文信息进行融合得到的，本发明的方法及系统不仅能够提高对多尺度云的检测精度，还通过对云的多尺度上下文信息进行融合提高对小块云的检测效果，优化了云的边界。

Description

一种遥感图像云检测方法及系统
技术领域
本发明涉及信号与信息处理技术领域，具体涉及一种遥感图像云检测方法及系统。
背景技术
云检测旨在对遥感图像中的像素进行分类，判别像素是否是云，是光学遥感图像处理的重要环节，具有重要的研究和应用价值。一方面，多云遥感图像的存在会占用系统的传输带宽和存储空间，浪费信道和地面设备资源，云检测可以为剔除这类无效数据提供依据，缓解遥感图像传输通道的压力，提高数据的利用率。另一方面，云是气候学研究的要素之一，通过观察云的分布，不仅可以为天气预报提供数据支持，还可以监测全球气象条件的变化。
现有云检测技术主要可以分为两类：基于手工设计特征的方法和基于深度学习的方法。基于手工设计特征的方法通常根据遥感图像中云与下垫面地物的性质差异，人工设计一系列特征，然后通过设置阈值或使用机器学习算法进行分类，判断像素是否为云。这类方法计算简单，云检测速度较快，经过多年发展，算法较为成熟。但这类方法大多面向多光谱遥感数据，对于波段较少的遥感数据，如高分一号遥感图像，由于缺少云检测依赖的热红外波段和水蒸气/二氧化碳吸收波段，这类方法在这类数据上的云检测效果不佳，尤其对冰雪等似云物体和薄云的检测效果较差。此外，这类方法大多针对特定的遥感影像设计，对传感器类型、下垫面地物类型等因素较为敏感，实施过程中诸多步骤尚需依赖经验指导，耗时耗力，普适性较差。基于深度学习的云检测方法利用卷积网络从遥感图像中自动学习有效的特征，替代了手工设计特征的过程，提高了云检测方法的鲁棒性，尤其对冰雪等似云物体的检测比较有效。但由于卷积神经网络中大的输入步长和池化效应，在网络深层提取的特征图里会损失较多空间细节信息，在云检测上则表现为小块云漏检、云检测边界粗糙的问题，进而导致对图像中云检测精度低。
发明内容
为了解决现有技术的上述缺陷，本发明的目的在于提供一种遥感图像云检测方法及系统，该方法及系统用于解决现有图像中云检测精度低的问题。
为了实现上述发明目的，本发明提供了一种遥感图像云检测方法，包括下述步骤：
对待检测图像进行滑动窗切片；
将各图像切片输入至训练好的全卷积神经网络模型，获得各图像切片的云检测结果；
将各图像切片的云检测结果进行拼接，输出待检测图像的检测结果；
其中，所述全卷积神经网络模型是通过提取训练集图像中云的多尺度上下文信息，并对云的多尺度上下文信息进行融合得到的。
进一步地，所述全卷积神经网络模型是通过提取训练集图像中云的多尺度上下文信息，并对云的多尺度上下文信息进行融合得到的，包括：
对采集的遥感图像进行图像预处理后，划分为训练集和验证集；
将训练集图像输入至预先构建的全卷积神经网络模型的结构中，获得具有云的低层轮廓特征和高层语义特征的特征图；
对特征图的全局和局部区域进行池化处理，获取低层和高层的多尺度上下文信息；
将低层和高层的多尺度上下文信息进行融合，获得特征预测图；
通过特征预测图判断训练集图像中每个像素是云或是背景，进而完成对训练集图像中云的检测；
采用BP反向传播算法对全卷积神经网络模型进行迭代训练，利用随机梯度下降优化算法不断更新全卷积神经网络模型的参数，直至网络损失函数收敛或达到预设迭代次数；
利用验证集图像验证迭代训练过程中全卷积神经网络模型的精度，选取精度最高的模型作为训练好的全卷积神经网络模型。
进一步地，所述预先构建的全卷积神经网络模型的结构采用删除ResNet101网络的全连接层作为基础网络；
所述基础网络包括依次连接的输入层、五个信息层和Softmax分类层，所述第一信息层和第三信息层均包括卷积层，所述第二信息层包括最大池化层和卷积层，所述第四信息层和第五信息层均包括带孔卷积层。
进一步地，所述第一至第三信息层的每个卷积层后面均加入批量归一化层，所述第四和第五信息层的每个带孔卷积层后面均加入批量归一化层。
进一步地，所述将训练集图像输入至预先构建的全卷积神经网络模型的结构中，获得具有云的低层轮廓特征和高层语义特征的特征图，包括：
将训练集图像通过网络的输入层输入至第一信息层；
利用第一信息层提取图像的低层轮廓特征并输出特征图；
针对第一信息层输出的特征图，利用第二信息层继续提取图像的低层轮廓特征并输出特征图；
针对第二信息层输出的特征图，利用第三信息层提取图像的高层语义特征并输出特征图；
针对第三信息层输出的特征图，利用第四信息层继续提取图像的高层语义特征并输出特征图；
针对第四信息层输出的特征图，利用第五信息层继续提取图像的高层语义特征，输出具有云的低层轮廓特征和高层语义特征的特征图。
进一步地，所述对特征图的全局和局部区域进行池化处理，获取低层和高层的多尺度上下文信息，包括：
使用全局平均池化，提取具有低层轮廓特征和高层语义特征的特征图的全局特征；
将特征图划分成不同大小的子区域，使用全局平均池化分别提取每张特征图中所有子区域的局部特征；
对具有全局特征的特征图和具有局部特征的特征图，分别使用1×1卷积进行降维处理，并通过双线性差值的方式将降维处理后特征图上采样到特征图的原始尺寸；
将所有特征图通过对应像素相加的方式进行融合，并输出具有低层和高层多尺度上下文信息的特征图。
进一步地，所述将低层和高层的多尺度上下文信息进行融合，获得特征预测图，包括：
按下述任一公式对低层和高层的多尺度上下文信息进行融合：
Figure BDA0002474377010000041
或
Figure BDA0002474377010000042
或
Figure BDA0002474377010000043
式中，Fi表示每一信息层融合之后的信息；Pi表示第i信息层Ii经过上下文信息提取后的结果，Conv1×1(.)表示接在Pi后面一个1×1卷积层，用于降低特征维度；Upsample(.)表示双线性插值上采样；“+”表示逐像素相加的特征融合操作。
进一步地，所述通过特征预测图判断训练集图像中每个像素是云或是背景，包括：
将特征融合后获得的特征预测层传入Softmax分类层，利用Softmax分类层对训练集图像中每个像素是云或是背景进行分类。
进一步地，所述对采集的遥感图像进行图像预处理，包括：
数据均值与方差统计、数据切片和数据增强处理。
另一方面，本发明还提供一种遥感图像云检测系统，其改进之处在于，包括：
切片单元，用于对待检测图像进行滑动窗切片；
检测单元，用于将各图像切片输入至训练好的全卷积神经网络模型，获得各图像切片的云检测结果；
拼接单元，用于将各图像切片的云检测结果进行拼接，输出待检测图像的检测结果；
其中，所述全卷积神经网络模型是通过提取训练集图像中云的多尺度上下文信息，并对云的多尺度上下文信息进行融合得到的。
与最接近的现有技术相比，本发明提供的技术方案具有以下有益效果：
本发明提供的遥感图像云检测方法及系统中，首先对待检测图像进行滑动窗切片；然后将各图像切片输入至训练好的全卷积神经网络模型，获得各图像切片的云检测结果；最后将各图像切片的云检测结果进行拼接，输出待检测图像的检测结果；该方法及系统的全卷积神经网络模型是基于提取训练集图像中云的多尺度上下文信息，并对云的多尺度上下文信息进行融合得到的，不仅能够提高对多尺度云的检测精度，还通过对云的多尺度上下文信息进行融合提高对小块云的检测效果，优化了云的边界。
附图说明
图1为本发明实施例中遥感图像云检测方法的流程示意图；
图2为本发明实施例中对全卷积神经网络模型进行训练的流程示意图；
图3为本发明实施例中全卷积神经网络模型的结构示意图；
图4为本发明实施例中获取多尺度上下文信息的示意图；
图5为本发明实施例中将低层和高层的多尺度上下文信息进行信息融合的示意图；
图6为本发明实施例中遥感图像云检测系统的结构示意图。
具体实施方式
为了更好地理解本发明，下面结合说明书附图对本发明实施例提供的技术方案做进一步的详细说明。
本发明实施例提出一种遥感图像云检测方法，如图1所示，主要包括如下步骤：
S10、对待检测图像进行滑动窗切片；
S20、将各图像切片输入至训练好的全卷积神经网络模型，获得各图像切片的云检测结果；
S30、将各图像切片的云检测结果进行拼接，输出待检测图像的检测结果；
其中，全卷积神经网络模型是通过提取训练集图像中云的多尺度上下文信息，并对云的多尺度上下文信息进行融合得到的。
上述步骤S10中，可以采用滑动窗口的形式将待检测的遥感图像切片为512×512的图像切片。
上述步骤S20中，全卷积神经网络模型的训练过程，具体包括如下步骤，其中部分流程如图2所示：
S21、对采集的遥感图像进行图像预处理后，按预先设定的比例划分为训练集和验证集；
S22、将训练集图像输入至预先构建的全卷积神经网络模型的结构中，获得具有云的低层轮廓特征和高层语义特征的特征图；
S23、对特征图的全局和局部区域进行池化处理，获取低层和高层的多尺度上下文信息；
S24、将低层和高层的多尺度上下文信息进行融合，获得特征预测图；
S25、通过特征预测图判断训练集图像中每个像素是云或是背景，进而完成对训练集图像中云的检测；
S26、采用BP反向传播算法对全卷积神经网络模型进行迭代训练，利用随机梯度下降优化算法不断更新全卷积神经网络模型的参数，直至网络损失函数收敛或达到预设迭代次数；
S27、利用验证集图像验证迭代训练过程中全卷积神经网络模型的精度，选取精度最高的模型作为训练好的全卷积神经网络模型。
上述步骤S21，可以包括如下步骤：
S211、对采集的遥感图像进行数据均值与方差统计；
S212、将经过步骤S211处理的图像切片为512×512大小的切片图像，并进行数据增强处理；
S213、将经过步骤S212的切片图像划分为训练集和验证集。
上述步骤S22中，预先构建的全卷积神经网络模型的结构采用删除ResNet101网络的全连接层作为基础网络；
如图3所示，基础网络包括依次连接的输入层、五个信息层和Softmax分类层，所述第一信息层和第三信息层均包括卷积层，所述第二信息层包括最大池化层和卷积层，所述第四信息层和第五信息层均包括带孔卷积层。
具体来说，选择卷积神经分类网络ResNet101作为基础网络，去掉ResNet101网络的全连接层，将网络变成全卷积神经网络。
在ResNet101网络中，将输出特征图尺寸相同的卷积层定义为同一层级，则一共有五层信息层，分别记为{I1,I2,I3,I4,I5}。
在ResNet-101网络的最后两层信息{I4,I5}中，使用带孔卷积替换原始的标准卷积，在不减小特征图尺寸和不引入额外参数的情况下，获得与原始ResNet101网络相同大小的感受野。
为了加速网络训练时的收敛速度，同时防止过拟合，可以在每个卷积层的后面加入批量归一化层。
上述步骤S22，可以通过如下步骤实现：
S221、将训练集图像通过网络的输入层输入至第一信息层I2；
S222、利用第一信息层I1,提取图像的低层轮廓特征并输出特征图；
S223、针对第一信息层I1输出的特征图，利用第二信息层I2继续提取图像的低层轮廓特征并输出特征图；
S224、针对第二信息层I2输出的特征图，利用第三信息层I3提取图像的高层语义特征并输出特征图；
S225、针对第三信息层I3输出的特征图，利用第四信息层I4继续提取图像的高层语义特征并输出特征图；
S226、针对第四信息层I4输出的特征图，利用第五信息层I5继续提取图像的高层语义特征，输出具有云的低层轮廓特征和高层语义特征的一张特征图。
由于遥感图像中的云没有固定的大小和形状，具有多尺度性。针对云的这一特点，本发明采用步骤S23针对网络结构中的信息层{I2,I3,I4,I5}，分别提取特征图的全局特征和将特征图划分为不同大小后子区域的局部特征，以此在网络模型中添加丰富的多尺度上下文信息，具体步骤包括：
S231、使用全局平均池化，提取具有低层轮廓特征和高层语义特征的特征图的全局特征；
S232、将特征图划分成不同大小的子区域，使用全局平均池化分别提取特征图中所有子区域的局部特征；
如图4所示，本实施例中以将特征图划分为三种不同大小的子区域为例进行说明：
先将一张特征图划分成1/4大小的子区域，然后在所有子区域内使用全局平局池化，提取4个子区域的局部特征；
再依照上述方法，分别将相同的特征图划分成1/9和1/36的子区域，并提取9个子区域和36个子区域的局部特征；
S233、对具有全局特征的特征图和具有局部特征的特征图，分别使用1×1卷积进行降维处理，并通过双线性差值的方式将降维处理后特征图上采样到特征图的原始尺寸；
S234、将所有特征图通过对应像素相加的方式进行融合，并输出具有低层和高层多尺度上下文信息的一张特征图。
云具有多尺度特性，有大块的云，也有小块的碎云。由于深度卷积神经网络中卷积层大的步长和池化层的作用，会损失很多空间信息，小块的云往往会被漏检，云的边界也会比较粗糙。为了解决这些问题，通过上述步骤S24将低层和高层的多尺度上下文信息进行融合后获得一张特征预测图。
可以按下述任一公式对低层和高层的多尺度上下文信息进行融合：
Figure BDA0002474377010000081
或
Figure BDA0002474377010000082
或
Figure BDA0002474377010000083
式中，Fi表示每一信息层融合之后的信息；Pi表示第i信息层Ii经过上下文信息提取后的结果，Conv1×1(.)表示接在Pi后面一个1×1卷积层，用于降低特征维度；Upsample(.)表示双线性插值上采样；“+”表示逐像素相加的特征融合操作。
如图5所示，本实施例中以利用网络结构中{I2,I3,I4,I5}信息层对低层和高层的多尺度上下文信息进行融合进行如下详细说明：
首先，在P5后面接一个1×1的卷积层，来降低特征维度，产生F5信息层；
然后，F5与同样经过1×1卷积层降维的P4进行逐像素相加的融合，产生融合信息层F4；
同理，F4与经过1×1卷积层降维的P3进行逐像素相加的融合，产生融合信息层F3；
由于P2的特征图尺寸是F3的两倍，为了融合P2与F3，先对F3进行了两倍的双线性差值上采样操作，使得F3与P2有相同的大小，然后将F3与P2逐像素对应相加，进行融合，产生融合信息层F2，即得到特征预测图。
在卷积神经网络中，网络的低层信息往往包含较为丰富的边缘、纹理信息，网络的高层信息则包含较为抽象的语义信息，因此本发明实施例中通过步骤S24的信息融合，可以综合利用各种信息，提高对小块云的检测效果，精细化云的边界。
上述步骤S25中，通过特征预测图判断训练集图像中每个像素是云或是背景的具体步骤包括：
S251、将特征融合后获得的特征预测层传入Softmax分类层；
S252、利用Softmax分类层对训练集图像中每个像素是云或是背景进行分类。
上述步骤S26中，网络损失函数可以采用本领域技术人员公知的交叉熵函数。
基本同一发明构思，本发明实施例还提出一种遥感图像云检测系统，如图6所示，包括如下部分：
切片单元，用于对待检测图像进行滑动窗切片；
检测单元，用于将各图像切片输入至训练好的全卷积神经网络模型，获得各图像切片的云检测结果；
拼接单元，用于将各图像切片的云检测结果进行拼接，输出待检测图像的检测结果；
其中，所述全卷积神经网络模型是通过提取训练集图像中云的多尺度上下文信息，并对云的多尺度上下文信息进行融合得到的。
本发明实施例中的遥感图像云检测系统，还包括训练单元，具体用于：
对采集的遥感图像进行图像预处理后，划分为训练集和验证集；
将训练集图像输入至预先构建的全卷积神经网络模型的结构中，获得具有云的低层轮廓特征和高层语义特征的特征图；
对特征图的全局和局部区域进行池化处理，获取低层和高层的多尺度上下文信息；
将低层和高层的多尺度上下文信息进行融合，获得特征预测图；
通过特征预测图判断训练集图像中每个像素是云或是背景，进而完成对训练集图像中云的检测；
采用BP反向传播算法对全卷积神经网络模型进行迭代训练，利用随机梯度下降优化算法不断更新全卷积神经网络模型的参数，直至网络损失函数收敛或达到预设迭代次数；
利用验证集图像验证迭代训练过程中全卷积神经网络模型的精度，选取精度最高的模型作为训练好的全卷积神经网络模型。
优选的，预先构建的全卷积神经网络模型的结构采用删除ResNet101网络的全连接层作为基础网络；
基础网络包括依次连接的输入层、五个信息层和Softmax分类层，所述第一信息层和第三信息层均包括卷积层，所述第二信息层包括最大池化层和卷积层，所述第四信息层和第五信息层均包括带孔卷积层。
优选的，第一至第三信息层的每个卷积层后面均加入批量归一化层，所述第四和第五信息层的每个带孔卷积层后面均加入批量归一化层。
优选的，所述将训练集图像输入至预先构建的全卷积神经网络模型的结构中，获得具有云的低层轮廓特征和高层语义特征的特征图，包括：
将训练集图像通过网络的输入层输入至第一信息层；
利用第一信息层提取图像的低层轮廓特征并输出特征图；
针对第一信息层输出的特征图，利用第二信息层继续提取图像的低层轮廓特征并输出特征图；
针对第二信息层输出的特征图，利用第三信息层提取图像的高层语义特征并输出特征图；
针对第三信息层输出的特征图，利用第四信息层继续提取图像的高层语义特征并输出特征图；
针对第四信息层输出的特征图，利用第五信息层继续提取图像的高层语义特征，输出具有云的低层轮廓特征和高层语义特征的特征图。
优选的，所述对特征图的全局和局部区域进行池化处理，获取低层和高层的多尺度上下文信息，包括：
使用全局平均池化，提取具有低层轮廓特征和高层语义特征的特征图的全局特征；
将特征图划分成不同大小的子区域，使用全局平均池化分别提取每张特征图中所有子区域的局部特征；
对具有全局特征的特征图和具有局部特征的特征图，分别使用1×1卷积进行降维处理，并通过双线性差值的方式将降维处理后特征图上采样到特征图的原始尺寸；
将所有特征图通过对应像素相加的方式进行融合，并输出具有低层和高层多尺度上下文信息的特征图。
优选的，所述将低层和高层的多尺度上下文信息进行融合，获得特征预测图，包括：
按下述任一公式对低层和高层的多尺度上下文信息进行融合：
Figure BDA0002474377010000111
或
Figure BDA0002474377010000112
或
Figure BDA0002474377010000113
式中，Fi表示每一信息层融合之后的信息；Pi表示第i信息层Ii经过上下文信息提取后的结果，Conv1×1(.)表示接在Pi后面一个1×1卷积层，用于降低特征维度；Upsample(.)表示双线性插值上采样；“+”表示逐像素相加的特征融合操作。
优选的，所述通过特征预测图判断训练集图像中每个像素是云或是背景，包括：
将特征融合后获得的特征预测层传入Softmax分类层，利用Softmax分类层对训练集图像中每个像素是云或是背景进行分类。
本发明实施例中的遥感图像云检测方法及系统通过全卷积神经网络获取云的低层轮廓特征和高层语义特征，以端对端的学习模式替代手工调整参数的过程，较好解决了冰雪等似云物体的误检问题；针对低层轮廓特征和高层语义特征，分别使用全局池化和局部池化处理，获取云的多尺度上下文信息，提高对多尺度云的检测精度；通过低层和高层的多尺度上下文信息融合，使低层特征辅助云检测的细节定位，高层特征辅助云检测的语义分类，提高小块云的检测结果，优化云的边界。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (10)

1.一种遥感图像云检测方法，其特征在于，包括：
对待检测图像进行滑动窗切片；
将各图像切片输入至训练好的全卷积神经网络模型，获得各图像切片的云检测结果；
将各图像切片的云检测结果进行拼接，输出待检测图像的检测结果；
其中，所述全卷积神经网络模型是通过提取训练集图像中云的多尺度上下文信息，并对云的多尺度上下文信息进行融合得到的。
2.如权利要求1所述的方法，其特征在于，所述全卷积神经网络模型是通过提取训练集图像中云的多尺度上下文信息，并对云的多尺度上下文信息进行融合得到的，包括：
对采集的遥感图像进行图像预处理后，划分为训练集和验证集；
将训练集图像输入至预先构建的全卷积神经网络模型的结构中，获得具有云的低层轮廓特征和高层语义特征的特征图；
对特征图的全局和局部区域进行池化处理，获取低层和高层的多尺度上下文信息；
将低层和高层的多尺度上下文信息进行融合，获得特征预测图；
通过特征预测图判断训练集图像中每个像素是云或是背景，进而完成对训练集图像中云的检测；
采用BP反向传播算法对全卷积神经网络模型进行迭代训练，利用随机梯度下降优化算法不断更新全卷积神经网络模型的参数，直至网络损失函数收敛或达到预设迭代次数；
利用验证集图像验证迭代训练过程中全卷积神经网络模型的精度，选取精度最高的模型作为训练好的全卷积神经网络模型。
3.如权利要求2所述的方法，其特征在于，所述预先构建的全卷积神经网络模型的结构采用删除ResNet101网络的全连接层作为基础网络；
所述基础网络包括依次连接的输入层、五个信息层和Softmax分类层，所述第一信息层和第三信息层均包括卷积层，所述第二信息层包括最大池化层和卷积层，所述第四信息层和第五信息层均包括带孔卷积层。
4.如权利要求3所述的方法，其特征在于，所述第一至第三信息层的每个卷积层后面均加入批量归一化层，所述第四和第五信息层的每个带孔卷积层后面均加入批量归一化层。
5.如权利要求3所述的方法，其特征在于，所述将训练集图像输入至预先构建的全卷积神经网络模型的结构中，获得具有云的低层轮廓特征和高层语义特征的特征图，包括：
将训练集图像通过网络的输入层输入至第一信息层；
利用第一信息层提取图像的低层轮廓特征并输出特征图；
针对第一信息层输出的特征图，利用第二信息层继续提取图像的低层轮廓特征并输出特征图；
针对第二信息层输出的特征图，利用第三信息层提取图像的高层语义特征并输出特征图；
针对第三信息层输出的特征图，利用第四信息层继续提取图像的高层语义特征并输出特征图；
针对第四信息层输出的特征图，利用第五信息层继续提取图像的高层语义特征，输出具有云的低层轮廓特征和高层语义特征的特征图。
6.如权利要求3所述的方法，其特征在于，所述对特征图的全局和局部区域进行池化处理，获取低层和高层的多尺度上下文信息，包括：
使用全局平均池化，提取具有低层轮廓特征和高层语义特征的特征图的全局特征；
将特征图划分成不同大小的子区域，使用全局平均池化分别提取每张特征图中所有子区域的局部特征；
对具有全局特征的特征图和具有局部特征的特征图，分别使用1×1卷积进行降维处理，并通过双线性差值的方式将降维处理后特征图上采样到特征图的原始尺寸；
将所有特征图通过对应像素相加的方式进行融合，并输出具有低层和高层多尺度上下文信息的特征图。
7.如权利要求3所述的方法，其特征在于，所述将低层和高层的多尺度上下文信息进行融合，获得特征预测图，包括：
按下述任一公式对低层和高层的多尺度上下文信息进行融合：
Figure FDA0002474377000000031
或
Figure FDA0002474377000000032
或
Figure FDA0002474377000000033
式中，Fi表示每一信息层融合之后的信息；Pi表示第i信息层Ii经过上下文信息提取后的结果，Conv1×1(.)表示接在Pi后面一个1×1卷积层，用于降低特征维度；Upsample(.)表示双线性插值上采样；“+”表示逐像素相加的特征融合操作。
8.如权利要求3所述的方法，其特征在于，所述通过特征预测图判断训练集图像中每个像素是云或是背景，包括：
将特征融合后获得的特征预测层传入Softmax分类层，利用Softmax分类层对训练集图像中每个像素是云或是背景进行分类。
9.如权利要求2所述的方法，其特征在于，所述对采集的遥感图像进行图像预处理，包括：
数据均值与方差统计、数据切片和数据增强处理。
10.一种遥感图像云检测系统，其特征在于，包括：
切片单元，用于对待检测图像进行滑动窗切片；
检测单元，用于将各图像切片输入至训练好的全卷积神经网络模型，获得各图像切片的云检测结果；
拼接单元，用于将各图像切片的云检测结果进行拼接，输出待检测图像的检测结果；
其中，所述全卷积神经网络模型是通过提取训练集图像中云的多尺度上下文信息，并对云的多尺度上下文信息进行融合得到的。
CN202010358850.4A 2020-04-29 2020-04-29 一种遥感图像云检测方法及系统 Pending CN111553289A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010358850.4A CN111553289A (zh) 2020-04-29 2020-04-29 一种遥感图像云检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010358850.4A CN111553289A (zh) 2020-04-29 2020-04-29 一种遥感图像云检测方法及系统

Publications (1)

Publication Number Publication Date
CN111553289A true CN111553289A (zh) 2020-08-18

Family

ID=72004266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010358850.4A Pending CN111553289A (zh) 2020-04-29 2020-04-29 一种遥感图像云检测方法及系统

Country Status (1)

Country Link
CN (1) CN111553289A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257796A (zh) * 2020-10-28 2021-01-22 辽宁工程技术大学 一种基于选择性特征连接的卷积神经网络的图像整合方法
CN112836610A (zh) * 2021-01-26 2021-05-25 平衡机器科技(深圳)有限公司 一种基于遥感数据的土地利用变化与碳储量定量估算方法
CN113239830A (zh) * 2021-05-20 2021-08-10 北京航空航天大学 一种基于全尺度特征融合的遥感图像云检测方法
CN117173100A (zh) * 2023-07-31 2023-12-05 东莞市言科新能源有限公司 聚合物锂离子电池生产控制系统及其方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1472634A (zh) * 2003-05-16 2004-02-04 上海交通大学 高光谱遥感图像联合加权随机分类方法
CN109934200A (zh) * 2019-03-22 2019-06-25 南京信息工程大学 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统
CN110060237A (zh) * 2019-03-29 2019-07-26 腾讯科技（深圳）有限公司 一种故障检测方法、装置、设备及系统
CN110119728A (zh) * 2019-05-23 2019-08-13 哈尔滨工业大学 基于多尺度融合语义分割网络的遥感图像云检测方法
CN110378242A (zh) * 2019-06-26 2019-10-25 南京信息工程大学 一种双重注意力机制的遥感目标检测方法
CN110598600A (zh) * 2019-08-27 2019-12-20 广东工业大学 一种基于unet神经网络的遥感图像云检测方法
CN110706242A (zh) * 2019-08-26 2020-01-17 浙江工业大学 一种基于深度残差网络的对象级边缘检测方法
CN110795991A (zh) * 2019-09-11 2020-02-14 西安科技大学 一种基于多信息融合的矿用机车行人检测方法
CN110807372A (zh) * 2019-10-15 2020-02-18 哈尔滨工程大学 一种基于深度特征重组的快速光学遥感目标识别方法
CN111079683A (zh) * 2019-12-24 2020-04-28 天津大学 基于卷积神经网络的遥感图像云雪检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1472634A (zh) * 2003-05-16 2004-02-04 上海交通大学 高光谱遥感图像联合加权随机分类方法
CN109934200A (zh) * 2019-03-22 2019-06-25 南京信息工程大学 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统
CN110060237A (zh) * 2019-03-29 2019-07-26 腾讯科技（深圳）有限公司 一种故障检测方法、装置、设备及系统
CN110119728A (zh) * 2019-05-23 2019-08-13 哈尔滨工业大学 基于多尺度融合语义分割网络的遥感图像云检测方法
CN110378242A (zh) * 2019-06-26 2019-10-25 南京信息工程大学 一种双重注意力机制的遥感目标检测方法
CN110706242A (zh) * 2019-08-26 2020-01-17 浙江工业大学 一种基于深度残差网络的对象级边缘检测方法
CN110598600A (zh) * 2019-08-27 2019-12-20 广东工业大学 一种基于unet神经网络的遥感图像云检测方法
CN110795991A (zh) * 2019-09-11 2020-02-14 西安科技大学 一种基于多信息融合的矿用机车行人检测方法
CN110807372A (zh) * 2019-10-15 2020-02-18 哈尔滨工程大学 一种基于深度特征重组的快速光学遥感目标识别方法
CN111079683A (zh) * 2019-12-24 2020-04-28 天津大学 基于卷积神经网络的遥感图像云雪检测方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
WEI LIU,AT EL: ""PARSENET:LIIKING WIDER TO SEE BETTER"", 《ARXIV》 *
唐雪梅等: "《武器装备综合试验与评估》", 31 December 2013, 国防工业出版社 *
张博等: ""基于空间金字塔池化和深度卷积神经网络的作物害虫识别"", 《农业工程学报》 *
王小川等: "《MATLAB神经网络43个案例分析》", 31 August 2013, 北京航空航天大学出版社 *
赵斐等: ""基于多特征图金字塔融合深度网络的遥感图像语义分割"", 《电子与信息学报》 *
达里奥·佛罗来若等: "《仿生人工智能》", 31 March 2017, 国防工业出版社 *
高军等: ""基于全卷积神经网络的卫星遥感图像云检测方法"", 《红外技术》 *
高志强等: "《深度学习：从入门到实战》", 30 June 2018, 中国铁道出版社 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257796A (zh) * 2020-10-28 2021-01-22 辽宁工程技术大学 一种基于选择性特征连接的卷积神经网络的图像整合方法
CN112836610A (zh) * 2021-01-26 2021-05-25 平衡机器科技(深圳)有限公司 一种基于遥感数据的土地利用变化与碳储量定量估算方法
CN113239830A (zh) * 2021-05-20 2021-08-10 北京航空航天大学 一种基于全尺度特征融合的遥感图像云检测方法
CN117173100A (zh) * 2023-07-31 2023-12-05 东莞市言科新能源有限公司 聚合物锂离子电池生产控制系统及其方法
CN117173100B (zh) * 2023-07-31 2024-04-05 东莞市言科新能源有限公司 聚合物锂离子电池生产控制系统及其方法

Similar Documents

Publication Publication Date Title
CN111553289A (zh) 一种遥感图像云检测方法及系统
CN111582043A (zh) 基于多任务学习的高分辨率遥感影像地物变化检测方法
CN111797712B (zh) 基于多尺度特征融合网络的遥感影像云与云阴影检测方法
CN107730527A (zh) 一种基于遥感卫星影像的高原地区冰湖提取方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN112233129B (zh) 基于深度学习的并行多尺度注意力机制语义分割方法及装置
CN109359661B (zh) 一种基于卷积神经网络的Sentinel-1雷达图像分类方法
CN111178438A (zh) 一种基于ResNet101的天气类型识别方法
CN111666903B (zh) 一种卫星云图中雷暴云团的识别方法
CN112489023A (zh) 一种基于多尺度和多层次的路面裂缝检测方法
CN110956207B (zh) 一种光学遥感影像全要素变化检测方法
CN112068085B (zh) 一种基于深度学习的雷达海杂波原始数据快速预处理方法
CN114399480A (zh) 蔬菜叶片病害严重程度检测方法及装置
CN114943876A (zh) 一种多级语义融合的云和云影检测方法、设备及存储介质
CN116699096B (zh) 一种基于深度学习的水质检测方法和系统
CN115588192A (zh) 细胞图像分类方法和图像分类系统、电子设备及存储介质
CN114998251A (zh) 一种基于联邦学习的空中多视觉平台地面异常检测方法
CN112085725B (zh) 基于启发式迭代算法的残膜残留量检测方法及预警系统
CN115239733B (zh) 裂缝检测方法、装置、终端设备以及存储介质
CN116682026A (zh) 一种智能深度学习环境遥感系统
CN113239865B (zh) 基于深度学习的车道线检测方法
CN114758237A (zh) 一种输水隧洞缺陷自动识别模型的构建方法、检测方法、构建装置、计算机及存储介质
CN112215104A (zh) 一种基于超像素分割的海冰提取方法、装置和设备
CN113591614A (zh) 一种基于紧邻空间特征学习的遥感影像道路提取方法
JP2021124949A (ja) 機械学習モデル圧縮システム、プルーニング方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination