CN108932474B - 一种基于全卷积神经网络复合特征的遥感影像云判方法 - Google Patents

一种基于全卷积神经网络复合特征的遥感影像云判方法 Download PDF

Info

Publication number
CN108932474B
CN108932474B CN201810522781.9A CN201810522781A CN108932474B CN 108932474 B CN108932474 B CN 108932474B CN 201810522781 A CN201810522781 A CN 201810522781A CN 108932474 B CN108932474 B CN 108932474B
Authority
CN
China
Prior art keywords
remote sensing
network
sensing image
composite
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810522781.9A
Other languages
English (en)
Other versions
CN108932474A (zh
Inventor
史振威
吴犀
邹征夏
马小锋
李汶原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201810522781.9A priority Critical patent/CN108932474B/zh
Publication of CN108932474A publication Critical patent/CN108932474A/zh
Application granted granted Critical
Publication of CN108932474B publication Critical patent/CN108932474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明一种全卷积神经网络复合特征的遥感影像云判方法，它有五大步骤。步骤一：计算机读取数据；步骤二：样本扩充；步骤三：构造全卷积神经网络并提取复合特征；步骤四：训练网络；步骤五：自动云判，得到最终的结果图。本发明克服了现有技术的不足，很好地解决了遥感影像自动云判问题，自动化程度和判别精度均较高，能够大幅度降低人工成本，因此该方法可以应用于遥感影像的自动云判中，具有广阔的应用前景和价值。

Description

一种基于全卷积神经网络复合特征的遥感影像云判方法
(一)技术领域：
本发明涉及一种基于全卷积神经网络复合特征的遥感影像云判方法，属于可见光遥感影像场景自动标注技术领域。
(二)背景技术：
近年来，随着我国工业技术的快速发展，我国的成像卫星数量越来越多，尤其是高分辨率成像卫星。以“高分专项”系列卫星为例，高分一号、高分二号和高分六号都是可见光高分辨率成像卫星。这些可见光高分辨率成像卫星摄制的空间影像数据，为我国的国土资源部、环境保护部、农业部和其它有关部门和领域提供了广泛的应用服务，极大地提高了我国空间数据自给率，并扩大了空间信息产业链，逐步构建了“遥感大数据”的环境。
尽管我国的遥感数据在逐渐增加，但可以利用的遥感数据仍然有限，尤其是对于可见光遥感影像。据世界云计划项目统计，全球每年云覆盖率达到67％以上，导致大量的遥感图像出现云覆盖问题，使得几近50％的遥感影像几乎不具备任何可用信息或可用信息较少。这些遥感影像很难再进行后续信息提取，可能甚至需要被滤除，以提高后续信息处理系统的效率。故对于可见光遥感影像，需要进行云判，以确定遥感影像中的云量和云覆盖位置。
然而，通过人工进行卫星影像的云判成本巨大，再进一步通过对影像中的云覆盖区域进行人工标注，以获得该景影像的云掩膜，更是需要投入大量的人力物力。故需要针对高分卫星研发自动云判的方法，确定云量，并获得该景影像的高质量掩膜。
当前我国主要的自动云检测方法主要为多通道阈值法和基于图像特征的云检测方法，这些方法主要针对气象卫星或者其它低分辨率卫星，大都着重于云量覆盖检测，且仅适用于少量遥感卫星影像，鲁棒性和泛化性能较差。近年来，计算机视觉领域通过应用深度卷积神经网络逐渐实现了自动提取准确性和鲁棒性较高的物体特征。在视觉领域中的普通影像分类，目标检测等应用中取得了较好的结果。在场景自动标注领域中，则是将深度卷积神经网络拓展为全卷积神经网络对影像进行标注。其端到端的特性(输入和输出均为影像)为标注任务提供了巨大的便利。但是，在遥感领域，直接应用计算机视觉中的方法是不妥的。一方面，遥感影像幅宽大，其包含的信息量较视觉影像更为复杂。对于云判应用而言，遥感影像中的云种类繁多，亮暗程度、尺度、形状等变化多样，且非常容易与沙漠、戈壁、雪地等高亮地物混淆。直接应用传统的全卷积神经网络，其提取的特征表达能力则会有所不足，无法满足自动云判的需求。另一方面，全卷积神经网络是由卷积神经网络而来，其优点在于逐层高度抽象的特征所具有的表达能力能使图像分类识别准确率提高，但应用在分割领域中，却只能在逐层抽象的过程中，舍弃小尺度的物体表达能力。对于云判应用而言，通常需要检测出小尺度的云，直接应用传统的全卷积神经网络进行云判，则会在这一部分影像失效。此外，采用全卷积神经网络进行云判的研究较少。
本发明针对上述背景，提出了一种基于全卷积神经网络复合特征的遥感影像云判方法，自动化程度高，运行速度快，鲁棒性好，并对各种尺度的含云遥感影像判别效果好。
(三)发明内容：
本发明的目的是提供一种基于全卷积神经网络复合特征的遥感影像云判方法。该方法构建了一个利用了全卷积神经网络提取的特征构造更加鲁棒的复合特征，并利用该特征对遥感影像进行自动云判。
本发明是一种基于全卷积神经网络复合特征的遥感影像云判方法。该方法的具体步骤如下：
步骤一：计算机读取数据。首先使用计算机读取遥感影像数据。本发明使用的数据来自于高分一号WFV传感器采集到的四波段遥感影像。本发明中的遥感影像数据被预先随机分为两类，均包含影像和标签。一类为训练数据，训练时需要结合标签，共402景；另一类为测试数据，测试时需要结合标签进行效果的检验，共101景。对于每一幅标签图，像素值为0的位置表示非云，为1的位置表示云。
步骤二：样本扩充
卷积神经网络具备一定的平移不变性，但缺乏旋转不变性。所以在原始遥感影像基础上，进行随机地90°、180°、270°和360°旋转，以扩充样本，提高本方法的鲁棒性。此外，计算机显存有限，还需要对遥感影像进行裁切。
步骤三：构造全卷积神经网络并提取复合特征。
如图1所示构造全卷积神经网络。本神经网络以VGG-16为基础，并在此基础之上进行复合特征的提取。具体如下：先对步骤二扩充样本并裁切后的遥感影像进行基本卷积特征提取，得到在不同尺度的基本特征。再将这些基本特征进行复合提取，并进行组合，最后对组合后的特征输入到全连接得分层中获得得分，并在交叉熵损失函数层进行损失值的计算。
步骤四：训练网络。如步骤三构造好网络后，在Pytorch深度学习框架下，利用带标签的训练数据对网络进行训练，直至网络模型达到最优，并储存此时的网络参数。
步骤五：自动云判。利用步骤四训练好的网络模型对测试数据进行自动云判，即可获得遥感影像云判结果。
3、优点及效果。
本发明是一种基于全卷积神经网络复合特征的遥感影像云判方法。本发明的优点是：通过构造全卷积神经网络并提取复合特征，对遥感影像进行自动云判，其输入输出均为影像，因此自动化程度高，能够大幅度提高云判效率，解放生产力。通过样本扩充弥补了全卷积神经网络不具备的旋转不变性。通过全卷积神经网络复合特征的提取，在保留全卷积神经网络方法高鲁棒性同时，也提升了各种尺度的含云遥感影像云判效果。
(四)附图说明：
图1全卷积神经网络构造及复合特征提取示意图。
图2本发明所述方法进行遥感影像自动云判的流程框图。
图3(a)～(h)遥感影像训练集示例。
图4(a)～(h)遥感影像测试集示例。
图5(a)～(h)遥感影像测试集云覆盖区域人工判别结果(白色覆盖区域为云覆盖区域)。
图6(a)～(h)遥感影像测试集云覆盖区域本方法判别结果(白色覆盖区域为云覆盖区域)。
表1基于全卷积神经网络复合特征的遥感影像云判混淆矩阵。
表2基于全卷积神经网络(无复合特征)的遥感影像云判混淆矩阵。
(五)具体实施方式：
为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述：
本发明在Ubuntu14.04和Pytorch深度学习框架下实现。在Pytorch框架下，首先完成网络的搭建，并配置相关的参数；再利用训练数据进行训练，获得调优的网络参数；最后利用训练好的网络对影像进行自动标注，并对标注结果进行拼接。
本发明所基于的全卷积神经网络及复合特征提取的示意图如图1所示，每一个方框代表神经网络中的一个网络层，损失函数的计算层采用softmax交叉熵损失函数。
本发明采用方法的流程图如3所示。
计算机配置采用Intel(R)Core(TM)i7-6700K处理器，主频4.0GHz，内存32GB，显卡是一块NVIDIA GTX 1080Ti，显存为11GB。该遥感影像建筑自动标注方法包括如下步骤：
步骤一：计算机读取数据。首先使用计算机读取遥感影像数据。本发明使用的数据来自于高分一号WFV传感器采集到的四波段遥感影像。高分一号WFV传感器采集到的影像分辨率为16m，并具备蓝(450nm-520nm)、绿(520nm-590nm)、红(630nm-690nm)和红外(770nm-890nm)四个波段。将这些遥感影像分为两部分，一部分是带云标签的训练数据，另一部分是测试数据。本专利采用的数据集，共503景遥感影像，其中402景作为训练数据，101景作为测试数据。
步骤二：样本扩充
卷积神经网络具备一定的平移不变性，但缺乏旋转不变性。所以在原始遥感影像基础上，进行随机地90°、180°、270°和360°旋转，以扩充旋转后的样本，提高本方法的鲁棒性。此外，计算机显存有限，还需要对遥感影像进行裁切为550x550的小块。
步骤三：构造全卷积神经网络并提取复合特征。
如图1所示构造全卷积神经网络。本神经网络以VGG-16为基础，并在此基础之上进行复合特征的提取。具体如下：先对这些特征图进行基本卷积特征提取，得到在不同尺度的基本特征。再将这些基本特征进行复合提取，并进行组合，最后对组合后的特征输入到全连接得分层中获得得分，并在交叉熵损失函数层进行损失函数的计算。
在基本卷积特征提取环节中，其设计与VGG-16网络类似，并在卷积层Conv1-2，Conv2-2和Conv3-3之后，对影像进行降采样2倍操作。
在复合特征组合环节中，首先对卷积层Conv1-2，Conv2-2，Conv3-3，Conv4-3，Conv5-3和Conv7分别进行卷积操作，分别得到复合特征层feat1，feat2，feat3，feat4，feat5和feat7。将各复合特征层恢复到原图尺寸后进行串联，得到复合特征组合层。从而获得网络中各个不同尺度、抽象程度的信息。
最后使复合特征层通过全连接层(也是卷积层)获得得分，并计算损失。这里采用在图像分割领域中的Softmax loss。其函数形式如下：
Figure BDA0001675239700000051
Figure BDA0001675239700000052
其中e为指数函数，o为神经网络的输出图(全连接层获得的得分图)，y是样本的标签图，p为神经网络输出图得到的概率图，L是Softmax loss，j为图像的序号(范围为1到图的面积像素数)，k为类别序号(范围为0到1，表示非云和云)。
步骤四：训练网络。
如步骤三构造好网络后，在Pytorch深度学习框架下，利用带标签的训练数据对网络进行训练，直至网络达到最优，并储存此时的网络参数。具体的方法是：1、按照高斯分布对网络的各卷积层和全连接层权重进行初始化；2、将训练数据输入到卷积网络中并得到结果；3、计算输出结果和标签影像的误差；4、利用误差反向传播算法调整网络的权重和偏置，并返回第2步。网络的误差在训练过程会逐渐下降，当网络误差下降到不再发生显著变化时，则认为网络已经被调优，并记录此时的网络参数。
步骤五：自动云判。
利用步骤四中训练好的网络对测试数据进行自动标注。具体的方法是：1、载入步骤四中调优的网络参数；2、将测试数据输入到训练好的网络中，得到自动云判结果。
实验结果：本发明使用了402景遥感影像作为训练数据，101张遥感影像作为测试，云判结果为非云和云两类。其中，图3(a)～(h)为部分训练用遥感影像，图4(a)～(h)为测试遥感影像，图5(a)～(h)为测试遥感影像云覆盖区域示意图(其中白色覆盖区域为云覆盖区域)。对于遥感影像测试集，采用混淆矩阵来定量评价算法的性能。如表1所示，在测试集上，云判的召回率达到85.86％。测试集的云判结果如图6a～h所示(其中白色覆盖区域为云覆盖区域)。如果不采用复合特征，直接照搬计算机视觉中的全卷积神经网络的遥感影像云判方法进行云判，则云判的召回率会下降到80.50％，如表2所示。
Figure BDA0001675239700000061
表1
Figure BDA0001675239700000062
表2
从实验结果来看，本发明在遥感影像自动云判应用中取得了较好的效果，尤其是针对于沙漠、戈壁、雪地等高亮地物，自动化程度和标注精度均较高，能够大幅度降低人工成本，具有广阔的应用前景和价值。

Claims (1)

1.一种基于全卷积神经网络复合特征的遥感影像云判方法，其特征在于：该方法包括如下步骤：
步骤一：计算机读取数据
使用计算机读取遥感影像数据，包含影像和标签，数据均为4波段影像，包含蓝(450nm-520nm)、绿(520nm-590nm)、红(630nm-690nm)和红外(770nm-890nm)波段；
步骤二：样本扩充
首先，在原始遥感影像基础上，进行随机地90°、180°、270°和360°旋转，以扩充样本；其次，对遥感影像进行裁切；
步骤三：构造全卷积神经网络并提取复合特征
构造全卷积网络，并提取复合特征；训练时将复合特征输入到全连接的得分层获得得分，并在交叉熵损失函数层进行损失值的计算；
复合特征来源于特别构造的全卷积网络；在VGG-16模型基础上，于Conv1-2，Conv2-2和Conv3-3之后，对影像进行降采样2倍操作，并分别于Conv1-2，Conv2-2，Conv3-3，Conv4-3，Conv5-3和Conv7设置卷积层，得到复合特征层feat1，feat2，feat3，feat4，feat5和feat7；将各复合特征层恢复到原图尺寸后进行串联，得到复合特征组合层；从而获得网络中各个不同尺度、抽象程度的信息；
步骤四：训练网络
如步骤三构造好网络后，在Pytorch深度学习框架下，利用带标签的训练数据对网络进行训练，直至网络模型达到最优，并储存此时的网络参数；
步骤五：自动云判
利用步骤四训练好的网络模型对测试数据进行自动云判，即可获得遥感影像云判结果。
CN201810522781.9A 2018-05-28 2018-05-28 一种基于全卷积神经网络复合特征的遥感影像云判方法 Active CN108932474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810522781.9A CN108932474B (zh) 2018-05-28 2018-05-28 一种基于全卷积神经网络复合特征的遥感影像云判方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810522781.9A CN108932474B (zh) 2018-05-28 2018-05-28 一种基于全卷积神经网络复合特征的遥感影像云判方法

Publications (2)

Publication Number Publication Date
CN108932474A CN108932474A (zh) 2018-12-04
CN108932474B true CN108932474B (zh) 2022-03-15

Family

ID=64449419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810522781.9A Active CN108932474B (zh) 2018-05-28 2018-05-28 一种基于全卷积神经网络复合特征的遥感影像云判方法

Country Status (1)

Country Link
CN (1) CN108932474B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113515969B (zh) * 2020-04-09 2023-04-07 广西壮族自治区自然资源信息中心 基于卷积神经网络的多时态遥感影像地表覆盖分类方法
CN111798461B (zh) * 2020-06-19 2022-04-01 武汉大学 粗粒度标签引导深度学习的像素级遥感影像云区检测方法
CN111951284B (zh) * 2020-08-12 2022-04-22 湖南神帆科技有限公司 一种基于深度学习的光学遥感卫星图像精细化云检测方法
CN114528977B (zh) * 2022-01-24 2023-01-31 北京智源人工智能研究院 一种等变网络训练方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844228A (zh) * 2016-03-21 2016-08-10 北京航空航天大学 一种基于卷积神经网络的遥感图像云检测方法
CN106570485A (zh) * 2016-11-09 2017-04-19 北京航空航天大学 一种基于深度学习的筏式养殖遥感图像场景标注方法
CN107578436A (zh) * 2017-08-02 2018-01-12 南京邮电大学 一种基于全卷积神经网络fcn的单目图像深度估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844228A (zh) * 2016-03-21 2016-08-10 北京航空航天大学 一种基于卷积神经网络的遥感图像云检测方法
CN106570485A (zh) * 2016-11-09 2017-04-19 北京航空航天大学 一种基于深度学习的筏式养殖遥感图像场景标注方法
CN107578436A (zh) * 2017-08-02 2018-01-12 南京邮电大学 一种基于全卷积神经网络fcn的单目图像深度估计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Cloud detection by fusing multi-scale convolutional features;Li Z等;《Proceedings of the ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Science》;20180423;全文 *
Distinguishing cloud and snow in satellite images via deep convolutional network;Zhan Y等;《IEEE geoscience and remote sensing letters》;20171231;第3页右侧第10-18行、44-54行、第4页左侧第16-28行、35-36行右侧第1-6行 *
基于卷积神经网络的高分辨率遥感影像云检测;刘波等;《地理空间信息》;20171231(第11期);全文 *

Also Published As

Publication number Publication date
CN108932474A (zh) 2018-12-04

Similar Documents

Publication Publication Date Title
CN109033998B (zh) 基于注意力机制卷积神经网络的遥感影像地物标注方法
CN108932474B (zh) 一种基于全卷积神经网络复合特征的遥感影像云判方法
CN110136170B (zh) 一种基于卷积神经网络的遥感影像建筑物变化检测方法
CN108596108B (zh) 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN108846835B (zh) 基于深度可分离卷积网络的图像变化检测方法
CN110009010B (zh) 基于兴趣区域重检测的宽幅光学遥感目标检测方法
CN111274865A (zh) 一种基于全卷积神经网络的遥感图像云检测方法及装置
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
Tian et al. Multiscale building extraction with refined attention pyramid networks
CN112232328A (zh) 基于卷积神经网络的遥感影像建筑区提取方法、装置
CN111104850B (zh) 一种基于残差网络的遥感影像建筑物自动提取方法和系统
CN114022408A (zh) 基于多尺度卷积神经网络的遥感图像云检测方法
CN111738113A (zh) 基于双注意力机制与语义约束的高分辨遥感图像的道路提取方法
CN114863236A (zh) 基于双重注意力机制的图像目标检测方法
CN113033315A (zh) 一种稀土开采高分影像识别与定位方法
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
CN113033386B (zh) 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统
CN112966698A (zh) 基于轻量化卷积网络的淡水鱼图像实时识别方法
CN117079125A (zh) 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法
KR102416714B1 (ko) 3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템 및 방법
CN115019174B (zh) 基于像素重组和注意力的上采样遥感图像目标识别方法
CN113627292B (zh) 基于融合网络的遥感图像识别方法及装置
CN115019044A (zh) 单株植物的分割方法、装置、终端设备和可读存储介质
CN111738201A (zh) 基于感兴趣区域网络的有林地遥感影像提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant