CN111951284B - 一种基于深度学习的光学遥感卫星图像精细化云检测方法 - Google Patents

一种基于深度学习的光学遥感卫星图像精细化云检测方法 Download PDF

Info

Publication number
CN111951284B
CN111951284B CN202010807740.1A CN202010807740A CN111951284B CN 111951284 B CN111951284 B CN 111951284B CN 202010807740 A CN202010807740 A CN 202010807740A CN 111951284 B CN111951284 B CN 111951284B
Authority
CN
China
Prior art keywords
cloud
image
remote sensing
network model
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010807740.1A
Other languages
English (en)
Other versions
CN111951284A (zh
Inventor
张鹏
李智勇
邓志鹏
杨芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Shenfan Technology Co ltd
Original Assignee
Hunan Shenfan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Shenfan Technology Co ltd filed Critical Hunan Shenfan Technology Co ltd
Priority to CN202010807740.1A priority Critical patent/CN111951284B/zh
Publication of CN111951284A publication Critical patent/CN111951284A/zh
Application granted granted Critical
Publication of CN111951284B publication Critical patent/CN111951284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的光学遥感卫星图像精细化云检测方法，包括以下步骤：A、云类型定义；B、样本选择；C、数据标注；D、数据扩充；E、网络模型训练；F、图像语义分割。本发明能够解决现有技术的不足，克服云的光谱差异性、异物同谱现象、地表信息混合等问题，兼顾算法的简洁性和高效率，得到精细化的云层分布结果。

Description

一种基于深度学习的光学遥感卫星图像精细化云检测方法
技术领域
本发明属于光学遥感卫星图像处理过程中图像语义分割技术领域，具体是一种基于深度学习的光学遥感卫星图像精细化云检测方法。
背景技术
根据国际卫星云气候计划流量数据提供的全球云量数据显示，地球表面66％以上区域经常被云覆盖，造成光学遥感卫星图像中有大量云区域存在。一方面，云层遮挡导致地物信息缺失，对目标识别、图像分类等处理产生负面影响，降低了遥感图像的使用价值；另一方面，对气象学者而言，通过研究云的分布可以发现极端气候现象及其变化规律，遥感图像中的云区域具有不可替代的使用价值。因此，云检测已成为光学遥感卫星图像处理中非常重要的内容。
当前遥感卫星图像中的精确云检测仍面临巨大挑战。其一，与传统图像相比，遥感卫星图像复杂度更高，分析难度较大；其二，与普通目标相比，云具有不同的形状和类型，光谱差异较大；其三，异物同谱现象也给云检测增加了难度。因此，一直以来云检测的准确性和自动化程度都不高。
目前的云检测方法主要分为阈值法、纹理分析法和统计学方法三大类。阈值法的关键在于阈值的选取，随着云检测精度要求的提高，云检测使用的阈值很难确定。纹理分析法本质是利用了目标物内部属性的相似性和目标物之间边界的不连续，但云的形态复杂，很多时候其边界也不清晰，纹理分析难度很大。统计学方法主要分为统计方程法和聚类分析法，面对云这样一个复杂目标，很难建立可靠的模型。上述云检测方法虽然可以实现粗略的云检测，但是很难得到准确的云层分布结果。
发明内容
本发明要解决的技术问题是提供一种基于深度学习的光学遥感卫星图像精细化云检测方法，能够解决现有技术的不足，克服云的光谱差异性、异物同谱现象、地表信息混合等问题，兼顾算法的简洁性和高效率，得到精细化的云层分布结果。
本发明的内容包括以下步骤，
A、云类型定义，
厚云，指完全遮挡了地面信息的云区域；
薄云，指遮挡了部分地面信息的云区域；
无云，指不受遮挡的地面区域；
B、样本选择，
选择多景大幅面的遥感图像作为样本图像，样本图像中包含各种形状、类型和厚度的云，各类雾、霾，各种类型的地物，不含云的图像；
C、数据标注，
首先将原始的样本图像裁剪为多幅小幅面遥感图像；然后对这些小幅面遥感图像中的云类型进行逐像素的人工标注，将无云区域的像素值标注为0，将薄云区域的像素值标注为1，将厚云区域的像素值标注为2；最后得到与小幅面遥感图像对应的标注图；
D、数据扩充，
首先对每一对小幅面遥感图像和标注图进行多次裁剪；然后对裁剪得到的遥感图像块和标注图像块进行处理，扩充样本数据；最后得到训练样本；
E、网络模型训练，
在caffe框架下，用C-Segnet网络模型对训练样本进行训练，在train.txt和test.txt文件中设置训练样本的存储路径，在segnet_train.prototxt、segnet_inference.prototxt和segnet_solver.prototxt文件中设置网络模型参数，经过训练处理后得到能够进行云检测的C-Segnet网络模型；
F、图像语义分割，
首先，读取一景需要进行云检测的大幅面遥感图像；然后，对该图像进行分块，将大幅面遥感图像分解为适用于C-Segnet网络模型的一系列图像块；接下来，将各个图像块输入到训练好的C-Segnet网络模型中，将图像分割为无云、薄云、厚云三类区域；最后，对各个图像块的分割结果进行拼接，得到反映大幅面遥感图像云分布情况的图像语义分割结果。
作为优选，步骤C中，小幅面遥感图像的大小为1100*1100。
作为优选，步骤D中，裁剪的起始点随机，大小为256*256。
作为优选，步骤D中，对遥感图像块和标注图像块进行处理包括翻转、旋转、色度变化、明暗变化、噪声干扰处理。
作为优选，步骤D中，训练样本的数量为10万对，大小为256*256。
本发明的有益效果是，本发明能够用于各种型号的光学遥感卫星图像，不但能够对整幅图像的云量进行分析，而且可以准确定位云分布的空间范围；不但能够检测厚云和无云区域，而且可以克服地表信息混合问题，检测薄云区域；同时，该方法的运算量小，云检测过程速度快，具有很强的实用性。通过对Segnet网络模型进行修改，将Segnet使用的VGG-16骨架网络增加两个卷积层，并将修改后的面向云检测的网络模型称为C-Segnet。C-Segnet的编码网络和解码网络各包含15个卷积层，能够更好的提取图像的高分辨率特征。
附图说明
图1为本发明的检测流程图。
图2为传统Segnet网络模型的示意图。
图3为本发明C-Segnet网络模型的示意图。
图4为第一张光学遥感卫星图像。
图5为图4处理后的效果图。
图6为第二张光学遥感卫星图像。
图7为图6处理后的效果图。
具体实施方式
参照图1，整个基于深度学习的精细化云检测过程分为训练和检测两个阶段。在训练阶段，执行以下操作：1)选择多景大幅面的遥感图像作为样本图像；2)将原始的大幅面单景遥感图像裁剪为多幅1100*1100大小的小幅面遥感图像；3)采用标注软件对小幅面遥感图像中的云类型进行逐像素的人工标注，将无云区域的像素值标注为0，将薄云区域的像素值标注为1，将厚云区域的像素值标注为2，得到小幅面的遥感图和标注图；4)对遥感图和标注图(1100*1100大小)进行多次裁剪，裁剪的起始点随机，大小为256*256；5)对裁剪得到的遥感图像块和标注图像块进行翻转、旋转、色度变化、明暗变化、噪声干扰处理，扩充样本数据；6)将处理得到的约10万对256*256大小的遥感图像块和标注图像块设置为深度学习网络的训练样本；7)根据计算设备的硬件配置设置网络模型参数；8)在caffe框架下，用C-Segnet网络模型进行训练，得到针对云检测的C-Segnet网络模型。在检测阶段，执行以下操作：1)读取一景需要进行云检测的大幅面遥感图像；2)将大幅面遥感图像切分为适用于C-Segnet网络模型的一系列图像块(256*256大小)；3)通过训练阶段得到的C-Segnet网络模型对各个图像块进行语义分割，将图像分割为无云、薄云、厚云三类区域；4)对各个图像块的分割结果进行拼接，得到大幅面云分布图像；5)输出大幅面云分布图像，作为云检测结果。
参照图2和图3，Segnet网络模型采用VGG-16骨架网络，编码网络和解码网络各包含13个卷积层。C-Segnet网络模型，在图3中用圆圈标示的4处增加了卷积层，编码网络和解码网络各包含15个卷积层。
参照图4-7，在效果图中浅灰色为无云区域、深灰色为薄云区域、白色为厚云区域。由此可见，本发明可以对云层分布状态进行准确检测。

Claims (5)

1.一种基于深度学习的光学遥感卫星图像精细化云检测方法，其特征在于包括以下步骤，
A、云类型定义，
厚云，指完全遮挡了地面信息的云区域；
薄云，指遮挡了部分地面信息的云区域；
无云，指不受遮挡的地面区域；
B、样本选择，
选择多景大幅面的遥感图像作为样本图像，样本图像中包含各种形状、类型和厚度的云，各类雾、霾，各种类型的地物，不含云的图像；
C、数据标注，
首先将原始的样本图像裁剪为多幅小幅面遥感图像；然后对这些小幅面遥感图像中的云类型进行逐像素的人工标注，将无云区域的像素值标注为0，将薄云区域的像素值标注为1，将厚云区域的像素值标注为2；最后得到与小幅面遥感图像对应的标注图；
D、数据扩充，
首先对每一对小幅面遥感图像和标注图进行多次裁剪；然后对裁剪得到的遥感图像块和标注图像块进行处理，扩充样本数据；最后得到训练样本；
E、网络模型训练，
在caffe框架下，用C-Segnet网络模型对训练样本进行训练，在train.txt和test.txt文件中设置训练样本的存储路径，在segnet_train.prototxt、segnet_inference.prototxt和segnet_solver.prototxt文件中设置网络模型参数，经过训练处理后得到能够进行云检测的C-Segnet网络模型；
Segnet网络模型采用VGG-16骨架网络，编码网络和解码网络各包含13个卷积层，C-Segnet网络模型是在Segnet网络模型的基础上，在编码网络靠近输入端的两个卷积层组中各增加一个卷积层，在解码网络靠近输出端的两个卷积层组中各增加一个卷积层，使编码网络和解码网络各包含15个卷积层；
F、图像语义分割，
首先，读取一景需要进行云检测的大幅面遥感图像；然后，对该图像进行分块，将大幅面遥感图像分解为适用于C-Segnet网络模型的一系列图像块；接下来，将各个图像块输入到训练好的C-Segnet网络模型中，将图像分割为无云、薄云、厚云三类区域；最后，对各个图像块的分割结果进行拼接，得到反映大幅面遥感图像云分布情况的图像语义分割结果。
2.如权利要求1所述的基于深度学习的光学遥感卫星图像精细化云检测方法，其特征在于：步骤C中，小幅面遥感图像的大小为1100*1100。
3.如权利要求2所述的基于深度学习的光学遥感卫星图像精细化云检测方法，其特征在于：步骤D中，裁剪的起始点随机，大小为256*256。
4.如权利要求3所述的基于深度学习的光学遥感卫星图像精细化云检测方法，其特征在于：步骤D中，对遥感图像块和标注图像块进行处理包括翻转、旋转、色度变化、明暗变化、噪声干扰处理。
5.如权利要求4所述的基于深度学习的光学遥感卫星图像精细化云检测方法，其特征在于：步骤D中，训练样本的数量为10万对，大小为256*256。
CN202010807740.1A 2020-08-12 2020-08-12 一种基于深度学习的光学遥感卫星图像精细化云检测方法 Active CN111951284B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010807740.1A CN111951284B (zh) 2020-08-12 2020-08-12 一种基于深度学习的光学遥感卫星图像精细化云检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010807740.1A CN111951284B (zh) 2020-08-12 2020-08-12 一种基于深度学习的光学遥感卫星图像精细化云检测方法

Publications (2)

Publication Number Publication Date
CN111951284A CN111951284A (zh) 2020-11-17
CN111951284B true CN111951284B (zh) 2022-04-22

Family

ID=73332342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010807740.1A Active CN111951284B (zh) 2020-08-12 2020-08-12 一种基于深度学习的光学遥感卫星图像精细化云检测方法

Country Status (1)

Country Link
CN (1) CN111951284B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381815A (zh) * 2020-11-26 2021-02-19 浙江易智信息技术有限公司 多维融合遥感大数据去云方法
CN112990368B (zh) * 2021-04-26 2021-07-30 湖南大学 一种多边形结构引导的高光谱图像单样本识别方法及系统
CN113989592A (zh) * 2021-10-28 2022-01-28 三一建筑机器人(西安)研究院有限公司 一种语义分割图像样本的扩充方法、装置及电子设备
KR102656333B1 (ko) * 2021-12-01 2024-04-11 한국항공우주연구원 기계학습 기반의 광학위성영상 자동 운량분석시스템 및 자동 운량분석방법
CN116012731B (zh) * 2023-03-30 2023-06-09 成都国星宇航科技股份有限公司 一种星上在轨云检测的方法、系统及设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844228A (zh) * 2016-03-21 2016-08-10 北京航空航天大学 一种基于卷积神经网络的遥感图像云检测方法
CN107886125A (zh) * 2017-11-09 2018-04-06 南京大学 基于局部谱分解打分的modis卫星遥感图像标注方法
CN108022222A (zh) * 2017-12-15 2018-05-11 西北工业大学 一种基于卷积-反卷积网络的遥感图像薄云去除方法
CN108229550A (zh) * 2017-12-28 2018-06-29 南京信息工程大学 一种基于多粒度级联森林网络的云图分类方法
CN108460739A (zh) * 2018-03-02 2018-08-28 北京航空航天大学 一种基于生成对抗网络的遥感图像薄云去除方法
CN108921799A (zh) * 2018-06-22 2018-11-30 西北工业大学 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN108932474A (zh) * 2018-05-28 2018-12-04 北京航空航天大学 一种基于全卷积神经网络复合特征的遥感影像云判方法
CN109255294A (zh) * 2018-08-02 2019-01-22 中国地质大学（北京） 一种基于深度学习的遥感图像云识别方法
CN109934200A (zh) * 2019-03-22 2019-06-25 南京信息工程大学 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统
CN110119728A (zh) * 2019-05-23 2019-08-13 哈尔滨工业大学 基于多尺度融合语义分割网络的遥感图像云检测方法
CN111160127A (zh) * 2019-12-11 2020-05-15 中国资源卫星应用中心 一种基于深度卷积神经网络模型的遥感影像处理及检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170214701A1 (en) * 2016-01-24 2017-07-27 Syed Kamran Hasan Computer security based on artificial intelligence

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844228A (zh) * 2016-03-21 2016-08-10 北京航空航天大学 一种基于卷积神经网络的遥感图像云检测方法
CN107886125A (zh) * 2017-11-09 2018-04-06 南京大学 基于局部谱分解打分的modis卫星遥感图像标注方法
CN108022222A (zh) * 2017-12-15 2018-05-11 西北工业大学 一种基于卷积-反卷积网络的遥感图像薄云去除方法
CN108229550A (zh) * 2017-12-28 2018-06-29 南京信息工程大学 一种基于多粒度级联森林网络的云图分类方法
CN108460739A (zh) * 2018-03-02 2018-08-28 北京航空航天大学 一种基于生成对抗网络的遥感图像薄云去除方法
CN108932474A (zh) * 2018-05-28 2018-12-04 北京航空航天大学 一种基于全卷积神经网络复合特征的遥感影像云判方法
CN108921799A (zh) * 2018-06-22 2018-11-30 西北工业大学 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN109255294A (zh) * 2018-08-02 2019-01-22 中国地质大学（北京） 一种基于深度学习的遥感图像云识别方法
CN109934200A (zh) * 2019-03-22 2019-06-25 南京信息工程大学 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统
CN110119728A (zh) * 2019-05-23 2019-08-13 哈尔滨工业大学 基于多尺度融合语义分割网络的遥感图像云检测方法
CN111160127A (zh) * 2019-12-11 2020-05-15 中国资源卫星应用中心 一种基于深度卷积神经网络模型的遥感影像处理及检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Cloud and cloud shadow detection in Landsat imagery based on deep convolutional neural networks;Dengfeng Chai等;《Remote Sensing of Environment》;20190323;第307-316页 *
基于特征融合的Landsat图像云检测算法研究;蔡克洋;《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》;20190715;第C028-83页 *

Also Published As

Publication number Publication date
CN111951284A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN111951284B (zh) 一种基于深度学习的光学遥感卫星图像精细化云检测方法
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
WO2021249233A1 (zh) 一种图像处理方法、目标识别模型训练方法和目标识别方法
CN111709420B (zh) 文本检测方法、电子设备及计算机可读介质
CN110009010B (zh) 基于兴趣区域重检测的宽幅光学遥感目标检测方法
CN110399840B (zh) 一种快速的草坪语义分割及边界检测方法
CN108921120B (zh) 一种适应广泛零售场景下的香烟识别方法
CN106610969A (zh) 基于多模态信息的视频内容审查系统及方法
CN113486894B (zh) 一种卫星图像特征部件语义分割方法
CN105184308B (zh) 一种基于全局优化决策的遥感图像建筑物检测分类方法
CN112365467B (zh) 一种基于单幅图像深度估计的雾天图像能见度估计方法
CN111027538A (zh) 一种基于实例分割模型的集装箱检测方法
Zhang et al. Application research of YOLO v2 combined with color identification
CN114913148A (zh) 基于无监督学习的丝印疵点检测方法、装置及存储介质
CN112560925A (zh) 一种复杂场景目标检测数据集构建方法及系统
CN113077438A (zh) 针对多细胞核彩色图像的细胞核区域提取方法及成像方法
CN109241865B (zh) 一种弱对比度交通场景下的车辆检测分割算法
CN116129280A (zh) 一种遥感影像雪检测的方法
CN111325076A (zh) 一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法
CN115761223A (zh) 一种利用数据合成的遥感影像实例分割方法
CN115861922A (zh) 一种稀疏烟火检测方法、装置、计算机设备及存储介质
CN114821370A (zh) 基于无人机影像与U-Net的单木树冠检测与分割方法
CN112633142B (zh) 一种输电线路违章建筑物识别方法及相关装置
CN112036246B (zh) 遥感影像分类模型的构建方法，遥感影像分类方法及系统
CN114820567B (zh) 一种基于深度学习的绝缘子检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant