CN109255294A - 一种基于深度学习的遥感图像云识别方法 - Google Patents

一种基于深度学习的遥感图像云识别方法 Download PDF

Info

Publication number
CN109255294A
CN109255294A CN201810872933.8A CN201810872933A CN109255294A CN 109255294 A CN109255294 A CN 109255294A CN 201810872933 A CN201810872933 A CN 201810872933A CN 109255294 A CN109255294 A CN 109255294A
Authority
CN
China
Prior art keywords
remote sensing
deep learning
cloud
sensing image
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810872933.8A
Other languages
English (en)
Inventor
王玉柱
陆君宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences Beijing
Original Assignee
China University of Geosciences Beijing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences Beijing filed Critical China University of Geosciences Beijing
Priority to CN201810872933.8A priority Critical patent/CN109255294A/zh
Publication of CN109255294A publication Critical patent/CN109255294A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的遥感图像云识别方法，该方法包括：遥感云图像的自动获取，将遥感图像制作成训练集并扩大现有训练集，以及训练集中标签的制作；构造基于SegNet神经网络结构的、具有多尺度卷积核的、高度对称的，并且最后使用反卷积层对特征图进行还原的深度卷积神经网络；在网络训练时防止过拟合、欠拟合和梯度消失问题，采用分段训练的方法；在训练完成后，利用所得到权值文件进行遥感图像的特征提取，并将其在像素级别上进行云检测。本发明的遥感图像云识别深度卷积神经网络利用多尺度卷积和高度对称性提高了检索的准确性。

Description

一种基于深度学习的遥感图像云识别方法
技术领域
本发明涉及图像识别技术领域，具体涉及一种基于深度学习的遥感图像云识别方法。
背景技术
通过对遥感图像的处理和分析，遥感图像已经在农业林业管理、地质矿产预测、自然环境检测、天气预报等方面都有着广泛的应用。然而，地球的上空中超过了50％的区域被大量的云层覆盖，这导致了遥感图像中的大量信息会被云层挡住，对遥感图像的实际运用产生了很大的影响和干扰。
目前对于遥感图像云识别存在很多种方法，其中之一就是利用遥感图像处理软件。遥感图像处理软件首先会对图像进行细致的切割，将相同或相似像素的区域分为一类，然后操作者需要告诉软件分出的类别个数，并且选定一些区域做为这一类的样本，再根据操作者所给出的合并条件例如亮度、形状等将相似的区域进行合并达到检测云的目的。但是在这一过程中，对于超大遥感图像，分割和合并需要花费大量的时间，除此之外对于云特征的选取也是靠人工的主观判断。
除了利用现有成熟的软件进行云识别外，许多研究人员尝试使用聚类的方法分割图像，例如高贤君团队提出的Otsu方法，该方法利用最大类间的自适应阀值对遥感影像的云进行检测，也取得了较好的结果。
随着ImageNet超大数据集的出现，之前备受冷落的基于监督的人工学习算法——深度学习算法从2012年开始获得了大规模的运用。随着ReLu、Dropout等新的深度学习技术的出现以及像是GPU等硬件设备性能的大幅度提高，使得深度学习算法的准确度和训练速度得到了进一步的提升。深度学习在发现高维数据的结构中有着很强的能力，往往应用于科学、商业和政务等很多领域，尤其在图像识别和语音识别中取得了惊人的成就。深度学习算法的形式是监督学习，十分适合做特征提取，所以在二维图像数据的特征提取上有着广泛的应用。
目前，已经有研究人员从事深度学习算法与遥感图像云检测相结合的研究。例如陈洋团队利用深度网络与支持向量机(SVM)结合的方式来进行云检测。其主要包括利用主成分分析的方法来预训练卷积神经网络、将神经网络所计算出的向量送入支持向量机中进行分类来达到将云的检测的目的。文中指出，利用深度学习的方法在光谱影像上识别云的精确度比传统方法的精确度高5.38％，在全色影像上识别云的精确度比传统方法的精确度高8.6％。这说明，由于深度神经网络对于高维数据有着较为强大的数据处理能力，相比于人工特征提取，深度学习算法能够更好地表达云的特征。相对于传统的Otus云检测方法，深度学习方法能够较容易地区分高反射率的物体，例如雪、空地等。不过，文中也指出，该深度神经网络模型深度较浅，也没有基于已有高识别率的网络模型进行比较研究，对于云的识别精确度方面还能有进一步的提升。
发明内容
本发明的目的在于提供一种基于深度学习的遥感图像云识别的方法，用以解决现有遥感图像中云的识别精确度不高的问题。
为实现上述目的，本发明的技术方案为
步骤1.利用网络爬虫获取大量遥感云图并对其进行预处理，并利用遥感图像处理软件将遥感云图中的像素点进行分类，制作训练集合，并通过旋转和切割方式扩大训练集。
步骤2.构造遥感图云识别深度卷积神经网络。该神经网络具有10个卷积层，其中每个卷积层中包含大小分别为3×3和5×5卷积核，拓宽了卷积层的宽度；该神经网络具有11个反卷积，负责还原图像的特征。最后通过SoftmaxWithLoss层进行像素级上的分类。本发明构造了遥感图云识别深度卷积神经网络，如图2所示。在图2中“conv3-64pad1BN”代表进行了BN(Batch Normalize)操作后使用64个大小为3×3卷积核，并且输入数据需要加上大小为1的pad；“maxpool2stride2”代表使用最大池化层，大小为2，步长为2；upsample2w240h180代表上采样层，大小为2，将数据的长和宽复原到240×180。
步骤3.在训练集中选取少量云占比比较大的遥感图，在较大的学习率下利用遥感图云识别深度卷积神经网络进行少量的预训练，在将完整的训练集在较小的训练集中进行大量的训练。
步骤4.利用训练过程中所得到的网络权值文件，对新的遥感图像进行特征提取，并利用反卷积还原特征，列出每一个像素点所代表每一个类别的概率，并选择概率最大的类别作为该像素点识别的类别结果。
步骤5.记录像素点的位置信息，不同的类别的像素点使用特定的颜色代表，这样就对整个遥感图像做到了像素级的类别划分。
本发明具有如下优点：
本发明将深度学习的最新技术应用到了遥感图像云识别中，并改进了现有的深度卷积神经网络结构，利用多尺度卷积核丰富了卷积层的感受野，实现了遥感图像云的自动识别，提高了其准确率和效率。
附图说明
图1本发明的流程示意图
图2遥感图云识别深度卷积神经网络结构图
图3遥感图像云识别流程图
具体实施方式
以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例1获取并制作训练数据
首先要制作训练集，因此需要大量的遥感图像。利用Python中的爬虫技术，对网站中的遥感卫星图进行了爬虫下载，用于标签制作和验证数据集。除此之外可以利用旋转、切割、反转等操作，将训练集进行倍数的扩充，大大增加训练图片的数量。获取完图片后，需要对遥感图像的像素点进行像素级分类。这里通过ECognition这个软件来进行标签的制作。在提取云的过程中，首先对图像按照像素的相似程度进行分割，并在分割图片中选取一定的区域作为所分得类的样本，再将可能属于同一类的分隔区域进行合并达到分类的目的。
实施例2部署Caffe-SegNet框架
Caffe-SegNet就是在Caffe框架上的改变，相比于原生的SegNet框架上有着许多不同，其增加了新的输入层，使得Caffe框架可以直接读取txt文件中的图片名称，批量直接将图片作为输入值送入深度神经网络中。除此之外，还增加了上采样层，这是原生Caffe包中没有的，上采样层可以将经过池化后缩小的特征值进行还原。部署完Caffe-SegNet之后，编译了其Python接口——PyCaffe，这使得可以利用Python就能够调用Caffe框架中的一些操作，例如建立神经网络、将数据输入网络中、获取各个层的输出数据等，将一些命令行操作封装起来，方便了输入和输出数据的处理和GUI的编写。
实施例3设计神经网络结构
newStructure神经网络受到了谷歌inception v3模型的启发，将SegNet模型“拓宽”，在同一次卷积中不止使用一种大小的卷积核，而是采用多种大小的卷积核进行卷积操作。
我们可以在Caffe框架中进行深度神经网络的设计与实现，在遥感图云识别深度卷积神经网络中采用了大小分别为3×3和5×5的卷积核，并且具有21层卷积结构，其中包含10层卷积层和11层反卷积层，该深度卷积网络的结构如图2所示。
实施例4预训练与训练
为了快速从头开始训练深度神经网络，采取了如下方法：
(1)选取100张具有代表性并且质量高的训练图片，这些图片中的云和雪都占据比较大的比重。
(2)调整网络的学习率到一个较大值，设置为了0.01，对这100张图片进行训练。
(3)等到网络的loss值稳定在一个固定值时停止训练，这时候会发现模型处于一种过拟合的状态，对训练集中的图片有很高的识别率，而对一些未在训练集中的图片的识别率相比之下会比较低一些。
(4)调低神经网络的基础学习率，设置为0.0001，并在1000多张图片的训练集中进行训练。
通过这种方法，系统较快地初始化了整个神经网络的初始值。为了防止网络的过拟合，又在这些值的情况下加入大量的新图片对整个权值进行微调。试验表明，利用这种方法，网络既没有产生一种欠拟合的情况，也没有产生严重的过拟合情况。
实施例5实现遥感图像云识别
训练的过程中，Caffe将会产生一个权值文件，这个权值文件就是神经网络训练之后的结果，代表了神经网络各个层之间卷积核的值。Caffe可以运用已经产生的权值，在相同的深度神经网络下对一个新输入的图片进行预测。利用训练中获取的网络权值文件可以对不在训练集中的遥感图像进行云识别，具体的流程如图3所示。卷积核的值会对之前一层的输出值进行相乘求和并得到一个新的输出值，该值就是特征值。在网络的最后利用反卷积层进行特征还原、上采样层进行大小还原，在最后一层的SoftmaxWithLoss层中给出每一个像素点在每一个类别上的概率，其中选取概率最高作为神经网络识别该像素点所属于的类别。
通过以上的步骤，设计出了一个可以识别遥感图像云的深度卷积神经网络，可以对遥感图像上的物体进行像素级的划分，从而实现了遥感图像云的自动识别，提高了其准确率和效率。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (6)

1.一种基于深度学习的遥感图像云识别的方法，其特征在于：构造基于SegNet神经网络结构的、具有多尺度卷积核的、高度对称的，并且使用反卷积层对特征图进行还原的深度卷积神经网络，采用两段训练的方法进行训练，利用等卷积结构对图像进行特征提取，在池化层中保留位置信息，最后利用反卷积层进行还原。
2.根据权利要求1所述的基于深度学习的遥感图像云识别的方法，其特征在于，该方法包括以下步骤：
利用网络爬虫获取大量遥感云图并对其进行预处理，并利用遥感图像处理软件将遥感云图中的像素点进行分类，制作训练集合，并通过旋转和切割方式扩大训练集。
3.根据权利要求2所述的基于深度学习的遥感图像云识别的方法，其特征在于：构造遥感图云识别深度卷积神经网络。该神经网络具有10个卷积层，其中每个卷积层中包含大小分别为3×3和5×5卷积核，拓宽了卷积层的宽度；该神经网络具有11个反卷积，负责还原图像的特征。最后通过SoftmaxWithLoss层进行像素级上的分类。本发明构造了遥感图云识别深度卷积神经网络，其中“conv3-64 pad1 BN”代表进行了BN(Batch Normalize)操作后使用64个大小为3×3卷积核，并且输入数据需要加上大小为1的pad；“maxpool2 stride2”代表使用最大池化层，大小为2，步长为2；upsample2 w240 h180代表上采样层，大小为2，将数据的长和宽复原到240×180。
4.根据权利要求3所述的基于深度学习的遥感图像云识别的方法，其特征在于：在训练集中选取少量云占比比较大的遥感图，在较大的学习率下利用遥感图云识别深度卷积神经网络进行少量的预训练，在将完整的训练集在较小的训练集中进行大量的训练。
5.根据权利要求4所述的基于深度学习的遥感图像云识别的方法，其特征在于：利用训练过程中所得到的网络权值文件，对新的遥感图像进行特征提取，并利用反卷积还原特征，列出每一个像素点所代表每一个类别的概率，并选择概率最大的类别作为该像素点识别的类别结果。
6.根据权利要求5所述的基于深度学习的遥感图像云识别的方法，其特征在于：记录像素点的位置信息，不同的类别的像素点使用特定的颜色代表，这样就对整个遥感图像做到了像素级的类别划分。
CN201810872933.8A 2018-08-02 2018-08-02 一种基于深度学习的遥感图像云识别方法 Withdrawn CN109255294A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810872933.8A CN109255294A (zh) 2018-08-02 2018-08-02 一种基于深度学习的遥感图像云识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810872933.8A CN109255294A (zh) 2018-08-02 2018-08-02 一种基于深度学习的遥感图像云识别方法

Publications (1)

Publication Number Publication Date
CN109255294A true CN109255294A (zh) 2019-01-22

Family

ID=65049370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810872933.8A Withdrawn CN109255294A (zh) 2018-08-02 2018-08-02 一种基于深度学习的遥感图像云识别方法

Country Status (1)

Country Link
CN (1) CN109255294A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934200A (zh) * 2019-03-22 2019-06-25 南京信息工程大学 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统
CN110309809A (zh) * 2019-07-09 2019-10-08 广西壮族自治区基础地理信息中心 基于深度神经网络的高分辨率遥感卫星影像甘蔗提取方法
CN110334645A (zh) * 2019-07-02 2019-10-15 华东交通大学 一种基于深度学习的月球撞击坑识别方法
CN110598600A (zh) * 2019-08-27 2019-12-20 广东工业大学 一种基于unet神经网络的遥感图像云检测方法
CN111798461A (zh) * 2020-06-19 2020-10-20 武汉大学 粗粒度标签引导深度学习的像素级遥感影像云区检测方法
CN111951284A (zh) * 2020-08-12 2020-11-17 湖南神帆科技有限公司 一种基于深度学习的光学遥感卫星图像精细化云检测方法
CN112465792A (zh) * 2020-12-04 2021-03-09 北京华捷艾米科技有限公司 一种人脸质量的评估方法及相关装置
CN113315803A (zh) * 2021-03-23 2021-08-27 中国地质大学（北京） 一种基于钉固内存的短波辐射模式数据传输性能优化方法
CN115641445A (zh) * 2022-12-23 2023-01-24 西南石油大学 一种非对称内卷积与Transformer相融合的遥感图像阴影检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844228A (zh) * 2016-03-21 2016-08-10 北京航空航天大学 一种基于卷积神经网络的遥感图像云检测方法
CN107153822A (zh) * 2017-05-19 2017-09-12 北京航空航天大学 一种基于深度学习的半自动图像精标注方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844228A (zh) * 2016-03-21 2016-08-10 北京航空航天大学 一种基于卷积神经网络的遥感图像云检测方法
CN107153822A (zh) * 2017-05-19 2017-09-12 北京航空航天大学 一种基于深度学习的半自动图像精标注方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MIA KOKIC 等: "Affordance Detection for Task-Specific Grasping Using Deep Learning", 《2017 IEEE-RAS 17TH INTERNATIONAL CONFERENCE ON HUMANOID ROBOTICS (HUMANOIDS) BIRMINGHAM》 *
ZHENRONG DU: "Training SegNet for Cropland Classification of High Resolution Remote Sensing Images", 《AGILE2018》 *
刘波 等: "基于卷积神经网络的高分辨率遥感影像云检测", 《地理空间信息》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934200A (zh) * 2019-03-22 2019-06-25 南京信息工程大学 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统
CN109934200B (zh) * 2019-03-22 2023-06-23 南京信息工程大学 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统
CN110334645A (zh) * 2019-07-02 2019-10-15 华东交通大学 一种基于深度学习的月球撞击坑识别方法
CN110309809A (zh) * 2019-07-09 2019-10-08 广西壮族自治区基础地理信息中心 基于深度神经网络的高分辨率遥感卫星影像甘蔗提取方法
CN110598600A (zh) * 2019-08-27 2019-12-20 广东工业大学 一种基于unet神经网络的遥感图像云检测方法
CN111798461A (zh) * 2020-06-19 2020-10-20 武汉大学 粗粒度标签引导深度学习的像素级遥感影像云区检测方法
CN111951284A (zh) * 2020-08-12 2020-11-17 湖南神帆科技有限公司 一种基于深度学习的光学遥感卫星图像精细化云检测方法
CN111951284B (zh) * 2020-08-12 2022-04-22 湖南神帆科技有限公司 一种基于深度学习的光学遥感卫星图像精细化云检测方法
CN112465792A (zh) * 2020-12-04 2021-03-09 北京华捷艾米科技有限公司 一种人脸质量的评估方法及相关装置
CN113315803A (zh) * 2021-03-23 2021-08-27 中国地质大学（北京） 一种基于钉固内存的短波辐射模式数据传输性能优化方法
CN115641445A (zh) * 2022-12-23 2023-01-24 西南石油大学 一种非对称内卷积与Transformer相融合的遥感图像阴影检测方法

Similar Documents

Publication Publication Date Title
CN109255294A (zh) 一种基于深度学习的遥感图像云识别方法
Ji et al. Landslide detection from an open satellite imagery and digital elevation model dataset using attention boosted convolutional neural networks
Yuan et al. Gated CNN: Integrating multi-scale feature layers for object detection
CN110428428A (zh) 一种图像语义分割方法、电子设备和可读存储介质
CN105224951B (zh) 一种车型分类方法及分类装置
Junos et al. An optimized YOLO‐based object detection model for crop harvesting system
CN105095902B (zh) 图片特征提取方法及装置
CN110414377A (zh) 一种基于尺度注意力网络的遥感图像场景分类方法
CN105528575B (zh) 基于上下文推理的天空检测方法
CN108734719A (zh) 一种基于全卷积神经网络的鳞翅目昆虫图像前背景自动分割方法
CN101877064B (zh) 图像分类方法及图像分类装置
Wulamu et al. Multiscale road extraction in remote sensing images
CN113705580B (zh) 基于深度迁移学习的高光谱图像分类方法
CN108846334A (zh) 一种云类别自动识别方法及系统
CN111524140B (zh) 基于cnn和随机森林法的医学图像语义分割方法
CN113887517B (zh) 基于并行注意力机制的农作物遥感图像语义分割方法
Feng et al. Bag of visual words model with deep spatial features for geographical scene classification
KR20210137213A (ko) 이미지 처리 방법 및 장치, 프로세서, 전자 기기, 저장 매체
CN112598024A (zh) 一种基于深度多示例学习和自注意力的医学图像分类方法
CN109242097A (zh) 无监督学习的视觉表示学习系统及方法
CN109657082A (zh) 基于全卷积神经网络的遥感图像多标签检索方法及系统
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
Ver Hoef et al. A primer on topological data analysis to support image analysis tasks in environmental science
Zhong et al. Automatic aurora image classification framework based on deep learning for occurrence distribution analysis: A case study of all‐sky image data sets from the Yellow River Station
CN114596463A (zh) 一种基于图像的地块类型分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190122