CN108921210B - 一种基于卷积神经网络的云分类方法 - Google Patents

一种基于卷积神经网络的云分类方法 Download PDF

Info

Publication number
CN108921210B
CN108921210B CN201810671072.7A CN201810671072A CN108921210B CN 108921210 B CN108921210 B CN 108921210B CN 201810671072 A CN201810671072 A CN 201810671072A CN 108921210 B CN108921210 B CN 108921210B
Authority
CN
China
Prior art keywords
cloud
data set
neural network
convolutional neural
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810671072.7A
Other languages
English (en)
Other versions
CN108921210A (zh
Inventor
张敬林
刘普
张峰
宋倩倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201810671072.7A priority Critical patent/CN108921210B/zh
Publication of CN108921210A publication Critical patent/CN108921210A/zh
Application granted granted Critical
Publication of CN108921210B publication Critical patent/CN108921210B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明的基于卷积神经网络的云分类方法，基于Alexnet框架，包括如下步骤：步骤1）去掉Alexnet框架的conv_3层形成改进的Alexnet框架CloudNet模型；使用CloudNet对SWIMCAT数据集与自建的CCSN云图数据集进行训练；步骤3）将尾迹云作为新的类别加入到已有的SWIMCAT数据集和CCSN数据集；步骤4）通过对SWIMCAT数据集和CCSN数据集两个数据集中按照训练集与测试集设定的比例进行划分，在caffe中通过多次训练调整参数，并通过训练好的CloudNet模型进行云分类。本方法可以对云的类别进行准确分类，同时在数据集中将地基观测到的尾迹云图做为一个新的类别，扩充了数据量，增加了云分类难度，使训练好的模型具有很强的泛化能力。

Description

一种基于卷积神经网络的云分类方法
技术领域
本发明属于气象领域，特别涉及了一种基于卷积神经网络的云分类方法。
背景技术
云是在不同天气系统演变过程之中形成的，可以预示未来天气变化。云同时是大气辐射系统中重要的组成部分，云覆盖率的改变会影响整个大气辐射的收支平衡，进而对气候系统产生影响(P.Duda,Minnis,Khlopenkov,L.Chee,&Boeke,2013)。现在对云的研究主要包括卫星和地面观测所获得的数据，但是大尺度的卫星图像很难获得云的详细的信息，因此现在的对云的研究主要集中在地面观测仪器所获的图像(Liu&Zhang,2016)，随着观测仪器的不断发展，如whole-sky imager(WSI)(Shields等，2003),total-skyimager(TSI)(Pfister 等，2003)，all-skyimager(ASI)(Lu等，2004)。这些仪器可以提供连续并且高分辨率的云图，基于这些仪器许多学者在云分类做了许多研究。利用图像纹理测度算法(Buch等， 1995)，局部二值模式(LBP)(Ojala,
Figure RE-GDA0001824492480000011
2000)，借助自相关和共生矩阵从云图中提取特征(Singh&Glennen,2005)，利用自动分类算法提取光谱特征和一些简单的纹理特征去分类7种不同类别的云(Heinle,Macke,&Srivastav,2010)，通过统计颜色的变形去获得纹理和颜色信息(Zhuo,Cao,&Xiao,2014)，整合颜色和纹理两种信息在云分类中取得很好的效果(Dev,Lee,&Winkler,2015)。尽管这些工作对云分类起到了推动作用，但是云分类问题还没有得到很好地解决。这些方法中都有一些相同的问题。例如，数据集中样本有限，类别不能包括气象中最基本的十类云，最重要是分类精度较低。近年来，卷积神经网络在其他领域(如人脸识别，图像分类)取得显著的成果，该方法基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。利用该方法不仅有助于提高云分类的准确度，同时也避免了传统的依靠许多经验性的分类误差。根据我们的文献调研，迄今为止，利用深度学习对云进行分类的研究甚少，准确的云分类将对大气数值模式，气候模式中提高模式预报准确度以及具体的业务工作中将产生重要的影响。
发明内容
本发明的目的是克服上述背景技术的不足，提供一种基于多维密集连接卷积神经网络的地基气象云图分类方法，克服了传统神经网络对云图特征利用率不够的缺陷，克服了传统方法分类精度低，不能满足业务气象预报要求，同时也克服了深度学习中卷积神经网络层数加深后计算参数量大，信号传递缓慢的缺陷。为了实现上述技术目的，本发明的技术方案为：所述基于卷积神经网络的云分类方法，基于CloudNet框架，包括如下步骤：
所述基于卷积神经网络的云分类方法，基于Alexnet框架，包括如下步骤：
步骤1)删除Alexnet框架的conv_3层形成改进的Alexnet框架Cloudnet模型；
步骤2)使用CloudNet对SWIMCAT数据集与自建的CCSN云图数据集进行训练；
步骤3)将尾迹云作为新的类别加入到已有的SWIMCAT数据集和CCSN数据集的类别；
步骤4)通过对SWIMCAT数据集和CCSN数据集两个数据集中按照训练集与测试集设定的比例进行划分，在深度学习软件包caffe中通过多次训练调整参数，并通过Cloudnet模型进行云分类。
所述基于卷积神经网络的云分类方法的进一步设计在于，步骤2)中在数据处理时使用数据增强的方法防止过拟合。
所述基于卷积神经网络的云分类方法的进一步设计在于，步骤4)在caffe训练过程中需要设置每次训练的数量、测试的数量以及是否开启镜像模式、裁剪的尺寸、学习率、学习率的计算、权值衰减的速率以及动量。
所述基于卷积神经网络的云分类方法的进一步设计在于，步骤2)在训练学习过程中，对模型可视化，不断优化网络结构。
所述基于卷积神经网络的云分类方法的进一步设计在于，步骤4)中设定的比例为4:1。
所述基于卷积神经网络的云分类方法的进一步设计在于，CCSN数据集为从网上收集的不同区域不同时间段的特征明显的云图，经过仔细筛选，严格按照世界气象组织提供的标准划分为10类共1110张并统一处理为400*400像素。
所述基于卷积神经网络的云分类方法的进一步设计在于，SWIMACT数据集包含784张云的图像，分为5个明显的类别。
本发明的有益效果为：
(1)与传统的云分类方法(如Buch等，1995；Singh等，2005；Calbó等2008；Heinle等， 2010；Dev等，2015)相比，卷积神经网络可以对云的类别进行准确分类 (top-1,91％.top-5,96％)，同时在数据集中将地基观测到的尾迹云图做为一个新的类别，扩充了数据量，增加了云分类难度，使该训练好的模型具有很强的泛化能力。
(2)以往的云分类借助于人工统计分析方法(根据云的外貌、颜色、亮度、分布、移动以及云底高等情况)，通过采用不同的算法考虑云的纹理特征以及不同的云的类别划分，这些方法具有经验性和耗时费力，还可能产生模棱两可的结果。本项目拟采用卷积神经网络(CNNs) 采用两种云类别划分标准，通过对模型可视化，选择特征明显的层次，调整网络结构，不断优化网络结构，改进后的结构命名为CloudNet。
(3)通过CloudNet框架在两个数据集上的表现，为基于深度学习进行云分类提供一种可靠的参考标准，同时我们自建的10类云图数据集CCSN公开后也将推动深度学习在云分类的应用。
具体实施方式
下面对本申请作进一步详细的说明。
首先利用深度学习软件包caffe(jia等，2014)，对现有模型Alexnet的优化后的CloudNet 结构，然后通过对两个规模不同数据集(SWIMCAT，CCSN)的训练学习，对模型可视化，不断优化网络结构，调整参数。然后在两个数据集中都加入尾迹云做为新的类别，扩充数据集，提高模型的泛化性，同时能对气象中主要类型的云有不错的分类能力，针对研究路线中的研究内容和拟解决的问题，具体实施方案如下：
本实施例拟将卷积神经网络作为一种新的云分类方法，同时通过对Alexnet框架的优化，将极大的提高云分类的准确度。通过两个不同规模云图数据集的测试应用，使该方法在云分类中具有很强的适用性和鲁棒性，具体云分类方案如下：
CloudNet模型
自Alex等人在2012年提出Alexnet以来卷积神经网络已经取得了长足的发展，其中网络结构设计中都有许多巧妙的设计，利用这个设计可以减少参数量，训练时间，同时能提高分类精度。Alexnet总共包括8层，其中前5层为卷积层，后面三层为全连接层。表1为改进后的CloudNet各层中具体参数的设置。其中使用了像修正线性单元(Rectified linearunit，ReLU)，dropout，DateAugmentation等方法，其中Relu的作用是在神经网络中加入非线性因素，使神经网络能够有效拟合非线性函数；Dropout是为了防止过拟合，舍弃一些神经元；数据扩充(Data Augmentation)是通过对云图进行随机的反转、平移、增强对比度等方式增加云图数量。通过对两种数据集的多次训练，并对卷积后的结果进行仔细分析后，其中conv_3、conv_4、conv_5这三层卷积对特征提取的效果不明显，尤其是不易区分尾迹云与其它几种云，因此本实施例对Alexnet框架进行了改进，去掉了conv_3层。
表1
Figure RE-GDA0001824492480000031
Figure RE-GDA0001824492480000041
设置两个规模不同的数据集，分别为SWIMACT数据集与CCSN数据集。
SWIMACT数据集:该数据集包含784张云的图像，分为5个类别，具体见表2，所有的图像都是125*125像素，这些图像是由新加坡南阳科技大学，经过校准的WAHRSIS陆基全天空成像仪获得的，利用2013年1月到2014年5月共17个月的云图，新加坡气象局专家为其进行人工分类。
表2 SWIMCAT中各类云的数量
Figure RE-GDA0001824492480000042
CCSN数据集：该数据集是从网上(http://www.clouds-online.com/)收集的不同区域不同时间段的特征明显的云图，经过仔细筛选，严格按照WMO(World MeteorologicalOrganization)提供的标准划分为10类共1110张，然后统一处理为400*400像素。具体见表3。
表3 CCSN数据集中各类云的数量
Figure RE-GDA0001824492480000051
优化两种数据集及具体参数的设置：该方法中使用两种规模不同的数据集，在本实施例中需要将整个数据集划分为测试和训练集，并为每一张云图都赋予标签。表4为SWIMCAT数据集5类共784张云图训练集与测试集的具体划分。由于SWIMCAT数据的5类不能包括现在气象标准中所有云的类型。因此，使用自建的CCSN数据集，其中10类共1110张云图，包括了气象中主要的类型。表5为具体测试集与训练集的具体划分。
线性尾迹云可以单独存在，但通常会出现在自然卷云的周围，与其它类型的云同时存在，因此将尾迹云作为一种新的类别加入到上述两种数据集，不仅仅增加了数据样本数量，同时准确的识别尾迹云将提高尾迹云对气候变化，辐射响应的认识。全面而精准的云分类方法，可以更加提高对各种云类的认识。表6为增加尾迹云后的SWIMCAT数据集的具体划分，表7 为增加尾迹云后的CCSN数据集的具体划分。
在caffe训练过程中需要设置每次训练的数量(train_batchsize)、测试的数量(test_batchsize)以及是否开启镜像模式(mirror)、裁剪的尺寸(crop_size)、学习率(base_lr)、学习率的计算(learning_policy)、权值衰减的速率(weight_decay)，动量(momentum)等参数。表8为训练过程中两种不同方案参数的具体设置。
表4 SWIMCAT训练集与测试集的具体划分
Figure RE-GDA0001824492480000061
表5 CCSN训练集和测试集的具体划分
Figure RE-GDA0001824492480000062
表6增加尾迹云后的SWIMCAT数据集的具体划分
Figure RE-GDA0001824492480000063
表7增加尾迹云后的CCSN数据集的具体划分
Figure RE-GDA0001824492480000064
Figure RE-GDA0001824492480000071
表8训练过程中两种不同方案参数的设置
Figure RE-GDA0001824492480000072
本实施例的与传统的云分类方法(如Buch等，1995；Singh等，2005；Calbó等2008；Heinle等，2010；Dev等，2015)相比，卷积神经网络可以对云的类别进行准确分类 (top-1,91％.top-5,96％)，同时在数据集中将地基观测到的尾迹云图做为一个新的类别，扩充了数据量，增加了云分类难度，使该方法具有很强的泛化能力，能够对云进行准确的分类。一方面，与以往的云分类方法：借助于人工统计分析方法(根据云的外貌、颜色、亮度、分布、移动以及云底高等情况)，采用不同的算法考虑云的纹理特征，以及不同的云的类别划分相比较，传统方法具有经验性和耗时费力，并且依赖于预报员，还可能产生模棱两可的结果。本项目拟采用卷积神经网络(CNNs)采用两种云类别划分标准，通过对模型可视化，选择特征明显的层次，调整网络结构，不断优化网络结构，最终在云分类任务上取得不错的效果。另一方面，通过CloudNet框架在两个数据集上的表现，为基于深度学习进行云分类提供一种可靠的参考标准，同时我们自建的10类CCSN云图数据集的公开，将推动深度学习在云分类的研究。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种基于卷积神经网络的云分类方法，基于Alexnet框架，其特征在于包括如下步骤：
步骤1）删除Alexnet框架的conv_3层形成改进的Alexnet框架CloudNet模型；
步骤2）使用CloudNet对SWIMCAT数据集与自建的CCSN云图数据集进行训练；
步骤3）将尾迹云作为新的类别加入到已有的SWIMCAT 数据集和CCSN数据集；
步骤4）通过对SWIMCAT 数据集和CCSN数据集两个数据集中按照训练集与测试集设定的比例进行划分，在深度学习软件包caffe中通过多次训练调整参数，并通过CloudNet模型进行云分类。
2.根据权利要求1所述的基于卷积神经网络的云分类方法，其特征在于，步骤2）中在数据处理时使用数据增强的方法防止过拟合。
3.根据权利要求1所述的基于卷积神经网络的云分类方法，其特征在于，步骤4）在caffe训练过程中需要设置每次训练的数量、测试的数量以及是否开启镜像模式、裁剪的尺寸、学习率、学习率的计算、权值衰减的速率以及动量。
4.根据权利要求1所述的基于卷积神经网络的云分类方法，其特征在于，步骤2）在训练学习过程中，对模型可视化，不断优化网络结构和调整参数。
5.根据权利要求1所述的基于卷积神经网络的云分类方法，其特征在于，步骤4）中设定的比例为4:1。
6.根据权利要求1所述的基于卷积神经网络的云分类方法，其特征在于，CCSN数据集为从网上收集的不同区域不同时间段的共1110张特征明显的云图，经过仔细筛选，严格按照世界气象组织提供的标准划分为10类并统一处理为400*400像素。
7.根据权利要求1所述的基于卷积神经网络的云分类方法，其特征在于，SWIMCAT 数据集包含784张云的图像，分为5个明显的类别。
CN201810671072.7A 2018-06-26 2018-06-26 一种基于卷积神经网络的云分类方法 Active CN108921210B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810671072.7A CN108921210B (zh) 2018-06-26 2018-06-26 一种基于卷积神经网络的云分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810671072.7A CN108921210B (zh) 2018-06-26 2018-06-26 一种基于卷积神经网络的云分类方法

Publications (2)

Publication Number Publication Date
CN108921210A CN108921210A (zh) 2018-11-30
CN108921210B true CN108921210B (zh) 2021-03-26

Family

ID=64421417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810671072.7A Active CN108921210B (zh) 2018-06-26 2018-06-26 一种基于卷积神经网络的云分类方法

Country Status (1)

Country Link
CN (1) CN108921210B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359727B (zh) * 2018-12-07 2022-01-11 北京字节跳动网络技术有限公司 神经网络的结构确定方法、装置、设备及可读介质
CN109739514B (zh) * 2018-12-21 2021-03-02 中科寒武纪科技股份有限公司 参数处理方法及相关产品
CN109754072B (zh) 2018-12-29 2020-06-23 中科寒武纪科技股份有限公司 网络离线模型的处理方法、人工智能处理装置及相关产品
CN110008847B (zh) * 2019-03-13 2021-07-20 华南理工大学 一种基于卷积神经网络的泳姿识别方法
CN110210568A (zh) * 2019-06-06 2019-09-06 中国民用航空飞行学院 基于卷积神经网络的航空器尾涡识别方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073865A (zh) * 2016-11-18 2018-05-25 南京信息工程大学 一种基于卫星资料的飞机尾迹云识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201405894D0 (en) * 2014-04-02 2014-05-14 Rolls Royce Plc Aircraft vapour trail control system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073865A (zh) * 2016-11-18 2018-05-25 南京信息工程大学 一种基于卫星资料的飞机尾迹云识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Contrail Recognition with Convolutional Neural Network and Contrail Parameterizations Evaluation;Guoyu Zhang 等;《ResearchGate》;20180131;第14卷;全文 *
DeepCloud: Ground-Based Cloud Image Categorization Using Deep Convolutional Features;Liang Ye 等;《IEEE》;20171031;第55卷(第10期);全文 *
一种人工神经网络云分类方法的改进与应用;张振华;《应用气象学报》;20120630;第23卷(第3期);全文 *
基于选择性神经网络集成的地基云状识别算法;鲁高宇 等;《计算机应用与软件》;20150331;第32卷(第3期);全文 *

Also Published As

Publication number Publication date
CN108921210A (zh) 2018-11-30

Similar Documents

Publication Publication Date Title
CN108921210B (zh) 一种基于卷积神经网络的云分类方法
Xu et al. Wheat ear counting using K-means clustering segmentation and convolutional neural network
WO2022160771A1 (zh) 基于自适应多尺度特征提取模型的高光谱图像分类方法
CN109800754B (zh) 一种基于卷积神经网络的古字体分类方法
CN112183432B (zh) 一种基于中分辨率sar图像的建筑区提取方法以及系统
CN108960404B (zh) 一种基于图像的人群计数方法及设备
CN105930772A (zh) 基于sar影像与光学遥感影像融合的城市不透水面提取方法
Bo et al. Particle pollution estimation from images using convolutional neural network and weather features
CN111753828A (zh) 一种基于深度卷积神经网络的自然场景水平文字检测方法
CN113449594B (zh) 一种多层网络组合的遥感影像地类语义分割与面积计算方法
CN106408030A (zh) 基于中层语义属性和卷积神经网络的sar图像分类方法
CN110728197B (zh) 基于深度学习的单木级树种识别方法
CN108898065A (zh) 候选区快速筛选与尺度自适应的深度网络舰船目标检测方法
CN101276420A (zh) 一种融合光谱信息和多点模拟空间信息的分类方法
CN109360192A (zh) 一种基于全卷积网络的物联网大田作物叶部病害检测方法
Chen et al. Object-based multi-modal convolution neural networks for building extraction using panchromatic and multispectral imagery
Chase et al. A machine learning tutorial for operational meteorology. Part II: Neural networks and deep learning
CN111507416B (zh) 一种基于深度学习的吸烟行为实时检测方法
Genitha et al. Classification of satellite images using new fuzzy cluster centroid for unsupervised classification algorithm
CN102073867A (zh) 一种遥感图像分类方法及装置
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
CN113989652B (zh) 分层多重判定规则下的耕地变化检测方法及系统
Yuan et al. Sensitivity examination of YOLOv4 regarding test image distortion and training dataset attribute for apple flower bud classification
Yang et al. Towards Scalable Within-Season Crop Mapping With Phenology Normalization and Deep Learning
CN106824826B (zh) 一种玉米单倍体分拣系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant