CN112215268A - 一种灾害天气卫星云图分类方法和装置 - Google Patents
一种灾害天气卫星云图分类方法和装置 Download PDFInfo
- Publication number
- CN112215268A CN112215268A CN202011030434.8A CN202011030434A CN112215268A CN 112215268 A CN112215268 A CN 112215268A CN 202011030434 A CN202011030434 A CN 202011030434A CN 112215268 A CN112215268 A CN 112215268A
- Authority
- CN
- China
- Prior art keywords
- training
- network
- category
- satellite cloud
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种灾害天气卫星云图分类方法和装置,对不均衡的卫星云图进行欠采样和过采样处理,并且由生成对抗网络进行样本生成,实现样本的过采样代替了传统的简单复制,由生成对抗网络生成的数据,相比于简单复制而生成的数据能够更好的拟合原本数据的分布概率、纹理特性等信息,故而可以增强模型训练过程中的鲁棒性;同时由迁移学习进行的训练,能够在很大程度上保留原本数据量较大样本的特征信息,故而在对数据均衡化处理后的数据集进行迁移训练的时候,能够在尽可能减少大类样本精度的同时,各个少量样本的精度得到提升。
Description
技术领域
本发明属于不平衡卫星云图分类技术领域,特别涉及一种灾害天气卫星云图分类方法和装置。
背景技术
全球75%经济损失源于灾害天气,每年约1万多人因恶劣天气而死亡。灾害天气,包括台风、强对流和沙暴,严重威胁人民生命财产安全,监测灾害天气的形成发展过程是气象灾害预测预报的基础。通过观测卫星云图进行监测是重要的手段之一,因为地球的大部分地区被云覆盖,各种天气现象总是和云有着密不可分的联系。卫星云图是由气象卫星自顶而下观测云层覆盖和地球表面的图像,可以用来识别不同的天气状态,评估其强度和未来发展趋势等,为天气预报和灾害天气预测提供全天候的依据。但是在实际的卫星云图中,往往是非灾害天气类别的图片占据了原始数据的大多数,而各个灾害天气的数量相对较少,数据呈现了不平衡的分布形态。这样的数据分布使得分类器在进行训练的时候,会比较关注占据数据大多数的非灾害天气样本,故而虽然总体的分类精度虽高,但是各个类别如热带气旋、温带气旋等这些对于实际研究非常具有指导意义的类别,并没有从分类器中得到很好的区分。
图片数据的类间不平衡问题,近年来一直是一个研究的热点。图片数据的类间不平衡问题,也可以称为长尾数据的研究问题,是指在分类问题中不同类别的训练样例数目差别很大的情况。这一情况与实际生产生活中的数据分布情况相似,非常具有研究的意义和必要性。2012年AlexNet在ILSVRC-2012的比赛中获得了冠军,成功的将深度学习应用于图片分类的问题上,至此之后各类深度学习的框架模型开始涌现。但是研究者主要关注平衡数据分布的数据集,关于长尾分布数据集的研究并未深入。尤其是在卫星云图的灾害天气分类问题的研究上,该领域的研究由于原始数据获取和处理的成本较大,相关的分类研究还是空白。
因此,如何在卫星云图类间不均衡的情况下,较好的将各个灾害天气从非灾害天气中区分出来,是灾害天气卫星云图分类中需要重点解决的技术问题。
发明内容
本申请的目的是提供一种灾害天气卫星云图分类方法和装置,旨在解决卫星云图类间不均衡的情况下,较好的进行灾害天气卫星云图分类的问题。
为了实现上述目的,本申请技术方案如下:
一种灾害天气卫星云图分类方法,所述灾害天气卫星云图分类方法,包括:
获取用于训练的卫星云图数据集,确定所获取的卫星云图数据集的类别数n和各个类别对应的类别图片数量Xi,i为类别对应的序号,其取值从1到n;
将卫星云图的总数量减去类别图片数量Xi中的最大值和最小值,然后除以类别数n得到的均值作为均衡化阈值N;
对卫星云图数据集中类别图片数量Xi大于等于均衡化阈值N的类别进行随机欠采样,直到该类别的类别图片数量Xi删减至均衡化阈值N;
对卫星云图数据集中类别图片数量Xi小于均衡化阈值N的类别进行基于生成对抗网络的过采样,直到该类别的类别图片数量Xi达到均衡化阈值N;
合并随机欠采样和过采样后所有类别对应的卫星云图作为均衡化数据集;
利用所获取的卫星云图数据集和均衡化数据集进行基于迁移学习的分类模型训练,确定分类模型的最佳网络参数,得到最优分类模型;
将待预测的卫星云图输入所述最优分类模型,得到所述最优分类模型输出的卫星云图分类结果。
作为优选,所述对卫星云图数据集中类别图片数量Xi小于均衡化阈值N的类别进行基于生成对抗网络的过采样,直到该类别的类别图片数量Xi达到均衡化阈值N,包括:
初始化生成对抗网络,所述生成对抗网络包括生成器和判别器;
取类别图片数量Xi小于均衡化阈值N的一个类别,以该类别对应的所有卫星云图作为训练样本训练生成对抗网络;
采用训练至最优的生成对抗网络进行数据生成,直到该类别的类别图片数量Xi达到均衡化阈值N。
作为优选,所述以该类别对应的所有卫星云图作为训练样本训练生成对抗网络,包括:
基于训练样本,生成器利用定义的噪声分布生成Xi个新样本;
固定生成器的网络参数不变,利用生成的新样本迭代训练所述判别器,直至确定判别器针对当前生成器的最佳网络参数;
更新生成器的网络参数,重新基于训练样本生成Xi个新样本并训练所述判别器,重复更新训练直至判别器的辨别概率为0.5,保存当前生成器和判别器的网络参数作为最佳网络参数,完成生成对抗网络的训练。
作为优选,所述生成对抗网络为StyleGAN2网络,所述StyleGAN2网络包括AdaIN子网络,该AdaIN子网络具有一个显式的归一化层和调制卷积层。
作为优选,所述利用所获取的卫星云图数据集和均衡化数据集进行基于迁移学习的分类模型训练,确定分类模型的最佳网络参数,得到最优分类模型,包括:
获取用于训练的基础网络,并初始化该基础网络的网络参数;
将所获取的卫星云图数据集输入所述基础网络,根据基础网络输出的预测结果与卫星云图数据集中的真实标签进行损失计算,并在损失计算后反向传播更新基础网络的网络参数,完成基础网络的一次训练;
循环训练所述基础网络,直至达到预设的训练次数,保存网络参数;
将保存的基础网络的网络参数赋值给分类模型作为初始网络参数;
将均衡化数据集输入所述分类模型,根据分类模型输出的预测结果与均衡化数据集中的真实标签进行损失计算,并在损失计算后反向传播更新分类模型的网络参数,完成分类模型的一次训练;
循环训练所述分类模型,直至达到预设的训练次数,保存网络参数作为最佳网络参数,得到最优分类模型。
本申请还提供一种灾害天气卫星云图分类装置,包括处理器以及存储有若干计算机指令的存储器,所述计算机指令被处理器执行时实现上述任一技术方案所述方法的步骤。
本申请提出的一种灾害天气卫星云图分类方法和装置,对不均衡的卫星云图进行欠采样和过采样处理,并且由生成对抗网络进行样本生成,实现样本的过采样代替了传统的简单复制,由生成对抗网络生成的数据,相比于简单复制而生成的数据能够更好的拟合原本数据的分布概率、纹理特性等信息,故而可以增强模型训练过程中的鲁棒性;同时由迁移学习进行的训练,能够在很大程度上保留原本数据量较大样本的特征信息,故而在对数据均衡化处理后的数据集进行迁移训练的时候,能够在尽可能减少大类样本精度的同时,各个少量样本的精度得到提升。
附图说明
图1为本申请灾害天气卫星云图分类方法的流程图;
图2为本申请基于迁移学习的分类模型的训练流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅用以解释本申请,并不用于限定本申请。
本申请提供的灾害天气卫星云图分类方法,可以针对灾害天气的自动识别,在天气预报应用环境中较大的应用价值。
本申请聚焦于卫星云图中的灾害天气分类问题,即在卫星云图数据中分类出带有热带气旋、温带气旋、西风急流等可能带有灾害天气的云图。
在一个实施例中,如图1所示,提供了一种灾害天气卫星云图分类方法,包括以下步骤:
步骤S1、获取用于训练的卫星云图数据集,确定所获取的卫星云图数据集的类别数n和各个类别对应的类别图片数量Xi,i为类别对应的序号,其取值从1到n。
通常卫星云图包含了温带气旋、热带气旋、锋面、西风急流、降雪、高冰云、低水云、海洋、沙漠和植被等多种类型,在本实施例中,因主要聚焦于灾害天气的分类识别,故将高冰云、低水云、海洋、沙漠、植被等合并为非灾害天气类别。
因此本实施例中的类别优选为温带气旋、热带气旋、锋面、西风急流、降雪和非灾害天气这6种,即类别数n=6。容易理解的是,本实施例基于实际常见天气情况将选择了上述类别以及类别数,在其他实施例中,还可以根据实际分类需求进行类别以及类别数的调整。
步骤S2、将卫星云图的总数量减去类别图片数量Xi中的最大值和最小值,然后除以类别数n得到的均值作为均衡化阈值N。
本实施例将原始的数据集的分布趋向理想数据分布的方向进行改进,把数据不均衡的问题转化为均衡化数据处理的问题。而在数据均衡化过程中,均衡化阈值作为基础阈值,影响了各类别中类别图片数量的调整,同时也影响了均衡化处理的难度。
本实施例中去掉样本数量最多的数量和样本数量最少类别的数量,然后取剩下类别的样本数量计算平均数的方法确定阈值,如公式(1)所示。该方法去除了最大数量和最小数量对均衡化阈值的极限影响,提升均衡化阈值的合理性,便于各类别的类别图片数量趋向均衡化阈值。
其中,Xmax为类别图片数量Xi中的最大值,Xmin类别图片数量Xi中的最小值。
步骤S3、对卫星云图数据集中类别图片数量Xi大于等于均衡化阈值N的类别进行随机欠采样,直到该类别的类别图片数量Xi删减至均衡化阈值N。
对于类别图片数量Xi大于等于均衡化阈值N的类别而言,采用随机欠采样进行数据随机丢弃的处理,既可以最简单快速的方式使得该类别的类别图片数量趋向均衡化阈值,又不会造成原始数据的严重丢失。
步骤S4、对卫星云图数据集中类别图片数量Xi小于均衡化阈值N的类别进行基于生成对抗网络的过采样,直到该类别的类别图片数量Xi达到均衡化阈值N。
本实施例在执行过采样时,由生成对抗网络进行卫星云图生成,代替了传统的简单复制,由生成对抗网络生成的卫星云图,相比了简单复制而生成的卫星云图能够更好的拟合原本数据集的分布概率、纹理特性等信息,因而可以增强模型训练过程中的鲁棒性。
具体的,基于生成对抗网络进行过采样主要包括以下步骤:
初始化生成对抗网络,所述生成对抗网络包括生成器和判别器。
取类别图片数量Xi小于均衡化阈值N的一个类别,以该类别对应的所有卫星云图作为训练样本训练生成对抗网络。
采用训练至最优的生成对抗网络进行数据生成,直到该类别的类别图片数量Xi达到均衡化阈值N。
以上为针对一个类别进行过采样的过程,对于原始卫星云图数据集中所有需要过采样的类别而言,分别执行上述步骤即可。本实施例每次过采样均利用原始数据集中的需要进行过采样的类别的卫星云图训练生成对抗网络,从而保证生成对抗网络每次生成的卫星云图与待过采样的类别中的卫星云图的文理特征较为相似。
在利用生成对抗网络进行数据(卫星云图)生成时,数据生成量为对应类别图片数量的k倍,最终生成的数据量目标为(k+1)Xi≈N。
由于生成对抗网络具有生成器和判别器,因此对生成对抗网络的训练即为对生成器和判别器的训练,本实施例中提供的一种优选训练过程为:
基于训练样本,生成器利用定义的噪声分布生成Xi个新样本。
固定生成器的网络参数不变,利用生成的新样本迭代训练所述判别器,直至确定判别器针对当前生成器的最佳网络参数。
更新生成器的网络参数,重新基于训练样本生成Xi个新样本并训练所述判别器,重复更新训练直至判别器的辨别概率为0.5,保存当前生成器和判别器的网络参数作为最佳网络参数,完成生成对抗网络的训练。
理想情况下,判别器将被训练到对当前生成器为最优,然后生成器再次被更新。然而实际情况下,判别器可能无法训练到最优,因此常用的策略是,判别器只会经过少量的迭代训练,而且生成器和判别器同步更新,因此本实施例中对生成器和判别器的训练过程不仅限于上述优选训练过程。
步骤S5、合并随机欠采样和过采样后所有类别对应的卫星云图作为均衡化数据集。
步骤S6、利用所获取的卫星云图数据集和均衡化数据集进行基于迁移学习的分类模型训练,确定分类模型的最佳网络参数,得到最优分类模型。
在完成数据均衡化处理之后,进入分类模型的训练,具体训练流程如图2所示,包括以下步骤:
获取用于训练的基础网络(例如ResNet、VGG等网络),并初始化该基础网络的网络参数。
将所获取的卫星云图数据集(原始Data)输入所述基础网络,根据基础网络输出的预测结果与卫星云图数据集中的真实标签进行损失计算,并在损失计算后反向传播更新基础网络的网络参数,完成基础网络的一次训练。
循环训练所述基础网络,直至达到预设的训练次数,保存网络参数,得到精度最高的学习模型,完成第一阶段的训练。
将保存的基础网络的网络参数赋值给分类模型作为初始网络参数,即基于迁移学习初始化分类模型的权重。
将均衡化数据集(均衡化Data)输入所述分类模型,根据分类模型输出的预测结果与均衡化数据集中的真实标签进行损失计算,并在损失计算后反向传播更新分类模型的网络参数,完成分类模型的一次训练。
循环训练所述分类模型,直至达到预设的训练次数,保存网络参数作为最佳网络参数,得到最优分类模型,完成第二阶段的训练。
本实施例在训练分类模型时,先根据原始不均衡的数据集训练出一个基础模型,然后再把在不均衡分布数据训练出来的基础模型进行迁移学习,即把基础模型训练得到的权重初始化到在处理所得的较为均衡分布的数据集进行训练的模型上。采取二阶段训练的目的主要是为了解决均衡化后的数据分布所训练出的模型会丢失较多的关于原本样本数量较多的类别的特征信息的问题,故而能在较少牺牲样本数量较多类别的分类性能的前提下,提升各个类别的分类性能。
同时二阶段训练的处理方式,也使得原始不均衡的数据分布和之后处理的较为均衡的数据分布之间建立相应的关联,使得整个数据处理和之后的图片分类过程形成一个闭环,两个模型之间的相互关联,使得分类模型的性能达到相应的稳定和平衡。
步骤S7、将待预测的卫星云图输入所述最优分类模型,得到所述最优分类模型输出的卫星云图分类结果。
以下通过一个实施例对本申请的一种灾害天气卫星云图分类方法进一步详述。
实施例1
一、数据集
本实施例中实验数据集采用自建的数据集,称之为Large-scale SatelliteCloud Image Database for Weather System(LSCIDWS-S[17])。LSCIDW-S是以葵花-8号气象卫星为数据来源建立的一个大尺度静止气象云图的单标签数据集。
该数据集的数据采集时间跨度为一年,包含了温带气旋、热带气旋、锋面、西风急流、降雪、高冰云、低水云、海洋、沙漠、植被和其他总共十一个类别总计104390张图片,图片的原始大小为1000*1000像素。
由于本申请主要聚焦于灾害天气的分类识别,故将高冰云、低水云、海洋、沙漠、植被和其他合并为非灾害天气类别。表1为数据集中各个类别的分布情况。
表1LSCIDWS-S处理之后的数据分布情况表
类别 | 数量 | 比例 |
温带气旋 | 4985 | 4.78% |
热带气旋 | 3305 | 3.17% |
降雪 | 8522 | 8.16% |
锋面 | 634 | 0.61% |
西风急流 | 628 | 0.60% |
非灾害天气 | 86315 | 82.69% |
总计 | 104390 | 100% |
二、评估方法
本实施例的实验评估方法采用分类中通常使用的总体精度(Overall Accuracy)和各个类别的分类精度(Category Accuracy)进行评估。总体精度是指预测正确的标签数量和待预测的总标签数量的比例。这一指标只能笼统的评价模型的整体性能。对于长尾数据集的分布,单一的总体精度还不足以充分的体现这一模型与实际问题的贴合程度。单一的总体精度的虚高并不能很好的表示模型的性能很好,很有可能是因为数据集中的占据绝大多数类别的单个类别的性能好而已。对于本申请的分类而言,单个类别的分类精度对于实际问题的研究更加有意义,故而本实施例重点研究各个类别的分类精度。
三、参数设定
本文的实验均在一个配备了一个32G内存和3.6-GHz Inter(R)Core i9-9900KCPU处理器及GeForce RTX 2080Ti的显卡的工作站上进行。
对于数据集的训练集和测试集按照了9:1的比例进行了划分。对训练集的属性进行分析,确定其类别数n=6,各个类别分别为温带气旋、热带气旋、降雪、锋面、西风急流、非灾害天气,对应的数据量分别是4487、2975、7670、571、566、77686。
因此确定出类别数量最大的数量Xmax=77686和类别数量最小的数量Xmin=566,则均衡化阈值N的确定,具体的计算公式如下:
根据均衡化阈值N,分别对于训练集中的类别数量Xi≥N的类别进行随机欠采样,对应的类别分别为:温带气旋、降雪、非灾害天气。对这三个类别的数据进行随机欠采样,直到这些类别的数量达到3826。
根据均衡化阈值N,分别对于数据集中的类别数量Xi<N的类别进行基于生成对抗网络的过采样,对应的类别分别为:热带气旋、西风急流和锋面。由于热带气旋的数量为2975和数据量3826较为接近,故而本实施例仅对于类别数量较少的锋面和西风急流扩充k倍,默认的k=1,相应的数据数量分别为571和766。对于参数k,按照0.5的步长设置了进行了相应的参数实验。设置k为1,可避免样本增加的数量远大于该类别原始数据的数量,导致分类模型在特征学习过程中受到生成数据中噪声的影响,进而影响特征学习效果的问题。
本实施例中选定生成对抗网络为StyleGAN2网络,StyleGAN2网络包括AdaIN子网络,该AdaIN子网络具有一个显式的归一化层和调制卷积层。本实施例选择StyleGAN2作为数据平衡化处理中的生成网络。StyleGAN2主要在消除图片伪像上进行了进一步的改进,图片的伪像就是生成图片中图像上呈现出的类似于水滴的特征,该算法将改进的方向定位到了AdaiN的运算中,该运算的特点可分别归一化到每个特征图的均值和方差。需要说明的是,本实施例中应用的StyleGAN2网络为图片生成领域较为成熟的技术,这里不对该网络的结构及逻辑等进行赘述,并且本实施例中的生成对抗网络也不限于采用StyleGAN2网络,例如还可以使用StyleGAN网络等。
选择ResNet101作为分类模型训练的基础网络,分类模型本身可以是采用任意的分类器,例如线性回归分类器、贝叶斯分类器、逻辑回归分类器等,这里不做限制。
由于使用StyleGAN2生成的图片大小为256*256像素。分类模型中的各个超参数分别设置为learning rate(学习率)=0.001,momentum(冲量单元)=0.9,batch_size(批量)=64,图片统一resize为256*256像素。每个模型都训练20次,保留总精度最高的模型,进行指标计算。
四、实验对象设置
实验对象分别是采用未经过任何处理的原始数据进行训练与分类的Base方法;对原始数据按照均衡化阈值对超过均衡化阈值的类别进行随机欠采样处理后的方法Base_under方法;在Base_under的基础上对Base进行迁移学习的Base_under_t方法。Base_under_over是对原始数据集进行按阈值随机欠采样之后的基础上,再对原始数据集中样本数量较少的类别进行机械复制的过采样方法;Base_under_over_t是在Base_under_over方法的基础上对Base进行迁移学习的结果;之后的Base_under_gan相比于Base_under_over是用生成对抗网络来代替传统的复制对数据进行过采样,从而使得数据分布达到一个较为均衡的状态;最后的Base_under_gan_t也是本申请中所提出的灾害天气卫星云图分类方法,即在Base_under_gan的数据处理基础上对Base训练出的模型进行迁移学习。
五、实验结果分析
针对上述实验对象,统计每一方法得到的总精度和各个类别精度如表2所示。
表2各个模型的总精度和各个类别精度的统计表
从表2中可以看出,虽然Base方法的整体精度和非灾害天气这一类别的分类性能达到了最优,但是对于西风急流、热带气旋、锋面和温带气旋这四个类别的数据,它们的分类精度还非常低。这四个类别的数据原始数据量较少,但是能准确的识别它们对于实际应用场景又非常具有意义。上述实验结果进一步说明了长尾数据的分布对于CNN的特征提取有一定的影响,在分类的时候会更加关注于数量多的类别,因而数量多的类别(非灾害天气)能取得较好的提取特征,进而忽略了其他数量较少类别的特征的学习。由此对数据量较大的类别(非灾害天气)进行处理就非常有必要。
除了未经任何处理的Base方法以外对比文申请的Base_under_gan_t方法与其他经过数据处理以后的方法可知,在降雪类别的数据上虽然没有取得最高的分类精度,但是也取得了相对不错的精度。并且本申请所提出的方法基本在所有类别中都取得了相对较高的精度,且总精度也相对高于其他方法。从而可以看出本申请提供的结合欠采样、基于生成对抗网络的过采样和基于不平衡样本的迁移学习的分类方法对解决类间不平衡问题有效,能够取得较优的分类性能。
应该理解的是,虽然流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,本申请还提供了一种灾害天气卫星云图分类装置,关于灾害天气卫星云图分类装置的具体限定可以参见上文中对于灾害天气卫星云图分类方法的限定,在此不再赘述。上述灾害天气卫星云图分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
存储器和处理器之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器中存储有可在处理器上运行的计算机程序,所述处理器通过运行存储在存储器内的计算机程序,从而实现本发明实施例中的网络拓扑布局方法。
其中,所述存储器可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器用于存储程序,所述处理器在接收到执行指令后,执行所述程序。
所述处理器可能是一种集成电路芯片,具有数据的处理能力。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (6)
1.一种灾害天气卫星云图分类方法,其特征在于,所述灾害天气卫星云图分类方法,包括:
获取用于训练的卫星云图数据集,确定所获取的卫星云图数据集的类别数n和各个类别对应的类别图片数量Xi,i为类别对应的序号,其取值从1到n;
将卫星云图的总数量减去类别图片数量Xi中的最大值和最小值,然后除以类别数n得到的均值作为均衡化阈值N;
对卫星云图数据集中类别图片数量Xi大于等于均衡化阈值N的类别进行随机欠采样,直到该类别的类别图片数量Xi删减至均衡化阈值N;
对卫星云图数据集中类别图片数量Xi小于均衡化阈值N的类别进行基于生成对抗网络的过采样,直到该类别的类别图片数量Xi达到均衡化阈值N;
合并随机欠采样和过采样后所有类别对应的卫星云图作为均衡化数据集;
利用所获取的卫星云图数据集和均衡化数据集进行基于迁移学习的分类模型训练,确定分类模型的最佳网络参数,得到最优分类模型;
将待预测的卫星云图输入所述最优分类模型,得到所述最优分类模型输出的卫星云图分类结果。
2.如权利要求1所述的灾害天气卫星云图分类方法,其特征在于,所述对卫星云图数据集中类别图片数量Xi小于均衡化阈值N的类别进行基于生成对抗网络的过采样,直到该类别的类别图片数量Xi达到均衡化阈值N,包括:
初始化生成对抗网络,所述生成对抗网络包括生成器和判别器;
取类别图片数量Xi小于均衡化阈值N的一个类别,以该类别对应的所有卫星云图作为训练样本训练生成对抗网络;
采用训练至最优的生成对抗网络进行数据生成,直到该类别的类别图片数量Xi达到均衡化阈值N。
3.如权利要求2所述的灾害天气卫星云图分类方法,其特征在于,所述以该类别对应的所有卫星云图作为训练样本训练生成对抗网络,包括:
基于训练样本,生成器利用定义的噪声分布生成Xi个新样本;
固定生成器的网络参数不变,利用生成的新样本迭代训练所述判别器,直至确定判别器针对当前生成器的最佳网络参数;
更新生成器的网络参数,重新基于训练样本生成Xi个新样本并训练所述判别器,重复更新训练直至判别器的辨别概率为0.5,保存当前生成器和判别器的网络参数作为最佳网络参数,完成生成对抗网络的训练。
4.如权利要求1所述的灾害天气卫星云图分类方法,其特征在于,所述生成对抗网络为StyleGAN2网络,所述StyleGAN2网络包括AdaIN子网络,该AdaIN子网络具有一个显式的归一化层和调制卷积层。
5.如权利要求1所述的灾害天气卫星云图分类方法,其特征在于,所述利用所获取的卫星云图数据集和均衡化数据集进行基于迁移学习的分类模型训练,确定分类模型的最佳网络参数,得到最优分类模型,包括:
获取用于训练的基础网络,并初始化该基础网络的网络参数;
将所获取的卫星云图数据集输入所述基础网络,根据基础网络输出的预测结果与卫星云图数据集中的真实标签进行损失计算,并在损失计算后反向传播更新基础网络的网络参数,完成基础网络的一次训练;
循环训练所述基础网络,直至达到预设的训练次数,保存网络参数;
将保存的基础网络的网络参数赋值给分类模型作为初始网络参数;
将均衡化数据集输入所述分类模型,根据分类模型输出的预测结果与均衡化数据集中的真实标签进行损失计算,并在损失计算后反向传播更新分类模型的网络参数,完成分类模型的一次训练;
循环训练所述分类模型,直至达到预设的训练次数,保存网络参数作为最佳网络参数,得到最优分类模型。
6.一种灾害天气卫星云图分类装置,包括处理器以及存储有若干计算机指令的存储器,其特征在于,所述计算机指令被处理器执行时实现权利要求1至权利要求5中任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011030434.8A CN112215268A (zh) | 2020-09-27 | 2020-09-27 | 一种灾害天气卫星云图分类方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011030434.8A CN112215268A (zh) | 2020-09-27 | 2020-09-27 | 一种灾害天气卫星云图分类方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112215268A true CN112215268A (zh) | 2021-01-12 |
Family
ID=74050815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011030434.8A Pending CN112215268A (zh) | 2020-09-27 | 2020-09-27 | 一种灾害天气卫星云图分类方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112215268A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113222210A (zh) * | 2021-03-30 | 2021-08-06 | 浙江工业大学 | 一种基于多模态生成对抗的台风短期预测方法及装置 |
CN113435539A (zh) * | 2021-07-21 | 2021-09-24 | 天津大学 | 基于深度学习的面向南极夜空云图的云量等级分类方法 |
CN114239849A (zh) * | 2021-11-30 | 2022-03-25 | 支付宝(杭州)信息技术有限公司 | 天气灾害预测及模型训练方法、装置、设备及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107392255A (zh) * | 2017-07-31 | 2017-11-24 | 深圳先进技术研究院 | 少数类图片样本的生成方法、装置、计算设备及存储介质 |
CN109325960A (zh) * | 2018-11-20 | 2019-02-12 | 南京信息工程大学 | 一种红外云图气旋分析方法及分析系统 |
CN109522973A (zh) * | 2019-01-17 | 2019-03-26 | 云南大学 | 基于生成式对抗网络与半监督学习的医疗大数据分类方法及系统 |
CN109993229A (zh) * | 2019-04-02 | 2019-07-09 | 广东石油化工学院 | 一种严重不平衡数据分类方法 |
CN110020714A (zh) * | 2018-01-10 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 模型训练及数据分析方法、装置、设备以及存储介质 |
CN110287800A (zh) * | 2019-05-29 | 2019-09-27 | 河海大学 | 一种基于sgse-gan的遥感图像场景分类方法 |
CN110415240A (zh) * | 2019-08-01 | 2019-11-05 | 国信优易数据有限公司 | 样本图像生成方法及装置、电路板缺陷检测方法及装置 |
CN110427846A (zh) * | 2019-07-19 | 2019-11-08 | 西安工业大学 | 一种利用卷积神经网络对不平衡小样本的人脸识别方法 |
CN111210483A (zh) * | 2019-12-23 | 2020-05-29 | 中国人民解放军空军研究院战场环境研究所 | 基于生成对抗网络和数值模式产品的仿真卫星云图生成方法 |
CN111274878A (zh) * | 2020-01-10 | 2020-06-12 | 中国科学院自动化研究所 | 卫星云图分类方法及系统 |
CN111414973A (zh) * | 2020-03-30 | 2020-07-14 | 同济大学 | 基于生成对抗网络的极度不均衡数据的分类框架 |
-
2020
- 2020-09-27 CN CN202011030434.8A patent/CN112215268A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107392255A (zh) * | 2017-07-31 | 2017-11-24 | 深圳先进技术研究院 | 少数类图片样本的生成方法、装置、计算设备及存储介质 |
CN110020714A (zh) * | 2018-01-10 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 模型训练及数据分析方法、装置、设备以及存储介质 |
CN109325960A (zh) * | 2018-11-20 | 2019-02-12 | 南京信息工程大学 | 一种红外云图气旋分析方法及分析系统 |
CN109522973A (zh) * | 2019-01-17 | 2019-03-26 | 云南大学 | 基于生成式对抗网络与半监督学习的医疗大数据分类方法及系统 |
CN109993229A (zh) * | 2019-04-02 | 2019-07-09 | 广东石油化工学院 | 一种严重不平衡数据分类方法 |
CN110287800A (zh) * | 2019-05-29 | 2019-09-27 | 河海大学 | 一种基于sgse-gan的遥感图像场景分类方法 |
CN110427846A (zh) * | 2019-07-19 | 2019-11-08 | 西安工业大学 | 一种利用卷积神经网络对不平衡小样本的人脸识别方法 |
CN110415240A (zh) * | 2019-08-01 | 2019-11-05 | 国信优易数据有限公司 | 样本图像生成方法及装置、电路板缺陷检测方法及装置 |
CN111210483A (zh) * | 2019-12-23 | 2020-05-29 | 中国人民解放军空军研究院战场环境研究所 | 基于生成对抗网络和数值模式产品的仿真卫星云图生成方法 |
CN111274878A (zh) * | 2020-01-10 | 2020-06-12 | 中国科学院自动化研究所 | 卫星云图分类方法及系统 |
CN111414973A (zh) * | 2020-03-30 | 2020-07-14 | 同济大学 | 基于生成对抗网络的极度不均衡数据的分类框架 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113222210A (zh) * | 2021-03-30 | 2021-08-06 | 浙江工业大学 | 一种基于多模态生成对抗的台风短期预测方法及装置 |
CN113222210B (zh) * | 2021-03-30 | 2022-09-23 | 浙江工业大学 | 一种基于多模态生成对抗的台风短期预测方法及装置 |
CN113435539A (zh) * | 2021-07-21 | 2021-09-24 | 天津大学 | 基于深度学习的面向南极夜空云图的云量等级分类方法 |
CN114239849A (zh) * | 2021-11-30 | 2022-03-25 | 支付宝(杭州)信息技术有限公司 | 天气灾害预测及模型训练方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110619369B (zh) | 基于特征金字塔与全局平均池化的细粒度图像分类方法 | |
CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
CN111476713B (zh) | 基于多深度卷积神经网络融合的天气图像智能识别方法及系统 | |
CN105512289B (zh) | 基于深度学习和哈希的图像检索方法 | |
CN112215268A (zh) | 一种灾害天气卫星云图分类方法和装置 | |
CN113762138B (zh) | 伪造人脸图片的识别方法、装置、计算机设备及存储介质 | |
CN106971158B (zh) | 一种基于CoLBP共生特征与GSS特征的行人检测方法 | |
CN110348516B (zh) | 数据处理方法、装置、存储介质及电子设备 | |
CN109919921B (zh) | 基于生成对抗网络的环境影响程度建模方法 | |
CN117611932B (zh) | 基于双重伪标签细化和样本重加权的图像分类方法及系统 | |
CN116884005B (zh) | 一种结合卷积网络与图特征的快速语义分割方法与系统 | |
CN111639697B (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
CN111861781A (zh) | 一种居民用电行为聚类中的特征优选方法及系统 | |
CN113158971B (zh) | 一种事件检测模型训练方法及事件分类方法、系统 | |
CN114782979A (zh) | 一种行人重识别模型的训练方法、装置、存储介质及终端 | |
CN117636131A (zh) | 一种基于Yolo-I模型的小目标识别方法及相关装置 | |
CN116704378A (zh) | 一种基于自生长卷积神经网络的国土测绘数据分类方法 | |
CN117173697A (zh) | 细胞团分类识别方法、装置、电子设备及存储介质 | |
CN115810106A (zh) | 一种复杂环境下茶叶嫩梢品级精准识别方法 | |
CN115393378A (zh) | 一种低成本高效的细胞核图像分割方法 | |
CN114202694A (zh) | 基于流形混合插值和对比学习的小样本遥感场景图像分类方法 | |
CN112926670A (zh) | 一种基于迁移学习的垃圾分类系统及方法 | |
CN114155399A (zh) | 基于多特征融合递进式判别的乳腺病理全切片分类方法 | |
CN113569684A (zh) | 短视频场景分类方法、系统、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210112 |