CN114755745B - 基于多通道深度残差收缩网络的冰雹天气识别与分类方法 - Google Patents
基于多通道深度残差收缩网络的冰雹天气识别与分类方法 Download PDFInfo
- Publication number
- CN114755745B CN114755745B CN202210523809.7A CN202210523809A CN114755745B CN 114755745 B CN114755745 B CN 114755745B CN 202210523809 A CN202210523809 A CN 202210523809A CN 114755745 B CN114755745 B CN 114755745B
- Authority
- CN
- China
- Prior art keywords
- hail
- sample
- samples
- layer
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/10—Devices for predicting weather conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Environmental & Geological Engineering (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Atmospheric Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Environmental Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Ecology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Complex Calculations (AREA)
Abstract
本发明公开了一种基于多通道深度残差收缩网络的冰雹天气识别与分类方法,包括如下步骤:获取降雹和非降雹天气下的微波信号强度数据,对数据进行预处理;将预处理后的数据进行多重同步压缩变换(MSST),提取信号浅层特征,将信号转换为二维时频图像,并对得到的时频图像进行尺寸调整;构建训练集和测试集;将扩充好的训练集输入多通道深度残差收缩网络,对深层特征进行多尺度提取,去除噪声,输出分类结果;训练并优化模型,测试集测试模型性能;待测微波信号数据经MSST处理后,输入训练好的模型,实现冰雹天气识别及等级分类。本发明能够实现较低信噪比条件下冰雹相关微波信号的有效识别与分类,在很大程度上提高了冰雹天气等级监测的准确度。
Description
技术领域
本发明涉及一种基于多通道深度残差收缩网络的冰雹天气识别与分类方法,属于气象因子监测技术领域。
背景技术
冰雹是对流云中的一种固态降水物,是一种常见的气象灾害,具有突发性强、破坏力大、移动迅速等特点,严重威胁农业、电力、通讯、交通等方面的发展和人类的生命财产安全,所以采取实时有效的方法进行冰雹监测和分类具有十分重要的现实意义。
现阶段对于冰雹的相关研究重在对冰雹云的识别,主要是利用闪电定位系统、天气雷达和卫星遥感进行监测和识别。其中,闪电定位系统是通过闪电计数器测量闪电频数,进而区分雷雨云和冰雹云,但其布设成本较高;天气雷达通过对特殊的回波形态、运动特征及回波参量进行分析来识别雹云,但其易受多种因素的干扰,误差较大;卫星遥感是利用红外云图资料分析云团结构与特征,并与降雹实况进行对比分析,进而识别冰雹云的云区,但其对于受灾区域较小地区的分辨则存在着一定的不确定性,因此该项技术的使用也具有一定的局限性。
微波通信网络具有覆盖范围广、监测成本低、监测盲区小、运行稳定可靠、时空分辨率高等优点,因此,理论上非常适合对冰雹这类强对流天气进行识别。目前已有的传统机器学习方法,为实现准确分类识别,通常对输入模型数据的信噪比要求较高,而现实中由于各种不可控因素的影响,所获信号往往包含大量噪声,这就导致传统模型无法直接满足较低信噪比条件下冰雹信号的高准确率识别与分类。
发明内容
发明目的:为了克服现有技术中存在的不足,本发明提供一种基于多通道深度残差收缩网络的冰雹天气识别与分类方法,结合运用MSST、BN-SMOTE及多通道深度残差收缩网络分别进行时频分析、数据集平衡及识别分类,能够实现较低信噪比条件下冰雹相关微波信号的准确识别与分类。
技术方案:为解决上述技术问题,本发明的一种基于多通道深度残差收缩网络的冰雹天气识别与分类方法,包括如下步骤:
S1:获取降雹和非降雹天气下的微波信号强度数据,对数据进行预处理。
S2:将预处理后的数据进行多重同步压缩变换(MSST),提取信号浅层特征,将信号转换为二维时频图像,并对得到的时频图像进行尺寸调整。
S3:构建训练集和测试集,采用BN-SMOTE算法对训练集中冰雹样本数据(少数类)进行过采样,均衡样本数据、扩充数据集。
S4:将扩充好的训练集输入多通道深度残差收缩网络,对深层特征进行多尺度提取,去除噪声,输出分类结果。
S5:训练并优化模型,测试集测试模型性能。
S6:待测微波信号数据经MSST处理后,输入训练好的模型,实现冰雹天气识别及等级分类。
进一步地,所述步骤S1中对数据进行预处理具体包括:
对丢失数据进行插补,剔除明显超过响应阈值的不合理数据。
进一步地,所述步骤S2中对预处理数据进行多重同步压缩变换(MSST)的具体步骤包括:
选取信号s(u)的表达形式为:
S2-1:对信号s(u)进行STFT,时频分布可表示为:
其中,ω为角频率,g(·)为窗函数。
对上式求偏导:
S2-2:执行同步压缩处理(SST),从频率方向压缩STFT的结果,其数学表达式如下:
其中,δ(·)为冲激函数,η为SST输出频率。
S2-3:对得到的时频分布继续执行n次SST,则有:
其中,n≥2为执行同步压缩处理的次数,此处取n=2。
通过多次迭代,瞬时频率估计值逼近信号真值,时频分布的能量聚集程度得到提高,进而得到高分辨率的时频图像。
将上述得到的时频图像尺寸大小进行调整,得到尺寸为224*224的图像,使其符合网络输入的要求。
进一步地,所述步骤S3中采用BN-SMOTE算法对训练集中冰雹样本数据进行过采样的具体步骤包括:
设置四类不同的标签:无雹为label-0、轻雹为label-1、中雹为label-2、重雹为label-3。用分层采样方式按照8:2的比例划分训练集和测试集,保证训练集和测试集中包含所有标签种类的样本。
定义Smin为少数类样本集,包括:轻雹、中雹、重雹标签下的所有样本;Smax为多数类样本集,即无雹标签下的所有样本;D为需要生成的新样本数量;k1是用来过滤少数类样本的k近邻值;k2是用来生成多数类集合的多数类最近邻样本数量;k3是用来生成少数类集合的少数类最近邻样本数量。
S3-1:对于每个少数类样本ri∈Smin,计算其最近邻集合NN(ri),其中NN(ri)包含了与ri欧氏距离相距最近的k1个样本。
剔除在其k1近邻中没有其他少数类存在的少数类样本,组成一个过滤后的少数类样本集Sminf:
Sminf=Smin-{ri∈Smin:NN(ri)中没有少数类}
S3-2:对于每个少数类样本ri∈Sminf,计算其最近邻的多数类样本集合Nmaj(ri),该集合包含了与ri欧氏距离最近的k2个多数类样本。
将所有Nmaj(ri)集合进行合并,得到处于边界区域的多数类样本集合:
S3-3:对于每个多数类样本ri′∈Sbmaj,计算其最近邻的少数类样本集合Nmin(ri′),该集合包含了与ri′欧氏距离相距最近的k3个少数类样本。
对所有得到的Nmin(ri′)少数类样本作并集,得到处于边界区域最难学习的少数类样本集Simin:
S3-4:初始化集合,使得Somin=Smin。
从少数类样本集合Simin中选择一个样本m1,再随机选择另一个样本m2,生成一个新样本s:s=m1+α1×(m2-m1),其中α1是处于[0,1]的随机数,将s放入集合Somin中:令Somin=Somin∪{s},重复上述操作D次,结束循环,输出过采样处理后的少数类样本集合Somin,并将其加入训练集中,得到过采样后的新训练集。
进一步地,所述步骤S4中输入多通道深度残差收缩网络进行特征提取与分类具体步骤包括:
S4-1:构建多通道卷积结构,实现多尺度特征提取与融合。
卷积模块由四个结构不同的通道构成,通道1包括三个卷积层:第一层使用尺寸为1*1的卷积核,第二层和第三层均使用尺寸为3*3的卷积核(两个3*3的卷积核相当于一个5*5卷积核的效果);通道2包括两个卷积层:第一层卷积核尺寸为1*1,第二层卷积核尺寸为3*3;通道3包括一个卷积层:卷积核尺寸为1*1;通道4包括两层:第一层为最大池化层,第二层为卷积层,卷积核尺寸为1*1。
其中,前三个通道的第一层及通道4的第二层均使用1*1的卷积核,可实现降维、增加网络深度;通道1第二、三层用两个3*3的卷积核代替一个5*5的卷积核,不仅极大减少了运算量,而且增加了网络深度,便于提取更深层次的特征;通道1第二、三层的等效卷积核尺寸为5*5,通道2第二层的卷积核尺寸为3*3,使用大小不同的卷积核,增加了更加复杂的线性变化,实现了更具代表性的多尺度特征提取。
每个卷积层后均使用ReLu激活函数,增加非线性因子,提高神经网络表达能力。为避免梯度消失,加快网络收敛速度,在每个分支后均通过批归一化(BN)层进行处理。
最后通过Concatenate层将3个分支提取的特征进行融合,使相关性强的特征聚集,弱化不相关的非关键特征。
S4-2:输入残差收缩模块,通过软阈值化去噪,进一步提取有效特征。
软阈值函数表示如下:
其中,x为输入特征,y为输出特征,τ为阈值。
残差收缩模块中嵌入的子网络可自适应生成阈值,并保证了阈值为正,且不会太大。
软阈值化输出对于输入的导数如下:
由上式可知,输出对于输入的导数非0即1,可有效防止梯度消失和爆炸问题发生。
S4-3:通过全局平均池化(GAP)对提取出的高维特征进行降维,大量减少训练参数,避免过拟合,最终通过全连接层输出分类结果。
最终连接一个全连接层与Softmax一起使用,将上一层的输出转换为概率分布,输出概率最大的即为当前分类结果。Softmax表达式如下:
其中,y′i为前一层的输出,PSoftmax为相应冰雹类型的概率,kh=4为冰雹类型总数。
进一步地,所述步骤S5中训练、优化并测试模型具体步骤包括:
S5-1:选取度量学习中的RankedListLoss和交叉熵损失函数共同指导优化网络,进行调参:
联合分类损失函数表达式如下:
其中f为嵌入函数,λ为交叉熵损失函数的权重,LRLL为度量学习中的RankedListLoss,LCE为交叉熵损失函数。
S5-2:采用Adam最小化损失函数,其计算过程如下:
mt=mt-1β1+(1-β1)gt
其中,gt是损失函数的梯度,mt和vt分别是第t次迭代更新的有偏一阶矩估计和二阶矩估计,和分别是第t次迭代更新的有偏一阶矩估计和二阶矩估计,α为学习率,β1和β2分别为0.9和0.999,ε防止除数为0,θt为第t次迭代更新的网络参数。
S5-3:测试集输入网络测试模型性能,采用总体准确率OA和Kappa系数作为评价指标。其中,OA是模型在测试集上预测正确样本数量与测试集样本总数的比值,可直接反映分类正确的比例;Kappa系数给予模型偏向性评价,偏向性越强Kappa值越低,可进一步衡量分类效果。
有益效果:本发明的基于多通道深度残差收缩网络的冰雹天气识别与分类方法,具有以下优点:
1、采用多重同步压缩变换(MSST)进行时频分析极大地减少了计算负担,且不存在交叉项的困扰,有效提升了时频谱的聚集性,获得了高分辨率的时频图像。
2、采用BN-SMOTE算法识别了难以学习的少数类冰雹样本,扩充了少数类样本集,平衡了训练集的正负样本比例,防止了因类别不平衡导致训练的分类器无法有效识别冰雹天气(少数类)的情况,显著提高了不平衡数据集中冰雹天气(少数类)的分类精度。
3、构建了多通道深度残差收缩网络,极大提高了含噪微波信号识别分类的准确率。
4、所构建网络中:所设多通道卷积结构,实现了多尺度深层特征提取;所设残差收缩模块,增强了网络从含噪信号中提取有用特征并去除噪声的能力,降低了网络训练难度,有效防止了梯度爆炸问题。
5、采用RankedListLoss和交叉熵损失函数共同指导网络训练,在最大程度保留样本类内特征的同时关注样本整体分布,提高了模型识别冰雹天气的准确率。
附图说明
图1为本发明方法的流程图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如图1所示,一种基于多通道深度残差收缩网络的冰雹天气识别与分类方法,包括以下步骤:
S1:获取降雹和非降雹天气下的微波信号强度数据,对数据进行预处理,具体包括:对丢失数据进行插补,剔除明显超过响应阈值的不合理数据;
S2:将预处理后的数据进行多重同步压缩变换(MSST),提取信号浅层特征,将信号转换为二维时频图像,并对得到的时频图像进行尺寸调整;
所述步骤S2中对预处理数据进行多重同步压缩变换(MSST)的具体步骤包括:
选取信号s(u)的表达形式为:
对信号s(u)进行短时傅里叶变换STFT,时频分布可表示为:
其中,ω为角频率,g(·)为窗函数。
对上式求偏导:
再执行同步压缩处理(SST),其数学表达式如下:
其中,δ(·)为冲激函数,η为SST输出频率。
通过执行SST可以从频率方向压缩STFT的结果,进而提高时频谱的能量聚集程度,对得到的时频分布继续执行n次SST,则有:
其中,n≥2为执行同步压缩处理的次数,此处取n=2。
通过多次迭代,瞬时频率估计值逼近信号真值,时频分布的能量聚集程度得到提高,进而得到高分辨率的时频图像。
将上述得到的时频图像尺寸大小进行调整,得到尺寸为224*224的图像,使其符合网络输入的要求。
S3:构建训练集和测试集,采用BN-SMOTE算法对训练集中冰雹样本数据(少数类)进行过采样,以均衡样本数据、扩充数据集。
所述步骤S3中构建训练集和测试集具体包括:
设置四类不同的标签:无雹为label-0、轻雹为label-1、中雹为label-2、重雹为label-3。用分层采样方式按照8:2的比例划分训练集和测试集,保证训练集和测试集中包含所有标签种类的样本。
所述步骤S3中采用BN-SMOTE算法对训练集中冰雹样本数据进行过采样的具体步骤包括:
定义Smin为少数类样本集,包括:轻雹、中雹、重雹标签下的所有样本;Smax为多数类样本集,即无雹标签下的所有样本;D为需要生成的新样本数量;k1是用来过滤少数类样本的k近邻值;k2是用来生成多数类集合的多数类最近邻样本数量;k3是用来生成少数类集合的少数类最近邻样本数量。
S3-1:对于每个少数类样本ri∈Smin,计算其最近邻集合NN(ri),其中NN(ri)包含了与ri欧氏距离相距最近的k1个样本。
剔除在其k1近邻中没有其他少数类存在的少数类样本,组成一个过滤后的少数类样本集Sminf:
Sminf=Smin-{ri∈Smin:NN(ri)中没有少数类}
S3-2:对于每个少数类样本ri∈Sminf,计算其最近邻的多数类样本集合Nmaj(ri),该集合包含了与ri欧氏距离最近的k2个多数类样本。
将所有Nmaj(ri)集合进行合并,得到处于边界区域的多数类样本集合。
S3-3:对于每个多数类样本ri′∈Sbmaj,计算其最近邻的少数类样本集合Nmin(ri′),该集合包含了与ri′欧氏距离相距最近的k3个少数类样本。
对所有得到的Nmin(ri′)少数类样本作并集,得到处于边界区域最难学习的少数类样本集Simin:
S3-4:初始化集合,使得Somin=Smin。
Do forj=1...D:
第一步:从少数类样本集合Simin中选择一个样本m1,再随机选择另一个样本m2;
第二步:生成一个新样本s:s=m1+α1×(m2-m1),其中α1是处于[0,1]的随机数;
第三步:将s放入集合Somin中:令Somin=Somin∪{s}。
结束上述循环,输出过采样处理的少数类样本集合Somin,将其加入训练集中,得到过采样后的新训练集。
S4:将扩充好的训练集输入多通道深度残差收缩网络,对深层特征进行多尺度提取,去除噪声,输出分类结果。
所述步骤S4中输入多通道深度残差收缩网络进行特征提取与分类的具体步骤包括:
S4-1:构建多通道卷积结构,实现多尺度特征提取与融合。
卷积模块由四个结构不同的通道构成,通道1包括三个卷积层:第一层使用尺寸为1*1的卷积核,第二层和第三层均使用尺寸为3*3的卷积核(两个3*3的卷积核相当于一个5*5卷积核的效果);通道2包括两个卷积层:第一层卷积核尺寸为1*1,第二层卷积核尺寸为3*3;通道3包括一个卷积层:卷积核尺寸为1*1;通道4包括两层:第一层为最大池化层,第二层为卷积层,卷积核尺寸为1*1。
其中,前三个通道的第一层及通道4的第二层均使用1*1的卷积核,可实现降维、增加网络深度;通道1第二、三层用两个3*3的卷积核代替一个5*5的卷积核,不仅极大减少了运算量,而且增加了网络深度,便于提取更深层次的特征;通道1第二、三层的等效卷积核尺寸为5*5,通道2第二层的卷积核尺寸为3*3,使用大小不同的卷积核,增加了更加复杂的线性变化,实现了更具代表性的多尺度特征提取。
每个卷积层后均使用ReLu激活函数,增加非线性因子,提高神经网络表达能力。为避免梯度消失,加快网络收敛速度,在每个分支后均通过批归一化(BN)层进行处理,具体步骤如下:
第一步,计算批处理数据的均值:
第二步,计算批处理数据的方差:
第三步,标准化处理:
第四步,平移和缩放处理:
其中,xi和yi分别为第i次观测的小批量输入、输出特征,γ和β分别为缩放和平移变量因子,M为批处理样本数,ε防止除数为0。
最后通过Concatenate层将3个分支提取的特征进行融合,使相关性强的特征聚集,弱化不相关的非关键特征。
S4-2:输入残差收缩模块,通过软阈值化去噪,进一步提取有效特征;
软阈值函数表示如下:
其中,x为输入特征,y为输出特征,τ为阈值。
软阈值化输出对于输入的导数如下:
由上式可知,输出对于输入的导数非0即1,可有效防止梯度消失和爆炸问题发生。
其中,残差收缩模块中嵌入的子网络可自适应生成阈值,并保证了阈值为正,且不会太大,具体如下:
首先对残差模块最后一层的输出进行绝对值化,经全局平均池化(GAP)获取与上一层相同卷积核数量的一维向量,通过两层全连接网络和激活函数,将其参数缩放至(0,1)内,其公式为:
其中,zl为第二层全连接网络中第l个神经元的特征,αl为相应的缩放参数,其阈值如下:
其中,τl为特征图第l个通道的阈值,w、h分别为特征图的宽和高。
S4-3:通过全局平均池化(GAP)对提取出的高维特征进行降维,大量减少训练参数,避免过拟合,最终通过全连接层输出分类结果。
最终连接一个全连接层与Softmax一起使用,将上一层的输出转换为概率分布,输出概率最大的即为当前分类结果。Softmax表达式如下:
其中,y′i为前一层的输出,PSoftmax为相应冰雹类型的概率,kh=4为冰雹类型总数。
S5:训练并优化模型,测试集测试模型性能。
所述步骤S5中训练、优化并测试模型具体步骤包括:
S5-1:选取度量学习中的RankedListLoss和交叉熵损失函数共同指导优化网络,进行调参:
以成对余量损失作为基本成对约束来构建基于集合的相似性结构,其表达式如下:
Lm(ai,aj;f)=(1-bij)[α2-dij]++bij[dij-(α2-m)]+
其中,α2为距离参数,f为嵌入函数,m为正负样本之间存在的距离余量。当bi=bj时,bij=1;否则,bij=0。dij=||f(ai)-f(aj)||2表示两样本之间的欧氏距离差。
整体损失函数表达式如下:
其中,T′为超参数。
交叉熵损失函数:
其中,N为训练集样本总数,bi为实际标签,pi为预测标签。
联合分类损失函数表达如下:
其中λ为交叉熵损失函数的权重,需进行微调。
S5-2:采用Adam最小化损失函数,其计算过程如下:
mt=mt-1β1+(1-β1)gt
其中,gt是损失函数的梯度,mt和vt分别是第t次迭代更新的有偏一阶矩估计和二阶矩估计,和分别是第t次迭代更新的有偏一阶矩估计和二阶矩估计,α为学习率,β1和β2分别为0.9和0.999,ε防止除数为0,θt为第t次迭代更新的网络参数。
S5-3:测试集输入网络测试模型性能,采用总体准确率OA和Kappa系数作为评价指标。其中,OA是模型在测试集上预测正确样本数量与测试集样本总数的比值,可直接反映分类正确的比例;Kappa系数给予模型偏向性评价,偏向性越强Kappa值越低,可进一步衡量分类效果。
S6:待测微波信号数据经MSST处理后,输入训练好的模型,实现冰雹天气识别及等级分类。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (3)
1.一种基于多通道深度残差收缩网络的冰雹天气识别与分类方法,其特征在于,包括如下步骤:
S1:获取降雹和非降雹天气下的微波信号强度数据,对数据进行预处理;
S2:将预处理后的数据进行多重同步压缩变换MSST,提取信号浅层特征,将信号转换为二维时频图像,并对得到的时频图像进行尺寸调整;
S3:构建训练集和测试集,采用BN-SMOTE算法对训练集中冰雹样本数据进行过采样,均衡样本数据、扩充数据集;
S4:将扩充好的训练集输入多通道深度残差收缩网络,对深层特征进行多尺度提取,去除噪声,输出分类结果;
S5:训练并优化模型,测试集测试模型性能;
S6:待测微波信号数据经MSST处理后,输入训练好的模型,实现冰雹天气识别及等级分类;
所述步骤S2中对预处理后的数据进行多重同步压缩变换的具体步骤包括:
选取信号s(u)的表达形式为:
S2-1:对信号s(u)进行短时傅里叶变换STFT,时频分布表示为:
其中,ω为角频率,g(·)为窗函数;
S2-2:执行同步压缩处理SST,从频率方向压缩STFT的结果,其数学表达式如下:
其中,δ(·)为冲激函数,η为SST输出频率;
S2-3:对得到的时频分布继续执行n次SST,则有:
其中,n≥2为执行同步压缩处理的次数,将上述得到的时频图像尺寸大小进行调整,得到尺寸为224*224的图像,使其符合网络输入的要求;
所述步骤S3中采用BN-SMOTE算法对训练集中冰雹样本数据进行过采样的具体步骤包括:
设置四类不同的标签:无雹为label-0、轻雹为label-1、中雹为label-2、重雹为label-3,用分层采样方式按照8:2的比例划分训练集和测试集,保证训练集和测试集中包含所有标签种类的样本;
定义Smin为少数类样本集,包括:轻雹、中雹、重雹标签下的所有样本;Smax为多数类样本集,即无雹标签下的所有样本;D为需要生成的新样本数量;k1是用来过滤少数类样本的k近邻值;k2是用来生成多数类集合的多数类最近邻样本数量;k3是用来生成少数类集合的少数类最近邻样本数量;
S3-1:对于每个少数类样本ri∈Smin,计算其最近邻集合NN(ri),其中NN(ri)包含了与ri欧氏距离相距最近的k1个样本;
剔除在其k1近邻中没有其他少数类存在的少数类样本,组成一个过滤后的少数类样本集Sminf:
Sminf=Smin-{ri∈Smin:NN(ri)中没有少数类}
S3-2:对于每个少数类样本ri∈Sminf,计算其最近邻的多数类样本集合Nmaj(ri),该集合包含了与ri欧氏距离最近的k2个多数类样本;
将所有Nmaj(ri)集合进行合并,得到处于边界区域的多数类样本集合:
S3-3:对于每个多数类样本ri′∈Sbmaj,计算其最近邻的少数类样本集合Nmin(ri′),该集合包含了与ri′欧氏距离相距最近的k3个少数类样本;
对所有得到的Nmin(ri′)少数类样本作并集,得到处于边界区域最难学习的少数类样本集Simin:
S3-4:初始化集合,使得Somin=Smin;
从少数类样本集合Simin中选择一个样本m1,再随机选择另一个样本m2,生成一个新样本s:s=m1+α1×(m2-m1),其中α1是处于[0,1]的随机数,将s放入集合Somin中:令Somin=Somin∪{s},重复上述操作D次,结束循环,输出过采样处理后的少数类样本集合Somin,并将其加入训练集中,得到过采样后的新训练集;
所述步骤S4中输入多通道深度残差收缩网络进行特征提取与分类具体步骤包括:
S4-1:构建多通道卷积结构,实现多尺度特征提取与融合:
卷积模块由四个结构不同的通道构成,通道1包括三个卷积层:第一层使用尺寸为1*1的卷积核,第二层和第三层均使用尺寸为3*3的卷积核;通道2包括两个卷积层:第一层卷积核尺寸为1*1,第二层卷积核尺寸为3*3;通道3包括一个卷积层:卷积核尺寸为1*1;通道4包括两层:第一层为最大池化层,第二层为卷积层,卷积核尺寸为1*1;
每个卷积层后均使用ReLu激活函数,在每个分支后均通过批归一化BN层进行处理;
最后通过Concatenate层将3个分支提取的特征进行融合,使相关性强的特征聚集,弱化不相关的非关键特征;
S4-2:输入残差收缩模块,通过软阈值化去噪,进一步提取有效特征:
软阈值函数表示如下:
其中,x为输入特征,y为输出特征,τ为阈值;
残差收缩模块中嵌入的子网络可自适应生成阈值,软阈值化输出对于输入的导数如下:
S4-3:通过全局平均池化对提取出的高维特征进行降维,最终通过全连接层输出分类结果;
最终连接一个全连接层与Softmax一起使用,将上一层的输出转换为概率分布,输出概率最大的即为当前分类结果,Softmax表达式如下:
其中,y′i为前一层的输出,PSoftmax为相应冰雹类型的概率,kh=4为冰雹类型总数。
2.根据权利要求1所述的一种基于多通道深度残差收缩网络的冰雹天气识别与分类方法,其特征在于,所述步骤S1中对数据进行预处理具体包括:对丢失数据进行插补,剔除明显超过响应阈值的不合理数据。
3.根据权利要求1所述的一种基于多通道深度残差收缩网络的冰雹天气识别与分类方法,其特征在于,所述步骤S5中训练、优化并测试模型具体步骤包括:
S5-1:选取度量学习中的Ranked List Loss和交叉熵损失函数共同指导优化网络,进行调参:
联合分类损失函数表达式如下:
其中f为嵌入函数,λ为交叉熵损失函数的权重,LRLL为度量学习中的Ranked ListLoss,LCE为交叉熵损失函数;
S5-2:采用Adam最小化损失函数,其计算过程如下:
mt=mt-1β1+(1-β1)gt
其中,gt是损失函数的梯度,mt和vt分别是第t次迭代更新的有偏一阶矩估计和二阶矩估计,和分别是第t次迭代更新的有偏一阶矩估计和二阶矩估计,α为学习率,β1和β2分别为0.9和0.999,ε防止除数为0,θt为第t次迭代更新的网络参数;
S5-3:测试集输入网络测试模型性能,采用总体准确率OA和Kappa系数作为评价指标,其中,OA是模型在测试集上预测正确样本数量与测试集样本总数的比值;Kappa系数给予模型偏向性评价。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210523809.7A CN114755745B (zh) | 2022-05-13 | 2022-05-13 | 基于多通道深度残差收缩网络的冰雹天气识别与分类方法 |
GB2305494.3A GB2621908A (en) | 2022-05-13 | 2022-12-09 | Hail weather identification and classification method based on multi-channel deep residual shrinkage network |
PCT/CN2022/137785 WO2023216583A1 (zh) | 2022-05-13 | 2022-12-09 | 基于多通道深度残差收缩网络的冰雹天气识别与分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210523809.7A CN114755745B (zh) | 2022-05-13 | 2022-05-13 | 基于多通道深度残差收缩网络的冰雹天气识别与分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114755745A CN114755745A (zh) | 2022-07-15 |
CN114755745B true CN114755745B (zh) | 2022-12-20 |
Family
ID=82335567
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210523809.7A Active CN114755745B (zh) | 2022-05-13 | 2022-05-13 | 基于多通道深度残差收缩网络的冰雹天气识别与分类方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114755745B (zh) |
WO (1) | WO2023216583A1 (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114755745B (zh) * | 2022-05-13 | 2022-12-20 | 河海大学 | 基于多通道深度残差收缩网络的冰雹天气识别与分类方法 |
GB2621908A (en) * | 2022-05-13 | 2024-02-28 | Ho Hai Univ | Hail weather identification and classification method based on multi-channel deep residual shrinkage network |
CN115236768B (zh) * | 2022-07-27 | 2023-07-21 | 信迈(山东)信息产业有限公司 | 移动式农业智能小型气象站 |
CN115456981A (zh) * | 2022-09-02 | 2022-12-09 | 南通大学 | 一种基于深度残差收缩网络的眼病诊断方法 |
CN116910469A (zh) * | 2023-06-28 | 2023-10-20 | 南通大学 | 一种基于三通道ResNet的闪电信号处理方法 |
CN117633456B (zh) * | 2023-11-17 | 2024-05-31 | 国网江苏省电力有限公司 | 基于自适应焦点损失的海上风电天气事件辨识方法和装置 |
CN117614467B (zh) * | 2024-01-17 | 2024-05-07 | 青岛科技大学 | 基于降噪神经网络的水声信号智能接收方法 |
CN117633449B (zh) * | 2024-01-25 | 2024-04-12 | 南京信息工程大学 | 基于Spark-Cassandra框架的DE-DOA改进RRDBNet降水数据降尺度方法 |
CN117934963B (zh) * | 2024-02-07 | 2024-06-14 | 山东工商学院 | 一种气体传感器漂移补偿方法 |
CN117908166B (zh) * | 2024-03-18 | 2024-05-24 | 南京气象科技创新研究院 | 基于机器学习的强降水超级单体识别预警方法 |
CN118051830B (zh) * | 2024-04-16 | 2024-06-25 | 齐鲁工业大学(山东省科学院) | 一种周界安防入侵事件识别方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110929603A (zh) * | 2019-11-09 | 2020-03-27 | 北京工业大学 | 一种基于轻量级卷积神经网络的天气图像识别方法 |
CN111796343A (zh) * | 2020-06-15 | 2020-10-20 | 兰州中心气象台(兰州干旱生态环境监测预测中心) | 一种基于人工智能算法的强对流天气短时临近识别方法 |
CN113095442A (zh) * | 2021-06-04 | 2021-07-09 | 成都信息工程大学 | 基于半监督学习在多维度雷达数据下的冰雹识别方法 |
CN113239722A (zh) * | 2021-03-31 | 2021-08-10 | 成都信息工程大学 | 基于深度学习在多尺度下的强对流外推方法及系统 |
WO2022074643A1 (en) * | 2020-10-08 | 2022-04-14 | Edgy Bees Ltd. | Improving geo-registration using machine-learning based object identification |
CN114441173A (zh) * | 2021-12-28 | 2022-05-06 | 东南大学 | 基于改进深度残差收缩网络的滚动轴承故障诊断方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114755745B (zh) * | 2022-05-13 | 2022-12-20 | 河海大学 | 基于多通道深度残差收缩网络的冰雹天气识别与分类方法 |
-
2022
- 2022-05-13 CN CN202210523809.7A patent/CN114755745B/zh active Active
- 2022-12-09 WO PCT/CN2022/137785 patent/WO2023216583A1/zh unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110929603A (zh) * | 2019-11-09 | 2020-03-27 | 北京工业大学 | 一种基于轻量级卷积神经网络的天气图像识别方法 |
CN111796343A (zh) * | 2020-06-15 | 2020-10-20 | 兰州中心气象台(兰州干旱生态环境监测预测中心) | 一种基于人工智能算法的强对流天气短时临近识别方法 |
WO2022074643A1 (en) * | 2020-10-08 | 2022-04-14 | Edgy Bees Ltd. | Improving geo-registration using machine-learning based object identification |
CN113239722A (zh) * | 2021-03-31 | 2021-08-10 | 成都信息工程大学 | 基于深度学习在多尺度下的强对流外推方法及系统 |
CN113095442A (zh) * | 2021-06-04 | 2021-07-09 | 成都信息工程大学 | 基于半监督学习在多维度雷达数据下的冰雹识别方法 |
CN114441173A (zh) * | 2021-12-28 | 2022-05-06 | 东南大学 | 基于改进深度残差收缩网络的滚动轴承故障诊断方法 |
Non-Patent Citations (1)
Title |
---|
"The Initiation and Organization of a Severe Hail-Producing Mesoscale Convective System in East China:A Numerical Study";Liping Luo等;《JGR Atmospheres》;20200722;第125卷(第17期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
WO2023216583A1 (zh) | 2023-11-16 |
CN114755745A (zh) | 2022-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114755745B (zh) | 基于多通道深度残差收缩网络的冰雹天气识别与分类方法 | |
CN111220958A (zh) | 基于一维卷积神经网络的雷达目标多普勒像分类识别方法 | |
CN114564982B (zh) | 雷达信号调制类型的自动识别方法 | |
CN113392931B (zh) | 基于自监督学习及多任务学习的高光谱开放集分类方法 | |
CN111815806B (zh) | 一种基于野值剔除和特征提取的飞参数据预处理方法 | |
CN109884419B (zh) | 一种智慧电网电能质量在线故障诊断方法 | |
CN103323749A (zh) | 多分类器信息融合的局部放电诊断方法 | |
CN112132430B (zh) | 一种配电主设备分布式状态传感器可靠性评估方法及系统 | |
CN108171119B (zh) | 基于残差网络的sar图像变化检测方法 | |
CN114595732B (zh) | 基于深度聚类的雷达辐射源分选方法 | |
CN115100709B (zh) | 一种特征分离的图像人脸识别与年龄估计方法 | |
CN113642475B (zh) | 基于卷积神经网络模型的大西洋飓风强度估算方法 | |
CN112381144B (zh) | 非欧与欧氏域空谱特征学习的异构深度网络方法 | |
CN112285376A (zh) | 一种基于cnn-lstm的风速预测方法 | |
CN116866129A (zh) | 一种无线通信信号检测方法 | |
CN109145738A (zh) | 基于加权非凸正则化和迭代重约束低秩表示的动态视频分割方法 | |
CN117606801A (zh) | 一种基于多表征自适应网络的跨域轴承故障诊断方法 | |
CN117219124A (zh) | 一种基于深度神经网络的开关柜声纹故障检测方法 | |
CN116776245A (zh) | 一种基于机器学习的三相逆变器设备故障诊断方法 | |
CN114065822B (zh) | 海洋潮流涨落的电磁识别方法及系统 | |
Menaka et al. | Classification of multispectral satellite images using sparse SVM classifier | |
CN113780308A (zh) | 基于核主元分析与神经网络的gis局部放电模式识别方法及系统 | |
CN114495265A (zh) | 多跨域场景下基于活动图加权的人体行为识别方法 | |
Marnur et al. | Satellite image classification and feature extraction using various classification techniques: A survey | |
CN111144316B (zh) | 基于堆栈自编码器的海面目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |