CN113240148B - 基于毫米波数据分层智能抽样的降水类型预测方法 - Google Patents

基于毫米波数据分层智能抽样的降水类型预测方法 Download PDF

Info

Publication number
CN113240148B
CN113240148B CN202110108154.2A CN202110108154A CN113240148B CN 113240148 B CN113240148 B CN 113240148B CN 202110108154 A CN202110108154 A CN 202110108154A CN 113240148 B CN113240148 B CN 113240148B
Authority
CN
China
Prior art keywords
data
millimeter wave
layer
sampling
precipitation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110108154.2A
Other languages
English (en)
Other versions
CN113240148A (zh
Inventor
陈志远
杨涛
郑鑫
秦友伟
师鹏飞
洪岱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202110108154.2A priority Critical patent/CN113240148B/zh
Publication of CN113240148A publication Critical patent/CN113240148A/zh
Application granted granted Critical
Publication of CN113240148B publication Critical patent/CN113240148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/02—Instruments for indicating weather conditions by measuring two or more variables, e.g. humidity, pressure, temperature, cloud cover or wind speed
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/10—Devices for predicting weather conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Ecology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Evolutionary Computation (AREA)
  • Environmental Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于毫米波数据分层智能抽样的降水类型预测方法，先获取大量毫米波衰减数据，通过利用较少的随后要发生的降水类型标签的毫米波衰减数据，对所有数据进行标签初始化，再通过智能分层的方法让所有的降水前一段时间的毫米波衰减数据系列自动的分为k层，随后在每层利用简单的分类方法进行多次分类，并对多次分类结果不一样的困难数据点赋予更高的被抽样概率，然后在各层进行不等概率抽样，重点照顾分类困难的模糊困难点，利用各层的抽样数据训练基础分类器，最后通过多数投票的方法将k个基础分类器集成为一个强分类器，对一段毫米波衰减数据，预测出其一段时间后将会发生那种类型的降水。

Description

基于毫米波数据分层智能抽样的降水类型预测方法
技术领域
本发明涉及地面气象探测领域，尤其是利用毫米波的衰减特点来预测一段时间后可能发生的雨、雪、冰雹等特殊降水类型天气。
背景技术
中国是一个雨季集中、暴雨多发的国家，降水的时空分布异常是引发洪涝灾害、山体滑坡、泥石流等自然灾害的重要因素，对于降水的研究早已超过了一个科学研究的范围。
目前，毫米波通信网络覆盖广，信号质量高，基本不存在盲区，因此，毫米波通信网络降水分析技术在我国有很高的推广应用价值。现有技术通过利用降水时的毫米波链路的毫米波衰减特征来进行反演雨、雪、冰雹的滴谱和粒子形状分布，实时监测雨、雪、雹这类特殊天气状况，精准度高，监测盲区小，费用也相比于雷达少。但是如何利用好大量的降水前毫米波衰减数据，充分利用不同降水类型发生前温度、湿度特性的不同对毫米波造成的不同的衰减影响，对接下来一段时间(0-2小时)后是否发生降水以及发生的降水类型进行预测，是有待于解决的问题。
发明内容
发明目的：为了解决现有技术中预测降水类型较为困难的问题，本发明提供一种基于毫米波数据分层智能抽样的降水类型预测方法。
技术方案：一种基于毫米波数据分层智能抽样的降水类型预测方法，包括以下步骤：
(1)选取区域内的多条链路的多场不同类型的降水，获取每条链路在降水前一段时间内的毫米波衰减数据系列，系列长度为n，得到m组n维毫米波衰减数据；
(2)将毫米波衰减数据进行标签初始化，所述标签为之后将发生的降水类型；
(3)对毫米波衰减数据进行数据自调节分层处理，分为多层数据；
(4)用简单分类法对每层数据进行多次分类，将多次分类结果不同的数据作为困难点，对困难点赋予高抽样概率，按照最终各数据的抽样概率进行不等概率抽样，分别对每层数据进行抽样；
(5)对于每层抽样出的数据，在每层训练建立分类器，作为K个基础分类器；
(6)通过多数投票的方法，将K个基础分类器集成为强分类器；
(7)输入待预测数据点，通过K个基础分类器在每层得到一个分类标签，将出现次数最多的分类标签作为强分类器对于该毫米波衰减数据系列之后要发生的降水类型预测结果。
进一步地，所述步骤(1)包括：
(11)选定水平方向的毫米波链路，在发射端用选定好的频率发射毫米波信号，在接收端接收到衰减后的毫米波信号，测得水平链路上的发射端功率以及接收端功率，分别记为Pa、Pb；
(12)计算出路径上单位路径毫米波衰减量O为：
Figure GDA0003395660120000021
式中，Pa为毫米波链路发射端功率，Pb为毫米波链路接收端功率，L为链路的长度，单位为km；
(13)毫米波链路每隔时间周期记录一次单位路径毫米波衰减量，选取降水发生前一定长度的毫米波衰减数据系列，设系列长度为n，将这n个毫米波衰减数据按照时间顺序组成一个n维毫米波衰减数据向量R，R＝(O1，O2，……,On)∈Rn，其中Oy是序列中第y个时刻毫米波链路所记录的单位路径毫米波衰减量；
(14)对于区域内多条链路，选取多场不同类型的降水，分别执行步骤(11)至(13)，得到m组n维毫米波衰减数据向量。
进一步地，所述步骤(2)包括：
(21)将步骤(1)得到的m组n维毫米波衰减数据随机取出一部分，对取出的数据添加标签，标签集合为L＝(L1,L2,...Lp)，设有标签的数据组成的有标签数据集为X1＝{R1，R2，…，Rs}，无标签的数据组成的无标签数据集为X2＝{Rs+1，Rs+2，...，Rm}；
(22)根据有标签数据集，利用KNN方法，将无标签数据集中的数据添加标签，对于X2中的数据Rr，在X1中找到与其欧式距离最近的数据Rq，Rq的标签为Lq，则初始化Rr的标签也为Lq。
进一步地，所述步骤(3)包括：
(31)根据毫米波衰减数据，构造相似度矩阵M∈Rm×m，其中元素Mij的计算方式为：
Figure GDA0003395660120000022
式中，l(Ri,Rj)为毫米波衰减数据中数据点Ri和Rj的欧氏距离，设Rk为与Ri欧氏距离最近的第k个数据点，则σi为Ri和Rk之间的欧氏距离值，σj为Rj和Rk之间的欧氏距离值；
(32)构造度矩阵D，其主对角线上的元素D(h，h)为相似度矩阵M的第h行元素之和，其它元素均为0，再由相似度矩阵M和度矩阵D构造拉普拉斯矩阵La：
La＝D-0.5MD-0.5
(33)对拉普拉斯矩阵La进行特征值分解，找出其前k个最大特征值所对应的特征向量v1，v2，...，vk，然后构造矩阵V＝[v1，v2，…，vk]∈Rm×k,其中特征向量按列存储，再对V的行向量进行归一化，记归一化后的矩阵为T，T的元素Ti,j为：
Figure GDA0003395660120000031
(34)通过下式优化损失函数，将损失函数值最小的k作为自调节k值：
Figure GDA0003395660120000032
式中，Z为V的旋转矩阵，Ui＝maxjZi,j；
(34)把矩阵T的每一行看作空间Rk中的样本，样本数量为m，样本维数为n，然后将这些样本用K-means算法进行聚类，最后仅当矩阵T的第α行被划分到第β层时把最初的样本点划分放入第β层，得到多层数据。
进一步地，所述步骤(4)中，以第z层为例，设第z层层内数据的数量为Nz，执行以下步骤：
(41)初始化第z层各点的抽样概率均为1/Nz；
(42)利用简单分类方法，对第z层的所有数据进行多次分类，设各点的抽样概率为pi(i＝1,2，...，Nz)，设置分类次数为三次，步骤如下：
A、对第z层内所有数据进行第一次分类；
B、对第z层内所有数据进行第二次分类，将第二次分类与第一次分类结果不一样的数据作为困难点，增加困难点的抽样概率，更新各点的抽样概率pi；
C、对第z层内所有数据进行第三次分类，将第三次分类与第一次和第二次分类结果都不一样的数据作为困难点，增加困难点的抽样概率，更新各点的抽样概率pi；
D、统计第z层困难点个数为nz；
(43)利用步骤(42)最终更新得到的各点的抽样概率对第z层内各点进行不等概率抽样，抽取tz个数据。
进一步地，增加困难点的抽样概率的具体方法为：将一个困难点视为两个数据，再求抽样概率，即获得的困难点的抽样概率是非困难点的两倍。
进一步地，所述步骤(4)中，各数据层抽取的数据个数与该数据层的数据总个数成比例关系。
进一步地，所述步骤(5)中，基础分类器的建立方法为：
(51)对于从第z层抽取出来的tz个数据点，先构造相似矩阵S∈Rtz×tz，其中：
Si,j＝-||(Ri-Rj)||2
(52)通过构造并迭代吸附度ei,j和属于度fi,j来迭代确定类代表中心，其中吸附度ei,j是从Ri指向Rj，表示Rj适合作为Ri的类中心的程度；属于度fi,j是从Rj指向Ri，表示Ri选择Rj作为其类中心的合适程度，ei,j和fi,j的迭代更新公式如下：
Figure GDA0003395660120000041
Figure GDA0003395660120000042
Figure GDA0003395660120000043
式中，λ为人为设置的阻尼因子；q为当前迭代的次数，在每一次循环迭代中，ei,j和fi,j的更新值由当前迭代过程更新值和上一步迭代结果通过阻尼因子加权得到，当迭代次数超过设置阈值时或者当聚类中心连续多次迭代不发生改变时终止迭代；
对于任意Ri，在层内寻找满足条件
Figure GDA0003395660120000044
的Rj，并将其作为Ri的类代表中心；
(53)对第z层抽取出来的tz个数据执行(51)至(52)的操作后，将tz个数据分类得到w个子类；
(54)对子类进行标签映射：用条件概率
Figure GDA0003395660120000045
来表示在子类Cμ(1≤μ≤w)中任意样本点属于类别标签Lξ(1≤ξ≤p)的概率，其中p为降水类型标签种类数，并且利用第z层抽取出的数据对其进行估计，具体操作如下：：
A、统计子类Cμ中样本总数为vμ；
B、统计子类Cμ属于类别Lξ的样本流总数为uμξ；
C、通过极大似然估计的方式可得
Figure GDA0003395660120000046
D、最终子类标签映射函数为：
Figure GDA0003395660120000051
(55)输出第z层抽取出的各数据所在子类的标签，则成功通过第z层抽取出的困难点的数据建立起第z层的基础分类器。
本发明提供一种基于毫米波数据分层智能抽样的降水类型预测方法，相比较现有技术，存在以下优点：
(1)充分利用不同降水类型发生前温度、湿度特性的不同对毫米波造成的不同的衰减影响，对接下来一段时间(0-2小时)后是否发生降水以及发生的降水类型进行预测，针对各种降水类型对毫米波的衰减影响，进行预测，可以使预测结果更加准确；
(2)毫米波衰减一般每隔五到十秒便会记录一个数据，多条链路在一段时间内会有大量的衰减数据被记录下来，对大量的毫米波衰减数据进行分层，在各层先多次简单分类找到分类困难点并赋予更高的抽样概率，再在各层进行抽样，重点照顾困难点抽样，并且减轻了复杂分类方法对于数量较大数据的处理压力；
(3)在各层都建立起基础分类器，通过多数投票的方法，充分集成了各个基础分类器的分类建议，具有很好的代表性和科学性，减少偶然误差，提高预测精准度。
附图说明
图1为基于毫米波数据分层智能抽样的降水类型预测方法的流程图。
具体实施方式
下面结合附图和具体实施例，对本发明作进一步说明。
如图1所示，基于毫米波数据分层智能抽样的降水类型预测方法，先获取大量的不同链路不同降水类型的毫米波衰减数据，利用较少的随后要发生的降水类型标签的毫米波衰减数据，对所有数据进行标签初始化，再通过智能分层的方法让所有的降水前一段时间的毫米波衰减数据系列自动分为k层，随后在每层利用最简单的分类方法(例如K-MEANS)进行多次分类并对多次分类结果不一样的困难点赋予更高的被抽样概率，然后在各层进行不等概率抽样，重点照顾分类困难的模糊困难点，利用各层的抽样数据训练基础分类器，最后通过多数投票的方法将k个基础分类器集成为一个强分类器，对一段毫米波衰减数据，预测其一段时间后(如0-2小时后)将会发生哪种类型的降水。具体包括：
1、选取区域内的多条链路的多场不同类型的降水，获取每条链路在降水前一段时间内的毫米波衰减数据系列，系列长度为n，得到m组n维毫米波衰减数据，具体包括以下步骤：
(11)选定水平方向的毫米波链路，在发射端用选定好的频率发射毫米波信号，毫米波信号在传播的过程之中发生衰减，最终在接收端接收到衰减后的毫米波信号，测得水平链路上的发射端功率以及接收端功率，分别记为Pa、Pb；
(12)计算出路径上单位路径毫米波衰减量O为：
Figure GDA0003395660120000061
式中，Pa为毫米波链路发射端功率，Pb为毫米波链路接收端功率，L为链路的长度，单位为km；
(13)毫米波链路每隔时间周期记录一次单位路径毫米波衰减量，选取降水发生前(本实施例为30分钟前，也可取其他时长)一定长度的毫米波衰减数据系列，设系列长度为n，将这n个毫米波衰减数据按照时间顺序组成一个n维毫米波衰减数据向量R，R＝(O1，O2，……,On)∈Rn，其中Oy是序列中第y个时刻毫米波链路所记录的单位路径毫米波衰减量；
(14)对于区域内多条链路，选取多场不同类型的降水(要包含雨，雪，冰雹不同类型的降水，以保证足够的代表性)，分别执行步骤(11)至(13)，共得到m组n维毫米波衰减数据向量，记为X。
2、将毫米波衰减数据进行标签初始化，所述标签为之后将发生的降水类型，因为数据量较大，为了方便为所有数据添加标签，采用以下方法：
(21)将步骤(1)得到的m组n维毫米波衰减数据随机取出一部分，对取出的数据添加标签，L＝(0,1,2,3),0代表无降水，1代表即将降雨，2代表即将降雪，3代表即将降冰雹(其他类型的降水在此处为了简洁说明故未一一具体列出)。设有标签的数据组成的有标签数据集为X1＝{R1，R2，…，Rs}，无标签的数据组成的无标签数据集为X2＝{Rs+1，Rs+2，...，Rm}；X＝X1∪X2；
(22)利用X1对X2中的数据进行标签初始化：根据有标签数据集，利用KNN方法，K取1，将无标签数据集中的数据添加标签，对于X2中的数据Ri，在X1中找到与其欧式距离最近的数据Rj，Rj的标签为Lq，则初始化Ri的标签也为Lq。
其中，Ri与Rj之间的欧氏距离l计算公式为：
Figure GDA0003395660120000062
3、对毫米波衰减数据进行数据自调节分层处理，分为k层数据，具体分层方法为：
(31)根据毫米波衰减数据，构造相似度矩阵M∈Rm×m，其中元素Mij的计算方式为：
Figure GDA0003395660120000071
式中，l(Ri,Rj)为毫米波衰减数据X中数据点Ri和Rj的欧氏距离，设Rk为与Ri欧氏距离最近的第k个数据点，则σi为Ri和Rk之间的欧氏距离值，σj为Rj和Rk之间的欧氏距离值；
(32)构造拉普拉斯矩阵：先构造度矩阵D，其主对角线上的元素D(h，h)为相似度矩阵M的第h行元素之和，其它元素均为0，再由相似度矩阵M和度矩阵D构造拉普拉斯矩阵La：
La＝D-0.5MD-0.5
(33)对拉普拉斯矩阵La进行特征值分解，找出其前k个最大特征值所对应的特征向量v1，v2，...，vk，然后构造矩阵V＝[v1，v2，…，vk]∈Rm×k,其中特征向量按列存储，再对V的行向量进行归一化，记归一化后的矩阵为T，T的元素Ti,j为：
Figure GDA0003395660120000072
(34)自调节k值的确定：通过下式优化损失函数，将损失函数值最小的k作为自调节k值即分层的层数：
Figure GDA0003395660120000073
式中，Z为V的旋转矩阵，Ui＝maxjZi,j；
(34)把矩阵T的每一行看作空间Rk中的样本，样本数量为m，样本维数为n，然后将这些样本用K-means算法进行聚类，最后当且仅当矩阵T的第α行被划分到第β层时把最初的样本点划分放入第β层，得到多层数据。
4、用简单分类法对每层数据进行多次分类，将多次分类结果不同的数据作为困难点，对困难点赋予高抽样概率，按照最终各数据的抽样概率进行不等概率抽样，分别对每层数据进行抽样，各数据层抽取的数据个数与该数据层的数据总个数成比例关系。
对每层数据进行抽样，以第z层为例，设第z层层内数据的数量为Nz，执行以下步骤：
(41)初始化第z层各点的抽样概率均为1/Nz；
(42)利用简单分类方法，对第z层的所有数据进行多次分类，设各点的抽样概率为pi(i＝1,2，...，Nz)，设置分类次数为三次，步骤如下：
A、对第z层内所有数据进行第一次分类；
B、对第z层内所有数据进行第二次分类，将第二次分类与第一次分类结果不一样的数据作为困难点，增加困难点的抽样概率(例如在求抽样概率时将一个困难点视为两个普通数据点，再求抽样概率，则获得的困难点的抽样概率是普通点的两倍)，更新各点的抽样概率pi；
C、对第z层内所有数据进行第三次分类，将第三次分类与第一次和第二次分类结果都不一样的数据作为困难点，增加困难点的抽样概率(例如将三次抽样得到的结果都不一样的困难点视为三个普通数据点，则其抽样概率是普通点的三倍；三次抽样有两次结果一样的困难点视为两个普通数据点，，则其抽样概率是普通点的两倍；三次结果都一样的数据点则为普通数据点)，更新各点的抽样概率pi；
D、统计第z层困难点个数为nz；
(43)利用步骤(42)最终更新得到的各点的抽样概率对第z层内各点进行不等概率抽样，抽取tz个数据，各数据层抽取的数据个数与该数据层的数据总个数成比例关系。
5、对于每层抽样出的数据，在每层训练建立更为精细的分类器，作为K个基础分类器，其基础分类器的建立方法为：
(51)对于从第z层抽取出来的tz个数据点，先构造相似矩阵S∈Rtz×tz，其中：
Si,j＝-||(Ri-Rj)||2
(52)通过构造并迭代吸附度ei,j和属于度fi,j来迭代确定类代表中心，其中吸附度ei,j是从Ri指向Rj，表示Rj适合作为Ri的类中心的程度；属于度fi,j是从Rj指向Ri，表示Ri选择Rj作为其类中心的合适程度，ei,j和fi,j的迭代更新公式如下：
Figure GDA0003395660120000081
Figure GDA0003395660120000082
Figure GDA0003395660120000083
式中，λ为人为设置的阻尼因子；q为当前迭代的次数，在每一次循环迭代中，ei,j和fi,j的更新值由当前迭代过程更新值和上一步迭代结果通过阻尼因子加权得到，当迭代次数超过设置阈值(如1000次)时或者当聚类中心连续多次(如50次)迭代不发生改变时终止迭代；
对于任意Ri，在层内寻找满足条件
Figure GDA0003395660120000091
的Rj，并将其作为Ri的类代表中心；
(53)对第z层抽取出来的tz个数据执行(51)至(52)的操作后，将tz个数据分类得到w个子类；
(54)对子类进行标签映射：用条件概率
Figure GDA0003395660120000092
来表示在子类Cμ(1≤μ≤w)中任意样本点属于类别标签Lξ(1≤ξ≤p)的概率，其中p为降水类型标签种类数，并且利用第z层抽取出的数据对其进行估计，具体操作如下：
A、统计子类Cμ中样本总数为vμ；
B、统计子类Cμ属于类别Lξ的样本流总数为uμξ；
C、通过极大似然估计的方式可得
Figure GDA0003395660120000093
D、最终子类标签映射函数为：
Figure GDA0003395660120000094
(55)输出第z层抽取出的各数据所在子类的标签，则成功通过第z层抽取出的困难点的数据建立起第z层的基础分类器。
6、对步骤3中分出的k层数据层都进行步骤4和步骤5的操作，则建立起k个基础分类器，这些基础分类器通过多数投票的方法，集成一个强分类器，当输入待预测数据点时，通过各层所建立的基础分类器在每层得到一个分类标签，最终强分类器对于该毫米波衰减数据系列之后要发生的降水类型预测结果标签为所有基础分类器预测的结果中出现次数最多的那种预测结果标签，以此预测数据点的降水类型。
7、在使用时，将实际监测到的毫米波衰减数据系列输入建立好的分类器中，通过分类器的输出结果，预测得到接下来一段时间后可能会出现的降水类型。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于毫米波数据分层智能抽样的降水类型预测方法，其特征在于，包括以下步骤：
(1)选取区域内的多条链路的多场不同类型的降水，获取每条链路在降水前一段时间内的毫米波衰减数据系列，系列长度为n，得到m组n维毫米波衰减数据；
(2)将毫米波衰减数据进行标签初始化，所述标签为之后将发生的降水类型；
(3)对毫米波衰减数据进行数据自调节分层处理，分为多层数据；
(4)用简单分类法对每层数据进行多次分类，将多次分类结果不同的数据作为困难点，对困难点赋予高抽样概率，按照最终各数据的抽样概率进行不等概率抽样，分别对每层数据进行抽样；
(5)对于每层抽样出的数据，在每层训练建立分类器，作为K个基础分类器；
(6)通过多数投票的方法，将K个基础分类器集成为强分类器；
(7)输入待预测数据点，通过K个基础分类器在每层得到一个分类标签，将出现次数最多的分类标签作为强分类器对于该毫米波衰减数据系列之后要发生的降水类型预测结果；
所述步骤(1)包括：
(11)选定水平方向的毫米波链路，在发射端用选定好的频率发射毫米波信号，在接收端接收到衰减后的毫米波信号，测得水平链路上的发射端功率以及接收端功率，分别记为Pa、Pb；
(12)计算出路径上单位路径毫米波衰减量O为：
Figure FDA0003395660110000011
式中，Pa为毫米波链路发射端功率，Pb为毫米波链路接收端功率，L为链路的长度，单位为km；
(13)毫米波链路每隔时间周期记录一次单位路径毫米波衰减量，选取降水发生前一定长度的毫米波衰减数据系列，设系列长度为n，将这n个毫米波衰减数据按照时间顺序组成一个n维毫米波衰减数据向量R，R＝(O1，O2，……,On)∈Rn，其中Oy是序列中第y个时刻毫米波链路所记录的单位路径毫米波衰减量；
(14)对于区域内多条链路，选取多场不同类型的降水，分别执行步骤(11)至(13)，得到m组n维毫米波衰减数据向量。
2.根据权利要求1所述的基于毫米波数据分层智能抽样的降水类型预测方法，其特征在于，所述步骤(2)包括：
(21)将步骤(1)得到的m组n维毫米波衰减数据随机取出一部分，对取出的数据添加标签，标签集合为L＝(L1,L2,...Lp)，设有标签的数据组成的有标签数据集为X1＝{R1，R2，…，Rs}，无标签的数据组成的无标签数据集为X2＝{Rs+1，Rs+2，...，Rm}；
(22)根据有标签数据集，利用KNN方法，将无标签数据集中的数据添加标签，对于X2中的数据Rr，在X1中找到与其欧式距离最近的数据Rq，Rq的标签为Lq，则初始化Rr的标签也为Lq。
3.根据权利要求1所述的基于毫米波数据分层智能抽样的降水类型预测方法，其特征在于，所述步骤(3)包括：
(31)根据毫米波衰减数据，构造相似度矩阵M∈Rm×m，其中元素Mij的计算方式为：
Figure FDA0003395660110000021
式中，l(Ri,Rj)为毫米波衰减数据中数据点Ri和Rj的欧氏距离，设Rk为与Ri欧氏距离最近的第k个数据点，则σi为Ri和Rk之间的欧氏距离值，σj为Rj和Rk之间的欧氏距离值；
(32)构造度矩阵D，其主对角线上的元素D(h，h)为相似度矩阵M的第h行元素之和，其它元素均为0，再由相似度矩阵M和度矩阵D构造拉普拉斯矩阵La：
La＝D-0.5MD-0.5
(33)对拉普拉斯矩阵La进行特征值分解，找出其前k个最大特征值所对应的特征向量v1，v2，...，vk，然后构造矩阵V＝[v1，v2，…，vk]∈Rm×k,其中特征向量按列存储，再对V的行向量进行归一化，记归一化后的矩阵为T，T的元素Ti,j为：
Figure FDA0003395660110000022
(34)通过下式优化损失函数，将损失函数值最小的k作为自调节k值：
Figure FDA0003395660110000023
式中，Z为V的旋转矩阵，Ui＝maxjZi,j；
(35)把矩阵T的每一行看作空间Rk中的样本，样本数量为m，样本维数为n，然后将这些样本用K-means算法进行聚类，最后当且仅当矩阵T的第α行被划分到第β层时把最初的样本点划分放入第β层，得到多层数据。
4.根据权利要求1所述的基于毫米波数据分层智能抽样的降水类型预测方法，其特征在于，所述步骤(4)中，以第z层为例，设第z层层内数据的数量为Nz，执行以下步骤：
(41)初始化第z层各点的抽样概率均为1/Nz；
(42)利用简单分类方法，对第z层的所有数据进行多次分类，设各点的抽样概率为pi(i＝1,2，...，Nz)，设置分类次数为三次，步骤如下：
A、对第z层内所有数据进行第一次分类；
B、对第z层内所有数据进行第二次分类，将第二次分类与第一次分类结果不一样的数据作为困难点，增加困难点的抽样概率，更新各点的抽样概率pi；
C、对第z层内所有数据进行第三次分类，将第三次分类与第一次和第二次分类结果都不一样的数据作为困难点，增加困难点的抽样概率，更新各点的抽样概率pi；
D、统计第z层困难点个数为nz；
(43)利用步骤(42)最终更新得到的各点的抽样概率对第z层内各点进行不等概率抽样，抽取tz个数据。
5.根据权利要求4所述的基于毫米波数据分层智能抽样的降水类型预测方法，其特征在于，增加困难点的抽样概率的具体方法为：将一个困难点视为两个数据，再求抽样概率，即获得的困难点的抽样概率是非困难点的两倍。
6.根据权利要求4所述的基于毫米波数据分层智能抽样的降水类型预测方法，其特征在于，所述步骤(4)中，各数据层抽取的数据个数与该数据层的数据总个数成比例关系。
7.根据权利要求4所述的基于毫米波数据分层智能抽样的降水类型预测方法，其特征在于，所述步骤(5)中，基础分类器的建立方法为：
(51)对于从第z层抽取出来的tz个数据点，先构造相似矩阵S∈Rtz×tz，其中：
Si,j＝-||(Ri-Rj)||2
(52)通过构造并迭代吸附度ei,j和属于度fi,j来迭代确定类代表中心，其中吸附度ei,j是从Ri指向Rj，表示Rj适合作为Ri的类中心的程度；属于度fi,j是从Rj指向Ri，表示Ri选择Rj作为其类中心的合适程度，ei,j和fi,j的迭代更新公式如下：
Figure FDA0003395660110000041
Figure FDA0003395660110000042
Figure FDA0003395660110000043
式中，λ为人为设置的阻尼因子；q为当前迭代的次数，在每一次循环迭代中，ei,j和fi,j的更新值由当前迭代过程更新值和上一步迭代结果通过阻尼因子加权得到，当迭代次数超过设置阈值时或者当聚类中心连续多次迭代不发生改变时终止迭代；
对于任意Ri，在层内寻找满足条件
Figure FDA0003395660110000044
的Rj，并将其作为Ri的类代表中心；
(53)对第z层抽取出来的tz个数据执行(51)至(52)的操作后，将tz个数据分类得到w个子类；
(54)对子类进行标签映射：用条件概率
Figure FDA0003395660110000045
来表示在子类Cμ(1≤μ≤w)中任意样本点属于类别标签Lξ(1≤ξ≤p)的概率，其中p为降水类型标签种类数，并且利用第z层抽取出的数据对其进行估计，具体操作如下：
A、统计子类Cμ中样本总数为vμ；
B、统计子类Cμ属于类别Lξ的样本流总数为uμξ；
C、通过极大似然估计的方式可得
Figure FDA0003395660110000046
D、最终子类标签映射函数为：
Figure FDA0003395660110000047
(55)输出第z层抽取出的各数据所在子类的标签，则成功通过第z层抽取出的困难点的数据建立起第z层的基础分类器。
CN202110108154.2A 2021-01-27 2021-01-27 基于毫米波数据分层智能抽样的降水类型预测方法 Active CN113240148B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110108154.2A CN113240148B (zh) 2021-01-27 2021-01-27 基于毫米波数据分层智能抽样的降水类型预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110108154.2A CN113240148B (zh) 2021-01-27 2021-01-27 基于毫米波数据分层智能抽样的降水类型预测方法

Publications (2)

Publication Number Publication Date
CN113240148A CN113240148A (zh) 2021-08-10
CN113240148B true CN113240148B (zh) 2022-02-08

Family

ID=77130198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110108154.2A Active CN113240148B (zh) 2021-01-27 2021-01-27 基于毫米波数据分层智能抽样的降水类型预测方法

Country Status (1)

Country Link
CN (1) CN113240148B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102637143A (zh) * 2012-03-07 2012-08-15 南京邮电大学 基于改进的支持向量机的软件缺陷优先级预测方法
CN105809191A (zh) * 2016-03-07 2016-07-27 四川大学 一种融合Bagging的随机树慢性肾病分期预测算法
CN110543893A (zh) * 2019-08-07 2019-12-06 河海大学 基于bp神经网络的微波衰减降水粒子类型的识别方法
CN112131990A (zh) * 2020-09-15 2020-12-25 河海大学 适用于复杂场景的毫米波网络降雨反演模型构建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140303893A1 (en) * 2013-04-04 2014-10-09 Sky Motion Research Inc Method and system for nowcasting precipitation based on probability distributions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102637143A (zh) * 2012-03-07 2012-08-15 南京邮电大学 基于改进的支持向量机的软件缺陷优先级预测方法
CN105809191A (zh) * 2016-03-07 2016-07-27 四川大学 一种融合Bagging的随机树慢性肾病分期预测算法
CN110543893A (zh) * 2019-08-07 2019-12-06 河海大学 基于bp神经网络的微波衰减降水粒子类型的识别方法
CN112131990A (zh) * 2020-09-15 2020-12-25 河海大学 适用于复杂场景的毫米波网络降雨反演模型构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Adaboost算法的多分类器模型的研究及其在降水预测中的应用;费凯;《中国优秀硕士学位论文全文数据库 基础科技辑》;20190115;A009-117 *
基于BP网络的卫星通信雨衰预测模型;任佳等;《无线电通信技术》;20091218(第06期);全文 *

Also Published As

Publication number Publication date
CN113240148A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN108388927B (zh) 基于深度卷积孪生网络的小样本极化sar地物分类方法
CN111860612B (zh) 无监督高光谱图像隐低秩投影学习特征提取方法
Feng et al. Convolutional neural network based on bandwise-independent convolution and hard thresholding for hyperspectral band selection
Zerrouki et al. Desertification detection using an improved variational autoencoder-based approach through ETM-landsat satellite data
CN111859010B (zh) 一种基于深度互信息最大化的半监督音频事件识别方法
CN113541834B (zh) 一种异常信号半监督分类方法、系统、数据处理终端
CN112270355A (zh) 基于大数据技术与sae-gru的主动安全预测方法
CN113095442A (zh) 基于半监督学习在多维度雷达数据下的冰雹识别方法
CN112285376A (zh) 一种基于cnn-lstm的风速预测方法
CN117725448A (zh) 气象导航信号特征的聚类分析方法
CN116910013A (zh) 基于语义流图挖掘的系统日志异常检测方法
CN117315381A (zh) 一种基于二阶有偏随机游走的高光谱图像分类方法
Lu et al. Multiscale superpixel-based active learning for hyperspectral image classification
CN113240148B (zh) 基于毫米波数据分层智能抽样的降水类型预测方法
CN112560731B (zh) 特征聚类方法、数据库更新方法、电子设备及存储介质
Chitra et al. A deep learning ensemble model for short-term rainfall prediction
Boquet et al. Theoretical tuning of the autoencoder bottleneck layer dimension: A mutual information-based algorithm
CN115965867A (zh) 基于伪标签和类别词典学习的遥感图像地表覆盖分类方法
CN113159154B (zh) 一种面向农作物分类的时间序列特征重建及动态识别方法
Ji et al. CLGAN: A GAN-based video prediction model for precipitation nowcasting
Alajmi et al. Exploiting hyperspectral imaging and optimal deep learning for crop type detection and classification
CN115438239A (zh) 一种自动化异常样本筛选的异常检测方法及装置
CN111580059A (zh) 基于谱图切分预处理和卷积神经网络的雷达hrrp目标识别方法
Mdrafi et al. Data Driven Joint Hyperspectral Band Selection and Image Classification
CN114896479B (zh) 一种在线学习方法、系统及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant