CN113240148A - 基于毫米波数据分层智能抽样的降水类型预测方法 - Google Patents

基于毫米波数据分层智能抽样的降水类型预测方法 Download PDF

Info

Publication number
CN113240148A
CN113240148A CN202110108154.2A CN202110108154A CN113240148A CN 113240148 A CN113240148 A CN 113240148A CN 202110108154 A CN202110108154 A CN 202110108154A CN 113240148 A CN113240148 A CN 113240148A
Authority
CN
China
Prior art keywords
data
millimeter wave
layer
sampling
precipitation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110108154.2A
Other languages
English (en)
Other versions
CN113240148B (zh
Inventor
陈志远
杨涛
郑鑫
秦友伟
师鹏飞
洪岱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202110108154.2A priority Critical patent/CN113240148B/zh
Publication of CN113240148A publication Critical patent/CN113240148A/zh
Application granted granted Critical
Publication of CN113240148B publication Critical patent/CN113240148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/02—Instruments for indicating weather conditions by measuring two or more variables, e.g. humidity, pressure, temperature, cloud cover or wind speed
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/10—Devices for predicting weather conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Development Economics (AREA)
  • Environmental Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Ecology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Marketing (AREA)
  • Atmospheric Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于毫米波数据分层智能抽样的降水类型预测方法，先获取大量毫米波衰减数据，通过利用较少的随后要发生的降水类型标签的毫米波衰减数据，对所有数据进行标签初始化，再通过智能分层的方法让所有的降水前一段时间的毫米波衰减数据系列自动的分为k层，随后在每层利用简单的分类方法进行多次分类，并对多次分类结果不一样的困难数据点赋予更高的被抽样概率，然后在各层进行不等概率抽样，重点照顾分类困难的模糊困难点，利用各层的抽样数据训练基础分类器，最后通过多数投票的方法将k个基础分类器集成为一个强分类器，对一段毫米波衰减数据，预测出其一段时间后将会发生那种类型的降水。

Description

基于毫米波数据分层智能抽样的降水类型预测方法
技术领域
本发明涉及地面气象探测领域，尤其是利用毫米波的衰减特点来预测一段时间后可能发生的雨、雪、冰雹等特殊降水类型天气。
背景技术
中国是一个雨季集中、暴雨多发的国家，降水的时空分布异常是引发洪涝灾害、山体滑坡、泥石流等自然灾害的重要因素，对于降水的研究早已超过了一个科学研究的范围。
目前，毫米波通信网络覆盖广，信号质量高，基本不存在盲区，因此，毫米波通信网络降水分析技术在我国有很高的推广应用价值。现有技术通过利用降水时的毫米波链路的毫米波衰减特征来进行反演雨、雪、冰雹的滴谱和粒子形状分布，实时监测雨、雪、雹这类特殊天气状况，精准度高，监测盲区小，费用也相比于雷达少。但是如何利用好大量的降水前毫米波衰减数据，充分利用不同降水类型发生前温度、湿度特性的不同对毫米波造成的不同的衰减影响，对接下来一段时间(0-2小时)后是否发生降水以及发生的降水类型进行预测，是有待于解决的问题。
发明内容
发明目的：为了解决现有技术中预测降水类型较为困难的问题，本发明提供一种基于毫米波数据分层智能抽样的降水类型预测方法。
技术方案：一种基于毫米波数据分层智能抽样的降水类型预测方法，包括以下步骤：
(1)选取区域内的多条链路的多场不同类型的降水，获取每条链路在降水前一段时间内的毫米波衰减数据系列，系列长度为n，得到m组n维毫米波衰减数据；
(2)将毫米波衰减数据进行标签初始化，所述标签为之后将发生的降水类型；
(3)对毫米波衰减数据进行数据自调节分层处理，分为多层数据；
(4)用简单分类法对每层数据进行多次分类，将多次分类结果不同的数据作为困难点，对困难点赋予高抽样概率，按照最终各数据的抽样概率进行不等概率抽样，分别对每层数据进行抽样；
(5)对于每层抽样出的数据，在每层训练建立分类器，作为K个基础分类器；
(6)通过多数投票的方法，将K个基础分类器集成为强分类器；
(7)输入待预测数据点，通过K个基础分类器在每层得到一个分类标签，将出现次数最多的分类标签作为强分类器对于该毫米波衰减数据系列之后要发生的降水类型预测结果。
进一步地，所述步骤(1)包括：
(11)选定水平方向的毫米波链路，在发射端用选定好的频率发射毫米波信号，在接收端接收到衰减后的毫米波信号，测得水平链路上的发射端功率以及接收端功率，分别记为Pa、Pb；
(12)计算出路径上单位路径毫米波衰减量O为：
Figure BDA0002918322410000021
式中，Pa为毫米波链路发射端功率，Pb为毫米波链路接收端功率，L为链路的长度，单位为km；
(13)毫米波链路每隔时间周期记录一次单位路径毫米波衰减量，选取降水发生前一定长度的毫米波衰减数据系列，设系列长度为n，将这n个毫米波衰减数据按照时间顺序组成一个n维毫米波衰减数据向量R，R＝(O1，O2，……,On)∈Rn，其中Oi是序列中第i个时刻毫米波链路所记录的单位路径毫米波衰减量；
(14)对于区域内多条链路，选取多场不同类型的降水，分别执行步骤(11)至(13)，得到m组n维毫米波衰减数据向量。
进一步地，所述步骤(2)包括：
(21)将步骤(1)得到的m组n维毫米波衰减数据随机取出一部分，对取出的数据添加标签，标签集合为L＝(L1,L2,...Lp)，设有标签的数据组成的有标签数据集为X1＝{R1，R2，…，Rs}，无标签的数据组成的无标签数据集为X2＝{Rs+1，Rs+2，...，Rm}；
(22)根据有标签数据集，利用KNN方法，将无标签数据集中的数据添加标签，对于X2中的数据Ri，在X1中找到与其欧式距离最近的数据Rj，Rj的标签为Lq，则初始化Ri的标签也为Lq。
进一步地，所述步骤(3)包括：
(31)根据毫米波衰减数据，构造相似度矩阵M∈Rm×m，其中元素Mij的计算方式为：
Figure BDA0002918322410000022
式中，l(Ri,Rj)为毫米波衰减数据中数据点Ri和Rj的欧氏距离，设Rk为与Ri欧氏距离最近的第k个数据点，则σi为Ri和Rk之间的欧氏距离值，σj为Rj和Rk之间的欧氏距离值；
(32)构造度矩阵D，其主对角线上的元素D(i，i)为相似度矩阵M的第i行元素之和，其它元素均为0，再由相似度矩阵M和度矩阵D构造拉普拉斯矩阵La：
La＝D-0.5MD-0.5
(33)对拉普拉斯矩阵La进行特征值分解，找出其前k个最大特征值所对应的特征向量v1，v2，...，vk，然后构造矩阵V＝[v1，v2，…，vk]∈Rm×k,其中特征向量按列存储，再对V的行向量进行归一化，记归一化后的矩阵为T，T的元素Ti,j为：
Figure BDA0002918322410000031
(34)通过下式优化损失函数，将损失函数值最小的k作为自调节k值：
Figure BDA0002918322410000032
式中，Z为V的旋转矩阵，Ui＝maxjZi,j；
(34)把矩阵T的每一行看作空间Rk中的样本，样本数量为m，样本维数为n，然后将这些样本用K-means算法进行聚类，最后当且仅当矩阵T的第i行被划分到第j层时把最初的样本点划分放入第j层，得到多层数据。
进一步地，所述步骤(4)中，以第z层为例，设第z层层内数据的数量为Nz，执行以下步骤：
(41)初始化第z层各点的抽样概率均为1/Nz；
(42)利用简单分类方法，对第z层的所有数据进行多次分类，设各点的抽样概率为pi(i＝1,2，...，Nz)，设置分类次数为三次，步骤如下：
A、对第z层内所有数据进行第一次分类；
B、对第z层内所有数据进行第二次分类，将第二次分类与第一次分类结果不一样的数据作为困难点，增加困难点的抽样概率，更新各点的抽样概率pi；
C、对第z层内所有数据进行第三次分类，将第三次分类与第一次和第二次分类结果都不一样的数据作为困难点，增加困难点的抽样概率，更新各点的抽样概率pi；
D、统计第z层困难点个数为nz；
(43)利用步骤(42)最终更新得到的各点的抽样概率对第z层内各点进行不等概率抽样，抽取tz个数据。
进一步地，增加困难点的抽样概率的具体方法为：将一个困难点视为两个数据，再求抽样概率，即获得的困难点的抽样概率是非困难点的两倍。
进一步地，所述步骤(4)中，各数据层抽取的数据个数与该数据层的数据总个数成比例关系。
进一步地，所述步骤(5)中，基础分类器的建立方法为：
(51)对于从第z层抽取出来的tz个数据点，先构造相似矩阵S∈Rtz×tz，其中：
Si,j＝-||(Ri-Rj)||2
(52)通过构造并迭代吸附度ei,j和属于度fi,j来迭代确定类代表中心，其中吸附度ei,j是从Ri指向Rj，表示Rj适合作为Ri的类中心的程度；属于度fi,j是从Rj指向Ri，表示Ri选择Rj作为其类中心的合适程度，ei,j和fi,j的迭代更新公式如下：
Figure BDA0002918322410000041
Figure BDA0002918322410000042
Figure BDA0002918322410000043
式中，λ为人为设置的阻尼因子；q为当前迭代的次数，在每一次循环迭代中，ei,j和fi,j的更新值由当前迭代过程更新值和上一步迭代结果通过阻尼因子加权得到，当迭代次数超过设置阈值时或者当聚类中心连续多次迭代不发生改变时终止迭代；
对于任意Ri，在层内寻找满足条件
Figure BDA0002918322410000044
的Rj，并将其作为Ri的类代表中心；
(53)对第z层抽取出来的tz个数据执行(51)至(52)的操作后，将tz个数据分类得到w个子类；
(54)对子类进行标签映射：用条件概率
Figure BDA0002918322410000045
来表示在子类Ci(1≤i≤w)中任意样本点属于类别标签Lj(1≤j≤p)的概率，其中p为降水类型标签种类数，并且利用第z层抽取出的数据对其进行估计，具体操作如下：
A、统计子类Ci中样本总数为vi；
B、统计子类Ci中属于类别Lj的样本流总数为uij；
C、通过极大似然估计的方式可得
Figure BDA0002918322410000051
D、最终子类标签映射函数为：
Figure BDA0002918322410000052
(55)输出第z层抽取出的各数据所在子类的标签，则成功通过第z层抽取出的困难点的数据建立起第z层的基础分类器。
本发明提供一种基于毫米波数据分层智能抽样的降水类型预测方法，相比较现有技术，存在以下优点：
(1)充分利用不同降水类型发生前温度、湿度特性的不同对毫米波造成的不同的衰减影响，对接下来一段时间(0-2小时)后是否发生降水以及发生的降水类型进行预测，针对各种降水类型对毫米波的衰减影响，进行预测，可以使预测结果更加准确；
(2)毫米波衰减一般每隔五到十秒便会记录一个数据，多条链路在一段时间内会有大量的衰减数据被记录下来，对大量的毫米波衰减数据进行分层，在各层先多次简单分类找到分类困难点并赋予更高的抽样概率，再在各层进行抽样，重点照顾困难点抽样，并且减轻了复杂分类方法对于数量较大数据的处理压力；
(3)在各层都建立起基础分类器，通过多数投票的方法，充分集成了各个基础分类器的分类建议，具有很好的代表性和科学性，减少偶然误差，提高预测精准度。
附图说明
图1为基于毫米波数据分层智能抽样的降水类型预测方法的流程图。
具体实施方式
下面结合附图和具体实施例，对本发明作进一步说明。
如图1所示，基于毫米波数据分层智能抽样的降水类型预测方法，先获取大量的不同链路不同降水类型的毫米波衰减数据，利用较少的随后要发生的降水类型标签的毫米波衰减数据，对所有数据进行标签初始化，再通过智能分层的方法让所有的降水前一段时间的毫米波衰减数据系列自动分为k层，随后在每层利用最简单的分类方法(例如K-MEANS)进行多次分类并对多次分类结果不一样的困难点赋予更高的被抽样概率，然后在各层进行不等概率抽样，重点照顾分类困难的模糊困难点，利用各层的抽样数据训练基础分类器，最后通过多数投票的方法将k个基础分类器集成为一个强分类器，对一段毫米波衰减数据，预测其一段时间后(如0-2小时后)将会发生哪种类型的降水。具体包括：
1、选取区域内的多条链路的多场不同类型的降水，获取每条链路在降水前一段时间内的毫米波衰减数据系列，系列长度为n，得到m组n维毫米波衰减数据，具体包括以下步骤：
(11)选定水平方向的毫米波链路，在发射端用选定好的频率发射毫米波信号，毫米波信号在传播的过程之中发生衰减，最终在接收端接收到衰减后的毫米波信号，测得水平链路上的发射端功率以及接收端功率，分别记为Pa、Pb；
(12)计算出路径上单位路径毫米波衰减量O为：
Figure BDA0002918322410000061
式中，Pa为毫米波链路发射端功率，Pb为毫米波链路接收端功率，L为链路的长度，单位为km；
(13)毫米波链路每隔时间周期记录一次单位路径毫米波衰减量，选取降水发生前(本实施例为30分钟前，也可取其他时长)一定长度的毫米波衰减数据系列，设系列长度为n，将这n个毫米波衰减数据按照时间顺序组成一个n维毫米波衰减数据向量R，R＝(O1，O2，……,On)∈Rn，其中Oi是序列中第i个时刻毫米波链路所记录的单位路径毫米波衰减量；
(14)对于区域内多条链路，选取多场不同类型的降水(要包含雨，雪，冰雹不同类型的降水，以保证足够的代表性)，分别执行步骤(11)至(13)，共得到m组n维毫米波衰减数据向量，记为X。
2、将毫米波衰减数据进行标签初始化，所述标签为之后将发生的降水类型，因为数据量较大，为了方便为所有数据添加标签，采用以下方法：
(21)将步骤(1)得到的m组n维毫米波衰减数据随机取出一部分，对取出的数据添加标签，L＝(0,1,2,3),0代表无降水，1代表即将降雨，2代表即将降雪，3代表即将降冰雹(其他类型的降水在此处为了简洁说明故未一一具体列出)。设有标签的数据组成的有标签数据集为X1＝{R1，R2，…，Rs}，无标签的数据组成的无标签数据集为X2＝{Rs+1，Rs+2，...，Rm}；X＝X1∪X2；
(22)利用X1对X2中的数据进行标签初始化：根据有标签数据集，利用KNN方法，K取1，将无标签数据集中的数据添加标签，对于X2中的数据Ri，在X1中找到与其欧式距离最近的数据Rj，Rj的标签为Lq，则初始化Ri的标签也为Lq。
其中，Ri与Rj之间的欧氏距离l计算公式为：
Figure BDA0002918322410000062
3、对毫米波衰减数据进行数据自调节分层处理，分为k层数据，具体分层方法为：
(31)根据毫米波衰减数据，构造相似度矩阵M∈Rm×m，其中元素Mij的计算方式为：
Figure BDA0002918322410000071
式中，l(Ri,Rj)为毫米波衰减数据X中数据点Ri和Rj的欧氏距离，设Rk为与Ri欧氏距离最近的第k个数据点，则σi为Ri和Rk之间的欧氏距离值，σj为Rj和Rk之间的欧氏距离值；
(32)构造拉普拉斯矩阵：先构造度矩阵D，其主对角线上的元素D(i，i)为相似度矩阵M的第i行元素之和，其它元素均为0，再由相似度矩阵M和度矩阵D构造拉普拉斯矩阵La：
La＝D-0.5MD-0.5
(33)对拉普拉斯矩阵La进行特征值分解，找出其前k个最大特征值所对应的特征向量v1，v2，...，vk，然后构造矩阵V＝[v1，v2，…，vk]∈Rm×k,其中特征向量按列存储，再对V的行向量进行归一化，记归一化后的矩阵为T，T的元素Ti,j为：
Figure BDA0002918322410000072
(34)自调节k值的确定：通过下式优化损失函数，将损失函数值最小的k作为自调节k值即分层的层数：
Figure BDA0002918322410000073
式中，Z为V的旋转矩阵，Ui＝maxjZi,j；
(34)把矩阵T的每一行看作空间Rk中的样本，样本数量为m，样本维数为n，然后将这些样本用K-means算法进行聚类，最后当且仅当矩阵T的第i行被划分到第j层时把最初的样本点划分放入第j层，得到多层数据。
4、用简单分类法对每层数据进行多次分类，将多次分类结果不同的数据作为困难点，对困难点赋予高抽样概率，按照最终各数据的抽样概率进行不等概率抽样，分别对每层数据进行抽样，各数据层抽取的数据个数与该数据层的数据总个数成比例关系。
对每层数据进行抽样，以第z层为例，设第z层层内数据的数量为Nz，执行以下步骤：
(41)初始化第z层各点的抽样概率均为1/Nz；
(42)利用简单分类方法，对第z层的所有数据进行多次分类，设各点的抽样概率为pi(i＝1,2，...，Nz)，设置分类次数为三次，步骤如下：
A、对第z层内所有数据进行第一次分类；
B、对第z层内所有数据进行第二次分类，将第二次分类与第一次分类结果不一样的数据作为困难点，增加困难点的抽样概率(例如在求抽样概率时将一个困难点视为两个普通数据点，再求抽样概率，则获得的困难点的抽样概率是普通点的两倍)，更新各点的抽样概率pi；
C、对第z层内所有数据进行第三次分类，将第三次分类与第一次和第二次分类结果都不一样的数据作为困难点，增加困难点的抽样概率(例如将三次抽样得到的结果都不一样的困难点视为三个普通数据点，则其抽样概率是普通点的三倍；三次抽样有两次结果一样的困难点视为两个普通数据点，，则其抽样概率是普通点的两倍；三次结果都一样的数据点则为普通数据点)，更新各点的抽样概率pi；
D、统计第z层困难点个数为nz；
(43)利用步骤(42)最终更新得到的各点的抽样概率对第z层内各点进行不等概率抽样，抽取tz个数据，各数据层抽取的数据个数与该数据层的数据总个数成比例关系。
5、对于每层抽样出的数据，在每层训练建立更为精细的分类器，作为K个基础分类器，其基础分类器的建立方法为：
(51)对于从第z层抽取出来的tz个数据点，先构造相似矩阵S∈Rtz×tz，其中：
Si,j＝-||(Ri-Rj)||2
(52)通过构造并迭代吸附度ei,j和属于度fi,j来迭代确定类代表中心，其中吸附度ei,j是从Ri指向Rj，表示Rj适合作为Ri的类中心的程度；属于度fi,j是从Rj指向Ri，表示Ri选择Rj作为其类中心的合适程度，ei,j和fi,j的迭代更新公式如下：
Figure BDA0002918322410000081
Figure BDA0002918322410000082
Figure BDA0002918322410000083
式中，λ为人为设置的阻尼因子；q为当前迭代的次数，在每一次循环迭代中，ei,j和fi,j的更新值由当前迭代过程更新值和上一步迭代结果通过阻尼因子加权得到，当迭代次数超过设置阈值(如1000次)时或者当聚类中心连续多次(如50次)迭代不发生改变时终止迭代；
对于任意Ri，在层内寻找满足条件
Figure BDA0002918322410000091
的Rj，并将其作为Ri的类代表中心；
(53)对第z层抽取出来的tz个数据执行(51)至(52)的操作后，将tz个数据分类得到w个子类；
(54)对子类进行标签映射：用条件概率
Figure BDA0002918322410000092
来表示在子类Ci(1≤i≤w)中任意样本点属于类别标签Lj(1≤j≤p)的概率，其中p为降水类型标签种类数，并且利用第z层抽取出的数据对其进行估计，具体操作如下：
A、统计子类Ci中样本总数为vi；
B、统计子类Ci中属于类别Lj的样本流总数为uij；
C、通过极大似然估计的方式可得
Figure BDA0002918322410000093
D、最终子类标签映射函数为：
Figure BDA0002918322410000094
(55)输出第z层抽取出的各数据所在子类的标签，则成功通过第z层抽取出的困难点的数据建立起第z层的基础分类器。
6、对步骤3中分出的k层数据层都进行步骤4和步骤5的操作，则建立起k个基础分类器，这些基础分类器通过多数投票的方法，集成一个强分类器，当输入待预测数据点时，通过各层所建立的基础分类器在每层得到一个分类标签，最终强分类器对于该毫米波衰减数据系列之后要发生的降水类型预测结果标签为所有基础分类器预测的结果中出现次数最多的那种预测结果标签，以此预测数据点的降水类型。
7、在使用时，将实际监测到的毫米波衰减数据系列输入建立好的分类器中，通过分类器的输出结果，预测得到接下来一段时间后可能会出现的降水类型。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于毫米波数据分层智能抽样的降水类型预测方法，其特征在于，包括以下步骤：
(1)选取区域内的多条链路的多场不同类型的降水，获取每条链路在降水前一段时间内的毫米波衰减数据系列，系列长度为n，得到m组n维毫米波衰减数据；
(2)将毫米波衰减数据进行标签初始化，所述标签为之后将发生的降水类型；
(3)对毫米波衰减数据进行数据自调节分层处理，分为多层数据；
(4)用简单分类法对每层数据进行多次分类，将多次分类结果不同的数据作为困难点，对困难点赋予高抽样概率，按照最终各数据的抽样概率进行不等概率抽样，分别对每层数据进行抽样；
(5)对于每层抽样出的数据，在每层训练建立分类器，作为K个基础分类器；
(6)通过多数投票的方法，将K个基础分类器集成为强分类器；
(7)输入待预测数据点，通过K个基础分类器在每层得到一个分类标签，将出现次数最多的分类标签作为强分类器对于该毫米波衰减数据系列之后要发生的降水类型预测结果。
2.根据权利要求1所述的基于毫米波数据分层智能抽样的降水类型预测方法，其特征在于，所述步骤(1)包括：
(11)选定水平方向的毫米波链路，在发射端用选定好的频率发射毫米波信号，在接收端接收到衰减后的毫米波信号，测得水平链路上的发射端功率以及接收端功率，分别记为Pa、Pb；
(12)计算出路径上单位路径毫米波衰减量O为：
Figure FDA0002918322400000011
式中，Pa为毫米波链路发射端功率，Pb为毫米波链路接收端功率，L为链路的长度，单位为km；
(13)毫米波链路每隔时间周期记录一次单位路径毫米波衰减量，选取降水发生前一定长度的毫米波衰减数据系列，设系列长度为n，将这n个毫米波衰减数据按照时间顺序组成一个n维毫米波衰减数据向量R，R＝(O1，O2，……,On)∈Rn，其中Oi是序列中第i个时刻毫米波链路所记录的单位路径毫米波衰减量；
(14)对于区域内多条链路，选取多场不同类型的降水，分别执行步骤(11)至(13)，得到m组n维毫米波衰减数据向量。
3.根据权利要求1或2所述的基于毫米波数据分层智能抽样的降水类型预测方法，其特征在于，所述步骤(2)包括：
(21)将步骤(1)得到的m组n维毫米波衰减数据随机取出一部分，对取出的数据添加标签，标签集合为L＝(L1,L2,...Lp)，设有标签的数据组成的有标签数据集为X1＝{R1，R2，…，Rs}，无标签的数据组成的无标签数据集为X2＝{Rs+1，Rs+2，...，Rm}；
(22)根据有标签数据集，利用KNN方法，将无标签数据集中的数据添加标签，对于X2中的数据Ri，在X1中找到与其欧式距离最近的数据Rj，Rj的标签为Lq，则初始化Ri的标签也为Lq。
4.根据权利要求1或2所述的基于毫米波数据分层智能抽样的降水类型预测方法，其特征在于，所述步骤(3)包括：
(31)根据毫米波衰减数据，构造相似度矩阵M∈Rm×m，其中元素Mij的计算方式为：
Figure FDA0002918322400000021
式中，l(Ri,Rj)为毫米波衰减数据中数据点Ri和Rj的欧氏距离，设Rk为与Ri欧氏距离最近的第k个数据点，则σi为Ri和Rk之间的欧氏距离值，σj为Rj和Rk之间的欧氏距离值；
(32)构造度矩阵D，其主对角线上的元素D(i，i)为相似度矩阵M的第i行元素之和，其它元素均为0，再由相似度矩阵M和度矩阵D构造拉普拉斯矩阵La：
La＝D-0.5MD-0.5
(33)对拉普拉斯矩阵La进行特征值分解，找出其前k个最大特征值所对应的特征向量v1，v2，...，vk，然后构造矩阵V＝[v1，v2，…，vk]∈Rm×k,其中特征向量按列存储，再对V的行向量进行归一化，记归一化后的矩阵为T，T的元素Ti,j为：
Figure FDA0002918322400000022
(34)通过下式优化损失函数，将损失函数值最小的k作为自调节k值：
Figure FDA0002918322400000023
式中，Z为V的旋转矩阵，Ui＝maxjZi,j；
(34)把矩阵T的每一行看作空间Rk中的样本，样本数量为m，样本维数为n，然后将这些样本用K-means算法进行聚类，最后当且仅当矩阵T的第i行被划分到第j层时把最初的样本点划分放入第j层，得到多层数据。
5.根据权利要求1或2所述的基于毫米波数据分层智能抽样的降水类型预测方法，其特征在于，所述步骤(4)中，以第z层为例，设第z层层内数据的数量为Nz，执行以下步骤：
(41)初始化第z层各点的抽样概率均为1/Nz；
(42)利用简单分类方法，对第z层的所有数据进行多次分类，设各点的抽样概率为pi(i＝1,2，...，Nz)，设置分类次数为三次，步骤如下：
A、对第z层内所有数据进行第一次分类；
B、对第z层内所有数据进行第二次分类，将第二次分类与第一次分类结果不一样的数据作为困难点，增加困难点的抽样概率，更新各点的抽样概率pi；
C、对第z层内所有数据进行第三次分类，将第三次分类与第一次和第二次分类结果都不一样的数据作为困难点，增加困难点的抽样概率，更新各点的抽样概率pi；
D、统计第z层困难点个数为nz；
(43)利用步骤(42)最终更新得到的各点的抽样概率对第z层内各点进行不等概率抽样，抽取tz个数据。
6.根据权利要求5所述的基于毫米波数据分层智能抽样的降水类型预测方法，其特征在于，增加困难点的抽样概率的具体方法为：将一个困难点视为两个数据，再求抽样概率，即获得的困难点的抽样概率是非困难点的两倍。
7.根据权利要求1或2所述的基于毫米波数据分层智能抽样的降水类型预测方法，其特征在于，所述步骤(4)中，各数据层抽取的数据个数与该数据层的数据总个数成比例关系。
8.根据权利要求1或2所述的基于毫米波数据分层智能抽样的降水类型预测方法，其特征在于，所述步骤(5)中，基础分类器的建立方法为：
(51)对于从第z层抽取出来的tz个数据点，先构造相似矩阵S∈Rtz×tz，其中：
Si,j＝-||(Ri-Rj)||2
(52)通过构造并迭代吸附度ei,j和属于度fi,j来迭代确定类代表中心，其中吸附度ei,j是从Ri指向Rj，表示Rj适合作为Ri的类中心的程度；属于度fi,j是从Rj指向Ri，表示Ri选择Rj作为其类中心的合适程度，ei,j和fi,j的迭代更新公式如下：
Figure FDA0002918322400000041
Figure FDA0002918322400000042
Figure FDA0002918322400000043
式中，λ为人为设置的阻尼因子；q为当前迭代的次数，在每一次循环迭代中，ei,j和fi,j的更新值由当前迭代过程更新值和上一步迭代结果通过阻尼因子加权得到，当迭代次数超过设置阈值时或者当聚类中心连续多次迭代不发生改变时终止迭代；
对于任意Ri，在层内寻找满足条件
Figure FDA0002918322400000044
的Rj，并将其作为Ri的类代表中心；
(53)对第z层抽取出来的tz个数据执行(51)至(52)的操作后，将tz个数据分类得到w个子类；
(54)对子类进行标签映射：用条件概率P(lab＝Lj/Ci)来表示在子类Ci(1≤i≤w)中任意样本点属于类别标签Lj(1≤j≤p)的概率，其中p为降水类型标签种类数，并且利用第z层抽取出的数据对其进行估计，具体操作如下：
A、统计子类Ci中样本总数为vi；
B、统计子类Ci中属于类别Lj的样本流总数为uij；
C、通过极大似然估计的方式可得
Figure FDA0002918322400000045
D、最终子类标签映射函数为：
Figure FDA0002918322400000046
(55)输出第z层抽取出的各数据所在子类的标签，则成功通过第z层抽取出的困难点的数据建立起第z层的基础分类器。
CN202110108154.2A 2021-01-27 2021-01-27 基于毫米波数据分层智能抽样的降水类型预测方法 Active CN113240148B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110108154.2A CN113240148B (zh) 2021-01-27 2021-01-27 基于毫米波数据分层智能抽样的降水类型预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110108154.2A CN113240148B (zh) 2021-01-27 2021-01-27 基于毫米波数据分层智能抽样的降水类型预测方法

Publications (2)

Publication Number Publication Date
CN113240148A true CN113240148A (zh) 2021-08-10
CN113240148B CN113240148B (zh) 2022-02-08

Family

ID=77130198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110108154.2A Active CN113240148B (zh) 2021-01-27 2021-01-27 基于毫米波数据分层智能抽样的降水类型预测方法

Country Status (1)

Country Link
CN (1) CN113240148B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102637143A (zh) * 2012-03-07 2012-08-15 南京邮电大学 基于改进的支持向量机的软件缺陷优先级预测方法
US20140303893A1 (en) * 2013-04-04 2014-10-09 Sky Motion Research Inc Method and system for nowcasting precipitation based on probability distributions
CN105809191A (zh) * 2016-03-07 2016-07-27 四川大学 一种融合Bagging的随机树慢性肾病分期预测算法
CN110543893A (zh) * 2019-08-07 2019-12-06 河海大学 基于bp神经网络的微波衰减降水粒子类型的识别方法
CN112131990A (zh) * 2020-09-15 2020-12-25 河海大学 适用于复杂场景的毫米波网络降雨反演模型构建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102637143A (zh) * 2012-03-07 2012-08-15 南京邮电大学 基于改进的支持向量机的软件缺陷优先级预测方法
US20140303893A1 (en) * 2013-04-04 2014-10-09 Sky Motion Research Inc Method and system for nowcasting precipitation based on probability distributions
CN105809191A (zh) * 2016-03-07 2016-07-27 四川大学 一种融合Bagging的随机树慢性肾病分期预测算法
CN110543893A (zh) * 2019-08-07 2019-12-06 河海大学 基于bp神经网络的微波衰减降水粒子类型的识别方法
CN112131990A (zh) * 2020-09-15 2020-12-25 河海大学 适用于复杂场景的毫米波网络降雨反演模型构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
任佳等: "基于BP网络的卫星通信雨衰预测模型", 《无线电通信技术》 *
费凯: "基于Adaboost算法的多分类器模型的研究及其在降水预测中的应用", 《中国优秀硕士学位论文全文数据库 基础科技辑》 *

Also Published As

Publication number Publication date
CN113240148B (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
CN108388927B (zh) 基于深度卷积孪生网络的小样本极化sar地物分类方法
Wu et al. Prediction of rainfall time series using modular artificial neural networks coupled with data-preprocessing techniques
Zerrouki et al. Desertification detection using an improved variational autoencoder-based approach through ETM-landsat satellite data
CN111738520A (zh) 一种融合孤立森林与长短期记忆网络的系统负载预测方法
CN112232543A (zh) 一种基于图卷积网络的多站点预测方法
CN113541834B (zh) 一种异常信号半监督分类方法、系统、数据处理终端
CN112285376A (zh) 一种基于cnn-lstm的风速预测方法
Salman et al. Weather forecasting using merged long short-term memory model
Shaiba et al. Weather Forecasting Prediction Using Ensemble Machine Learning for Big Data Applications.
CN117233869B (zh) 一种基于GRU-BiTCN的站点短期风速预测方法
CN113240148B (zh) 基于毫米波数据分层智能抽样的降水类型预测方法
Mohd et al. Comparative study of rainfall prediction modeling techniques (A case study on Srinagar, J&K, India)
CN112560731A (zh) 特征聚类方法、数据库更新方法、电子设备及存储介质
Kala et al. CEEMDAN hybridized with LSTM model for forecasting monthly rainfall
Bakhti et al. Improvememt of multi-temporal vegetation modeling using hybrid deep neural networks of multispectral remote sensing images
Boquet et al. Theoretical tuning of the autoencoder bottleneck layer dimension: A mutual information-based algorithm
CN115542279A (zh) 一种气象雷达杂波分类识别方法及装置
Zhao et al. VIMTS: Variational-based Imputation for Multi-modal Time Series
KR20230023227A (ko) 심층학습 기반 초단기 강수 예측 및 추정을 위한 효과적인 훈련 방법 및 장치
Ji et al. CLGAN: A GAN-based video prediction model for precipitation nowcasting
Shah et al. Random forest-based nowcast model for rainfall
CN111580059A (zh) 基于谱图切分预处理和卷积神经网络的雷达hrrp目标识别方法
Alajmi et al. Exploiting hyperspectral imaging and optimal deep learning for crop type detection and classification
Bala et al. Improved prediction analysis with hybrid models for thunderstorm classification over the ranchi region
CN114896479B (zh) 一种在线学习方法、系统及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant