CN104036330A - 一种基于MapReduce的降雨量分类预测方法 - Google Patents

Abstract

本发明提出了一种基于MapReduce的降雨量分类预测方法，涉及云计算与应用气象领域，包括以下步骤：步骤1：气象文件格式预处理及属性变量的选择；步骤2：MapReduce模型下对降雨量资料进行数据统计；步骤3：将历年降雨量资料分为训练集以及测试集，对测试集建立TAN降雨量预测模型，从而对降雨量进行预测分析。本发明将TAN分类算法与MapReduce模型相结合，建立相应的预测方法对降雨量进行分级预测，提高了计算效率。考虑了季节变换对降雨量的影响，相较于朴素贝叶斯提高了预测准确率。

Description

一种基于MapReduce的降雨量分类预测方法

技术领域

本发明涉及云计算与应用气象领域，尤其涉及一种基于MapReduce的降雨量分类预测方法。

背景技术

目前，我国已拥有两千余气象站台，每日均可产生大量的气象资料，日积月累后，气象历史资料已达PB级。利用海量降雨量历史资料进行分析、预测，传统的单机模式已无法满足气象科研人员对于运算时间的需求，云计算技术的出现和发展为这一问题提供了新的解决方案。利用云计算，使得大量资料得到迅速而有效的处理，将这些方法引入到气象学中，使用它们可以及时处理和分析来自地面，高空，甚至由卫星，雷达等先进大气探测工具所得到的大量资料，体现了预测的时效性。云计算中Hadoop作为Apache的开源分布式平台，在各行业中广泛使用，Hadoop按位存储和处理数据的能力很高，它在可用的计算机集簇间分配数据并完成计算任务，而这些集簇可以方便地扩展到数以千计的节点中。Hadoop自身也能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。Hadoop处理气象大数据具有易维护，高效等特点，充分体现了云计算的特点。

气象数据是是特定用来描述信息的形式化表示，可以形象的记录气象现象的性质和变化，通过气象数据来研究人们生活的中的大气现象。气候系统由五个圈层所组成，它们之间的相互关系体现在大量的气象数据中，分析气象数据可以寻找出气候存在的相互依赖关系，在研究气候关系时经常建立描述气象数据关系和演变的模型从而达到预测的目的。预测降雨的方法主要有时间序列法、概率统计法。由于降雨的形成原因受到各种随机因子的影响，形成原因复杂，在建立降雨量预测模型时会产生相应难度，预测方法的精度受到很大的局限性。

贝叶斯算法预测属于概率统计法，在实际应用中十分广泛。该算法由Laplace重新发现并完善理论，其基本思想是利用已知的先验概率以及条件概率的密度参数，根据贝叶斯定理计算出相应的后验概率，然后根据所得的后验概率来进行推断和决策。贝叶斯把统计当作是一种不确定性的概率研究，通过一个效用函数(utility function)，选择最符合期望值的最优决策树来进行决定一些决策问题。贝叶斯网络如今被运用到各种各样的领域，如医疗诊断，金融分析，计算机等等，在计算机应用中，主要是在垃圾邮件过滤，预测，数据挖掘方面的应用，气象应用中，在防洪方面所表现的预测性能也十分优异。将降雨量预测与机器学习相结合，通过辅助工具进行大量的数据统计，其最终结果往往表现优异。

由于建立完全贝叶斯网络是一个NP难题，朴素贝叶斯模型的建立需要满足一个很强的假设：属性之间相互独立。预测降雨量的属性集之间是不可能满足这样严格的条件，为能够最大化提高预测准确率，选择一种折中的方法，在属性之间增加一些边来表示属性之间的依赖关系。选择贝叶斯网络中的折中方法TAN(Tree-Augmented Naive Bayes，加树朴素贝叶斯模型)分类算法与Hadoop中并行模型MapReduce相结合，不但解决了大数据处理问题，也提高了降雨量预测的准确率。

发明内容

本发明要解决的技术问题在于：利用MapReduce模型构造TAN降雨量分类预测方法，根据降雨量气候特点，建立相应的预测方法对降雨量进行分级预测，提高降雨量预测的准确率。

本发明解决其技术问题所采用的技术方案是：

本发明提出的基于MapReduce的降雨量分类预测方法，包括以下步骤：

步骤1、气象文件格式预处理及属性变量的选择；

步骤2、在MapReduce模型下对降雨量资料进行数据统计；

步骤3、将历年降雨量资料分为训练集以及测试集，对测试集建立TAN降雨量预测模型，从而对降雨量进行预测分析。

进一步的，本发明的基于MapReduce的降雨量分类预测方法，步骤1具体包括以下步骤：

步骤1.1、属性变量选择；根据相关系数计算公式求得属性变量之间的相关性r_ab，从而获取给定预测条件的属性变量类别；

$r_{\mathrm{ab}}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(a_i-\stackrel{\‾}{a})(b_i-\stackrel{\‾}{b})}{\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(a_i-\stackrel{\‾}{a})}^2}\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(b_i-\stackrel{\‾}{b})}^2}},$

其中a，b分别为待选预测因子与类别变量，a_i，b_i分别代表各相关预测因子与类别变量的样本， $\stackrel{\‾}{a}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i,\stackrel{\‾}{b}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{b}_i;$

步骤1.2、将属性变量离散化：采用MDL方法将除降雨量以外的属性变量的数值离散化；对于降雨量的离散化，是根据降雨量分级标准将其分为若干等级得到。

进一步的，本发明的基于MapReduce的降雨量分类预测方法，步骤1.1中所述属性变量类别分别为降雨量、气压、气温、极端最高气温、极端最低气温、水汽压、相对湿度、风速，以及月份所对应的四个季度。

进一步的，本发明的基于MapReduce的降雨量分类预测方法，步骤1.2中根据降雨量分级标准，将降雨量分为小雨、中雨、大雨、暴雨、大暴雨、特大暴雨七个等级。

进一步的，本发明的基于MapReduce的降雨量分类预测方法，还包括微量降雨、有雪天气两个降雨量等级。

进一步的，本发明的基于MapReduce的降雨量分类预测方法，所述的步骤2在MapReduce模型下进行数据统计是使用云计算中Hadoop平台。

进一步的，本发明的基于MapReduce的降雨量分类预测方法，所述的步骤2具体包括以下步骤：

步骤2.1、确定所选预测因子之间的依赖关系，构建降雨量分级网络的最大生成树；

步骤2.2、搭建Hadoop测试集群；

步骤2.3、统计出降雨量资料中各降雨量级别变量及属性变量的各个级别发生次数，具体描述如下：

步骤2.3.1、统计各个降雨量级别map过程如下，输入<key,value>值，其中key为偏移量，value为行内容，定义precipitation存储map结果；格式为<降雨量标识，1>；

步骤2.3.2、进入reduce过程，输入map结果，此时key值为降水量级别，value值为1，遍历map结果，计算各个降雨量标识次数；

步骤2.3.3、根据属性变量标识，输入<key，value>值，map将降雨量文件中给定预测属性变量之间及与降雨量各个标识之间同时发生条目输出，输出格式为<属性标识,1>，reduce统计出各个属性标识与不同降雨量级别同时发生的总数。

进一步的，本发明的基于MapReduce的降雨量分类预测方法，所述的步骤3具体包括以下步骤：

步骤3.1、将降雨量资料分为训练集以及测试集，对测试集建立TAN降雨量预测模型；

步骤3.2、根据TAN分类模型计算各个降雨量级别的先验概率、不同属性在不同降雨量级别下的条件发生概率，以及不同属性之间的联合概率分布；其中P(A)为先验概率，π(B_i)表示选择的多个预测因子；P(B_i|π(B_i))为求得的各属性变量及类别变量之间的条件概率；

步骤3.3、通过遍历取得降雨量类别变量中最大的概率，选择后验概率最大的值作为该天预测的天气情况。

本发明采用的技术方案与现有技术相比，具有以下技术效果：

(1)本方法利用MapReduce模型构造TAN降雨量分类预测方法，提高了计算效率。

(2)考虑了季节变换对降雨量的影响，相较于朴素贝叶斯提高了预测准确率。

附图说明

图1为基于MapReduce的降雨量预测方法具体流程图。

图2为属性变量离散图。

图3为降雨量MapReduce过程。

图4为TAN降雨量预测模型构造流程图。

图5为2005年1-12月降雨量预测正确率对比折线图。

具体实施方式

为了使本领域技术人员更好地理解本申请中的技术问题、技术方案和技术效果，下面结合附图和具体实施方式对本发明一种基于MapReduce的降雨量分类预测方法作进一步详细说明。

本发明的目的是利用MapReduce模型构造TAN降雨量分类预测方法，根据降雨量气候特点，建立相应的预测方法对降雨量进行分级预测。选取江苏省东台站1951年～2004年早8时到晚8时降雨数据作为实验数据，运用MapReduce计算模型实现类别变量及属性变量的各分级的数目统计。并使用TAN分类算法对降雨量进行分级预测。以2005年1～12月降雨数据作为预测样本，将改进后的TAN降雨量预测方法与朴素贝叶斯分类算法对比，实验结果表明改进后的TAN算法预测准确率优于传统的朴素贝叶斯分类算法。

本发明提出的基于MapReduce的降雨量分类预测方法，整体设计过程如图1所示，包括以下步骤：

步骤1：气象文件格式预处理及属性变量的选择；

步骤1.1：属性变量选择；根据相关系数计算公式其中a，b分别为待选预测因子与类别变量，a_i，b_i分别代表各相关预测因子与类别变量的样本，求得属性之间的相关性。获取给定预测条件的属性变量类别分别为降雨量、气压、气温、极端最高气温、极端最低气温、水汽压、相对湿度，风速为考虑季节因素，将月份分为四个季度也作为属性变量考虑构建TAN模型；

步骤1.2：属性变量离散化，首先降雨量的离散化，根据降雨量分级标准分为七个等级。

其中，32700代表微量降雨，30000+代表有雪天气；则共离散为九组类别；其余属性变量使用MDL(Minimum Description Length,最小描述长度)方法将数值离散化，离散结果如图2，其中“V10004”表示气压，“V12004”表示气温，“V12021”表示极端最高气温，“V12022”表示极端最低气温，“V13004”表示水汽压，“V13003”表示相对湿度，“V11002”表示风速，“C”表示降雨量的分类。

步骤2：MapReduce模型下对降雨量资料进行数据统计；MapReduce模型下进行数据统计使用云计算中Hadoop平台；

步骤2.1：确定所选预测因子之间的依赖关系，构建降雨量分级网络的最大生成树；构造降雨量分级网络的最大生成树，确定树中边的方向增加类别属性作为所有属性变量父类，添加其中的有向边；构造最大生成树时，计算各属性{B1，B2....Bn}之间的条件互信息I(B_i；B_j|A),i≠j， $I(B_i;B_j|A)=\underset{b_i,b_j,a}{\mathrm{\&Sigma;}}P(b_i,b_j|a)\log \frac{P(b_i,b_j|a)}{P\left(b_i\right|a)P\left(b_i\right|a)},$ 其中a为类别变量，b_i，b_j分别为属性变量，求出给定a下，b_i的取值对b_j的影响。

本发明利用MapReduce模型构造TAN降雨量分类预测方法，采用分布式节点统计降雨量资料中各个降雨量类别及各个属性变量符合给定预测条件的数目；

步骤2.2：搭建Hadoop测试集群；

步骤2.3：统计出降雨量资料中各降雨量级别变量及属性变量的各个级别发生次数，具体描述如下：

步骤2.3.1：统计各个降雨量级别map过程如下，输入<key,value>值，其中key为偏移量，value为行内容，定义precipitation存储map结果；格式为<降雨量标识，1>；

步骤2.3.2：进入reduce过程，输入map结果,此时key值为降水量级别，value值为1，遍历map结果，计算各个降雨量标识次数；如图3所示；

步骤2.3.3：根据属性变量标识，输入<key，value>值，map将降雨量文件中给定预测属性变量之间及与降雨量各个标识之间同时发生条目输出，输出格式为<属性标识,1>，reduce统计出各个属性标识与不同降雨量级别同时发生的总数。

步骤3：将历年降雨量资料分为训练集以及测试集，对测试集建立TAN降雨量预测模型，从而对降雨量进行预测分析；如图4所示。

步骤3.1：将降雨量资料分为训练集以及测试集，对测试集建立TAN降雨量预测模型；

步骤3.2：根据TAN分类模型计算各个降雨量级别的先验概率、不同属性在不同降雨量级别下的条件发生概率，以及不同属性之间的联合概率分布；其中P(A)为先验概率，π(B_i)表示选择的多个预测因子，不仅包括降雨量，也包括其他的属性变量；P(B_i|π(B_i))为求得的各属性变量及类别变量之间的条件概率；

步骤3.3：通过遍历取得九个类别变量中最大的概率，选择后验概率最大的值作为该天预测的天气情况。

为了检验本发明的优越性，本发明搭建了Hadoop测试集群，并在Hadoop集群下运行并行程序，实验软硬件具体配置为：

VMware	版本：VMware Workstation8.0.4
		Ubuntu	版本：Ubuntu-12.04
Hadoop	版本：Hadoop-0.20.2
		Eclipse	版本：eclipse-3.3.2
JAVA	版本：jdk1.6.0_35(需1.6以上版本)
		硬件	六台普通电脑

Hadoop测试集群各节点具体状态如表所示：

云平台对处理大数据能力已得到很好的验证，其对大气象数据同样提高了运行效率，提高了时效性。同时考虑了实际环境，将TAN降雨量预测方法与传统朴素贝叶斯算法预测准确率作对比。并以东台站1951～2004年降雨量资料作为训练集，2005年1～12月作为测试样本，统计出每月预测的正确率，如图5所示。

实验结果可以看出TAN降雨量预测方法对降雨量的预测情况，1～6月以及11～12月的降雨量预测准确率高达90％以上，而朴素贝叶斯预测模型预测率相对偏低，对于7～9月，由于夏季降雨量偏多，预测误差相对偏大，TAN模型预测率只达到75％～80％，但仍高于朴素贝叶斯的预测准确率。对于十二月份，由于气候变得寒冷，其降雨量也相对偏少，朴素贝叶斯与TAN模型预测准确率均达90％以上，预测结果符合实际情况。

综上所述，本发明提出的改进后的TAN预测方法相较于朴素贝叶斯算法在运行效率及预测准确率均有提升，在气象大数据挖掘领域具有一定指导意义。

显然，本领域技术人员应当理解，对上述本发明所公开的基于MapReduce的降雨量分类预测方法，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (8)

1.一种基于MapReduce的降雨量分类预测方法，其特征在于：包括以下步骤：

步骤1、气象文件格式预处理及属性变量的选择；

步骤2、在MapReduce模型下对降雨量资料进行数据统计；

步骤3、将历年降雨量资料分为训练集以及测试集，对测试集建立TAN降雨量预测模型，从而对降雨量进行预测分析。

2.根据权利要求1所述的基于MapReduce的降雨量分类预测方法，其特征在于：步骤1具体包括以下步骤：

步骤1.1、属性变量选择；根据相关系数计算公式求得属性变量之间的相关性r_ab，从而获取给定预测条件的属性变量类别；

$r_{\mathrm{ab}}=\frac{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}(a_i-\stackrel{\&OverBar;}{a})(b_i-\stackrel{\&OverBar;}{b})}{\sqrt{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{(a_i-\stackrel{\&OverBar;}{a})}^2}\sqrt{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{(b_i-\stackrel{\&OverBar;}{b})}^2}},$

其中a，b分别为待选预测因子与类别变量，a_i，b_i分别代表各相关预测因子与类别变量的样本， $\stackrel{\&OverBar;}{a}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{a}_i,\stackrel{\&OverBar;}{b}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{b}_i;$

步骤1.2、将属性变量离散化：采用MDL方法将除降雨量以外的属性变量的数值离散化；对于降雨量的离散化，是根据降雨量分级标准将其分为若干等级得到。

3.根据权利要求2所述的基于MapReduce降雨量分类预测方法，其特征在于：步骤1.1中所述属性变量类别分别为降雨量、气压、气温、极端最高气温、极端最低气温、水汽压、相对湿度、风速，以及月份所对应的四个季度。

4.根据权利要求2所述的基于MapReduce降雨量分类预测方法，其特征在于：步骤1.2中根据降雨量分级标准，将降雨量分为小雨、中雨、大雨、暴雨、大暴雨、特大暴雨七个等级。

5.根据权利要求4所述的基于MapReduce降雨量分类预测方法，其特征在于：还包括微量降雨、有雪天气两个降雨量等级。

6.根据权利要求1所述的基于MapReduce降雨量分类预测方法，其特征在于：所述的步骤2在MapReduce模型下进行数据统计是使用云计算中Hadoop平台。

7.根据权利要求1或6任一所述的基于MapReduce降雨量分类预测方法，其特征在于：所述的步骤2具体包括以下步骤：

步骤2.1、确定所选预测因子之间的依赖关系，构建降雨量分级网络的最大生成树；

步骤2.2、搭建Hadoop测试集群；

步骤2.3、统计出降雨量资料中各降雨量级别变量及属性变量的各个级别发生次数，具体描述如下：

步骤2.3.1、统计各个降雨量级别map过程如下，输入<key,value>值，其中key为偏移量，value为行内容，定义precipitation存储map结果；格式为<降雨量标识，1>；

步骤2.3.2、进入reduce过程，输入map结果，此时key值为降水量级别，value值为1，遍历map结果，计算各个降雨量标识次数；

步骤2.3.3、根据属性变量标识，输入<key，value>值，map将降雨量文件中给定预测属性变量之间及与降雨量各个标识之间同时发生条目输出，输出格式为<属性标识,1>，reduce统计出各个属性标识与不同降雨量级别同时发生的总数。

8.根据权利要求1所述的基于MapReduce降雨量分类预测方法，其特征在于：所述的步骤3具体包括以下步骤：

步骤3.1、将降雨量资料分为训练集以及测试集，对测试集建立TAN降雨量预测模型；

步骤3.2、根据TAN分类模型计算各个降雨量级别的先验概率、不同属性在不同降雨量级别下的条件发生概率，以及不同属性之间的联合概率分布；其中P(A)为先验概率，π(B_i)表示选择的多个预测因子；P(B_i|π(B_i))为求得的各属性变量及类别变量之间的条件概率；

步骤3.3、通过遍历取得降雨量类别变量中最大的概率，选择后验概率最大的值作为该天预测的天气情况。