CN102956023B - 一种基于贝叶斯分类的传统气象数据与感知数据融合的方法 - Google Patents

Abstract

本发明提供了一种基于贝叶斯分类的传统气象数据与感知数据融合的方法，在朴素贝叶斯分类器的基础上，公开了一种1-依赖分类器与属性加权相结合的贝叶斯分类改进算法—ODAWNB(One-dependence？Attribute？Weighted？Naive？Bayes)方法，改进现有的朴素贝叶斯算法，适当放松属性间必须相互独立这一限制，在效率和分类精度之间找到一个折中点，最好地完成雷达数据与用户感知数据之间的融合。本发明包括如下步骤：数据预处理，根据训练样本数据构造分类器，利用构造的分类器对待分类的样本进行分类。

Description

一种基于贝叶斯分类的传统气象数据与感知数据融合的方法

技术领域

本发明涉及气象观测和预警技术领域，尤其是涉及一种传统气象数据与用户参与感知数据融合的方法。

背景技术

气象观测是研究测量和观察地球大气的物理和化学特性以及大气现象的方法和手段的一门学科。观测的对象主要有大气气体成分浓度、气溶胶、温度、湿度、压力、风、大气湍流、蒸发、云、降水、辐射、大气能见度、大气电场、大气电导率以及雷电、虹、晕等现象和参数。大气探测技术的发展为减轻或避免自然灾害造成的损失提供了条件。气象观测记录和依据它编发的气象情报，除了为天气预报提供日常资料外，还通过长期积累和统计，加工成气候资料，为农业、林业、工业、交通、军事、水文、医疗卫生和环境保护等部门进行规划、设计和研究，提供重要的数据。采用大气遥感探测和高速通信传输技术组成的灾害性天气监测网，已经能够十分及时地直接向用户发布龙卷风、强降雨和冰雹等灾害性天气警报。

由于传统气象数据（如雷达回波图）提供的信息对应区域较广，不能最全面地为气象预警决策服务，若加之当地实时采集到的数据（如移动终端外接传感器采集装置），把两者进行融合，则能够得知精确位置的天气信息，使得气象预报更准确。

为获得准确的气象数据需要采集多个信息源传递的观测数据，由单个传感器所获得的信息通常是不完整、不连续或不精确的，此时其他的信息源如果可以提供补充数据，融合多种信息源的数据，就能够产生—个有关场景的更一致的解释，而使不确定性大大降低。我们把雷达回波图解析到的数据视为传统数据，多类多源和多平台传感器获取的数据视为感知数据，将这两种数据进行判别处理综合分析，充分利用雷达数据的实时性、宏观性与传感器数据之间的互补关系，考虑传感网条件下的多维、多尺度、高动态、多耦合等复杂的数据与信息关系，对数据处理采用新的策略，实现对多源观测数据的协同处理。通过对参与感知数据提取，统计、分析形成分类的灾害预警规则和预警阈值体系。对于传统气象数据与参与感知数据的处理，即是将两者进行融合。

所谓数据融合技术，是指利用计算机对按时序获得的若干观测信息，在一定准则下加以自动分析、综合，以完成所需的决策和评估任务而进行的信息处理技术。数据融合在多信息源、多平台和多用户系统内起着重要的处理和协调作用，保证了数据处理系统各单元与汇集中心间的连通性与及时通信。通过信息融合将多个气象信息传感器检测到的信息与雷达观测事实进行科学、合理的综合处理，可以提高状态监测和灾害智能化程度。而这种数据融合从本质上说是一个参数估计问题，或者说是一个算法问题。

贝叶斯分类是统计学分类方法，它是一类利用概率统计知识进行分类的算法。在许多场合，朴素贝叶斯(NaiveBayes，NB)分类算法可以与决策树和神经网络分类算法相媲美，该算法能运用到大型数据库中，且方法简单、分类准确率高、速度快。由于贝叶斯定理假设一个属性值对给定类的影响独立于其它属性的值，而此假设在实际情况中通常是不成立的，因此其分类准确率可能会下降。为此，就出现了许多降低独立性假设的贝叶斯分类算法，如TAN(TreeAugmentedBayesNetwork)算法和LB(LargeBayes)算法。但TAN算法也存在缺陷，所需要的数据存储容量过大，计算速度相对而言就会减慢，导致算法效率降低。而LB算法利用了类似Apriori的频繁项集挖掘算法找出训练集中的频繁项集。由于LB仅使用有限项乘积来估计概率，因此必须优先选择那些能为分类提供新信息的项集。为此，LB为每个项集定义了兴趣度。兴趣度用项集所有低一阶的子集来近似估计该项集的偏差来定义，偏差越大代表该项集包含的信息越多。在频繁项集挖掘过程中，加入了兴趣度约束来保证得到的项集包含对分类有用的信息；在分类阶段，同样也优先选择兴趣度高的项集参与分类。但是它仅使用一个分类器，只使用了有限的部分频繁项集，而且引入了兴趣度度量，还有一系列的规则从众多频繁项集中选择一部分来对测试样本进行分类。这种模型选择加大了计算开销，同时浪费了许多对于分类有用的频繁项集。

发明内容

为解决上述问题，本发明在朴素贝叶斯分类器的基础上，公开了一种1-依赖分类器与属性加权相结合的贝叶斯分类改进算法—ODAWNB(One-dependenceAttributeWeightedNaiveBayes)方法，改进现有的朴素贝叶斯算法，适当放松属性间必须相互独立这一限制，在效率和分类精度之间找到一个折中点，最好地完成雷达数据与用户感知数据之间的融合。

由于对于每个属性选择它所依赖的属性会带来额外的计算开销，也会增加分类器的易变性，因此为了避免模型选择，我们选择那些被其他所有属性依赖的属性，然后用这些属性构造若干1-依赖分类器，并将这些分类器对每个类别的预测集成起来。同时，为了避免由于样本少而导致概率估值不准确，只选择那些属性取值在训练样本中出现次数大于某个阈值的l-依赖分类器。另外，不同属性对分类结果的影响程度不同，利用属性权值参数的学习来提高分类性能，得到最终的分类器表达式：

；在分类过程中，则分步计算训练样本每个类别中每个属性的每个取值的概率及其估计、、、，代入分类器即可得到最终的分类结果。

具体地说，基于贝叶斯分类的传统气象数据与感知数据融合的方法，包括以下步骤：

步骤1，首先对数据进行预处理：针对训练样本和待分类样本，对各样本缺失的属性进行补齐和离散化，使各数据项标准化，以便继续其后的运算步骤；

步骤2，构造分类器：

步骤2.1，扫描所有训练样本,设每个训练样本具有属性组，训练样本被分为c个类别。每个训练样本都具有类别，统计训练样本中,类标签为（ ，k=1,2,…,c）,属性（ ，i=1,2,…,n）取值为d的样本个数#(=d∧),形成属性下的取值d属于类别的样本数量统计表；

步骤2.2，概率参数学习：计算所有的先验概率P(=d|)，即在类别中属性的取值为d的概率,每个属性值d的条件概率P(=d|)=(k=1,2,…,c)；计算每个类别中每个属性的每个取值的概率及其估计、、、，和是和在训练数据集上的估计，由此形成各属性值的概率表，其中，是类别中的训练样本数量；

步骤2.3，权值参数学习：根据前述的数量统计表,计算每个属性的权值，其中表示训练样本中属性的取值个数，为训练样本中取值为d的数量，由此生成各属性值的权值列表；

步骤2.4，按照ODAWNB方法构造出分类器：选择训练样本属性组中被其他所有属性依赖的属性，然后用这些属性构造若干1-依赖分类器，并将这些分类器对每个类别的预测集成起来，构造出分类算法公式：

；

步骤3，利用步骤2中构造的分类器对待分类样本进行分类，将待分类样本作为输入参数，利用分类器进行计算，计算出一个类别，使得分类器得出的值最大。

作为本发明的一种改进方案，为了避免由于样本少而导致概率估值不准确，只选择属性取值在训练样本中出现次数大于某个阈值的l-依赖分类器，在步骤2.4中设定m是一个阈值，是属性取值为的训练样本的数目，如果存在i满足，则提供分类计算公式：

；如果不存在i满足，则使用朴素贝叶斯分类器。

作为本发明的一种改进方案，为进一步提高计算效率，在步骤1中对数据进行预处理时，对各属性值采用四舍五入取整的方法进行处理。

本发明提供的1-依赖分类器与属性加权相结合的贝叶斯分类改进算法—ODAWNB(One-dependenceAttributeWeightedNaiveBayes)方法，有效地改进现有的朴素贝叶斯算法，分类准确率高，有效提高计算效率。同时，更进一步地避免了由于样本少而导致概率估值不准确产生的缺陷。

附图说明

图1是本发明的整体处理流程图。

图2是本发明方法训练样本的参数求解步骤图。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

如图1，图2所示，本发明提供的传统气象数据与用户参与感知数据融合的方法，具体包括如下步骤：

步骤1，首先对数据预处理：需要处理的数据有训练样本和待分类样本，训练样本为大量的天气实例数据，待分类样本为需要进行分类判断的当前数据。

待分类样本数据包括传统数据信息和感知数据。例如，从雷达回波图解析到一个较大区域（如整个南京地区）的温度、风速、光照等信息为传统数据，一手机用户在南京市浦口区盘城镇通过手机外接的传感器获取到其所在位置的气压、湿度、辐射等信息为感知数据，那么将传统数据和感知数据两者有效融合起来，就能形成更有利、更准确的南京市浦口区盘城镇气象预报信息，精确判定该地区目前是否属于强风、暴雨等恶劣天气。

设每个训练样本具有属性组，训练样本被分为c个类别。每个训练样本都具有类别，针对上述训练样本和待分类样本，对各样本缺失的属性进行补齐和离散化，使各数据项标准化，以便继续其后的运算步骤；

步骤2，根据训练样本数据构造分类器：

步骤2.1，扫描所有训练样本,设每个训练样本具有属性组，训练样本被分为c个类别。每个训练样本都具有类别，统计训练样本中,类标签为（ ，k=1,2,…,c）,属性（ ，i=1,2,…,n）取值为d的样本个数#(=d∧),形成属性下的取值d属于类别的样本数量统计表。

例如，南京市浦口区盘城镇的传统气象数据和感知数据构成属性组（温度，风速，光照，气压，湿度，辐射），它们对应，以属性为例，该属性为温度，温度有多个取值，如18°，19°，22°等。类别有{晴，多云，阴，小雨，中雨，暴雨}，它们对应。首先在训练样本中，统计每个属性下各取值在不同类别下的个数，例如各样本中属性温度分别为18°、19°、19°、18°、22°，类别分别为中雨、多云、晴、多云、晴，则统计出训练样本中属性温度取值为18°时，类别为晴的个数为0，类别为多云的个数为1，类别为阴的个数为0，类别为小雨的个数为0，类别为中雨的个数为1，类别为暴雨的个数为0；训练样本中属性温度取值为19°时，类别为晴的个数为1，类别为多云的个数为1，类别为阴的个数为0，类别为小雨的个数为0，类别为中雨的个数为0，类别为暴雨的个数为0；训练样本中属性温度取值为22°时，类别为晴的个数为1，类别为多云的个数为0，类别为阴的个数为0，类别为小雨的个数为0，类别为中雨的个数为0，类别为暴雨的个数为0；由此形成属性组各取值在不同类别下的样本数量统计表。

步骤2.2，概率参数学习：计算所有的先验概率P(=d|)，即在类别中属性的取值为d的概率,每个属性值d的条件概率P(=d|)=(k=1,2,…,c)；计算出待分类样本在每个类别中每个属性的每个取值的概率及其估计、、、，例如天气为“晴”时温度为“22℃”的概率，形成各属性值的概率表。

其中，是类别中的训练样本数量。

步骤2.3，权值参数学习：根据前述的数量统计表,计算每个属性的权值，其中表示训练样本中属性的取值个数，为训练样本中取值为d的数量。采取这种形式,可以避免权值为0。在属性取值d的情况下,如果某个类的实例数比较多,将会获得较大的加权值。也就是说,与类别关联较强的属性取值会获得较大的权重，获得各属性对分类结果的重要程度，由此生成各属性值的权值列表。

步骤2.4，按照ODAWNB方法构造出分类器：选择训练样本属性组中被其他所有属性依赖的属性，然后用这些属性构造若干1-依赖分类器，并将这些分类器对每个类别的预测集成起来。同时，为了避免由于样本少而导致概率估值不准确，只选择属性取值在训练样本中出现次数大于某个阈值的l-依赖分类器。设定m是一个阈值，用来控制条件概率估计的可靠性，可以视历史情况而定，即m需要预先设定并能依据现实进行修改。如果存在i满足 ，则构造出如下对于待分类样本的分类算法公式：；其中，是属性取值为的训练样本的数目，和是和在训练数据集上的估计。如果不存在i满足，则使用朴素贝叶斯分类器。

步骤3，利用步骤2中构造的分类器对待分类样本进行分类，调用前述概率表及属性权值列表,利用步骤2中构造出的分类器对待分类样本进行分类，得出分类结果。将待分类样本作为输入参数，利用分类器进行计算，计算出这样一个类别，使得分类器得出的值最大，那么本属性组就属于这个类别。

由于属性取值范围较广，为提高计算效率，在对数据进行预处理时，我们可以采用四舍五入取整的方法，例如24.7℃即取做25℃。

本发明方案所公开的技术手段不仅限于上述技术手段所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。

Claims (3)

1.一种基于贝叶斯分类的传统气象数据与感知数据融合的方法，其特征在于，包括以下步骤：

步骤1，首先对数据进行预处理：针对训练样本和待分类样本，对各样本缺失的属性进行补齐和离散化，使各数据项标准化，以便继续其后的运算步骤；

步骤2，根据训练样本数据构造分类器：

步骤2.1，扫描所有训练样本,设每个训练样本具有属性组{A₁,A₂,…,A_n}，训练样本被分为c个类别{y₁,y₂,…,y_c}；每个训练样本都具有类别，统计训练样本中,类标签为y_k(y_k∈{y₁,y₂,…,y_c}，k＝1,2,…,c),属性A_i(A_i∈{A₁,A₂,…,A_n}，_i＝1,2,…,n)取值为d的样本个数#(A_i＝d∧y_k),形成属性A_i下的取值d属于类别y_k的样本数量统计表；

步骤2.2，概率参数学习：计算所有的先验概率P(A_i＝d|y_k)，即在类别y_k中属性A_i的取值为d的概率,每个属性值d的条件概率 $P(A_i=d|y_k)=\frac{\#L(A_i={\mathrm{d\Λy}}_k)}{S_k},(k=1,2,...,c);$ 计算每个类别中每个属性的每个取值的概率及其估计P(y_k,x_i)、P(x_j|y_k,x_i)、 和是P(y_k,x_i)和P(x_j|y_k,x_i)在训练数据集上的估计，由此形成各属性值的概率表，其中，s_k是类别y_k中的训练样本数量；

步骤2.3，权值参数学习：根据前述的数量统计表,计算每个属性的权值其中n(s_i)表示训练样本中属性A_i的取值个数，#(A_i＝d)为训练样本中A_i取值为d的数量，由此生成各属性值的权值列表；

步骤2.4，按照ODAWNB方法构造出分类器：选择训练样本属性组中被其他所有属性依赖的属性，然后用这些属性构造1-依赖分类器，并将这些分类器对每个类别的预测集成起来，构造出分类算法公式：

$y\left(X\right)=\underset{y_k}{\arg \max }\left(\underset{i:1\≤i\≤n\mathrm{\Λ}F\left(x_i\right)\≥m}{\Σ}\stackrel{\mathrm{\Λ}}{P}\right(y_k,x_i)\underset{j=1}{\overset{n}{\Π}}\stackrel{\mathrm{\Λ}}{P}{\left(x_j\right|y_k,x_i)}^{W_{A_{j_{,d,k}}}}),$

式中，m是一个阈值，F(x_i)是属性A_i取值为x_i的训练样本的数目，n是属性组中属性的个数，y_k为类标签，和是P(y_k,x_i)和P(x_j|y_k,x_i)在训练数据集上的估计；

步骤3，利用步骤2中构造的分类器对待分类样本X进行分类，将待分类样本X作为输入参数，利用分类器进行计算，计算出一个类别，使得分类器得出的值最大。

2.根据权利要求1所述的基于贝叶斯分类的传统气象数据与感知数据融合的方法，其特征在于：在步骤2.4中如果存在i满足1≤i≤nΛF(x_i)≥m，则提供分类计算公式：

$y\left(X\right)=\underset{y_k}{\arg \max }\left(\underset{i:1\≤i\≤n\mathrm{\Λ}F\left(x_i\right)\≥m}{\Σ}\stackrel{\mathrm{\Λ}}{P}\right(y_k,x_i)\underset{j=1}{\overset{n}{\Π}}\stackrel{\mathrm{\Λ}}{P}{\left(x_j\right|y_k,x_i)}^{W_{A_{j_{,d,k}}}});$

如果不存在i满足1≤i≤nΛF(x_i)≥m，则使用朴素贝叶斯分类器。

3.根据权利要求1或2所述的基于贝叶斯分类的传统气象数据与感知数据融合的方法，其特征在于：在步骤1中对数据进行预处理时，对各属性值采用四舍五入取整的方法进行处理。