CN104392400A - 一种电力营销缺失数据补全方法 - Google Patents

Abstract

本发明公开一种电力营销缺失数据补全方法。基于电力数据在采集过程中的大量缺失问题进行分析，在对比一般贝叶斯方法和双尺度贝叶斯方法后，对方法进行了综合改进，使其适应于关联关系较弱、而独立性较强的电力营销数据中。同时将该算法用于数据集中进行测试，效果具有一定的提高。后续需要在营销系统中进行海量数据应用，使补全的数据能满足进一步营销数据挖掘。

Description

一种电力营销缺失数据补全方法

技术领域

本发明涉及电力系统数据处理领域。

背景技术

数据缺失即数据不完整，表现在数据库中，即为该记录属性为空，通常数据缺失从缺失机制上可以分为完全性随机缺失、随机性缺失以及非完全性随机缺失。

从对象是否存在属性缺失，可以把变量分为不完全变量，即指存在数据缺失的变量或者属性；完全变量，即数据集数据完整，不含缺失属性。

现实条件下，数据缺失的主要原因可以归为以下几类：

(1)无法有效使用的数据

这类数据，主要是指统计属性对于对象主体不具有实际意义，例如：该用户用电量为0,但其用电时间统计非0，则该数据是无效数据。

(2)遗漏数据

比如，由于采集设备问题，数据采集过程中造成的数据缺失，同时由于采集过程不可逆，采集实时性要求很高，则不能通过其他方法获取数据。或者，由于系统设计有问题，用户在数据填写过程中，某一数据的漏填或者采集不全。

(3)无法获取的数据

由于人为或者系统问题，在短期内无法实现采集的数据。比如说，医院临床检验的时候，在一段时间内，有些数据无法得到。

(4)获取代价很大的数据

采集需要耗费大量的人力和物力导致采集方无法进行全面的数据采集而造成的缺失。

现有的缺失数据补全方法包括以下几种：

(1)删除法

将含有缺失数据的对象全部属性删除，剩余数据集作为整体进行数据处理。根据研究对象的特征，删除法又包括：配对删除、列表删除、个案删除三种。

(2)常量补全

常量补全基于对数据集的研究上，对于不同的数据集，根据该对象属性的数据特性，采用一个固定的常量值进行补全，也可以针对数据全集进行全局数据补全。例如，常用Null代替关系型数据库中的缺失数据。

(3)简单补全

指利用简单易懂的公式进行数据的补全。例如，在缺失数据附近进行欧式距离计算，确定K个相邻数据，将这几个数据进行加权均值计算，作为补全数据。该方法的缺点是，进行欧式距离计算时，需要进行数据遍历，真对大量数据计算效率较低。

(4)统计补全

通过对已知的数据集进行统计方法计算，对缺失数据进行补全。根据数据特点，可以对数据集进行总体统计补全，也可以将数据集分组，进行组内统计补全。

(5)复杂估算方法补全

该方法是目前较为有效的缺失数据补全方法。基于全局数据，进行模型建立，预测每一个缺失的数据进行补全。主要方法有：回归模型补全方法、贝叶斯补全方法、决策树补全方法、期望值最大化补全方法等。

由于电力营销数据来源广泛、类型复杂，在数据仓库建立过程中，数据冗余和不一致、噪音数据、表示方法错误、数据缺失等问题严重干扰了数据挖掘的结果，上述补全方法仍然不能够完全解决这些问题。

发明内容

本发明基于对数据缺失现象的原因分析，提出双尺度贝叶斯数据补全方法，以解决数据挖掘前期数据缺失问题。

为实现本发明目的而采用的技术方案是这样的，一种电力营销缺失数据补全方法，其特征在于：

1)采集电力营销数据，并将这些数据保存在数据集中，所述数据集中有N个记录，每个记录有M个属性；数据集中任意一个纪录记为记录x，x为纪录的序列号，取值为自然数；记录x的属性分别为X₁,……,X_M；令c₁,...,c_L是X_i样本空间的划分，i＝1、2……m；属性X_i的分类个数为L_i；N_i代表了包含已知X_i属性的记录个数；当X_i等于它的第K个分类时，c_ik的记录的个数设为N_ik；N_jr|ik是当X_j等于它的第r个分类c_jr的记录的个数；

2)计算纪录x的属性Xi缺失概率：P(c_k/X)'：

计算每一个属性的先验概率:

P(X_i＝c_ik)＝N_ik/N_i

i＝1,...,M；k＝1,...,L_i

计算当X_i＝c_ik时，属性X_j的后验概率：

P(X_j＝c_jr|X_i＝c_ik)＝N_jr|ik/N_ik

j＝1,...,M；j≠i；r＝1,...,L_j

当记录x的属性X_i存在一个缺失时，令J为x的非缺失数据索引；

当X_i＝c_ik:时，计算X_J条件概率，在此表示为修正因子：

θ＝P(X_J|X_i＝c_ik)

＝N_J|ik/N_ik,

X_J＝X₁∩X₂∩……X_j∩……∩X_M；j≠i

后验概率P₁的计算公式如下：

$\begin{array}{c}P1=P(X_i=c_{\mathrm{ik}}|X_J)\\ =\frac{1}{P\left(X_J\right)}P(X_i=c_{\mathrm{ik}})\underset{j\∈J}{\mathrm{\Π}}P(X_j=c_{\mathrm{jr}}|X_i=c_{\mathrm{ik}}),k=1,...,L_i\end{array}$

后验概率P₂的计算公式如下：

$\begin{array}{c}P1=P(X_i=c_{\mathrm{ik}}|X_J)\\ =\frac{1}{P\left(X_J\right)}P(X_i=c_{\mathrm{ik}})\min P(X_j=c_{\mathrm{jr}}|X_i=c_{\mathrm{ik}}),k=1,...,L_i\end{array}$

最终计算公式为：

P(c_k/X)'＝P1+(P2-P1)*θ

3)当计算出缺失数据概率后，采用最大概率填充法、概率分布填充法或权值填充法，进行缺失数据填充。

本发明的技术效果是毋庸置疑的。通过对数据挖掘中，数据缺失问题的分析，获知了数据缺失的原因以及常用的补全方法。在此基础上，对朴素贝叶斯算法进行了改进，并通过三种补全方法在数据集上的实施例，验证了新方法的有效性。该方法可以进一步进行电力营销数据的补全应用。

具体实施方式

下面结合实施例对本发明作进一步说明，但不应该理解为本发明上述主题范围仅限于下述实施例。在不脱离本发明上述技术思想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的保护范围内。

1)采集电力营销数据，并将这些数据保存在数据集中，所述数据集中有N个记录，每个记录有M个属性；数据集中任意一个纪录记为记录x，x为纪录的序列号，取值为自然数；记录x的属性分别为

X₁,……,X_M；令c₁,...,c_L是X_i样本空间的划分，i＝1、2……m；属性X_i的分类个数为L_i；N_i代表了包含已知X_i属性的记录个数；当X_i等于它的第K个分类时，c_ik的记录的个数设为N_ik；N_jr|ik是当X_j等于它的第r个分类c_jr的记录的个数；

2)计算纪录x的属性Xi缺失概率：P(c_k/X)'：

实施例中，贝叶斯理论在应用于数据补全时，需要说明几个问题：

1)先验概率：

设S为随机实施例E的样本空间，对于任意一个事件A有概率P(A)，且0≤P(A)≤1，P(S)＝1。对于不相容事件的事件A₁，A₂，……，A_n，有

$P\left(A\right)=P\left(\underset{i=1}{\overset{\∞}{\mathrm{\Σ}}}\mathrm{Ai}\right)=\underset{i=1}{\overset{\∞}{\mathrm{\Σ}}}P\left(\mathrm{Ai}\right)$

则称P(A)为A发生的先验概率。由于该事件的发生不经过实施例证明，所以是通过主观判断形成的，所以称为先验概率。

2)条件概率：

假设A、B为随机实施例E中的两个任意事件，当A发的情况下，B发生的概率，我们表示为P(B|A)，

P(B|A)＝P(AB)/P(A)

该公式为条件概率公式，P(AB)为两个事件同时发生的概率。

3)全概公式的定义：

假设B₁，B₂，…，B_n为样本空间S的一个划分，且P(B_i)>0，i＝l，2，…，n，则对任一事件A属于S，有

P(A)＝P(A|B₁)P(B₁)+P(A|B₂)P(B₂)+……+P(A|B_n)P(B_n)

该公式称为全概率公式。

4)贝叶斯公式：

假设S中存在A、B两个事件，设B为B的逆事件，则A的边际概率为：

$P\left(A\right)=P\left(A\right|B)P\left(B\right)+P\left(A\right|\stackrel{\‾}{B})P\left(\stackrel{\‾}{B}\right)$

$P\left(B\right|A)=\frac{P\left(A\right|B)P\left(B\right)}{P\left(A\right|B)P\left(B\right)+P\left(A\right|\stackrel{\‾}{B})P\left(\stackrel{\‾}{B}\right)}$

这是贝叶斯定理的最简单的表达式。

一般情况下，令B₁，B₂，…，B_n，为样本空间S的一个划分，且P(B_i)>0，i＝1，2，…，n,对任意的随机事件A属于S，若P(A)>0，则有贝叶斯公式

$P\left(B_i\right|A)=\frac{P\left(A\right|B_i)P\left(B_i\right)}{{\mathrm{\Σ}}_{i=1}^{n}P\left(A\right|B_i)P\left(B_i\right)},i=1,......,n$

在数据补全方面，通常使用的是朴素贝叶斯分类方法。该方法具有较好的计算效率，同时可以避免人为划分属性造成的疏漏和错误。

下面引入贝叶斯定理在数据补全方面的公式。c₁,...,c_L是样本空间的划分。对样本空间的任一的事件X，都有

$P\left(c_k\right|X)=\frac{P\left(c_k\right)P\left(X\right|c_k)}{\underset{r=1}{\overset{L}{\mathrm{\Σ}}}P\left(c_r\right)P\left(X\right|c_r)},k=1,...,L$

P(c_k)是先验概率，P(c_k|X)是后验概率。P(c_k)计算较为容易。对于高维数据进行P(X|c_k)计算时，需要的时间代价较高。因此，朴素贝叶斯方法提出属性直接的相互独立假设，来进行P(X|c_k)的计算。

假设对象共有M个属性，其中有一个Xj有类划分为c_k，则有下面的公式成立：

$P\left(X\right|c_k)=\underset{j=1}{\overset{M-1}{\mathrm{\Π}}}P\left(x_j\right|c_k)$

应用于数据补全时，算法描述如下：

假设数据集中的N条记录有M个属性。

Ni代表了包含已知Xi属性的记录个数，Nik是当Xi等于它的第K个分类cik的记录的个数，Njr|ik是当Xj等于它的第r个分类cjr的记录的个数,且当Xi＝cik,j≠i时。

1)计算属性的先验概率：

P(X_i＝c_ik)＝N_ik/N_i,i＝1,...,L_i

2)当Xi＝cik时，Xj的条件概率：

P(X_j＝c_jr|X_i＝c_ik)＝N_jr|ik/N_ik,j＝1,...,M；j≠i；r＝1,...L_j

3)如果X属性缺失，并且此属性值属于Xi，设J为X记录里所有非缺失值的索引集合，计算后验概率。

$P(X_i=c_{\mathrm{ik}}|X_J)=\frac{P(X_i=c_{\mathrm{ik}})}{P\left(X_J\right)}\underset{j\∈J}{\mathrm{\Π}}P(X_j=c_{\mathrm{jr}}|X_i=c_{\mathrm{ik}}),k=1,...,L_i$

计算每一个属性的先验概率:

P(X_i＝c_ik)＝N_ik/N_i

i＝1,...,M；k＝1,...,L_i

计算当X_i＝c_ik时，属性X _j的后验概率：

P(X_j＝c_jr|X_i＝c_ik)＝N_jr|ik/N_ik

j＝1,...,M；j≠i；r＝1,...,L_j

基于上述分析，本专利提供一种改进的方法，即当记录x的属性

X_i存在一个缺失时，令J为x的非缺失数据索引；当X_i＝c_ik:时，

计算X_J条件概率，在此表示为修正因子：

θ＝P(X_J|X_i＝c_ik)

＝N_J|ik/N_ik,

X_J＝X₁∩X₂∩……X_j∩……∩X_M；j≠i

后验概率P₁的计算公式如下：

$\begin{array}{c}P1=P(X_i=c_{\mathrm{ik}}|X_J)\\ =\frac{1}{P\left(X_J\right)}P(X_i=c_{\mathrm{ik}})\underset{j\∈J}{\mathrm{\Π}}P(X_j=c_{\mathrm{jr}}|X_i=c_{\mathrm{ik}}),k=1,...,L_i\end{array}$

后验概率P₂的计算公式如下：

$\begin{array}{c}P1=P(X_i=c_{\mathrm{ik}}|X_J)\\ =\frac{1}{P\left(X_J\right)}P(X_i=c_{\mathrm{ik}})\min P(X_j=c_{\mathrm{jr}}|X_i=c_{\mathrm{ik}}),k=1,...,L_i\end{array}$

最终计算公式为：

P(c_k/X)'＝P1+(P2-P1)*θ

值得说明的是，假设属性的平均分类为L，数据总量为N，则算法时间复杂度为O(NML)。当N足够大时，时间复杂度与N呈线性正比关系。

空间复杂度与计算过程中存储的中间值相关，一般来说，后验概率值不需要存储，缺失填充后就删掉进行下一轮计算。则先验和条件概率分别是O(ML)和O(M²L²)。

此外，该算法对数据集和参数不做具体设定，具有普遍适用性。

3)当计算出缺失数据概率后，采用最大概率填充法、概率分布填充法或权值填充法，进行缺失数据填充：

1)最大概率填充法

即使用概率最大的分类值来进行缺失数据填充。

以表3.1中的数据进行双尺度贝叶斯缺失数据预测：

表3.1 样本数据库

第12条中Incom缺失数据high的预测结果大于low，则对其进行high填充。同样的方法用于其它缺失数据。则表格补全后，如下表所示：

表3.2 MaxPost填充缺失数据

2)概率分布(PropPost)填充法

针对表3.1里的第12条和第13条缺失数据来说，Income的“low”和“high”的预测概率分别为0.4201和0.5799。因此，在这两条记录里面的“Income”值，更可能有一个“low”，另一个是“high”。

表3.3 PropPost填充缺失数据

3)权值填充法

将缺失数据的概率参数填充到数据集中，补全结果如下表所示：

表3.4 带权值的方法填充缺失数据

算法实施例及结果分析：

本实施例选取了机器学习仓库中的3个数据集进行验证。第一个是病例数据集Breast Cancer，具体数据包括：结果、身体状况、年龄、测试方法等9个分类属性。第二个是车辆数据集Car Evaluation，共包含6个分类属性，每个属性至少有4个子分类，1700条记录。第三个数据集为Nursery，共12960条记录，8个分类属性。

由于实施例为缺失数据补全验证，我们将数据集中的数据进行随机缺失设置。通过预测后的填充结果与之前数据进行比较，来验证算法的有效性。

●准确率＝(缺失数据中预测正确的个数/缺失数据的总个数)*100％

表3.5 三种方法预测的准确率

实施例表明，最高频率补全方法的效果最差，双尺度贝叶斯效果最好。因为双尺度贝叶斯对朴素贝叶斯进行了改进，同时使用最大概率补全。

●错误率E的计算如下：

$E=\frac{1}{\left|T\right|}\underset{t=1}{\overset{\left|T\right|}{\mathrm{\Σ}}}\frac{|{Q_t}^{`}-Q_t|}{Q_t}$

T代表了所有的频繁项集。Q_t是指原数据中第t个频繁项集的支持度。Q_t`是指经过人为删除数据后又补全的数据库中相同的频繁项集的支持度。

实施例结果如下：

表3.6 错误率E对比结果

实施例结果表明：双尺度贝叶斯方法具有较高的补全效果，最大概率补全的效果，远低于分布补全方法。

Claims (1)

1.一种电力营销缺失数据补全方法，其特征在于：

1)采集电力营销数据，并将这些数据保存在数据集中，所述数据集中有N个记录，每个记录有M个属性；数据集中任意一个纪录记为记录x，x为纪录的序列号，取值为自然数；记录x的属性分别为X₁,……,X_M；令c₁,...,c_L是X_i样本空间的划分，i＝1、2……m；属性X_i的分类个数为L_i；N_i代表了包含已知X_i属性的记录个数；当X_i等于它的第K个分类时，c_ik的记录的个数设为N_ik；N_jr|ik是当X_j等于它的第r个分类c_jr的记录的个数；

2)计算纪录x的属性Xi缺失概率：P(c_k/X)'：

计算每一个属性的先验概率:

P(X_i＝c_ik)＝N_ik/N_i

i＝1,...,M；k＝1,...,L_i

计算当X_i＝c_ik时，属性X_j的后验概率：

P(X_j＝c_jr|X_i＝c_ik)＝N_jr|ik/N_ik

j＝1,...,M；j≠i；r＝1,...,L_j

当记录x的属性X_i存在一个缺失时，令J为x的非缺失数据索引；

当X_i＝c_ik:时，计算X_J条件概率，在此表示为修正因子：

θ＝P(X_J|X_i＝c_ik)

＝N_J|ik/N_ik,

X_J＝X₁∩X₂∩……X_j∩……∩X_M；j≠i

后验概率P₁的计算公式如下：

$\begin{array}{c}P1=P(X_i=c_{\mathrm{ik}}|X_J)\\ =\frac{1}{P\left(X_J\right)}P(X_i=c_{\mathrm{ik}})\underset{j\∈J}{\mathrm{\Π}}P(X_j=c_{\mathrm{jr}}|X_i=c_{\mathrm{ik}}),k=1,...,L_i\end{array}$

后验概率P₂的计算公式如下：

$\begin{array}{c}P2=P(X_i=c_{\mathrm{ik}}|X_J)\\ =\frac{1}{P\left(X_J\right)}P(X_i=c_{\mathrm{ik}})\min \left(P(X_j=c_{\mathrm{jr}}|X_i=c_{\mathrm{ik}})\right),k=1,...,L_i\end{array}$

最终计算公式为：

P(c_k/X)'＝P1+(P2-P1)*θ

3)当计算出缺失概率后，采用最大概率填充法、概率分布填充法或权值填充法，进行缺失数据填充。