CN105488628A - 一种面向电力大数据可视化的数据挖掘方法 - Google Patents

Abstract

一种面向电力大数据可视化的数据挖掘方法。其包括获取所采集的由a₁,a₂,…,a_n共n个数据样本构成的电力营销数据集A，将n个数据样本中的数据聚类划分成k类，然后利用核函数将上述划分后的数据映射到核空间中，并确定出各聚类的中心；构建数据集A相对应的核矩阵；缩减核矩阵的规模；为全体数据样本a_j构造分类向量，然后根据上述步骤获取的缩减后的核矩阵Κ^*快速计算距离，更新分类向量，以重新确定该数据样本a_j的分类归属。本发明提供的面向电力大数据可视化的数据挖掘方法可以对营销数据进行有效的聚类和分类分析，可以更好地识别用户群体、获取分类用户用电特征，从而能够为电力营销智能化奠定基础。

Description

一种面向电力大数据可视化的数据挖掘方法

技术领域

本发明属于电力大数据数据融合与处理技术领域，特别是涉及一种面向电力大数据可视化的数据挖掘方法。

背景技术

电力关系经济发展、社会稳定和群众生活，电力需求变化是经济运行的“晴雨表”和“风向标”，能够真实、客观地反映国民经济的发展状况与态势。根据麦肯锡(McKinsey)2011年5月发布的《大数据：创新、竞争和生产力的下一个新领域》报告，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素。对于电力行业而言，电力生产涉及的运行工况、参数、设备运行状态等实时生产数据，现场总线系统所采集的设备监测数据以及发电量、电压稳定性等方面的数据，电力企业运营和管理数据，如交易电价、售电量、用电客户信息、ERP综合数据等，共同构成了“电力大数据”。不仅历史数据量巨大，而且实时采集及产生的数据量正迅速增长。目前面临的问题不仅是如何采集、存储和检索数据，关键是如何分析和利用此类数据并提供有价值的信息，进而全面管控电力企业业务，为电力企业管理和战略决策提供数据支撑。

由于电力大数据综合了电力企业的产、运、销及运营和管理数据，因此已成为电力企业深化应用、提升应用层次、强化集团企业管控的有力技术手段。例如，用电行为模式的认知是发现众多用电行为的规律，利用各类数据分析发现影响用电行为的各种关联因素。提取用电负荷、电量、电费台账、缴费信息、客户信息、电网网架结构、电价政策、天气参数等相关数据，建立多层次、多粒度、多刻面的用电行为模型，从不同分类视角(如行业、规模等)、不同时空粒度，综合全面描述用户用电行为，建立模式识别方法。并以此为依据，利用各类数据，从用电行为上将相似的用户聚类，并对每类用户的行为模式进行识别与分析，提取模式特征，支持用电行为模式的深入理解。而这些都必须通过数据分析来完成。

数据分析是大数据发挥其核心价值的重要流程，传统的分析技术有数据挖掘、机器学习、统计分析等，分析的结论可用于推荐系统、专家系统、商业智能和决策支持系统等。而聚类分析作为数据挖掘中的重要部分可以用来把大量电力客户分组，其中组内的客户具有非常类似的特征。聚类分析迎合电力大数据的应用需求，例如异常用能、反窃电分析，目前对于低压用户，主要是通过开盖次数或者用电量突增突减来确定是否有窃电的嫌疑；对于高压用户，通过检测电压、电流是否异常来确定是否有窃电的嫌疑。因为单纯通过这些数据得来的疑似用户较多，所以只能对疑似用户数的5％进行现场检查，完成确定工作。借助数据分析，进行用户用电行为特征分析，分析得出用电行为将作为历史数据存至大数据平台。从而确定用户有无异常用电行为和窃电行为。避免违章、违规用电，减少偷窃电行为，提升售电收入。同时，可对窃电重点区域设置预警功能。

在数据分析的基础上，终端用户往往最关心的是数据的展示方式，如果分析结果没有采用适当的解释方法，所得到的分析结论往往让用户难以理解，极端情况下甚至会误导用户。传统的解释方法仅是文本、图表等电脑终端上的直观显示，提升数据解释能力可以引入标签云(tagcloud)等数据可视化技术解决，甚至可以采用人机交互技术，在交互过程中逐步引导用户进入分析流程，达到最佳的数据解释效果。

电网业务数据大致可分为生产数据(如发电量、电压稳定性等数据)、运营数据(如交易电价、售电量、用电客户等数据)和管理数据(如ERP、一体化平台、协同办公等数据)。随着电网企业信息化建设的不断推进，电网企业的数据量、数据类型、来源等都有了巨大变化，数据量以几何级爆炸式速度增长，同时数据类型越来越复杂、多样。利用大数据的概念和技术，深度分析利用电网企业大容量、类型繁多的数据，能够获取大量的数据附加价值，为电网企业在大数据背景下的发展、管理、规划提供有效支撑。但目前尚缺少有效的面向电力大数据可视化的数据挖掘方法。

发明内容

为了解决上述问题，本发明的目的在于提供一种面向电力大数据可视化的数据挖掘方法。

为了达到上述目的，本发明提供的面向电力大数据可视化的数据挖掘方法包括按顺序执行的下列步骤：

步骤1)获取所采集的由a₁,a₂,…,a_n共n个数据样本构成的电力营销数据集A，其中数据样本a_i为多维向量，将上述n个数据样本中的数据聚类划分成k类，分别为C₁,C₂,…,C_k，然后利用核函数将上述划分后的数据映射到核空间中，并确定出各聚类的中心m₁,m₂,…,m_k；

步骤2)构建数据集A相对应的核矩阵；

步骤3)缩减核矩阵的规模：削减后的核矩阵记为Κ^*；

步骤4)为全体数据样本a_j构造分类向量，然后根据上述步骤获取的缩减后的核矩阵Κ^*快速计算距离，更新分类向量，以重新确定该数据样本a_j的分类归属。

在步骤1)中，所述的利用核函数将划分后的数据映射到核空间所采用的公式为： $\mathrm{\κ}(x_i,x_j)=\mathrm{\φ}\left(x_i\right)\mathrm{\φ}\left(x_j\right)=\exp (-\frac{\left|\right|x_i-x_j|{|}^2}{2{\mathrm{\σ}}^2})$

其中：

κ(x_i,x_j)表示核函数；

函数φ将x_i,x_j从输入空间R^d到一个新的空间R^D；

σ>0，是核函数的半径；

所述的确定各聚类的中心m₁,m₂,…,m_k所采用的公式为：

$m_{\mathrm{\δ}}=\frac{{\Σ}_{a_j\∈C_{\mathrm{\δ}}}\mathrm{\φ}\left(x_j\right)}{\left|C_{\mathrm{\δ}}\right|},$

其中|C_δ|为类C_δ的基数。

在步骤2)中，所述的构建数据集A相对应的核矩阵为：

其中：

Κ_ij＝κ⁽x_i,x_j)

κ(x_i,x_j)＝φ(x_i)φ(x_j)。

在步骤3)中，所述的缩减核矩阵的规模的具体方法为：

步骤3.1)以升序方式排列核矩阵Κ中第i行K_i,i＝1,2,…,n，得到一个排序向量r_i:r_ij,i＝1,2,…,n；其中：

${r_{ij}}^{\′}=\frac{1}{3}\underset{h=1}{\overset{3}{\Σ}}\frac{r_{i(j+h)}-r_{i(j-h)}}{2h}$

步骤3.2)将上一步骤中的r_i'二值化，然后以降序方式排列r_ij',j＝1,2,…,n，若r_ij'为排序中的前10％，则令v_ij＝1；否则，令v_ij＝0；所设置的阈值为10％，得到构造的二值向量v_i,v_i＝[v_i1,v_i2,…,v_in]^T；

步骤3.3)将上一步骤中得到的所有二值向量相加得到定义是聚类基数j所得权值；

步骤3.4)通过上一步骤得到的v^*计算出得分向量s；其中：

步骤3.5)选取得分向量s中最大值所属聚类j，即w＝argmax_j(s_j)；对任一数据样本a_i，若其二值向量为v_i，如果v_iw＝1，则a_i属于基数为w的聚类；否则不属于该聚类；

步骤3.6)令v^*＝v^*-vⁱ代入步骤3.4)的公式中，若v^*≠0，重复步骤3.4)-3.5)；若v^*＝0，进入第i+1行，重复步骤3.1)-3.5)；

步骤3.7)根据步骤3.5)得到的聚类基数w将核矩阵Κ中某些项置为0：假设数据样本a_i所属的聚类基数为w_i，在第i行中，保留Κ_ij值中较大的前w_i项，其余所有项全部设置为0；削减后的核矩阵记为Κ^*，其中的非零项个数记为n_z。

在步骤4)中，所述的为全体数据样本a_j构造分类向量，然后根据上述步骤获取的缩减后的核矩阵Κ^*快速计算距离，更新分类向量，以重新确定该数据样本a_j的分类归属的具体方法为：

步骤4.1)构造分类向量o，已知节点j；其中数据样本a_j属于o_j，则将所有和节点j同类的Κ_jl项累加，即其中Κ_jl直接从核矩阵取得；然后对不同的节点j求和；将所有聚类计算所得存储在向量q中，其中q_i:i＝1,2,…,k；

步骤4.2)计算距离d，重复划分聚类：初始化向量d_i，d_i表示数据样本a_i距其它聚类的长度，d_iδ＝Κ_ii+(1/|C_δ|²)q_k；然后遍历与节点i所属同一聚类中的节点j，从d中减去对应的2(Κ_ij/|C_δ|)项，即

$d_{i\mathrm{\δ}}^{\′}=d_{i\mathrm{\δ}}-2\frac{K_{ij}}{\left|C_{\mathrm{\δ}}\right|}$

d中的最小值决定了节点i的新的分类，然后更新分类向量o直到不再变化为止；

步骤4.3)最后将数据样本a_j中的数据划分到与之最近的聚类中心所在的聚类中，由此确定出数据样本a_j的准确聚类。

本发明提供的面向电力大数据可视化的数据挖掘方法可以对营销数据进行有效的聚类和分类分析，可以更好地识别用户群体、获取分类用户用电特征，从而能够为电力营销智能化奠定基础。

附图说明

图1为本发明提供的基于面向电力大数据可视化的数据挖掘方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明提供的面向电力大数据可视化的数据挖掘方法进行详细说明。

如图1所示，本发明提供的面向电力大数据可视化的数据挖掘方法包括按顺序执行的下列步骤：

步骤1)获取所采集的由a₁,a₂,…,a_n共n个数据样本构成的电力营销数据集A，其中数据样本a_i为多维向量，将上述n个数据样本中的数据聚类划分成k类，分别为C₁,C₂,…,C_k，然后利用核函数将上述划分后的数据映射到核空间中，并确定出各聚类的中心m₁,m₂,…,m_k；

步骤2)构建数据集A相对应的核矩阵：在计算高维空间中点积时，并不是在每次计算距离时再计算核函数，而是一次计算出空间点的所有可能组合的核函数，并存储于核矩阵中；

步骤3)缩减核矩阵的规模：当数据集A规模较大时，则由全体样本a_j数据点形成的所有可能组合核函数构成的核矩阵规模巨大，若直接对如此规模的核矩阵进行处理，会严重降低处理的效率，为此，需要将核矩阵的规模进行缩减，削减后的核矩阵记为Κ^*；

步骤4)由于初始划分的数据样本而得到的聚类并不是最优的，为此，首先为全体数据样本a_j构造分类向量，然后根据上述步骤获取的缩减后的核矩阵Κ^*快速计算距离，更新分类向量，以重新确定该数据样本a_j的分类归属。

在步骤1)中，所述的利用核函数将划分后的数据映射到核空间所采用的公式为： $\mathrm{\κ}(x_i,x_j)=\mathrm{\φ}\left(x_i\right)\mathrm{\φ}\left(x_j\right)=\exp (-\frac{\left|\right|x_i-x_j|{|}^2}{2{\mathrm{\σ}}^2})$

其中：

κ(x_i,x_j)表示核函数；

函数φ将x_i,x_j从输入空间R^d到一个新的空间R^D；

σ>0，是核函数的半径。

所述的确定各聚类的中心m₁,m₂,…,m_k所采用的公式为：

$m_{\mathrm{\δ}}=\frac{{\Σ}_{a_j\∈C_{\mathrm{\δ}}}\mathrm{\φ}\left(x_j\right)}{\left|C_{\mathrm{\δ}}\right|},$

其中|C_δ|为类C_δ的基数。

在步骤2)中，所述的构建数据集A相对应的核矩阵为：

其中：

Κ_ij＝κ(x_i,x_j)

κ(x_i,x_j)＝φ(x_i)φ(x_j)。

在步骤3)中，所述的缩减核矩阵的规模的具体方法为：

步骤3.1)以升序方式排列核矩阵Κ中第i行K_i,i＝1,2,…,n，得到一个排序向量r_i:r_ij,i＝1,2,…,n；其中：

${r_{ij}}^{\′}=\frac{1}{3}\underset{h=1}{\overset{3}{\Σ}}\frac{r_{i(j+h)}-r_{i(j-h)}}{2h}$

步骤3.2)将上一步骤中的r_i'二值化，然后以降序方式排列r_ij',j＝1,2,…,n，若r_ij'为排序中的前10％，则令v_ij＝1；否则，令v_ij＝0；所设置的阈值为10％，得到构造的二值向量v_i,v_i＝[v_i1,v_i2,…,v_in]^T；

步骤3.3)将上一步骤中得到的所有二值向量相加得到定义是聚类基数j所得权值；

步骤3.4)通过上一步骤得到的v^*计算出得分向量s；其中：

步骤3.5)选取得分向量s中最大值所属聚类j，即w＝argmax_j(s_j)；对任一数据样本a_i，若其二值向量为v_i，如果v_iw＝1，则a_i属于基数为w的聚类；否则不属于该聚类；

步骤3.6)令v^*＝v^*-vⁱ代入步骤3.4)的公式中，若v^*≠0，重复步骤3.4)-3.5)；若v^*＝0，进入第i+1行，重复步骤3.1)-3.5)；

步骤3.7)根据步骤3.5)得到的聚类基数w将核矩阵Κ中某些项置为0：假设数据样本a_i所属的聚类基数为w_i，在第i行中，保留Κ_ij值中较大的前w_i项，其余所有项全部设置为0；削减后的核矩阵记为Κ^*，其中的非零项个数记为n_z。

在步骤4)中，所述的为全体数据样本a_j构造分类向量，然后根据上述步骤获取的缩减后的核矩阵Κ^*快速计算距离，更新分类向量，以重新确定该数据样本a_j的分类归属的具体方法为：

步骤4.1)构造分类向量o，已知节点j；其中数据样本a_j属于o_j，则将所有和节点j同类的Κ_jl项累加，即其中Κ_jl直接从核矩阵取得；然后对不同的节点j求和；将所有聚类计算所得存储在向量q中，其中q_i:i＝1,2,…,k；

步骤4.2)计算距离d，重复划分聚类：初始化向量d_i，d_i表示数据样本a_i距其它聚类的长度，d_iδ＝Κ_ii+(1/|C_δ|²)q_k；然后遍历与节点i所属同一聚类中的节点j，从d中减去对应的2(Κ_ij/|C_δ|)项，即

$d_{i\mathrm{\δ}}^{\′}=d_{i\mathrm{\δ}}-2\frac{K_{ij}}{\left|C_{\mathrm{\δ}}\right|}$

d中的最小值决定了节点i的新的分类，然后更新分类向量o直到不再变化为止；

步骤4.3)最后将数据样本a_j中的数据划分到与之最近的聚类中心所在的聚类中，由此确定出数据样本a_j的准确聚类。

Claims (5)

1.一种面向电力大数据可视化的数据挖掘方法，其特征在于：所述的面向电力大数据可视化的数据挖掘方法包括按顺序执行的下列步骤：

步骤1)获取所采集的由a₁,a₂,…,a_n共n个数据样本构成的电力营销数据集A，其中数据样本a_i为多维向量，将上述n个数据样本中的数据聚类划分成k类，分别为C₁,C₂,...,C_k，然后利用核函数将上述划分后的数据映射到核空间中，并确定出各聚类的中心m₁,m₂,...,m_k；

步骤2)构建数据集A相对应的核矩阵；

步骤3)缩减核矩阵的规模：削减后的核矩阵记为Κ^*；

步骤4)为全体数据样本a_j构造分类向量，然后根据上述步骤获取的缩减后的核矩阵Κ^*快速计算距离，更新分类向量，以重新确定该数据样本a_j的分类归属。

2.根据权利要求1所述的面向电力大数据可视化的数据挖掘方法，其特征在于：在步骤1)中，所述的利用核函数将划分后的数据映射到核空间所采用的公式为：

其中：

κ(x_i,x_j)表示核函数；

函数φ将x_i,x_j从输入空间R^d到一个新的空间R^D；

σ>0，是核函数的半径；

所述的确定各聚类的中心m₁,m₂,...,m_k所采用的公式为：

$m_{\mathrm{\δ}}=\frac{{\mathrm{\Σ}}_{a_j\∈C_{\mathrm{\δ}}}\mathrm{\φ}\left(x_j\right)}{\left|C_{\mathrm{\δ}}\right|},$

其中|C_δ|为类C_δ的基数。

3.根据权利要求1所述的面向电力大数据可视化的数据挖掘方法，其特征在于：在步骤2)中，所述的构建数据集A相对应的核矩阵为：

其中：

Κ_ij＝κ(x_i,x_j)

κ(x_i,x_j)＝φ(x_i)φ(x_j)。

4.根据权利要求1所述的面向电力大数据可视化的数据挖掘方法，其特征在于：在步骤3)中，所述的缩减核矩阵的规模的具体方法为：

步骤3.1)以升序方式排列核矩阵Κ中第i行K_i,i＝1,2,…,n，得到一个排序向量r_i:r_ij,i＝1,2,…,n；其中：

${r_{ij}}^{\′}=\frac{1}{3}\underset{h=1}{\overset{3}{\Σ}}\frac{r_{i(j+h)}-r_{i(j-h)}}{2h}$

步骤3.2)将上一步骤中的r_i'二值化，然后以降序方式排列r_ij',j＝1,2,...,n，若r_ij'为排序中的前10％，则令v_ij＝1；否则，令v_ij＝0；所设置的阈值为10％，得到构造的二值向量v_i,v_i＝[v_i1,v_i2,...,v_in]^T；

步骤3.3)将上一步骤中得到的所有二值向量相加得到定义是聚类基数j所得权值；

步骤3.4)通过上一步骤得到的v^*计算出得分向量s；其中：

步骤3.5)选取得分向量s中最大值所属聚类j，即w＝argmax_j(s_j)；对任一数据样本a_i，若其二值向量为v_i，如果v_iw＝1，则a_i属于基数为w的聚类；否则不属于该聚类；

步骤3.6)令v^*＝v^*-vⁱ代入步骤3.4)的公式中，若v^*≠0，重复步骤3.4)-3.5)；若v^*＝0，进入第i+1行，重复步骤3.1)-3.5)；

步骤3.7)根据步骤3.5)得到的聚类基数w将核矩阵Κ中某些项置为0：假设数据样本a_i所属的聚类基数为w_i，在第i行中，保留Κ_ij值中较大的前w_i项，其余所有项全部设置为0；削减后的核矩阵记为Κ^*，其中的非零项个数记为n_z。

5.根据权利要求1所述的面向电力大数据可视化的数据挖掘方法，其特征在于：在步骤4)中，所述的为全体数据样本a_j构造分类向量，然后根据上述步骤获取的缩减后的核矩阵Κ^*快速计算距离，更新分类向量，以重新确定该数据样本a_j的分类归属的具体方法为：

步骤4.1)构造分类向量o，已知节点j；其中数据样本a_j属于o_j，则将所有和节点j同类的Κ_jl项累加，即其中Κ_jl直接从核矩阵取得；然后对不同的节点j求和；将所有聚类计算所得存储在向量q中，其中q_i:i＝1,2,...,k；

步骤4.2)计算距离d，重复划分聚类：初始化向量d_i，d_i表示数据样本a_i距其它聚类的长度，d_iδ＝Κ_ii+(1/|C_δ|²)q_k；然后遍历与节点i所属同一聚类中的节点j，从d中减去对应的2(Κ_ij/|C_δ|)项，即

$d_{i\mathrm{\δ}}^{\′}=d_{i\mathrm{\δ}}-2\frac{K_{ij}}{\left|C_{\mathrm{\δ}}\right|}$

d中的最小值决定了节点i的新的分类，然后更新分类向量o直到不再变化为止；

步骤4.3)最后将数据样本a_j中的数据划分到与之最近的聚类中心所在的聚类中，由此确定出数据样本a_j的准确聚类。