CN106383837A - 一种用能大数据获取关键价值抽取的方法 - Google Patents

Abstract

本发明涉及一种用能大数据获取关键价值抽取的方法，其主要技术特点是：确定业务目标及数据挖掘目标进行业务理解；进行数据理解；筛选出高价值数据；建立用能大数据评估模型；根据大数据评估模型对于用能企业整体用能情况评估分析；根据评估分析结果为企业整体用能规划发展提供合理的指导、决策建议。本发明设计合理，一方面通过典型数据收集对于电力企业盈利与控制水平有很好的利用价值，另一方面对用能企业能效评估及用能方式指导，通过环比及同比的数据支撑，提升企业整体运营水平。

Description

一种用能大数据获取关键价值抽取的方法

技术领域

本发明属于节能技术领域，尤其是一种用能大数据获取关键价值抽取的方法。

背景技术

随着数据库技术的飞速发展以及人们获取数据手段的多样化,人类所拥有的数据量急剧增加，企业对于电力需求侧的海量数据实时采集接入、在线计算处理和关联分析挖掘能力提出更高要求。传统用能数据库系统只能针对数据库中已有电量、功率因数等进行存取和简单的操作，而不能有效地得到企业合理用能关键价值及决策，更不能对其发展趋势进行预测。

发明内容

本发明的目的在于克服现有技术的不足，提供一种设计合理、准确可靠的用能大数据获取关键价值抽取的方法，其解决了测试效率低下、费时费力的问题。

本发明解决其技术问题是采取以下技术方案实现的：

一种用能大数据获取关键价值抽取的方法，其特征在于包括以下步骤：

步骤1、通过勘察企业，确定业务目标及数据挖掘目标进行业务理解；

步骤2、通过原始数据收集、数据描述、数据检索以及检验数据质量进行数据理解；

步骤3、通过选择数据、清洗数据、构建新数据、整合数据和格式化数据筛选出高价值数据；

步骤4、建立用能大数据评估模型；

步骤5、根据大数据评估模型对于用能企业整体用能情况评估分析；

步骤6、根据评估分析结果为企业整体用能规划发展提供合理的指导、决策建议。

所述步骤2原始数据收集包括企业用能数据、设备能效数据和设备运检数据，所述设备能效数据包括电量和功率因数，所述设备运检数据包括检修时间、检修情况。

所述步骤4用能大数据评估模型采用K-means算法实现，该K-means算法公式为：

$V=\underset{i=1}{\overset{k}{\Σ}}\underset{x_j\∈S_i}{\Σ}{(x_j-{\mathrm{\μ}}_i)}^2$

该K-means算法过程如下：

(1)从N个文档随机选取K个文档作为质心；

(2)对剩余的每个文档测量其到每个质心的距离，并把它归到最近的质心的类；

(3)重新计算已经得到的各个类的质心；

(4)迭代(2)～(3)步直至新的质心与原质心相等或小于指定阈值，算法结束。

本发明的优点和积极效果是：

本发明通过监测不同行业的企业用能情况，通过业务理解、数据理解、数据准备、建立关键模型、评估及规划部署过程，分析出企业高耗能设备同比环比系数，从而理顺设备最佳用能环节。本发明一方面通过典型数据收集对于电力企业盈利与控制水平有很好的利用价值，另一方面对用能企业能效评估及用能方式指导，通过环比及同比的数据支撑，提升企业整体运营水平。

具体实施方式

以下结合实施例对本发明做进一步详述：

一种用能大数据获取关键价值抽取的方法，包括以下步骤：

步骤1、业务理解：通过勘察企业，确定业务目标及数据挖掘目标进行业务理解。

步骤2、数据理解：通过原始数据收集、数据描述、数据检索以及检验数据质量，进行数据理解。

在本步骤中，构建构建开放的、多样化数据接口运用SNMP、FILE、API、WebService、ADBC/JDBC等多种技术手段，实现对企业用能数据和其他来源的设备能效数据(包括电量、功率因数)、运检数据(检修时间、检修情况)全面收集。根据计量能效大数据结构化与非结构化数据并存的特点，项目将采用传统FC SAN和并行存储系统分别对结构化和非结构化数据进行高效管理，实现对信息资源的统一更新、维护、管理、检索和服务。具体采集数据如下：

序号	数据项名称	曲线采样密度	数据单位
				1	正向有功总电能	15分钟	kWh
2	正向无功总电能	15分钟	kWh
				3	A相电压	15分钟	V
4	B相电压	15分钟	V
				5	C相电压	15分钟	V
6	A相电流	15分钟	A
				7	B相电流	15分钟	A
8	C相电流	15分钟	A
				9	总有功功率	15分钟	kW
10	A相有功功率	15分钟	kW
				11	B相有功功率	15分钟	kW
12	C相有功功率	15分钟	kW
				13	总无功功率	15分钟	kW
14	A相无功功率	15分钟	kW
				15	B相无功功率	15分钟	kW
16	C相无功功率	15分钟	kW
				17	总功率因数	15分钟	％
18	A相功率因数	15分钟	％
				19	B相功率因数	15分钟	％
20	C相功率因数	15分钟	％

步骤3、数据准备：通过选择数据、清洗数据、构建新数据、整合数据和格式化数据，筛选出高价值数据，实现数据归一化功能。

在本步骤中，需要对大数据抽取清洗：清洗主要是针对系统的各个环节可能出现的数据二义性、重复、不完整、违反业务规则等问题，允许通过试抽取，将有问题的记录先剔除出来，根据实际情况调整相应的清洗操作。数据加载主要是将经过转换和清洗的数据加载到数据仓库里面，即入库，可以通过数据文件直接加载和直连数据库的方式来进行数据加载，可以充分体现高效性。海量结构化和非结构化的数据收集完成后，通过数据整理全过程综合治理(数据检查->数据清洗->数据分类->格式转换->数据压缩->关联性强化->结构化治理->质量提升)，最终形成质量水平高、可控能力强、价值外显的优良数据。

步骤4、建立大数据评估模型：通过选择建模技术、生成测试设计、构建模型以及评估模型。

本步骤需要建立关键技术模型。客户聚类是客户行为分析的一个重要分析手段，客户聚类是把大量的客户聚成不同的类，在每个分类里的客户拥有相似的属性，而不同类里的客户的属性则不同。细致而切实可行的客户聚类对指导企业用能有很大益处，基于群体智能的客户行为分析算法可采用K-MEANs快速分类为基础，分析客户行为的一种自组织聚类算法，此方法可使数据更容易可视化，它突显出引人兴趣的特征。聚类中心的个数从数据中自动产生。

K-means算法是硬聚类算法，是典型的基于原型的目标函数聚类方法的代表，它是数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则。K-means算法以欧式距离作为相似度测度，它是求对应某一初始聚类中心向量V最优分类，使得评价指标J最小。算法采用误差平方和准则函数作为聚类准则函数。

K-means算法公式：

$V=\underset{i=1}{\overset{k}{\Σ}}\underset{x_j\∈S_i}{\Σ}{(x_j-{\mathrm{\μ}}_i)}^2$

K-means算法是很典型的基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。该算法认为簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标。

k个初始类聚类中心点的选取对聚类结果具有较大的影响，因为在该算法第一步中是随机的选取任意k个对象作为初始聚类的中心，初始地代表一个簇。该算法在每次迭代中对数据集中剩余的每个对象，根据其与各个簇中心的距离将每个对象重新赋给最近的簇。当考察完所有数据对象后，一次迭代运算完成，新的聚类中心被计算出来。如果在一次迭代前后，J的值没有发生变化，说明算法已经收敛。

K-means算法过程如下：

1)从N个文档随机选取K个文档作为质心；

2)对剩余的每个文档测量其到每个质心的距离，并把它归到最近的质心的类；

3)重新计算已经得到的各个类的质心；

4)迭代2～3步直至新的质心与原质心相等或小于指定阈值，算法结束。

步骤5、根据大数据评估模型对于用能企业整体用能情况评估分析。

电力能效资产能效数据海量数据经过数据整理和数据分析两个环节处理后，其中蕴含的价值已经逐步显露，采取何种手段关键技术模型进行数据展现直接影响着数据价值体现的效果，实现多维度数据报表、自助查询统计、能效数据价值分析和能效库等方式实现大数据价值展现，项目将通过多种模拟数据进行试验，保证分析测算的准确度与精确度。基于企业能效大数据分析，建立有针对性的市场开拓模型，例如，有针对性地动员客户改煤、气为用电。不仅帮助客户测算初投资，测算不同季节不同叫段的运行费用，还根据客户使用的性质与时间段帮助选择合适的蓄冰制冷集中空调，同时还协助客户设计变压器的装接容量和合理使用电力的方式方法。

步骤6、大数据部署实现决策支撑，为企业整体用能规划发展提供合理的指导、决策建议。

电力需求侧能效大数据的应用价值一方面体现在对现有设备的全面细致掌握和有效管控，另一方面能够为专业管理水平提供有效的辅助决策支撑。将海量数据抽取分析以及海量数据挖掘技术与天津电力能效平台相结合，通过监测终端获取的电量、功率因数等数据，进行基于需求侧结合电网运行进行企业生产用电管理效率、电能替代可行性、以及节能服务拓展领域究。通过采用机器监督学习等智能算法，对不同类型客户的用能水平情况进行分析，对用户用能水平进行分类、评级，发现用户用能电量、负荷、电费等数据与客户属性(客户行业、客户类型)、客户用电习惯、客户交费习惯等因素之间的关联关系，全面挖掘用户用能各种影响因素，清晰界定客户用能的主观因素与客观因素，从而建立一套用能水平分类评级数学模型。并根据建立的分类评级模型，制定针对性、有效的用能管控措施，提升用户客户的能效利用水平。

监督学习，即在机械学习过程中提供对错指示。一般是在数据组中包含最终结果(0，1)。通过算法让机器自我减少误差。这一类学习主要应用于分类和预测(regression&classify)。监督学习从给定的训练数据集中学习出一个函数，当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求是包括输入和输出，也可以说是特征和目标。用能数据训练集中的目标是可采用多年积累的高用能用户数据形成数据样本，即学习集。再采用回归分析和统计分类进行评级。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (3)

1.一种用能大数据获取关键价值抽取的方法，其特征在于包括以下步骤：

步骤1、通过勘察企业，确定业务目标及数据挖掘目标进行业务理解；

步骤2、通过原始数据收集、数据描述、数据检索以及检验数据质量进行数据理解；

步骤3、通过选择数据、清洗数据、构建新数据、整合数据和格式化数据筛选出高价值数据；

步骤4、建立用能大数据评估模型；

步骤5、根据大数据评估模型对于用能企业整体用能情况评估分析；

步骤6、根据评估分析结果为企业整体用能规划发展提供合理的指导、决策建议。

2.根据权利要求1所述的一种用能大数据获取关键价值抽取的方法，其特征在于：所述步骤2原始数据收集包括企业用能数据、设备能效数据和设备运检数据，所述设备能效数据包括电量和功率因数，所述设备运检数据包括检修时间、检修情况。

3.根据权利要求1所述的一种用能大数据获取关键价值抽取的方法，其特征在于：所述步骤4用能大数据评估模型采用K-means算法实现，该K-means算法公式为：

$V=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{x_j\∈S_i}{\mathrm{\Σ}}{\left(x_j-{\mathrm{\μ}}_i\right)}^2$

该K-means算法过程如下：

(1)从N个文档随机选取K个文档作为质心；

(2)对剩余的每个文档测量其到每个质心的距离，并把它归到最近的质心的类；

(3)重新计算已经得到的各个类的质心；

(4)迭代(2)～(3)步直至新的质心与原质心相等或小于指定阈值，算法结束。