CN114692959A - 基于灰度关联分析法的城市能源数据融合系统 - Google Patents

Abstract

本发明提出一种基于灰度关联分析法的城市能源数据融合系统，包括一个聚合端和至少2个采集端，通过采集相关数据，根据城市能源系统数据特征，设计多类型数据清洗技术和多类型数据融合技术，通过关联分析法挖掘影响城市能效的多种复杂因素，促进煤、油、气等不同品种、不同采集频率、不同颗粒度、不同采集口径下的城市能源系统间的有效共享，为城市能源运营优化提供规范、准确的数据基础服务。

Description

基于灰度关联分析法的城市能源数据融合系统

技术领域

本发明属于大数据信息处理、新能源、环境科学、数据融合等技术领域，尤其涉及一种基于灰度关联分析法的城市能源数据融合系统。

背景技术

城市能源系统是一个复杂的巨系统，与城市的各行各业都时刻发生紧密联系。从城市能源系统数据分析监测的目标看，城市能源系统具有多样性、网络性等特征，即城市能源系统的供应和消费等方面包括常规能源、新能源和分布式能源等多种能源形式，各品类能源和各用能对象之间环环相扣、紧密相连，具有客观可描述的网络特征。而城市能源系统的特征也决定了城市能源系统数据的特征。

首先能源大数据具有大数据相关的几大共性特征：(1)数据体量巨大。指来自任何不同来源的大量不同类型的数据，包括移动数字设备和固定数字设备；在能源领域，智能计量设备(例如智能电表)的广泛部署创造了大量数据。(2)数据生成速率高，时效要求高。主要指能源大数据采集、处理和分析的速度，与传统的后处理类型的商业智能和数据挖掘不同，能源大数据的收集和处理对速度要求很高。为了支持能源系统中的近实时决策，数据收集和处理的时间尺度从亚秒级到5分钟或15分钟级。(3)数据类型多样化。能源大数据具有高度的多样性，通常它是结构化(如能源消耗数据)、半结构化(如智能能源管理平台与使用XML、Web服务的第三方数据聚合器之间交换的数据)和非结构化数据(如电子邮件或关于能源使用的短信通知等)。此外能源大数据中还存在一些行业间数据(如电动车辆相关数据)和外部行业数据(如天气数据)。(4)数据潜在价值密度低，但价值高。能源大数据的价值需要被探索和挖掘才有意义，以支持业务决策或客户服务。对于能源产品和服务提供商，有助于他们更好了解不同消费者的能源消费模式，从而制定更具竞争力的营销策略。对于客户而言，价值通常转化为节能、运营效率以及提升能源消费可视性。

发明内容

有鉴于此，为了克服现有技术的缺陷和不足，本发明的目的在于提供一种基于灰度关联分析法的城市能源数据融合系统，包括一个聚合端和至少2个采集端，通过采集相关数据，根据城市能源系统数据特征，设计多类型数据清洗技术和多类型数据融合技术，通过关联分析法挖掘影响城市能效的多种复杂因素，促进煤、油、气等不同品种、不同采集频率、不同颗粒度、不同采集口径下的城市能源系统间的有效共享，为城市能源运营优化提供规范、准确的数据基础服务。

基于以上研究和设计，本发明具体采用以下技术方案：

一种基于灰度关联分析法的城市能源数据融合系统，其特征在于，基于计算机系统，包括：包括相连接的一个聚合端和至少2个采集端；

所述采集端部署在城市能源管理各子系统内，通过子系统监控设备采集当前各类能源数据；所述采集端根据本端采集数据进行包括累加能源消费情况的计算，并根据聚合端下发的汇总指标计算当前运行指标差距；

所述聚合端部署在城市能源主管方，根据接收到的至少2个采集端的各类能源消费及建设运营统计数据，进行合并计算，给出排序和评价结果；

所述聚合端根据收到的至少2个采集端的包括各类能源消费及建设运营现状的数据，对下一个统计期的各指标进行灰色关联分析、挖掘和预测。

进一步地，所述采集端的采集和计算根据城市能源系统数据特征进行指标的设定，包括：时序性指标、耦合性指标、粒度指标和稀疏性指标。

进一步地，所述聚合端对从采集端获取数据时进行以下规范处理：构建数据维度明细目录使多源数据的格式和语义统一、统一数据项定义、规范数据项统计时间跨度、规范数据项统计时间和空间颗粒度，以实现跨数据管理平台采集。

进一步地，针对所采集到的能源数据集存在明显的数据异常和数据缺失现象，根据数据缺失属性的数量的不同，将数据缺失模式分为单变量缺失模式与多变量缺失模式，其中，单变量缺失模式使用观测变量对缺失属性建立回归预测模型恢复缺失值，多变量缺失模式使用多个回归模型进行预测建模。

进一步地，采用以下填补模型中的一种或多种进行数据填补：常量填补法、均值填补法、热卡插补、回归填补法、基于k最近邻算法的填补、以及基于多层感知机的填补。

进一步地，所述聚合端对下一个统计期的各指标进行灰色关联分析、挖掘和预测时，对于灰色关联度高于设定值的同一类型数据项，进行数据融合，抽取渠道可靠、数据提供及时完整的能源数据，以避免重复取数。

进一步地，所述聚合端对下一个统计期的各指标进行灰色关联分析、挖掘和预测时，对于N类数据项，其中N大于等于2，若其灰色关联度高于设定值，则判定这N类数据项是相互关联的，通过N-1类数据项的已有数据的演变规律，递推出第N类数据项的未来发展趋势。

进一步地，所述聚合端将汇总统计结果和灰色关联分析预测结果在监测大屏上展示，展示页面包括总览、各采集端概况、当前值、累计值、预测值和各能源管理子系统的排名。

与现有技术相比，本发明及其优选方案通过采集相关数据，根据城市能源系统数据特征，设计多类型数据清洗技术和多类型数据融合技术，通过关联分析法挖掘影响城市能效的多种复杂因素，促进煤、油、气等不同品种、不同采集频率、不同颗粒度、不同采集口径下的城市能源系统间的有效共享，为城市能源运营优化提供规范、准确的数据基础服务。

附图说明

下面结合附图和具体实施方式对本发明进一步详细的说明：

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例基于灰度关联分析法的城市能源数据融合系统的主要工作流程示意图。

具体实施方式

为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。通常在此处的附图中的描述和示出的组件可以以不同配置来组合设计。因此，以下对在附图中提供的本发明的选定实施例的详细描述并非为了限制要求保护的本发明的范围，而是仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

如图1所示，本实施例从工作机理和流程的角度对本发明所提出基于灰度关联分析法的城市能源数据融合系统的设计过程和工作机制进行进一步的介绍，其采用计算机程序的形式实现：

实施例一

本发明实施例一公开了一种基于灰度关联分析法下的城市能源数据融合系统的设计，该方案应用于城市能源管理多系统间的数据采集、融合和共享，包括一个聚合端和至少2个采集端，具体包括：

采集端数据采集，采集端部署在城市能源管理各子系统内，通过子系统监控设备自动采集或手工录入本端当前各类能源消费及建设运营等数据。

采集端数据计算，采集端根据本端采集数据进行累加能源消费情况等指标的计算，根据聚合端下发的汇总指标计算当前运行指标差距，进一步还可以给出优化能源消费的方案。

采集端与聚合端的通信，可以采用已有互联网等公共通信网络和通信协议，包括编码、解析、安全防护、通讯规约等，接收和发送一个聚合端和至少2个采集端的各类能源消费及建设运营统计和分析数据。

聚合端数据计算，聚合端部署在城市能源主管方(例如电网公司或者政府能源主管部门)，聚合端根据收到的至少2个采集端的各类能源消费及建设运营统计数据，进行合并计算，给出排序和评价结果。

聚合端数据关联分析和预测，聚合端根据收到的至少2个采集端的各类能源消费及建设运营现状、下一步计划等数据，对下一个统计期的各指标进行灰色关联分析、挖掘和预测。

聚合端数据展示，聚合端将汇总统计结果和灰色关联分析预测结果在电网监测大屏上展示，展示页面包括总览、各采集端概况、当前值、累计值、预测值和各能源管理子系统的排名等，便于城市能源主管部门及时了解城市能源消费及建设运营情况，优化调整能源工作部署。

实施例二

结合上述本发明实施例一提供的一种基于灰度关联分析法下的城市能源数据融合方法及装置，如图1所示的基于灰度关联分析法下的城市能源数据融合方法技术路线，其实施过程包括如下步骤：

S1：城市能源系统数据特征；综合城市能源系统的多样性、网络性，以及城市能源数据管理上的分散性，构建城市能源数据的系统性特征。

(1)构建数据维度明细目录：城市能源数据分散在不同的部门中，将各个城市的各个部门在能源数据统计上构建统一客观的标准，各城市相关统计机构在城市能源系统领域的数据采用统一的明细目录，所统计的数据项和数据维度保持一致性，以保证多源数据的格式和语义统一。

(2)统一数据项定义：将城市能源数据相关统计机构的统计数据项采用统一的测算方法和数据项定义，并用于实时产生的数据中，避免大量数据处理的语义统一问题。

(3)规范数据项统计时间跨度：采集统计数据项时，统一数据时间跨度，包括数据统计启动年份的统一，部分数据在某个时间出现停止统计或各种原因造成数据缺失时的补录。

(4)规范数据项统计时间和空间颗粒度：城市能源系统的电力、燃气、冷热供应等各类能源系统，由于管理水平的差异和能源自身特征的差异，导致各类能源信息在统计时，时间间隔上存在较大差异，同时，由于各统计机构独立制定各自的统计格式，使得类似数据项在不同统计机构中出现不一致的时间和空间颗粒度。其时间颗粒度跨度由一周至一年不等，空间颗粒度跨度由县至省不等。将这些数据的统计时间和空间颗粒度采用样条插值、最小公倍数、最大公约数等方法进行统一处理，满足数据使用的颗粒度要求。

(5)跨数据管理平台采集。电力、煤炭、石油、天然气、供冷/热等能源企业存在多套独立的能源管理系统，通过建立各能源管理系统间的通用数据采集规范，为化解传统电力及其他能源系统间各自规划、独立运行、条块分割的局面，打破跨系统间的行业壁垒，本实施例方案以此实现不同能源系统之间的信息互通。

根据城市能源数据条目的自身特点，设计以下通用特征：

时序性指标：城市能源数据主要是统一指标按时间顺序记录的数据列，同一组指标在不同时间段的数值代表的也是不同的意义，具有时序数据的特征，将能源统计数据按不同应用场景要求的最小时序进行采集和处理。

耦合性指标：城市能源数据由于能源系统自身在各个环节之间的关联关系，存在一定的耦合性。数据之间也体现能源系统从始至终的相关作用关系。利用耦合性指标进行不同数据缺失时的补全和关联分析。

粒度指标：不同能源品种、不同能源系统之间数据采集的频次，需要标记的参数存在明显的区别，能源生产、转换、消费的数据存在明显的尺度差异，将能源统计数据按不同应用场景要求的最小粒度进行采集和处理。

稀疏性指标：由于不同时间粒度的能源数据在融合分析时需要拼接到一起，粗粒度有时直接补0，带来了一定的稀疏性；同时，能源数据本身具有一定的周期性，可以通过小波变换等预处理方式，构造一种稀疏表示，通过稀疏性指标和数据体量设计数据传输带宽，从而在大数据传输时降低带宽要求。

S2：多类型数据清洗技术，数据填补方法；

在城市能源系统中，不同品类能源和不同用能对象的信息化水平各不相同，运行状态也存在差异，这导致了最终所采集到的能源数据集存在明显的数据异常和数据缺失现象。但对于城市能源系统整体而言，各品类、各部门、各周期之间存在密切的耦合关系，充分挖掘这些潜在关系，以便对异常缺失数据进行有效的估计、填补。

根据数据缺失属性的数量的不同，本实施例将数据缺失模式分为单变量缺失模式与多变量缺失模式：

单变量缺失模式：不完备数据集中只有一个属性维度存在缺失值，其他属性维度的数据没有缺失。使用观测变量对缺失属性建立回归预测模型恢复缺失值。

多变量缺失模式：数据集中有两个或两个以上的属性维度的数据中存在缺失值，存在缺失值的属性维度之间可能存在关联，也可能并无相关性。可以使用多个回归模型来进行预测建模。

进一步地，针对不同缺失模式，也可以采用如下数据填补方式作为修复数据缺失的策略。

常量填补法：对于简单的、标准的应用场景，使用统一的默认值对所有的缺失数据进行填补，该默认值的选取与数据集中的其他数据都无关，默认值采用相关标准或规范的推荐值。

均值填补法：对于属性值服从正态分布且是连续性数据的情况，使用缺失数据所在属性的均值对缺失值进行填补。对于缺失属性为离散数据类型时，使用众数来填补。在应用于缺失数据所在属性服从非正态分布时，可以采用分段均值填补，尽量让每个分段的数据值都近似服从正态分布。此外可以采用聚类进行或者根据标签将数据集分层，再使用均值填充，尽量提高均值填充的精度。

热卡插补：对于相似应用场景下的数据缺失，根据数据集的特性，定义相似度，然后在不完备数据集的所有完整数据中找到一个与存在缺失的样本相似度最高的样本，并使用对应的属性值来替代缺失值。

回归填补法：对于数据序列基本完整的应用场景，使用已观测到的数据建立回归模型对未观测到的数据进行预测。根据预测算法的使用不同，可以分为：线性回归填充、非线性回归填充、随机森林回归填充等，回归算法适用于单调缺失模式，但对于任意缺失模式而言，需要根据缺失值所在属性的数目，建立大量的回归模型对缺失值进行填补。

基于k最近邻算法的填补：对于相似应用场景下的数据缺失，且数据质量要求较高时，基于热卡插补，利用欧式距离、曼哈顿距离等作为相似度参与计算，选取出k个与具有缺失值的样本最相似的样本，并使用它们的均值或加权均值来填补缺失值。

基于多层感知机的填补：对于数据序列基本完整的应用场景，当数据样本较多，且数据间的关联性较强时，基于多层感知机使用完整的样本来训练一个回归模型，输入为具有存在缺失的样本中非缺失属性，输出则为对缺失属性的预测值，算法的执行分为两步：

a.给定一个不完备数据集，将数据集按照样本划分为只含有完整数据和只含有不完备数据的两部分。

b.对于每一个存在缺失值的属性，都建立一个多层感知机模型，输入为未缺失数据，输出为对缺失数据值的预测结果，对于连续数据和离散数据分别以均方误差或者交叉熵作为损失函数训练多层感知机，在训练过程中最小化对应损失函数。

S3：基于灰度关联分析法，提出多类型数据融合技术；

灰色关联分析的基本思想是根据序列曲线几何形状的相似程度来判断其联系是否紧密。灰色关联分析对样本量的多少和样本有无规律都同样适用，而且计算量小，十分方便。灰色关联分析主要通过灰色关联度来体现。灰色关联度是事物之间、因素之间关联性的“量度”，它基于序列的状态信息，综合考虑序列之间的接近性和相似性，以分析和确定序列所代表的因子间的影响程度或因子对主行为的贡献程度。

定义：设

为系统行为数据序列，又有

为影响因素数据序列，若有

满足：

(1)规范性：

(2)整体性：对于

有

(3)偶对称性：对于

有

(4)接近性：

越小，

越大。

则称

为

与

的关联度，

为

与

在k点的关联系数。

根据该定义，采用邓氏灰色关联度定义：

其中ρ∈(0，1)称为分辨系数，用来调整关联度的大小，但不影响不同因素与系统行为序列关联度之间的排序。

在计算系统序列间的灰色关联度时，由于各因素序列代表的物理量不同，其量纲也不同，必须对其进行无量纲处理。其中，最常用的方法即为初值化。

对于灰色关联度较高的同一类型数据项，进行数据融合，抽取渠道可靠、数据提供及时完整的能源数据，避免重复取数。

S4：通过关联分析法挖掘影响城市能效的多种复杂因素。

考虑能源系统内部存在十分复杂的耦合关系，且受到外部环境因素的影响，因此本实施例在对能源数据进行处理分析时，必须将所有相关数据进行融合，进而通过关联分析法挖掘影响城市能效的多种复杂因素。

对于N类数据项，N大于等于2，若其灰色关联度较高，则判定这N类数据项是相互关联的，可以通过N-1类数据项的已有数据的演变规律，例如回归系数，递推出第N类数据项的未来发展趋势。

实施例三

结合上述本发明实施例二提供的基于灰度关联分析法下的城市能源数据融合方法及装置，以江苏苏州市能源消费为例，灰色关联分析包括如下步骤：

苏州市是国内重要的中心城市之一和高新技术产业基地，属于典型的工业化城市，具有完备的城市能源系统，且城市的城镇化、信息化水平均较高。以苏州市为例，选取2012年-2018年的能源消费总量、煤炭消费总量和电网负荷率三个角度作为能源系统的代表性数据进行关联性融合分析。另一方面，能源系统作为城市运转的重要支柱，并不是孤立的存在，与城市社会的其它诸多因素之间存在密不可分的关系。为了更加全面的对能源系统数据的关联性进行分析考察，在能源数据的基础上同时从经济和社会的角度，选取GDP、产业比重和常住人口数量等5类数据共同构建苏州市综合能源数据表，详情见表1苏州市综合能源数据表。

表1苏州市综合能源数据表

基于灰度关联分析方法对表1苏州市综合能源数据表中的数据进行关联性分析。为了消除量纲影响，首先对每一个数据进行归一化处理，之后计算数据表中两两之间的灰度关联系数，结果见表2。可以看出，在现阶段产业结构下，苏州能源消费总量与常住人口数据关联性最为密切，而由于节能降耗政策措施的推行，单位GDP能耗不断下降，因此GDP与能源消费总量之间的关联性相比较其他因素呈现较弱的态势；煤炭消费是节能降耗的重点执行对象，因此工业煤耗不断下降，主要受到常住人口数目的影响；电网负荷率是电力消费的直接体现，可以看出它和其它因素的关联性均十分接近，表明电力在苏州市能源系统中的支柱性作用愈加明显。

表2综合能源数据关联性分析结果

本实施例提供的以上程序设计方案可以代码化的形式存储在计算机可读取存储介质中，并以计算机程序的方式进行实现，并通过计算机硬件输入计算所需的基本参数信息，并输出计算结果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图来描述的。应理解可由计算机程序指令实现流程图中的每一流程、以及流程图中的流程结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程图中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于灰度关联分析法的城市能源数据融合系统，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (8)

1.一种基于灰度关联分析法的城市能源数据融合系统，其特征在于，基于计算机系统，包括：包括相连接的一个聚合端和至少2个采集端；

所述采集端部署在城市能源管理各子系统内，通过子系统监控设备采集当前各类能源数据；所述采集端根据本端采集数据进行包括累加能源消费情况的计算，并根据聚合端下发的汇总指标计算当前运行指标差距；

所述聚合端部署在城市能源主管方，根据接收到的至少2个采集端的各类能源消费及建设运营统计数据，进行合并计算，给出排序和评价结果；

所述聚合端根据收到的至少2个采集端的包括各类能源消费及建设运营现状的数据，对下一个统计期的各指标进行灰色关联分析、挖掘和预测。

2.根据权利要求1所述的基于灰度关联分析法的城市能源数据融合系统，其特征在于：所述采集端的采集和计算根据城市能源系统数据特征进行指标的设定，包括：时序性指标、耦合性指标、粒度指标和稀疏性指标。

3.根据权利要求2所述的基于灰度关联分析法的城市能源数据融合系统，其特征在于：所述聚合端对从采集端获取数据时进行以下规范处理：构建数据维度明细目录使多源数据的格式和语义统一、统一数据项定义、规范数据项统计时间跨度、规范数据项统计时间和空间颗粒度，以实现跨数据管理平台采集。

4.根据权利要求1所述的基于灰度关联分析法的城市能源数据融合系统，其特征在于：针对所采集到的能源数据集存在明显的数据异常和数据缺失现象，根据数据缺失属性的数量的不同，将数据缺失模式分为单变量缺失模式与多变量缺失模式，其中，单变量缺失模式使用观测变量对缺失属性建立回归预测模型恢复缺失值，多变量缺失模式使用多个回归模型进行预测建模。

5.根据权利要求1所述的基于灰度关联分析法的城市能源数据融合系统，其特征在于：采用以下填补模型中的一种或多种进行数据填补：常量填补法、均值填补法、热卡插补、回归填补法、基于k最近邻算法的填补、以及基于多层感知机的填补。

6.根据权利要求1所述的基于灰度关联分析法的城市能源数据融合系统，其特征在于：所述聚合端对下一个统计期的各指标进行灰色关联分析、挖掘和预测时，对于灰色关联度高于设定值的同一类型数据项，进行数据融合，抽取渠道可靠、数据提供及时完整的能源数据，以避免重复取数。

7.根据权利要求6所述的基于灰度关联分析法的城市能源数据融合系统，其特征在于：所述聚合端对下一个统计期的各指标进行灰色关联分析、挖掘和预测时，对于N类数据项，其中N大于等于2，若其灰色关联度高于设定值，则判定这N类数据项是相互关联的，通过N-1类数据项的已有数据的演变规律，递推出第N类数据项的未来发展趋势。

8.根据权利要求1所述的基于灰度关联分析法的城市能源数据融合系统，其特征在于：所述聚合端将汇总统计结果和灰色关联分析预测结果在监测大屏上展示，展示页面包括总览、各采集端概况、当前值、累计值、预测值和各能源管理子系统的排名。

Images