CN112988717B - 一种居民智慧用能服务标本库设计与构建方法 - Google Patents

Abstract

本发明公开了一种居民智慧用能服务标本库设计与构建方法，所述方法包括以下步骤：1）明确居民智慧用能服务标本库数据来源；2）设计居民智慧用能服务标本库数据结构；3）内外部数据收集与清洗；4）构建居民智慧用能服务标本库。本发明建立涵盖城乡居民客户生活习惯、家庭人员结构、智慧用能消费、公益参与度等多种差异化因素的居民智慧用能服务标本库，可用于居民客户用能方式及特征分析，为智慧用能服务的规模化应用提供数据支撑。有助于探索居民客户智慧用能服务市场化运作模式及配套政策建议，提升居民需求响应参与度、实现电网尖峰负荷的削减、提高综合能源服务品质。

Description

一种居民智慧用能服务标本库设计与构建方法

技术领域

本发明涉及需求响应、数据库技术领域，具体为一种居民智慧用能服务标本库设计与构建方法。

背景技术

为响应国家发展绿色能源号召，结合电网公司自身经营发展需要，国家电网公司高度重视综合能源及智慧用能业务的开展。开展居民用户的智慧用能服务相关研究及示范工作，契合了当前国家能源发展转型战略，满足了居民智慧能源服务新业态发展的重大需求。

居民客户具有数量大、负荷小、分布广泛、随机性强等特点，目前尚无针对居民用户用能特点的深入调研及分析，为居民智慧用能服务的开展带来困难。若要精准开展智慧用能服务，提升居民用能服务满意度，需要建立完备的居民智慧用能标本库并分析居民的用能方式及特征，为智慧用能服务的规模化应用提供数据支撑。

发明内容

本发明的目的在于提供一种居民智慧用能服务标本库设计与构建方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种居民智慧用能服务标本库设计与构建方法，包括以下步骤：

步骤1，明确居民智慧用能服务标本库数据来源：居民智慧用能服务标本库包含居民用户基础数据和用能数据两个方面，其中用户基础数据包含调查问卷数据和外部数据两部分，外部数据包含天气数据；用能数据主要包括HPLC智能电表数据以及智能插座、非侵入式智能电表数据，同时还集成营销业务应用系统和供电服务指挥平台已有部分业务数据；

步骤2，设计居民智慧用能服务标本库数据结构：包括调查问卷数据结构化设计、天气数据结构化设计、HPLC智能电表数据结构化设计以及智能插座、非侵入式智能电表数据结构化设计；

步骤3，内外部数据收集与清洗：提出包含一致性检查、空值检查、唯一性检查的居民智慧用能服务大数据清洗方法；

步骤4，构建居民智慧用能服务标本库：提出了包含大、中、小三类样本的居民智慧用能服务标本库架构，定义了三类样本的规模及数据维度，并定义了三类样本间的包含关系。

进一步的，步骤2具体包括：

调查问卷数据结构化设计：包含基础信息、用电设备、生活方式、用电观念四个方面；

天气数据结构化设计：对于收集到的各市、县气温数据，主要存储城市名称、日期、天气状况、气温、风力风向信息；

HPLC智能电表数据结构化设计：HPLC智能电表采集数据通过中继器与用电信息采集系统进行数据通信，主要采集存储客户的电压、电流、有功功率、无功功率、功率因素和电量示值，HPLC智能电表每15分钟采集一次数据；

智能插座、非侵入式智能电表数据结构化设计：智能插座和非侵入式智能电表采集数据维度一致，主要采集客户编号、电器设备名称、电流、电压、功率数据，智能插座每分钟采集一次数据，非侵入式智能电表每15分钟采集一次数据。

进一步的，步骤3具体包括：

一致性检查包含变量范围一致性检查与逻辑一致性检查：变量范围一致性检查通过判断正常值域范围，自动识别每个超出范围的变量值，对于超出范围实例数据进行筛选排查；逻辑一致性检查主要判断不同数据含义矛盾的情况；

空值检查分为调查问卷数据空值处理、天气数据空值处理以及量测数据空值处理：调查问卷数据空值处理通常采用人工进一步核对补全的方式，天气数据空值处理可重新通过网络获取，量测数据空值处理可采取平均值、中位数或众数代替缺失值；

唯一性检查主要指在数据入库时，通过设置唯一性约束条件避免重复记录。

进一步的，步骤4具体包括：

小样本：数据维度最全、样本规模最小，特指安装了智能插座和非侵入式智能电表，同时具有调查问卷数据和HPLC智能电表数据的客户群；

中样本：数据维度比较全、样本规模中等，特指安装了非侵入式智能电表，同时具有调查问卷数据和HPLC智能电表数据的客户群，中样本同时包含小样本；

大样本：数据维度相对较小、样本规模最大，特指收集到有效调查问卷，同时安装了HPLC智能电表客户群，大样本同时包含中样本。

本发明的有益效果是：

本发明建立涵盖城乡居民客户生活习惯、家庭人员结构、智慧用能消费、公益参与度等多种差异化因素的居民智慧用能服务标本库，可用于居民客户用能方式及特征分析，为智慧用能服务的规模化应用提供数据支撑。有助于探索居民客户智慧用能服务市场化运作模式及配套政策建议，提升居民需求响应参与度、实现电网尖峰负荷的削减、提高综合能源服务品质。

附图说明

图1为本发明的居民智慧用能服务标本库设计与构建流程图；

图2为本发明的基础信息特征数据；

图3为本发明的某地区日气温数据；

图4为本发明的电压、电流数据；

图5为本发明的有功功率、无功功率、功率因素数据；

图6为本发明的某客户家庭电器运行情况；

图7为本发明的当日用电情况；

图8为本发明的(月)累计电量占比。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种居民智慧用能服务标本库设计与构建方法，其流程如图1所示，包括以下步骤：

1、明确居民智慧用能服务标本库数据来源

本发明的数据来源、数据维度及采集频率如表1至表3所示。

表1调查问卷数据

表2外部数据

表3居民用能数据

2、设计居民智慧用能服务标本库数据结构

(1)调查问卷结构化设计

针对收集到的有效问卷，围绕问卷题项，可构建32个结构化特征，如表4所示；通过Mapper enconding对于问卷中的特征进行转换，得到基础信息特征分布、用电设备特征分布、生活方式特征分布、用电观念特征分布，其中基础信息特征数据如图2所示。

表4调查问卷特征构造

(2)天气数据结构化设计

对于收集到的各市、县气温数据，主要存储城市名称、日期、天气状况、气温(最高、最低)、风力风向等信息，实现月均气温和日气温数据(图3)的基础查询。同时根据场景需求，从气温数据中提取需要字段用于分析，例如根据客户同期的用电量、气温信息，研究温度对用电量的影响。

(3)HPLC智能电表数据结构化设计

HPLC智能电表(一天96点,15分钟一次采集实时数据)采集数据通过中继器与用电信息采集系统进行数据通信，主要采集客户的电压、电流、有功功率、无功功率、功率因素和电量示值。某客户HPLC采集数据如图4、图5所示，可根据具体场景需求提取相关数据进行分析。

(4)智能插座、非侵入式智能电表数据结构化设计

智能插座和非侵入式智能电表采集数据维度基本一致，主要采集客户编号、电器设备名称、电流、电压、功率等数据。其中，智能插座每分钟采集一次，数据颗粒度更细、精度更高，可实时监测各类家用电器用能情况；而非侵入式智能电表每15分钟采集一次，数据精度及准确性不如智能插座数据，可粗略监测各类家用电器用能情况。通过智能插座和非侵入式智能电表数据，可监测某客户各类家用电器运行情况、当日用电情况、累计电量占比等数据，如图6-图8所示。

3、内外部数据收集与清洗

数据收集

标本库所收集的数据包含问卷调查数据、电网内部系统数据、外部系统数据、HPLC电表采集数据、智能插座、非侵入式智能电表数据等，通过数据集成接口、外部数据导入、终端远程采集等方式进行数据收集。在数据存储方面，对于电网内部系统数据，标本库数据结构保持与系统内部数据结构一致；对于电网外部数据或新增采集数据，则根据标本库系统功能需求，设计各维度数据实体数据结构。

(1)问卷调查数据收集

在示范工程典型小区，通过客户经理现场走访、发放宣传册等方式进行居民智慧用能理念宣传，通过线上电e宝、掌上电力、微信公众号和线下小区走访、上门宣传等多维度方式开展居民智慧问卷调查，并对收集到的问卷通过电话回访、和基础数据比对分析等方式进行有效性研判；最后，对于有效性较低的问卷，采用退回重填或找其他客户再调研等方式，进行循环迭代优化，确保有效问卷样本的质量和数量，保证收集到不少于1万份有效问卷。

(2)电网内部系统数据收集

基于电网内部现有营销业务应用系统、用电信息采集系统，通过数据接口形式，获取居民电力用户基础档案信息、用电采集信息等相关数据。对于营销业务基础类档案数据，如用户档案、用户计量点、客户联系信息、用电地址信息等信息，每月月初从基础数据平台将这部分档案数据全量更新同步到居民智慧用能服务标本库中；对于用电采集系统数据，如电流、电压、电量等数据，由于数据量大且每日更新，所以每日抽取新增数据同步到居民智慧用能服务标本库中。

(3)外部系统数据收集

①气象数据收集

根据气象局官网发布的历史气温数据，通过网络爬虫技术，每月月初爬取各市、县上月的气象数据，主要获取城市名称、日期、天气状况、气温(最高、最低)、风力风向等信息；然后将获取的气象数据按数据存储要求保存为csv文件，并将数据文件导入居民智慧用能服务标本库，实现月均气温和日气温数据的基础查询。同时根据场景需求，从气温数据中提取需要字段用于分析，例如根据客户同期的用电量、气温信息，研究温度对居民用能行为的影响。

②房管局数据

与地方房管局进行业务对接，签订数据共享协议，采用线下数据文件的形式，由地方房管局按月提供房屋产权人姓名、性别、年龄、身份证号、联系方式、房屋合同编号、住房面积、成交价格、地址等相关数据，将数据文件导入居民智慧用能服务标本库，实现区域房产档案、房产均价等信息的基础查询。同时，根据场景需求，从房管局数据中提取需要字段用于分析，例如根据区域房产均价的横纵向对比，研究房产价值对于居民用能行为的影响。

③统计局数据

根据统计局官网发布的地区历史经济指标、能源指标等相关数据，通过网络爬虫技术，按月爬取各市、县上月的指标数据，主要获取城市名称、日期、经济类指标、能源类指标等信息，然后将获取的相关数据按数据存储要求保存为csv文件，并将数据文件导入居民智慧用能服务标本库，实现区域经济指标和能源指标的基础查询。同时根据场景需求，从统计局数据中提取需要字段用于分析，例如根据区域经济指标、能源指标横纵向对比情况，研究经济及能源发展对于居民用能行为的影响。

(4)HPLC数据收集

首先，在示范工程区域内，通过分层抽样选择典型小区，涵盖不少于1万户居民，首批完成HPLC智能电表安装；随后，对示范工程逐步实现全覆盖HPLC智能电表安装，确保可采集到不少于30万户居民HPLC用能数据。

HPLC智能电表(一天96点,15分钟一次采集实时数据)数据通过集中器与用电信息采集系统进行数据通信，主要采集客户的电压、电流、有功功率、无功功率、功率因素和电量示值。

(5)智能插座、非侵入式智能电表数据收集

在收集到有效问卷的示范区域居民群体中，筛选有意愿安装智能插座、非侵入式智能电表的居民客户，通过安装智能插座及非侵入式智能电表，采集用户实时用能信息；此过程不断迭代循环，以保证收集到不少于4000户居民智能插座数据、不少于6000户非侵入智能电表数据。

智能插座和非侵入式智能电表采集数据维度基本一致，主要采集家用电器电流、电压、功率等数据。其中，智能插座每分钟采集一次，数据颗粒度更细、精度更高，可实时监测各类家用电器用能情况；而非侵入式智能电表每15分钟采集一次，数据精度及准确性不如智能插座数据，可粗略监测各类家用电器用能情况。通过智能插座和非侵入式智能电表数据，可监测某客户各类家用电器运行情况、当日用电情况、累计电量占比等数据。

数据清洗

(1)一致性检查

①变量范围一致性检查

对于数值型变量，统计变量分布情况，根据业务经验，判断正常值域范围，自动识别每个超出范围的变量值，对于超出范围实例数据进行筛选排查。例如对于问卷调查数据中的家电数量、房屋数量等值，如果出现明显的异常，可根据实际情况进行再次确认或直接剔除相关记录；对于量测采集数据，可能存在少部分数据的跳变，甚至出现负值，对于这些异常值，直接用空值替换。

②逻辑一致性检查

逻辑上不一致性的答案可能以多种形式出现：例如，许多调查对象没有电动汽车，却选择电动汽车充电时间段；或者调查对象选择没有空调，但同时给出了空调使用时间段或空调设置温度；或对于电话号码长度及规则进行一致性检查。对于发现逻辑不一致时，要列出问卷序号、记录序号、变量名称、错误类别等，便于进一步核对和纠正。

(2)空值检查

①调查问卷数据空值处理

对于调查问卷，由于获取数据成本较高，对于空值数据，尽量避免直接删除。例如，对于某份问卷数据，其它常规问题数据质量较高，而对于“客户编号”、“电话号码”这类关键数据缺失，对于这类问卷，人工进一步核对补全缺失数据。对于问卷中其它非关键数据出现空值，属于被调研对象未作答，属于正常现象，这类空值不做处理。

②天气数据空值处理

对于天气数据，由于这部分数据可通过网络爬虫获取，相对而言数据获取成本较低，主要核实城市名称、日期、天气状况、气温(最高、最低)、风力风向等信息，若出现空值，重新爬取数据即可。

③量测数据空值处理

对于HPLC智能电表、智能插座、非侵入式智能电表等量测数据，由于数据采集频率较高，每日采集96点数据，可能会存在部分采集点丢失现象。对于这类空值，通常基于统计学原理，根据其余对象取值的分布情况来对一个空值进行填充，可用其余属性的平均值、中位数或众数代替缺失值。

(3)唯一性检查

在数据入库时，通过设置唯一性约束条件避免重复记录。如调查问卷数据设置客户编号为唯一约束条件，确保每个客户只有一条调查问卷数据；天气数据以城市名称和日期为约束条件，保存每个地区每天只有一条相关数据。对于重复数据，直接删除多余记录，数据入库只保留一条记录。

4、构建居民智慧用能服务标本库

按照上述内容对原始数据进行清洗、集成和融合，最终建立居民智慧用能服务标本库。其中标本库主要包含大、中、小三类样本，样本之间的差异主要体现在特色数据方面，其中各类样本采集的数据维度及规模如表5所示。

(1)小样本

数据维度最全、样本规模为0.4万户，特指安装了智能插座和非侵入式智能电表，同时具有调查问卷数据和HPLC智能电表数据的客户群。由于这类客户安装了智能插座和非侵入式智能电表，可以实时采集客户各类家用电器用能情况，可精确监测各类家用电器用能情况。通过大数据手段，分析小样本居民客户用能行为，提取负荷特性、用能量、用能时间及用能习惯特征，建立多维度居民用能特征标签，形成用能行为客户画像。

(2)中样本

数据维度比较全、样本规模为0.6万户，特指安装了非侵入式智能电表，同时具有调查问卷数据和HPLC智能电表数据的客户群。其中，0.6万户中样本包含了0.4万户小样本，相对于小样本，由于缺少智能插座数据，只能粗略监测各类家用电器用能情况。

(3)大样本

数据维度相对较小、样本规模为不少于1万户，特指收集到有效调查问卷，同时安装了HPLC智能电表客户群。其中，1万户中样本包含了0.6万户中样本，相对于小样本和中样本，由于这类客只有问卷调查数据和HPLC智能电表数据，通过对比分析小样本、中样本和大样本调查问卷、HPLC数据及共有数据特征，挖掘各类样本之间的映射关系，实现小样本到中样本，中样本到大样本的用能特征推广。

表5样本类别

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种居民智慧用能服务标本库设计与构建方法，其特征在于：包括以下步骤：

步骤1，明确居民智慧用能服务标本库数据来源：居民智慧用能服务标本库包含居民用户基础数据和用能数据两个方面，其中用户基础数据包含调查问卷数据和外部数据两部分，外部数据包含天气数据；用能数据包括HPLC智能电表数据以及智能插座、非侵入式智能电表数据，同时还集成营销业务应用系统和供电服务指挥平台已有部分业务数据；

步骤2，设计居民智慧用能服务标本库数据结构：包括调查问卷数据结构化设计、天气数据结构化设计、HPLC智能电表数据结构化设计以及智能插座、非侵入式智能电表数据结构化设计；

步骤3，内外部数据收集与清洗：提出包含一致性检查、空值检查、唯一性检查的居民智慧用能服务大数据清洗方法；

步骤4，构建居民智慧用能服务标本库：提出了包含大、中、小三类样本的居民智慧用能服务标本库架构，定义了三类样本的规模及数据维度，并定义了三类样本间的包含关系。

2.根据权利要求1所述的一种居民智慧用能服务标本库设计与构建方法，其特征在于：步骤2具体包括：

调查问卷数据结构化设计：包含基础信息、用电设备、生活方式、用电观念四个方面；

天气数据结构化设计：对于收集到的各市、县气温数据，存储城市名称、日期、天气状况、气温、风力风向信息；

HPLC智能电表数据结构化设计：HPLC智能电表采集数据通过中继器与用电信息采集系统进行数据通信，采集存储客户的电压、电流、有功功率、无功功率、功率因素和电量示值，HPLC智能电表每15分钟采集一次数据；

智能插座、非侵入式智能电表数据结构化设计：智能插座和非侵入式智能电表采集数据维度一致，采集客户编号、电器设备名称、电流、电压、功率数据，智能插座每分钟采集一次数据，非侵入式智能电表每15分钟采集一次数据。

3.根据权利要求1所述的一种居民智慧用能服务标本库设计与构建方法，其特征在于：步骤3具体包括：

一致性检查包含变量范围一致性检查与逻辑一致性检查：变量范围一致性检查通过判断正常值域范围，自动识别每个超出范围的变量值，对于超出范围实例数据进行筛选排查；逻辑一致性检查判断不同数据含义矛盾的情况；

空值检查分为调查问卷数据空值处理、天气数据空值处理以及量测数据空值处理：调查问卷数据空值处理采用人工进一步核对补全的方式，天气数据空值处理重新通过网络获取，量测数据空值处理采取平均值、中位数或众数代替缺失值；

唯一性检查指在数据入库时，通过设置唯一性约束条件避免重复记录。

4.根据权利要求1所述的一种居民智慧用能服务标本库设计与构建方法，其特征在于：步骤4具体包括：

小样本：数据维度最全、样本规模最小，特指安装了智能插座和非侵入式智能电表，同时具有调查问卷数据和HPLC智能电表数据的客户群；

中样本：数据维度比较全、样本规模中等，特指安装了非侵入式智能电表，同时具有调查问卷数据和HPLC智能电表数据的客户群，中样本同时包含小样本；

大样本：数据维度相对较小、样本规模最大，特指收集到有效调查问卷，同时安装了HPLC智能电表客户群，大样本同时包含中样本。

Images