CN114090556B - 一种电力营销数据采集方法及系统 - Google Patents

Abstract

本发明公开了一种电力营销数据采集方法及系统，包括：利用网络嗅探器，将网卡置于混杂模式，基于所述混杂模式的网卡接收所有历史电力营销数据；预处理所述历史电力营销数据，将所述预处理后的数据进行分类存储；基于不同分类储存的数据建立标准化格式库，对实时采集的数据按照不同属性与所述标准化格式库中分类储存数据进行匹配；根据所述匹配结果及判断所述实时数据对应储存的位置，完成电力营销数据的采集。本发明基于电力营销信息系统数据采集存储方案的改进，能够避免出现数据含有较大的偏差、数据不实、不全或重复的问题，从而保证了电力企业数据的质量管控。

Description

一种电力营销数据采集方法及系统

技术领域

本发明涉及电网、数据采集的技术领域，尤其涉及一种电力营销数据采集方法及系统。

背景技术

电力营销信息系统是电力企业整体系统的重要组成部分，数据质量的管控又关系着电力营销管理工作的开展，由于电力营销业务系统的不成熟、业务的改革等原因，造成了电力营销管理工作和数据采集过程监控存在较大的风险，其中，数据采集过程中会出现如下问题：

用户电表查询与报表结果不符问题：在进行电力用户电表查询工作时，电力工作人员可以利用相关软件将查询的结果与报表中统计的结果进行对比，通过技术检测出两种查询结果之间存在不一致的现象，究其原因，主要是由于被检测用户的建档信息填写不完整或者不准确导致的，在实际的用电检查工作中，这种实际电价与用户档案之间存在信息不符现象十分普遍，这将致使用电审计出现偏差，电价与用户实际用电情况不一致；数据管控体系不健全：数据从产生开始就需要接入管控，但在数据产生阶段，往往由于业务人员忽视原始营销资料的积累和数据准确度的辨别，产生时对数据的逻辑性和匹配性的审核应付了事，对数据的源头缺少把控，缺乏与其他部门的沟通交流，发起方和消费方数据不一致，造成数据准确度不高，另外系统升级或版本切换时，数据迁移过程中未严格控制数据对照关系导致数据丢失、数据不规范；数据质量缺关注：有些电力营销业务人员只注重业务完结率，提交的数据含有较大的偏差，数据不实、不全或重复的现象在一定范围内普遍存在，业务管理不规范，导致数据录入五花八门，有些是因为系统间库表限制不严实，造成同一数据多方录入，在使用信息系统处理数据的过程中仍有些人员的对业务不够熟悉，引起录入的数据不准确性和不完整性，还有就是用户本身信息发生变化，未能及时对系统数据更新，造成数据的不准确、不可用。

因此，如何做好电力营销信息系统数据采集，从而保证质量管控成为了电力企业亟需思考的问题。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明解决的技术问题是：数据管控体系不健全，从而导致数据质量差，如提交的数据不全、不实或重复等问题。

为解决上述技术问题，本发明提供如下技术方案：利用网络嗅探器，将网卡置于混杂模式，基于所述混杂模式的网卡接收所有历史电力营销数据；预处理所述历史电力营销数据，将所述预处理后的数据进行分类存储；基于不同分类储存的数据建立标准化格式库，对实时采集的数据按照不同属性与所述标准化格式库中分类储存数据进行匹配；根据所述匹配结果及判断所述实时数据对应储存的位置，完成电力营销数据的采集。

作为本发明所述的电力营销数据采集方法的一种优选方案，其中：所述电力营销数据的来源包括各类装备实时收集的现场数据和通过调度中心不同系统在运转过程中引发的数据，所述不同系统包括管理信息系统、地理信息系统、电网运行实时信息系统以及SCADA系统。

作为本发明所述的电力营销数据采集方法的一种优选方案，其中：预处理所述历史电力营销数据包括，清洗空缺值、格式内容、逻辑错误、非需求信息；对所述环境信息进行特征构造、信息分级及信息量化；对信息变换后的信息进行信息统计，将信息合并到统一的信息存储中；采用基于聚类的离群样本检测策略对信息样本中仍可能出现异常的样本进行检测剔除。

作为本发明所述的电力营销数据采集方法的一种优选方案，其中：分类存储所述预处理后的数据包括，利用七层ISO模型中的应用层筛选出TCP/IP协议报文；获取所述TCP/IP协议报文的规则数据信息，利用决策树策略分析获得所述规则数据信息的特征节点；构建分类模型，基于所述分类模型将所述特征节点进行类别划分，将划分好的特征节点所对应的数据分类储存。

作为本发明所述的电力营销数据采集方法的一种优选方案，其中：所述分类模型的构建包括，获取不同类别的历史电力营销数据中每个类别的特征数据；根据所述特征数据将所述不同类别进行聚类得到多层分类层级树；将所述多层分类层级树的内节点作为所述分类模型的节点，对每个节点进行训练得到所述分类模型。

作为本发明所述的电力营销数据采集方法的一种优选方案，其中：基于不同分类储存的数据建立标准化格式库包括，根据历史电力营销数据配置电力营销数据排序格式模板；按照所述电力营销数据排序格式模板中出现的热词频率进行模板排序，将所述热词出现频率按从高到低进行排序；将排序好的电力营销数据排序格式模板存储于统一数据库中，形成所述标准化格式库。

作为本发明所述的电力营销数据采集方法的一种优选方案，其中：对实时采集的数据按照不同属性与所述标准化格式库中分类储存数据进行匹配包括，利用所述分类模型对所述实时采集的数据进行不同属性的分类；将所述分类模型分类后的数据按照不同节点进行排序，位于所述多层分类层级树之首的数据优先与所述标准化格式库中数据热词频率最高者进行匹配；若匹配不成功，则与频率次高者进行匹配，并将所述多层分类层级树的第二条数据与所述热词频率最高者进行匹配，以此类推。

作为本发明所述的电力营销数据采集方法的一种优选方案，其中：根据所述匹配结果及判断所述实时数据对应储存的位置包括，利用相似度判断规则判断所述匹配数据的相似度，若相似度大于预设值，则匹配成功；将匹配成功的数据置于对应的存储的位置，并基于所述七层ISO模型的表示层对将匹配成功的数据进行数据压缩、加密。

为解决上述技术问题，本发明还提供了一种电力营销数据采集系统，提供如下技术方案：数据采集模块，用于采集接收历史电力营销数据以及实时电力营销数据；数据处理模块与所述数据采集模块相连接，用于预处理所述数据采集模块采集接收的数据；分类存储模块与所述数据处理模块相连接，将所述预处理后的数据进行分类匹配及存储。

本发明的有益效果：本发明基于电力营销信息系统数据采集存储方案的改进，能够避免出现数据含有较大的偏差、数据不实、不全或重复的问题，从而保证了电力企业数据的质量管控。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明一个实施例提供的一种电力营销数据采集方法及系统的基本流程示意图；

图2为本发明一个实施例提供的一种电力营销数据采集方法及系统的模块结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

参照图1，为本发明的一个实施例，提供了一种电力营销数据采集方法，包括：

S1：利用网络嗅探器，将网卡置于混杂模式，基于混杂模式的网卡接收所有历史电力营销数据；

需要说明的是，将网卡置于混杂模式的程序运行代码为：

其中，电力营销数据的来源包括各类装备实时收集的现场数据和通过调度中心不同系统在运转过程中引发的数据，不同系统包括管理信息系统、地理信息系统、电网运行实时信息系统以及SCADA系统。

S2：预处理历史电力营销数据，将预处理后的数据进行分类存储；

需要说明的是，预处理历史电力营销数据包括：清洗空缺值、格式内容、逻辑错误、非需求信息；对环境信息进行特征构造、信息分级及信息量化；对信息变换后的信息进行信息统计，将信息合并到统一的信息存储中；采用基于聚类的离群样本检测策略对信息样本中仍可能出现异常的样本进行检测剔除。

其中，基于聚类的离群样本检测策略的程序运行代码如下：

进一步的，分类存储预处理后的数据包括：

利用七层ISO模型中的应用层筛选出TCP/IP协议报文；

获取TCP/IP协议报文的规则数据信息，利用决策树策略分析获得规则数据信息的特征节点；

构建分类模型，基于分类模型将特征节点进行类别划分，将划分好的特征节点所对应的数据分类储存；

其中，分类模型的构建包括：

获取不同类别的历史电力营销数据中每个类别的特征数据；

根据特征数据将不同类别进行聚类得到多层分类层级树；

将多层分类层级树的内节点作为分类模型的节点，对每个节点进行训练得到分类模型。

S3：基于不同分类储存的数据建立标准化格式库，对实时采集的数据按照不同属性与标准化格式库中分类储存数据进行匹配；

需要说明的是，基于不同分类储存的数据建立标准化格式库包括：

根据历史电力营销数据配置电力营销数据排序格式模板；

按照电力营销数据排序格式模板中出现的热词频率进行模板排序，将热词出现频率按从高到低进行排序；

将排序好的电力营销数据排序格式模板存储于统一数据库中，形成标准化格式库。

进一步的，对实时采集的数据按照不同属性与标准化格式库中分类储存数据进行匹配包括：

利用分类模型对实时采集的数据进行不同属性的分类；

将分类模型分类后的数据按照不同节点进行排序，位于多层分类层级树之首的数据优先与标准化格式库中数据热词频率最高者进行匹配；

若匹配不成功，则与频率次高者进行匹配，并将多层分类层级树的第二条数据与热词频率最高者进行匹配，以此类推。

S4：根据匹配结果及判断实时数据对应储存的位置，完成电力营销数据的采集。

需要说明的是，根据匹配结果及判断实时数据对应储存的位置包括：

利用相似度判断规则判断匹配数据的相似度，若相似度大于预设值，则匹配成功；

将匹配成功的数据置于对应的存储的位置，并基于七层ISO模型的表示层对将匹配成功的数据进行数据压缩、加密。

其中，相似度判断规则运行的部分代码如下所示：

进一步的，利用加密算法包括TDES算法、DES算法和AES算法对匹配成功的数据进行数据加密。

具体的，获取加密算法的第一密钥、第二密钥及第三密钥，利用第一密钥对匹配成功的数据进行加密，得到第一加密数据；利用第二密钥对第一加密数据进行解密，得到第二加密数据；利用第三密钥对第二加密数据进行加密，得到加密后的数据。

对本方法中采用的技术效果加以验证说明，本实施例选择的不同方法和采用本方法进行对比测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果。

本实施例中将采用传统数据采集和本方法分别对仿真电网的电力营销数据的采集准确度、完整性及重复率进行实时测量对比。测试环境：在仿真平台模拟电网的运行并模拟电网数据的产生，分别利用传统人工采集方法和本方法，实现两种方法的仿真测试，根据实验结果得到仿真数据，结果如下表所示。

表1：实验结果对比表。

测试样本	传统方法	本发明方法
			准确度/％	75.2	96.8
完整度/％	83.1	98.0
			重复率/％	20.23	0.96

从上表可以看出本发明方法具有较好的鲁棒性。

实施例2

参照图2为本发明另一个实施例，该实施例不同于第一个实施例的是，提供了一种电力营销数据采集系统，包括：

数据采集模块100，用于采集接收历史电力营销数据以及实时电力营销数据；

数据处理模块200与数据采集模块100相连接，用于预处理数据采集模块100采集接收的数据；

分类存储模块300与数据处理模块200相连接，将预处理后的数据进行分类匹配及存储。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种电力营销数据采集方法，其特征在于，包括：

利用网络嗅探器，将网卡置于混杂模式，基于所述混杂模式的网卡接收所有历史电力营销数据；

预处理所述历史电力营销数据，将所述预处理后的数据进行分类存储；

基于不同分类储存的数据建立标准化格式库，对实时采集的数据按照不同属性与所述标准化格式库中分类储存数据进行匹配；

基于不同分类储存的数据建立标准化格式库包括，

根据历史电力营销数据配置电力营销数据排序格式模板；

按照所述电力营销数据排序格式模板中出现的热词频率进行模板排序，将所述热词出现频率按从高到低进行排序；

将排序好的电力营销数据排序格式模板存储于统一数据库中，形成所述标准化格式库；

对实时采集的数据按照不同属性与所述标准化格式库中分类储存数据进行匹配包括，

利用分类模型对实时采集的数据进行不同属性的分类；

将所述分类模型分类后的数据按照不同节点进行排序，位于多层分类层级树之首的数据优先与所述标准化格式库中数据热词频率最高者进行匹配；

若匹配不成功，则与频率次高者进行匹配，并将所述多层分类层级树的第二条数据与所述热词频率最高者进行匹配，以此类推；

根据匹配结果及判断所述实时采集的数据对应储存的位置，完成电力营销数据的采集。

2.如权利要求1所述的电力营销数据采集方法，其特征在于：所述电力营销数据的来源包括各类装备实时收集的现场数据和通过调度中心不同系统在运转过程中引发的数据，所述不同系统包括管理信息系统、地理信息系统、电网运行实时信息系统以及SCADA系统。

3.如权利要求1或2所述的电力营销数据采集方法，其特征在于：预处理所述历史电力营销数据包括，

清洗空缺值、格式内容、逻辑错误、非需求信息；

对环境信息进行特征构造、信息分级及信息量化；

对信息变换后的信息进行信息统计，将信息合并到统一的信息存储中；

采用基于聚类的离群样本检测策略对信息样本中仍可能出现异常的样本进行检测剔除。

4.如权利要求3所述的电力营销数据采集方法，其特征在于：分类存储所述预处理后的数据包括，

利用七层ISO模型中的应用层筛选出TCP/IP协议报文；

获取所述TCP/IP协议报文的规则数据信息，利用决策树策略分析获得所述规则数据信息的特征节点；

构建分类模型，基于所述分类模型将所述特征节点进行类别划分，将划分好的特征节点所对应的数据分类储存。

5.如权利要求4所述的电力营销数据采集方法，其特征在于：所述分类模型的构建包括，

获取不同类别的历史电力营销数据中每个类别的特征数据；

根据所述特征数据将所述不同类别进行聚类得到多层分类层级树；

将所述多层分类层级树的内节点作为所述分类模型的节点，对每个节点进行训练得到所述分类模型。

6.如权利要求1所述的电力营销数据采集方法，其特征在于：根据匹配结果及判断所述实时采集的数据对应储存的位置包括，

利用相似度判断规则判断匹配数据的相似度，若相似度大于预设值，则匹配成功；

将匹配成功的数据置于对应的存储的位置，并基于七层ISO模型的表示层对将匹配成功的数据进行数据压缩、加密。

Images