CN109918218A - 一种基于电力收费的错误数据分析方法 - Google Patents

Abstract

本发明公开了一种基于电力收费的错误数据分析方法，包括：获取单位时间内的电力收费数据；确定电力收费数据的获取途径，获取途径至少包括从电表设备获取和设备网管获取中的一种；进行数据属性缺失校验，根据获取途径的不同，提取不同来源的数据，形成多个设备的完整数据链，对完整数据链的关键属性完整性进行校验；对经过完整性校验的数据进行数据匹配度校验，判断多个数据来源属性是否一致；当数据分层校验事件被触发后，不同来源的数据由预先设置的重要程度进行可信度分级，分级后对错误信息数据来源进行修正；对修正后的数据进行获取对应的操作日志，判断对应的操作日志的属性信息是否存在异常；剔除错误数据并记录剔除信息。

Description

一种基于电力收费的错误数据分析方法

技术领域

本发明涉及电力收费领域，尤其涉及一种基于电力收费的错误数据分析方法。

背景技术

传统电力行业通过智能电表获取用户的用电数据，通过收费系统进行相应的金额收取；随着网络信息量的增加，海量数据在进行传输发送的过程中会由于网络故障或者数据本身格式等问题出现传输故障，导致传输到收费系统的部分用电数据变成不可识别的错误数据，而用电数据的错误会导致用户的用电计费失常的缺陷，即使这部分数据是极小几率发生的少量数据，但足以给用户或电网企业带来损失。

发明内容

本发明提供了一种基于电力收费的错误数据分析方法，以解决传统的电力收费系统没有对电力数据进行错误数据检测的技术问题，从而对用电数据进行错误数据分析，进而防止用户或电网企业造成损失。

为了解决上述技术问题，本发明实施例提供了一种基于电力收费的错误数据分析方法，包括：

获取单位时间内的电力收费数据；

确定所述电力收费数据的获取途径，所述获取途径至少包括从电表设备获取和设备网管获取中的一种；

进行数据属性缺失校验，根据所述获取途径的不同，对不同的设备提取不同来源的数据，形成多个设备的完整数据链，对所述完整数据链的关键属性完整性进行校验，若校验失败则视为错误数据，若校验成功则视为正常数据；

对经过完整性校验的数据进行数据匹配度校验，判断多个数据来源属性是否一致，若一致则将数据标记为准确数据；若不一致时，则触发数据分层校验事件；

当数据分层校验事件被触发后，不同来源的数据由预先设置的重要程度进行可信度分级，分级后对错误信息数据来源进行修正；

对修正后的数据进行获取对应的操作日志，并判断对应的操作日志的属性信息是否存在异常，若存在异常则确认为错误数据，否则为正常数据；

剔除错误数据并记录剔除信息，实现完成对一个单位时间内的电力数据分析。

作为优选方案，所述对所述完整数据链的关键属性完整性进行校验，至少包括：

判断所述完整数据链中各数据的关键属性是否填写完整，若判断为不完整，则发出属性缺失告警，并记录其来源归属设备和缺失情况，在补充关键属性完成前不再继续进行下一步校验。

作为优选方案，所述对错误信息数据来源进行修正，至少包括填补关键属性数据和修正数据来源属性。

作为优选方案，所述电力收费数据包括用户的电力数据和用户个人信息。

作为优选方案，所述操作日志的属性信息，包括操作日志的报送状态、异常交易逻辑状态、交易信息记录中的一种或多种组合。

作为优选方案，所述交易信息记录包括交易金额、交易量和交易余额。

作为优选方案，所述对不同的设备提取不同来源的数据中的数据包括不同设备的配置信息、告警记录信息、设备性能信息、业务信息、运维信息。

作为优选方案，所述数据匹配度校验通过余弦相似度算法进行匹配度计算。

作为优选方案，在所述对修正后的数据进行获取对应的操作日志，并判断对应的操作日志的属性信息是否存在异常之后，还包括：

依据所述操作日志中目标报送状态的参数和异常交易逻辑的参数，评估所述待分析记录的质量。

作为优选方案，所述依据所述操作日志中目标报送状态的参数和异常交易逻辑的参数，评估所述待分析记录的质量，包括：

确定第一百分比与第二百分比；所述第一百分比为所述目标报送状态的出现次数占总数量的百分比；所述第二百分比为所述异常交易逻辑的出现次数占总数量的百分比；

若所述第一百分比大于预设第一阈值，或者所述第二百分比大于预设第二阈值，则确定所述待分析记录的质量不满足预设质量要求，则确定为错误数据；

若所述第一百分比不大于所述预设第一阈值，且所述第二百分比不大于所述预设第二阈值，则确定所述待分析记录的质量满足所述预设质量要求，则确定为正常数据。

相比于现有技术，本发明实施例具有如下有益效果：

通过对电力收费数据进行错误数据识别，从电力数据的获取途径和操作日志进行分析，提取错误数据并修正、剔除，解决传统的电力收费系统没有对电力数据进行错误数据检测的技术问题，能够防止错误的用电数据在收费系统中给用户或电网企业造成损失。

附图说明

图1：为本发明方法实施例的步骤流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参照图1，本发明优选实施例提供了一种基于电力收费的错误数据分析方法，包括：

S1，获取单位时间内的电力收费数据；

在本实施例中，所述电力收费数据包括用户的电力数据和用户个人信息。

S2，确定所述电力收费数据的获取途径，所述获取途径至少包括从电表设备获取和设备网管获取中的一种；

S3，进行数据属性缺失校验，根据所述获取途径的不同，对不同的设备提取不同来源的数据，形成多个设备的完整数据链，对所述完整数据链的关键属性完整性进行校验，若校验失败则视为错误数据，若校验成功则视为正常数据；

在本实施例中，所述对所述完整数据链的关键属性完整性进行校验，至少包括：

判断所述完整数据链中各数据的关键属性是否填写完整，若判断为不完整，则发出属性缺失告警，并记录其来源归属设备和缺失情况，在补充关键属性完成前不再继续进行下一步校验。

S4，对经过完整性校验的数据进行数据匹配度校验，判断多个数据来源属性是否一致，若一致则将数据标记为准确数据；若不一致时，则触发数据分层校验事件；

在本实施例中，所述数据匹配度校验通过余弦相似度算法进行匹配度计算。

S5，当数据分层校验事件被触发后，不同来源的数据由预先设置的重要程度进行可信度分级，分级后对错误信息数据来源进行修正；

在本实施例中，所述对错误信息数据来源进行修正，至少包括填补关键属性数据和修正数据来源属性。

在本实施例中，所述对不同的设备提取不同来源的数据中的数据包括不同设备的配置信息、告警记录信息、设备性能信息、业务信息、运维信息。

S6，对修正后的数据进行获取对应的操作日志，并判断对应的操作日志的属性信息是否存在异常，若存在异常则确认为错误数据，否则为正常数据；

在本实施例中，所述操作日志的属性信息，包括操作日志的报送状态、异常交易逻辑状态、交易信息记录中的一种或多种组合。

在本实施例中，所述交易信息记录包括交易金额、交易量和交易余额。

在本实施例中，在所述对修正后的数据进行获取对应的操作日志，并判断对应的操作日志的属性信息是否存在异常之后，还包括：

依据所述操作日志中目标报送状态的参数和异常交易逻辑的参数，评估所述待分析记录的质量。

在本实施例中，所述依据所述操作日志中目标报送状态的参数和异常交易逻辑的参数，评估所述待分析记录的质量，包括：

确定第一百分比与第二百分比；所述第一百分比为所述目标报送状态的出现次数占总数量的百分比；所述第二百分比为所述异常交易逻辑的出现次数占总数量的百分比；

若所述第一百分比大于预设第一阈值，或者所述第二百分比大于预设第二阈值，则确定所述待分析记录的质量不满足预设质量要求，则确定为错误数据；

若所述第一百分比不大于所述预设第一阈值，且所述第二百分比不大于所述预设第二阈值，则确定所述待分析记录的质量满足所述预设质量要求，则确定为正常数据。

S7，剔除错误数据并记录剔除信息，实现完成对一个单位时间内的电力数据分析。

数据采集针对设备网管、资源管理系统、运行管理系统进行数据采集。专业网管负责提供设备的配置数据，如设备I D、槽位、板卡、端口信息等，该数据一般是由设备网管提供；资源管理系统负责提供设备的维护数据，如所属网络、承载业务信息等，该数据既有从设备采集的数据，也有运行人员手工维护的数据；运行管理系统负责提供设备的运维数据，如检修情况、故障情况信息等，由运行人员手工录入；而多个来源的数据中又有部分相同的数据，如槽位、板卡、端口的占用情况、设备运行状态信息等。上述数据统一纳入数据质量监控系统数据库进行存储，此外，还存储数据来源、采集时间等关键信息。此外，系统还会从网络中定期收集设备自带的信息，避免设备更换后，网管没有及时收集信息。

由数据质量监控系统进行属性缺失校验，根据设备出厂I D提取不同来源的数据，形成单个设备的完整数据链，包括设备的配置信息、告警信息、性能信息、业务信息、运维信息等。在此期间，校验各系统数据关键属性是否填写完整，对于预设关键属性缺失的，发出属性缺失告警，记录其来源系统和缺失情况，并不再继续进行下一步校验。

由数据质量监控系统进行数据匹配度校验，根据本发明配置的校验属性，对设备的数据链信息进行逐一比对。数据匹配完全一致、相似度较高时不扣分，如果出现多个数据来源的属性不一致时，触发数据分层校验事件。

当数据分层校验事件被触发后，不同来源的数据由数据质量监控系统预先设置的重要程度进行可信度分级，如专业网管>资源管理系统>运行管理系统。例如运行管理系统数据无法与资源管理管理系统数据匹配，而专业网管与运行管理系统数据一致，则可判定为资源管理系统数据出现问题，系统发出资源管理系统数据不准确告警。

本发明通过对电力收费数据进行错误数据识别，从电力数据的获取途径和操作日志进行分析，提取错误数据并修正、剔除，解决传统的电力收费系统没有对电力数据进行错误数据检测的技术问题，能够防止错误的用电数据在收费系统中给用户或电网企业造成损失。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于电力收费的错误数据分析方法，其特征在于，包括：

获取单位时间内的电力收费数据；

确定所述电力收费数据的获取途径，所述获取途径至少包括从电表设备获取和设备网管获取中的一种；

进行数据属性缺失校验，根据所述获取途径的不同，对不同的设备提取不同来源的数据，形成多个设备的完整数据链，对所述完整数据链的关键属性完整性进行校验，若校验失败则视为错误数据，若校验成功则视为正常数据；

对经过完整性校验的数据进行数据匹配度校验，判断多个数据来源属性是否一致，若一致则将数据标记为准确数据；若不一致时，则触发数据分层校验事件；

当数据分层校验事件被触发后，不同来源的数据由预先设置的重要程度进行可信度分级，分级后对错误信息数据来源进行修正；

对修正后的数据进行获取对应的操作日志，并判断对应的操作日志的属性信息是否存在异常，若存在异常则确认为错误数据，否则为正常数据；

剔除错误数据并记录剔除信息，实现完成对一个单位时间内的电力数据分析。

2.如权利要求1所述的方法，其特征在于，所述对所述完整数据链的关键属性完整性进行校验，至少包括：

判断所述完整数据链中各数据的关键属性是否填写完整，若判断为不完整，则发出属性缺失告警，并记录其来源归属设备和缺失情况，在补充关键属性完成前不再继续进行下一步校验。

3.如权利要求1所述的方法，其特征在于，所述对错误信息数据来源进行修正，至少包括填补关键属性数据和修正数据来源属性。

4.如权利要求1所述的方法，其特征在于，所述电力收费数据包括用户的电力数据和用户个人信息。

5.如权利要求1所述的方法，其特征在于，所述操作日志的属性信息，包括操作日志的报送状态、异常交易逻辑状态、交易信息记录中的一种或多种组合。

6.如权利要求5所述的方法，其特征在于，所述交易信息记录包括交易金额、交易量和交易余额。

7.如权利要求1所述的方法，其特征在于，所述对不同的设备提取不同来源的数据中的数据包括不同设备的配置信息、告警记录信息、设备性能信息、业务信息、运维信息。

8.如权利要求1所述的方法，其特征在于，所述数据匹配度校验通过余弦相似度算法进行匹配度计算。

9.如权利要求1所述的方法，其特征在于，在所述对修正后的数据进行获取对应的操作日志，并判断对应的操作日志的属性信息是否存在异常之后，还包括：

依据所述操作日志中目标报送状态的参数和异常交易逻辑的参数，评估所述待分析记录的质量。

10.如权利要求9所述的方法，其特征在于，所述依据所述操作日志中目标报送状态的参数和异常交易逻辑的参数，评估所述待分析记录的质量，包括：

确定第一百分比与第二百分比；所述第一百分比为所述目标报送状态的出现次数占总数量的百分比；所述第二百分比为所述异常交易逻辑的出现次数占总数量的百分比；

若所述第一百分比大于预设第一阈值，或者所述第二百分比大于预设第二阈值，则确定所述待分析记录的质量不满足预设质量要求，则确定为错误数据；

若所述第一百分比不大于所述预设第一阈值，且所述第二百分比不大于所述预设第二阈值，则确定所述待分析记录的质量满足所述预设质量要求，则确定为正常数据。