CN109783552A - 一种数据清洗修复方法 - Google Patents

Abstract

本发明涉及一种数据清洗修复方法，所述方法包括：针对配电网终端设备自身产生的采集和数据传输中产生的数据错误，设立接入模块进行数据清洗修复；针对配电网信息系统中由信息化设备产生的数据错误，设立转换模块进行数据清洗修复；针对配电网多个业务信息系统间数据交互、数据加工中产生数据不良，设立规则库清洗模块；对于已经入库存储的历史数据的清洗，设立离线模块进行数据清洗修复，对整体历史数据进行逻辑排查。本发明能够高效判别数据误差、数据不良情况，防止数据漏判、错判，保证修复效率，满足上层业务应用数据要求。

Description

一种数据清洗修复方法

【技术领域】

本发明属于分布式数据处理技术领域，尤其涉及一种数据清洗修复方法。

【背景技术】

数据质量优劣关乎配电网稳定运行，对于海量低价值密度数据如果没有一定的数据质量提升方法，即使再精准的处理逻辑、再高效的并行策略都不会获得正确结果。目前已有很多信息科学领域内的数据预处理和清洗系统引入配电网大数据研究领域，但是这些系统只能适用于互联网逻辑简单的大体量数据或图像音视频等规律性强的应用场景，无法处理电力系统生产过程连续、自动化程度高产生的全过程高速实时数据和长期积累下的高维高缺失低关联度历史数据，因此常规系统架构直接用于海量异常数据处理，导致配电网分析应用结果缺乏可信度，进而影响分析计算决策的准确性。此外，配电网数据清洗修复系统从采集、抽取、传输、应用和存储整个生命周期的每一个阶段里都可能引发各类数据质量问题，异常数据类型混杂特征各异，不同业务应用对数据精度和粒度的需求也不尽相同。因此如何针对数据选择适配的数据清洗修复系统架构，进而搭载合理的科学与方法，进一步改善数据质量实现数据精确修复提升配电网领域业务应用水准是非常必要的。针对当前配电网数据质量差、时间尺度不同、量测残差污染严重、系统间数据封闭，已经严重影响当前配电网规划、运维和检修等工作的正常开展，直接导致辅助决策和高级应用结果不准确的问题，亟需一种新的数据清洗修复方法，本发明能够高效判别数据误差、数据不良情况，防止数据漏判、错判，保证修复效率，满足上层业务应用数据要求；针对不同的数据错误形成机理快速评估质量问题并调用相应的修复模块，实现数据质量提升与修复的功能的差异化灵活加载、颗粒度弹性化可调，同时保证系统的快速性与高并发性。

【发明内容】

为了解决现有技术中的上述问题，本发明提出了一种数据清洗修复方法，该方法包括：

步骤1：针对配电网终端设备自身产生的采集和数据传输中产生的数据错误，设立接入模块进行数据清洗修复，实现采集误差、采集错误、遥信遥控遥测数据传输错误等清洗修复；

步骤2：针对配电网信息系统中由信息化设备产生的数据错误，设立转换模块进行数据清洗修复，实现网络模块传输中应用各类通讯时产生的数据的清洗修复；

步骤3：针对配电网多个业务信息系统间数据交互、数据加工中产生数据不良，设立规则库清洗模块；

步骤4：对于已经入库存储的历史数据的清洗，设立离线模块进行数据清洗修复，对整体历史数据进行逻辑排查；

步骤5：针对数据清洗修复前后的结果，设立数据质量评估模块，开展对清洗修复前、清洗修复后的流程化评估；

步骤6：针对清洗完成的数据设立数据服务模块，提供高质量的数据资源服务。

进一步的，所述步骤1具体为：针对配电网终端设备自身产生的采集和数据传输设立接入模块，进行数据分析，通过电表、自动化设备、充电桩、录波设备、智能指示器、环境检测仪等设备采集到的各种类型数据，通过光纤通讯、无线扩频、配电载波、以太网、无线网传输。

进一步的，所述步骤1所依赖的协议包括：DLT645-2007、IEC 60870、CAN以及网络模块TCP/UDP协议进行规约解析。

进一步的，所述步骤2具体为，针对配电网信息系统中由信息化设备产生的数据错误，设立转换模块，通过对网络模块的数据包解析，通过协议解析校验纠错，通过心跳抽检机制进行数据的抽检，每隔固定时间对数据解析抽检。

进一步的，所述步骤3具体为，针对配电网多个业务信息系统间数据交互、数据加工中发生的数据不良情况，通过将多源数据进行集成融合，根据各业务信息系统的逻辑关系，设立规则库清洗数据。

进一步的，所述步骤4具体为，对于已经入库存储的历史数据的清洗，包括营销数据、运行控制数据、台账数据、运检数据、规划数据、状态监测数据，设立离线模块对历史数据进行逻辑排查，通过分布式并行清洗修复的方式，完成海量历史数据清洗修复。从而解决海量数据难以快速清洗问题。

进一步的，所述步骤5具体为，针对数据清洗修复前后的结果，设立数据质量评估模块，设立包括数据置信度、数据缺失度、数据不一致度、数据逻辑错误度，数据重复率等指标的评估指标库，依据这些指标，开展对清洗修复前、清洗修复后的流程化评估。

本发明的有益效果包括：能够高效判别数据误差、数据不良情况，防止数据漏判、错判，保证修复效率，满足上层业务应用数据要求；针对不同的数据错误形成机理快速评估质量问题并调用相应的修复模块，实现数据质量提升与修复的功能的差异化灵活加载、颗粒度弹性化可调，同时保证系统的快速性与高并发性。

【附图说明】

此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：

图1是本发明的数据清洗修复系统的架构示意图。

图2是本发明的数据质量评估系统的结构示意图。

图3是本发明的数据可视化系统的架构示意图。

图4是本发明的数据清洗修复方法的流程示意图。

【具体实施方式】

下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。

如图1所示，对本发明的一种数据清洗修复方法所应用的数据清洗修复系统进行详细说明，所述系统包括：物理系统、修复系统、数据质量评估系统、数据服务系统、业务应用系统、数据可视化系统、管控层系统；

修复系统包括：接入层模块、转换层模块、清洗层模块和离线层模块；所述修复系统用于进行数据监控抽取和数据修复；其中：数据监控抽取包括针对实时在线数据和对静态历史数据的抽取，按照预先定义好的规则和元数据，实现动态数据捕获；静态历史数据抽取可以根据硬件资源的可用情况进行全量抽取或增量抽取；还用于基于配电网公共信息模型构建全信息数据库；所述数据修复为全过程修复，用于针对物理系统中的所有模块中的异常数据的不同特点和不同阶段，实现数据量测平差，数据包修复，规则库校验和多业务系统数据集成，同时针对海量静态数据进行分布式并行清洗；

所述物理系统包括：采集层模块、传输层模块、网络层模块、业务层模块和存储层模块；所述物理系统用于提供配电网业务、配电网数据传输、计算和提供；

优选的：所述采集层模块包括各类配电网终端等配电网二次设备，用于对各类终端设备进行二次配电，并采集各类配电数据；

优选的：所述传输层模块包括通信设备，用于进行数据的实时传输；其中，所述通信设备包括无线通信公网和通信专线；

优选的：所述网络层模块包括网络层设备，用于提供网络数据传输；

所述网络层设备用于连接各配电网业务服务器；其中：所述网络层设备包括物理隔离设备、信息总线、通道柜、防火墙和加密认证设备；

所述业务层模块用于进行业务提供，是提供业务的各配电网业务信息系统及其数据库的载体；

所述存储层模块包括各类存储设备以及构建于存储设备上的数据库，用于提供数据存储；

所述接入层模块对应传输层模块和采集层模块，具体的：接入层模块采用前置机集群的方式对采集层模块出现的数据量测误差，对传输层模块出现的数据漏传错传、错码乱码等问题进行集群式在线清洗；

所述转换层模块对应于网络层模块，具体为：转换层模块基于应用层网关对网络层模块出现的数据包不匹配、错序、丢包等现象，通过心跳抽检机制和网络协议校验纠错机制进行数据包解析、校验纠错；

所述清洗层模块对应业务层模块，具体的：清洗层模块基于中间件服务器对业务层模块中的业务逻辑进行基于规则库的清洗和数据集成；

所述离线层模块对应于存储层模块，具体的：离线层模块基于ETL服务器对存储层中的数据进行全扫描，以完成逻辑排查和清晰；优选的：所述ETL服务器为分布式服务器，全扫描为分布式并行操作；

数据质量评估系统构建于物理系统上，用于对数据清洗修复方法中的结构化数据、半结构化数据和非结构化数据，分析数据可能出现质量问题的原因进行分类；对数据异常、缺失、属性冗余、精度不一、格式不规范类型的问题，采用基于解析、规则库和基于统计、距离、密度、关联的数据检测方法，实现面向配电网异常值检验，通过置信假设检验获得可疑不良数据集,用估计辨识方法对可疑不良数据集进行噪声估计，辨识和修正隐式不良数据，实现数据的方差齐性检验、误差的正态性检验；

优选的：所述结构化数据为PMS、GIS中的结构化数据；所述半结构化数据为系统日志中的半结构化数据；所述非结构化数据为视频监测、客服音频等中的非结构化数据；

所述数据服务系统构建于物理系统上，用于提供基于物理系统数据的自助数据分析、数据检索、数据市场、应用接口和数据监控等数据服务；

所述业务应用系统构建于物理系统上，用于提供负荷预测、无功优化、网架优化、经济运行和节能降损等业务应用；

如附图3所示，数据可视化系统构建于物理系统、业务应用系统、数据服务系统、数据质量评估系统之上，用于基于动态渲染算法进行数据的可视化呈现；提供人机交互界面便于用户进行数据访问；

所述管控层系统构建于物理系统上，包括数据安全管理模块和数据公共模型模块；用于为第三方提供数据安全管理和建模；

如附图2所示，数据质量评估系统包括数据质量问题模块、数据基本评估模块、数据深度评估模块、配电网数据质量评估指标体系构建模块、指标评估模块；

数据质量评估系统通过自适应滑动窗口在线监测技术进行数据评估以获取本次评估值，具体的：获取上一数据评估时间点和当前数据评估时间点、上一次评估值；基于滑动窗口对上一数据评估时间点和当前数据评估时间点中的数据进行分窗口评估以获取评估值序列(VALi)，其中VALi为评估值序列中的第i个滑动窗口获取的评估值；基于评估值序列(VALi)和上一次评估值OldVAL计算本次评估值CurVAL；

且其中W₁为时间最近的滑动窗口对应的评估值的权重值，W_n为时间最远的滑动窗口对应的评估值的权重值；其中：

优选的：根据数据质量评估系统中计算资源的大小进行滑动窗口大小的设置；当计算资源较多时，滑动窗口值设置的较大，反之亦然；

所述数据质量问题模块用于对数据可能出现质量问题的原因进行分类，所述分类包括数据异常、数值缺失、属性冗余、格式不规范、精度不统一、量纲不一、时标缺失、数据矛盾等；

所述数据基本评估模块用于进行规则库检查、规范性分析、缺省检查、异常值检测；具体的：采用基于解析、规则库和基于统计、距离、密度、关联的数据检测方法，实现面向配电网异常值检验；

所述数据深度评估模块用于进行方差齐性检验、误差的正态性检验、可以数据噪声估计和置信度假设检验；具体的：通过置信假设检验获得可疑不良数据集，用估计辨识方法对可疑不良数据集进行噪声估计,辨识和修正隐式不良数据，实现数据的方差齐性检验、误差的正态性检验；

所述配电网数据质量评估指标体系构建模块用于对数据进行完整性I、有效性V、可靠性R和一致性U进行定量计算以获取四维评估值；DQ＝{I，V，R，U}；

所述指标评估模块用于进行指标期望计算以确定评估值中的每一个是否达到期望值，如果达到及期望值，则确定每个评估值的权重，最后通过层次分析和模糊综合评价对评估值本身进行评估以获取指标评估值；在通过数据可视化模块进行四维评估值的呈现时，将所述四维评估值的本身的指标评估值一起呈现给用户；

如附图4所示，所述一种数据清洗修复方法，包括如下步骤：

步骤1：针对配电网终端设备自身产生的采集和数据传输中产生的数据错误，设立接入模块进行数据清洗修复，实现采集误差、采集错误、遥信遥控遥测数据传输错误等清洗修复；具体的：针对配电网终端设备自身产生的采集和数据传输设立接入模块，进行数据分析，通过电表、自动化设备、充电桩、录波设备、智能指示器、环境检测仪等设备采集到的各种类型数据，通过光纤通讯、无线扩频、配电载波、以太网、无线网传输。所依赖的协议包括：DLT645-2007、IEC 60870、CAN以及网络模块TCP/UDP协议进行规约解析。在应用模块采用滑动窗口的方式接收实时数据量，设置实时监控及报警模块，当出现大量缺失数据时，能够及时向数据管理员、远方终端报警，快速进入预警运行状态；

步骤2：针对配电网信息系统中由信息化设备产生的数据错误，设立转换模块进行数据清洗修复，实现网络模块传输中应用各类通讯时产生的数据的清洗修复；具体的：针对配电网信息系统中由信息化设备产生的数据错误，设立转换模块，通过对网络模块的数据包解析，通过协议解析校验纠错，通过心跳抽检机制进行数据的抽检，每隔固定时间对数据解析抽检；

步骤3：针对配电网多个业务信息系统间数据交互、数据加工中产生数据不良，设立规则库清洗模块；具体的：针对配电网多个业务信息系统间数据交互、数据加工中发生的数据不良情况，通过将多源数据进行集成融合，根据各业务信息系统的逻辑关系，设立规则库清洗数据。

步骤4：对于已经入库存储的历史数据的清洗，设立离线模块进行数据清洗修复，对整体历史数据进行逻辑排查；具体的：对于已经入库存储的历史数据的清洗，包括营销数据、运行控制数据、台账数据、运检数据、规划数据、状态监测数据，设立离线模块对历史数据进行逻辑排查，通过分布式并行清洗修复的方式，完成海量历史数据清洗修复；从而解决海量数据难以快速清洗问题；

步骤5：针对数据清洗修复前后的结果，设立数据质量评估模块，开展对清洗修复前、清洗修复后的流程化评估；具体的：针对数据清洗修复前后的结果，设立数据质量评估模块，设立包括数据置信度、数据缺失度、数据不一致度、数据逻辑错误度，数据重复率等指标的评估指标库，依据这些指标，开展对清洗修复前、清洗修复后的流程化评估；

步骤6：针对清洗完成的数据设立数据服务模块，提供高质量的数据资源服务；

在本发明所提供的几个实施例中，应该理解到，所揭露的方法和终端，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

另外，在不发生矛盾的情况下，上述几个实施例中的技术方案可以相互组合和替换。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个模块或装置也可以由一个模块或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (7)

1.一种数据清洗修复方法，其特征在于，该方法包括：

步骤1：针对配电网终端设备自身产生的采集和数据传输中产生的数据错误，设立接入模块进行数据清洗修复，实现采集误差、采集错误、遥信遥控遥测数据传输错误等清洗修复；

步骤2：针对配电网信息系统中由信息化设备产生的数据错误，设立转换模块进行数据清洗修复，实现网络模块传输中应用各类通讯时产生的数据的清洗修复；

步骤3：针对配电网多个业务信息系统间数据交互、数据加工中产生数据不良，设立规则库清洗模块；

步骤4：对于已经入库存储的历史数据的清洗，设立离线模块进行数据清洗修复，对整体历史数据进行逻辑排查；

步骤5：针对数据清洗修复前后的结果，设立数据质量评估模块，开展对清洗修复前、清洗修复后的流程化评估；

步骤6：针对清洗完成的数据设立数据服务模块，提供高质量的数据资源服务。

2.根据权利要求1所述的数据清洗修复方法，其特征在于，所述步骤1具体为：针对配电网终端设备自身产生的采集和数据传输设立接入模块，进行数据分析，通过电表、自动化设备、充电桩、录波设备、智能指示器、环境检测仪等设备采集到的各种类型数据，通过光纤通讯、无线扩频、配电载波、以太网、无线网传输。

3.根据权利要求2所述的数据清洗修复方法，其特征在于，所述步骤1所依赖的协议包括：DLT645-2007、IEC 60870、CAN以及网络模块TCP/UDP协议进行规约解析。

4.根据权利要求3所述的数据清洗修复方法，其特征在于，所述步骤2具体为，针对配电网信息系统中由信息化设备产生的数据错误，设立转换模块，通过对网络模块的数据包解析，通过协议解析校验纠错，通过心跳抽检机制进行数据的抽检，每隔固定时间对数据解析抽检。

5.根据权利要求4所述的数据清洗修复方法，其特征在于，所述步骤3具体为，针对配电网多个业务信息系统间数据交互、数据加工中发生的数据不良情况，通过将多源数据进行集成融合，根据各业务信息系统的逻辑关系，设立规则库清洗数据。

6.根据权利要求5所述的数据清洗修复方法，其特征在于，所述步骤4具体为，对于已经入库存储的历史数据的清洗，包括营销数据、运行控制数据、台账数据、运检数据、规划数据、状态监测数据，设立离线模块对历史数据进行逻辑排查，通过分布式并行清洗修复的方式，完成海量历史数据清洗修复。从而解决海量数据难以快速清洗问题。

7.根据权利要求6所述的数据清洗修复方法，其特征在于，所述步骤5具体为，针对数据清洗修复前后的结果，设立数据质量评估模块，设立包括数据置信度、数据缺失度、数据不一致度、数据逻辑错误度，数据重复率等指标的评估指标库，依据这些指标，开展对清洗修复前、清洗修复后的流程化评估。