CN110737685A - 一种电力大数据的数据异常判别方法 - Google Patents

一种电力大数据的数据异常判别方法 Download PDF

Info

Publication number
CN110737685A
CN110737685A CN201911014630.3A CN201911014630A CN110737685A CN 110737685 A CN110737685 A CN 110737685A CN 201911014630 A CN201911014630 A CN 201911014630A CN 110737685 A CN110737685 A CN 110737685A
Authority
CN
China
Prior art keywords
data
fields
power data
electric power
attributes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911014630.3A
Other languages
English (en)
Inventor
郑楷洪
肖勇
杨劲锋
钱斌
周密
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CSG Electric Power Research Institute
Original Assignee
Power Grid Technology Research Center of China Southern Power Grid Co Ltd
Research Institute of Southern Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Power Grid Technology Research Center of China Southern Power Grid Co Ltd, Research Institute of Southern Power Grid Co Ltd filed Critical Power Grid Technology Research Center of China Southern Power Grid Co Ltd
Priority to CN201911014630.3A priority Critical patent/CN110737685A/zh
Publication of CN110737685A publication Critical patent/CN110737685A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2291—User-Defined Types; Storage management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明提供一种电力大数据的数据异常判别方法，包括以下步骤：接收待判别电力数据；将待判别电力数据的每个字段封装成一个包括多个属性的类；获取判别规则信息，并根据判别规则信息对待判别电力数据中的字段及其对应的多个属性进行匹配，以判断待判别电力数据是否异常。本发明能够准确、快速地对较大数据量的电力数据进行异常判别，从而避免影响后续的数据处理运算和存储。

Description

一种电力大数据的数据异常判别方法
技术领域
本发明涉及数据处理技术领域，具体涉及一种电力大数据的数据异常判别方法。
背景技术
南方电网网级电能量数据平台可对下属省级公司实时提供的海量原始数据进行存储、计算并生成报表展示。由于各省计量规范不一致，再加上上传数据程序和数据真实性存在的问题，导致数据质量参差不齐，不仅影响程序计算进程，造成计算结果偏离预期范围，而且是导致数据在存储过程中出现异常的一个重要因素。因此，亟需提出一种有效的数据异常判别策略。
发明内容
本发明为解决上述技术问题，提供了一种电力大数据的数据异常判别方法，能够准确、快速地对较大数据量的电力数据进行异常判别，从而避免影响后续的数据处理运算和存储。
本发明采用的技术方案如下：
一种电力大数据的数据异常判别方法，包括以下步骤：接收待判别电力数据；将所述待判别电力数据的每个字段封装成一个包括多个属性的类；获取判别规则信息，并根据所述判别规则信息对所述待判别电力数据中的字段及其对应的多个属性进行匹配，以判断所述待判别电力数据是否异常。
步骤二中所述多个属性包括是否为空、长度、精度、数据类型、数据上限、数据下限和正则规则中的多个。
步骤三获取判别规则信息，具体包括：在前端页面根据接口文档规范预设字段及其对应的多个属性的判别条件，并存储于数据库中；定时查找调取所述判别条件。
步骤三获取判别规则信息，具体包括：从历史判别实例数据库中选取样本对人工神经网络进行训练，以得到数据判别模型；定时查找调取所述数据判别模型。
所述的电力大数据的数据异常判别方法还包括：根据当前次的判别结果对所述历史判别实例数据库进行更新。
根据所述判别规则信息对所述待判别电力数据中的字段及其对应的多个属性进行匹配，以判断所述待判别电力数据是否异常，具体包括：设定字段及其对应的多个属性的优先级；根据所述优先级依序判断所述待判别电力数据中的字段及其对应的多个属性是否符合相应的判别条件；如果出现字段或其对应的任一属性不符合相应的判别条件，则停止判断并判定该待判别电力数据异常。
根据所述判别规则信息对所述待判别电力数据中的字段及其对应的多个属性进行匹配，以判断所述待判别电力数据是否异常，具体包括：并行判断所述待判别电力数据中的字段及其对应的多个属性是否符合相应的判别条件；如果字段或其对应的任一属性不符合相应的判别条件，则判定该待判别电力数据异常。
根据所述判别规则信息对所述待判别电力数据中的字段及其对应的多个属性进行匹配，以判断所述待判别电力数据是否异常，具体包括：将所述待判别电力数据中的字段及其对应的多个属性输入所述数据判别模型；通过所述数据判别模型输出该待判别电力数据是否异常的判别结果。
本发明的有益效果：
根据本发明实施例的电力大数据的数据异常判别方法，通过将待判别电力数据的每个字段封装成一个包括多个属性的类，然后根据判别规则信息对待判别电力数据中的字段及其对应的多个属性进行匹配，以判断待判别电力数据是否异常，由此，能够准确、快速地对较大数据量的电力数据进行异常判别，从而避免影响后续的数据处理运算和存储。
附图说明
图1为本发明实施例的电力大数据的数据异常判别方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例的电力大数据的数据异常判别方法包括以下步骤：
S1，接收待判别电力数据。
S2，将待判别电力数据的每个字段封装成一个包括多个属性的类。
在本发明的一个实施例中，多个属性包括是否为空、长度、精度、数据类型、数据上限、数据下限和正则规则中的多个。其中，属性的个数越多，后续数据异常判别的准确度越高。因此，本发明实施例优选每个字段所封装成的类的属性包括是否为空、长度、精度、数据类型、数据上限、数据下限和正则规则。所封装成的类可以以json字符串的形式预存在redis中。
S3，获取判别规则信息，并根据判别规则信息对待判别电力数据中的字段及其对应的多个属性进行匹配，以判断待判别电力数据是否异常。
其中，判别规则信息可以为所设定的判别条件，也可以为所生成的数据判别模型。
在本发明的一个实施例中，可在前端页面根据接口文档规范预设字段及其对应的多个属性的判别条件，并存储于数据库中，然后定时查找调取判别条件。
进而，可设定字段及其对应的多个属性的优先级，并根据优先级依序判断待判别电力数据中的字段及其对应的多个属性是否符合相应的判别条件，如果出现字段或其对应的任一属性不符合相应的判别条件，则停止判断并判定该待判别电力数据异常。举例而言，所设定的判别条件为字段数量及各个具体属性，如果按优先级排序为字段数量、是否为空、长度、精度、数据类型、数据上限、数据下限和正则规则，则可依序判断字段数量是否符合设定的数量要求、是否为所设定的空或非空、是否符合设定的长度要求、是否符合设定的精度要求、是否符合设定的数据类型要求、是否符合设定的数据上限要求、是否符合设定的数据下限要求以及是否符合设定的正则规则，在依序判断过程中，若出现不符合判别条件的情况，则停止判断并判定该待判别电力数据异常。
或者，可并行判断待判别电力数据中的字段及其对应的多个属性是否符合相应的判别条件，如果字段或其对应的任一属性不符合相应的判别条件，则判定该待判别电力数据异常。
在本发明的一个实施例中，可从历史判别实例数据库中选取样本对人工神经网络进行训练，以得到数据判别模型，然后定时查找调取数据判别模型。具体地，历史判别实例数据库中包括大量的历史判别实例，判别实例包括电力数据、电力数据的字段和每个字段对应的多个类属性以及是否异常的判别结果。可以以电力数据的字段数量、多个属性作为输入，以判别结果作为输出，对人工神经网络(例如BP神经网络)进行训练以得到数据判别模型。需要说明的是，首次训练时的样本可以是人工制作的初始样本。
进而，可将待判别电力数据中的字段及其对应的多个属性输入数据判别模型，并通过数据判别模型输出该待判别电力数据是否异常的判别结果。
此外，还可根据当前次的判别结果对历史判别实例数据库进行更新，由此，能够不断增加和更新训练样本，从而不断提高数据判别模型的准确度。
根据本发明实施例的电力大数据的数据异常判别方法，通过将待判别电力数据的每个字段封装成一个包括多个属性的类，然后根据判别规则信息对待判别电力数据中的字段及其对应的多个属性进行匹配，以判断待判别电力数据是否异常，由此，能够准确、快速地对较大数据量的电力数据进行异常判别，从而避免影响后续的数据处理运算和存储。
在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种电力大数据的数据异常判别方法，其特征在于，包括以下步骤：
步骤一：接收待判别电力数据；
步骤二：将所述待判别电力数据的每个字段封装成一个包括多个属性的类；
步骤三：获取判别规则信息，并根据所述判别规则信息对所述待判别电力数据中的字段及其对应的多个属性进行匹配，以判断所述待判别电力数据是否异常。
2.根据权利要求1所述的电力大数据的数据异常判别方法，其特征在于，步骤二中所述多个属性包括是否为空、长度、精度、数据类型、数据上限、数据下限和正则规则中的多个。
3.根据权利要求2所述的电力大数据的数据异常判别方法，其特征在于，步骤三获取判别规则信息，具体包括：
在前端页面根据接口文档规范预设字段及其对应的多个属性的判别条件，并存储于数据库中；
定时查找调取所述判别条件。
4.根据权利要求2所述的电力大数据的数据异常判别方法，其特征在于，步骤三获取判别规则信息，具体包括：
从历史判别实例数据库中选取样本对人工神经网络进行训练，以得到数据判别模型；
定时查找调取所述数据判别模型。
5.根据权利要求2所述的电力大数据的数据异常判别方法，其特征在于，步骤三还包括：
根据当前次的判别结果对所述历史判别实例数据库进行更新。
6.根据权利要求3所述的电力大数据的数据异常判别方法，其特征在于，根据所述判别规则信息对所述待判别电力数据中的字段及其对应的多个属性进行匹配，以判断所述待判别电力数据是否异常，具体包括：
设定字段及其对应的多个属性的优先级；
根据所述优先级依序判断所述待判别电力数据中的字段及其对应的多个属性是否符合相应的判别条件；
如果出现字段或其对应的任一属性不符合相应的判别条件，则停止判断并判定该待判别电力数据异常。
7.根据权利要求3所述的电力大数据的数据异常判别方法，其特征在于，根据所述判别规则信息对所述待判别电力数据中的字段及其对应的多个属性进行匹配，以判断所述待判别电力数据是否异常，具体包括：
并行判断所述待判别电力数据中的字段及其对应的多个属性是否符合相应的判别条件；
如果字段或其对应的任一属性不符合相应的判别条件，则判定该待判别电力数据异常。
8.根据权利要求4或5所述的电力大数据的数据异常判别方法，其特征在于，根据所述判别规则信息对所述待判别电力数据中的字段及其对应的多个属性进行匹配，以判断所述待判别电力数据是否异常，具体包括：
将所述待判别电力数据中的字段及其对应的多个属性输入所述数据判别模型；
通过所述数据判别模型输出该待判别电力数据是否异常的判别结果。
CN201911014630.3A 2019-10-24 2019-10-24 一种电力大数据的数据异常判别方法 Pending CN110737685A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911014630.3A CN110737685A (zh) 2019-10-24 2019-10-24 一种电力大数据的数据异常判别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911014630.3A CN110737685A (zh) 2019-10-24 2019-10-24 一种电力大数据的数据异常判别方法

Publications (1)

Publication Number Publication Date
CN110737685A true CN110737685A (zh) 2020-01-31

Family

ID=69271072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911014630.3A Pending CN110737685A (zh) 2019-10-24 2019-10-24 一种电力大数据的数据异常判别方法

Country Status (1)

Country Link
CN (1) CN110737685A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115032323A (zh) * 2022-06-06 2022-09-09 云南电网有限责任公司电力科学研究院 确定油色谱数据异常的方法、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105373894A (zh) * 2015-11-20 2016-03-02 广州供电局有限公司 基于稽查数据的电力营销业务诊断模型的建立方法及系统
CN106203852A (zh) * 2016-07-13 2016-12-07 广东电网有限责任公司 在线稽查规则确定方法及装置、业务处理方法及系统
CN108416693A (zh) * 2018-02-01 2018-08-17 东华大学 一种基于模糊神经网络的用电异常行为识别方法
CN108921424A (zh) * 2018-06-28 2018-11-30 广东电网有限责任公司 一种电力数据异常检测方法、装置、设备及可读存储介质
CN109492683A (zh) * 2018-10-30 2019-03-19 国网湖南省电力有限公司 一种针对广域量测电力大数据数据质量的快速在线评估方法
CN109510824A (zh) * 2018-11-12 2019-03-22 中国银行股份有限公司 一种接口报文的校验方法及装置
CN110321947A (zh) * 2019-06-27 2019-10-11 和远智能科技股份有限公司 一种基于卷积神经网络的用电异常预判方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105373894A (zh) * 2015-11-20 2016-03-02 广州供电局有限公司 基于稽查数据的电力营销业务诊断模型的建立方法及系统
CN106203852A (zh) * 2016-07-13 2016-12-07 广东电网有限责任公司 在线稽查规则确定方法及装置、业务处理方法及系统
CN108416693A (zh) * 2018-02-01 2018-08-17 东华大学 一种基于模糊神经网络的用电异常行为识别方法
CN108921424A (zh) * 2018-06-28 2018-11-30 广东电网有限责任公司 一种电力数据异常检测方法、装置、设备及可读存储介质
CN109492683A (zh) * 2018-10-30 2019-03-19 国网湖南省电力有限公司 一种针对广域量测电力大数据数据质量的快速在线评估方法
CN109510824A (zh) * 2018-11-12 2019-03-22 中国银行股份有限公司 一种接口报文的校验方法及装置
CN110321947A (zh) * 2019-06-27 2019-10-11 和远智能科技股份有限公司 一种基于卷积神经网络的用电异常预判方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115032323A (zh) * 2022-06-06 2022-09-09 云南电网有限责任公司电力科学研究院 确定油色谱数据异常的方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110008254B (zh) 一种变电设备台账核查处理方法
CN109840157A (zh) 故障诊断的方法、装置、电子设备和存储介质
CN108364106A (zh) 一种报销单风险预测方法、装置、终端设备及存储介质
CN112199367B (zh) 一种长时间尺度功率平衡校验和大数据分析方法及系统
CN108491991B (zh) 基于工业大数据产品工期的约束条件分析系统与方法
CN111178672B (zh) 一种基于平衡性的智能稽查方法
CN113590698A (zh) 基于人工智能技术的数据资产分类建模与分级保护方法
CN112001409A (zh) 一种基于K-means聚类算法的配电网线损异常诊断方法和系统
CN108363678A (zh) 一种用于燃料电池电堆测试数据快速自动处理系统
CN115563477B (zh) 谐波数据识别方法、装置、计算机设备和存储介质
CN116933010A (zh) 一种基于多源数据融合与深度学习的负载率分析评价方法和系统
CN111612149A (zh) 一种基于决策树的主网线路状态检测方法、系统及介质
CN110737685A (zh) 一种电力大数据的数据异常判别方法
CN113886373A (zh) 一种数据处理方法、装置及电子设备
CN110287114B (zh) 一种数据库脚本性能测试的方法及装置
CN112215254A (zh) 一种基于改进案例推理的变电站故障诊断方法以及诊断装置
CN116452054A (zh) 一种电力系统物资抽检管理方法和装置
CN114386745A (zh) 一种pms变电设备数据核查识别方法及系统
CN115545500A (zh) 一种用于工程监理的钢筋工程质量检测方法及系统
CN115470854A (zh) 信息系统故障分类方法及分类系统
CN117076454B (zh) 一种工程质量验收表单数据结构化存储方法及系统
CN116012143B (zh) 一种分箱回归下的变量选择及参数估计方法
CN112149969B (zh) 特高压直流控制保护合并单元运行状态评价方法及系统
CN114996331B (zh) 一种数据挖掘控制方法和系统
CN116467674B (zh) 一种配电网智能故障处理融合更新系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210707

Address after: 510700 3rd, 4th and 5th floors of building J1 and 3rd floor of building J3, No.11 Kexiang Road, Science City, Luogang District, Guangzhou City, Guangdong Province

Applicant after: ELECTRIC POWER Research Institute CHINA SOUTHERN POWER GRID

Address before: 510670 No.11 Kexiang Road, Science City, Luogang District, Guangzhou City, Guangdong Province

Applicant before: ELECTRIC POWER Research Institute CHINA SOUTHERN POWER GRID

Applicant before: POWER GRID TECHNOLOGY RESEARCH CENTER. CHINA SOUTHERN POWER GRID

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200131