CN109471854B - 一种大数据能耗在线监测系统所采集数据的验证方法 - Google Patents

一种大数据能耗在线监测系统所采集数据的验证方法 Download PDF

Info

Publication number
CN109471854B
CN109471854B CN201811283789.0A CN201811283789A CN109471854B CN 109471854 B CN109471854 B CN 109471854B CN 201811283789 A CN201811283789 A CN 201811283789A CN 109471854 B CN109471854 B CN 109471854B
Authority
CN
China
Prior art keywords
data
energy consumption
database
cross
table rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811283789.0A
Other languages
English (en)
Other versions
CN109471854A (zh
Inventor
梁鹏
陈文泗
邹村先
罗铭强
聂德键
罗伟浩
李辉
张小青
林丽荧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Xingfa Aluminium Co ltd
Original Assignee
Guangdong Xingfa Aluminium Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Xingfa Aluminium Co ltd filed Critical Guangdong Xingfa Aluminium Co ltd
Priority to CN201811283789.0A priority Critical patent/CN109471854B/zh
Publication of CN109471854A publication Critical patent/CN109471854A/zh
Application granted granted Critical
Publication of CN109471854B publication Critical patent/CN109471854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开一种大数据能耗在线监测系统所采集数据的验证方法，包括以下步骤：1）获取在线监测系统所采集的能耗数据片段；2）对数据片段进行初步处理，将数据片段中的最高值和最低值去掉；3）将初步处理的数据进行对象化处理，获取与线监测系统所采集数据对应的多个数据对象；4）根据跨表规则验证方法对不同数据表对应的数据对象进行跨表规则验证；5）获取未通过跨表规则验证的数据对象在所属数据表中的位置；6)提取出未通过跨表规则验证的数据；7）报警并将数据存储在临时数据库；该大数据能耗在线监测系统所采集数据的验证方法可以有效的验证能耗数据，可以保证数据库的准确性。

Description

一种大数据能耗在线监测系统所采集数据的验证方法
技术领域
本发明涉及一种大数据能耗在线监测系统所采集数据的验证方法。
背景技术
大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
能耗在线监测系统是运用信息化技术实时采集各类能源的消耗数据，上传至上一级能耗监测系统或平台，并进行统计、分析，以直观的数据图表形式向管理人员或决策层系统展示，便于了解公共建筑的真实能耗数据，及时找出不合理的高能 耗点或不合理的耗能习惯。
但是垃圾数据并干扰到正常数据，进而会影响数据库的准确性，因此，有必要研发出一种采集数据的验证方法以确保数据库的准确性。
发明内容
本发明要解决的技术问题是提供一种可以有效的验证能耗数据，可以保证数据库的准确性的大数据能耗在线监测系统所采集数据的验证方法。
为解决上述问题，本发明采用如下技术方案：
一种大数据能耗在线监测系统所采集数据的验证方法，包括以下步骤：
1）获取在线监测系统所采集的能耗数据片段；
2）对数据片段进行初步处理，将数据片段中的最高值和最低值分离；
3）将初步处理的数据进行对象化处理，获取与线监测系统所采集数据对应的多个数据对象；
4）根据跨表规则验证方法对不同数据表对应的数据对象进行跨表规则验证；
5）获取未通过跨表规则验证的数据对象在所属数据表中的位置；
6）提取出未通过跨表规则验证的数据，并将通过跨表规则验证的数据存到数据库内；
7）报警并将数据存储在隔离储存区，判定是否属于人为因素造成异常数据。
作为优选，所述步骤6）中通过跨表规则验证的数据存到正常储存区内的具体步骤为：
1）将通过跨表规则验证的数据与数据库内的数据进行匹配；
2）若匹配到具有一致的数据，则通过验证，并存入到数据库内。
作为优选，所述对象化处理包括：
1）根据数据库内的能耗数据的公有属性对预先建立的基类进行实例化，获取与数据库内对应的多个基类对象；
2）根据数据库内的基础数据的各个数据表中的数据的私有属性对各个基类对象进行处理。
作为优选，所述步骤1）中的能耗数据片段至少具有8-20个能耗数据。
作为优选，所述步骤2）还具有步骤：
1）根据被分离的最高能耗数据和最低能耗数据，利用数据爬虫在数据库中进行查重处理；
2）若在数据库中查到具有相同的数据则将被分离的最高能耗数据和最低能耗数据直接存储到数据库内；若没有在数据库中查找到相同的数据则作报警处理并将数据存储在隔离储存区，判定是否属于人为因素造成异常数据。
作为优选，所述步骤2）中的数据片段中具有数个相同的最高值，则将该最高值全部分离。
作为优选，所述步骤2）中的数据片段中具有数个相同的最低值，则将该最低值全部分离。
作为优选，所述步骤1）中的能耗数据片段至少具有20个能耗数据，按照设备的运作时间而定，数据片段的能耗数据为每小时的能耗数据或者是每半小时的能耗数据。
本发明的有益效果为：通过对能耗数据进行验证，可以方便工作人员判断出是否属于人为失误而造成能耗增大，并且可以有效的减少错误的能耗数据对数据库的准确性造成影响，可以有效的维持能耗大数据的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种大数据能耗在线监测系统所采集数据的验证方法的流程图。
具体实施方式
下面对本发明的技术方案进行描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，对于本领域的技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些实施例获得其他的实施方式。
实施例1
如图1所示，一种大数据能耗在线监测系统所采集数据的验证方法，包括以下步骤：
1）获取在线监测系统所采集的能耗数据片段；
2）对数据片段进行初步处理，将数据片段中的最高值和最低值分离；
3）将初步处理的数据进行对象化处理，获取与线监测系统所采集数据对应的多个数据对象；
4）根据跨表规则验证方法对不同数据表对应的数据对象进行跨表规则验证；
5）获取未通过跨表规则验证的数据对象在所属数据表中的位置；
6）提取出未通过跨表规则验证的数据，并将通过跨表规则验证的数据存到数据库内；
7）报警并将数据存储在隔离储存区，判定是否属于人为因素造成异常数据。
所述步骤6）中通过跨表规则验证的数据存到正常储存区内的具体步骤为：
1）将通过跨表规则验证的数据与数据库内的数据进行匹配；
2）若匹配到具有一致的数据，则通过验证，并存入到数据库内。
所述对象化处理包括：
1）根据数据库内的能耗数据的公有属性对预先建立的基类进行实例化，获取与数据库内对应的多个基类对象；
2）根据数据库内的基础数据的各个数据表中的数据的私有属性对各个基类对象进行处理。
所述步骤1）中的能耗数据片段至少具有8个能耗数据。
所述步骤2）还具有步骤：
1）根据被分离的最高能耗数据和最低能耗数据，利用数据爬虫在数据库中进行查重处理；
2）若在数据库中查到具有相同的数据则将被分离的最高能耗数据和最低能耗数据直接存储到数据库内；若没有在数据库中查找到相同的数据则作报警处理并将数据存储在隔离储存区，判定是否属于人为因素造成异常数据。
所述步骤2）中的数据片段中具有数个相同的最高值，则将该最高值全部分离。
所述步骤2）中的数据片段中具有数个相同的最低值，则将该最低值全部分离。
实施例2
如图1所示，一种大数据能耗在线监测系统所采集数据的验证方法，包括以下步骤：
1）获取在线监测系统所采集的能耗数据片段；
2）对数据片段进行初步处理，将数据片段中的最高值和最低值分离；
3）将初步处理的数据进行对象化处理，获取与线监测系统所采集数据对应的多个数据对象；
4）根据跨表规则验证方法对不同数据表对应的数据对象进行跨表规则验证；
5）获取未通过跨表规则验证的数据对象在所属数据表中的位置；
6）提取出未通过跨表规则验证的数据，并将通过跨表规则验证的数据存到数据库内；
7）报警并将数据存储在隔离储存区，判定是否属于人为因素造成异常数据。
所述步骤6）中通过跨表规则验证的数据存到正常储存区内的具体步骤为：
1）将通过跨表规则验证的数据与数据库内的数据进行匹配；
2）若匹配到具有一致的数据，则通过验证，并存入到数据库内。
所述对象化处理包括：
1）根据数据库内的能耗数据的公有属性对预先建立的基类进行实例化，获取与数据库内对应的多个基类对象；
2）根据数据库内的基础数据的各个数据表中的数据的私有属性对各个基类对象进行处理。
所述步骤1）中的能耗数据片段至少具有20个能耗数据。
所述步骤2）还具有步骤：
1）根据被分离的最高能耗数据和最低能耗数据，利用数据爬虫在数据库中进行查重处理；
2）若在数据库中查到具有相同的数据则将被分离的最高能耗数据和最低能耗数据直接存储到数据库内；若没有在数据库中查找到相同的数据则作报警处理并将数据存储在隔离储存区，判定是否属于人为因素造成异常数据。
所述步骤2）中的数据片段中具有数个相同的最高值，则将该最高值全部分离。
所述步骤2）中的数据片段中具有数个相同的最低值，则将该最低值全部分离。
实施例3
如图1所示，一种大数据能耗在线监测系统所采集数据的验证方法，包括以下步骤：
1）获取在线监测系统所采集的能耗数据片段；
2）对数据片段进行初步处理，将数据片段中的最高值和最低值分离；
3）将初步处理的数据进行对象化处理，获取与线监测系统所采集数据对应的多个数据对象；
4）根据跨表规则验证方法对不同数据表对应的数据对象进行跨表规则验证；
5）获取未通过跨表规则验证的数据对象在所属数据表中的位置；
6）提取出未通过跨表规则验证的数据，并将通过跨表规则验证的数据存到数据库内；
7）报警并将数据存储在隔离储存区，判定是否属于人为因素造成异常数据。
所述步骤6）中通过跨表规则验证的数据存到正常储存区内的具体步骤为：
1）将通过跨表规则验证的数据与数据库内的数据进行匹配；
2）若匹配到具有一致的数据，则通过验证，并存入到数据库内。
所述对象化处理包括：
1）根据数据库内的能耗数据的公有属性对预先建立的基类进行实例化，获取与数据库内对应的多个基类对象；
2）根据数据库内的基础数据的各个数据表中的数据的私有属性对各个基类对象进行处理。
所述步骤1）中的能耗数据片段至少具有16个能耗数据。
所述步骤2）还具有步骤：
1）根据被分离的最高能耗数据和最低能耗数据，利用数据爬虫在数据库中进行查重处理；
2）若在数据库中查到具有相同的数据则将被分离的最高能耗数据和最低能耗数据直接存储到数据库内；若没有在数据库中查找到相同的数据则作报警处理并将数据存储在隔离储存区，判定是否属于人为因素造成异常数据。
所述步骤2）中的数据片段中具有数个相同的最高值，则将该最高值全部分离。
所述步骤2）中的数据片段中具有数个相同的最低值，则将该最低值全部分离。
本发明的有益效果为：通过对能耗数据进行验证，可以方便工作人员判断出是否属于人为失误而造成能耗增大，并且可以有效的减少错误的能耗数据对数据库的准确性造成影响，可以有效的维持能耗大数据的准确性。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (1)

1.一种大数据能耗在线监测系统所采集数据的验证方法，其特征在于：包括以下步骤：
1）获取在线监测系统所采集的能耗数据片段；
2）对数据片段进行初步处理，将数据片段中的最高值和最低值分离；
3）将初步处理的数据进行对象化处理，获取与线监测系统所采集数据对应的多个数据对象；
4）根据跨表规则验证方法对不同数据表对应的数据对象进行跨表规则验证；
5）获取未通过跨表规则验证的数据对象在所属数据表中的位置；
6)提取出未通过跨表规则验证的数据，并将通过跨表规则验证的数据存到数据库内；
7）报警并将未通过跨表规则验证的数据存储在隔离储存区，判定是否属于人为因素造成异常数据；
所述步骤6）中通过跨表规则验证的数据存到正常储存区内的具体步骤为：
6.1）将通过跨表规则验证的数据与数据库内的数据进行匹配；
6.2）若匹配到具有一致的数据，则通过验证，并存入到数据库内；
所述对象化处理包括：
3.1）根据数据库内的能耗数据的公有属性对预先建立的基类进行实例化，获取与数据库内对应的多个基类对象；
3.2）根据数据库内的基础数据的各个数据表中的数据的私有属性对各个基类对象进行处理；
所述步骤1）中的能耗数据片段具有8-20个能耗数据；
所述步骤2）还具有步骤：
2.1）根据被分离的最高能耗数据和最低能耗数据，利用数据爬虫在数据库中进行查重处理；
2.2）若在数据库中查到具有相同的数据则将被分离的最高能耗数据和最低能耗数据直接存储到数据库内；若没有在数据库中查找到相同的数据则作报警处理并将数据存储在隔离储存区，判定是否属于人为因素造成异常数据；
所述步骤2）中的数据片段中具有数个相同的最高值，则将该最高值全部分离；
所述步骤2）中的数据片段中具有数个相同的最低值，则将该最低值全部分离。
CN201811283789.0A 2018-10-31 2018-10-31 一种大数据能耗在线监测系统所采集数据的验证方法 Active CN109471854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811283789.0A CN109471854B (zh) 2018-10-31 2018-10-31 一种大数据能耗在线监测系统所采集数据的验证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811283789.0A CN109471854B (zh) 2018-10-31 2018-10-31 一种大数据能耗在线监测系统所采集数据的验证方法

Publications (2)

Publication Number Publication Date
CN109471854A CN109471854A (zh) 2019-03-15
CN109471854B true CN109471854B (zh) 2020-09-15

Family

ID=65672008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811283789.0A Active CN109471854B (zh) 2018-10-31 2018-10-31 一种大数据能耗在线监测系统所采集数据的验证方法

Country Status (1)

Country Link
CN (1) CN109471854B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598145A (zh) * 2019-06-03 2019-12-20 广东元一科技实业有限公司 一种基于互联网的工业信息收集系统及其工作方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745279A (zh) * 2014-01-24 2014-04-23 广东工业大学 一种能耗异常监测方法及装置
CN106250905A (zh) * 2016-07-08 2016-12-21 复旦大学 一种结合高校建筑结构特征的实时能耗异常检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289585B (zh) * 2011-08-15 2014-06-18 重庆大学 基于数据挖掘的公共建筑能耗实时监测方法
CN106055696A (zh) * 2016-06-15 2016-10-26 南京威联达自动化技术有限公司 通过数据挖掘技术实现能效管理和节能的电机保护控制器
CN107220921B (zh) * 2017-05-26 2020-09-29 西安木牛能源技术服务有限公司 一种对能耗在线监测系统所采集数据的验证方法
CN107392442B (zh) * 2017-07-03 2020-08-14 上海安悦节能技术有限公司 低压变电所用户能耗评估方法
CN107451342A (zh) * 2017-07-18 2017-12-08 交控科技股份有限公司 一种轨道交通信号系统基础数据的规则验证方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745279A (zh) * 2014-01-24 2014-04-23 广东工业大学 一种能耗异常监测方法及装置
CN106250905A (zh) * 2016-07-08 2016-12-21 复旦大学 一种结合高校建筑结构特征的实时能耗异常检测方法

Also Published As

Publication number Publication date
CN109471854A (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
CN110441629B (zh) 基于道岔转辙机动作电流曲线的故障诊断方法及装置
CN111459700B (zh) 设备故障的诊断方法、诊断装置、诊断设备及存储介质
CN104348667B (zh) 基于告警信息的故障定位方法
CN106780121B (zh) 一种基于用电负荷模式分析的用电异常识别方法
CN111159165B (zh) 基于云平台的电力井下低功耗边缘计算系统及其方法
CN107679089B (zh) 一种用于电力传感数据的清洗方法、装置和系统
CN113157489B (zh) 数据库数据备份方法、装置及计算机设备
CN104615658A (zh) 一种确定用户身份的方法
CN112434962B (zh) 基于电力负荷数据的企业用户状态评估方法和系统
CN107451708A (zh) 一种基于Apriori算法的电网设备监控信息置信关联分析方法
CN105301450A (zh) 一种配网故障自动诊断方法及系统
CN110634081A (zh) 一种水电站异常数据的处理方法及装置
CN113723452A (zh) 一种基于kpi聚类的大规模异常检测系统
CN111506635A (zh) 一种基于自回归和朴素贝叶斯算法的居民用电行为分析的系统及方法
CN109471854B (zh) 一种大数据能耗在线监测系统所采集数据的验证方法
CN103617109A (zh) 探针机台日志文件的警告处理系统和方法
CN112181715A (zh) 基于配网自动化系统模型的可视化备份与比对方法
CN104657814A (zh) 基于ems系统的继电保护装置信号模板抽取定义方法
CN115186935B (zh) 一种机电设备非线性故障预测方法及系统
CN111522705A (zh) 一种工业大数据智能运维解决方法
CN104615513A (zh) 多级代码标准化故障分析方法
CN110569277A (zh) 一种配置数据信息自动识别与归类方法及系统
CN112183983A (zh) 企业双重预防机制管理系统
CN116633933B (zh) 一种基于区块链的医疗设备信息管理系统
CN114064400B (zh) 一种it设备运维感知监控系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 528137 F22, first floor, building 23, No. 23, qiangye Avenue, Leping Town, Sanshui District, Foshan City, Guangdong Province (residence declaration)

Patentee after: GUANGDONG XINGFA ALUMINIUM Co.,Ltd.

Address before: 528061, No. 23, Ho Man Road, Nanzhuang Town, Chancheng District, Guangdong, Foshan

Patentee before: GUANGDONG XINGFA ALUMINIUM Co.,Ltd.