CN105468662B - 一种基于表码值的能耗数据处理方法和系统 - Google Patents
一种基于表码值的能耗数据处理方法和系统 Download PDFInfo
- Publication number
- CN105468662B CN105468662B CN201410856614.XA CN201410856614A CN105468662B CN 105468662 B CN105468662 B CN 105468662B CN 201410856614 A CN201410856614 A CN 201410856614A CN 105468662 B CN105468662 B CN 105468662B
- Authority
- CN
- China
- Prior art keywords
- data
- energy consumption
- consumption data
- identification point
- table code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Remote Monitoring And Control Of Power-Distribution Networks (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种基于表码值的能耗数据处理方法。该方法包括:设备端发送“表码值”格式的能耗数据;数据预处理程序接收能耗数据;数据预处理程序通过欧式距离算法、第一算法对能耗数据中的异常数据进行识别,以及通过第二算法对能耗数据中的缺失数据进行识别;数据预处理程序通过平均插补法对异常数据进行修正,以及通过有效数据插补法对缺失数据进行追补;数据预处理程序将正常的能耗数据、修正后的能耗数据以及追补后的能耗数据保存至数据预处理程序的表码值表中。本发明通过使用欧式距离算法,平均值插补法和最后有效数插补法的特性,识别能耗数据中的异常数据,修正异常数据,追补缺失数据。
Description
技术领域
本发明属于电力领域,特别涉及一种基于表码值的能耗数据处理方法和系统。
背景技术
传统的能源管理系统在数据统计的过程中直接将从表计中读取的表底值进行能耗数据的统计,在统计过程中特别依赖表计的功能和通讯状态的稳定性。如果某些关键点的表底值没有正确保存会导致统计值错误。错误现象主要为:
1.表码值不正确,统计的能耗值不准确
不同厂家的表计规格不同,使用的驱动不同,在一些处理不匹配的情况下,会保存一些没有意义的表码值,或者偏大、偏小等情况的错误表码值。这些数值会导致能源管理系统在后续的统计中出错,统计出不准确的能耗值。
2.表码值不连续,缺失,导致统计的能耗值错误
由于现场计量设备、采集终端设备、通信设备、协议解析、现场环境干扰等原因,会造成采集的定时记录数据不连续,缺失等情况。利用间隔累计值等方法统计最小统计间隔的累计值得出的时段能耗值就是错误的数据。
3.关键点表码值缺失,导致能耗值无法统计
关键点表码值缺失的时候,利用两个时刻的表码值相减的方法来计算能耗值的方法就不适用,此时无法统计出能耗值。
4.不同时段的能耗值不一致
由于表码值不连续、缺失的情况,导致不同时段的能耗值错误,无法统计的情况,不同时段的能耗值在一起对比,分析的时候就出现不一致的情况。例如,本月所有日的能耗值相加不等于月的能耗值。
发明内容
本发明的目的在于提供一种基于表码值的能耗数据处理方法和系统,旨在解决传统的能源管理方法和管理系统在数据统计的过程中由于表码值错误或缺失得到错误的统计数据的问题。
为了解决上述技术问题,本发明通过如下技术方案实现的:
一种基于表码值的能耗数据处理方法,所述方法包括:
设备端发送“表码值”格式的能耗数据;
数据预处理程序接收所述能耗数据;
数据预处理程序通过欧式距离算法、第一算法对所述能耗数据中的异常数据进行识别,以及通过第二算法对所述能耗数据中的缺失数据进行识别;
数据预处理程序通过平均插补法对所述异常数据进行修正,以及通过有效数据插补法对所述缺失数据进行追补;
数据预处理程序将正常的能耗数据、所述修正后的能耗数据以及所述追补后的能耗数据保存至数据预处理程序的表码值表中。
作为进一步的技术方案,设备端发送表码值格式的能耗数据之前,所述方法还包括:
设备端采集能耗数据;
设备端以预设的固定间隔选择能耗数据;
设备端以“表码值”格式保存选择的能耗数据至设备端中的定时记录表。
作为进一步的技术方案,所述数据预处理程序将正常的能耗数据、所述修正后的能耗数据以及所述追补后的能耗数据保存至表码值表中之前,所述方法还包括:
数据预处理程序建立表码值表;
数据预处理程序存储所述表码值表。
作为进一步的技术方案,所述数据预处理程序通过欧式距离算法、第一算法对所述能耗数据中的异常数据进行识别,以及通过第二算法对所述能耗数据中的缺失数据进行识别包括:
从表码值表中选取相邻的两个参考点的能耗数据(X1,Y1)、(X2,Y2),根据欧式距离算法的公式D=sqrt((X1-X2)^2+(Y1-Y2)^2)/(|X1-X2|),计算得出标准距离D;
若与参考点Y2相邻的识别点A(X3,Y3)的能耗值Y3大于Y2,则计算D1=sqrt((X3-X2)^2+(Y3-Y2)^2)/(|X3-X2|),若D1大于coe*D,其中coe为突变系数,可以根据不同的现场情况进行设置,则识别出该识别点A的能耗数据为异常数据,若D1小于或等于D,则识别出该识别点A的能耗数据为正常数据;
若根据第一算法公式Y3-Y2<0,则再检查该数据预处理程序是否换新,若该数据预处理程序换新,则识别出该识别点A的能耗数据为正常数据,若该数据预处理程序没有换新,则识别出该识别点A的能耗数据为异常数据;
若根据第二算法公式Y3=0或Y3不存在,则识别出该识别点A的能耗数据为缺失数据。
作为进一步的技术方案,所述数据预处理程序通过平均插补法对所述异常数据进行修正,以及通过有效数据插补法对所述缺失数据进行追补包括:
若识别出该识别点A为异常数据,则取与A相邻的另一个参考点Y4(X4,Y4),利用平均值插补法得出修正值Y3修正=(Y2+Y4)/2,将该修正后的修正值Y3修正,得到该识别点A的能耗数据为(X3,Y3修正);
若识别出该识别点A为缺失数据,则通过有效数据插补法取与A相邻的参考点Y4(X4,Y4)得到该识别点A的追补值Y3追补=Y4,得到该识别点A的能耗数据为(X3,Y3追补),(X1,Y1),(X2,Y2),(X3,Y3),其中Y3不存在,为缺失数据,那么Y3追补=Y2,该识别点A的能耗数据为(X3,Y3追补)。
一种基于表码值的能耗数据处理系统,所述系统包括设备端和数据预处理程序;
所述设备端包括:
发送模块,用于发送“表码值”格式的能耗数据;
所述数据预处理程序包括:
接收模块,用于接收所述能耗数据;
识别模块,用于通过欧式距离算法、第一算法对所述能耗数据中的异常数据进行识别,以及通过第二算法对所述能耗数据中的缺失数据进行识别;
修补模块,用于通过平均插补法对所述异常数据进行修正,以及通过有效数据插补法对所述缺失数据进行追补;
第一数据库模块,用于将正常的能耗数据、所述修正后的能耗数据以及所述追补后的能耗数据保存至该第一数据库模块的表码值表中。
作为进一步的技术方案,所述设备端还包括:
采集模块,用于在发送模块发送表码值格式的能耗数据之前,采集能耗数据;
选择模块,用于以预设的固定间隔选择能耗数据;
第二数据库模块,用于以“表码值”格式保存选择的能耗数据至该第二数据库模块中的定时记录表。
作为进一步的技术方案,所述数据预处理程序还包括:
建立模块,用于在将正常的能耗数据、所述修正后的能耗数据以及所述追补后的能耗数据保存至表码值表中之前,建立表码值表;
储存模块,用于存储所述表码值表至所述第一数据库模块。
作为进一步的技术方案,所述识别模块包括:
计算单元,用于从表码值表中选取相邻的两个参考点的能耗数据(X1,Y1)、(X2,Y2),根据欧式距离算法的公式D=sqrt((X1-X2)^2+(Y1-Y2)^2)/(|X1-X2|),计算得出标准距离D;
第一识别单元,用于当与参考点Y2相邻的识别点A(X3,Y3)的能耗值Y3大于Y2,则计算D1=sqrt((X3-X2)^2+(Y3-Y2)^2)/(|X3-X2|),若D1大于coe*D,其中coe为突变系数,可以根据不同的现场情况进行设置,则识别出该识别点A的能耗数据为异常数据,若D1小于或等于D,则识别出该识别点A的能耗数据为正常数据;
第二识别单元,用于根据第一算法公式Y3-Y2<0,则再检查该数据预处理程序是否换新,若该数据预处理程序换新,则识别出该识别点A的能耗数据为正常数据,若该数据预处理程序没有换新,则识别出该识别点A的能耗数据为异常数据;
第三识别单元,用于根据第二算法公式Y3=0或Y3不存在,则识别出该识别点A的能耗数据为缺失数据。
作为进一步的技术方案,所述修补模块包括:
修正单元,用于当识别出该识别点A为异常数据,则取与A相邻的另一个参考点Y4(X4,Y4),利用平均值插补法得出修正值Y3修正=(Y2+Y4)/2,将该修正后的修正值Y3修正,得到该识别点A的能耗数据为(X3,Y3修正);
追补单元,用于当识别出该识别点A为缺失数据,则通过有效数据插补法取与A相邻的参考点Y4(X4,Y4)得到该识别点A的追补值Y3追补=Y4,得到该识别点A的能耗数据为(X3,Y3追补),(X1,Y1),(X2,Y2),(X3,Y3),其中Y3不存在,为缺失数据,那么Y3追补=Y2,该识别点A的能耗数据为(X3,Y3追补)。
有益效果:
本发明通过使用欧式距离算法,平均值插补法和最后有效数插补法的特性,识别能耗数据中的异常数据,修正异常数据,追补缺失数据,保证能源管理系统中能耗数据的连续性和完整性,提高能耗统计数据的正确性和应用价值。
附图说明
图1是本发明实施例1的一种基于表码值的能耗数据处理方法的方法流程图。
图2是本发明实施例1的一种基于表码值的能耗数据处理方法中识别异常数据点的流程图。
图3是本发明实施例2的一种基于表码值的能耗数据处理系统的系统框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明;应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了说明本发明的技术方案,下面通过具体实施例来说明。
实施例1
如图1所示,一种基于表码值的能耗数据处理方法,所述方法包括:S101:设备端发送“表码值”格式的能耗数据;S102:数据预处理程序接收所述能耗数据;S103:数据预处理程序通过欧式距离算法、第一算法对所述能耗数据中的异常数据进行识别,以及通过第二算法对所述能耗数据中的缺失数据进行识别;S104:数据预处理程序通过平均插补法对所述异常数据进行修正,以及通过有效数据插补法对所述缺失数据进行追补;S105:数据预处理程序将正常的能耗数据、所述修正后的能耗数据以及所述追补后的能耗数据保存至数据预处理程序的表码值表中。在本发明的实施例1中,所述“表码值”格式为“记录时刻/能耗值”。所述欧式距离算法欧氏距离(Euclid Distance)也称欧几里得度量、欧几里得距离,是一个通常采用的距离定义,它是在m维空间中两个点之间的真实距离。在二维空间中的欧氏距离就是两点之间的直线段距离;二维空间的欧氏距离公式为:d=sqrt((x1-x2)^2+(y1-y2)^2)),所述第一算法为识别点的能耗值与相邻的参考点的能耗值进行比较以及检查数据预处理程序是否换新,该第一算法公式为f=Y3-Y2;该第二算法为计算该识别点的能耗值Y3是否大于0或不存在。在本发明实施例1中,平均值插补法是取两个参考点的平均值作为查补到中间时刻的方法。有效数插补法是在时间序列数据中,如果某个关键时刻的数据缺少,将前面最近的有效数据作为该时刻的数据的方法。需要说明的是,该数据预处理程序为一具有显示界面以及控制处理单元的数据预处理程序,其具有显示和数据处理的功能,其内部包括有一数据库,用于存储表码值表和表码值。该表码值表具体举例如下表1:
(1,10) | (2,20) | (3,30) | (4,40) | (5,50) | (6,60) | (7,70) |
(8,80) | (9,90) | (10,100) | (11,110) | (12,120) | (13,130) | (14,140) |
(15,150) | (16,160) | (17,170) | (18,180) | (19,190) | (20,200) | (21,210) |
表1
在本发明的实施例1中,设备端发送表码值格式的能耗数据之前,所述方法还包括:设备端采集能耗数据;设备端以预设的固定间隔选择能耗数据;设备端以“表码值”格式保存选择的能耗数据至设备端中的定时记录表。需要说明的是,该预设的固定间隔一般采用5分钟、10分钟或其他更大或更小的时间间隔,若采用半小时为时间间隔,则得到的能耗数据以表码值的形式表示为(4:30,1000)、(5.00,1200)等。
在本发明的实施例1中,所述数据预处理程序将正常的能耗数据、所述修正后的能耗数据以及所述追补后的能耗数据保存至表码值表中之前,所述方法还包括:
数据预处理程序建立表码值表;
数据预处理程序存储所述表码值表。具体的,数据预处理程序将表码值表存储到该数据预处理程序的数据库中。
请结合图2,在本发明实施例1中,所述数据预处理程序通过欧式距离算法、第一算法对所述能耗数据中的异常数据进行识别,以及通过第二算法对所述能耗数据中的缺失数据进行识别包括:
从表码值表中选取相邻的两个参考点的能耗数据(X1,Y1)、(X2,Y2),根据欧式距离算法的公式D=sqrt((X1-X2)^2+(Y1-Y2)^2)/(|X1-X2|),计算得出标准距离D;
若与参考点Y2相邻的识别点A(X3,Y3)的能耗值Y3大于Y2,则计算D1=sqrt((X3-X2)^2+(Y3-Y2)^2)/(|X3-X2|),若D1大于coe*D,其中coe为突变系数,可以根据不同的现场情况进行设置,则识别出该识别点A的能耗数据为异常数据,若D1小于或等于D,则识别出该识别点A的能耗数据为正常数据;
若根据第一算法公式Y3-Y2<0,则再检查该数据预处理程序是否换新,若该数据预处理程序换新,则识别出该识别点A的能耗数据为正常数据,若该数据预处理程序没有换新,则识别出该识别点A的能耗数据为异常数据;
若根据第二算法公式Y3=0或Y3不存在,则识别出该识别点A的能耗数据为缺失数据。
具体举例,若参考点的数据为(10:00,1000)和(11:00,1100),通过欧式公式计算得d的参考值为100,该识别点A的数据为(12:00,1200),则按照欧式算法的公式可知该识别点A的数据与相邻的识别点数据(11:00,1100)的欧式距离为100,该识别点为正常数据,若该识别点的数据为(12.00,1500),则计算后可知该识别点的能耗数据为异常数据。若该识别点的数据为(11:00,900),则检查是否更换了新表,若更换了新表,则该识别点数据为正常数据,若没有更换新表,则该识别点的数据为异常数据。若该识别点的数据不存在或为0,则识别出该识别点为缺失数据。
在本发明的实施例1中,所述数据预处理程序通过平均插补法对所述异常数据进行修正,以及通过有效数据插补法对所述缺失数据进行追补包括:
若识别出该识别点A为异常数据,则取与A相邻的另一个参考点Y4(X4,Y4),利用平均值插补法得出修正值Y3修正=(Y2+Y4)/2,将该修正后的修正值Y3修正,得到该识别点A的能耗数据为(X3,Y3修正);
若识别出该识别点A为缺失数据,则通过有效数据插补法取与A相邻的参考点Y4(X4,Y4)得到该识别点A的追补值Y3追补=Y4,得到该识别点A的能耗数据为(X3,Y3追补),(X1,Y1),(X2,Y2),(X3,Y3),其中Y3不存在,为缺失数据,那么Y3追补=Y2,该识别点A的能耗数据为(X3,Y3追补)。
具体的,若该识别点数据为(12:00,1500),则取相邻的参考点数据(11:00,1100)和(13:00,1300)进行计算得到修正值Y3修正=(1100+1300)/2=1200,若该识别点的能耗数据不存在,则取相邻的参考点数据(11:00,1100)和(13:00,1300)进行追补,得到该识别点的数据为(12:00,1300)。当然,在其他的实施例中,也可为其他的实施方式,并不局限于本发明的该优选实施方式。
本发明通过使用欧式距离算法,平均值插补法和最后有效数插补法的特性,识别能耗数据中的异常数据,修正异常数据,追补缺失数据,保证能源管理系统中能耗数据的连续性和完整性,提高能耗统计数据的正确性和应用价值。
实施例2
如图3所示,一种基于表码值的能耗数据处理系统,所述系统包括设备端2和数据预处理程序3;
所述设备端2包括:
发送模块200,用于发送“表码值”格式的能耗数据;
所述数据预处理程序包括:
接收模块300,用于接收所述能耗数据;
识别模块301,用于通过欧式距离算法、第一算法对所述能耗数据中的异常数据进行识别,以及通过第二算法对所述能耗数据中的缺失数据进行识别;
修补模块302,用于通过平均插补法对所述异常数据进行修正,以及通过有效数据插补法对所述缺失数据进行追补;
第一数据库模块303,用于将正常的能耗数据、所述修正后的能耗数据以及所述追补后的能耗数据保存至该第一数据库模块的表码值表中。
在本发明实施例2中,所述设备端2还包括:
采集模块201,用于在发送模块发送表码值格式的能耗数据之前,采集能耗数据;
选择模块202,用于以预设的固定间隔选择能耗数据;
第二数据库模块203,用于以“表码值”格式保存选择的能耗数据至该第二数据库模块中的定时记录表。
在本发明实施例2中,所述数据预处理程序3还包括:
建立模块304,用于在将正常的能耗数据、所述修正后的能耗数据以及所述追补后的能耗数据保存至表码值表中之前,建立表码值表;
储存模块305,用于存储所述表码值表至所述第一数据库模块。
在本发明实施例2中,所述识别模块301包括:
计算单元,用于从表码值表中选取相邻的两个参考点的能耗数据(X1,Y1)、(X2,Y2),根据欧式距离算法的公式D=sqrt((X1-X2)^2+(Y1-Y2)^2)/(|X1-X2|),计算得出标准距离D;
第一识别单元,用于当与参考点Y2相邻的识别点A(X3,Y3)的能耗值Y3大于Y2,则计算D1=sqrt((X3-X2)^2+(Y3-Y2)^2)/(|X3-X2|),若D1大于coe*D,其中coe为突变系数,可以根据不同的现场情况进行设置,则识别出该识别点A的能耗数据为异常数据,若D1小于或等于D,则识别出该识别点A的能耗数据为正常数据;
第二识别单元,用于根据第一算法公式Y3-Y2<0,则再检查该数据预处理程序是否换新,若该数据预处理程序换新,则识别出该识别点A的能耗数据为正常数据,若该数据预处理程序没有换新,则识别出该识别点A的能耗数据为异常数据;
第三识别单元,用于根据第二算法公式Y3=0或Y3不存在,则识别出该识别点A的能耗数据为缺失数据。
在本发明实施例2中,所述修补模块302包括:
修正单元,用于当识别出该识别点A为异常数据,则取与A相邻的另一个参考点Y4(X4,Y4),利用平均值插补法得出修正值Y3修正=(Y2+Y4)/2,将该修正后的修正值Y3修正,得到该识别点A的能耗数据为(X3,Y3修正);
追补单元,用于当识别出该识别点A为缺失数据,则通过有效数据插补法取与A相邻的参考点Y4(X4,Y4)得到该识别点A的追补值Y3追补=Y4,得到该识别点A的能耗数据为(X3,Y3追补),(X1,Y1),(X2,Y2),(X3,Y3),其中Y3不存在,为缺失数据,那么Y3追补=Y2,该识别点A的能耗数据为(X3,Y3追补)。
本发明通过使用欧式距离算法,平均值插补法和最后有效数插补法的特性,识别能耗数据中的异常数据,修正异常数据,追补缺失数据,保证能源管理系统中能耗数据的连续性和完整性,提高能耗统计数据的正确性和应用价值。
值得注意的是,上述实施例中,所包括的各个单元只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
另外,本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,相应的程序可以存储于计算机可读取存储介质中的存储介质,如ROM/RAM、磁盘或光盘等。
以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于表码值的能耗数据处理方法,其特征在于,所述方法包括:
设备端发送“表码值”格式的能耗数据,所述“表码值”为“记录时刻/能耗值”;
数据预处理程序接收所述能耗数据;
数据预处理程序通过欧式距离算法、第一算法对所述能耗数据中的异常数据进行识别,以及通过第二算法对所述能耗数据中的缺失数据进行识别;其中,所述第一算法为将识别点的能耗值与相邻的参考点的能耗值进行比较以及检查数据预处理程序是否换新;所述数据预处理程序内部包括数据库,所述数据库用于存储表码值表和表码值;
数据预处理程序通过平均插补法对所述异常数据进行修正,以及通过有效数据插补法对所述缺失数据进行追补,包括:若识别出该识别点A为异常数据,则取与A相邻的另一个参考点Y4(X4,Y4),利用平均值插补法得出修正值Y3修正=(Y2+Y4)/2,将该修正后的修正值Y3修正,得到该识别点A的能耗数据为(X3,Y3修正);若识别出该识别点A为缺失数据,则通过有效数据插补法取与A相邻的参考点Y4(X4,Y4)得到该识别点A的追补值Y3追补=Y4,得到该识别点A的能耗数据为(X3,Y3追补),(X1,Y1),(X2,Y2),(X3,Y3),其中Y3不存在,为缺失数据,那么Y3追补=Y2,该识别点A的能耗数据为(X3,Y3追补);
数据预处理程序将正常的能耗数据、所述修正后的能耗数据以及所述追补后的能耗数据保存至数据预处理程序的表码值表中;
所述数据预处理程序通过欧式距离算法、第一算法对所述能耗数据中的异常数据进行识别,以及通过第二算法对所述能耗数据中的缺失数据进行识别包括:
从表码值表中选取相邻的两个参考点的能耗数据(X1,Y1)、(X2,Y2),根据欧式距离算法的公式D=(sqrt((X1-X2)^2+(Y1-Y2)^2))/(|X1-X2|),计算得出标准距离D;
若与参考点Y2相邻的识别点A(X3,Y3)的能耗Y3大于Y2,则计算D1=(sqrt((X3-X2)^2+(Y3-Y2)^2))/(|X3-X2|),若D1大于coe*D,其中coe为突变系数,则识别出该识别点A的能耗数据为异常数据,若D1小于或等于D,则识别出该识别点A的能耗数据为正常数据;
若根据第一算法公式Y3-Y2<0,则再检查该数据预处理程序是否换新,若该数据预处理程序换新,则识别出该识别点A的能耗数据为正常数据,若该数据预处理程序没有换新,则识别出该识别点A的能耗数据为异常数据;
若根据第二算法公式Y3=0或Y3不存在,则识别出该识别点A的能耗数据为缺失数据。
2.根据权利要求1所述的方法,其特征在于,设备端发送表码值格式的能耗数据之前,所述方法还包括:
设备端采集能耗数据;
设备端以预设的固定间隔选择能耗数据;
设备端以“表码值”格式保存选择的能耗数据至设备端中的定时记录表。
3.根据权利要求1所述的方法,其特征在于,所述数据预处理程序将正常的能耗数据、所述修正后的能耗数据以及所述追补后的能耗数据保存至表码值表中之前,所述方法还包括:
数据预处理程序建立表码值表;
数据预处理程序存储所述表码值表。
4.一种基于表码值的能耗数据处理系统,其特征在于,所述系统包括设备端和数据预处理程序;
所述设备端包括:
发送模块,用于发送“表码值”格式的能耗数据,所述“表码值”为“记录时刻/能耗值”;
所述数据预处理程序包括:
接收模块,用于接收所述能耗数据;
识别模块,用于通过欧式距离算法、第一算法对所述能耗数据中的异常数据进行识别,以及通过第二算法对所述能耗数据中的缺失数据进行识别;其中,所述第一算法为将识别点的能耗值与相邻的参考点的能耗值进行比较以及检查数据预处理程序是否换新;所述数据预处理程序内部包括数据库,所述数据库用于存储表码值表和表码值;
修补模块,用于通过平均插补法对所述异常数据进行修正,以及通过有效数据插补法对所述缺失数据进行追补,包括:若识别出该识别点A为异常数据,则取与A相邻的另一个参考点Y4(X4,Y4),利用平均值插补法得出修正值Y3修正=(Y2+Y4)/2,将该修正后的修正值Y3修正,得到该识别点A的能耗数据为(X3,Y3修正);若识别出该识别点A为缺失数据,则通过有效数据插补法取与A相邻的参考点Y4(X4,Y4)得到该识别点A的追补值Y3追补=Y4,得到该识别点A的能耗数据为(X3,Y3追补),(X1,Y1),(X2,Y2),(X3,Y3),其中Y3不存在,为缺失数据,那么Y3追补=Y2,该识别点A的能耗数据为(X3,Y3追补);
第一数据库模块,用于将正常的能耗数据、所述修正后的能耗数据以及所述追补后的能耗数据保存至该第一数据库模块的表码值表中;
所述识别模块包括:
计算单元,用于从表码值表中选取相邻的两个参考点的能耗数据(X1,Y1)、(X2,Y2),根据欧式距离算法的公式D=(sqrt((X1-X2)^2+(Y1-Y2)^2))/(|X1-X2|),计算得出标准距离D;
第一识别单元,用于当与参考点Y2相邻的识别点A(X3,Y3)的能耗Y3大于Y2,则计算D1=(sqrt((X3-X2)^2+(Y3-Y2)^2))/(|X3-X2|),若D1大于coe*D,其中coe为突变系数,则识别出该识别点A的能耗数据为异常数据,若D1小于或等于D,则识别出该识别点A的能耗数据为正常数据;
第二识别单元,用于根据第一算法公式Y3-Y2<0,则再检查该数据预处理程序是否换新,若该数据预处理程序换新,则识别出该识别点A的能耗数据为正常数据,若该数据预处理程序没有换新,则识别出该识别点A的能耗数据为异常数据;
第三识别单元,用于根据第二算法公式Y3=0或Y3不存在,则识别出该识别点A的能耗数据为缺失数据。
5.根据权利要求4所述的系统,其特征在于,所述设备端还包括:
采集模块,用于在发送模块发送表码值格式的能耗数据之前,采集能耗数据;
选择模块,用于以预设的固定间隔选择能耗数据;
第二数据库模块,用于以“表码值”格式保存选择的能耗数据至该第二数据库模块中的定时记录表。
6.根据权利要求4所述的系统,其特征在于,所述数据预处理程序还包括:
建立模块,用于在将正常的能耗数据、所述修正后的能耗数据以及所述追补后的能耗数据保存至表码值表中之前,建立表码值表;
储存模块,用于存储所述表码值表至所述第一数据库模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410856614.XA CN105468662B (zh) | 2014-12-31 | 2014-12-31 | 一种基于表码值的能耗数据处理方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410856614.XA CN105468662B (zh) | 2014-12-31 | 2014-12-31 | 一种基于表码值的能耗数据处理方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105468662A CN105468662A (zh) | 2016-04-06 |
CN105468662B true CN105468662B (zh) | 2020-02-18 |
Family
ID=55606365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410856614.XA Active CN105468662B (zh) | 2014-12-31 | 2014-12-31 | 一种基于表码值的能耗数据处理方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105468662B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107305563B (zh) * | 2016-04-21 | 2021-04-13 | 北京暖流科技有限公司 | 一种基于距离的异常数据检测方法及系统 |
CN106682383B (zh) * | 2016-06-24 | 2019-03-08 | 南京南瑞继保电气有限公司 | 一种计量系统中对采集表码值精确的统计处理方法 |
CN106384298B (zh) * | 2016-09-19 | 2019-05-31 | 合肥工业大学 | 一种基于两阶段插补模型的智能用电缺失数据修正方法 |
CN108932217A (zh) * | 2017-05-27 | 2018-12-04 | 深圳市中电电力技术股份有限公司 | 能耗统计的方法及装置 |
CN108335233A (zh) * | 2018-03-01 | 2018-07-27 | 深圳凯达通光电科技有限公司 | 一种基于大数据技术的智能电网量测数据处理系统 |
CN109783481A (zh) * | 2018-12-19 | 2019-05-21 | 新华三大数据技术有限公司 | 数据处理方法和装置 |
CN109933582A (zh) * | 2019-03-11 | 2019-06-25 | 国家电网有限公司 | 数据处理方法及装置 |
CN116893297B (zh) * | 2023-09-11 | 2024-01-12 | 常州旭泰克系统科技有限公司 | 旋转设备能耗的监测方法、监测系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102184267A (zh) * | 2011-04-14 | 2011-09-14 | 上海同岩土木工程科技有限公司 | 一种自动数据采集系统消除干扰的异常数据过滤方法 |
CN102521268A (zh) * | 2011-11-22 | 2012-06-27 | 浪潮电子信息产业股份有限公司 | 一种缺失数据项自动填充的方法 |
CN102521080A (zh) * | 2011-12-07 | 2012-06-27 | 福建省电力有限公司 | 电力用户用电信息采集系统的计算机数据修复方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130218868A1 (en) * | 2012-02-21 | 2013-08-22 | James B. Pitts | Smart linking a file to a product |
-
2014
- 2014-12-31 CN CN201410856614.XA patent/CN105468662B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102184267A (zh) * | 2011-04-14 | 2011-09-14 | 上海同岩土木工程科技有限公司 | 一种自动数据采集系统消除干扰的异常数据过滤方法 |
CN102521268A (zh) * | 2011-11-22 | 2012-06-27 | 浪潮电子信息产业股份有限公司 | 一种缺失数据项自动填充的方法 |
CN102521080A (zh) * | 2011-12-07 | 2012-06-27 | 福建省电力有限公司 | 电力用户用电信息采集系统的计算机数据修复方法 |
Non-Patent Citations (1)
Title |
---|
基于表码的电量数据处理方法;杨德亮 等;《电力系统自动化》;20080225;第32卷(第4期);说明书第0015段 * |
Also Published As
Publication number | Publication date |
---|---|
CN105468662A (zh) | 2016-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105468662B (zh) | 一种基于表码值的能耗数据处理方法和系统 | |
CN102279776B (zh) | 一种错误检查与纠正能力的测试方法及装置 | |
WO2019205017A1 (zh) | 车辆诊断方法、系统、设备及计算机可读存储介质 | |
CN102521080B (zh) | 一种电力用户用电信息采集系统的计算机数据修复方法 | |
CN107147553B (zh) | 从站波特率及帧格式的调整方法、调整装置及调整设备 | |
CN110647913B (zh) | 基于聚类算法的异常数据检测方法及装置 | |
CN110502384A (zh) | 电子元器件的参数校验方法、装置、设备及存储介质 | |
CN104572999B (zh) | 基于异构数据的错误数据的检测方法和装置 | |
CN114047472A (zh) | 一种智能电表的计量误差监测系统及其监测方法、装置 | |
CN116723206A (zh) | 车辆故障信息处理方法、装置、电子设备及存储介质 | |
CN103546242A (zh) | 一种遥感卫星原始数据误码率检测方法 | |
CN106802898B (zh) | 数据录入方法及装置 | |
CN110867077A (zh) | 一种基于交通视频结构化数据质量控制的道路优化方法 | |
CN108491432B (zh) | 基于消息摘要的电力系统累计量存储及抽取方法、电子设备和存储介质 | |
CN103745003A (zh) | Html片段的检测方法 | |
CN109739716B (zh) | 一种存储系统中hba卡的测试方法和系统 | |
CN114024795B (zh) | 波特率自适应方法、装置、计算机设备和存储介质 | |
CN114039807B (zh) | 波特率自适应方法、装置、计算机设备和存储介质 | |
CN107783896B (zh) | 一种数据处理模型的优化方法和装置 | |
JP6571027B2 (ja) | データ格納装置及びデータ格納プログラム | |
CN107038330B (zh) | 一种数据缺失的补偿方法和装置 | |
CN103118367A (zh) | 移动电话安全认证系统及认证方法 | |
CN109299545B (zh) | 一种确定电动燃油泵可靠性增长试验计划增长曲线的方法 | |
CN113327341A (zh) | 一种基于网络技术的设备预警系统、方法及存储介质 | |
CN111176931A (zh) | 一种运营监控方法、装置、服务器及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20201130 Address after: 518000 West, 8th floor, building 201, Tairan industrial and Trade Park, chegongmiao, Shenzhen, Guangdong Patentee after: CEIEC ELECTRIC TECHNOLOGY Inc. Patentee after: ELECTRIC POWER RESEARCH INSTITUTE, GUIZHOU POWER GRID Co.,Ltd. Address before: 518000 Guangdong Province, Shenzhen Futian Che Kung Temple industry and Trade Park Tairan 201 8 floor West Patentee before: CEIEC ELECTRIC TECHNOLOGY Inc. |