CN103020169A - 一种电力数据的有效性及唯一性处理方法 - Google Patents

Abstract

本发明是一种电力数据的有效性及唯一性处理方法，采集测量点的采集器序号、测量点序号、功率类型、费率类型及这些参数的对应数值，上传给后台SQL数据库；将数据先存入到VC++的数据链表中，等数据链表达到设定的数据长度时再统一进行存取，并需要对插入到最终数据库表中的数据进行进一步的筛选；对于每个测量点的数据按小时存储以方便后期的统计，从一个小时内采集获得的多个数据中选取最接近时间点的一条作为最有效的数据进行存储，所述的时间点是指一个小时区间的后端点时间。在使用SQL数据库存储及处理描述同一问题的多条记录时，能够从中择出最有效的一条数据，同时能够兼顾数据库访问次数及数据被更新的次数。

Description

一种电力数据的有效性及唯一性处理方法

技术领域  

本发明涉及一种应用于电力系统自动化技术领域的数据有效性及数据唯一性处理方法。

背景技术  

数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，在实际的应用中已经相当广泛，并且在电力系统自动化领域数据库技术的应用也已比较成熟。电力数据具有突发性、集中性、实时性、准确性等特点，而数据的有效性和数据的唯一性是电力数据处理的最基本要求。

现有的电力数据处理方法，均选择使用数据库软件本身所提供的数据完整性约束来对数据的唯一性及有效性进行处理。这对于一条记录而言，功能已完全可以实现，但是对于两条所描述的事件是一样的记录而言，数据库软件所提供的数据完整性约束功能是很难达到甚至根本达不到想要的效果。这就需要在数据插入和更新时作进一步的处理，以确保数据有效及唯一。在数据存在突发性及重复性极高等情况下，还需要更精细的处理。

发明内容  

本发明所要解决的技术问题是，提供一种电力数据的有效性及唯一性处理方法，在使用SQL数据库存储及处理描述同一问题的多条记录时，能够从中择出最有效的一条数据，同时能够兼顾数据库访问次数及数据被更新的次数。

为了解决上述问题，本发明采用了以下技术方案。

一种电力数据的有效性及唯一性处理方法，其特征在于按照以下步骤进行处理：

1）、采集：采集测量点的采集器序号、测量点序号、功率类型、费率类型及这些参数的对应数值；

2）上传：将步骤1）采集的信息上传给后台SQL数据库；

3）、存储：将数据先存入到VC++的数据链表中，等数据链表达到设定的数据长度时再统一进行存取，并需要对插入到最终数据库表中的数据进行进一步的筛选；所述进一步的筛选是指，在SQL数据库中新增一个临时表，先将链表中所有数据按设定长度分批插入到该临时表中，再用SQL视图处理临时表，将最有效的数据提取出来，放入历史库表中；

对于每个测量点的数据按小时存储以方便后期的统计，从一个小时内采集获得的多个数据中选取最接近时间点的一条作为最有效的数据进行存储，所述的时间点是指一个小时区间的后端点时间。

本发明的积极效果在于：采用本发明的方法，运用C++与SQL数据库相结合的方式，采取链表，数据库表，数据库视图等工具对采集系统所采集的数据进行处理。对于每一个数据记录，都以存储时间（savetime）作为有效性的判断条件。并新增一个临时表，先将链表中所有数据按一定长度分批插入到临时表中，再有SQL视图处理临时表，将存储时间最大的数据提取出来，放入历史库表中。这样便完成了高突发性的数据采集及存储时数据唯一性及数据有效性的处理。

具体实施方式 

下面结合具体实例来进一步说明本发明。

本发明按照以下步骤进行处理：

1）、采集：前置程序通过计算机网络、RS485接口等方式采集测量点的采集器序号（rtuno）、测量点序号（pointno）、功率类型（power）、费率类型（tariff）及这些参数的对应数值（value）。

2）上传：将步骤1）采集的信息上传给后台数据库，后台维护测量点信息并根据采集器信息及测量点序号确定测量点的唯一性（tmr_point：pointcode，rtuno，pointno）。

3）、存储：对于每个测量点的数据按小时存储以方便后期的统计，在按小时存储时，一个小时内采集获得多个数据。存储时只需要其中一条数据，这条数据要尽可能的接近这个时间点，且需要保证每个时间点上都存上了数据值。从一个小时内采集获得的多个数据中选取最接近时间点的一条作为最有效的数据进行存储，所述的时间点是指一个小时区间的后端点时间，比如在3:00～4：00的一个小时区间中，时间点是指4：00。

比如：采集得第一条数据：rtuno=1，pointno=1，collectTime=1338508866(2012年6月1日0时1分6秒)，tariff=0(总)，power=0，value=554.19，存储到数据库中为：（‘pointOne’，1338512400（2012年6月1日1时0分0秒），0，0，0，554.19，0，1338508866）；

当采集到第二条数据时，如rtuno=1，pointno=1，collectTime=1338508899(2012年6月1日0时1分39秒)，tariff=0(总)，power=0，value=554.21，先删除第一条数据，存储第二条数据到库中（‘pointOne’，1338512400（2012年6月1日1时0分0秒），0，0，0，554.21，0，1338508899），以此来确保数据的唯一性及有效性。

但是这样处理会存在一个问题：当数据量很大且采集间隔较短时，如测量点为600，每个测量点数据项为20，采集的时间间隔为一分钟，这样对于所有测计量在一分钟内需要对数据进行12000次的删除与插入操作。在加上其他的数据处理及运算，数据库的瞬间访问量还会更大。本发明的做法是将数据先存入到VC++的数据链表中，等数据链表达到设定的数据长度时再统一进行存取，这样就减少了数据库访问的次数。但因为电力数据的突发性和采集值上送的不确定性，数据链表中可能会同时存在同一计量点的相同数据项，因此需要对插入到最终数据库表中的数据进行进一步的筛选。

所述进一步的筛选是指，对于每一个数据记录，都以存储时间（savetime）作为有效性的判断条件。在VC++中如果处理存储时间会导致更多的链表操作，以致影响处理效率。在SQL数据库中新增一个临时表，此表结构与采集数据类似，先将链表中所有数据按设定长度分批插入到该临时表中，再用SQL视图处理临时表，将最有效的数据（即存储时间最大的数据）提取出来，放入历史库表中。这样便完成了高突发性的数据采集，以及存储时对数据唯一性及数据有效性的处理。

为了更清晰地描述所涉及的问题，现将数据库数据存储表结构描述如下：

---------------------------------------tmr_point-----------------------------------------------

create table tmr_point 

(

   pointCode            CHAR(37)    not null, 

rtuNo                NUMBER(4),

   pointNo              NUMBER(4), 

   source                                NUMBER(3)

constraint PK_TMR_POINT primary key (pointCode)   

)organization index;

------------------------------------tmr_pointreading-----------------------------------------

create table tmrd_pointreading 

(

   pointCode            CHAR(37),

   collectTime          NUMBER(10),

   source                  NUMBER(3),

   tariff               NUMBER(3),

   power                NUMBER(3),

   value                REAL,

   flag                 NUMBER(3),

   savetime             NUMBER(10),

constraint PK_TMRD_POINTREADING primary key (pointCode,collectTime,source,tariff,power);

)tablespace his_data;

-----------------------------------view_tmr_new_pointreading-----------------------------

create or replace view view_tmr_new_pointreading as

select distinct a.pointcode,a.collecttime,a.source,a.tariff,a.power,a.value,a.flag,a.savetime

from  view_temp_pointreading a,

(select pointCode,collectTime,source,tariff,power,max(savetime) savetime 

             from view_temp_pointreading 

             group by pointCode,collectTime,source,tariff,power 

             order by pointCode,collectTime,source,tariff,power) b

where a.pointCode=b.pointCode and a.collectTime = b.collectTime and 

a.source = b.source and a.tariff = b.tariff and a.power = b.power and  a.savetime = b.savetime

order by a.pointCode,a.collectTime,a.source,a.tariff,a.power,a.savetime;

----------------------------------------view_temp_pointreading-----------------------------

create or replace view view_temp_pointreading as

select tmr.pointcode, tmp.collecttime,tmr.source,tmp.tariff,tmp.power,tmp.value,tmp.flag,tmp.savetime

  from temp_pointreading tmp

  inner join tmr_point tmr

  on (tmp.pointno = tmr.pointno and tmp.rtuno = tmr.rtuno);

下面以低压电力用户集中抄表系统为例，进一步描述本发明。

本发明所涉及的数据库表、视图等结构可在附录中查到。低压电力用户集中抄表系统中涉及两个概念：集中器与测量点（或称计量点）。本发明中涉及的数据唯一性要求是对于某一时刻（以小时为单位，下同），某一测量点的具体某一值存在是唯一的。本发明中涉及的数据有效性要求对于某一个时刻，某一测量点的具体某一值为最接近此时刻测量点实际值。

主任务主要包括以下过程：

（1）、前置系统按指定时间间隔对每个采集器进行轮询，采集及处理相应数据，按指定的数据结构存放；

（2）、将采集到的数据按指定数据结构存放后追加到环形链表中；

（3）、每次放入环形链表前，对环形链表数据长度做一判断，在环形链表数据长度达到一半左右时（可根据实际情况设置环形链表的总长度及存储瓶颈）往临时表中；

（4）、将历史库表中与临时库表中重复的记录删除，待插入新数据，语句如下：

Delete from tmrd_pointreading where exists(select pointCode,source,collectTime,tariff,power from view_temp_pointreading where pointCode=tmrd_pointreading.pointcode and source=tmrd_pointreading.source and collecttime=tmrd_pointreading.collecttime and tariff=tmrd_pointreading.tariff and power=tmrd_pointreading.power )

这样就首先确保了历史库表中没有与临时库表中重复的数据了；

（5）、此时需要在临时表的基础上创建一个视图，这个视图的主要作用就是从临时表中取出不重复的且最有效的（存储时间最靠后的）数据，此处的视图如下：

create or replace view view_tmr_new_pointreading as

select distinct a.pointcode,a.collecttime,a.source,a.tariff,a.power,a.value,a.flag,a.savetime

from  view_temp_pointreading a,

(select pointCode,collectTime,source,tariff,power,max(savetime) savetime 

              from view_temp_pointreading 

              group by pointCode,collectTime,source,tariff,power 

              order by pointCode,collectTime,source,tariff,power) b

where a.pointCode=b.pointCode and a.collectTime = b.collectTime and 

a.source = b.source and a.tariff = b.tariff and a.power = b.power and  a.savetime = b.savetime

order by a.pointCode,a.collectTime,a.source,a.tariff,a.power,a.savetime;

此视图主要的功能是取出某一个采集时间点的多条数据值中存储时间等于最大存储时间

的记录，即我们需要的有效值，且须确保唯一；

（6）、此时将提取出来的数据插入到历史库表中，然后就临时库表中的数据清除，等待下一轮数据处理。

Claims (1)

1.一种电力数据的有效性及唯一性处理方法，其特征在于按照以下步骤进行处理：

1）采集：采集测量点的采集器序号、测量点序号、功率类型、费率类型及这些参数的对应数值；

2）上传：将步骤1）采集的信息上传给后台SQL数据库；

3）存储：将数据先存入到VC++的数据链表中，等数据链表达到设定的数据长度时再统一进行存取，并需要对插入到最终数据库表中的数据进行进一步的筛选；所述进一步的筛选是指，在SQL数据库中新增一个临时表，先将链表中所有数据按设定长度分批插入到该临时表中，再用SQL视图处理临时表，将最有效的数据提取出来，放入历史库表中；

对于每个测量点的数据按小时存储以方便后期的统计，从一个小时内采集获得的多个数据中选取最接近时间点的一条作为最有效的数据进行存储，所述的时间点是指一个小时区间的后端点时间。