CN106548412A - 一种变电站在线监测时序数据的高效压缩存储方法 - Google Patents

一种变电站在线监测时序数据的高效压缩存储方法 Download PDF

Info

Publication number
CN106548412A
CN106548412A CN201610835531.1A CN201610835531A CN106548412A CN 106548412 A CN106548412 A CN 106548412A CN 201610835531 A CN201610835531 A CN 201610835531A CN 106548412 A CN106548412 A CN 106548412A
Authority
CN
China
Prior art keywords
data
storage
time series
template
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610835531.1A
Other languages
English (en)
Inventor
吴秋莉
张炜
邬蓉蓉
颜海俊
邓雨荣
杨健
郭丽娟
张玉波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Guangxi Power Grid Co Ltd
Original Assignee
Electric Power Research Institute of Guangxi Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Guangxi Power Grid Co Ltd filed Critical Electric Power Research Institute of Guangxi Power Grid Co Ltd
Priority to CN201610835531.1A priority Critical patent/CN106548412A/zh
Publication of CN106548412A publication Critical patent/CN106548412A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/221Column-oriented storage; Management thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种变电站在线监测时序数据的压缩存储方法,包括以下步骤:(1)确定数据结构,选取或创建相应的数据存储模板;(2)将监测时间转换成相对时间;(3)将转换后的相对时间和数据项按照存储模板进行组合;(4)压缩数据;(5)将压缩数据顺序存储到存储块中;(6)计算并更新数据库中各个数据项的最大值和最小值;(7)存储完成。通过使用本发明提供的方法,可以在时序数据库中任意创建、存储具有多个数据项的时序数据类型,可以简化对具有多个数据项的时序数据的存取操作,提高时序数据存取效率,节省数据存储空间。

Description

一种变电站在线监测时序数据的高效压缩存储方法
技术领域
本发明涉及电力设备状态监测及故障诊断技术领域,具体涉及一种变电站在线监测时序数据的高效压缩存储方法。
背景技术
变电站在线监测系统每天需要监测和采集变电站内各一次、二次设备的运行状态数据,比如油色谱、局部放电、套管介质损耗及电容量、铁芯接地电流、油中微水、油中温度等。这些数据不仅种类多、量大、产生频率快,而且每一个被监测点包含有多个数据项,比如一个油色谱监测点包括:测量时间、氢气、一氧化碳、甲烷、乙烯 、乙炔、乙烷、总烃等数据,这些数据项组合在一起共同表示一个油色谱监测数据点的状态或数据质量。
传统关系型数据库用数据库表结构的方式可以很方便地存储上述油色谱中的数据项。但是关系型数据库为了维护数据库表的强关联和数据一致性需要牺牲读写性能,无法满足时序数据的高速读写要求。另外,时序数据的数据量很大,随着海量时序数据的存入,关系型数据库中的数据表会变得异常庞大,直接降低数据的读取速度。而且,当数据表超过一定大小后,必须进行分表和分库操作,直接影响数据库的管理和维护。
变电站在线监测数据大多是时间序列数据即时序数据,业界一般通过时序数据库来存储这些时序数据,时序数据库可以很好地满足时序数据的高速、海量存储和并发读写要求。但是,现有的时序数据库存储格式都类似于“时间+值”这种固定的存储格式,这个固定的存储单元只能存储两列数据,第一列是时间,第二列是数据项值。当遇到像上述变电站在线监测油色谱数据时,时序数据库会在内部分成8个存储单元来存储,这样存储一条油色谱数据就需要同时写操作8个存储单元,同样,当需要分析一条油色谱数据时,也需要同时读操作这8个存储单元,这样势必严重降低数据的存取效率。另外,每个存储单元都需要存储数据项对应的时间,这样使得一个时间会同时存在8存储单元中,浪费存储空间。
发明内容
本发明的目的在于克服关系数据库和时序数据库在存取变电站在线监测数据时存在的缺点和不足,提供一种基于存储模板的变电站在线监测时序数据压缩存储方法,该方法既能满足对时序数据的高效、并发存储要求,又可以将由多个数据项组合的数据存储在一个存储单元中,大大节省存储空间。
为实现上述目的,本发明采用的技术方案为:
一种变电站在线监测时序数据的压缩存储方法,其特征在于,包括以下步骤:
S1:确定所述时序数据的结构,所述结构包含监测时间和若干数据项,从数据库存储模板中选择一个与所述结构相同的存储模板,如果数据库中不存在与所述结构相同的存储模板,则先通过数据库模板创建工具创建一个新的存储模板,所述存储模板的结构与所述结构相同;
S2:将所述监测时间转换成相对时间;
S3:将所述相对时间和其他数据项按照所述存储模板进行组合,得到组合数据;
S4:将所述组合数据进行压缩得到压缩数据;
S5: 将所述压缩数据顺序存储到数据库中;
S6:计算并更新数据库中各个数据项的最大值和最小值;
S7:存储完成,返回成功标志;
优选的,不同的时序数据采用不同的存储模板,不同的存储模板定义了不同的存储格式,所述存储格式依次为长度、相对时间和其他数据项,其中长度占一个字节,相对时间占两个字节,其他数据项根据实际需要分配不同的字节数,长度、相对时间和所有数据项所占字节数的总和即为长度的值。
优选的,步骤S4中所述的压缩采用旋转门或哈弗曼算法。
优选的,步骤S5中所述的存储是以存储块为单位,同一个存储块只能存储同一个存储模板的数据。
和现有技术相比,本发明产生的有益效果如下:
1)首次实现了在时序数据库中任意创建、存储具有多个数据项的时序数据类型,大幅简化了对具有多个数据项的时序数据的存取操作环节。
2)率先改进了监测数据的存储处理方法,优化了数据的存储空间,提升了数据的读取效率。以油色谱数据为例,改进前所需的存储空间是96字节,改进后的存储空间是35字节;改进前所需的读取次数是8次,改进后的读取次数是1次。
3)开创了深度压缩处理监测数据的方法,显著提高了数据压缩比。以广西电网油色谱监测采样数据为例,如油色谱监测采样频率为1次/日,则一年能节省空间为:371×365日×61字节/次×1次/日= 7058005字节。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图,其中 :
图 1 是本发明提出的时序数据存储流程图;
图 2 是本发明提出的数据存储模板结构示意图;
图3 是现有时序数据库存储油色谱数据格式示意图;
图 4是本发明提出的油色谱数据组合存储格式示意图。
具体实施方式
下面将结合本发明实例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,一种变电站在线监测时序数据的压缩存储方法,包括以下步骤:
S1:确定所述时序数据的结构,所述结构包含监测时间和若干数据项,从数据库存储模板中选择一个与所述结构相同的存储模板,如果数据库中不存在与所述结构相同的存储模板,则先通过数据库模板创建工具创建一个新的存储模板,所述存储模板的结构与所述结构相同;
存储模板是一个预先定义好的数据组织结构。采用该模板的数据存取都必须按照这个模板的定义来存储和解析。不同的存储模板定义了不同的存储格式。本实施例中,一条油色谱数据包含:监测时间、一氧化碳、二氧化碳、氢气、甲烷、乙炔、乙烯、乙烷、总烃共9个数据项,其中时间需占用8个字节,每个数据项需占用4个字节,则一条油色谱数据总共需要41个字节。为减少时间占用空间,对时间进行相对时间转换,相对时间长度为2个字节,其他数据项保持4个字节不变,这样一条油色谱数据最终需要34个字节。另外,为了能完整读取和解析该条存入的数据,专门用一个字节来记录该条数据的长度。这样一个35个字节的数据按照字节数和偏移位顺序排列形成油色谱数据存储模板,其存储结构为“1-2-4-4-4-4-4-4-4-4”,如图2所示。同样的理由,如果需存储的数据是GIS局放数据,则选择9字节长度的GIS局放数据存储模板,其存储结构为“1-2-2-1-1-2”。
S2:将所述监测时间转换成相对时间;
这是由于监测时间需占用8个字节,而转换成相对时间后只占2个字节,从而减少了对存储空间的占用。
S3:将所述相对时间和其他数据项按照所述存储模板进行组合,得到组合数据;
现有的时序数据库存储格式都类似于“时间+值”这种固定的存储格式,这个固定的存储单元只能存储两列数据,第一列是时间,第二列是数据项值。当遇到像上述变电站在线监测油色谱数据时,时序数据库会在内部分成8个存储单元来存储,如图3所示。这样存储一条油色谱数据就需要同时写操作8个存储单元,同样,当需要分析一条油色谱数据时,也需要同时读操作这8个存储单元。这样就大大降低了数据的存取效率。另外,每个存储单元都需要存储数据项对应的时间,这样使得一个时间会同时存在8个存储单元中,浪费了存储空间。
而采用本发明提出的方法,用户可以根据实际需要通过存储模板定义具有不同数据项组合的存储格式,整合成组合数据,如上述一条油色谱数据,通过存储模板进行数据组合,其存储结构如图4所示。由图4可知,以组合方式存储这一条油色谱数据只需1个存储单元,时间也只出现一次,对一条时序数据的读取也仅需一次操作即可完成,组合方式的存储既节省了存储空间,也提高了数据读写的效率。
S4:将所述组合数据进行压缩得到压缩数据;
由于变电站在线监测所产生的时序数据种类多、数量大。为了能进一步节省存储空间,提高数据传输的效率,还要对所得的组合数据进行压缩。本实施例中,所采用的压缩算法为旋转门或哈弗曼算法。
S5: 将所述压缩数据顺序存储到存储块中,同一个存储块只能存储同一个存储模板的数据;
其目的在于方便对数据进行读写操作,因为计算机对数据的读写操作是以块为单位,当同一个存储块里存储的是同一个存储模板的数据,则意味着计算机每操作一次,它不是只对一条数据进行操作,而是同时对多条数据进行操作,这样就极大地提高了对数据的存取效率。
S6:计算并更新数据库中各个数据项的最大值和最小值;
其目的在于减少在大范围时间区间的极值统计查询中对原始数据量的查询,加快查询速度。
S7:存储完成,返回成功标志;
通过以上方法,可以简化对具有多个数据项的时序数据的存取操作,提高时序数据存取效率,节省数据存储空间。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种变电站在线监测时序数据的压缩存储方法,其特征在于,包括以下步骤:
S1:确定所述时序数据的结构,所述结构包含监测时间和若干数据项,从数据库存储模板中选择一个与所述结构相同的存储模板,如果数据库中不存在与所述结构相同的存储模板,则先通过数据库模板创建工具创建一个新的存储模板,所述存储模板的结构与所述结构相同;
S2:将所述监测时间转换成相对时间;
S3:将所述相对时间和其他数据项按照所述存储模板进行组合,得到组合数据;
S4:将所述组合数据进行压缩得到压缩数据;
S5: 将所述压缩数据顺序存储到数据库中;
S6:计算并更新数据库中各个数据项的最大值和最小值;
S7:存储完成,返回成功标志。
2.根据权利要求1所述的一种变电站在线监测时序数据的压缩存储方法,其特征在于,不同的时序数据采用不同的存储模板,不同的存储模板定义了不同的存储格式,所述存储格式依次为长度、相对时间和其他数据项,其中长度占一个字节,相对时间占两个字节,其他数据项根据实际需要分配不同的字节数,长度、相对时间和所有数据项所占字节数的总和即为长度的值。
3.根据权利要求1所述的一种变电站在线监测时序数据的压缩存储方法,其特征在于,步骤S4中所述的压缩采用旋转门或哈弗曼算法。
4.根据权利要求1所述的一种变电站在线监测时序数据的压缩存储方法,其特征在于,步骤S5中所述的存储是以存储块为单位,同一个存储块只能存储同一个存储模板的数据。
CN201610835531.1A 2016-09-21 2016-09-21 一种变电站在线监测时序数据的高效压缩存储方法 Pending CN106548412A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610835531.1A CN106548412A (zh) 2016-09-21 2016-09-21 一种变电站在线监测时序数据的高效压缩存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610835531.1A CN106548412A (zh) 2016-09-21 2016-09-21 一种变电站在线监测时序数据的高效压缩存储方法

Publications (1)

Publication Number Publication Date
CN106548412A true CN106548412A (zh) 2017-03-29

Family

ID=58368191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610835531.1A Pending CN106548412A (zh) 2016-09-21 2016-09-21 一种变电站在线监测时序数据的高效压缩存储方法

Country Status (1)

Country Link
CN (1) CN106548412A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108322434A (zh) * 2017-12-25 2018-07-24 广州亦云信息技术股份有限公司 一种时序数据的发送、接收方法及装置
CN108595553A (zh) * 2018-04-10 2018-09-28 红云红河烟草(集团)有限责任公司 一种基于关系型数据库的工业数采时序数据压缩存储和解压查询方法
CN108614711A (zh) * 2018-04-20 2018-10-02 北京握奇智能科技有限公司 Ta镜像存储方法、装置以及终端
CN109684328A (zh) * 2018-12-11 2019-04-26 中国北方车辆研究所 一种高维时序数据压缩存储方法
CN109922131A (zh) * 2019-01-17 2019-06-21 平安城市建设科技(深圳)有限公司 基于区块链的数据存储方法、装置、设备及存储介质
CN110672748A (zh) * 2019-10-24 2020-01-10 福建工程学院 一种油色谱谱峰识别的方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104035930A (zh) * 2013-03-05 2014-09-10 联想(北京)有限公司 数据存储方法和终端设备
CN104134168A (zh) * 2014-08-12 2014-11-05 国网浙江奉化市供电公司 一种数据管理系统
CN105445579A (zh) * 2015-11-17 2016-03-30 国网山东省电力公司电力科学研究院 多尺度时序分析的油色谱在线监测数据可视化系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104035930A (zh) * 2013-03-05 2014-09-10 联想(北京)有限公司 数据存储方法和终端设备
CN104134168A (zh) * 2014-08-12 2014-11-05 国网浙江奉化市供电公司 一种数据管理系统
CN105445579A (zh) * 2015-11-17 2016-03-30 国网山东省电力公司电力科学研究院 多尺度时序分析的油色谱在线监测数据可视化系统及方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108322434A (zh) * 2017-12-25 2018-07-24 广州亦云信息技术股份有限公司 一种时序数据的发送、接收方法及装置
CN108595553A (zh) * 2018-04-10 2018-09-28 红云红河烟草(集团)有限责任公司 一种基于关系型数据库的工业数采时序数据压缩存储和解压查询方法
CN108595553B (zh) * 2018-04-10 2022-02-08 红云红河烟草(集团)有限责任公司 一种基于关系型数据库的工业数采时序数据压缩存储和解压查询方法
CN108614711A (zh) * 2018-04-20 2018-10-02 北京握奇智能科技有限公司 Ta镜像存储方法、装置以及终端
CN108614711B (zh) * 2018-04-20 2021-12-10 北京握奇智能科技有限公司 Ta镜像存储方法、装置以及终端
CN109684328A (zh) * 2018-12-11 2019-04-26 中国北方车辆研究所 一种高维时序数据压缩存储方法
CN109684328B (zh) * 2018-12-11 2020-06-16 中国北方车辆研究所 一种高维时序数据压缩存储方法
CN109922131A (zh) * 2019-01-17 2019-06-21 平安城市建设科技(深圳)有限公司 基于区块链的数据存储方法、装置、设备及存储介质
CN110672748A (zh) * 2019-10-24 2020-01-10 福建工程学院 一种油色谱谱峰识别的方法和系统

Similar Documents

Publication Publication Date Title
CN106548412A (zh) 一种变电站在线监测时序数据的高效压缩存储方法
CN101587152B (zh) 电能质量监测系统
CN104809665B (zh) 一种基于改进Apriori算法的配电网预警方法
CN107730394A (zh) 基于大数据的全景电网多元异构数据融合方法
CN108614192B (zh) 一种配电网雷电监测装置布点决策方法
CN107451233A (zh) 时间属性优先的时空轨迹数据文件在辅助存储设备中的存储方法
CN107798062A (zh) 一种变电站历史数据统一存储方法和系统
CN105007294A (zh) 输变电设备状态监测大数据快速接收和分发系统
CN108876154A (zh) 一种电网规划大数据分析系统
CN108053095A (zh) 一种电能质量扰动事件特征提取方法及系统
Xie et al. Efficiency evaluation of China's provincial power systems based on the dynamic network slacks-based measure model
Yuzhi Study of the input-output overall performance evaluation of electricity distribution based on DEA method
CN105335822A (zh) 一种面向大数据分析的智能电网统一数据模型建模方法
CN108563708A (zh) 设备信息检索方法、装置及计算机设备
CN108182198A (zh) 存储先进控制器运行数据的控制装置和读取方法
CN106844556A (zh) 一种基于HBase的智能电网时标量测数据存储方法
CN117009610A (zh) 一种基于电力数据的k线图可视化系统和方法
CN104077395A (zh) 一种电力系统等效化简重新生成内存库索引的方法
Zhou et al. Research and Implementation of Distribution Network Operating Analysis Platform Based on Multi-source Heterogeneous Data
CN111191946A (zh) 故障线路识别方法及装置、电子设备
CN112329432B (zh) 一种基于改进Apriori的配电网电压越限问题关联分析方法
CN104657426B (zh) 一种基于统一视图的行列混合数据存储模型的建立方法
CN112614017A (zh) 停电信息管理系统、停电信息管理方法及存储介质
CN103309890A (zh) 一种Linux文件系统与实时数据库索引融合的技术
CN117056134B (zh) 一种快速备份能耗监测系统中数据库数据的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170329

RJ01 Rejection of invention patent application after publication