CN112256697A - 一种用于电力采集终端数据管理的方法 - Google Patents

一种用于电力采集终端数据管理的方法 Download PDF

Info

Publication number
CN112256697A
CN112256697A CN202011096367.XA CN202011096367A CN112256697A CN 112256697 A CN112256697 A CN 112256697A CN 202011096367 A CN202011096367 A CN 202011096367A CN 112256697 A CN112256697 A CN 112256697A
Authority
CN
China
Prior art keywords
data
measuring point
task
tasks
power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011096367.XA
Other languages
English (en)
Inventor
丁成立
刘绪胜
苟孟生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Sanxing Electric Co Ltd
Original Assignee
Ningbo Sanxing Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Sanxing Electric Co Ltd filed Critical Ningbo Sanxing Electric Co Ltd
Priority to CN202011096367.XA priority Critical patent/CN112256697A/zh
Publication of CN112256697A publication Critical patent/CN112256697A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Electricity, gas or water supply

Abstract

本发明公开了一种用于电力采集终端数据管理的方法，其特征在于：包括如下步骤：1)首先，以电力采集终端的测量点为单位建立数据库表，数据库表负责存储该测量点对应所有任务的数据；2)将每个测量点对应的所有任务的数据按照tsa存储；3)设置一个全局变量，数据库表通过维护该全局变量，对所有测量点上所有任务的数据进行存储管理。与现有技术相比，本发明的优点在于：通过以测量点为单位进行数据存储，数据存储管理不再受原采集任务的约束，通过以tsa进行存储，将原复杂的深度管理与滚存机制抽象为时间点的概念；单个测量点变更、新增和删除对其他测量点无影响，避免历史数据丢失。

Description

一种用于电力采集终端数据管理的方法
技术领域
本发明涉及电力采集系统，尤其是一种用于电力采集终端数据管理的方法。
背景技术
电力采集终端是电力系统中用来采集电能数据的设备，它可以代替人工对电能进行自动采集，是电网智能化发展的重要过程，多配合电能表使用。为了满足对供电质量的精确计算，需要电力采集终端实现实时、高频采集用户的用电数据。
电力采集终端负责将电力用户用电数据采集存储，并按照采集主站的要求，按协议指定的方式上报到采集主站或存储在内部FLASH供采集主站进行数据召测。针对国网面向对象协议，现运行电力采集终端大多将采集数据按采集任务分类存储。
由于用户需求的复杂性和多样性，将采集数据按任务存储往往会导致存储资源的浪费，数据检索时效率较低、同时数据存储无法单独运行需依赖数据抄读模块调用进行存储，当数据量较大时，存储速度会影响数据抄读模块运行，从而影响整个采集终端的运行效率。由此会造成用户体验差，更严重的情况是当现场运行终端数据量较大时将会导致采集终端卡死情况发生。
发明内容
本发明所要解决的技术问题是针对上述现有技术存在的不足，提供一种电力采集终端数据管理的方法，能够提高电力采集终端的资源利用率与数据检索速率。
本发明解决上述技术问题所采用的技术方案为：一种用于电力采集终端数据管理的方法，其特征在于：包括如下步骤：
1)首先，以电力采集终端的测量点为单位建立数据库表，数据库表负责存储该测量点对应所有任务的数据；
2)将每个测量点对应的所有任务的数据按照tsa存储；
3)设置一个全局变量，数据库表通过维护该全局变量，对所有测量点上所有任务的数据进行存储管理。
优选的，为使得单个测量点变更、新增和删除对其他测量点无影响，避免历史数据丢失，在步骤3)中，当有测量点数据新增时，根据测量点的tsa计算出其hash值，根据hash值去对应的hash链中查找该测量点是否已经存在，不存在则根据该hash值将新增的测量点插入到指定的hash链中；对于任务的新增同样如此。
为实现所有任务的数据按照tsa存储，在步骤2)中，对所有任务数据的深度进行合并以及对同一深度上不同任务的数据进行合并，分别得到相应的深度块。
优选的，在步骤2)中，深度合并的方法为：
2.1)当某个测量点的某个任务超出其深度限值时，根据该任务的当前存储时间推算出其存储时间最早的一条记录，并将该记录删除，以此实现单个任务的深度滚存；
2.2)当单个测量点总的深度溢出时，从数据库表检索出该测量点的存储时间最小值，并对该位置上的数据执行覆操作。
进一步地，在深度合并中，单个测量点深度合并算法为以该测量点所有任务对应的存储时间最小值为任务的起始存储时间，以任务采集间隔为时间段进行深度累加；当多个任务的存储时间出现相同值时将多个深度合并为1个深度，从而得到该测量点最大的存储深度。
进一步地，为了解决多个任务的数据在同一个深度重叠的问题数据，数据写入时的结构为任务号+数据长度+数据内容，当一个深度位置上已经有数据时，如果再有新增数据，首先判断新增数据对应任务是否和已经存储的数据任务相同，如果相同则进行数据项的逐个合并，如果不同则将新增数据以写入的结构为单位，将数据插在原数据后面。
进一步地，所有深度块上单个任务的数据是完整的，如果数据不完整则填入00占位。
为便于实现内存高效访问，还包括步骤4)此后，电力采集终端根据自身存储方式，在上述数据库表中进行全量数据检索，以双链表加入缓存。
为便于监控电能表运行状态进行监控，还包括步骤5)电力采集终端对步骤4)得到的全量数据进行数据分析，统计全网运行质量，并实现对电能表运行状态的实时监控。
为便于进一步利用数据分析，还包括步骤6)电力采集终端通过对数据库表中的各个时刻的当前数据分析，统计电网电压幅度、分析用户用电状态，并通过邻居节点的大数据进行组合计算，进行防窃电告警和线路线损精确定位。
与现有技术相比，本发明的优点在于：1)通过以测量点为单位进行数据存储，数据存储管理不再受原采集任务的约束；通过以tsa进行存储，将原复杂的深度管理与滚存机制抽象为时间点的概念；只存储数据，数据对应ID标识在任务缓存中，大大节约存储空间；数据检索速度大大提高，尤其是面对同类型数据分多个任务采集时优势更加明显；单个测量点变更、新增和删除对其他测量点无影响，避免历史数据丢失；2)内存访问效率提高，提高电力采集终端的资源利用率与数据检索速率，实现对各个时刻的数据准确高效分析；3)对全时段各个时刻的数据精确分析实现电网运行质量的统计；4)多测量点密集的数据分析实现线损精确定位、和用户用电数据的动态监控。
附图说明
图1为本发明实施例的数据管理的流程图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
参见图1，一种用于电力采集终端数据管理的方法，包括如下步骤：
1)首先，以电力采集终端的测量点为单位建立数据库表，数据库表负责存储该测量点对应所有任务的数据；
2)将每个测量点对应的所有任务的数据按照tsa(timestamping authority，时间戳服务器)存储；为实现所有任务的数据按照tsa存储，需对所有任务数据的深度进行合并以及对同一深度上不同任务的数据进行合并，合并后分别得到相应的深度块；每个测量点的每个任务都拥有自己的深度管理空间，每个测量点的所有任务拥有一个总的深度管理空间；具体的，根据不同的情况进行如下方式的合并：
2.1)当某个测量点的某个任务超出其深度限值时，根据该任务的当前存储时间推算出其存储时间最早的一条记录，并将该记录删除，以此实现单个任务的深度滚存；
2.2)当单个测量点总的深度溢出时，从数据库表检索出该测量点的存储时间最小值，并对该位置上的数据执行覆操作；
在上述合并方法中，单个测量点深度合并算法为以该测量点所有任务对应的存储时间最小值为任务的起始存储时间，以任务采集间隔为时间段进行深度累加；当多个任务的存储时间出现相同值时将多个深度合并为1个深度，从而得到该测量点最大的存储深度；
为了解决多个任务的数据在同一个深度重叠的问题数据，数据写入时的结构为任务号+数据长度+数据内容，当一个深度位置上已经有数据时，如果再有新增数据，首先判断新增数据对应任务是否和已经存储的数据任务相同，如果相同则进行数据项的逐个合并，如果不同则将新增数据以写入的结构为单位，将数据插在原数据后面；所有深度块上单个任务的数据必须是完整的，如果数据不完整则填入00占位；
3)设置一个全局变量g_etdcDeepMgr，数据库表通过维护该全局变量g_etdcDeepMgr，对所有测量点上所有任务的数据进行存储管理：
当有测量点数据新增时，根据测量点的tsa计算出其hash值(散列值)，根据hash值去对应的hash链(散列链)中查找该测量点是否已经存在，不存在则根据该hash值将测量点插入到指定的hash链中；对于任务的新增同样如此；
4)此后，电力采集终端可以根据自身存储方式，在上述数据库表中进行全量数据检索，以双链表加入缓存，实现内存高效访问；
5)电力采集终端对步骤4)得到的全量数据进行数据分析，统计全网运行质量，并实现对电能表运行状态的实时监控；从数据得到电能表运行状态的过程可与现有技术相同；
6)电力采集终端通过对数据库表中的各个时刻的当前数据分析，统计电网电压幅度、分析用户用电状态，并通过邻居节点的大数据进行组合计算，进行精确的防窃电告警和线路线损精确定位；从数据库表中的数据进行的后续分析，可与现有技术相同。
在上述方法中，步骤1～3为存储方法，步骤4～6为分析方法，共同构成管理方法。
本发明的方法，电力采集终端数据存储从原以采集任务为单位剥离出来，使用面向对象的思想。电力采集终端存储的数据为测量点的数据，就以测量点为单位进行数据存储，存储方式采用静态存储和动态存储相结合的方式进行。设计出了一种适用于电力采集终端数据高效存储与检索的方法，从而提高采集终端的资源利用率与数据检索速率，并通过对存储数据的高效分析，实时监控电网质量、用户用电状态，实现线损精确实时定位、窃电、漏点的实时告警。

Claims (10)

1.一种用于电力采集终端数据管理的方法，其特征在于：包括如下步骤：
1)首先，以电力采集终端的测量点为单位建立数据库表，数据库表负责存储该测量点对应所有任务的数据；
2)将每个测量点对应的所有任务的数据按照tsa存储；
3)设置一个全局变量，数据库表通过维护该全局变量，对所有测量点上所有任务的数据进行存储管理。
2.根据权利要求1所述的用于电力采集终端数据管理的方法，其特征在于：
在步骤3)中，当有测量点数据新增时，根据测量点的tsa计算出其hash值，根据hash值去对应的hash链中查找该测量点是否已经存在，不存在则根据该hash值将新增的测量点插入到指定的hash链中；对于任务的新增同样如此。
3.根据权利要求1或2所述的用于电力采集终端数据管理的方法，其特征在于：在步骤2)中，对所有任务数据的深度进行合并以及对同一深度上不同任务的数据进行合并，分别得到相应的深度块。
4.根据权利要求3所述的用于电力采集终端数据管理的方法，其特征在于：在步骤2)中，深度合并的方法为：
2.1)当某个测量点的某个任务超出其深度限值时，根据该任务的当前存储时间推算出其存储时间最早的一条记录，并将该记录删除，以此实现单个任务的深度滚存；
2.2)当单个测量点总的深度溢出时，从数据库表检索出该测量点的存储时间最小值，并对该位置上的数据执行覆操作。
5.根据权利要求4所述的用于电力采集终端数据管理的方法，其特征在于：在深度合并中，单个测量点深度合并算法为以该测量点所有任务对应的存储时间最小值为任务的起始存储时间，以任务采集间隔为时间段进行深度累加；当多个任务的存储时间出现相同值时将多个深度合并为1个深度，从而得到该测量点最大的存储深度。
6.根据权利要求4所述的用于电力采集终端数据管理的方法，其特征在于：数据写入时的结构为任务号+数据长度+数据内容，当一个深度位置上已经有数据时，如果再有新增数据，首先判断新增数据对应任务是否和已经存储的数据任务相同，如果相同则进行数据项的逐个合并，如果不同则将新增数据以写入的结构为单位，将数据插在原数据后面。
7.根据权利要求4所述的用于电力采集终端数据管理的方法，其特征在于：所有深度块上单个任务的数据是完整的，如果数据不完整则填入00占位。
8.根据权利要求1所述的用于电力采集终端数据管理的方法，其特征在于：还包括步骤4)此后，电力采集终端根据自身存储方式，在上述数据库表中进行全量数据检索，以双链表加入缓存。
9.根据权利要求8所述的用于电力采集终端数据管理的方法，其特征在于：还包括步骤5)电力采集终端对步骤4)得到的全量数据进行数据分析，统计全网运行质量，并实现对电能表运行状态的实时监控。
10.根据权利要求9所述的用于电力采集终端数据管理的方法，其特征在于：6)电力采集终端通过对数据库表中的各个时刻的当前数据分析，统计电网电压幅度、分析用户用电状态，并通过邻居节点的大数据进行组合计算，进行防窃电告警和线路线损精确定位。
CN202011096367.XA 2020-10-14 2020-10-14 一种用于电力采集终端数据管理的方法 Pending CN112256697A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011096367.XA CN112256697A (zh) 2020-10-14 2020-10-14 一种用于电力采集终端数据管理的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011096367.XA CN112256697A (zh) 2020-10-14 2020-10-14 一种用于电力采集终端数据管理的方法

Publications (1)

Publication Number Publication Date
CN112256697A true CN112256697A (zh) 2021-01-22

Family

ID=74243502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011096367.XA Pending CN112256697A (zh) 2020-10-14 2020-10-14 一种用于电力采集终端数据管理的方法

Country Status (1)

Country Link
CN (1) CN112256697A (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976251A (zh) * 2010-10-26 2011-02-16 国电南瑞科技股份有限公司 用电信息采集终端嵌入式数据库管理模型的实现方法
CN103020169A (zh) * 2012-11-27 2013-04-03 山东黄金矿业（莱州）有限公司 一种电力数据的有效性及唯一性处理方法
CN103872762A (zh) * 2012-12-12 2014-06-18 国家电网公司 智能用电信息采集与控制系统
CN106708440A (zh) * 2016-12-26 2017-05-24 深圳市科陆电子科技股份有限公司 电能表及其负荷曲线的数据存储方法
CN106844233A (zh) * 2016-12-07 2017-06-13 深圳市德传技术有限公司 一种基于哈希表的路由器运行数据缓存方法及系统
CN106875662A (zh) * 2017-04-07 2017-06-20 广东电网有限责任公司电力科学研究院 一种电能量数据采集方法及装置
CN107239232A (zh) * 2017-05-10 2017-10-10 华立科技股份有限公司 用于电能表的数据存储方法
CN107947361A (zh) * 2017-11-21 2018-04-20 中冀电力集团股份有限公司 一种配电室智能值班机器人
CN108009131A (zh) * 2017-11-30 2018-05-08 重庆电力高等专科学校 基于用电信息采集的用户用电数据异常分析方法
CN108462709A (zh) * 2018-03-20 2018-08-28 南京丹迪克科技开发有限公司 一种客户端采集电能质量监测终端测量数据的方法
CN109684517A (zh) * 2018-12-13 2019-04-26 广东电网有限责任公司 一种历史数据存储方法、读写方法、存储装置和设备
CN110427396A (zh) * 2019-08-02 2019-11-08 南方电网科学研究院有限责任公司 电能表数据检索方法、装置、设备及计算机可读存储介质
CN110765074A (zh) * 2019-09-20 2020-02-07 国网山东省电力公司青岛供电公司 一种采集终端用电负荷曲线数据的快速存取方法及系统
CN111061752A (zh) * 2019-12-23 2020-04-24 宁波三星医疗电气股份有限公司 数据处理方法、装置及电子设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976251A (zh) * 2010-10-26 2011-02-16 国电南瑞科技股份有限公司 用电信息采集终端嵌入式数据库管理模型的实现方法
CN103020169A (zh) * 2012-11-27 2013-04-03 山东黄金矿业（莱州）有限公司 一种电力数据的有效性及唯一性处理方法
CN103872762A (zh) * 2012-12-12 2014-06-18 国家电网公司 智能用电信息采集与控制系统
CN106844233A (zh) * 2016-12-07 2017-06-13 深圳市德传技术有限公司 一种基于哈希表的路由器运行数据缓存方法及系统
CN106708440A (zh) * 2016-12-26 2017-05-24 深圳市科陆电子科技股份有限公司 电能表及其负荷曲线的数据存储方法
CN106875662A (zh) * 2017-04-07 2017-06-20 广东电网有限责任公司电力科学研究院 一种电能量数据采集方法及装置
CN107239232A (zh) * 2017-05-10 2017-10-10 华立科技股份有限公司 用于电能表的数据存储方法
CN107947361A (zh) * 2017-11-21 2018-04-20 中冀电力集团股份有限公司 一种配电室智能值班机器人
CN108009131A (zh) * 2017-11-30 2018-05-08 重庆电力高等专科学校 基于用电信息采集的用户用电数据异常分析方法
CN108462709A (zh) * 2018-03-20 2018-08-28 南京丹迪克科技开发有限公司 一种客户端采集电能质量监测终端测量数据的方法
CN109684517A (zh) * 2018-12-13 2019-04-26 广东电网有限责任公司 一种历史数据存储方法、读写方法、存储装置和设备
CN110427396A (zh) * 2019-08-02 2019-11-08 南方电网科学研究院有限责任公司 电能表数据检索方法、装置、设备及计算机可读存储介质
CN110765074A (zh) * 2019-09-20 2020-02-07 国网山东省电力公司青岛供电公司 一种采集终端用电负荷曲线数据的快速存取方法及系统
CN111061752A (zh) * 2019-12-23 2020-04-24 宁波三星医疗电气股份有限公司 数据处理方法、装置及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DLWSD_: "sql 合并两列数据为一列，中间用符号隔开", 《HTTPS://BLOG.CSDN.NET/DLWSD_/ARTICLE/DETAILS/87367194》 *
LUFFY5459: "linux下多个文件相同行合并", 《HTTPS://BLOG.CSDN.NET/FEINIFI/ARTICLE/DETAILS/78475929?》 *
LWY_520: "关于oracle重复数据合并以及.前面加0问题的解决", 《HTTPS://BLOG.CSDN.NET/WY_520/ARTICLE/DETAILS/78127997?》 *

Similar Documents

Publication Publication Date Title
CN109582667A (zh) 一种基于电力调控大数据的多数据库混合存储方法及系统
CN107730394A (zh) 基于大数据的全景电网多元异构数据融合方法
CN112765143B (zh) 一种基于边缘计算技术的低压物联网配网数据处理方法
CN107657019B (zh) 电网系统的网络拓扑结构获取方法和系统
CN106815409B (zh) 电网拓扑关系的分析方法
CN106358212B (zh) 室内分布系统的检测方法和装置
CN109494757B (zh) 一种电压无功运行预警方法和系统
CN102158550B (zh) 一种基于iec61850电能质量暂态数据传输方法
CN112286962B (zh) 一种用电信息采集终端抄表成功率统计方法与系统
CN111523004B (zh) 一种边缘计算网关数据的存储方法及系统
CN103198157B (zh) 一种大地电场数据的压缩存储处理方法
CN104268665A (zh) 一种管理系统用户行为分析方法
CN112632127A (zh) 设备运行实时数据采集及时序的数据处理方法
CN110209887A (zh) 一种多类型数据记录的动态存储及检索方法和系统
CN106649765A (zh) 基于大数据技术的智能电网全景数据分析方法
CN113947498A (zh) 一种融合终端数据中心的数据存储与检索方法
CN107862459B (zh) 一种基于大数据的计量设备状态评估方法及系统
CN112256697A (zh) 一种用于电力采集终端数据管理的方法
CN112886574A (zh) 一种基于图形数据库的电网运行管控方法及系统
CN110765074B (zh) 一种采集终端用电负荷曲线数据的快速存取方法及系统
Song et al. A new method for processing and application of wide area measurement big data in a power system
CN110032586A (zh) 储能电芯数据的存储方法、查询方法及采集存储系统
CN114257438B (zh) 基于蜜罐的电力监控系统管理方法、装置和计算机设备
CN104104292B (zh) 一种发电机励磁系统状态广域实时获取系统
CN112116802A (zh) 一种用于电力采集系统实时数据采集与上报的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210122

RJ01 Rejection of invention patent application after publication