CN105955983A - 一种用于超大规模电网调控系统的历史采样数据缓存方法 - Google Patents

一种用于超大规模电网调控系统的历史采样数据缓存方法 Download PDF

Info

Publication number
CN105955983A
CN105955983A CN201610240710.0A CN201610240710A CN105955983A CN 105955983 A CN105955983 A CN 105955983A CN 201610240710 A CN201610240710 A CN 201610240710A CN 105955983 A CN105955983 A CN 105955983A
Authority
CN
China
Prior art keywords
history
data
sampled
library
buffer memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610240710.0A
Other languages
English (en)
Inventor
靳晶
吴庆曦
王瑾
魏娜
彭晖
孟勇亮
孙世明
陈宁
徐春雷
余璟
吴海伟
胡浔惠
佘勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Nari Technology Co Ltd
NARI Nanjing Control System Co Ltd
Nanjing NARI Group Corp
Original Assignee
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Nari Technology Co Ltd
NARI Nanjing Control System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Jiangsu Electric Power Co Ltd, Nari Technology Co Ltd, NARI Nanjing Control System Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201610240710.0A priority Critical patent/CN105955983A/zh
Publication of CN105955983A publication Critical patent/CN105955983A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24552Database cache management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明公开了一种用于超大规模电网调控系统的历史采样数据缓存方法,在服务器内存缓存一定时间范围的历史采样数据,由于电网调度控制系统一般查询10天以内的历史数据,因此,直接在缓存中访问10天以内的历史采样数据,可避免绝大多数对历史库的直接访问,一方面通过内存直接访问可大幅提升访问效率,另一方面也降低了历史库的负载,减少历史数据服务对历史库的依赖,提供多种形式的访问接口,适合各种应用的需要,具有良好的应用前景。

Description

一种用于超大规模电网调控系统的历史采样数据缓存方法
技术领域
本发明涉及一种用于超大规模电网调控系统的历史采样数据缓存方法,属于实时数据库技术领域。
背景技术
在电网调度控制系统中,需要从历史库中查询自动化设备的电压值、频率值、有功值、无功值、电流值等量测数据,再将这些历史采样数据以曲线或表格的形式展现出来,用于监测电网运行状况。
随着电网快速发展和规模不断扩大,电网调度控制系统需要记录更加全面的电力设备状态,导致历史采样数据存储规模持续增长,省级以上电网调度控制系统遥测遥信的采样规模可达30万点以上。但是,历史库作为存储历史采样数据的关系型商用数据库,其访问效率已经成为制约电网调度控制系统快速发展的瓶颈,为适应电网数据爆发式增长的需求,迫切需要提升历史采样数据的访问性能、降低历史库负载,是当前急需解决的问题。
发明内容
本发明目的是为了克服现有的电网调度控制系统中历史库,访问效率已经成为制约电网调度控制系统快速发展瓶颈的问题。本发明的用于超大规模电网调控系统的历史采样数据缓存方法,在服务器内存缓存一定时间范围的历史采样数据,大幅提升历史采样数据的访问性能,减少对历史库的访问,降低历史库负载,提供多种形式的访问接口,适合各种应用的需要,具有良好的应用前景。
为了达到上述目的,本发明所采用的技术方案是:
一种用于超大规模电网调控系统的历史采样数据缓存方法,其特征在于:包括以下步骤,
步骤(1),建立历史缓存存储模块,在服务器内存中开辟内存空间,存储不同采样周期的历史数据,缓存时间可自定义;
步骤(2),建立历史缓存访问模块,为历史缓存存储模块提供历史缓存访问接口,包括查询接口和修改接口;
步骤(3),构建适用于超大规模电网调控系统的历史采样数据缓存系统,电网调度控制系统的应用服务器和工作站通过通信网络调用历史缓存访问模块访问历史缓存存储模块;实时库采样模块按照各采样点的采样周期从实时数据库中采集数据,调用历史缓存访问模块的修改接口写入到历史缓存存储模块;历史缓存访问模块可通过历史库访问模块访问历史库;
步骤(4),若需要查询历史采样数据时,执行步骤(5);若历史采样数据修改接口时,执行步骤(6);
步骤(5),判断历史缓存存储模块中是否命中该历史采样数据,若命中,则从历史缓存存储模块中读取数据并返回;若未命中,则通过历史缓存访问模块、历史库访问模块访问历史库中读取数据并返回;
步骤(6),判断历史缓存存储模块中是否命中该历史采样数据,若命中,则先修改历史缓存存储模块中的数据,再修改历史库数据并返回;若未命中,则通过历史缓存访问模块、历史库访问模块直接修改历史库数据并返回。
前述的用于超大规模电网调控系统的历史采样数据缓存方法,其特征在于:步骤(1)存储不同采样周期的历史数据,包括1秒钟、5秒钟、1分钟和5分钟,以适用于不同频率的采样数据进行独立存储。
前述的用于超大规模电网调控系统的历史采样数据缓存方法,其特征在于:步骤(1)缓存时间可自定义,缺省为10天。
前述的用于超大规模电网调控系统的历史采样数据缓存方法,其特征在于:所述历史缓存存储模块,通过采样定义模板定义和描述历史数据缓存存储的采样数据,所述采样定义模板包括从首字节到尾字节依次排列的采样点号、采样周期、历史库表号、历史库表列号、缓存编号,
所述采样点号指采样点的唯一标识;所述采样周期指采样数据两次采样之间的时间间隔;所述历史库表号、历史库表列号定义了该采样点数据存储在历史库的位置,用于将历史缓存存储模块中的采样点与历史库中的采样点建立映射关系;所述缓存编号指该采样点数据存储在历史缓存存储模块的位置。
前述的用于超大规模电网调控系统的历史采样数据缓存方法,其特征在于:所述查询接口的入参是采样点号、查询开始时间、查询结束时间,出参是浮点型数据值与整型状态值,所述查询接口包括多种重载形式,包括查询单个采样点某一时刻的采样数据;查询单个采样点指定时间跨度的采样数据;查询多个采样点某一时刻的采样数据;查询多个采样点指定时间跨度的采样数据。
前述的用于超大规模电网调控系统的历史采样数据缓存方法,其特征在于:所述修改接口的入参是采样点号、修改时刻,需要修改的浮点型数据值、需要修改的整型状态值,所述修改接口包括多种重载形式,包括修改单个采样点某一时刻的采样数据;修改单个采样点指定时间跨度的采样数据;修改多个采样点某一时刻的采样数据;修改多个采样点指定时间跨度的采样数据。
本发明的有益效果是:本发明的用于超大规模电网调控系统的历史采样数据缓存方法,在服务器内存缓存一定时间范围的历史采样数据,由于电网调度控制系统一般查询10天以内的历史数据,因此,直接在缓存中访问10天以内的历史采样数据,可避免绝大多数对历史库的直接访问,一方面通过内存直接访问可大幅提升访问效率,另一方面也降低了历史库的负载,减少历史数据服务对历史库的依赖,提供多种形式的访问接口,适合各种应用的需要,具有良好的应用前景。
附图说明
图1是本发明的用于超大规模电网调控系统的历史采样数据缓存方法的流程图。
图2是本发明的适用于超大规模电网调控系统的历史采样数据缓存系统的系统框图。
图3是本发明的需要查询历史采样数据的流程图。
图4是本发明的历史采样数据修改接口的流程图。
具体实施方式
下面将结合说明书附图,对本发明做进一步说明。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
如图1所示,本发明的用于超大规模电网调控系统的历史采样数据缓存方法,包括以下步骤,
步骤(1),建立历史缓存存储模块,在服务器内存中开辟内存空间,存储不同采样周期的历史数据,缓存时间可自定义,存储不同采样周期的历史数据,包括1秒钟、5秒钟、1分钟和5分钟,以适用于不同频率的采样数据进行独立存储,由于电网调度控制系统一般查询10天以内的历史数据,因此,缓存时间默认定义为10天;
所述历史缓存存储模块,通过采样定义模板定义和描述历史数据缓存存储的采样数据,所述采样定义模板包括从首字节到尾字节依次排列的采样点号、采样周期、历史库表号、历史库表列号、缓存编号,
所述采样点号指采样点的唯一标识;所述采样周期指采样数据两次采样之间的时间间隔;所述历史库表号、历史库表列号定义了该采样点数据存储在历史库的位置,用于将历史缓存存储模块中的采样点与历史库中的采样点建立映射关系;所述缓存编号指该采样点数据存储在历史缓存存储模块的位置,下表1为采样定义模板的一实施例,
表1为采样定义模板的一实施例
采样点号 采样周期 历史库表号 历史库表列号 缓存编号
117093590328410113 5分钟 yc_his_001 cur_021 data_021
由于历史库表号和历史库表列号标识出采样点[117093590328410113]的数据存储在历史库yc_his_001表的cur_021列,而缓存编号指定了该采样点在历史采样数据缓存区中存储在data_021区域,因此,通过该定义模板可将历史数据缓存中的采样点与历史库中的采样点映射起来,便于在历史采样数据缓存或历史库中访问该采样点数据;
步骤(2),建立历史缓存访问模块,为历史缓存存储模块提供历史缓存访问接口,包括查询接口和修改接口,
所述查询接口的入参是采样点号、查询开始时间、查询结束时间,出参是浮点型数据值与整型状态值,所述查询接口包括多种重载形式,包括查询单个采样点某一时刻的采样数据;查询单个采样点指定时间跨度的采样数据;查询多个采样点某一时刻的采样数据;查询多个采样点指定时间跨度的采样数据;
所述修改接口的入参是采样点号、修改时刻,需要修改的浮点型数据值、需要修改的整型状态值,所述修改接口包括多种重载形式,包括修改单个采样点某一时刻的采样数据;修改单个采样点指定时间跨度的采样数据;修改多个采样点某一时刻的采样数据;修改多个采样点指定时间跨度的采样数据;
步骤(3),构建适用于超大规模电网调控系统的历史采样数据缓存系统,如图2所示,电网调度控制系统的应用服务器和工作站通过通信网络调用历史缓存访问模块访问历史缓存存储模块;实时库采样模块按照各采样点的采样周期从实时数据库中采集数据,调用历史缓存访问模块的修改接口写入到历史缓存存储模块;历史缓存访问模块可通过历史库访问模块访问历史库;
步骤(4),若需要查询历史采样数据时,执行步骤(5),如图3所示;若历史采样数据修改接口时,执行步骤(6),如图4所示;
步骤(5),判断历史缓存存储模块中是否命中该历史采样数据,若命中,则从历史缓存存储模块中读取数据并返回;若未命中,则通过历史缓存访问模块、历史库访问模块访问历史库中读取数据并返回;
步骤(6),判断历史缓存存储模块中是否命中该历史采样数据,若命中,则先修改历史缓存存储模块中的数据,再修改历史库数据并返回;若未命中,则通过历史缓存访问模块、历史库访问模块直接修改历史库数据并返回。
综上所述,本发明的用于超大规模电网调控系统的历史采样数据缓存方法,在服务器内存缓存一定时间范围的历史采样数据,由于电网调度控制系统一般查询10天以内的历史数据,因此,直接在缓存中访问10天以内的历史采样数据,可避免绝大多数对历史库的直接访问,一方面通过内存直接访问可大幅提升访问效率,另一方面也降低了历史库的负载,减少历史数据服务对历史库的依赖,提供多种形式的访问接口,适合各种应用的需要,具有良好的应用前景。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种用于超大规模电网调控系统的历史采样数据缓存方法,其特征在于:包括以下步骤,
步骤(1),建立历史缓存存储模块,在服务器内存中开辟内存空间,存储不同采样周期的历史数据,缓存时间可自定义;
步骤(2),建立历史缓存访问模块,为历史缓存存储模块提供历史缓存访问接口,包括查询接口和修改接口;
步骤(3),构建适用于超大规模电网调控系统的历史采样数据缓存系统,电网调度控制系统的应用服务器和工作站通过通信网络调用历史缓存访问模块访问历史缓存存储模块;实时库采样模块按照各采样点的采样周期从实时数据库中采集数据,调用历史缓存访问模块的修改接口写入到历史缓存存储模块;历史缓存访问模块可通过历史库访问模块访问历史库;
步骤(4),若需要查询历史采样数据时,执行步骤(5);若历史采样数据修改接口时,执行步骤(6);
步骤(5),判断历史缓存存储模块中是否命中该历史采样数据,若命中,则从历史缓存存储模块中读取数据并返回;若未命中,则通过历史缓存访问模块、历史库访问模块访问历史库中读取数据并返回;
步骤(6),判断历史缓存存储模块中是否命中该历史采样数据,若命中,则先修改历史缓存存储模块中的数据,再修改历史库数据并返回;若未命中,则通过历史缓存访问模块、历史库访问模块直接修改历史库数据并返回。
2.根据权利要求1所述的用于超大规模电网调控系统的历史采样数据缓存方法,其特征在于:步骤(1)存储不同采样周期的历史数据,包括1秒钟、5秒钟、1分钟和5分钟,以适用于不同频率的采样数据进行独立存储。
3.根据权利要求1所述的用于超大规模电网调控系统的历史采样数据缓存方法,其特征在于:步骤(1)缓存时间可自定义,缺省为10天。
4.根据权利要求1所述的用于超大规模电网调控系统的历史采样数据缓存方法,其特征在于:所述历史缓存存储模块,通过采样定义模板定义和描述历史数据缓存存储的采样数据,所述采样定义模板包括从首字节到尾字节依次排列的采样点号、采样周期、历史库表号、历史库表列号、缓存编号,
所述采样点号指采样点的唯一标识;所述采样周期指采样数据两次采样之间的时间间隔;所述历史库表号、历史库表列号定义了该采样点数据存储在历史库的位置,用于将历史缓存存储模块中的采样点与历史库中的采样点建立映射关系;所述缓存编号指该采样点数据存储在历史缓存存储模块的位置。
5.根据权利要求1所述的用于超大规模电网调控系统的历史采样数据缓存方法,其特征在于:所述查询接口的入参是采样点号、查询开始时间、查询结束时间,出参是浮点型数据值与整型状态值,所述查询接口包括多种重载形式,包括查询单个采样点某一时刻的采样数据;查询单个采样点指定时间跨度的采样数据;查询多个采样点某一时刻的采样数据;查询多个采样点指定时间跨度的采样数据。
6.根据权利要求1所述的用于超大规模电网调控系统的历史采样数据缓存方法,其特征在于:所述修改接口的入参是采样点号、修改时刻,需要修改的浮点型数据值、需要修改的整型状态值,所述修改接口包括多种重载形式,包括修改单个采样点某一时刻的采样数据;修改单个采样点指定时间跨度的采样数据;修改多个采样点某一时刻的采样数据;修改多个采样点指定时间跨度的采样数据。
CN201610240710.0A 2016-04-18 2016-04-18 一种用于超大规模电网调控系统的历史采样数据缓存方法 Pending CN105955983A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610240710.0A CN105955983A (zh) 2016-04-18 2016-04-18 一种用于超大规模电网调控系统的历史采样数据缓存方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610240710.0A CN105955983A (zh) 2016-04-18 2016-04-18 一种用于超大规模电网调控系统的历史采样数据缓存方法

Publications (1)

Publication Number Publication Date
CN105955983A true CN105955983A (zh) 2016-09-21

Family

ID=56918098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610240710.0A Pending CN105955983A (zh) 2016-04-18 2016-04-18 一种用于超大规模电网调控系统的历史采样数据缓存方法

Country Status (1)

Country Link
CN (1) CN105955983A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951490A (zh) * 2017-03-14 2017-07-14 清华大学 一种实时更正数据的存储与缓存读取方法
CN108073706A (zh) * 2017-12-20 2018-05-25 北京四方继保自动化股份有限公司 一种仿真系统历史库纵向数据横向化展示的方法
CN110929102A (zh) * 2019-11-13 2020-03-27 讯飞幻境(北京)科技有限公司 一种数据处理方法、装置及电子设备
CN112231531A (zh) * 2020-09-15 2021-01-15 山东浪潮通软信息科技有限公司 一种基于opentsdb的数据展示方法、设备及介质
CN112925845A (zh) * 2020-12-25 2021-06-08 深圳供电局有限公司 基于分布式列式存储的云数据中心系统历史数据管理方法
CN116166726A (zh) * 2022-12-06 2023-05-26 中核武汉核电运行技术股份有限公司 一种基于历史数据库的数据服务方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040186861A1 (en) * 2003-01-17 2004-09-23 Phatak Shirish Hemant Method and system for use of storage caching with a distributed file system
CN102999584A (zh) * 2012-11-14 2013-03-27 厦门亿力吉奥信息科技有限公司 电力gis跨平台空间数据服务方法及系统
CN103023879A (zh) * 2012-11-26 2013-04-03 国电南瑞科技股份有限公司 一种基于高速缓存的数据中心间广域数据同步方法
CN104850509A (zh) * 2015-04-27 2015-08-19 交通银行股份有限公司 一种银行业务数据内存缓存的操作方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040186861A1 (en) * 2003-01-17 2004-09-23 Phatak Shirish Hemant Method and system for use of storage caching with a distributed file system
CN102999584A (zh) * 2012-11-14 2013-03-27 厦门亿力吉奥信息科技有限公司 电力gis跨平台空间数据服务方法及系统
CN103023879A (zh) * 2012-11-26 2013-04-03 国电南瑞科技股份有限公司 一种基于高速缓存的数据中心间广域数据同步方法
CN104850509A (zh) * 2015-04-27 2015-08-19 交通银行股份有限公司 一种银行业务数据内存缓存的操作方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951490A (zh) * 2017-03-14 2017-07-14 清华大学 一种实时更正数据的存储与缓存读取方法
CN108073706A (zh) * 2017-12-20 2018-05-25 北京四方继保自动化股份有限公司 一种仿真系统历史库纵向数据横向化展示的方法
CN110929102A (zh) * 2019-11-13 2020-03-27 讯飞幻境(北京)科技有限公司 一种数据处理方法、装置及电子设备
CN110929102B (zh) * 2019-11-13 2023-01-17 讯飞幻境(北京)科技有限公司 一种数据处理方法、装置及电子设备
CN112231531A (zh) * 2020-09-15 2021-01-15 山东浪潮通软信息科技有限公司 一种基于opentsdb的数据展示方法、设备及介质
CN112925845A (zh) * 2020-12-25 2021-06-08 深圳供电局有限公司 基于分布式列式存储的云数据中心系统历史数据管理方法
CN116166726A (zh) * 2022-12-06 2023-05-26 中核武汉核电运行技术股份有限公司 一种基于历史数据库的数据服务方法

Similar Documents

Publication Publication Date Title
CN105955983A (zh) 一种用于超大规模电网调控系统的历史采样数据缓存方法
CN100484017C (zh) 网元管理系统中海量性能数据的统计方法
CN103412916B (zh) 一种监控系统的多维度数据存储、检索方法及装置
CN102608962B (zh) 一种自下而上的用电信息采集设备自动维护方法
CN102163195A (zh) 一种基于分布式、异构数据库统一视图的查询优化方法
CN105989076A (zh) 一种数据统计方法以及装置
CN107665246B (zh) 基于图数据库的动态数据迁移方法及图数据库集群
US20120163394A1 (en) Route Switching Device and Data Cashing Method Thereof
CN103491075A (zh) 动态调整dns递归服务器缓存资源记录的方法和系统
CN106909641A (zh) 一种实时数据存储器
CN103560959B (zh) 一种选择静态路由的方法及装置
CN102901899A (zh) 配电自动化系统中电能质量监测与分析系统
CN103530335B (zh) 电力计量采集系统的入库操作方法及装置
CN202455368U (zh) 一种用于运载火箭的地面实时网络系统
CN107332843A (zh) iOS网络请求拦截转发缓存方法及系统
CN106874465A (zh) 一种基于数据版本的高效管理缓存的方法
CN103036229B (zh) 基于配电自动化平台的线损分析方法
CN112615368A (zh) 一种基于分布式感知的台区拓扑生成方法及感知终端装置
CN107517266A (zh) 一种基于分布式缓存的即时通讯方法
CN107070807A (zh) 一种分布式环境下接口调用的全局流量控制方法和系统
CN112118283B (zh) 一种基于多级缓存的数据处理方法及系统
CN112486948B (zh) 一种实时数据处理方法
CN113626478A (zh) 一种基于多级缓存实现气象数据服务调用方法
CN115913323B (zh) 一种基于时空网格的低轨接入选择方法、存储介质
CN111917670A (zh) 一种交换机路由记录、查找、删除方法及交换机

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20170210

Address after: High road high tech Zone of Nanjing City, Jiangsu Province, No. 20 210061

Applicant after: NARI Technology Development Co., Ltd.

Applicant after: SGCC NARI Nanjing Control System Co., Ltd.

Applicant after: State Grid Corporation of China

Applicant after: STATE GRID JIANGSU ELECTRIC POWER COMPANY

Applicant after: Nanjing Nari Co., Ltd.

Address before: High road high tech Zone of Nanjing City, Jiangsu Province, No. 20 210061

Applicant before: NARI Technology Development Co., Ltd.

Applicant before: SGCC NARI Nanjing Control System Co., Ltd.

Applicant before: State Grid Corporation of China

Applicant before: STATE GRID JIANGSU ELECTRIC POWER COMPANY

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20160921

RJ01 Rejection of invention patent application after publication