CN107729339B - 应用实时历史数据库实现图数模一体化管理的方法 - Google Patents

应用实时历史数据库实现图数模一体化管理的方法 Download PDF

Info

Publication number
CN107729339B
CN107729339B CN201610664762.0A CN201610664762A CN107729339B CN 107729339 B CN107729339 B CN 107729339B CN 201610664762 A CN201610664762 A CN 201610664762A CN 107729339 B CN107729339 B CN 107729339B
Authority
CN
China
Prior art keywords
data
real
service
monitoring
historical database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610664762.0A
Other languages
English (en)
Other versions
CN107729339A (zh
Inventor
钱苏晋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing E Techstar Co ltd
Original Assignee
Beijing E Techstar Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing E Techstar Co ltd filed Critical Beijing E Techstar Co ltd
Priority to CN201610664762.0A priority Critical patent/CN107729339B/zh
Publication of CN107729339A publication Critical patent/CN107729339A/zh
Application granted granted Critical
Publication of CN107729339B publication Critical patent/CN107729339B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2219—Large Object storage; Management thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种应用实时历史数据库实现图数模一体化管理的方法，涉及数据资源处理领域。所述方法包括：在实时历史数据库的基础上，构建管理被监测点监测数据的TrendDB服务；在实时历史数据库的基础上，构建管理目标监测画面大尺寸二进制数据的BlockDB服务；在大尺寸二进制数据的基础上，构建管理被监管对象模型数据的RDFDB服务。本发明提高了访问效率、减少建设成本、降低现有数据可系统的结构复杂度。

Description

应用实时历史数据库实现图数模一体化管理的方法
技术领域
本发明涉及数据资源处理领域，尤其涉及一种应用实时历史数据库实现图数模一体化管理的方法。
背景技术
目前，很多领域的综合监控系统采用实时历史数据库来存储监测数据，实时历史数据库主要对监测数值进行管理，存储数据类型都以整型、浮点型、布尔型、短文本值等基本数据类型为主。但是，实时历史数据库无法对监控系统中的监测模型和监测画面进行管理，且现有技术一般采取用关系数据库或文件形式存储，此种方式有如下缺点：1.系统建设的复杂度和成本高；2.系统整体性能低。
发明内容
本发明的目的在于提供一种应用实时历史数据库实现图数模一体化管理的方法，从而解决现有技术中存在的前述问题。
为了实现上述目的，本发明所述应用实时历史数据库实现图数模一体化管理的方法，所述方法包括：在实时历史数据库的基础上，构建管理被监测点监测数据的TrendDB服务；在实时历史数据库的基础上，构建管理目标监测画面大尺寸二进制数据的BlockDB服务；在大尺寸二进制数据的基础上，构建管理被监管对象模型数据的RDFDB服务；
在实时历史数据库中的测点配置库中设置需要管理的被监测点和/或目标监测画面和/或被监管对象的管理服务，实时历史数据库中的实时数据库根据测点配置库中存储的管理服务，选择对应的服务进行管理，并将管理后的数据存储到内存中；
其中，所述大尺寸二进制数据由多个包含监测数据的关系列表组成；所述模型数据描述了被监测点与设备设施之间关系、设备设施之间的连接关系以及设备设施的必要属性参数。
优选地，TrendDB服务管理被监测点监测数据，具体按照下述实现：获取进行TrendDB服务管理且与实时历史数据库连接的被监测客户端的参数；实时采集被监测客户端上的运行数据并作为被监测点监测数据存储到内存中；采集到的被监测点监测数据是定长度的，在内存中直接预留与被监测点监测数据相对应的长度。
优选地，BlockDB服务管理监测的大尺寸二进制数据，具体按照下述实现：获取目标监测画面中所有需监测点的数据，采用XML规则对获得的数据进行解析和验证，同时，根据XML规则中的标签进行分层处理得到表格和内嵌子表格形式的大尺寸二进制数据，并将所述大尺寸二进制数据存储到内存中，表格的属性字段由若干相并列的标签构成。
更优选地，表格和内嵌子表格形式的大尺寸二进制数据，具体为：一个大尺寸二进制数据包括多个建立了索引关系的数据表，每个数据表内嵌子数据表且子数据表表格嵌套深度无限制，每个数据表包括若干条结构记录，每条结构记录由关键字和数据构成，每个结构记录中的内容由标签、上文数据表、时间戳和质量码构成；未嵌套的数据表存储一个被监测点的监测数据。
更优选地，存储大尺寸二进制数据所占用的内存是目标大尺寸二进制数据长度的整数倍。
优选地，RDFDB服务管理被监管对象模型数据，具体按照下述实现：在大尺寸二进制数据的基础上，利用了XML Schema和CIM模型规范，对常规表格和子表格进行处理，得到并将设备设施与监测点之间关系、设备设施之间连接关系和设备设施的属性参数作为模型数据存储到内存中。
更优选地，将被监管对象模型数据存储到内存，同时将模型数据中的设备设施与监测点之间关系、设备设施之间连接关系和设备设施的属性参数的索引抽取到内存中。
优选地，TrendDB服务、BlockDB服务和RDFDB服务三类服务获得的三类数据均最终被处理成存储在内存中的结构化且被索引的高效数据，可供外部快速高效访问。
优选地，TrendDB服务、BlockDB服务和RDFDB服务互相独立。
本发明的有益效果是：
1.通过BlockDB存储大尺寸二进制数据的能力，实现对监控画面的管理，包括对监控画面的历史版本，避免了采用文件服务器带来的访问效率低的缺点，也避免了采用关系数据库带来访问效率低和建设成本高的缺点；
2.通过RDFDB管理CIM类模型数据，大大加快了现有数据库系统对模型数据的处理效率，同时，还可以避免采用关系数据库管理模型数据带来的关系数据库采购成本；
3.采用TrendDB/BlockDB/RDFDB组合，可以用一个产品实现对监控数据、监控画面和监控模型的一体化管理，避免了现有技术中不仅需要常规实时库，还需要文件服务器、关系数据库的局面，降低了现有数据库系统的结构的复杂度和建设成本，同时还提升了访问性能。
附图说明
图1是实时历史库数据处理流程示意图；
图2是实时历史数据库架构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
1、本申请所述方法是在实时历史数据库的内存管理、索引管理和标签管理基础架构之上，构建三类服务，分别是管理简单监测数据的TrendDB、大尺寸二进制数据的BlockDB和面向模型数据的RDFDB。三类服务TrendDB、BlockDB、PDFDB可以单独或组合形成多个服务实例，形成实时历史库采用多类服务多实例工作模式：
1.1使用TrendDB管理任意一个被监测点的监测数据，所述数据单项包括整型、布尔型、单精度和限长度短字符串。每条监测数据由标签、数据、时间戳和质量码构成。
1.2使用BlockDB管理被监测的任意一个画面的大尺寸二进制数据。
BlockDB管理的数据包括多个建立了索引关系数据表，每个数据表内嵌子数据表且表格嵌套深度无限制，每个数据表包括若干条结构记录，每条结构记录由关键字和数据构成，每个结构记录中的内容由由标签、上文数据表、时间戳和质量码构成；未嵌套的数据表存储一个被监测点的监测数据。数据表可以进一步包含数据表，子数据表还进一步包含了数据表。
1.3使用RDFDB管理被监管对象的监测模型。监测模型描述了被监测点与设备设施之间关系、设备设施之间的连接关系以及设备设施的必要属性参数。通过监测模型，可以了解整个被监管对象的整体关系，并可以依据这些关系进行例如拓扑搜索、图形计算、系统仿真等业务应用。电力等行业中常用的CIM模型就是一类典型的监测模型，可以通过RDFDB进行管理，由于CIM类模型可以由带有嵌入关系的数据表来表示，因此就基于BlockDB的原理专门扩展出RDFDB来实现对CIM类模型的管理。通过扩展专门的API，实现基于BLOCKDB数据表结构的对CIM类模型所管理对象、对象之间连接关系、对象属性等访问，就形成了RDFDB。
2、参照图1，实时历史库的数据处理流程，“测点配置库”和“实时数据”部分进行了流程细分，将监测数据、大尺寸二进制数据、监测模型分开处理。
在“测点配置库”中，将监测数据测点、大尺寸二进制数据测点、模型数据测点三大类测点配置信息专门区分开。根据配置信息，“实时数据”在处理所管理的测点数据时会采取不同的方法。
2.1被监测点监测数据是定长度的，直接分配相应长度内存并将所采集监测数据复制到内存块中。
2.2大尺寸二进制数据是可变长度的，因此需要按照实际数据长度，兼顾未来数据可能变长，采用系统设置数据块的整数倍形式(即至少增加一个系统数据块长度)分配内存。内存中对基于二进制方式的模型数据内容建立了索引，但是并不存储在磁盘中，仅保存在内存中。
在向已分配内存中复制实际数据的过程中，针对大尺寸二进制数据类型，专门采用XML规则对数据进行解析和验证，按照XML中“标签”对(如<field></field>)的形式，对数据机型解析和验证的同时，对标签对进行分层处理为表格和内嵌子表格的形式，表格由若干相并列的标签构成属性字段。这样同时形成对大尺寸二进制数据的内容索引，可供对外API进行快速定位、读取和修改。
2.4模型数据是可变长度的，因此需要按照实际数据长度，兼顾未来数据可能变长，采用系统设置数据块的整数倍形式(即至少增加一个系统数据块长度)分配内存。
模型数据可以被看做是一种特殊的大尺寸二进制数据，但是在二进制数据的基础上，利用了XML Schema和CIM模型规范，对常规表格、子表格进行了进一步的处理，这样就将设备设施与监测点之间关系、设备设施之间连接关系、设备设施的属性参数等能够表达出来。这些关系在对数据处理的同时就抽取到内存中，即在内存中建立，新建或者从存储读取到内存中时，根据内容在内存中构建索引，并只存在内存中；并通过API能够被外界快速访问到。
经过上述处理，三类数据均被最终处理成结构化、内存中、被索引的高效数据，可供外部快速高效访问。
“计算”、“报警”、“同步”、“缓存与压缩”环节基本将内存中结构作为基本数据类型和字符串来对待处理，因此这些环节不需要对三类数据做额外的区分。
3、参照图2为实时历史数据库架构，通过对被监测点监测数据和(无限)目标监测画面大尺寸二进制数据的管理划分，形成TrendDB和BlockDB，形成对简单数据和大尺寸二进制数据的管理。在大尺寸二进制数据的机制之上，针对CIM类模型数据专门形成管理监测模型的RDFDB。这三类服务共享系统内核服务，也就是实时历史数据库基于内存管理的基础服务，形成可组合的、基于高效实时数据库机制的图数模一体化管理的能力。借助所提供应用开发接口API，可形成丰富的各类上层应用。
4、下面结合实施例对本发明作进一步描述：
本发明提供了一种基于实时历史数据库机制的图数模一体化管理方法，该类方法可用于构建典型的电力等行业应用，如电网调度系统或调度综合数据平台。详解说明：
4.1在电网调度系统或调度综合数据平台中，通过RDFDB服务管理电网的CIM模型。具体途径可以将电网模型导入到RDFDB中，或者通过API逐步将电网模型写入RDFDB中，或者通过实时历史数据库系统提供的建模工具在RDFDB中构建电网模型。利用实时历史库不同时间断面可管理标签不同值的基础机制，可以实现对CIM模型的版本管理；
4.2通过BLOCKDB管理电网的各类监控画面。具体途径可以用SVG格式将画面导入到BLOCKDB中，也可以通过系统所提供的绘图工具绘制(在绘制的工程中也能同步构建和维护电网模型)。利用实时历史库不同时间断面可管理标签不同值的基础机制，可以实现对监控画面的版本管理；
4.3.电网中各类监测值，如母线电压、线路电流电压有功无功、开关状态等，通过接口在TRENDDB中管理。利用实时历史库不同时间断面可管理标签不同值的基础机制，可以实现对历史数据和最新数据的一致性管理。
4.通过本发明所述实时历史库系统，就可以实现对电网监测值、电网监控画面和电网模型的统一管理，且不需要采用文件管理监控画面、采用关系数据库管理电网模型。一方面可以利用实时历史库高效高速的特征，另外也降低了系统的复杂度降低了建设成本。
通过采用本发明公开的上述技术方案，得到了如下有益的效果：
1.通过BlockDB存储大尺寸二进制数据的能力，实现对监控画面的管理，包括对监控画面的历史版本，避免了采用文件服务器带来的访问效率低的缺点，也避免了采用关系数据库带来访问效率低和建设成本高的缺点；
2.通过RDFDB管理CIM类模型数据，大大加快了现有数据库系统对模型数据的处理效率，同时，还可以避免采用关系数据库管理模型数据带来的关系数据库采购成本；
3.采用TrendDB/BlockDB/RDFDB组合，可以用一个产品实现对监控数据、监控画面和监控模型的一体化管理，避免了现有技术中不仅需要常规实时库，还需要文件服务器、关系数据库的局面，降低了现有数据库系统的结构的复杂度和建设成本，同时还提升了访问性能。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (6)

1.一种应用实时历史数据库实现图数模一体化管理的方法，其特征在于，所述方法包括：
在实时历史数据库的基础上，构建管理被监测点监测数据的TrendDB服务；在实时历史数据库的基础上，构建管理目标监测画面大尺寸二进制数据的BlockDB服务；在大尺寸二进制数据的基础上，构建管理被监管对象模型数据的RDFDB服务；
TrendDB服务管理被监测点监测数据，具体按照下述实现：
获取进行TrendDB服务管理且与实时历史数据库连接的被监测客户端的参数；
实时采集被监测客户端上的运行数据并作为被监测点监测数据存储到内存中；采集到的被监测点监测数据是定长度的，在内存中直接预留与被监测点监测数据相对应的长度；
BlockDB服务管理监测的大尺寸二进制数据，具体按照下述实现：
获取目标监测画面中所有需监测点的数据，采用XML规则对获得的数据进行解析和验证，同时，根据XML规则中的标签进行分层处理得到表格和内嵌子表格形式的大尺寸二进制数据，并将所述大尺寸二进制数据存储到内存中，表格的属性字段由若干相并列的标签构成；
RDFDB服务管理被监管对象模型数据，具体按照下述实现：
在大尺寸二进制数据的基础上，利用了XML Schema和CIM模型规范，对常规表格和子表格进行处理，得到并将设备设施与监测点之间关系、设备设施之间连接关系和设备设施的属性参数作为模型数据存储到内存中；
在实时历史数据库中的测点配置库中设置需要管理的被监测点和/或目标监测画面和/或被监管对象的管理服务，实时历史数据库中的实时数据库根据测点配置库中存储的管理服务，选择对应的服务进行管理，并将管理后的数据存储到内存中；
其中，所述大尺寸二进制数据由多个包含监测数据的关系列表组成；所述模型数据描述了被监测点与设备设施之间关系、设备设施之间的连接关系以及设备设施的必要属性参数。
2.根据权利要求1所述应用实时历史数据库实现图数模一体化管理的方法，其特征在于，表格和内嵌子表格形式的大尺寸二进制数据，具体为：一个大尺寸二进制数据包括多个建立了索引关系的数据表，每个数据表内嵌子数据表且子数据表表格嵌套深度无限制，每个数据表包括若干条结构记录，每条结构记录由关键字和数据构成，每个结构记录中的内容由标签、上文数据表、时间戳和质量码构成；
未嵌套的数据表存储一个被监测点的监测数据。
3.根据权利要求1所述应用实时历史数据库实现图数模一体化管理的方法，其特征在于，存储大尺寸二进制数据所占用的内存是目标大尺寸二进制数据长度的整数倍。
4.根据权利要求1所述应用实时历史数据库实现图数模一体化管理的方法，其特征在于，将被监管对象模型数据存储到内存，同时将模型数据中的设备设施与监测点之间关系、设备设施之间连接关系和设备设施的属性参数的索引抽取到内存中。
5.根据权利要求1所述应用实时历史数据库实现图数模一体化管理的方法，其特征在于，TrendDB服务、BlockDB服务和RDFDB服务三类服务获得的三类数据均最终被处理成存储在内存中的结构化且被索引的高效数据。
6.根据权利要求1所述应用实时历史数据库实现图数模一体化管理的方法，其特征在于，TrendDB服务、BlockDB服务和RDFDB服务互相独立。
CN201610664762.0A 2016-08-12 2016-08-12 应用实时历史数据库实现图数模一体化管理的方法 Active CN107729339B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610664762.0A CN107729339B (zh) 2016-08-12 2016-08-12 应用实时历史数据库实现图数模一体化管理的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610664762.0A CN107729339B (zh) 2016-08-12 2016-08-12 应用实时历史数据库实现图数模一体化管理的方法

Publications (2)

Publication Number Publication Date
CN107729339A CN107729339A (zh) 2018-02-23
CN107729339B true CN107729339B (zh) 2021-04-06

Family

ID=61201039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610664762.0A Active CN107729339B (zh) 2016-08-12 2016-08-12 应用实时历史数据库实现图数模一体化管理的方法

Country Status (1)

Country Link
CN (1) CN107729339B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2041666A2 (en) * 2006-06-30 2009-04-01 Xslent Llc Global information architecture
CN101825879A (zh) * 2010-04-15 2010-09-08 上海惠安系统控制有限公司 采集和存储数据的测控装置及方法
CN102929911A (zh) * 2012-09-10 2013-02-13 福建省电力有限公司 变电站与调度主站一体化建模方法
CN103699555A (zh) * 2013-07-03 2014-04-02 国电南瑞科技股份有限公司 一种适用于调度与变电站一体化系统的多源数据实时库数据生成方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831266B (zh) * 2012-08-10 2016-04-27 南京南瑞继保电气有限公司 一种基于流程网络的图模库一体化建模方法
CN104079874B (zh) * 2014-06-12 2018-03-02 黄河科技学院 一种基于物联网技术的安防一体化系统及方法
CN105022874B (zh) * 2015-07-09 2018-01-19 国网山东省电力公司电力科学研究院 一种配电网数字仿真自动建模方法及系统
CN105260811A (zh) * 2015-09-14 2016-01-20 国家电网公司 一种基于dmtf-cim模型的图模一体化主动防御型的运行监测系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2041666A2 (en) * 2006-06-30 2009-04-01 Xslent Llc Global information architecture
CN101825879A (zh) * 2010-04-15 2010-09-08 上海惠安系统控制有限公司 采集和存储数据的测控装置及方法
CN102929911A (zh) * 2012-09-10 2013-02-13 福建省电力有限公司 变电站与调度主站一体化建模方法
CN103699555A (zh) * 2013-07-03 2014-04-02 国电南瑞科技股份有限公司 一种适用于调度与变电站一体化系统的多源数据实时库数据生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于SCADA图数模一体化的PI应用;王晓建;《中国优秀硕士学位论文全文数据库（电子期刊） 信息科技辑》;20120715;第5-82页 *

Also Published As

Publication number Publication date
CN107729339A (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
CN107402976B (zh) 一种基于多元异构模型的电网多源数据融合方法及系统
CN108197132B (zh) 一种基于图数据库的电力资产画像构建方法及装置
CN111295680B (zh) 用于基础设施建模的智能模型层级
CN111680025A (zh) 面向自然资源多源异构数据时空信息智能同化的方法及系统
CN108509566B (zh) 一种基于云上95598数据发布服务业务系统网络拓扑可视化方法
CN112462696A (zh) 一种智能制造车间数字孪生模型构建方法与系统
CN102750406A (zh) 一种基于模型集和差异模型的电网模型多版本管理方法
CN115713161B (zh) 一种基于bim技术的建筑信息管理系统
CN101908176A (zh) 一种基于电力信息数据建模及元数据管理应用方法
CN103412917A (zh) 一种可扩展的多类型领域数据协调管理的数据库系统和管理方法
CN107194533B (zh) 一种配电网全信息模型构建方法及系统
CN102426525A (zh) 一种多应用系统的全景建模方法
CN112182077A (zh) 一种基于数据中台技术的智能运维系统
CN106503811A (zh) 一种基于大数据的基础设施全生命周期管理方法
CN108875087B (zh) 一种描述事物空间属性并基于所述描述进行查找的方法
CN112905571B (zh) 一种列车轨道交通传感器数据管理方法及装置
CN112084177B (zh) 基于数据采集治理及挖掘分析的数据池应用方法及装置
CN116450620B (zh) 面向多源多域时空基准数据的数据库设计方法及系统
CN107729339B (zh) 应用实时历史数据库实现图数模一体化管理的方法
CN115439015B (zh) 基于数据中台的局域电网数据管理方法、装置及设备
CN116629802A (zh) 一种用于铁路港口站的大数据平台系统
Bakalov et al. A network model for the utility domain
CN109522292A (zh) 基于电网标准统一信息模型的数据处理装置和方法
CN115858498A (zh) 五维时空分布式数据库构建方法及装置
Elsabagh NO SQL Database: Graph database

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant