CN108875038A - 关系数据库数据下装到层次结构实时数据库的方法及系统 - Google Patents
关系数据库数据下装到层次结构实时数据库的方法及系统 Download PDFInfo
- Publication number
- CN108875038A CN108875038A CN201810674448.XA CN201810674448A CN108875038A CN 108875038 A CN108875038 A CN 108875038A CN 201810674448 A CN201810674448 A CN 201810674448A CN 108875038 A CN108875038 A CN 108875038A
- Authority
- CN
- China
- Prior art keywords
- real
- relational database
- data base
- time data
- hierarchical structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种关系数据库数据下装到层次结构实时数据库的方法及系统，将关系数据库中的数据以文本文件的方式输出，并通过定义的关系数据库和实时数据库中表对表、域对域的关系，分析表和表之间的层次结构等关联关系，将文本数据转换为层次结构的文本，然后导入到实时数据库中，实现了关系数据库到层次结构实时数据库的数据下装。
Description
技术领域
本发明涉及一种关系数据库数据下装到层次结构实时数据库的方法及系统，属于电力实时监控领域。
背景技术
电力监控领域，对数据采集和控制的实时性往往要求很高，而传统的关系数据库的性能难以满足实时监控的需求，所以很多电力监控的厂家和产品纷纷采用虚拟内存的技术实现厂家私有的内存数据库，也称为实时数据库。考虑到电力监控系统在实际工程中不可避免的和关系数据库打交道，将关系数据库和实时数据库中的数据互相导入导出，也就产生了两种数据库之间下装（关系数据库到实时数据库）和上装（实时数据库到关系数据库）的需求。
如果仅仅只是将关系数据库中的一张一张表的数据下装到实时数据库的一张一张对应的独立的表，那么实时数据库的访问效率还是比较低，根据外键查询或者进行程序循环匹配效率都比较低。目前从关系数据库下装到实时数据库的技术基本上都是针对没有关联关系的单表实时库的操作，尚未发现针对层次结构实时数据库的技术。
发明内容
为了解决上述技术问题，本发明提供了一种关系数据库数据下装到层次结构实时数据库的方法及系统。
为了达到上述目的，本发明所采用的技术方案是：
关系数据库数据下装到层次结构实时数据库的方法，包括，
配置表域关系，即配置关系数据库与实时数据库之间表对表、域对域的关系；
将关系数据库中的需下装数据以文本文件的方式输出；
根据表域关系，将输出的文本文件转换为层次结构的文本文件；
将层次结构的文本文件导入实时数据库。
配置的表域关系以XML文件进行保存。
关系数据库中的数据以表格形式的CSV文本文件方式输出。
根据表域关系，分析表和表之间的层次结构和关联关系，将输出的文本文件转换为层次结构的文本文件。
关系数据库数据下装到层次结构实时数据库的系统，所述系统采用权利要求1~4任意一项所述的方法将关系数据库数据下装到层次结构实时数据库。
下装包括全下装、仅插入下装、仅更新下装和局部全下装；
全下装：完全以关系数据库为准，实时数据库中多出的数据删除，少的数据增加，关键字能匹配上的数据匹配更新；
仅插入下装：不对实时数据库中已有的数据进行处理，将关系数据库中的数据仅做插入处理；
仅更新下装：不对实时数据库进行增删处理，只对匹配上的数据进行更新；
局部全下装：对实时数据库中顶层匹配上的数据分支进行“全下装”，其他分支不做任何处理。
本发明所达到的有益效果：本发明将关系数据库中的数据以文本文件的方式输出，并通过定义的关系数据库和实时数据库中表对表、域对域的关系，分析表和表之间的层次结构等关联关系，将文本数据转换为层次结构的文本，然后导入到实时数据库中，实现了关系数据库到层次结构实时数据库的数据下装。
附图说明
图1为本发明方法的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，关系数据库数据下装到层次结构实时数据库的方法，包括以下步骤：
步骤1，配置表域关系，即配置关系数据库与实时数据库之间表对表、域对域的关系，配置的表域关系以XML文件进行保存。
其中，在配置时，域对域的配置需要重点关注的是：
a、域的数据类型的匹配，如关系数据库中域的数据是非数字形式的字符串，那么实时数据库的域则不能是数值类型。
b、关系数据库中外键指向的表，需要人工指定其匹配用的关键字域。
c、实时数据库的中关联域的关系类型通过实时数据库的的元数据进行查询。
步骤2，将关系数据库中的需下装数据以文本文件的方式输出。
为了实现关系数据库数据的通用读取，采用QT基于数据库插件和ODBC通用数据库访问技术进行处理，在Windows操作系统上有自带的ODBC功能，在linux/UNIX上采用unixODBC进行数据库访问，只需要编译各种关系数据库提供的ODBC驱动动态库即可。
为了屏蔽各种关系数据库支持的数据类型不同的影响，以及方便扩展，能支持其他数据来源如大数据云平台、直接的CSV文件等，我们将关系数据库中的数据导出成以表格形式的CSV文本文件。
步骤3，根据表域关系，分析表和表之间的层次结构和关联关系，将输出的文本文件转换为层次结构的文本文件。
步骤4，将层次结构的文本文件导入实时数据库。
关系数据库数据下装到层次结构实时数据库的系统，该系统采用上述方法将关系数据库数据下装到层次结构实时数据库。
上述系统支持对任务的管理，如增删改、改名、另存为，以及对任务的下装操作；支持人工进行下装操作；支持每个下装任务的定时执行，通过人工配置任务的下装周期，即可实现定时下装；支持在下装开始和结束的时候发报文，通知应用程序下装时间段暂停访问实时数据库，同时具备下装信息记录功能。
上述系统下装包括以下4种，即全下装、仅插入下装、仅更新下装和局部全下装。
全下装：完全以关系数据库为准，实时数据库中多出的数据删除，少的数据增加，关键字能匹配上的数据匹配更新。
仅插入下装：不对实时数据库中已有的数据进行处理，将关系数据库中的数据仅做插入处理。
仅更新下装：不对实时数据库进行增删处理，只对匹配上的数据进行更新；减少下装后对实时库中原有数据的影响，特别是原有数据的ID希望保持不变（避免其他模块对实时数据库中数据的引用信息的失效）。
局部全下装：对实时数据库中顶层匹配上的数据分支进行“全下装”，其他分支不做任何处理。
以南方电网公司总部电网运行监控系统中SCADA数据库的数据重新下装为例。
下装数据量：
模拟量输入表：129976条；
状态量输入表：142774条；
RTU表：265条；
地区控制中心表：56条；
厂站表：1335条；
电压等级表：2817条；
间隔表：9517条；
导电设备表：77686条；
断路器表：16410条；
变压器表：1889条；
变压器卷表：4902条；
母线表：3920条；
控制中心表：1条；
端点表：172482条；
连接点表：53010条；
模拟量表：144905条；
状态量表：76774条；
合计：约84万条记录。
将上述数据下装到实时数据库后，数据记录条数和内容准确，层次和关联关系建立准确。在4核2.34G的CPU、16G内存、RHEL6.5的虚拟机上两次测试下装耗时分别为1495秒、1497秒，平均下装速度为560条/秒，平均每个厂站的模型和点表综合的下装速度为1.12秒，平均每个厂站630条记录。根据测试情况，该方法的功能和性能达到了预期效果，具有较好的应用价值。
本发明将关系数据库中的数据以文本文件的方式输出，并通过定义的关系数据库和实时数据库中表对表、域对域的关系，分析表和表之间的层次结构等关联关系，将文本数据转换为层次结构的文本，然后导入到实时数据库中，实现了关系数据库到层次结构实时数据库的数据下装。
本发明支持常见的各种关系数据库，如ORACLE、MYSQL、SQLITE、SQL SERVER、国产达梦、金仓、神通等；支持CSV文本文件，避免了关系数据库和实时数据库的数据类型一致性的问题，同时弱化了两种数据库之间的耦合关系；支持关系数据库的常见数据类型，如整数、小数、字符串、日期；支持将关系数据库的外键下装后转换为实时数据库的ARRAY、DLIST、单向/双向引用等关联关系；不用关心下装的表之间的引用和被引用关系的顺序，关联关系的建立在数据导入后统一完成。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (6)
1.关系数据库数据下装到层次结构实时数据库的方法，其特征在于：包括，
配置表域关系，即配置关系数据库与实时数据库之间表对表、域对域的关系；
将关系数据库中的需下装数据以文本文件的方式输出；
根据表域关系，将输出的文本文件转换为层次结构的文本文件；
将层次结构的文本文件导入实时数据库。
2.根据权利要求1所述的关系数据库数据下装到层次结构实时数据库的方法，其特征在于：配置的表域关系以XML文件进行保存。
3.根据权利要求1所述的关系数据库数据下装到层次结构实时数据库的方法，其特征在于：关系数据库中的数据以表格形式的CSV文本文件方式输出。
4.根据权利要求1所述的关系数据库数据下装到层次结构实时数据库的方法，其特征在于：根据表域关系，分析表和表之间的层次结构和关联关系，将输出的文本文件转换为层次结构的文本文件。
5.关系数据库数据下装到层次结构实时数据库的系统，其特征在于：所述系统采用权利要求1~4任意一项所述的方法将关系数据库数据下装到层次结构实时数据库。
6.根据权利要求1所述的关系数据库数据下装到层次结构实时数据库的系统，其特征在于：下装包括全下装、仅插入下装、仅更新下装和局部全下装；
全下装：完全以关系数据库为准，实时数据库中多出的数据删除，少的数据增加，关键字能匹配上的数据匹配更新；
仅插入下装：不对实时数据库中已有的数据进行处理，将关系数据库中的数据仅做插入处理；
仅更新下装：不对实时数据库进行增删处理，只对匹配上的数据进行更新；
局部全下装：对实时数据库中顶层匹配上的数据分支进行“全下装”，其他分支不做任何处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810674448.XA CN108875038A (zh) | 2018-06-27 | 2018-06-27 | 关系数据库数据下装到层次结构实时数据库的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810674448.XA CN108875038A (zh) | 2018-06-27 | 2018-06-27 | 关系数据库数据下装到层次结构实时数据库的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108875038A true CN108875038A (zh) | 2018-11-23 |
Family
ID=64295883
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810674448.XA Pending CN108875038A (zh) | 2018-06-27 | 2018-06-27 | 关系数据库数据下装到层次结构实时数据库的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108875038A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110569456A (zh) * | 2019-07-26 | 2019-12-13 | 广州视源电子科技股份有限公司 | Web端数据离线缓存方法及装置、电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101067814A (zh) * | 2007-05-10 | 2007-11-07 | 浪潮集团山东通用软件有限公司 | 数据访问层Xml格式数据与关系数据间的映射转换方法 |
| CN106095862A (zh) * | 2016-06-02 | 2016-11-09 | 四川大学 | 集中式可扩展融合型多维复杂结构关系数据的存储方法 |
-
2018
- 2018-06-27 CN CN201810674448.XA patent/CN108875038A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101067814A (zh) * | 2007-05-10 | 2007-11-07 | 浪潮集团山东通用软件有限公司 | 数据访问层Xml格式数据与关系数据间的映射转换方法 |
| CN106095862A (zh) * | 2016-06-02 | 2016-11-09 | 四川大学 | 集中式可扩展融合型多维复杂结构关系数据的存储方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李亮举 等: "实时数据库与关系数据库数据交换服务的设计与实现", 《工业通讯与无线技术》 * |
| 高翔 等: "采用关系数据库技术实现层次结构数据模型", 《军事运筹与系统工程》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110569456A (zh) * | 2019-07-26 | 2019-12-13 | 广州视源电子科技股份有限公司 | Web端数据离线缓存方法及装置、电子设备 |
| CN110569456B (zh) * | 2019-07-26 | 2022-03-08 | 广州视源电子科技股份有限公司 | Web端数据离线缓存方法及装置、电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107402976B (zh) | 一种基于多元异构模型的电网多源数据融合方法及系统 | |
| CN108647330B (zh) | 一种基于bim模型文件的3d轻量化转换方法 | |
| CN102855271A (zh) | 一种多版本电网模型的存储与可追溯管理方法 | |
| CN104599032A (zh) | 一种面向资源管理的分布式内存电网构建方法及系统 | |
| CN112347071B (zh) | 一种配电网云平台数据融合方法及配电网云平台 | |
| CN114218218A (zh) | 基于数据仓库的数据处理方法、装置、设备及存储介质 | |
| CN102023859B (zh) | 面向数字化研制环境的可靠性维修性保障性软件集成方法 | |
| Lv et al. | Design of cloud data warehouse and its application in smart grid | |
| CN106780150A (zh) | 智能远动定值单制作平台和方法 | |
| CN112527857A (zh) | 基于智能电表的多角度线损可视化数据分析平台 | |
| CN107944661A (zh) | 一种主配网一体化调控系统 | |
| CN108536736B (zh) | 一种小卫星综合测试系统实时数据库搭建方法及系统 | |
| CN108875038A (zh) | 关系数据库数据下装到层次结构实时数据库的方法及系统 | |
| CN101867185A (zh) | 电力系统的pi测点自动维护系统及其维护方法 | |
| CN104299065B (zh) | 一种调度自动化主备系统间模型正确性校验的方法 | |
| CN104199663A (zh) | 一种综合自动化信息表自动生成方法及系统 | |
| CN115937881A (zh) | 一种知识图谱构建标准表格内容自动识别方法 | |
| CN116050059A (zh) | 针对gw级光伏电站的云边协同设计与仿真系统 | |
| CN104933491A (zh) | 工业企业能耗诊断预警系统 | |
| CN115187425A (zh) | 基于组态软件和关系型数据库触发器的用电数据处理方法 | |
| CN103617141A (zh) | 电气设备现场试验及特性评价管理方法 | |
| CN114123482A (zh) | 一种主厂站信息联调解耦方法 | |
| CN106154082A (zh) | 一种负荷特性在线分析的智能测量采集装置 | |
| CN201868874U (zh) | 电力系统的pi测点自动维护系统 | |
| Wang | RETRACTED: Research on Big Data Integration Method for Investment Statistics Based on Artificial Intelligence Technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181123 |