CN110008289A - 一种关系数据库、电网模型数据存储及检索方法 - Google Patents
一种关系数据库、电网模型数据存储及检索方法 Download PDFInfo
- Publication number
- CN110008289A CN110008289A CN201910154041.9A CN201910154041A CN110008289A CN 110008289 A CN110008289 A CN 110008289A CN 201910154041 A CN201910154041 A CN 201910154041A CN 110008289 A CN110008289 A CN 110008289A
- Authority
- CN
- China
- Prior art keywords
- database
- node
- model data
- weight
- tile features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种关系数据库、电网模型数据存储及检索方法，所述关系数据库包括主节点和从节点；所述主节点包含的数据库服务为主数据库，从节点包含的数据库服务为从数据库；所述主数据库用于存储包括元数据在内的信息，所述从数据库用于存储包括模型数据内容在内的信息；所述存储方法包括如下步骤：将模型数据发送至关系数据库的主节点；提取模型数据的分片特征字段；根据分片特征字段计算从节点序号；根据分片特征字段值与从节点序号的映射关系将从节点序号存储至主数据库中的映射表，将模型数据内容存储至从节点序号对应的从数据库中；分布式关系数据库可以进行高并发分片信息独立存储和独立检索。
Description
技术领域
本发明涉及一种关系数据库、电网模型数据存储及检索方法，属于电力系统自动化电网模型管理技术领域。
背景技术
随着电网运行方式日趋复杂，电网的调度运行管理面临新的挑战，对作为电网安全稳定运行基础的电网模型和参数提出了更高的要求；单一和集中存储的关系数据库已经无法应对日益增长的模型数据规模，需要对模型数据进行分片分区管理，同时为了保障数据访问性能，需要高效记录模型数据的数据内容和所属分片的映射关系，即数据分片元数据信息。
发明内容
本发明的目的在于提供一种关系数据库、电网模型数据存储及检索方法，以解决现有技术中导致的上述多项缺陷或缺陷之一。
第一方面：一种关系数据库，包括主节点和从节点；
所述主节点包含的数据库服务为主数据库，从节点包含的数据库服务为从数据库；
所述主数据库用于存储包括元数据在内的信息，所述从数据库用于存储包括模型数据内容在内的信息。
第二方面：一种电网模型数据存储方法，用于将所述模型数据存储至前述的关系数据库中，所述存储方法包括如下步骤：
将模型数据发送至关系数据库的主节点；
提取模型数据的分片特征字段；
根据分片特征字段计算从节点序号；
根据分片特征字段值与从节点序号的映射关系将从节点序号存储至主数据库中的映射表。
优选的，所述方法还包括：
当产生扩容，需要重新分配数据时，则遍历主数据库中的映射表，重新根据当前权重信息，计算新的映射关系，更新映射表，并移动从数据库中的模型数据内容。
优选的，所述特征字段使用长整型。
优选的，所述从节点序号的计算步骤如下：
读取所有节点及其权重；
计算加上权重后的总节点数量；
通过一致性哈希计算分片特征字段所属的数据库编号；
判断所述数据库编号对应的数据库；
将数据库的权重值减去所述分片特征字段的权重在总厂站权重的比例，四舍五入取整，如果结果小于0，则下次计算，本次计算将不把数据库算入，设特征字段1的权重为Q1，总特征字段权重为Qa，数据库权重为T1，总数据库权重为Ta，则计算公式为T1-（Ta * Q1 /Qa）。
优选的，所述权重是可配置的内容，写在主节点的配置文件中。
第三方面：一种电网模型数据检索方法，用于检索存储至前述的关系数据库中的模型数据，所述检索方法包括如下步骤：
接收检索请求，并将检索请求发送至主节点；
读取检索请求中模型数据的分片特征字段值；
根据分片特征字段值确定模型数据所在的从节点序号；
将所述检索请求转发至对应的从节点，获取从数据库中存储的模型数据内容。
与现有技术相比，本发明所达到的有益效果：
1、分布式关系数据库可以进行高并发分片信息独立存储和独立检索；
2、模型数据分片信息能够以O(1)级别性能进行检索；
3、扩容方便，仅需移动少量数据；
4、系统的可用性强，即使部分分片不能用，其他分片不会受到影响。
附图说明
图1是本发明关系数据库结构图；
图2是分片数据索引的创建流程；
图3是从数据库扩容数据迁移流程；
图4是分片数据索引检索流程。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
如图1所示，一种关系数据库，包括主节点和从节点；整个系统中一般包含一个主节点和多个从节点；每个节点都包含数据库服务，主节点对外提供服务，从节点存储具体模型数据内容；
所述主节点包含的数据库服务为主数据库，从节点包含的数据库服务为从数据库；
所述主数据库用于存储包括元数据在内的信息，所述从数据库用于存储包括模型数据内容在内的信息。
如图2所示，一种电网模型数据存储方法，用于将所述模型数据存储至前述的关系数据库中，所述存储方法包括如下步骤：
将模型数据发送至关系数据库的主节点；
提取模型数据的分片特征字段；
根据分片特征字段计算从节点序号，计算出该模型数据应当存储到某台从节点中，其中权重信息是可配置的内容，写在主节点的配置文件中；
根据分片特征字段值与从节点序号的映射关系将从节点序号存储至主数据库中的映射表，将模型数据内容存储至从节点序号对应的从数据库中，其中计算出的映射关系，即“模型数据的分片特征字段值--从节点序号”存入主数据库的映射表中，再将这条模型数据内容存储到从数据库中。
本实施例中，特征字段包括厂站，关系数据库中模型数据应具备所属厂站ID，所属厂站ID为长整型；首先对模型数据进行分片，为每条不同厂站的数据生成所属分片，例如，共有8个从数据库，不同的厂站有100个，每一个数据库平均约存储12种厂站的模型数据，对于厂站id 1139901001293，经过一致性哈希计算产生数据库序号（序号从0开始）为5，则将所有厂站id为1139901001293的模型数据存储在5号数据库中。随后记录该产站id和数据库序号的映射关系，作为索引元数据，存储在主数据库中，主数据库建立缓存，将映射表写在内存中，方便快速查询。
同理，对于其他厂站id，应按照上述规则生成索引信息。
如图3所示，在本实施例中，电网模型数据存储方法还包括：当产生扩容，需要重新分配数据时，则遍历主数据库中的映射表，重新根据当前权重信息，计算新的映射关系，更新映射表，并移动从数据库中的模型数据内容，扩容方便，仅需移动少量数据；从数据库扩容会引起部分数据重新分配。此过程通过一致性哈希算法保证分配的均匀和稳定。即不同从数据库的负载应该均衡和分布结果保持基本稳定。如从数据库数量从8扩展到9，对于厂站id为1139901001293的数据，经过计算序号依然为5，则不需要进行移动。对于新增的厂站id为1139901001236，数据则存储到新增的8号从数据库中。所述特征字段使用长整型，便于搜索关键字。
从节点序号的计算步骤如下：每个厂站和节点都可自定义权重，值从1-10。默认不计算权重，仅进行一致性哈希计算。
读取所有节点及其权重；
计算加上权重后的总节点数量，如数据库A权重为2，则统计A1和 A2；
通过一致性哈希计算分片特征字段所属的数据库编号；
判断所述数据库编号对应的数据库；如A2属于A。
将A数据库的权重值减去该厂站ID的权重在总厂站权重的比例，四舍五入取整，如果结果小于0，则下次计算将不把A数据库算入。如厂站1的权重为Q1，总厂站权重为Qa，数据库A权重为T1，总数据库权重为Ta，则计算公式为T1-（Ta * Q1 / Qa）。
如图4所示，一种电网模型数据检索方法，用于检索存储至如权1所述的关系数据库中的模型数据，所述检索方法包括如下步骤：
当需要检索模型数据时，接收检索请求，并将检索请求发送至主节点；
主节点读取检索请求中模型数据的分片特征字段值，并查询映射表；
根据分片特征字段值确定模型数据所在的从节点序号；
将所述检索请求转发至对应的从节点，获取从数据库中存储的模型数据内容。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (7)
1.一种关系数据库，其特征在于，包括主节点和从节点；
所述主节点包含的数据库服务为主数据库，从节点包含的数据库服务为从数据库；
所述主数据库用于存储包括元数据在内的信息，所述从数据库用于存储包括模型数据内容在内的信息。
2.一种电网模型数据存储方法，用于将所述模型数据存储至如权1所述的关系数据库中，其特征在于，所述存储方法包括如下步骤：
将模型数据发送至关系数据库的主节点；
提取模型数据的分片特征字段；
根据分片特征字段计算从节点序号；
根据分片特征字段值与从节点序号的映射关系，将从节点序号存储至主数据库中的映射表。
3.根据权利要求2所述的电网模型数据存储方法，其特征在于，所述方法还包括：
当产生扩容，需要重新分配数据时，则遍历主数据库中的映射表，重新根据当前权重信息，计算新的映射关系，更新映射表，并移动从数据库中的模型数据内容。
4.根据权利要求2所述的电网模型数据存储方法，其特征在于，所述特征字段使用长整型。
5.根据权利要求2所述的电网模型数据存储方法，其特征在于，所述从节点序号的计算步骤如下：
读取所有节点及其权重；
计算加上权重后的总节点数量；
通过一致性哈希计算分片特征字段所属的数据库编号；
判断所述数据库编号对应的数据库；
将数据库的权重值减去所述分片特征字段的权重在总厂站权重的比例，四舍五入取整，如果结果小于0，则下次计算，本次计算将不把数据库算入，设特征字段1的权重为Q1，总特征字段权重为Qa，数据库权重为T1，总数据库权重为Ta，则计算公式为T1-（Ta * Q1 /Qa）。
6.根据权利要求5所述的电网模型数据存储方法，其特征在于，所述权重是可配置的内容，写在主节点的配置文件中。
7.一种电网模型数据检索方法，用于检索存储至如权1所述的关系数据库中的模型数据，其特征在于，所述检索方法包括如下步骤：
接收检索请求，并将检索请求发送至主节点；
读取检索请求中模型数据的分片特征字段值；
根据分片特征字段值确定模型数据所在的从节点序号；
将所述检索请求转发至对应的从节点，获取从数据库中存储的模型数据内容。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910154041.9A CN110008289B (zh) | 2019-03-01 | 2019-03-01 | 一种关系数据库、电网模型数据存储及检索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910154041.9A CN110008289B (zh) | 2019-03-01 | 2019-03-01 | 一种关系数据库、电网模型数据存储及检索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110008289A true CN110008289A (zh) | 2019-07-12 |
| CN110008289B CN110008289B (zh) | 2022-08-26 |
Family
ID=67166240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910154041.9A Active CN110008289B (zh) | 2019-03-01 | 2019-03-01 | 一种关系数据库、电网模型数据存储及检索方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110008289B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112327777A (zh) * | 2020-11-13 | 2021-02-05 | 上海能誉科技股份有限公司 | 一种数据采集系统及方法 |
| CN113259190A (zh) * | 2020-02-13 | 2021-08-13 | 中国移动通信集团广东有限公司 | 资源勘误方法、数据中台、设备及存储介质 |
| CN114817262A (zh) * | 2022-04-27 | 2022-07-29 | 电子科技大学 | 一种基于分布式图数据库的图遍历算法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101727465A (zh) * | 2008-11-03 | 2010-06-09 | 中国移动通信集团公司 | 分布式列存储数据库索引建立、查询方法及装置与系统 |
| CN103116661A (zh) * | 2013-03-20 | 2013-05-22 | 广东宜通世纪科技股份有限公司 | 一种数据库的数据处理方法 |
| CN107609143A (zh) * | 2017-09-21 | 2018-01-19 | 国电南瑞科技股份有限公司 | 一种分布式实时内存数据库的分片信息存储方法 |
-
2019
- 2019-03-01 CN CN201910154041.9A patent/CN110008289B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101727465A (zh) * | 2008-11-03 | 2010-06-09 | 中国移动通信集团公司 | 分布式列存储数据库索引建立、查询方法及装置与系统 |
| CN103116661A (zh) * | 2013-03-20 | 2013-05-22 | 广东宜通世纪科技股份有限公司 | 一种数据库的数据处理方法 |
| CN107609143A (zh) * | 2017-09-21 | 2018-01-19 | 国电南瑞科技股份有限公司 | 一种分布式实时内存数据库的分片信息存储方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113259190A (zh) * | 2020-02-13 | 2021-08-13 | 中国移动通信集团广东有限公司 | 资源勘误方法、数据中台、设备及存储介质 |
| CN113259190B (zh) * | 2020-02-13 | 2022-04-29 | 中国移动通信集团广东有限公司 | 资源勘误方法、数据中台、设备及存储介质 |
| CN112327777A (zh) * | 2020-11-13 | 2021-02-05 | 上海能誉科技股份有限公司 | 一种数据采集系统及方法 |
| CN114817262A (zh) * | 2022-04-27 | 2022-07-29 | 电子科技大学 | 一种基于分布式图数据库的图遍历算法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110008289B (zh) | 2022-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104866608B (zh) | 一种数据仓库中基于连接索引的查询优化方法 | |
| CN110008289A (zh) | 一种关系数据库、电网模型数据存储及检索方法 | |
| CN102542071B (zh) | 一种分布式处理数据的系统及方法 | |
| CN102930062A (zh) | 一种数据库快速水平扩展的方法 | |
| CN103345472B (zh) | 基于有限二叉树布隆过滤器的去冗文件系统及其构建方法 | |
| CN102855294B (zh) | 一种智能哈希数据布局方法、集群存储系统及其方法 | |
| CN101354726B (zh) | 一种机群文件系统的内存元数据管理方法 | |
| CN107566531A (zh) | 一种支持均衡资源的Elasticsearch集群扩展方法 | |
| US20070162506A1 (en) | Method and system for performing a redistribute transparently in a multi-node system | |
| CN106446126A (zh) | 一种海量空间信息数据存储管理方法及存储管理系统 | |
| CN103646111A (zh) | 大数据环境下实现实时数据关联的系统及方法 | |
| CN102843403A (zh) | 基于分布式文件系统的文件处理方法、系统及客户端 | |
| CN103778255A (zh) | 一种分布式文件系统及其数据分布方法 | |
| CN102289466A (zh) | 一种基于区域覆盖的k近邻查询方法 | |
| CN110225074A (zh) | 一种基于设备地址域的通讯报文分发系统及分发方法 | |
| CN102890678A (zh) | 一种基于格雷编码的分布式数据布局方法及查询方法 | |
| CN105159845A (zh) | 存储器读取方法 | |
| CN102298633A (zh) | 一种分布式海量数据排重方法及系统 | |
| CN109213820A (zh) | 一种实现多种类型的数据库融合使用的方法 | |
| CN103593460A (zh) | 数据分级存储系统和数据分级存储方法 | |
| CN110188084A (zh) | 一种分布式文件存储系统及文件存储方法 | |
| CN106991190A (zh) | 一种数据库自动创建子数据库系统 | |
| CN110413571A (zh) | 基于MongoDB大规模遥感影像数据分布式存储方法 | |
| CN109542842A (zh) | 一种兼容fat32文件系统的视频顺序存储和查询方法及其装置 | |
| CN109828966A (zh) | 渐进式重哈希方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |