CN113076311B - 一种分布式数据库 - Google Patents

一种分布式数据库 Download PDF

Info

Publication number
CN113076311B
CN113076311B CN202010006309.7A CN202010006309A CN113076311B CN 113076311 B CN113076311 B CN 113076311B CN 202010006309 A CN202010006309 A CN 202010006309A CN 113076311 B CN113076311 B CN 113076311B
Authority
CN
China
Prior art keywords
database
data
unit
center management
data table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010006309.7A
Other languages
English (en)
Other versions
CN113076311A (zh
Inventor
夏福生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Qinping Information Technology Co ltd
Original Assignee
Shanghai Qinping Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Qinping Information Technology Co ltd filed Critical Shanghai Qinping Information Technology Co ltd
Priority to CN202010006309.7A priority Critical patent/CN113076311B/zh
Publication of CN113076311A publication Critical patent/CN113076311A/zh
Application granted granted Critical
Publication of CN113076311B publication Critical patent/CN113076311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种分布式数据库，涉及数据库技术领域，所述分布式数据库包括数据预处理单元、数据库中心管理单元、主数据库单元、多个子数据库单元以及数据扩展单元，所述数据预处理单元用于对不同数据进行分类处理形成数据ID；所述数据库中心管理单元用于对不同数据进行数据库存储分配管理；所述主数据库单元和多个子数据库单元用于对不同数据进行存储；所述数据扩展单元用于数据库扩展管理；所述分布式数据库还包括与数据扩展单元连接的扩容模块，所述扩容模块包括获取单元、保存单元、删除单元以及建立单元。本发明解决了现有技术中分布式数据库数据分配不合理，容易出现单个数据库数据过大或单表数据过多的问题。

Description

一种分布式数据库
技术领域
本发明涉及数据库技术领域，特别是涉及一种分布式数据库。
背景技术
分布式数据库是指利用高速计算机网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。分布式数据库的基本思想是将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上，以获取更大的存储容量和更高的并发访问量。近年来，随着数据量的高速增长，分布式数据库技术也得到了快速的发展，传统的关系型数据库开始从集中式模型向分布式架构发展，基于关系型的分布式数据库在保留了传统数据库的数据模型和基本特征下，从集中式存储走向分布式存储，从集中式计算走向分布式计算。
另一方面，随着数据量越来越大，关系型数据库开始暴露出一些难以克服的缺点，以NoSQL为代表的非关系型数据库，其高可扩展性、高并发性等优势出现了快速发展，一时间市场上出现了大量的key-value存储系统、文档型数据库等NoSQL数据库产品。NoSQL类型数据库正日渐成为大数据时代下分布式数据库领域的主力。
然而，目前分布式数据库数据分配不合理，往往出现单个数据库数据过大，或单表数据过多的问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种分布式数据库，用于解决现有技术中分布式数据库数据分配不合理，容易出现单个数据库数据过大或单表数据过多的问题。
本发明提供一种分布式数据库，所述分布式数据库包括数据预处理单元、数据库中心管理单元、主数据库单元、多个子数据库单元以及数据扩展单元，所述数据预处理单元用于对不同数据进行分类处理形成客户的数据ID；所述数据库中心管理单元用于对不同数据进行数据库存储分配管理；所述主数据库单元和多个子数据库单元用于对不同数据进行存储；所述数据扩展单元用于数据库扩展管理；所述分布式数据库还包括与数据扩展单元连接的扩容模块，所述扩容模块包括获取单元、保存单元、删除单元以及建立单元；
获取单元：当进行数据库扩容新增数据库时，从初始数据库中获取原始数据表和更新数据表；所述原始数据表中保存的数据属性信息为原始属性的数据，所述更新数据表中保存有数据属性信息为更新属性的数据；
保存单元：将获取单元获取的原始数据表保存到新增数据库；
删除单元：在初始数据库中删除原始数据表；
建立单元：在初始数据库中建立与更新属性信息对应的第一数据表，并在新增数据库中建立与原始属性信息对应的第二数据表。
于本发明的一实施例中，所述数据库中心管理单元根据求模算法将数据ID存储到主数据库单元或相应的子数据库单元。
于本发明的一实施例中，所述数据库中心管理单元内设置有基础资料表，所述基础资料表为8*8数据库，根据8*8数据库的0-63标号构成客户表；并且对数据ID前四位进行求模，根据模增删改查到不同的客户表。
于本发明的一实施例中，所述基础资料表的键值前缀带有客户的数据ID前四位，用于对不同客户基础资料表进行增删改查。
于本发明的一实施例中，所述数据库中心管理单元根据客户基础资料表进行关联查询，根据客户的数据ID，锁定客户资料库的位置，进行同库查询。
于本发明的一实施例中，所述数据库中心管理单元以哈希结构的方式将待存储的数据存入主数据库单元或多个子数据库单元。
于本发明的一实施例中，所述数据库中心管理单元上连接有数据查询单元，所述数据查询单元用于数据查询请求。
于本发明的一实施例中，所述哈希结构包括哈希数组和使用情况链表，所述数据库中心管理单元接收到数据查询单元的查询请求后，以如下方式执行查询操作：
(1)计算待查询的数据记录的哈希值；
(2)访问以所述哈希值作为数组下标的所述哈希数组中对应的数组单元，并随之遍历该数组单元中的入口指针所指向的数据记录链表以查找出目标数据记录，并将查询结果传送回所述外部应用；
(3)将所述使用情况链表中与所访问的数组单元相对应的节点移动至所述使用情况链表的尾部。
于本发明的一实施例中，所述数据库中心管理单元连接有弹性数据库扩展接口，所述弹性数据库扩展接口用于弹性数据库扩展。
如上所述，本发明的一种分布式数据库，具有以下有益效果：
1.本发明的分布式数据库可以根据客户不同，或者记录性质的不同，把数据存储到不同的数据库中，以解决单个数据库数据过大，或单表数据过多的问题，提高了扩容方案，提高了分布式数据库容量。
2.本发明对数据ID进行求模后将不同数据存储到不同的数据库，并且数据库中心管理单元内设置有基础资料表，所述基础资料表为8*8数据库，根据8*8数据库的0-63标号构成客户表，并且对数据ID前四位进行求模，根据模增删改查到不同的客户表。
3.本发明基础资料表的键值前缀带有客户的数据ID前四位，可以对不同客户基础资料表进行增删改查；并且数据库中心管理单元根据客户基础资料表进行关联查询，根据客户的数据ID，锁定客户资料库的位置，进行同库查询。
4.本发明数据库中心管理单元连接有弹性数据库扩展接口，可以用于弹性数据库扩展。
附图说明
图1显示为本发明实施例中公开的分布式数据库的结构框图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1所示，本发明提供一种分布式数据库，所述分布式数据库包括数据预处理单元、数据库中心管理单元、主数据库单元、多个子数据库单元以及数据扩展单元，所述数据预处理单元用于对不同数据进行分类处理形成客户的数据ID；所述数据库中心管理单元用于对不同数据进行数据库存储分配管理；所述主数据库单元和多个子数据库单元用于对不同数据进行存储；所述数据扩展单元用于数据库扩展管理；所述分布式数据库还包括与数据扩展单元连接的扩容模块，所述扩容模块包括获取单元、保存单元、删除单元以及建立单元；
获取单元：当进行数据库扩容新增数据库时，从初始数据库中获取原始数据表和更新数据表；所述原始数据表中保存的数据属性信息为原始属性的数据，所述更新数据表中保存有数据属性信息为更新属性的数据；
保存单元：将获取单元获取的原始数据表保存到新增数据库；
删除单元：在初始数据库中删除原始数据表；
建立单元：在初始数据库中建立与更新属性信息对应的第一数据表，并在新增数据库中建立与原始属性信息对应的第二数据表。
具体的，所述数据库中心管理单元根据求模算法将数据ID存储到主数据库单元或相应的子数据库单元。
具体的，所述数据库中心管理单元内设置有基础资料表，所述基础资料表为8*8数据库，根据8*8数据库的0-63标号构成客户表；并且对数据ID前四位进行求模，根据模增删改查到不同的客户表。
具体的，所述基础资料表的键值前缀带有客户的数据ID前四位，用于对不同客户基础资料表进行增删改查。
具体的，所述数据库中心管理单元根据客户基础资料表进行关联查询，根据客户的数据ID，锁定客户资料库的位置，进行同库查询。
具体的，所述数据库中心管理单元以哈希结构的方式将待存储的数据存入主数据库单元或多个子数据库单元。
具体的，所述数据库中心管理单元上连接有数据查询单元，所述数据查询单元用于数据查询请求。
所述哈希结构包括哈希数组和使用情况链表，所述数据库中心管理单元接收到数据查询单元的查询请求后，以如下方式执行查询操作：
(1)计算待查询的数据记录的哈希值；
(2)访问以所述哈希值作为数组下标的所述哈希数组中对应的数组单元，并随之遍历该数组单元中的入口指针所指向的数据记录链表以查找出目标数据记录，并将查询结果传送回所述外部应用；
(3)将所述使用情况链表中与所访问的数组单元相对应的节点移动至所述使用情况链表的尾部。
具体的，所述数据库中心管理单元连接有弹性数据库扩展接口，所述弹性数据库扩展接口用于弹性数据库扩展。
本发明的分布式数据库根据客户不同，或者记录性质的不同，把数据存储到不同的数据库，以解决单个数据库数据过大，或单表数据过多的问题；并且通过数据ID求模算法将不同数据存储到不同的数据库，并且数据库中心管理单元内设置有基础资料表，所述基础资料表为8*8数据库，根据8*8数据库的0-63标号构成客户表，并且对数据ID前四位进行求模，根据模增删改查到不同的客户表；本发明进一步在所述基础资料表的键值前缀带上客户的数据ID前四位，用于对不同客户基础资料表的增删改查；数据库中心管理单元根据客户基础资料表进行关联查询，根据客户的数据ID，锁定客户资料库的位置，进行同库查询。本发明进一步在数据库中心管理单元连接有弹性数据库扩展接口，可以用于弹性数据库扩展。
综上所述，本发明解决了现有技术中分布式数据库数据分配不合理，容易出现单个数据库数据过大或单表数据过多的问题。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (7)

1.一种分布式数据库，其特征在于：所述分布式数据库包括数据预处理单元、数据库中心管理单元、主数据库单元、多个子数据库单元以及数据扩展单元，所述数据预处理单元用于对不同数据进行分类处理形成客户的数据ID；所述数据库中心管理单元用于对不同数据进行数据库存储分配管理；所述数据库中心管理单元根据求模算法将数据ID存储到主数据库单元或相应的子数据库单元，所述数据库中心管理单元内设置有基础资料表，所述基础资料表为8*8数据库，根据8*8数据库的0-63标号构成客户表；并且对数据ID前四位进行求模，根据模增删改查到不同的客户表；所述主数据库单元和多个子数据库单元用于对不同数据进行存储；所述数据扩展单元用于数据库扩展管理；所述分布式数据库还包括与数据扩展单元连接的扩容模块，所述扩容模块包括获取单元、保存单元、删除单元以及建立单元；
获取单元：当进行数据库扩容新增数据库时，从初始数据库中获取原始数据表和更新数据表；所述原始数据表中保存的数据属性信息为原始属性的数据，所述更新数据表中保存有数据属性信息为更新属性的数据；
保存单元：将获取单元获取的原始数据表保存到新增数据库；
删除单元：在初始数据库中删除原始数据表；
建立单元：在初始数据库中建立与更新属性信息对应的第一数据表，并在新增数据库中建立与原始属性信息对应的第二数据表。
2.根据权利要求1所述的分布式数据库，其特征在于：所述基础资料表的键值前缀带有客户的数据ID前四位，用于对不同客户基础资料表进行增删改查。
3.根据权利要求2所述的分布式数据库，其特征在于：所述数据库中心管理单元根据客户基础资料表进行关联查询，根据客户的数据ID，锁定客户资料库的位置，进行同库查询。
4.根据权利要求1-3任一所述的分布式数据库，其特征在于：所述数据库中心管理单元以哈希结构的方式将待存储的数据存入主数据库单元或多个子数据库单元。
5.根据权利要求4所述的分布式数据库，其特征在于：所述数据库中心管理单元上连接有数据查询单元，所述数据查询单元用于数据查询请求。
6.根据权利要求5所述的分布式数据库，其特征在于：所述哈希结构包括哈希数组和使用情况链表，所述数据库中心管理单元接收到数据查询单元的查询请求后，以如下方式执行查询操作：
(1)计算待查询的数据记录的哈希值；
(2)访问以所述哈希值作为数组下标的所述哈希数组中对应的数组单元，并随之遍历该数组单元中的入口指针所指向的数据记录链表以查找出目标数据记录，并将查询结果传送回所述外部应用；
(3)将所述使用情况链表中与所访问的数组单元相对应的节点移动至所述使用情况链表的尾部。
7.根据权利要求6所述的分布式数据库，其特征在于：所述数据库中心管理单元连接有弹性数据库扩展接口，所述弹性数据库扩展接口用于弹性数据库扩展。
CN202010006309.7A 2020-01-03 2020-01-03 一种分布式数据库 Active CN113076311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010006309.7A CN113076311B (zh) 2020-01-03 2020-01-03 一种分布式数据库

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010006309.7A CN113076311B (zh) 2020-01-03 2020-01-03 一种分布式数据库

Publications (2)

Publication Number Publication Date
CN113076311A CN113076311A (zh) 2021-07-06
CN113076311B true CN113076311B (zh) 2023-04-11

Family

ID=76608632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010006309.7A Active CN113076311B (zh) 2020-01-03 2020-01-03 一种分布式数据库

Country Status (1)

Country Link
CN (1) CN113076311B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103853727A (zh) * 2012-11-29 2014-06-11 深圳中兴力维技术有限公司 提高大数据量查询性能的方法及系统
CN104268219A (zh) * 2014-09-24 2015-01-07 国家电网公司 一种海量用电信息采集数据的管理方法及其系统
CN104572809A (zh) * 2014-11-17 2015-04-29 杭州斯凯网络科技有限公司 一种分布式关系数据库自由扩展方法
CN104731799A (zh) * 2013-12-20 2015-06-24 中国银联股份有限公司 内存数据库管理装置
CN111159192A (zh) * 2019-12-30 2020-05-15 智慧神州(北京)科技有限公司 基于大数据的数据入库方法、装置、存储介质和处理器
CN112015820A (zh) * 2020-09-01 2020-12-01 杭州欧若数网科技有限公司 分布式图数据库实现的方法、系统、电子装置和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103853727A (zh) * 2012-11-29 2014-06-11 深圳中兴力维技术有限公司 提高大数据量查询性能的方法及系统
CN104731799A (zh) * 2013-12-20 2015-06-24 中国银联股份有限公司 内存数据库管理装置
CN104268219A (zh) * 2014-09-24 2015-01-07 国家电网公司 一种海量用电信息采集数据的管理方法及其系统
CN104572809A (zh) * 2014-11-17 2015-04-29 杭州斯凯网络科技有限公司 一种分布式关系数据库自由扩展方法
CN111159192A (zh) * 2019-12-30 2020-05-15 智慧神州(北京)科技有限公司 基于大数据的数据入库方法、装置、存储介质和处理器
CN112015820A (zh) * 2020-09-01 2020-12-01 杭州欧若数网科技有限公司 分布式图数据库实现的方法、系统、电子装置和存储介质

Also Published As

Publication number Publication date
CN113076311A (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
US9767131B2 (en) Hierarchical tablespace space management
CN108600321A (zh) 一种基于分布式内存云的图数据存储方法和系统
US8782075B2 (en) Query handling in databases with replicated data
US7418544B2 (en) Method and system for log structured relational database objects
US20100257181A1 (en) Dynamic Hash Table for Efficient Data Access In A Relational Database System
US20120323971A1 (en) Optimizing data storage and access of an in-memory database
CN108140040A (zh) 存储器中数据库的选择性数据压缩
WO2006046669A1 (ja) データベース管理装置、方法、プログラム
CN105630864A (zh) 存储行标识符值的字典的强制排序
Chavan et al. Survey paper on big data
Khan et al. SQL Database with physical database tuning technique and NoSQL graph database comparisons
CN104850572A (zh) HBase非主键索引构建与查询方法及其系统
CA2455348A1 (en) Integrating tablespaces with different block sizes
CN102890678A (zh) 一种基于格雷编码的分布式数据布局方法及查询方法
CN102193990A (zh) 一种图形数据库及其实现方法
WO2023179787A1 (zh) 分布式文件系统的元数据管理方法和装置
CN103365987A (zh) 一种基于共享磁盘架构的集群数据库系统及数据处理方法
US10146833B1 (en) Write-back techniques at datastore accelerators
CN111708895B (zh) 一种知识图谱系统的构建方法及装置
CN113076311B (zh) 一种分布式数据库
Liroz-Gistau et al. Dynamic workload-based partitioning algorithms for continuously growing databases
Min et al. The mobile spatial DBMS for the partial map air update in the navigation
CN113157692B (zh) 一种关系型内存数据库系统
KR102214697B1 (ko) 데이터베이스 관리 시스템에서 데이터 저장을 위한 공간 관리를 제공하는 컴퓨터 프로그램
Liu et al. EntityManager: Managing dirty data based on entity resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant