CN112487089A - 基于数据页路由的分布式存储方法及系统 - Google Patents

基于数据页路由的分布式存储方法及系统 Download PDF

Info

Publication number
CN112487089A
CN112487089A CN202011356741.5A CN202011356741A CN112487089A CN 112487089 A CN112487089 A CN 112487089A CN 202011356741 A CN202011356741 A CN 202011356741A CN 112487089 A CN112487089 A CN 112487089A
Authority
CN
China
Prior art keywords
data page
routing
storage
target
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011356741.5A
Other languages
English (en)
Other versions
CN112487089B (zh
Inventor
宗伟
黄晓涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Mass Database Technology Co Ltd
Original Assignee
Guangzhou Mass Database Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Mass Database Technology Co Ltd filed Critical Guangzhou Mass Database Technology Co Ltd
Priority to CN202011356741.5A priority Critical patent/CN112487089B/zh
Publication of CN112487089A publication Critical patent/CN112487089A/zh
Application granted granted Critical
Publication of CN112487089B publication Critical patent/CN112487089B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供基于数据页路由的分布式存储方法及系统，该方法包括：数据库模块创建并发送第一数据页，所述第一数据页包括目标地址信息以及源地址信息；路由服务器接收所述第一数据页，并在所述第一数据页中加入路由地址信息得到第二数据页，之后发送所述第二数据页至数据存储模块进行保存。本发明基于数据页路由的分布式存储方法及系统能适用于OpenGauss数据库。

Description

基于数据页路由的分布式存储方法及系统
技术领域
本发明分布式存储技术领域，尤其涉及一种基于数据页路由的分布式存储方法、装置及设备。
背景技术
随着生活和生产数字化程度越来越高，用户并发度和数据量的增长速度越来越快。这一趋势对数据库的数据处理能力提出了新的要求，数据库的分布式架构已成为数据库的一个主要的架构趋势。当前数据库领域的分布式存储技术主要是为键值对形式的数据存储设计的，原生并非为关系型数据库设计的，若要将其应用到关系型数据库中需要对数据库上层进行相应的修改，该调整会对数据的效率产生一定的影响。目前存在的分布式存储技术，在技术细节上难以完全匹配关系型数据库的设计需求，因此需要提出更适应于关系型数据库的分布式存储技术。
OpenGauss是单机的数据库系统，目前尚没有公开的分布式架构设计，很难满足日渐增长的数据处理需求，提出一种可以适用于OpenGauss数据库的分布式存储方法成为亟待解决的技术问题。
发明内容
有鉴于此，本发明提供一种基于数据页路由的分布式存储方法及系统，能适用于OpenGauss数据库。
一方面，本发明提供一种基于数据页路由的分布式存储方法，包括：
数据库模块创建并发送第一数据页，所述第一数据页包括目标地址信息以及源地址信息；
路由服务器接收所述第一数据页，并在所述第一数据页中加入路由地址信息得到第二数据页，之后发送所述第二数据页至数据存储模块进行保存。
进一步地，所述发送所述第二数据页至数据存储模块进行存储的步骤之后包括：
所述数据库模块在接收到数据页查询请求时，判断所述数据页查询请求对应的目标数据页是否在内存中；
若确定所述数据页查询请求对应的目标数据页不在内存中，则加载所述目标数据页，并通过所述路由服务器查找所述目标数据页对应的路由信息，并根据所述目标数据页对应的路由信息在所述数据存储模块查找并反馈所述目标数据页。
进一步地，在所述数据库模块在接收到数据页查询请求的步骤之前包括：
所述数据存储模块发送第二数据页保存成功信号至所述路由服务器；
所述路由服务器保存所述第二数据页的路由信息，并发送保存完成信息至所述数据库模块。
进一步地，所述反馈所述目标数据页的步骤包括：
所述数据存储模块发送所述目标数据页至所述路由服务器；
所述路由服务器发送所述目标数据页至所述数据库模块。
进一步地，若确定所述数据页查询请求对应的目标数据页在内存中，则直接读取所述目标数据页。
再一方面，本发明还提供一种基于数据页路由的分布式存储系统，包括：
数据库模块，用于创建并发送第一数据页，所述第一数据页包括目标地址信息以及源地址信息；
路由服务器，用于接收所述第一数据页，并在所述第一数据页中加入路由地址信息得到第二数据页，之后发送所述第二数据页；
数据存储模块，用于接收并保存所述第二数据页。
进一步地，所述数据库模块还用于在接收到数据页查询请求时，判断所述数据页查询请求对应的目标数据页是否在内存中；若确定所述数据页查询请求对应的目标数据页不在内存中，则加载所述目标数据页，并通过所述路由服务器查找所述目标数据页对应的路由信息，并根据所述目标数据页对应的路由信息在所述数据存储模块查找并反馈所述目标数据页。
进一步地，所述数据存储模块还用于发送第二数据页保存成功信号至所述路由服务器；所述路由服务器保存所述第二数据页的路由信息，并发送保存完成信息至所述数据库模块。
进一步地，所述数据库模块还用于若确定所述数据页查询请求对应的目标数据页在内存中，则直接读取所述目标数据页。
进一步地，所述数据库模块为数据库集群，以及所述数据存储模块为数据存储集群。
本发明基于OpenGauss平台的分布式存储架构，即数据库模块、路由服务器以及数据存储模块分离设置，该分布式存储架构主要基于对具有新结构的数据页的路由处理，实现存储于计算分离的架构，一方面是对关系型数据库分布式存储技术的探索，另一方面也是对OpenGauss分布式技术体系的有效补充。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为根据本发明示例性第一实施例的基于数据页路由的分布式存储方法的流程图。
图2为根据本发明示例性第二实施例的基于数据页路由的分布式存储方法中的数据页结构的示意图。
图3为根据本发明示例性第三实施例的基于数据页路由的分布式存储方法的流程图。
图4为根据本发明示例性第四实施例的基于数据页路由的分布式存储系统的结构框图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合；并且，基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
如图1所示，本发明一种基于数据页路由的分布式存储方法，包括：
步骤101，数据库模块创建并发送第一数据页，所述第一数据页包括目标地址信息以及源地址信息；
步骤102，路由服务器接收所述第一数据页，并在所述第一数据页中加入路由地址信息得到第二数据页；
新的数据页结构具体如图2所示，在新定义的数据页结构中需添加目标地址信息、原地址信息和路由地址信息，以新增的信息为基础做路由操作来进行数据页的分发。
步骤103，路由服务器发送所述第二数据页至数据存储模块进行保存。
本实施例基于OpenGauss平台的分布式存储架构，即数据库模块、路由服务器以及数据存储模块分离设置，该分布式存储架构主要基于对具有新结构的数据页的路由处理，实现存储于计算分离的架构，一方面是对关系型数据库分布式存储技术的探索，另一方面也是对OpenGauss分布式技术体系的有效补充。
具体结合如图3所示的优选实施例，对基于数据页路由的分布式存储方法进一步说明，除了图1所示步骤，如图3所示，在所述发送所述第二数据页至数据存储模块进行存储的步骤之后包括：
所述数据库模块在接收到数据页查询请求时，判断所述数据页查询请求对应的目标数据页是否在内存中；
若确定所述数据页查询请求对应的目标数据页在内存中，则直接读取所述目标数据页；
若确定所述数据页查询请求对应的目标数据页不在内存中，则加载所述目标数据页，并通过所述路由服务器查找所述目标数据页对应的路由信息，并根据所述目标数据页对应的路由信息在所述数据存储模块查找并反馈所述目标数据页。
此外，在所述数据库模块在接收到数据页查询请求的步骤之前包括：
所述数据存储模块发送第二数据页保存成功信号至所述路由服务器；
所述路由服务器保存所述第二数据页的路由信息，并发送保存完成信息至所述数据库模块。
进一步地，所述反馈所述目标数据页的步骤包括：
所述数据存储模块发送所述目标数据页至所述路由服务器；
所述路由服务器发送所述目标数据页至所述数据库模块。
本实施例在分布式存储技术框架中，涉及三种节点(集群)角色，分别为计算结点、路由节点和存储节点，通过网络实现了计算和存储节点的分离，在该框架下，用户可以根据自己的实际负载情况，选择弹性的单独扩展计算节点集群或存储节点或者是路由集群，以保证整个集群在满足用户负载需求的情况下，尽可能的避免主机节点的浪费。同时用户也可以根据各节点的用途不同有侧重的配置主机或服务器，避免主机资源的浪费。
图4为根据本发明示例性第四实施例的基于数据页路由的分布式存储系统的结构框图。具体如图4所示，基于数据页路由的分布式存储系统包括：
数据库模块，用于创建并发送第一数据页，所述第一数据页包括目标地址信息以及源地址信息；
路由服务器，用于接收所述第一数据页，并在所述第一数据页中加入路由地址信息得到第二数据页，之后发送所述第二数据页；
数据存储模块，用于接收并保存所述第二数据页。
优选地，所述数据库模块还用于在接收到数据页查询请求时，判断所述数据页查询请求对应的目标数据页是否在内存中；若确定所述数据页查询请求对应的目标数据页不在内存中，则加载所述目标数据页，并通过所述路由服务器查找所述目标数据页对应的路由信息，并根据所述目标数据页对应的路由信息在所述数据存储模块查找并反馈所述目标数据页。
优选地，所述数据存储模块还用于发送第二数据页保存成功信号至所述路由服务器；所述路由服务器保存所述第二数据页的路由信息，并发送保存完成信息至所述数据库模块。
优选地，所述数据库模块还用于若确定所述数据页查询请求对应的目标数据页在内存中，则直接读取所述目标数据页。
优选地，所述数据库模块为数据库集群，以及所述数据存储模块为数据存储集群。
本实施例分布式架构将计算结点、路由服务器和数据存储集群相分离，三者在架构上彼此独立，可分别做集群以增加系统的可靠性。上述架构三个部件之间通过交换数据页来进行数据的交换。所以OpenGauss平台下原来的数据页设计无法满足相应的需求，需要对数据页的结构进行扩展，来匹配相应的路由操作。本实施例分布式存储技术框架使用网络实现了数据库系统中的计算与存储分离的架构，并且计算节点、路由节点和存储节点均可以按照需求进行弹性扩容，在保障了集群健壮性的同时，也使得整个集群的灵活度大大提升，用户可以根据自己业务情况有侧重的在框架范围内增加主机资源，避免主机资源的浪费。同时该框架也填补了OpenGauss平台缺少分布式解决方案的问题，有效的解决了因日后并发度的提高带来的OpenGauss平台数据处理能力不足的问题。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于数据页路由的分布式存储方法，其特征在于，包括：
数据库模块创建并发送第一数据页，所述第一数据页包括目标地址信息以及源地址信息；
路由服务器接收所述第一数据页，并在所述第一数据页中加入路由地址信息得到第二数据页，之后发送所述第二数据页至数据存储模块进行保存。
2.根据权利要求1所述的基于数据页路由的分布式存储方法，其特征在于，所述发送所述第二数据页至数据存储模块进行存储的步骤之后包括：
所述数据库模块在接收到数据页查询请求时，判断所述数据页查询请求对应的目标数据页是否在内存中；
若确定所述数据页查询请求对应的目标数据页不在内存中，则加载所述目标数据页，并通过所述路由服务器查找所述目标数据页对应的路由信息，并根据所述目标数据页对应的路由信息在所述数据存储模块查找并反馈所述目标数据页。
3.根据权利要求2所述的基于数据页路由的分布式存储方法，其特征在于，在所述数据库模块在接收到数据页查询请求的步骤之前包括：
所述数据存储模块发送第二数据页保存成功信号至所述路由服务器；
所述路由服务器保存所述第二数据页的路由信息，并发送保存完成信息至所述数据库模块。
4.根据权利要求3所述的基于数据页路由的分布式存储方法，其特征在于，所述反馈所述目标数据页的步骤包括：
所述数据存储模块发送所述目标数据页至所述路由服务器；
所述路由服务器发送所述目标数据页至所述数据库模块。
5.根据权利要求2-4中任一项所述的基于数据页路由的分布式存储方法，其特征在于，若确定所述数据页查询请求对应的目标数据页在内存中，则直接读取所述目标数据页。
6.一种基于数据页路由的分布式存储系统，其特征在于，包括：
数据库模块，用于创建并发送第一数据页，所述第一数据页包括目标地址信息以及源地址信息；
路由服务器，用于接收所述第一数据页，并在所述第一数据页中加入路由地址信息得到第二数据页，之后发送所述第二数据页；
数据存储模块，用于接收并保存所述第二数据页。
7.根据权利要求6所述的基于数据页路由的分布式存储系统，其特征在于，所述数据库模块还用于在接收到数据页查询请求时，判断所述数据页查询请求对应的目标数据页是否在内存中；若确定所述数据页查询请求对应的目标数据页不在内存中，则加载所述目标数据页，并通过所述路由服务器查找所述目标数据页对应的路由信息，并根据所述目标数据页对应的路由信息在所述数据存储模块查找并反馈所述目标数据页。
8.根据权利要求7所述的基于数据页路由的分布式存储系统，其特征在于，所述数据存储模块还用于发送第二数据页保存成功信号至所述路由服务器；所述路由服务器保存所述第二数据页的路由信息，并发送保存完成信息至所述数据库模块。
9.根据权利要求8所述的基于数据页路由的分布式存储系统，其特征在于，所述数据库模块还用于若确定所述数据页查询请求对应的目标数据页在内存中，则直接读取所述目标数据页。
10.根据权利要求6-9中任一项所述的基于数据页路由的分布式存储系统，其特征在于，所述数据库模块为数据库集群，以及所述数据存储模块为数据存储集群。
CN202011356741.5A 2020-11-26 2020-11-26 基于数据页路由的分布式存储方法及系统 Active CN112487089B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011356741.5A CN112487089B (zh) 2020-11-26 2020-11-26 基于数据页路由的分布式存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011356741.5A CN112487089B (zh) 2020-11-26 2020-11-26 基于数据页路由的分布式存储方法及系统

Publications (2)

Publication Number Publication Date
CN112487089A true CN112487089A (zh) 2021-03-12
CN112487089B CN112487089B (zh) 2024-07-02

Family

ID=74936105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011356741.5A Active CN112487089B (zh) 2020-11-26 2020-11-26 基于数据页路由的分布式存储方法及系统

Country Status (1)

Country Link
CN (1) CN112487089B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090157641A1 (en) * 2007-12-17 2009-06-18 Frank-Uwe Andersen Query routing in distributed database system
CN103259869A (zh) * 2013-05-31 2013-08-21 重庆大学 一种基于分布式数据存储的集中信息管理方法
CN105242881A (zh) * 2015-10-12 2016-01-13 创新科软件技术（深圳）有限公司 分布式存储系统及其数据读写方法
WO2016078423A1 (zh) * 2014-11-17 2016-05-26 中兴通讯股份有限公司 分布式数据库系统的事务处理方法及装置
CN106708968A (zh) * 2016-12-01 2017-05-24 成都华为技术有限公司 分布式数据库系统和分布式数据库系统中的数据处理方法
CN106802932A (zh) * 2016-12-28 2017-06-06 华为技术有限公司 一种数据库的路由方法、装置及数据库系统
US20170161327A1 (en) * 2015-12-04 2017-06-08 Dell Software, Inc. Distributed database driver middleware
CN108572991A (zh) * 2017-03-14 2018-09-25 北京京东尚科信息技术有限公司 数据库处理方法、装置和存储介质
CN110213069A (zh) * 2018-03-21 2019-09-06 腾讯科技（深圳）有限公司 一种数据转发方法、装置、容灾系统及存储介质
CN110321392A (zh) * 2019-06-25 2019-10-11 北京海量数据技术股份有限公司 基于传感器监测数据文件的数据库管理系统
CN110502507A (zh) * 2019-08-29 2019-11-26 上海达梦数据库有限公司 一种分布式数据库的管理系统、方法、设备和存储介质
CN111104441A (zh) * 2018-10-29 2020-05-05 中国电力科学研究院有限公司 一种数据采集方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090157641A1 (en) * 2007-12-17 2009-06-18 Frank-Uwe Andersen Query routing in distributed database system
CN103259869A (zh) * 2013-05-31 2013-08-21 重庆大学 一种基于分布式数据存储的集中信息管理方法
WO2016078423A1 (zh) * 2014-11-17 2016-05-26 中兴通讯股份有限公司 分布式数据库系统的事务处理方法及装置
CN105242881A (zh) * 2015-10-12 2016-01-13 创新科软件技术（深圳）有限公司 分布式存储系统及其数据读写方法
US20170161327A1 (en) * 2015-12-04 2017-06-08 Dell Software, Inc. Distributed database driver middleware
CN106708968A (zh) * 2016-12-01 2017-05-24 成都华为技术有限公司 分布式数据库系统和分布式数据库系统中的数据处理方法
CN106802932A (zh) * 2016-12-28 2017-06-06 华为技术有限公司 一种数据库的路由方法、装置及数据库系统
CN108572991A (zh) * 2017-03-14 2018-09-25 北京京东尚科信息技术有限公司 数据库处理方法、装置和存储介质
CN110213069A (zh) * 2018-03-21 2019-09-06 腾讯科技（深圳）有限公司 一种数据转发方法、装置、容灾系统及存储介质
CN111104441A (zh) * 2018-10-29 2020-05-05 中国电力科学研究院有限公司 一种数据采集方法及系统
CN110321392A (zh) * 2019-06-25 2019-10-11 北京海量数据技术股份有限公司 基于传感器监测数据文件的数据库管理系统
CN110502507A (zh) * 2019-08-29 2019-11-26 上海达梦数据库有限公司 一种分布式数据库的管理系统、方法、设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
华为云开发者联盟: "一文读懂GaussDB(openGauss)的六大关键技术特性", Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/269114576> *

Also Published As

Publication number Publication date
CN112487089B (zh) 2024-07-02

Similar Documents

Publication Publication Date Title
US9639590B2 (en) Database system and method for searching database
CN107180113B (zh) 一种大数据检索平台
CN102209087A (zh) 在具有存储网络的数据中心进行MapReduce数据传输的方法和系统
CN112434000B (zh) 一种基于hdfs的小文件合并方法、装置及设备
CN107368260A (zh) 基于分布式系统的存储空间整理方法、装置及系统
CN104615606A (zh) 一种Hadoop分布式文件系统及其管理方法
CN104050276A (zh) 一种分布式数据库的缓存处理方法及系统
CN103440290A (zh) 大数据加载系统和方法
CN111143382A (zh) 数据处理方法、系统和计算机可读存储介质
CN111212111A (zh) 对象存储服务管理方法及电子设备
CN111090268A (zh) 基于线程划分的数据采集方法、装置及数据采集设备
CN116521956A (zh) 一种图数据库查询方法、装置、电子设备及存储介质
CN111666344A (zh) 异构数据同步方法及装置
US8527478B1 (en) Handling bulk and incremental updates while maintaining consistency
CN101483668A (zh) 热点数据的网络存储和访问方法、设备及系统
US11061719B2 (en) High availability cluster management of computing nodes
CN111930684A (zh) 基于hdfs的小文件处理方法、装置、设备及存储介质
CN114564458B (zh) 集群间数据同步的方法、装置、设备和存储介质
CN107220003A (zh) 一种数据读取方法和系统
CN112487089A (zh) 基于数据页路由的分布式存储方法及系统
CN115242787B (zh) 消息处理系统及方法
CN116578609A (zh) 一种基于倒排索引的分布式搜索方法及装置
CN113468182B (zh) 一种数据存储方法及系统
CN116107801A (zh) 交易处理方法及相关产品
CN113076197A (zh) 负载均衡方法及装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant