CN111858097A - 分布式数据库系统、数据库访问方法 - Google Patents

分布式数据库系统、数据库访问方法 Download PDF

Info

Publication number
CN111858097A
CN111858097A CN202010711805.2A CN202010711805A CN111858097A CN 111858097 A CN111858097 A CN 111858097A CN 202010711805 A CN202010711805 A CN 202010711805A CN 111858097 A CN111858097 A CN 111858097A
Authority
CN
China
Prior art keywords
module
cluster
storage
client
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010711805.2A
Other languages
English (en)
Inventor
方小牛
林佳乐
段欢欢
张玄
夏素萍
陈慧清
卢志昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Huadian Big Data Technology Co ltd
Original Assignee
Anhui Huadian Big Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Huadian Big Data Technology Co ltd filed Critical Anhui Huadian Big Data Technology Co ltd
Priority to CN202010711805.2A priority Critical patent/CN111858097A/zh
Publication of CN111858097A publication Critical patent/CN111858097A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/547Remote procedure calls [RPC]; Web services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/252Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种分布式数据库系统,由服务器端和客户端组成,服务器端包括元数据管理模块、存储模块和集群管理模块,元数据管理模块和存储模块均以集群方式工作运行,每个集群都拥有多个节点,且同一集群中的多个节点运行相同的服务,元数据管理模块和存储模块之间通过心跳互交,集群管理模块借助Zookeeper实现,客户端客户端通过网络请求首先连接至元数据管理模块,返回具体的存储模块信息后再向存储模块发起网络请求,存储模块完成对应的操作请求之后返回客户端操作结果。本发明将键值存储引擎LevelDB与分布式共识算法Raft相结合,提高了系统的读写时间,提高了KV数据库的可用性。

Description

分布式数据库系统、数据库访问方法
技术领域
本发明涉及数据库领域,具体的是分布式数据库系统、数据库访问方法。
背景技术
分布式数据库系统通常使用较小的计算机系统,每台计算机可单独放在一个地方,每台计算机中都可能有DBMS的一份完整拷贝副本,或者部分拷贝副本,并具有自己局部的数据库,位于不同地点的许多计算机通过网络互相连接,共同组成一个完整的、全局的逻辑上集中、物理上分布的大型数据库。分布式系统中最基础最重要的问题就是数据一致性。基于数据容灾和提高系统性能考虑,分布式系统中数据会有多个副本,如何保证副本数据的一致性就变得尤其重要。
分布式系统中因为节点位于不同的地域,通过网络通信进行信息交互,因此网络分区不可避免,此时就只能在一致性和可用性中做出权衡。若是优先考虑可用性,则可能存在数据不一致的时刻,一致性模型就变为最终一致性;若是优先考虑一致性,一致性模型就变为强一致性,但网络分区时无法保证一致性就会降低可用性,系统处于不可用状态。
发明内容
为解决上述背景技术中提到的不足,本发明的目的在于提供一种分布式数据库系统、数据库访问方法,本发明将键值存储引擎LevelDB与分布式共识算法Raft相结合,通过添加集群管理模块、网络通信模块构建分布式数据库系统,通过数据分区算法将数据分布到多个存储集群中,提供远大于单机存储容量的存储服务,通过Raft一致性算法来保证副本集内数据的强一致性,提高了分布式数据库的可用性。
本发明的目的可以通过以下技术方案实现:
一种分布式数据库系统,由服务器端和客户端组成,服务器端包括元数据管理模块、存储模块和集群管理模块,元数据管理模块和存储模块均以集群方式工作运行,每个集群都拥有多个节点,且同一集群中的多个节点运行相同的服务,元数据管理模块和存储模块之间通过心跳互交,客户端通过网络请求首先连接至元数据管理模块,返回具体的存储模块信息后再向存储模块发起网络请求,存储模块完成对应的操作请求之后返回客户端操作结果;
元数据管理模块负责分区信息的管理,请求路由和集群负载均衡,元数据管理模块处于集群的中心位置,元数据管理模块负责向Client和StorageServer提供当前元数据信息,包括数据分区信息,元数据集群成员信息等,保持与Storage Server的心跳通信,收集Storage Server的状态信息,如存储容量等,对集群进行负载均衡,当发生热点分区时将数据分布调整平衡;
存储模块负责Key-value数据库的读写请求,Storage Server以raft group方式管理,每个raft group中包括一个主副本节点和多个从副本节点,存储模块由多个storageserver group组成,每个group负责特定分区的读写请求;
存储模块的各个storage server group在心跳中上传group状态信息,方便元数据管理集群获取整个系统的运行状态,发现数据倾斜、热点数据之后,进行负载均衡。
服务器端还包括集群管理模块,主要借助Zookeeper实现,存储模块和元数据管理模块在启动时,在Zookeeper指定目录下创建znode,如果节点出现故障,不能与Zookeeper进行心跳联系,Zookeeper就会产生相应的报告信息,以此用于集群管理。
优选地,存储模块基于LevelDB改造实现,借助LevelDB实现数据的读写功能,存储服务器集群总体上分为多个group,每个group负责特定分区的数据,每个group由多个Storage Server组成,存储相同的数据,每个group的服务器数量通常为三个,一个领导者和两个追随者,每个Storage Server内部大致分为三层,分别是服务接入层、数据同步层和数据存储层。
优选地,服务接入层主要由RPC模块和命令处理模块组成,数据同步层主要由分布式一致性算法Raft组成,用于将接入层接收的请求同步到group副本集中,数据存储层主要由LevelDB存储引擎组成。
优选地,元数据管理集群总体上为一个Raft集群,由三个MetaInfo Server组成,每个存储相同的元数据信息,每个MetaInfo Server内部大致分为三层,分别是接入层、数据同步层和服务层。
优选地,元数据模块的接入层主要包括RPC模块和命令处理模块,元数据服务的数据同步层主要由分布式一致性复制协议Raft组成,用于将元数据信息同步到元数据集群中,服务层完成请求路由和负载均衡。
优选地,服务器还包括数据同步模块,所述数据同步模块功能为Leader选举和日志复制,首先在副本集中通过选举选出Leader,然后在Leader的带领下完成日志复制
优选地,客户端包括用户互交模块、网络通信模块和缓存模块;
用户交互模块通过数据库系统提供的用户操作接口与后台程序完成交互,负责接收用户请求、解析请求和处理回复结果;
网络通信模块负责将用户交互模块解析的用户服务请求,封装序列化成为网络通信数据包,在发送给服务器,并将服务器的返回数据包反序列化,将结果返回给用户;
缓存模块用于缓存路由表,只要路由表没有发生变更,就不用每次都经过元数据管理路由,当发生路由表变更时,元数据管理集群向client发送请求,更新路由表。
本发明还一种分布式数据库系统访问方法,包括数据写入流程和数据读取流程;
数据写入流程包括以下步骤:
(1)Client连接MetaInfo Server,查询具体待写入的Storage Server地址;
(2)MetaInfo Server根据关键字key,查找路由表返回client具体写入的StorageServer Group中领导者地址;
(3)Client根据MetaInfo Server返回的信息向Storage Server Group中领导者发起写入请求;
(4)Storage Server Group中的领导者将写入操作同步到追随者;
(5)追随者向领导者返回写入成功标志;
(6)领导者收到集群中大多数成员的成功标志之后,回复client写入结果;
数据读取流程包括以下步骤:
S1、Client端直接通过缓存在本地的路由表查找出关键字key所在的sorageserver group中的领导者地址,然后向其发起读取请求;
S2、领导者在接收到Client端的读取请求之后,直接返回客户端结果。
本发明的有益效果:
1、本发明将键值存储引擎LevelDB与分布式共识算法Raft相结合,通过添加集群管理模块、网络通信模块构建分布式数据库系统,通过数据分区算法将数据分布到多个存储集群中,提供远大于单机存储容量的存储服务,通过Raft一致性算法来保证副本集内数据的强一致性,提高了系统的读写时间,提高了KV数据库的可用性。
2、本发明本系统对于只读操作允许从Follower读取,Follower在接收到client的只读请求之后,向Leader获取当期readIndex,即允许读取的日志最大index,通过判断readIndex与自身commitedIndex大小关系觉得是否响应客户端只读操作。Follower在接收到client只读请求之后会与Leader的readIndex进行同步,以此保证数据最新的。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明分布式数据库总体框架构图;
图2是本发明存储服务器集群构架图;
图3是本发明元数据管理模块构架图;
图4是本发明数据写入流程图;
图5是本发明数据读取流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明的描述中,需要理解的是,术语“开孔”、“上”、“下”、“厚度”、“顶”、“中”、“长度”、“内”、“四周”等指示方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的组件或元件必须具有特定的方位,以特定的方位构造和操作,因此不能理解为对本发明的限制。
一种分布式数据库系统,由服务器端和客户端组成,服务器端包括元数据管理模块、存储模块和集群管理模块,元数据管理模块和存储模块均以集群方式工作运行,每个集群都拥有多个节点,且同一集群中的多个节点运行相同的服务,元数据管理模块和存储模块之间通过心跳互交,客户端客户端通过网络请求首先连接至元数据管理模块,返回具体的存储模块信息后再向存储模块发起网络请求,存储模块完成对应的操作请求之后返回客户端操作结果;
元数据管理模块负责分区信息的管理,请求路由和集群负载均衡,元数据管理模块处于集群的中心位置;
存储模块负责Key-value数据库的读写请求,Storage Server以raft group方式管理,每个raft group中包括一个主副本节点和多个从副本节点,存储模块由多个storageserver group组成,每个group负责特定分区的读写请求;
存储模块的各个storage server group在心跳中上传group状态信息,方便元数据管理集群获取整个系统的运行状态,发现数据倾斜、热点数据之后,进行负载均衡。
服务器端还包括集群管理模块,主要借助Zookeeper实现,存储模块和元数据管理模块在启动时,在Zookeeper指定目录下创建znode,如果节点出现故障,不能与Zookeeper进行心跳联系,Zookeeper就会产生相应的报告信息,以此用于集群管理。
存储模块基于LevelDB改造实现,借助LevelDB实现数据的读写功能,存储服务器集群总体上分为多个group,每个group负责特定分区的数据,每个group由多个StorageServer组成,存储相同的数据,每个group的服务器数量通常为三个,一个领导者和两个追随者,每个Storage Server内部大致分为三层,分别是服务接入层、数据同步层和数据存储层;
服务接入层主要由RPC模块和命令处理模块组成,数据同步层主要由分布式一致性算法Raft组成,用于将接入层接收的请求同步到group副本集中,数据存储层主要由LevelDB存储引擎组成。
元数据管理集群总体上为一个Raft集群,由三个MetaInfo Server组成,每个存储相同的元数据信息,每个MetaInfo Server内部大致分为三层,分别是接入层、数据同步层和服务层;
元数据模块的接入层主要包括RPC模块和命令处理模块,元数据服务的数据同步层主要由分布式一致性复制协议Raft组成,用于将元数据信息同步到元数据集群中,服务层完成请求路由和负载均衡。
客户端包括用户互交模块、网络通信模块和缓存模块;
用户交互模块通过数据库系统提供的用户操作接口与后台程序完成交互,负责接收用户请求、解析请求和处理回复结果;
网络通信模块负责将用户交互模块解析的用户服务请求,封装序列化成为网络通信数据包,在发送给服务器,并将服务器的返回数据包反序列化,将结果返回给用户;
缓存模块用于缓存路由表,只要路由表没有发生变更,就不用每次都经过元数据管理路由,当发生路由表变更时,元数据管理集群向client发送请求,更新路由表。
本发明还一种分布式数据库系统访问方法,包括数据写入流程和数据读取流程;
数据写入流程包括以下步骤:
(1)Client连接MetaInfo Server,查询具体待写入的Storage Server地址;
(2)MetaInfo Server根据关键字key,查找路由表返回client具体写入的StorageServer Group中领导者地址;
(3)client根据MetaInfo Server返回的信息向Storage Server Group中领导者发起写入请求;
(4)Storage Server Group中的领导者将写入操作同步到追随者;
(5)追随者向领导者返回写入成功标志;
(6)领导者收到集群中大多数成员的成功标志之后,回复client写入结果;
数据读取流程包括以下步骤:
S1、Client端直接通过缓存在本地的路由表查找出关键字key所在的sorageserver group中的领导者地址,然后向其发起读取请求;
S2、领导者在接收到Client端的读取请求之后,直接返回客户端结果。
在本说明书的描述中,参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。

Claims (9)

1.一种分布式数据库系统,其特征在于,由服务器端和客户端组成,服务器端包括元数据管理模块、存储模块和集群管理模块,元数据管理模块和存储模块均以集群方式工作运行,每个集群都拥有多个节点,且同一集群中的多个节点运行相同的服务,元数据管理模块和存储模块之间通过心跳互交,客户端通过网络请求首先连接至元数据管理模块,返回具体的存储模块信息后再向存储模块发起网络请求,存储模块完成对应的操作请求之后返回客户端操作结果;
元数据管理模块负责分区信息的管理,请求路由和集群负载均衡,元数据管理模块处于集群的中心位置;
存储模块负责Key-value数据库的读写请求,Storage Server以raft group方式管理,每个raft group中包括一个主副本节点和多个从副本节点,存储模块由多个storageserver group组成,每个group负责特定分区的读写请求;
存储模块的各个storage server group在心跳中上传group状态信息,方便元数据管理集群获取整个系统的运行状态,发现数据倾斜、热点数据之后,进行负载均衡;
集群管理模块借助Zookeeper实现,存储模块和元数据管理模块在启动时,在Zookeeper指定目录下创建znode,如果节点出现故障,不能与Zookeeper进行心跳联系,Zookeeper就会产生相应的报告信息,以此用于集群管理。
2.根据权利要求1所述的分布式数据库系统,其特征在于,所述存储模块集群总体上分为多个group,每个group负责特定分区的数据,每个group由多个Storage Server组成,存储相同的数据,每个group的服务器数量通常为三个,一个领导者和两个追随者,每个Storage Server内部大致分为三层,分别是服务接入层、数据同步层和数据存储层。
3.根据权利要求2所述的分布式数据库系统,其特征在于,所述服务接入层主要由RPC模块和命令处理模块组成,所述数据同步层主要由分布式一致性算法Raft组成,用于将接入层接收的请求同步到group副本集中,所述数据存储层主要由LevelDB存储引擎组成。
4.根据权利要求3所述的分布式数据库系统,其特征在于,所述数据存储层借助LevelDB实现数据存取服务,客户端服务请求经过上层的接入层之后,数据存储层将数据同步层同步的序列化之后的日志解析为原始的客户端服务请求,然后调用LevelDB的存储接口,将数据存储在LevelDB中,服务调用的结果返回给接入层,再由接入层返回给客户端。
5.根据权利要求1所述的分布式数据库系统,其特征在于,所述集群管理模块集群总体上为一个Raft集群,由三个MetaInfo Server组成,每个存储相同的元数据信息,每个MetaInfo Server内部大致分为三层,分别是接入层、数据同步层和服务层。
6.根据权利要求4所述的分布式数据库系统,其特征在于,所述元数据模块的接入层主要包括RPC模块和命令处理模块,元数据服务的数据同步层主要由分布式一致性复制协议Raft组成,用于将元数据信息同步到元数据集群中,服务层完成请求路由和负载均衡。
7.根据权利要求1所述的分布式数据库系统,其特征在于,所述服务器还包括数据同步模块,所述数据同步模块功能为Leader选举和日志复制,首先在副本集中通过选举选出Leader,然后在Leader的带领下完成日志复制。
8.根据权利要求1所述的分布式数据库系统,其特征在于,所述客户端包括用户互交模块、网络通信模块和缓存模块;
所述用户交互模块通过数据库系统提供的用户操作接口与后台程序完成交互,负责接收用户请求、解析请求和处理回复结果;
所述网络通信模块负责将用户交互模块解析的用户服务请求,封装序列化成为网络通信数据包,在发送给服务器,并将服务器的返回数据包反序列化,将结果返回给用户;
所述缓存模块用于缓存路由表,只要路由表没有发生变更,就不用每次都经过元数据管理路由,当发生路由表变更时,元数据管理集群向client发送请求,更新路由表。
9.一种分布式数据库系统访问方法,其特征在于,包括数据写入流程和数据读取流程;
所述数据写入流程包括以下步骤:
(1)Client连接MetaInfo Server,查询具体待写入的Storage Server地址;
(2)MetaInfo Server根据关键字key,查找路由表返回client具体写入的StorageServer Group中领导者地址;
(3)client根据MetaInfo Server返回的信息向Storage Server Group中领导者发起写入请求;
(4)Storage Server Group中的领导者将写入操作同步到追随者;
(5)追随者向领导者返回写入成功标志;
(6)领导者收到集群中大多数成员的成功标志之后,回复client写入结果;
所述数据读取流程包括以下步骤:
S1、Client端直接通过缓存在本地的路由表查找出关键字key所在的sorage servergroup中的领导者地址,然后向其发起读取请求;
S2、领导者在接收到Client端的读取请求之后,直接返回客户端结果。
CN202010711805.2A 2020-07-22 2020-07-22 分布式数据库系统、数据库访问方法 Pending CN111858097A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010711805.2A CN111858097A (zh) 2020-07-22 2020-07-22 分布式数据库系统、数据库访问方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010711805.2A CN111858097A (zh) 2020-07-22 2020-07-22 分布式数据库系统、数据库访问方法

Publications (1)

Publication Number Publication Date
CN111858097A true CN111858097A (zh) 2020-10-30

Family

ID=72951012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010711805.2A Pending CN111858097A (zh) 2020-07-22 2020-07-22 分布式数据库系统、数据库访问方法

Country Status (1)

Country Link
CN (1) CN111858097A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112328700A (zh) * 2020-11-26 2021-02-05 北京海量数据技术股份有限公司 一种分布式数据库
CN112395294A (zh) * 2020-11-27 2021-02-23 浪潮云信息技术股份公司 一种数据库数据管理方法及系统、数据库
CN112905615A (zh) * 2021-03-02 2021-06-04 浪潮云信息技术股份公司 一种基于顺序校验的分布式一致性协议提交方法及系统
CN113010337A (zh) * 2021-01-21 2021-06-22 腾讯科技(深圳)有限公司 故障检测方法、总控节点、工作节点及分布式系统
CN113190529A (zh) * 2021-04-29 2021-07-30 电子科技大学 一种适用MongoDB数据库的多租户数据共享存储系统
CN113641763A (zh) * 2021-08-31 2021-11-12 优刻得科技股份有限公司 一种分布式时序数据库系统以及电子设备和存储介质
CN113742364A (zh) * 2021-09-10 2021-12-03 拉卡拉支付股份有限公司 数据访问方法、装置、电子设备、存储介质及程序产品
CN114661818A (zh) * 2022-03-17 2022-06-24 杭州欧若数网科技有限公司 图数据库中集群间数据实时同步的方法、系统和介质
CN114697353A (zh) * 2022-05-27 2022-07-01 邹平市供电有限公司 一种分布式存储集群电网数据存储控制方法
CN114942965A (zh) * 2022-06-29 2022-08-26 北京柏睿数据技术股份有限公司 一种数据库主备同步操作的加速方法和系统
CN115599747A (zh) * 2022-04-22 2023-01-13 北京志凌海纳科技有限公司(Cn) 一种分布式存储系统的元数据同步方法、系统及设备
CN115733848A (zh) * 2022-11-16 2023-03-03 北京航空航天大学 一种面向边缘设备的数据分布式存储管理系统
CN115840631A (zh) * 2023-01-04 2023-03-24 中科金瑞(北京)大数据科技有限公司 基于raft的高可用分布式任务调度方法和设备
CN116226139A (zh) * 2023-05-09 2023-06-06 南昌大学 一种适用大规模海洋数据的分布式存储和处理方法及系统
CN116400853A (zh) * 2023-02-21 2023-07-07 北京志凌海纳科技有限公司 分布式块存储系统及面向制造业的缩短故障恢复时间方法
CN116737810A (zh) * 2023-05-06 2023-09-12 清华大学 一种用于分布式时序数据库的共识服务接口
CN117076391A (zh) * 2023-10-12 2023-11-17 长江勘测规划设计研究有限责任公司 一种水利元数据管理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512266A (zh) * 2015-12-03 2016-04-20 曙光信息产业(北京)有限公司 一种实现分布式数据库操作一致性的方法及装置
GB201813951D0 (en) * 2018-08-28 2018-10-10 Palantir Technologies Inc Data storage method and system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512266A (zh) * 2015-12-03 2016-04-20 曙光信息产业(北京)有限公司 一种实现分布式数据库操作一致性的方法及装置
GB201813951D0 (en) * 2018-08-28 2018-10-10 Palantir Technologies Inc Data storage method and system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵江: "基于LevelDB的分布式数据库的研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112328700A (zh) * 2020-11-26 2021-02-05 北京海量数据技术股份有限公司 一种分布式数据库
CN112395294A (zh) * 2020-11-27 2021-02-23 浪潮云信息技术股份公司 一种数据库数据管理方法及系统、数据库
CN113010337A (zh) * 2021-01-21 2021-06-22 腾讯科技(深圳)有限公司 故障检测方法、总控节点、工作节点及分布式系统
CN113010337B (zh) * 2021-01-21 2023-05-16 腾讯科技(深圳)有限公司 故障检测方法、总控节点、工作节点及分布式系统
CN112905615A (zh) * 2021-03-02 2021-06-04 浪潮云信息技术股份公司 一种基于顺序校验的分布式一致性协议提交方法及系统
CN113190529A (zh) * 2021-04-29 2021-07-30 电子科技大学 一种适用MongoDB数据库的多租户数据共享存储系统
CN113190529B (zh) * 2021-04-29 2023-09-19 电子科技大学 一种适用MongoDB数据库的多租户数据共享存储系统
CN113641763A (zh) * 2021-08-31 2021-11-12 优刻得科技股份有限公司 一种分布式时序数据库系统以及电子设备和存储介质
CN113641763B (zh) * 2021-08-31 2023-11-10 优刻得科技股份有限公司 一种分布式时序数据库系统以及电子设备和存储介质
CN113742364A (zh) * 2021-09-10 2021-12-03 拉卡拉支付股份有限公司 数据访问方法、装置、电子设备、存储介质及程序产品
CN113742364B (zh) * 2021-09-10 2023-12-26 拉卡拉支付股份有限公司 数据访问方法、装置、电子设备、存储介质及程序产品
CN114661818A (zh) * 2022-03-17 2022-06-24 杭州欧若数网科技有限公司 图数据库中集群间数据实时同步的方法、系统和介质
CN115599747A (zh) * 2022-04-22 2023-01-13 北京志凌海纳科技有限公司(Cn) 一种分布式存储系统的元数据同步方法、系统及设备
CN114697353A (zh) * 2022-05-27 2022-07-01 邹平市供电有限公司 一种分布式存储集群电网数据存储控制方法
CN114942965A (zh) * 2022-06-29 2022-08-26 北京柏睿数据技术股份有限公司 一种数据库主备同步操作的加速方法和系统
CN114942965B (zh) * 2022-06-29 2022-12-16 北京柏睿数据技术股份有限公司 一种数据库主备同步操作的加速方法和系统
CN115733848A (zh) * 2022-11-16 2023-03-03 北京航空航天大学 一种面向边缘设备的数据分布式存储管理系统
CN115733848B (zh) * 2022-11-16 2024-06-25 北京航空航天大学 一种面向边缘设备的数据分布式存储管理系统
CN115840631B (zh) * 2023-01-04 2023-05-16 中科金瑞(北京)大数据科技有限公司 基于raft的高可用分布式任务调度方法和设备
CN115840631A (zh) * 2023-01-04 2023-03-24 中科金瑞(北京)大数据科技有限公司 基于raft的高可用分布式任务调度方法和设备
CN116400853A (zh) * 2023-02-21 2023-07-07 北京志凌海纳科技有限公司 分布式块存储系统及面向制造业的缩短故障恢复时间方法
CN116400853B (zh) * 2023-02-21 2023-11-07 北京志凌海纳科技有限公司 分布式块存储系统及面向制造业的缩短故障恢复时间方法
CN116737810A (zh) * 2023-05-06 2023-09-12 清华大学 一种用于分布式时序数据库的共识服务接口
CN116226139B (zh) * 2023-05-09 2023-07-28 南昌大学 一种适用大规模海洋数据的分布式存储和处理方法及系统
CN116226139A (zh) * 2023-05-09 2023-06-06 南昌大学 一种适用大规模海洋数据的分布式存储和处理方法及系统
CN117076391A (zh) * 2023-10-12 2023-11-17 长江勘测规划设计研究有限责任公司 一种水利元数据管理系统
CN117076391B (zh) * 2023-10-12 2024-03-22 长江勘测规划设计研究有限责任公司 一种水利元数据管理系统

Similar Documents

Publication Publication Date Title
CN111858097A (zh) 分布式数据库系统、数据库访问方法
US11360854B2 (en) Storage cluster configuration change method, storage cluster, and computer system
US10891267B2 (en) Versioning of database partition maps
EP0926608B1 (en) Distributed persistent storage for intermittently connected clients
US6339793B1 (en) Read/write data sharing of DASD data, including byte file system data, in a cluster of multiple data processing systems
US7743036B2 (en) High performance support for XA protocols in a clustered shared database
EP1330907B1 (en) Method and apparatus for real-time parallel delivery of segments of a large payload file
EP1840766B1 (en) Systems and methods for a distributed in-memory database and distributed cache
CN113535656B (zh) 数据访问方法、装置、设备及存储介质
US20010056461A1 (en) Cluster configuration repository
US11734248B2 (en) Metadata routing in a distributed system
EP1840768A2 (en) Systems and method for a distributed in-memory database
US8572201B2 (en) System and method for providing a directory service network
EP3714378A1 (en) Multi-region, multi-master replication of database tables
CN112162846B (zh) 事务处理方法、设备及计算机可读存储介质
US8478898B2 (en) System and method for routing directory service operations in a directory service network
US11003550B2 (en) Methods and systems of operating a database management system DBMS in a strong consistency mode
Waqas et al. Transaction management techniques and practices in current cloud computing environments: A survey
US10970177B2 (en) Methods and systems of managing consistency and availability tradeoffs in a real-time operational DBMS
EP2502415A2 (en) Record operation mode setting
US20220197761A1 (en) Cloud architecture for replicated data services
CN112559459A (zh) 一种基于云计算的自适应存储分层系统及方法
US9922031B2 (en) System and method for efficient directory performance using non-persistent storage
CN114385577A (zh) 一种分布式文件系统
CA2618938C (en) Data consistency control method and software for a distributed replicated database system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201030

RJ01 Rejection of invention patent application after publication