CN112905615B - 一种基于顺序校验的分布式一致性协议提交方法及系统 - Google Patents
一种基于顺序校验的分布式一致性协议提交方法及系统 Download PDFInfo
- Publication number
- CN112905615B CN112905615B CN202110228813.6A CN202110228813A CN112905615B CN 112905615 B CN112905615 B CN 112905615B CN 202110228813 A CN202110228813 A CN 202110228813A CN 112905615 B CN112905615 B CN 112905615B
- Authority
- CN
- China
- Prior art keywords
- module
- distributed
- node
- sql statement
- commandid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
- H04L43/0811—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking connectivity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
- H04L67/141—Setup of application sessions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
Abstract
本发明公开了一种基于顺序校验的分布式一致性协议提交方法及系统，属于分布式数据库开发领域；所述的方法的具体步骤包括：S1利用客户端按照约定的通信方式与分布式数据库集群建立长连接；S2数据库执行SQL语句查询流程；S3在完成SQL语句解析后将其中涉及的操作转换成对应类型的Request；本发明方法利用高内聚低耦合的思想，将用户数据从分布式共识模块中解耦，形成独立的用户数据处理模块，可以与分布式共识模块并行，在降低分布式共识模块性能开销的同时，提升分布式共识达成共识的效率，进而提升分布式数据库整体的处理能力，提升分布式数据库的性能，同时还增加了共识模块的可移植性和可重用性。
Description
技术领域
本发明公开一种基于顺序校验的分布式一致性协议提交方法及系统，涉及分布式数据库开发技术领域。
背景技术
随着现代科技的高速发展，越来越多的技术得到了普及。互联网在诞生还不到一百年的时间里，将触角延伸至人类社会的各个角落，给人类文明带来了翻天覆地的变化，并且随着移动互联网的普及，这种变化呈现出不断加速的趋势。人类社会在快速发展的过程中，由人类活动所生产的数据也在急速的增长。数据库在为一种存储数据的IT基础软件，传统的单机数据库越来越受限于系统可扩展性、系统性能以及投入产出比，于是分布式数据库就应运而生。分布式数据库在理论上具有线性扩展的能力，完全突破单机数据的性能瓶颈，彻底消除用户对数据库无法支持业务高速发展的担忧。由于分布式数据库是利用计算机网络将物理空间上分散的多个存储单元连接成逻辑结构上一体的数据库，因此其具有如下特点：物理空间上的分布性、逻辑结构上的整体性以及独立站点的自治性。基于上述分布式数据库的这三个特点进一步推导出，在分布式数据库中数据的分布必须是完全透明的，而且需要按照既定的分布式一致性算法达成共识，同时还需要允许存在适当的数据冗余。像Google F1、CockroachDB、OceanBase、TiDB等是目前比较知名的分布式数据库产品，在数据库内部，数据的分布是透明，利用分布式一致性算法，例如PAXOS与RAFT，实现多个分散存储单元(存储副本)之间数据的一致性，通常会根据业务的需要对数据副本的数量进行设置，常用的是3副本或是5副本。这样在不超过半数的副本发生故障的情况下，不会影响整个数据库系统的可用性；
RAFT模块是为了达成共识，但是却需要携带用户数据，并且在Entry中CommandID只占8个字节，因此用户数据出现在Entry中是一种冗余，这不但会增减RAFT各个节点间收发数据的数量给网络带宽造成影响，而且还会降低RAFT达成共识的效率，同时RAFT Log还需要落盘，而外增加了存储成本故现发明一种基于顺序校验的分布式一致性协议提交方法及系统，以解决上述问题。
发明内容
本发明针对现有技术的问题，提供一种基于顺序校验的分布式一致性协议提交方法及系统，所采用的技术方案为：一种基于顺序校验的分布式一致性协议提交方法，所述的方法的具体步骤包括：
S1利用客户端按照约定的通信方式与分布式数据库集群建立长连接；
S2数据库执行SQL语句查询流程；
S3在完成SQL语句解析后将其中涉及的操作转换成对应类型的Request。
所述S1利用客户端按照约定的通信方式与分布式数据库集群建立长连接的具体步骤包括：
S101用户按照约定的通信分布方式连接客户端；
S102测试服务器连接状态；
S103网关通过客户端将服务器连接成功信号返回用户端启动连接。
所述S2数据库执行SQL语句查询流程的具体步骤包括：
S201SQL语句生成解析并执行计划；
S202根据元数据获得SQL语句涉及的用户数据所在具体节点；
S203通过分发模块将解析生成的Request发往目标节点；
S204在目标节点内找到目标存储引擎，在目标存储引擎内找到目标副本。
所述S3在完成SQL语句解析后将其中涉及的操作转换成对应类型的Request的具体步骤包括：
S301将WriteBatch封装进RaftCommand并写入ProposalData中；
S302利用GRPC将ProposalData发给其他副本，其他副本进行缓存，RAFT组中各节点达成多数派共识；
S303其他副本从Entry中取出CommandID，与通过GRPC收到的ProposalData中解析出的CommandID按照达成共识的先后顺序进行比对；
S304将ProposalData中解析出的CommandID以及RaftCommand写入cmdAppBatch；
S305将WriteBatch应用到下层的存储引擎中。
一种基于顺序校验的分布式一致性协议提交系统，所述的系统具体包括连接模块、执行模块和转换模块：
连接模块：利用客户端按照约定的通信方式与分布式数据库集群建立长连接；
执行模块：数据库执行SQL语句查询流程；
转换模块：在完成SQL语句解析后将其中涉及的操作转换成对应类型的Request。
所述连接模块具体包括通信模块、测试模块和启动模块：
通信模块：用户按照约定的通信分布方式连接客户端；
测试模块：测试服务器连接状态；
启动模块：网关通过客户端将服务器连接成功信号返回用户端启动连接。
所述执行模块具体包括语句处理模块、节点定位模块、节点发送模块和副本定位模块：
语句处理模块：SQL语句生成解析并执行计划；
节点定位模块：根据元数据获得SQL语句涉及的用户数据所在具体节点；
节点发送模块：通过分发模块将解析生成的Request发往目标节点；
副本定位模块：在目标节点内找到目标存储引擎，在目标存储引擎内找到目标副本。
所述转换模块具体包括封装模块、共识模块、提取模块、写入模块和应用模块：
封装模块：将WriteBatch封装进RaftCommand并写入ProposalData中；
共识模块：利用GRPC将ProposalData发给其他副本，其他副本进行缓存，RAFT组中各节点达成多数派共识；
提取模块：其他副本从Entry中取出CommandID，与通过GRPC收到的ProposalData中解析出的CommandID按照达成共识的先后顺序进行比对；
写入模块：将ProposalData中解析出的CommandID以及RaftCommand写入cmdAppBatch；
应用模块：将WriteBatch应用到下层的存储引擎中。
本发明的有益效果为：
显著降低一致性算法模块中各节点之间数据收发量；
显著降低一致性算法模块中各节点之间网络带宽占用；
显著降低一致性算法模块中各节点磁盘I/O；
显著提高一致性算法模块中各节点之间通信效率；
显著降低一致性算法模块与数据库其他模块的耦合程度；
使得一致性算法模块的可移植性大大增强。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明方法的流程图；图2是本发明系统的结构示意图；图3是分布式数据库SQL查询执行流程图；图4是CockroachDB数据库中SQL查询的执行流程示意图；图5是顺序校验的分布式一致性提交协议流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
在图3中展示了在CockroachDB数据库19.1版本中Request从产生到应用的底层的存储引擎数据流转的全过程；在完成SQL语句的解析之后，将其中涉及的操作转换成对应类型的Request，例如图4中展示的PutRequest和IncrementRequest,多个Request组成BatchRequest；在BatchRequest到达目标副本后，会将包含其中的Request中的Key与Value取出，进行统一编码写入WriteBatch封装进RaftCommand，这也是确保最终数据的一致性，同时根据RaftCommand生成CommandID；在到达RAFT模块之前，将encodeCommand封装进Entry，然后交给RAFT模块达成多数派共识；当共识达成之后，就需要将encodeCommand从Entry中取出来，解析出CommandID与RaftCommand，最终将WriteBatch作用到底层存储引擎；在上述流程中可以看出，RAFT模块是为了达成共识，但是却需要携带用户数据，并且在Entry中CommandID只占8个字节，因此用户数据出现在Entry中是一种冗余，这不但会增减RAFT各个节点间收发数据的数量给网络带宽造成影响，而且还会降低RAFT达成共识的效率，同时RAFT Log还需要落盘，而外增加了存储成本，基于此提出了本发明；
实施例一：
一种基于顺序校验的分布式一致性协议提交方法，所述的方法的具体步骤包括：
S1利用客户端按照约定的通信方式与分布式数据库集群建立长连接；
S2数据库执行SQL语句查询流程；
S3在完成SQL语句解析后将其中涉及的操作转换成对应类型的Request；
本发明提供一种基于顺序校验的分布式一致性协议提交放大，目前的分布式数据库系统中都是将用户数据进行封装后传入分布式一致性算法模块，例如RAFT,利用分布式一致性算法在多个副本之间达成共识，本实施例以CockroachDB分布式数据库为例，它使用RAFT算法作为分布式一致性算法模块，图1是在CockroachDB数据库上执行一条SQL查询的执行流程示意图，整个执行过程可以分为连接阶段和执行阶段；
在连接阶段，首先按照S1利用客户端按照约定的通信方式与分布式数据库集群建立长连接，为下一步的SQL查询做好准备，然后数据库在执行阶段按照S2执行SQL语句查询流程，在完成SQL语句解析后再按照S3将其中涉及的操作转换成对应类型的Request；
本发明方法利用高内聚低耦合的思想，将用户数据从分布式共识模块中解耦，形成独立的用户数据处理模块，可以与分布式共识模块并行，在降低分布式共识模块性能开销的同时，提升分布式共识达成共识的效率，进而提升分布式数据库整体的处理能力，提升分布式数据库的性能，同时还增加了共识模块的可移植性和可重用性；
进一步的，所述S1利用客户端按照约定的通信方式与分布式数据库集群建立长连接的具体步骤包括：
S101用户按照约定的通信分布方式连接客户端；
S102测试服务器连接状态；
S103网关通过客户端将服务器连接成功信号返回用户端启动连接；
进一步的，所述S2数据库执行SQL语句查询流程的具体步骤包括：
S201SQL语句生成解析并执行计划；
S202根据元数据获得SQL语句涉及的用户数据所在具体节点；
S203通过分发模块将解析生成的Request发往目标节点；
S204在目标节点内找到目标存储引擎，在目标存储引擎内找到目标副本；
在执行阶段，由于分布式数据库拥有多个存储节点，SQL语句进行解析并生成执行计划之后，会根据元数据获得SQL语句涉及的用户数据所在具体节点，通过分发模块将解析生成的Request发往目标节点，在目标节点内找到目标存储引擎，在目标存储引擎内找到目标副本；为了避免发生数据不一致，多个副本之间必须要先达成多数派共识之后才能将SQL语句中涉及的操作作用于目标数据，这里多数派共识的达成是依赖RAFT算法来实现的；
再进一步的，所述S3在完成SQL语句解析后将其中涉及的操作转换成对应类型的Request的具体步骤包括：
S301将WriteBatch封装进RaftCommand并写入ProposalData中；
S302利用GRPC将ProposalData发给其他副本，其他副本进行缓存，RAFT组中各节点达成多数派共识；
S303其他副本从Entry中取出CommandID，与通过GRPC收到的ProposalData中解析出的CommandID按照达成共识的先后顺序进行比对；
S304将ProposalData中解析出的CommandID以及RaftCommand写入cmdAppBatch；
S305将WriteBatch应用到下层的存储引擎中；
整体技术实现如图3所示，主要的变化是在WriteBatch封装进RaftCommand并写入ProposalData之后，利用GRPC将ProposalData发给其他副本，其他副本进行缓存；
另一点变化是encodeCommand不再包含RaftCommand，这样RAFT模块需要传输的数据将会极大地压缩；等到RAFT组中各节点达成多数派共识以后，其他副本会从Entry中取出CommandID，与通过GRPC收到的ProposalData中解析出的CommandID按照达成共识的先后顺序进行比对，当两者完全一致时，说明RAFT节点对RaftCommand中的WriteBatch已经达成了多数派共识；
将ProposalData中解析出的CommandID以及RaftCommand写入cmdAppBatch，最终将WriteBatch应用到下层的存储引擎中去；通常由于集群中各个存储节点状态不一致，会导致RAFT模块重新发送包含Entry的消息，当Entry中包含用户数据时，这种消息的重发会造成额外的性能开销，还会使得多数派共识达成的效率大大降低；
本发明方法能够从RAFT模块中将用户数据抽离，独立成单独发送与缓存处理的模块，使得共识模块和数据处理模块并行，有效提升分布式数据库系统的处理能力，同时降低不必要的性能开销。
实施例二：
一种基于顺序校验的分布式一致性协议提交系统，所述的系统具体包括连接模块、执行模块和转换模块：
连接模块：利用客户端按照约定的通信方式与分布式数据库集群建立长连接；
执行模块：数据库执行SQL语句查询流程；
转换模块：在完成SQL语句解析后将其中涉及的操作转换成对应类型的Request；
进一步的，所述连接模块具体包括通信模块、测试模块和启动模块：
通信模块：用户按照约定的通信分布方式连接客户端；
测试模块：测试服务器连接状态；
启动模块：网关通过客户端将服务器连接成功信号返回用户端启动连接；
进一步的，所述执行模块具体包括语句处理模块、节点定位模块、节点发送模块和副本定位模块：
语句处理模块：SQL语句生成解析并执行计划；
节点定位模块：根据元数据获得SQL语句涉及的用户数据所在具体节点；
节点发送模块：通过分发模块将解析生成的Request发往目标节点；
副本定位模块：在目标节点内找到目标存储引擎，在目标存储引擎内找到目标副本；
再进一步的，所述转换模块具体包括封装模块、共识模块、提取模块、写入模块和应用模块：
封装模块：将WriteBatch封装进RaftCommand并写入ProposalData中；
共识模块：利用GRPC将ProposalData发给其他副本，其他副本进行缓存，RAFT组中各节点达成多数派共识；
提取模块：其他副本从Entry中取出CommandID，与通过GRPC收到的ProposalData中解析出的CommandID按照达成共识的先后顺序进行比对；
写入模块：将ProposalData中解析出的CommandID以及RaftCommand写入cmdAppBatch；
应用模块：将WriteBatch应用到下层的存储引擎中。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种基于顺序校验的分布式一致性协议提交方法，其特征是所述的方法的具体步骤包括：
S1利用客户端按照约定的通信方式与分布式数据库集群建立长连接；
S2数据库执行SQL语句查询流程；
S3在完成SQL语句解析后将其中涉及的操作转换成对应类型的Request，具体步骤包括：
S301将WriteBatch封装进RaftCommand并写入ProposalData中；
S302利用GRPC将ProposalData发给其他副本，其他副本进行缓存，RAFT组中各节点达成多数派共识；
S303其他副本从Entry中取出CommandID，与通过GRPC收到的ProposalData中解析出的CommandID按照达成共识的先后顺序进行比对；
S304将ProposalData中解析出的CommandID以及RaftCommand写入cmdAppBatch；
S305将WriteBatch应用到下层的存储引擎中。
2.根据权利要求1所述的方法，其特征是所述S1利用客户端按照约定的通信方式与分布式数据库集群建立长连接的具体步骤包括：
S101用户按照约定的通信分布方式连接客户端；
S102测试服务器连接状态；
S103网关通过客户端将服务器连接成功信号返回用户端启动连接。
3.根据权利要求2所述的方法，其特征是所述S2数据库执行SQL语句查询流程的具体步骤包括：
S201SQL语句生成解析并执行计划；
S202根据元数据获得SQL语句涉及的用户数据所在具体节点；
S203通过分发模块将解析生成的Request发往目标节点；
S204在目标节点内找到目标存储引擎，在目标存储引擎内找到目标副本。
4.一种基于顺序校验的分布式一致性协议提交系统，其特征是所述的系统具体包括连接模块、执行模块和转换模块：
连接模块：利用客户端按照约定的通信方式与分布式数据库集群建立长连接；
执行模块：数据库执行SQL语句查询流程；
转换模块：在完成SQL语句解析后将其中涉及的操作转换成对应类型的Request，具体包括封装模块、共识模块、提取模块、写入模块和应用模块：
封装模块：将WriteBatch封装进RaftCommand并写入ProposalData中；
共识模块：利用GRPC将ProposalData发给其他副本，其他副本进行缓存，RAFT组中各节点达成多数派共识；
提取模块：其他副本从Entry中取出CommandID，与通过GRPC收到的ProposalData中解析出的CommandID按照达成共识的先后顺序进行比对；
写入模块：将ProposalData中解析出的CommandID以及RaftCommand写入cmdAppBatch；
应用模块：将WriteBatch应用到下层的存储引擎中。
5.根据权利要求4所述的系统，其特征是所述连接模块具体包括通信模块、测试模块和启动模块：
通信模块：用户按照约定的通信分布方式连接客户端；
测试模块：测试服务器连接状态；
启动模块：网关通过客户端将服务器连接成功信号返回用户端启动连接。
6.根据权利要求5所述的系统，其特征是所述执行模块具体包括语句处理模块、节点定位模块、节点发送模块和副本定位模块：
语句处理模块：SQL语句生成解析并执行计划；
节点定位模块：根据元数据获得SQL语句涉及的用户数据所在具体节点；
节点发送模块：通过分发模块将解析生成的Request发往目标节点；
副本定位模块：在目标节点内找到目标存储引擎，在目标存储引擎内找到目标副本。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110228813.6A CN112905615B (zh) | 2021-03-02 | 2021-03-02 | 一种基于顺序校验的分布式一致性协议提交方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110228813.6A CN112905615B (zh) | 2021-03-02 | 2021-03-02 | 一种基于顺序校验的分布式一致性协议提交方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112905615A CN112905615A (zh) | 2021-06-04 |
| CN112905615B true CN112905615B (zh) | 2023-03-24 |
Family
ID=76108574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110228813.6A Active CN112905615B (zh) | 2021-03-02 | 2021-03-02 | 一种基于顺序校验的分布式一致性协议提交方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112905615B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115550274A (zh) * | 2021-06-29 | 2022-12-30 | 华为技术有限公司 | 一种数据流量控制方法及相关装置 |
| CN115551109A (zh) * | 2021-06-29 | 2022-12-30 | 华为技术有限公司 | 无线通信方法、装置和无线分布式系统 |
| CN115421698A (zh) * | 2022-08-30 | 2022-12-02 | 敏于行(北京)科技有限公司 | 基于声明式和分布式账本的数据处理方法、装置及电子装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107491485A (zh) * | 2016-09-21 | 2017-12-19 | 广州特道信息科技有限公司 | 生成执行计划的方法、计划单元和分布式NewSQL数据库系统 |
| CN111680105A (zh) * | 2020-06-15 | 2020-09-18 | 浙江创邻科技有限公司 | 基于区块链的分布式关系型数据库的管理方法及系统 |
| CN112328700A (zh) * | 2020-11-26 | 2021-02-05 | 北京海量数据技术股份有限公司 | 一种分布式数据库 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10614098B2 (en) * | 2010-12-23 | 2020-04-07 | Mongodb, Inc. | System and method for determining consensus within a distributed database |
| US9201742B2 (en) * | 2011-04-26 | 2015-12-01 | Brian J. Bulkowski | Method and system of self-managing nodes of a distributed database cluster with a consensus algorithm |
| CN103336782B (zh) * | 2013-05-30 | 2016-09-21 | 莱诺斯科技（北京）股份有限公司 | 一种关系型分布式数据库系统 |
| CN105808776A (zh) * | 2016-03-29 | 2016-07-27 | 中国建设银行股份有限公司 | 一种分布式数据库的数据管理系统及方法 |
| CN107481140B (zh) * | 2017-07-24 | 2021-02-09 | 湖南搜云网络科技股份有限公司 | 凭证标识码处理方法及系统、服务器及存储介质 |
| CN107784103A (zh) * | 2017-10-27 | 2018-03-09 | 北京人大金仓信息技术股份有限公司 | 一种访问hdfs分布式存储系统的标准接口 |
| CN111241589A (zh) * | 2018-11-29 | 2020-06-05 | 华为技术有限公司 | 一种数据库系统、节点和方法 |
| CN110399388A (zh) * | 2019-07-29 | 2019-11-01 | 中国工商银行股份有限公司 | 数据查询方法、系统和设备 |
| CN111259062B (zh) * | 2020-01-15 | 2023-08-01 | 山东省电子口岸有限公司 | 一种能够保证分布式数据库全表查询语句结果集顺序的方法和装置 |
| CN111858097A (zh) * | 2020-07-22 | 2020-10-30 | 安徽华典大数据科技有限公司 | 分布式数据库系统、数据库访问方法 |
| CN112364278A (zh) * | 2020-11-23 | 2021-02-12 | 浪潮云信息技术股份公司 | 一种基于CockroachDB底层键值数据分类优化方法 |
-
2021
- 2021-03-02 CN CN202110228813.6A patent/CN112905615B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107491485A (zh) * | 2016-09-21 | 2017-12-19 | 广州特道信息科技有限公司 | 生成执行计划的方法、计划单元和分布式NewSQL数据库系统 |
| CN111680105A (zh) * | 2020-06-15 | 2020-09-18 | 浙江创邻科技有限公司 | 基于区块链的分布式关系型数据库的管理方法及系统 |
| CN112328700A (zh) * | 2020-11-26 | 2021-02-05 | 北京海量数据技术股份有限公司 | 一种分布式数据库 |
Non-Patent Citations (1)
| Title |
|---|
| 分布式数据库的数据一致性怎么保证（其中有raft算法）;想飞的IT猪;《CSDN博客》;20200222;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112905615A (zh) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112905615B (zh) | 一种基于顺序校验的分布式一致性协议提交方法及系统 | |
| CN104731569B (zh) | 一种数据处理方法及相关设备 | |
| US20230273912A1 (en) | Data processing method and apparatus for blockchain network, computer device, and computer-readable storage medium | |
| CN114201421B (zh) | 一种数据流处理方法、存储控制节点及可读存储介质 | |
| CN111177161A (zh) | 数据处理方法、装置、计算设备和存储介质 | |
| US20230418836A1 (en) | Input/output proxy method and apparatus for mimic redis database | |
| CN112764946B (zh) | 跨进程数据传输方法、装置、电子设备和存储介质 | |
| CN104750428A (zh) | 块储存存取和网关模块、储存系统和方法与内容递送装置 | |
| CN112615759B (zh) | 全链路压测组件、全链路压测方法及装置 | |
| CN111262917A (zh) | 一种基于fpga云平台的远端数据搬移装置和方法 | |
| US20230370285A1 (en) | Block-chain-based data processing method, computer device, computer-readable storage medium | |
| CN113835870A (zh) | 数据处理方法及系统 | |
| CN113626416A (zh) | 数据校验的方法、装置、计算设备和存储介质 | |
| CN113660307B (zh) | 一种算法综合集成服务系统 | |
| CN112988884B (zh) | 大数据平台数据存储方法及装置 | |
| US20070067488A1 (en) | System and method for transferring data | |
| CN110096543B (zh) | 应用程序的数据操作方法、装置、服务器和介质 | |
| US20230044165A1 (en) | Systems, methods, and apparatus for remote data transfers to memory | |
| CN116303789A (zh) | 多分片多副本数据库并行同步方法、装置及可读介质 | |
| CN113938269B (zh) | 一种文件分片上传校验方法和系统 | |
| CN112231409B (zh) | 数据库同步的初始化装载方法、装置、设备和存储介质 | |
| CN114185519A (zh) | 一种优化Spark和机器学习框架整合的方法及装置 | |
| CN113610527A (zh) | 联盟链的交易方法、装置、系统、终端设备及存储介质 | |
| CN110309191B (zh) | 存储业务数据的方法、装置和系统 | |
| CN109241362B (zh) | 区块生成方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |