CN105426427A - 基于raid 0 存储的mpp 数据库集群副本实现方法 - Google Patents

基于raid 0 存储的mpp 数据库集群副本实现方法 Download PDF

Info

Publication number
CN105426427A
CN105426427A CN201510740873.0A CN201510740873A CN105426427A CN 105426427 A CN105426427 A CN 105426427A CN 201510740873 A CN201510740873 A CN 201510740873A CN 105426427 A CN105426427 A CN 105426427A
Authority
CN
China
Prior art keywords
copy
data
replica
mpp
raid0
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510740873.0A
Other languages
English (en)
Inventor
王洋
李晓鹏
陈训逊
赵殿奎
吴震
蒋旭
谭炜波
赵雪静
王洋洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TIANJIN SHENZHOU GENERAL DATA CO Ltd
National Computer Network and Information Security Management Center
Original Assignee
TIANJIN SHENZHOU GENERAL DATA CO Ltd
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TIANJIN SHENZHOU GENERAL DATA CO Ltd, National Computer Network and Information Security Management Center filed Critical TIANJIN SHENZHOU GENERAL DATA CO Ltd
Priority to CN201510740873.0A priority Critical patent/CN105426427A/zh
Publication of CN105426427A publication Critical patent/CN105426427A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273—Asynchronous replication or reconciliation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Abstract

本发明涉及一种基于RAID？0存储的MPP数据库集群副本实现方法，其技术特点是包括副本分布算法模块、副本状态维护模块、访问重定向模块、数据一致性维护模块并通过以下步骤实现：进行数据库存储部署；计算副本存储位置；创建副本存储实体；进行副本元信息维护；进行副本数据访问；使用数据一致性维护模块进行副本数据一致性维护。本发明设计合理，其为MPP数据库集群引入系统层面的数据冗余，通过牺牲一定的存储空间来换取数据安全，提高了系统可用性；当出现硬件故障或副本数据被破坏(失效)时，系统自动将对该数据分片的访问导向另一个可用副本，实现对外不间断服务,并且解决单一数据并发访问“过热”问题，提高系统的吞吐性能。

Description

基于RAID 0 存储的MPP 数据库集群副本实现方法
技术领域
本发明属于数据库技术领域，主要涉及一种基于RAID0存储的MPP数据库集群副本实现方法。
背景技术
在大数据时代，企业生产的数据规模越来越大；同时，企业借助数据进行商务分析的深度和复杂度的要求也越来越高。传统单一服务器模式的数据库在处理规模、计算强度等方面遇到前所未有的挑战。在大型服务器采购、维护、升级高成本的情况下，基于硬件的、完全不共享体系的MPP数据库集群成为企业首选。
如图1所示，MPP数据库集群通过高速网络将多个数据库服务器联合起来组成集群，可以实现综合性能优于单个大型服务器。MPP数据库集群依据并行计算原理，将大规模数据预先进行切片处理，并将数据分片存储到各个节点服务器中，其充分利用每个节点服务器的计算能力，使得计算靠近数据，实现就地处理。在进行数据访问时，可以将任务并行的分散到多个节点服务器上，待每个节点上计算完成后，将各自部分的结果汇总并得到最终的结果。其充分利用每个节点服务器的能力，使得集群系统具有线性扩展能力和无与伦比的处理性能。
数据分片技术可以充分利用各个节点硬件资源，提高系统并行处理能力，但也会带来单点故障问题。随着企业的业务增长，数据库集群系统处理的数据规模越来越大，当存储容量到达PB级别时，系统中的存储节点可能成百上千。数据规模的增长、访问负载的增大，使得节点故障成为一种常态，数据可靠性面临严峻挑战；同时，在数据日益成为企业的核心财产时，如何保证数据的安全、实现容灾也是企业日益关注的问题。因此，需要寻找解决方案实现系统的高可用，现有的做法是使用HA技术为各个节点服务器做双机。如图2所示，高可用HA方案采用HA硬件冗余方案，集群需要为N数量的节点配置M数量的备机(N≥M)。虽然HA技术可以在一定程度上提高系统的可用性，但仍存在诸多问题：
(1)无法充分利用硬件资源。HA技术要求一台服务器处于工作状态，另一台服务器处于备用状态，不参与工作。并且需要二者配置相同的硬、软件，保证发生故障切换后，备机不会成为短板。由于整个系统存在相当大比例数量的服务器处于常备状态，严重浪费硬件资源，增加企业的采购成本。
(2)数据安全性低。使用HA技术，主、备服务器通过磁盘阵列共享一份数据，数据的安全系数低、丢失风险高。在存储层面，虽然磁盘阵列自身带有冗余功能，可以在一定程度上提高存储安全性；但由于过于透明，集群系统无法灵活制定冗余数据的访问、维护策略。
(3)故障节点切换实时性差。HA的故障切换有一定的时间延迟，较理想的延迟是控制在秒级别。在系统崩溃、网络故障等比较复杂的情况下，切换可能需要更长的时间延迟，达到分钟级别。当然，MPP类型的应用对系统恢复时间并没有过于严苛的要求，但企业仍然无法接受较长的延迟。
此外，通过多机热备、硬件IPMI等一些手段可以降低问题带来的影响，但始终无法从根本上解决；并且，随着数据、节点规模的增长，问题会愈发严重。
发明内容
本发明的目的在于克服现有技术的不足，提供一种设计合理、安全可靠且使用方便的基于RAID0存储的MPP数据库集群副本实现方法。
本发明解决现有的技术问题是采取以下技术方案实现的：
一种基于RAID0存储的MPP数据库集群副本实现方法，包括副本分布算法模块、副本状态维护模块、访问重定向模块、数据一致性维护模块并通过以下步骤实现：
步骤1、使用副本分布算法模块进行数据库存储部署；
步骤2、使用副本分布算法模块计算副本存储位置；
步骤3、使用副本分布算法模块创建副本存储实体；
步骤4、使用副本状态维护模块进行副本元信息维护；
步骤5、使用访问重定向模块进行副本数据访问；
步骤6、使用数据一致性维护模块进行副本数据一致性维护。
而且，所述步骤1采用RIAD0方式的磁盘阵列或本地磁盘，并在MPP集群的系统层面进行数据冗余。
而且，所述步骤2采用Hash算法中的冲突处理机制进行副本位置计算，并采用如下两个不同的步长处理Hash冲突：
(1)在第一个步长为数据的分片数目时，即在MPP集群的节点数目足够多的情况下，将副本散列在与本数据所有的分片非相关的节点上；
(2)在第二个步长为1时，即在使用分片数目做步长选择失败的情况下，将不同数据分片的副本之间进行重叠存储。
而且，所述步骤3的具体创建方法为：数据分片的副本采用基本表存储数据；副本同原数据分片使用相同的表名，且使用不同的模式名。
而且，所述副本元信息包括副本的节点映射信息、状态信息，该副本的节点映射信息类同分片的映射信息，该副本的节点状态信息包括负载信息和有效性信息，负载信息记录的是副本所在节点服务器的CPU和内存负载状况，有效性信息包括在线、离线、失效三种状态。
而且，所述步骤5进行副本数据的访问包括查询操作和修改操作，所述查询操作方法为：根据副本的状态信息，进行过滤故障和均衡负载，将查询导向最合适的位置；所述修改操作方法为：当某一个数据分片的副本都没有更新成功时，则本次更新失败，否则更新成功，并将出错节点标识为失效。
而且，所述步骤6进行副本数据一致性维护包括手动维护和自动维护。
而且，所述的手动维护方法为：用户使用对外接口进行维护，如果分片的有效副本数目超过默认副本数目，则将多余的副本删除，只保留默认副本数目或者用户指定的副本数目；如果某个分片的有效副本数目少于默认副本数目，则增加副本至默认副本数目或用户指定的副本数目。
而且，所述的自动维护方法为：判断有效副本的数目，当有效副本数目不在最小副本数目阈值和最大副本数目阈值范围内时进行维护；在自动维护时，如果失效副本为数据失效，则截断原副本表数据；如果失效副本为结构失效，则新建副本表，并通过同步数据、更新元信息方法对失效副本进行处理。
本发明的优点和积极效果是：
1、本发明为MPP数据库集群引入系统层面的数据冗余，通过牺牲一定的存储空间来换取数据安全，提高了系统可用性。当出现硬件故障或副本数据被破坏(失效)时，系统自动将对该数据分片的访问导向另一个可用副本，实现对外不间断服务。
2、本发明能够优化并发访问，根据副本的负载信息，将访问导向最合适的副本，解决单一数据并发访问“过热”问题，提高系统的吞吐性能。由于在MPP集群系统层面实现了数据冗余，因此，在存储层面，数据安全不再是关注重点，可以使用存储性能最高的RAID0方式，充分发挥数据“条带化”的高IO性能。
3、本发明能够自动完成对副本的存储、管理、状态、数据维护，上述维护操作对外完全“透明”，不会对已有项目的移植带来额外影响，同时也可以方便地实现多数据中心之间的数据镜像备份。
附图说明
图1是现有MPP数据库集群体系结构图；
图2是高可用HA方案结构图；
图3是本发明的MPP集群副本架构图；
图4是副本的元信息组织结构图；
图5是本发明的副本数据一致性维护流程图。
具体实施方式
以下结合附图对本发明实施例做进一步详述：
一种基于RAID0存储的MPP数据库集群副本实现方法，是在MPP集群数据分片基础上，为每一个分片创建一定数量的副本，按照一定的算法规则散列在存储系统中，并实现对副本数据的同步修改，并严格保证数据一致。本发明主要包括副本分布算法模块、副本状态维护模块、访问重定向模块、数据一致性维护模块。副本对外表现“透明”，所有功能模块都将由系统自行驱动，用户仍然使用原有的系统API接口访问。本发明提供了一些必要的对外接口，供用户设置一些指导性推荐策略，例如副本数目。本发明的基本架构参见图3。
一种基于RAID0存储的MPP数据库集群副本实现方法，包括以下步骤：
步骤1、使用副本分布算法模块进行数据库存储部署。
本发明采用RIAD0方式的磁盘阵列或本地存储。RAID0将数据进行“条带化”分布存储，其充分利用总线的带宽，可以显著提高磁盘整体存取性能。但是，由于RAID0不提供数据冗余，数据的安全性最差。本发明在MPP集群的系统层面进行了数据冗余，实现系统自身对数据的安全保障，可以对存储设备自身层面的数据安全保障技术不做要求。
步骤2、使用副本分布算法模块计算副本存储位置
副本存放位置选择的基本策略是尽量降低副本出现于同一节点服务器的几率，提高并发访问性能。在本步骤中，选择算法核心为Hash算法，借助于Hash算法中的冲突处理机制进行副本位置计算。数据分片的所有副本视为Hash键相同的一系列值，各个副本位置的选择即为相同Hash键的冲突处理过程。
在计算副本存储位置时，采用两个不同的步长处理哈希冲突：
(1)第一个步长为数据的分片数目，在MPP集群的节点数目足够多的情况下，可以将副本散列在与本数据所有的分片非相关的节点上。
(2)第二个步长为1，在MPP集群的空闲节点有限的情况下，即在使用分片数目做步长选择失败的情况下，可以实现不同数据分片的副本之间的重叠存储，以保证副本最终创建成功。
副本分布算法的伪代码如下：
步骤3、使用副本分布算法模块创建副本存储实体。
本发明所使用的节点为关系数据库，数据分布到各个节点后，采用基本表的形式进行存储。为统一访问接口，数据分片的副本同样采用基本表存储数据。为避免同一存储节点内部的命名冲突，副本同原数据分片使用相同的表名而不同的模式名。
步骤4、使用副本状态维护模块进行副本元信息维护
本发明在MPP集群内部统一记录了副本的节点映射信息、状态信息，上述信息作为副本元信息用作数据访问、副本维护的参考依据。
副本元信息组织结构如图4所示。副本的节点映射信息类同分片的映射信息，是数据访问的地址信息，该技术是使用的节点服务器的网络地址。副本的节点状态信息包括两方面：负载、有效性，其中，负载信息记录的是副本所在节点服务器的CPU、内存等负载状况：有效性包括在线、离线、失效三种状态。
步骤5、使用访问重定向模块进行副本数据的访问。
查询操作：查询数据时，本发明可以根据副本的状态信息，进行过滤故障和均衡负载，将查询导向最合适的位置。
修改操作：由于故障的不确定性，会导致副本数据的修改操作无法完全成功，仅当某一个数据分片的副本都没有更新成功，则本次更新失败，否则更新成功，并将出错节点标识为失效。
步骤6、使用数据一致性维护模块进行副本数据一致性维护。
在生产环境中，节点故障被视为一种常态，因此，系统需要能够及时检测、记录副本状态，减少副本失效影响数据安全、降低系统可靠性。
副本数据一致性维护流程如图5所示。本发明的副本维护功能支持两种模式：手动维护和自动维护。其中，自动维护模式增加了阈值(最小副本数目，最大副本数目)处理逻辑。
手动维护：对外接口，方便用户灵活制定维护策略。如果分片的有效副本数目超过默认副本数目，需要将多余的副本删除，只保留默认副本数目或者用户指定的副本数目。如果某个分片的有效副本数目少于默认副本数目，则需要增加副本至默认副本数目或用户指定的副本数目。
自动维护：由系统后台线程定时完成。需要预先判断有效副本的数目，并通过合理配置阈值(最小副本数目，最大副本数目)以防止自动维护发生抖动，只有在有效副本数目不在阈值范围内时才需要维护。该定时操作并非是固定在一个具体的时间点，而是一个可以通过系统参数设置的时间范围。在该时间范围内，系统会自动选择负载最低的时刻进行副本维护，保证系统优先对外可用。
失效副本种类包括：数据失效和结构失效。在数据失效时，截断原副本表数据，如果是结构失效，则新建副本表，最后通过同步数据、更新Catalog信息实现对失效副本的处理功能。
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (9)

1.一种基于RAID0存储的MPP数据库集群副本实现方法，其特征在于包括副本分布算法模块、副本状态维护模块、访问重定向模块、数据一致性维护模块并通过以下步骤实现：
步骤1、使用副本分布算法模块进行数据库存储部署；
步骤2、使用副本分布算法模块计算副本存储位置；
步骤3、使用副本分布算法模块创建副本存储实体；
步骤4、使用副本状态维护模块进行副本元信息维护；
步骤5、使用访问重定向模块进行副本数据访问；
步骤6、使用数据一致性维护模块进行副本数据一致性维护。
2.根据权利要求1所述的基于RAID0存储的MPP数据库集群副本实现方法，其特征在于：所述步骤1采用RIAD0方式的磁盘阵列或本地磁盘，并在MPP集群的系统层面进行数据冗余。
3.根据权利要求1所述的基于RAID0存储的MPP数据库集群副本实现方法，其特征在于：所述步骤2采用Hash算法中的冲突处理机制进行副本位置计算，并采用如下两个不同的步长处理Hash冲突：
(1)在第一个步长为数据的分片数目时，即在MPP集群的节点数目足够多的情况下，将副本散列在与本数据所有的分片非相关的节点上；
(2)在第二个步长为1时，即在使用分片数目做步长选择失败的情况下，将不同数据分片的副本之间进行重叠存储。
4.根据权利要求1所述的基于RAID0存储的MPP数据库集群副本实现方法，其特征在于：所述步骤3的具体创建方法为：数据分片的副本采用基本表存储数据；副本同原数据分片使用相同的表名，且使用不同的模式名。
5.根据权利要求1所述的基于RAID0存储的MPP数据库集群副本实现方法，其特征在于：所述副本元信息包括副本的节点映射信息、状态信息，该副本的节点映射信息类同分片的映射信息，该副本的节点状态信息包括负载信息和有效性信息，负载信息记录的是副本所在节点服务器的CPU和内存负载状况，有效性信息包括在线、离线、失效三种状态。
6.根据权利要求1所述的基于RAID0存储的MPP数据库集群副本实现方法，其特征在于：所述步骤5进行副本数据的访问包括查询操作和修改操作，所述查询操作方法为：根据副本的状态信息，进行过滤故障和均衡负载，将查询导向最合适的位置；所述修改操作方法为：当某一个数据分片的副本都没有更新成功时，则本次更新失败，否则更新成功，并将出错节点标识为失效。
7.根据权利要求1所述的基于RAID0存储的MPP数据库集群副本实现方法，其特征在于：所述步骤6进行副本数据一致性维护包括手动维护和自动维护。
8.根据权利要求7所述的基于RAID0存储的MPP数据库集群副本实现方法，其特征在于：所述的手动维护方法为：用户使用对外接口进行维护，如果分片的有效副本数目超过默认副本数目，则将多余的副本删除，只保留默认副本数目或者用户指定的副本数目；如果某个分片的有效副本数目少于默认副本数目，则增加副本至默认副本数目或用户指定的副本数目。
9.根据权利要求7所述的基于RAID0存储的MPP数据库集群副本实现方法，其特征在于：所述的自动维护方法为：判断有效副本的数目，当有效副本数目不在最小副本数目阈值和最大副本数目阈值范围内时进行维护；在自动维护时，如果失效副本为数据失效，则截断原副本表数据；如果失效副本为结构失效，则新建副本表，并通过同步数据、更新元信息方法对失效副本进行处理。
CN201510740873.0A 2015-11-04 2015-11-04 基于raid 0 存储的mpp 数据库集群副本实现方法 Pending CN105426427A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510740873.0A CN105426427A (zh) 2015-11-04 2015-11-04 基于raid 0 存储的mpp 数据库集群副本实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510740873.0A CN105426427A (zh) 2015-11-04 2015-11-04 基于raid 0 存储的mpp 数据库集群副本实现方法

Publications (1)

Publication Number Publication Date
CN105426427A true CN105426427A (zh) 2016-03-23

Family

ID=55504639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510740873.0A Pending CN105426427A (zh) 2015-11-04 2015-11-04 基于raid 0 存储的mpp 数据库集群副本实现方法

Country Status (1)

Country Link
CN (1) CN105426427A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354585A (zh) * 2016-08-31 2017-01-25 天津南大通用数据技术股份有限公司 数据库集群多数据分片备份的部署方法及装置
CN106844487A (zh) * 2016-12-23 2017-06-13 航天星图科技（北京）有限公司 一种基于库复制的分布式存储系统
WO2018019119A1 (zh) * 2016-07-26 2018-02-01 北京理工大学 一种面向连续数据存储的动态局部并行数据布局方法及装置
CN107659634A (zh) * 2017-09-20 2018-02-02 郑州云海信息技术有限公司 邻居节点选择的方法、装置、设备及计算机存储介质
CN108199882A (zh) * 2017-12-29 2018-06-22 东软集团股份有限公司 分布式数据库的节点分配方法、装置、储存介质和设备
CN109753243A (zh) * 2018-12-26 2019-05-14 深圳市网心科技有限公司 副本部署方法、云服务器及存储介质
CN109901948A (zh) * 2019-02-18 2019-06-18 国家计算机网络与信息安全管理中心 无共享数据库集群异地双活容灾系统
CN110515960A (zh) * 2019-08-27 2019-11-29 江苏华库数据技术有限公司 一种保证数据一致性的mpp数据库提交控制方法
CN110807039A (zh) * 2019-10-29 2020-02-18 深圳供电局有限公司 一种云计算环境下数据一致性维护系统及方法
US11269745B2 (en) 2019-10-29 2022-03-08 International Business Machines Corporation Two-node high availability storage system
CN114398371A (zh) * 2022-01-13 2022-04-26 九有技术(深圳)有限公司 数据库集群系统多副本分片方法、装置、设备及存储介质
CN114925073A (zh) * 2022-06-14 2022-08-19 九有技术(深圳)有限公司 支持灵活动态分片的分布式数据库架构及其实现方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609454A (zh) * 2012-01-12 2012-07-25 浪潮(北京)电子信息产业有限公司 一种分布式文件系统中的副本管理方法
CN103034739A (zh) * 2012-12-29 2013-04-10 天津南大通用数据技术有限公司 一种分布式存储系统及其更新和查询方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609454A (zh) * 2012-01-12 2012-07-25 浪潮(北京)电子信息产业有限公司 一种分布式文件系统中的副本管理方法
CN103034739A (zh) * 2012-12-29 2013-04-10 天津南大通用数据技术有限公司 一种分布式存储系统及其更新和查询方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
叶小平，汤庸，汤娜，潘明编著: "《数据库系统教程（第2版）》", 31 August 2012 *
张利群编著: "《机器博弈中的数据结构与基本方法》", 30 November 2014 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018019119A1 (zh) * 2016-07-26 2018-02-01 北京理工大学 一种面向连续数据存储的动态局部并行数据布局方法及装置
CN106354585B (zh) * 2016-08-31 2019-04-30 天津南大通用数据技术股份有限公司 数据库集群多数据分片备份的部署方法及装置
CN106354585A (zh) * 2016-08-31 2017-01-25 天津南大通用数据技术股份有限公司 数据库集群多数据分片备份的部署方法及装置
CN106844487A (zh) * 2016-12-23 2017-06-13 航天星图科技（北京）有限公司 一种基于库复制的分布式存储系统
CN107659634B (zh) * 2017-09-20 2020-08-21 苏州浪潮智能科技有限公司 邻居节点选择的方法、装置、设备及计算机存储介质
CN107659634A (zh) * 2017-09-20 2018-02-02 郑州云海信息技术有限公司 邻居节点选择的方法、装置、设备及计算机存储介质
CN108199882A (zh) * 2017-12-29 2018-06-22 东软集团股份有限公司 分布式数据库的节点分配方法、装置、储存介质和设备
CN109753243A (zh) * 2018-12-26 2019-05-14 深圳市网心科技有限公司 副本部署方法、云服务器及存储介质
CN109901948B (zh) * 2019-02-18 2022-04-12 国家计算机网络与信息安全管理中心 无共享数据库集群异地双活容灾系统
CN109901948A (zh) * 2019-02-18 2019-06-18 国家计算机网络与信息安全管理中心 无共享数据库集群异地双活容灾系统
CN110515960A (zh) * 2019-08-27 2019-11-29 江苏华库数据技术有限公司 一种保证数据一致性的mpp数据库提交控制方法
CN110515960B (zh) * 2019-08-27 2022-06-10 江苏华库数据技术有限公司 一种保证数据一致性的mpp数据库提交控制方法
CN110807039A (zh) * 2019-10-29 2020-02-18 深圳供电局有限公司 一种云计算环境下数据一致性维护系统及方法
US11269745B2 (en) 2019-10-29 2022-03-08 International Business Machines Corporation Two-node high availability storage system
CN114398371A (zh) * 2022-01-13 2022-04-26 九有技术(深圳)有限公司 数据库集群系统多副本分片方法、装置、设备及存储介质
CN114925073A (zh) * 2022-06-14 2022-08-19 九有技术(深圳)有限公司 支持灵活动态分片的分布式数据库架构及其实现方法
CN114925073B (zh) * 2022-06-14 2024-04-16 深圳九有数据库有限公司 支持灵活动态分片的分布式数据库系统及其实现方法

Similar Documents

Publication Publication Date Title
CN105426427A (zh) 基于raid 0 存储的mpp 数据库集群副本实现方法
CN108170768B (zh) 数据库同步方法、装置及可读介质
US9317524B2 (en) Location assignment daemon (LAD) for a distributed storage system
EP3961365A1 (en) Synchronously replicating datasets and other managed objects to cloud-based storage systems
JP5254611B2 (ja) 固定内容分散データ記憶のためのメタデータ管理
CN112470142A (zh) 在存储系统的中介器服务之间进行切换
CN102024016B (zh) 一种分布式文件系统快速数据恢复的方法
US11442961B2 (en) Active transaction list synchronization method and apparatus
US20120246116A1 (en) System and method for data replication between heterogeneous databases
CN103929500A (zh) 一种分布式存储系统的数据分片方法
EP3745269B1 (en) Hierarchical fault tolerance in system storage
US20130262389A1 (en) Parallel Backup for Distributed Database System Environments
CN104735110B (zh) 元数据管理方法和系统
CN111031096A (zh) 一种基于拟态防御的分布式存储系统构建方法
CN102955720A (zh) 一种提高ext文件系统稳定性的方法
CN102033889A (zh) 分布式数据库并行处理系统
Moniz et al. Blotter: Low latency transactions for geo-replicated storage
CN109739435A (zh) 文件存储和更新方法及装置
CN103428288B (zh) 基于分区状态表和协调节点的副本同步方法
CN103365740B (zh) 一种数据冷备方法及装置
CN105323271B (zh) 一种云计算系统以及云计算系统的处理方法和装置
US11079960B2 (en) Object storage system with priority meta object replication
CN107943615B (zh) 基于分布式集群的数据处理方法与系统
CN116389233A (zh) 容器云管理平台主备切换系统、方法、装置和计算机设备
CN109936594A (zh) 一种基于电力数据的云存储系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160323