CN105335448A - 基于分布式环境的数据存储及处理系统 - Google Patents

基于分布式环境的数据存储及处理系统 Download PDF

Info

Publication number
CN105335448A
CN105335448A CN201410401058.7A CN201410401058A CN105335448A CN 105335448 A CN105335448 A CN 105335448A CN 201410401058 A CN201410401058 A CN 201410401058A CN 105335448 A CN105335448 A CN 105335448A
Authority
CN
China
Prior art keywords
data
database
application node
task
cutting table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410401058.7A
Other languages
English (en)
Other versions
CN105335448B (zh
Inventor
戚跃民
吴金坛
冯哲
陈逢源
王文柏
张工厂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Priority to CN201410401058.7A priority Critical patent/CN105335448B/zh
Publication of CN105335448A publication Critical patent/CN105335448A/zh
Application granted granted Critical
Publication of CN105335448B publication Critical patent/CN105335448B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了基于分布式环境的数据存储及处理系统，其包括数据库管理服务器、应用节点管理服务器、多个数据库、全量数据库以及多个应用节点，其中，所述数据库管理服务器接收来自数据源的数据，并基于所述数据的属性和数据切分表将所述数据存储到全量数据库以及多个数据库中的至少一个中，其中，所述数据切分表包含数据的属性与用于存储具有该属性的数据的目标数据库的映射关系。本发明所公开的基于分布式环境的数据存储及处理系统能够自动地进行节点故障处理以及负载均衡并且具有较高的可扩展性。

Description

基于分布式环境的数据存储及处理系统
技术领域
本发明涉及数据存储及处理系统，更具体地，涉及基于分布式环境的数据存储及处理系统。
背景技术
目前，随着计算机和网络应用的日益广泛以及不同领域的业务种类的日益丰富,分布式环境下的数据存储及处理变得越来越重要。
在现有的技术方案中，当整个系统采用多个数据库和数据处理服务器时，为了实现高可用性（即在某一应用节点出现宕机等问题后，该应用节点的数据处理任务能够由其他应用节点接管以确保持续运转，以及在某一数据库出现宕机等问题后，能够从其他备份数据库中获取该数据库中的记录），通常采取如下方式：使用冷备机器并以人工的方式在主备机之间切换。
上述现有的技术方案存在如下问题：操作所用的时间较长，精度较低且易于出错。
因此，存在如下需求：提供能够自动地进行节点故障处理以及负载均衡并且具有较高的可扩展性的基于分布式环境的数据存储及处理系统。
发明内容
为了解决上述现有技术方案所存在的问题，本发明提出了能够自动地进行节点故障处理以及负载均衡并且具有较高的可扩展性的基于分布式环境的数据存储及处理系统。
本发明的目的是通过以下技术方案实现的：
一种基于分布式环境的数据存储及处理系统，所述基于分布式环境的数据存储及处理系统包括：
数据库管理服务器，所述数据库管理服务器接收来自数据源的数据，并基于所述数据的属性和数据切分表将所述数据存储到全量数据库以及多个数据库中的至少一个中，其中，所述数据切分表包含数据的属性与用于存储具有该属性的数据的目标数据库3的映射关系；
多个数据库，每个所述数据库存储符合由所述数据切分表所指示的映射关系的数据；
全量数据库，所述全量数据库存储来自所述数据源的所有数据；
应用节点管理服务器，所述应用节点管理服务器接收来自用户端的数据处理请求，并基于所述数据处理请求向每一个运行状态为“正常”的应用节点发送数据处理指令；
多个应用节点，每个所述应用节点在接收到所述数据处理指令后从任务切分表获取该应用节点针对该数据处理指令而需执行的任务，并随之执行所述任务，其中，所述任务切分表包含任务属性和用于执行具有该属性的任务的目标应用节点的映射关系。
在上面所公开的方案中，优选地，所述数据库管理服务器能够在启动时或者在所述多个数据库中的一个数据库发生故障或者有新的数据库接入系统中时基于预定的数据切分规则及负载均衡算法自动地生成所述数据切分表，其中，所述数据切分规则用于将数据根据其属性进行分组，并基于此定义具有特定属性的数据与用于存储具有该属性的数据的目标数据库的对应关系。
在上面所公开的方案中，优选地，所述应用节点管理服务器能够在启动时或者在所述多个应用节点中的一个应用节点发生故障或者有新的应用节点接入系统中时基于预定的任务切分规则及负载均衡算法自动地生成所述任务切分表，其中，所述任务切分规则用于将数据处理任务根据其属性进行分组，并基于此定义具有特定属性的任务与用于执行具有该属性的任务的目标应用节点的对应关系。
在上面所公开的方案中，优选地，所述数据处理指令包含待处理的任务的属性信息。
在上面所公开的方案中，优选地，所述数据库管理服务器周期性地检测每个数据库的运行状态，并且当检测到所述多个数据库中的一个或多个数据库发生故障或者检测到有新的数据库接入系统中时，所述数据库管理服务器基于所述预定的数据切分规则及负载均衡算法重新生成所述数据切分表，新生成的数据切分表不包含发生故障的数据库，并且包含新接入的数据库，随后基于新生成的数据切分表执行后续的数据存储过程。
在上面所公开的方案中，优选地，所述应用节点管理服务器周期性地检测每个应用节点的运行状态，并且当检测到所述多个应用节点中的一个或多个应用节点发生故障或者检测到有新的应用节点接入系统中时，所述应用节点管理服务器基于所述预定的任务切分规则及负载均衡算法重新生成所述任务切分表，其中，新生成的任务切分表不包含发生故障的应用节点，并且包含新接入的应用节点，随后运行状态为“正常”的应用节点基于新生成的任务切分表执行后续的数据处理过程。
在上面所公开的方案中，优选地，来自所述数据源的同一数据被分别存储到所述多个数据库中的两个以及所述全量数据库中。
在上面所公开的方案中，优选地，所述数据库管理服务器由互为备份的两个物理主机构成。
在上面所公开的方案中，优选地，所述应用节点管理服务器由互为备份的两个物理主机构成。
在上面所公开的方案中，优选地，每个应用节点针对不同类型的数据处理任务运行多个进程，所述多个进程并行处理所述数据处理任务。
本发明所公开的基于分布式环境的数据存储及处理系统具有以下优点：（1）由于能够在应用节点和/或数据库发生故障或者有新的应用节点和/或数据库接入系统中时基于预定的任务切分规则和/或数据切分规则及负载均衡算法重新生成任务切分表和/或数据切分表，故具有高度的可扩展性和高可用性和可靠性；（2）由于数据被存储到分布式的多个数据库中并且数据处理任务被多个应用节点执行，每个应用节点处理一部分数据处理任务，故整个系统具有较高的数据处理性能；（3）整个系统成本较低并且管理便捷。
附图说明
结合附图，本发明的技术特征以及优点将会被本领域技术人员更好地理解，其中：
图1是根据本发明的实施例的基于分布式环境的数据存储及处理系统的示意性结构图。
具体实施方式
图1是根据本发明的实施例的基于分布式环境的数据存储及处理系统的示意性结构图。如图1所示，本发明所公开的基于分布式环境的数据存储及处理系统包括数据库管理服务器1、应用节点管理服务器2、多个数据库3、全量数据库4以及多个应用节点5。所述数据库管理服务器1接收来自数据源的数据，并基于所述数据的属性和数据切分表将所述数据存储到全量数据库4以及多个数据库3中的至少一个中，其中，所述数据切分表包含数据的属性与用于存储具有该属性的数据的目标数据库3的映射关系（即定义具有特定属性的数据由哪个或那些特定的数据库存储）。每个所述数据库3存储符合由所述数据切分表所指示的映射关系的数据。所述全量数据库4存储来自所述数据源的所有数据。所述应用节点管理服务器2接收来自用户端的数据处理请求，并基于所述数据处理请求向每一个运行状态为“正常”的应用节点5发送数据处理指令。每个所述应用节点5在接收到所述数据处理指令后从任务切分表获取该应用节点针对该数据处理指令而需执行的任务，并随之执行所述任务，其中，所述任务切分表包含任务属性和用于执行具有该属性的任务的目标应用节点5的映射关系（即定义具有特定属性的任务由哪个或那些特定的应用节点执行）。
优选地，在本发明所公开的基于分布式环境的数据存储及处理系统中，所述数据库管理服务器1能够在启动时或者在所述多个数据库3中的一个数据库3发生故障或者有新的数据库3接入系统中时基于预定的数据切分规则（其由系统开发人员根据实际需求确定）及负载均衡算法自动地生成所述数据切分表，其中，所述数据切分规则用于将数据根据其属性进行分组（例如，在金融领域中，可以将交易数据按用户ID、商户代码、机构代码、交易地区等属性进行分组），并基于此定义具有特定属性的数据与用于存储具有该属性的数据的目标数据库3的对应关系。
优选地，在本发明所公开的基于分布式环境的数据存储及处理系统中，所述应用节点管理服务器2能够在启动时或者在所述多个应用节点5中的一个应用节点5发生故障或者有新的应用节点5接入系统中时基于预定的任务切分规则（其由系统开发人员根据实际需求确定）及负载均衡算法自动地生成所述任务切分表，其中，所述任务切分规则用于将数据处理任务根据其属性进行分组（即将要处理的全量任务根据任务属性分组成多个小的子任务，该分组规则可以与数据分组规则相关联），并基于此定义具有特定属性的任务与用于执行具有该属性的任务的目标应用节点5的对应关系。
优选地，在本发明所公开的基于分布式环境的数据存储及处理系统中，所述数据处理指令包含待处理的任务的属性信息（例如任务的类型及要素信息）。
优选地，在本发明所公开的基于分布式环境的数据存储及处理系统中，所述数据库管理服务器1周期性地检测每个数据库3的运行状态，并且当检测到所述多个数据库3中的一个或多个数据库3发生故障或者检测到有新的数据库3接入系统中时，所述数据库管理服务器1基于所述预定的数据切分规则及负载均衡算法重新生成所述数据切分表，新生成的数据切分表不包含发生故障的数据库3，并且包含新接入的数据库3，随后基于新生成的数据切分表执行后续的数据存储过程。
优选地，在本发明所公开的基于分布式环境的数据存储及处理系统中，所述应用节点管理服务器2周期性地检测每个应用节点5的运行状态，并且当检测到所述多个应用节点5中的一个或多个应用节点5发生故障或者检测到有新的应用节点5接入系统中时，所述应用节点管理服务器2基于所述预定的任务切分规则及负载均衡算法重新生成所述任务切分表，其中，新生成的任务切分表不包含发生故障的应用节点5，并且包含新接入的应用节点5，随后运行状态为“正常”的应用节点5基于新生成的任务切分表执行后续的数据处理过程。
优选地，在本发明所公开的基于分布式环境的数据存储及处理系统中，来自所述数据源的同一数据被分别存储到所述多个数据库3中的两个以及所述全量数据库4中（即同一数据具有三个互为备份的存储地点）。
优选地，在本发明所公开的基于分布式环境的数据存储及处理系统中，所述数据库管理服务器1由互为备份的两个物理主机构成。
优选地，在本发明所公开的基于分布式环境的数据存储及处理系统中，所述应用节点管理服务器2由互为备份的两个物理主机构成。
优选地，在本发明所公开的基于分布式环境的数据存储及处理系统中，每个应用节点5在完成数据处理任务后将数据处理结果存储到与该数据对应的数据库的相关记录中。
优选地，在本发明所公开的基于分布式环境的数据存储及处理系统中，每个应用节点5针对不同类型的数据处理任务运行多个进程，所述多个进程并行处理所述数据处理任务。
由上可见，本发明所公开的基于分布式环境的数据存储及处理系统具有下列优点：（1）由于能够在应用节点和/或数据库发生故障或者有新的应用节点和/或数据库接入系统中时基于预定的任务切分规则和/或数据切分规则及负载均衡算法重新生成任务切分表和/或数据切分表，故具有高度的可扩展性和高可用性和可靠性；（2）由于数据被存储到分布式的多个数据库中并且数据处理任务被多个应用节点执行，每个应用节点处理一部分数据处理任务，故整个系统具有较高的数据处理性能；（3）整个系统成本较低并且管理便捷。
尽管本发明是通过上述的优选实施方式进行描述的，但是其实现形式并不局限于上述的实施方式。应该认识到：在不脱离本发明主旨和范围的情况下，本领域技术人员可以对本发明做出不同的变化和修改。

Claims (10)

1.一种基于分布式环境的数据存储及处理系统，所述基于分布式环境的数据存储及处理系统包括：
数据库管理服务器，所述数据库管理服务器接收来自数据源的数据，并基于所述数据的属性和数据切分表将所述数据存储到全量数据库以及多个数据库中的至少一个中，其中，所述数据切分表包含数据的属性与用于存储具有该属性的数据的目标数据库3的映射关系；
多个数据库，每个所述数据库存储符合由所述数据切分表所指示的映射关系的数据；
全量数据库，所述全量数据库存储来自所述数据源的所有数据；
应用节点管理服务器，所述应用节点管理服务器接收来自用户端的数据处理请求，并基于所述数据处理请求向每一个运行状态为“正常”的应用节点发送数据处理指令；
多个应用节点，每个所述应用节点在接收到所述数据处理指令后从任务切分表获取该应用节点针对该数据处理指令而需执行的任务，并随之执行所述任务，其中，所述任务切分表包含任务属性和用于执行具有该属性的任务的目标应用节点的映射关系。
2.根据权利要求1所述的基于分布式环境的数据存储及处理系统，其特征在于，所述数据库管理服务器能够在启动时或者在所述多个数据库中的一个数据库发生故障或者有新的数据库接入系统中时基于预定的数据切分规则及负载均衡算法自动地生成所述数据切分表，其中，所述数据切分规则用于将数据根据其属性进行分组，并基于此定义具有特定属性的数据与用于存储具有该属性的数据的目标数据库的对应关系。
3.根据权利要求2所述的基于分布式环境的数据存储及处理系统，其特征在于，所述应用节点管理服务器能够在启动时或者在所述多个应用节点中的一个应用节点发生故障或者有新的应用节点接入系统中时基于预定的任务切分规则及负载均衡算法自动地生成所述任务切分表，其中，所述任务切分规则用于将数据处理任务根据其属性进行分组，并基于此定义具有特定属性的任务与用于执行具有该属性的任务的目标应用节点的对应关系。
4.根据权利要求3所述的基于分布式环境的数据存储及处理系统，其特征在于，所述数据处理指令包含待处理的任务的属性信息。
5.根据权利要求4所述的基于分布式环境的数据存储及处理系统，其特征在于，所述数据库管理服务器周期性地检测每个数据库的运行状态，并且当检测到所述多个数据库中的一个或多个数据库发生故障或者检测到有新的数据库接入系统中时，所述数据库管理服务器基于所述预定的数据切分规则及负载均衡算法重新生成所述数据切分表，新生成的数据切分表不包含发生故障的数据库，并且包含新接入的数据库，随后基于新生成的数据切分表执行后续的数据存储过程。
6.根据权利要求5所述的基于分布式环境的数据存储及处理系统，其特征在于，所述应用节点管理服务器周期性地检测每个应用节点的运行状态，并且当检测到所述多个应用节点中的一个或多个应用节点发生故障或者检测到有新的应用节点接入系统中时，所述应用节点管理服务器基于所述预定的任务切分规则及负载均衡算法重新生成所述任务切分表，其中，新生成的任务切分表不包含发生故障的应用节点，并且包含新接入的应用节点，随后运行状态为“正常”的应用节点基于新生成的任务切分表执行后续的数据处理过程。
7.根据权利要求6所述的基于分布式环境的数据存储及处理系统，其特征在于，来自所述数据源的同一数据被分别存储到所述多个数据库中的两个以及所述全量数据库中。
8.根据权利要求7所述的基于分布式环境的数据存储及处理系统，其特征在于，所述数据库管理服务器由互为备份的两个物理主机构成。
9.根据权利要求8所述的基于分布式环境的数据存储及处理系统，其特征在于，所述应用节点管理服务器由互为备份的两个物理主机构成。
10.根据权利要求9所述的基于分布式环境的数据存储及处理系统，其特征在于，每个应用节点针对不同类型的数据处理任务运行多个进程，所述多个进程并行处理所述数据处理任务。
CN201410401058.7A 2014-08-15 2014-08-15 基于分布式环境的数据存储及处理系统 Active CN105335448B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410401058.7A CN105335448B (zh) 2014-08-15 2014-08-15 基于分布式环境的数据存储及处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410401058.7A CN105335448B (zh) 2014-08-15 2014-08-15 基于分布式环境的数据存储及处理系统

Publications (2)

Publication Number Publication Date
CN105335448A true CN105335448A (zh) 2016-02-17
CN105335448B CN105335448B (zh) 2018-09-21

Family

ID=55285976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410401058.7A Active CN105335448B (zh) 2014-08-15 2014-08-15 基于分布式环境的数据存储及处理系统

Country Status (1)

Country Link
CN (1) CN105335448B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105912601A (zh) * 2016-04-05 2016-08-31 国电南瑞科技股份有限公司 能量管理系统分布式实时内存数据库的分区存储方法
CN106533967A (zh) * 2016-12-08 2017-03-22 北京中安智达科技有限公司 一种可自定义负载均衡策略的数据传输方法
CN107122442A (zh) * 2017-04-24 2017-09-01 上海兴容通信技术有限公司 一种分布式数据库及其访问方法
CN107291720A (zh) * 2016-03-30 2017-10-24 阿里巴巴集团控股有限公司 一种实现批量数据处理的方法、系统和计算机集群
CN107392649A (zh) * 2017-06-29 2017-11-24 无锡智道安盈科技有限公司 营销活动中快速数据自动切分方法
CN107818120A (zh) * 2016-09-14 2018-03-20 博雅网络游戏开发（深圳）有限公司 基于大数据的数据处理方法和装置
CN107844325A (zh) * 2017-10-27 2018-03-27 上海斐讯数据通信技术有限公司 一种分布式数据的获取方法及系统
CN108829798A (zh) * 2018-06-05 2018-11-16 平安科技（深圳）有限公司 基于分布式数据库的数据存储方法及系统
CN109101621A (zh) * 2018-08-09 2018-12-28 中国建设银行股份有限公司 一种数据的批量处理方法及系统
CN111193759A (zh) * 2018-11-15 2020-05-22 中国电信股份有限公司 分布式计算系统、方法和设备
CN111695749A (zh) * 2019-03-14 2020-09-22 北京京东尚科信息技术有限公司 一种分组任务的生成方法和装置
CN112000669A (zh) * 2020-08-14 2020-11-27 中科三清科技有限公司 一种环境监测数据的处理方法、装置、存储介质及终端
CN112215553A (zh) * 2020-10-22 2021-01-12 上海烟草集团有限责任公司 一种物流数据库分布式控制方法及系统
CN112260874A (zh) * 2020-10-23 2021-01-22 南京鹏云网络科技有限公司 一种基于分布式存储单元管理系统和方法
CN113110803A (zh) * 2021-04-19 2021-07-13 浙江中控技术股份有限公司 一种数据存储方法及装置
CN114116681A (zh) * 2022-01-21 2022-03-01 阿里巴巴（中国）有限公司 数据迁移方法及装置
CN114385414A (zh) * 2021-12-06 2022-04-22 深圳市亚略特科技股份有限公司 基于数据分区的数据备份方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1766886A (zh) * 2004-10-25 2006-05-03 惠普开发有限公司 用于数据管理和/或转换的数据结构、数据库系统及方法
US20110040801A1 (en) * 2009-08-11 2011-02-17 Sap Ag System and methods for generating manufacturing data objects
CN103678665A (zh) * 2013-12-24 2014-03-26 焦点科技股份有限公司 一种基于数据仓库的异构大数据整合方法和系统
CN103778239A (zh) * 2014-01-28 2014-05-07 北京京东尚科信息技术有限公司 一种多数据库数据管理方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1766886A (zh) * 2004-10-25 2006-05-03 惠普开发有限公司 用于数据管理和/或转换的数据结构、数据库系统及方法
US20110040801A1 (en) * 2009-08-11 2011-02-17 Sap Ag System and methods for generating manufacturing data objects
CN103678665A (zh) * 2013-12-24 2014-03-26 焦点科技股份有限公司 一种基于数据仓库的异构大数据整合方法和系统
CN103778239A (zh) * 2014-01-28 2014-05-07 北京京东尚科信息技术有限公司 一种多数据库数据管理方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李存琛: "海量数据分布式存储技术的研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291720A (zh) * 2016-03-30 2017-10-24 阿里巴巴集团控股有限公司 一种实现批量数据处理的方法、系统和计算机集群
CN107291720B (zh) * 2016-03-30 2020-10-02 阿里巴巴集团控股有限公司 一种实现批量数据处理的方法、系统和计算机集群
CN105912601A (zh) * 2016-04-05 2016-08-31 国电南瑞科技股份有限公司 能量管理系统分布式实时内存数据库的分区存储方法
WO2017173842A1 (zh) * 2016-04-05 2017-10-12 国电南瑞科技股份有限公司 能量管理系统分布式实时内存数据库的分区存储方法
CN107818120B (zh) * 2016-09-14 2020-05-29 博雅网络游戏开发（深圳）有限公司 基于大数据的数据处理方法和装置
CN107818120A (zh) * 2016-09-14 2018-03-20 博雅网络游戏开发（深圳）有限公司 基于大数据的数据处理方法和装置
CN106533967B (zh) * 2016-12-08 2019-04-12 北京中安智达科技有限公司 一种可自定义负载均衡策略的数据传输方法
CN106533967A (zh) * 2016-12-08 2017-03-22 北京中安智达科技有限公司 一种可自定义负载均衡策略的数据传输方法
CN107122442B (zh) * 2017-04-24 2021-04-16 上海兴容信息技术有限公司 一种分布式数据库及其访问方法
CN107122442A (zh) * 2017-04-24 2017-09-01 上海兴容通信技术有限公司 一种分布式数据库及其访问方法
CN107392649A (zh) * 2017-06-29 2017-11-24 无锡智道安盈科技有限公司 营销活动中快速数据自动切分方法
CN107844325A (zh) * 2017-10-27 2018-03-27 上海斐讯数据通信技术有限公司 一种分布式数据的获取方法及系统
CN108829798A (zh) * 2018-06-05 2018-11-16 平安科技（深圳）有限公司 基于分布式数据库的数据存储方法及系统
CN108829798B (zh) * 2018-06-05 2024-02-02 平安科技（深圳）有限公司 基于分布式数据库的数据存储方法及系统
CN109101621A (zh) * 2018-08-09 2018-12-28 中国建设银行股份有限公司 一种数据的批量处理方法及系统
CN111193759A (zh) * 2018-11-15 2020-05-22 中国电信股份有限公司 分布式计算系统、方法和设备
CN111695749A (zh) * 2019-03-14 2020-09-22 北京京东尚科信息技术有限公司 一种分组任务的生成方法和装置
CN112000669A (zh) * 2020-08-14 2020-11-27 中科三清科技有限公司 一种环境监测数据的处理方法、装置、存储介质及终端
CN112000669B (zh) * 2020-08-14 2021-08-03 中科三清科技有限公司 一种环境监测数据的处理方法、装置、存储介质及终端
CN112215553B (zh) * 2020-10-22 2023-01-31 上海烟草集团有限责任公司 一种物流数据库分布式控制方法及系统
CN112215553A (zh) * 2020-10-22 2021-01-12 上海烟草集团有限责任公司 一种物流数据库分布式控制方法及系统
CN112260874A (zh) * 2020-10-23 2021-01-22 南京鹏云网络科技有限公司 一种基于分布式存储单元管理系统和方法
CN113110803A (zh) * 2021-04-19 2021-07-13 浙江中控技术股份有限公司 一种数据存储方法及装置
CN113110803B (zh) * 2021-04-19 2022-10-21 浙江中控技术股份有限公司 一种数据存储方法及装置
CN114385414A (zh) * 2021-12-06 2022-04-22 深圳市亚略特科技股份有限公司 基于数据分区的数据备份方法、装置、设备及存储介质
CN114116681A (zh) * 2022-01-21 2022-03-01 阿里巴巴（中国）有限公司 数据迁移方法及装置
CN114116681B (zh) * 2022-01-21 2022-07-15 阿里巴巴（中国）有限公司 数据迁移方法及装置

Also Published As

Publication number Publication date
CN105335448B (zh) 2018-09-21

Similar Documents

Publication Publication Date Title
CN105335448A (zh) 基于分布式环境的数据存储及处理系统
CN104081354B (zh) 在可缩放环境中管理分区
US20170220614A1 (en) Consistent ring namespaces facilitating data storage and organization in network infrastructures
US9015527B2 (en) Data backup and recovery
US10126946B1 (en) Data protection object store
US9330103B1 (en) Preserving file handles when moving file system operation between storage processors
US9128862B2 (en) Efficient checksums for shared nothing clustered filesystems
US9760453B2 (en) Two-tier failover service for data disaster recovery
US9372765B2 (en) System and method for recovering system status consistently to designed recovering time point in distributed database
CN103946846A (zh) 使用虚拟驱动作为用于raid组的热备用
US20140108753A1 (en) Merging an out of synchronization indicator and a change recording indicator in response to a failure in consistency group formation
US8984332B2 (en) Active/passive database management across clusters
US11782900B2 (en) High throughput order fullfillment database system
US20130124916A1 (en) Layout of mirrored databases across different servers for failover
CN103942112A (zh) 磁盘容错方法、装置及系统
US9753795B2 (en) Efficient data system error recovery
US20210081171A1 (en) Effectively fusing database tables
CN105404565B (zh) 一种双活数据保护方法和装置
US10423625B2 (en) Exactly-once semantics for streaming analytics in non-idempotent output operations
CN106919473A (zh) 一种数据灾备系统及业务处理方法
CN110427364A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN108462756B (zh) 一种数据写入方法和装置
CN104410531A (zh) 冗余的系统架构方法
CN106339279B (zh) 一种业务恢复方法及装置
US10831828B2 (en) Method and system for improving datacenter operations utilizing layered information model

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant