CN111104404A - 基于分布式对象的数据存储方法及装置 - Google Patents
基于分布式对象的数据存储方法及装置 Download PDFInfo
- Publication number
- CN111104404A CN111104404A CN201911229166.XA CN201911229166A CN111104404A CN 111104404 A CN111104404 A CN 111104404A CN 201911229166 A CN201911229166 A CN 201911229166A CN 111104404 A CN111104404 A CN 111104404A
- Authority
- CN
- China
- Prior art keywords
- data
- task
- cloning
- bucket
- clone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000010367 cloning Methods 0.000 claims abstract description 173
- 238000003860 storage Methods 0.000 claims abstract description 114
- 230000005540 biological transmission Effects 0.000 claims abstract description 76
- 230000002688 persistence Effects 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims description 27
- 230000000977 initiatory effect Effects 0.000 claims description 14
- 238000012546 transfer Methods 0.000 claims description 4
- 238000013508 migration Methods 0.000 abstract description 40
- 230000005012 migration Effects 0.000 abstract description 40
- 238000005516 engineering process Methods 0.000 abstract description 17
- 230000006870 function Effects 0.000 description 26
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于分布式对象的数据存储方法及装置。其中，该方法包括：接收分布式传输的多个数据克隆任务，其中，数据克隆任务中携带有待克隆的源数据桶对象的对象信息；根据数据克隆任务，使用桶快照克隆功能对源数据桶对象进行对象克隆，得到目标克隆对象，其中，桶快照克隆功能用于对目标时刻的数据桶对象的全部数据或部分数据生成可用的克隆对象；控制对象存储网关将目标克隆对象存储至数据持久层。本发明解决了相关技术中通过独立部署的迁移工具进行数据存储、迁移时，容易导致文件传输失败的技术问题。
Description
技术领域
本发明涉及数据存储技术领域，具体而言，涉及一种基于分布式对象的数据存储方法及装置。
背景技术
相关技术中，在进行数据存储、迁移时，一般是使用迁移工具来进行数据转移，例如，使用U盘、光盘等进行数据迁移，这种数据存储、迁移方式，操作繁重易错，启动准备时间长(独立部署、独立的双端配置文件)，需要额外的迁移集群或计算资源支撑，主要原理为迁移工具先List出源数据的对象列表，之后按照对象列表做数据迁移。如果在List完之后，源端某些文件被删除，就会出现源端文件不存在的情况。这种文件会被跳过，通常把文件输出在错误列表里。
迁移工具是有状态的，已经迁移成功的，会在数据库内创建对应条目和状态机。每次迁移前对要迁移的路径，先在db中查找下是否存在，如果存在，且属性和数据库中存在的一致，则跳过迁移，否则进行迁移。这里的属性根据迁移类型的不同而不同，对于本地迁移，会判断mtime、对象的etag和长度等是否与数据库中一致。因此，迁移工具参照db中是否有过迁移成功的记录，来确定文件是否迁移完毕，如果绕过了迁移工具，通过别的方式(如RESTFUL API或者控制台)删除修改了文件，那么迁移工具不会重新迁移。
由于迁移工具独立于对象存储系统存在，其需要独立安装部署，由于本身业务模型和资源调度限制等因素，需要配置双端的集群信息和操作权限，并且具有先下载、后上传的技术特性，故难免造成IO放大。同时不能直观的在对象存储的控制界面中查看全部任务调度和完成进度等监控信息的问题，再有就是该种模型不能解决拷贝时源端删除导致传输失败的问题。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种基于分布式对象的数据存储方法及装置，以至少解决相关技术中通过独立部署的迁移工具进行数据存储、迁移时，容易导致文件传输失败的技术问题。
根据本发明实施例的一个方面，提供了一种基于分布式对象的数据存储方法，包括：接收分布式传输的多个数据克隆任务，其中，所述数据克隆任务中携带有待克隆的源数据桶对象的对象信息；根据所述数据克隆任务，使用桶快照克隆功能对所述源数据桶对象进行对象克隆，得到目标克隆对象，其中，所述桶快照克隆功能用于对目标时刻的数据桶对象的全部数据或部分数据生成可用的克隆对象；控制对象存储网关将所述目标克隆对象存储至数据持久层。
可选地，根据所述数据克隆任务，使用桶快照克隆功能对所述源数据桶对象进行对象克隆，得到目标克隆对象的步骤包括：根据所述数据克隆任务，确定源数据桶对象的位置和所占空间大小；基于所述源数据桶对象的位置和所占空间大小，对所述源数据桶对象进行桶快照处理，以拷贝当前时刻的所述源数据桶对象的全部数据，得到快照数据集合；基于所述快照数据集合，生成桶克隆任务；基于所述桶克隆任务，对所述源数据桶对象进行桶克隆处理，得到所述目标克隆对象。
可选地，在接收分布式传输的多个数据克隆任务之后，所述数据存储方法还包括：在接收客户端传输的数据克隆任务后，验证数据克隆任务的权限是否在任务权限内，且验证数据克隆任务是否在任务有效期内；若确定数据克隆任务的权限在任务权限内，且数据克隆任务在任务有效期内，则将所述数据克隆任务的任务信息存入预设数据库；检测各个对象存储网关的执行状态，其中，所述对象存储网关通过抢占方式领取任务，所述执行状态包括下述之一：空闲状态、执行任务状态、无法使用状态；调用空闲状态的对象存储网关读取所述任务信息，并基于所述任务信息执行所述数据克隆任务。
可选地，所述桶快照克隆功能至少包括：任务生成层、任务发起层、任务调度层和数据传输层，所述任务生成层执行如下步骤：在接收客户端传输的数据克隆任务后，创建桶快照节点，并生成克隆对象任务清单，其中，所述桶快照节点用于对桶数据对象进行桶快照处理，以拷贝对象中的数据，所述克隆对象任务清单用于对每个所述数据克隆任务进行任务分类；按照克隆对象任务清单中的任务排序，确定数据克隆任务的执行顺序；对每个待执行的数据克隆任务，写入任务元数据，等待任务执行节点触发执行所述数据克隆任务。
可选地，所述任务发起层执行如下步骤：扫描所述克隆对象任务清单，确定待执行的数据克隆任务，并接收任务元数据；确定所述数据克隆任务需要传输的任务数据；基于所述任务数据，确定克隆对象清单；基于所述克隆对象清单，对所述源数据桶对象进行对象克隆，得到目标克隆对象；向所述任务调度层传输心跳信息，其中，所述心跳信息用于存储对象存储网关的执行状态；或者，接收数据传输层的任务传输状态，并向所述任务调度层报告所述任务传输状态。
可选地，所述任务调度层执行如下步骤：存储所有对象存储网关的网关清单；基于所述心跳信息更新所述网关清单中每个所述对象存储网关的执行状态和任务执行进度；若所述克隆对象任务清单中的所有数据克隆任务全部执行完毕，确定每个所述数据克隆任务的任务执行结果；以及若所述数据克隆任务的数据量大于预设数据量阈值，则分割所述数据克隆任务，并更新所述克隆对象任务清单。
可选地，所述数据传输层执行如下步骤：根据所述克隆对象任务清单，获取当前待执行的所述数据克隆任务的源数据桶对象，其中，在对所述源数据桶对象进行桶快照克隆处理，得到目标克隆对象；根据数据传输速率，控制对象存储网关将所述目标克隆对象存储至数据持久层；返回任务传输状态至所述任务执行层；控制对象存储网关将所述目标克隆对象存储至数据持久层。
可选地，在控制对象存储网关将所述目标克隆对象存储至数据持久层之后，所述数据存储方法还包括：确认任务执行完毕；更新任务完成状态及传输聚合信息，其中，所述传输聚合信息包括下述至少之一：传输总耗时、完成时间、对象总数、总传输大小。
根据本发明实施例的另一方面，还提供了一种基于分布式对象的数据存储装置，包括：接收单元，用于接收分布式传输的多个数据克隆任务，其中，所述数据克隆任务中携带有待克隆的源数据桶对象的对象信息；克隆单元，用于根据所述数据克隆任务，使用桶快照克隆功能对所述源数据桶对象进行对象克隆，得到目标克隆对象，其中，所述桶快照克隆功能用于对目标时刻的数据桶对象的全部数据或部分数据生成可用的克隆对象；存储单元，用于控制对象存储网关将所述目标克隆对象存储至数据持久层。
可选地，所述克隆单元包括：第一确定模块，用于根据所述数据克隆任务，确定源数据桶对象的位置和所占空间大小；桶快照处理模块，用于基于所述源数据桶对象的位置和所占空间大小，对所述源数据桶对象进行桶快照处理，以拷贝当前时刻的所述源数据桶对象的全部数据，得到快照数据集合；第一生成模块，用于基于所述快照数据集合，生成桶克隆任务；桶克隆处理模块，用于基于所述桶克隆任务，对所述源数据桶对象进行桶克隆处理，得到所述目标克隆对象。
可选地，所述数据存储装置还包括：验证单元，用于在接收分布式传输的多个数据克隆任务之后，在接收客户端传输的数据克隆任务后，验证数据克隆任务的权限是否在任务权限内，且验证数据克隆任务是否在任务有效期内；存入单元，用于在确定数据克隆任务的权限在任务权限内，且数据克隆任务在任务有效期内，则将所述数据克隆任务的任务信息存入预设数据库；检测单元，用于检测各个对象存储网关的执行状态，其中，所述对象存储网关通过抢占方式领取任务，所述执行状态包括下述之一：空闲状态、执行任务状态、无法使用状态；调用单元，用于调用空闲状态的对象存储网关读取所述任务信息，并基于所述任务信息执行所述数据克隆任务。
可选地，所述桶快照克隆功能至少包括：任务生成层、任务发起层、任务调度层和数据传输层，所述任务生成层执行如下步骤：在接收客户端传输的数据克隆任务后，创建桶快照节点，并生成克隆对象任务清单，其中，所述桶快照节点用于对桶数据对象进行桶快照处理，以拷贝对象中的数据，所述克隆对象任务清单用于对每个所述数据克隆任务进行任务分类；按照克隆对象任务清单中的任务排序，确定数据克隆任务的执行顺序；对每个待执行的数据克隆任务，写入任务元数据，等待任务执行节点触发执行所述数据克隆任务。
可选地，所述任务发起层执行如下步骤：扫描所述克隆对象任务清单，确定待执行的数据克隆任务，并接收任务元数据；确定所述数据克隆任务需要传输的任务数据；基于所述任务数据，确定克隆对象清单；基于所述克隆对象清单，对所述源数据桶对象进行对象克隆，得到目标克隆对象；向所述任务调度层传输心跳信息，其中，所述心跳信息用于存储对象存储网关的执行状态；或者，接收数据传输层的任务传输状态，并向所述任务调度层报告所述任务传输状态。
可选地，所述任务调度层执行如下步骤：存储所有对象存储网关的网关清单；基于所述心跳信息更新所述网关清单中每个所述对象存储网关的执行状态和任务执行进度；若所述克隆对象任务清单中的所有数据克隆任务全部执行完毕，确定每个所述数据克隆任务的任务执行结果；以及若所述数据克隆任务的数据量大于预设数据量阈值，则分割所述数据克隆任务，并更新所述克隆对象任务清单。
可选地，所述数据传输层执行如下步骤：根据所述克隆对象任务清单，获取当前待执行的所述数据克隆任务的源数据桶对象，其中，在对所述源数据桶对象进行桶快照克隆处理，得到目标克隆对象；根据数据传输速率，控制对象存储网关将所述目标克隆对象存储至数据持久层；返回任务传输状态至所述任务执行层；控制对象存储网关将所述目标克隆对象存储至数据持久层。
可选地，所述数据存储装置还包括：确认单元，用于在控制对象存储网关将所述目标克隆对象存储至数据持久层之后，确认任务执行完毕；更新单元，用于更新任务完成状态及传输聚合信息，其中，所述传输聚合信息包括下述至少之一：传输总耗时、完成时间、对象总数、总传输大小。
根据本发明实施例的另一方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述任意一项所述的基于分布式对象的数据存储方法。
在本发明实施例中，采用接收分布式传输的多个数据克隆任务，其中，数据克隆任务中携带有待克隆的源数据桶对象的对象信息，然后根据数据克隆任务，使用桶快照克隆功能对源数据桶对象进行对象克隆，得到目标克隆对象，其中，桶快照克隆功能用于对目标时刻的数据桶对象的全部数据或部分数据生成可用的克隆对象，最后可以控制对象存储网关将目标克隆对象存储至数据持久层。在该实施例中，实现对象存储领域的数据桶克隆，使用快照技术，保证了目标数据的一致性与可靠性，在不对生产环境造成任何冲击的基础上，实现高性能的数据克隆，而分布式对象集群的调度规则同时保证了任务的可靠性与文件传输的稳定性，减少文件传输失败率，从而解决相关技术中通过独立部署的迁移工具进行数据存储、迁移时，容易导致文件传输失败的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的基于分布式对象的数据存储方法的流程图；
图2是根据本发明实施例的一种可选的基于分布式对象的数据存储装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于本领域技术人员理解本发明，下面对本发明各实施例中涉及的部分术语或者名词做出解释：
桶快照(Bucket Snapshot)，是用于对目标桶某一时刻的全部数据及指标集合生成的一个完全可用的拷贝，通过该拷贝可以恢复目标桶在某个时间点(快照创建的时间点)相应全部数据的能力。
快照桶(Snapshot Bucket)，启用桶快照功能的对象存储桶(容器)。
桶快照对象列表(Bucket Snapshot Object List)，获取目标快照视图下的对象清单。
桶克隆(Bucket Clone)，对指定的对象存储集群的某个源数据桶进行特定规则的对象克隆。克隆完毕后，目标对象存储集群的目的桶可以按照克隆规则拥有源桶的全部对象或部分对象。
桶快照克隆(Bucket Cloning whith Bucket Snapshot)，以桶快照功能作为桶克隆业务支撑条件的桶克隆技术。
本发明实施例中，使用桶快照技术进行数据迁移、存储，并通过对象存储网关将快照对象直接上传，无需真实下载对象，实现跨集群拷贝。
通过本发明实施例可以解决以下技术问题，并达到相应的技术效果：
1，解决现有技术中需要独立安装迁移工具(独立于对象存储系统存在，其需要独立安装部署)，并由于本身业务模型和资源调度限制等因素，需要配置双端的集群信息和操作权限，并且具有先下载、后上传的技术特性，造成IO放大的问题；本申请实施例可以完整的利用对象存储集群本身具有的资源优势，直接把对象存储网关当上传对象的客户端来使用，做到对象不需要真实下载，节省IO的效果。
2，解决现有技术中不能直观的在对象存储的控制界面中查看全部任务调度和完成进度等监控信息的问题，本申请实施例中可以打通数据迁移功能与对象存储核心业务，，通过直观高可操作的跨集群桶数据，实现一站式管理，可以更好的整合至对象存储的一体化监控系统，通过一体化监控系统完成对克隆进度及完成情况的全盘掌握。
3，解决现有技术中迁移工具进行迁移时，需要先List出源的对象列表，之后按照对象列表做数据迁移，如果在List完之后，源端某些文件被删除，就会出现源端文件不存在的情况，这种文件会被跳过，通常把文件输出在错误列表里，导致数据被删除，迁移数据出错的问题，本申请实施例中可以基于快照技术，保证了目标数据的一致性与可靠性(不会被删除)，同时对源数据桶的正常CURD不造成任何影响，达到了在不对生产环境造成任何冲击的基础上，实现高可靠性、高性能的可靠数据克隆。
4，解决现有技术中在使用迁移工具迁移数据时，仅仅能够迁移全部数据/全量数据，无法进行定制传输，也无法对指定区间的数据进行部分传输的问题，本申请实施例由于拷贝基于快照作为底层数据基础，故可精细化的制定各项克隆策略，如全量克隆，指定时间段(起止时间可各打一个快照)的增量克隆，数据修复式克隆，指定过滤规则的定向克隆等，实现可私有化的定制传输/区间传输，可以指定克隆区间、轻量易用。
5，解决现有技术中在使用迁移工具需要单独部署，独立与客户端-服务器两端之外，作为中间传输介质进行传输时，先下载、后上传，操作繁琐的技术问题，而本申请实施例中可以与对象存储网关高度整合，作为对象存储网关功能子集存在，不需要独立安装部署，24小时可用，集群式的调度规则同时保证了任务的可靠性与传输的稳定性。
通过本申请实施例可解决现有技术方案中源端对象的删除操作会导致该对象迁移失败的问题，克隆开始时，先用桶快照技术对源数据桶对象进行快照(锁定)，再通过检索逻辑、任务调度逻辑进行任务的分配、发放，由于目标对象均定格于快照中，故不受当前视图下对象的CURD操作的影响，提高数据的迁移、存储稳定性，准确率。
在本发明实施例中，定义的对象存储桶克隆，不受数据源CRUD影响，是基于快照技术、分布式任务调度状态机，存储网关内部HTTP对象上传的；定义的对象存储桶克隆任务调度方式，是桶克隆的分布式调度方式与桶快照的有机结合，对指定桶快照视图下的对象生成上传列表，实现分布式调度；定义的对象存储桶克隆传输模型，是分层式被动触发的模型，可以实现桶克隆任务调度，通过任务分级，实现任务发布、领取、执行、状态报告。
实施例一
根据本发明实施例，提供了一种基于分布式对象的数据存储方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明下述实施例的基于分布式对象的数据存储方法可以应用于服务端/服务器等。在对象存储领域实现桶克隆技术的创新，完整的利用对象存储集群本身具有的资源优势，直接把对象存储网关当上传对象的客户端来使用，做到对象不需要真实下载，即可跨集群拷贝、存储、迁移。
图1是根据本发明实施例的一种可选的基于分布式对象的数据存储方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，接收分布式传输的多个数据克隆任务，其中，数据克隆任务中携带有待克隆的源数据桶对象的对象信息；
步骤S104，根据数据克隆任务，使用桶快照克隆功能对源数据桶对象进行对象克隆，得到目标克隆对象，其中，桶快照克隆功能用于对目标时刻的数据桶对象的全部数据或部分数据生成可用的克隆对象；
步骤S106，控制对象存储网关将目标克隆对象存储至数据持久层。
通过上述步骤，可以采用接收分布式传输的多个数据克隆任务，其中，数据克隆任务中携带有待克隆的源数据桶对象的对象信息，然后根据数据克隆任务，使用桶快照克隆功能对源数据桶对象进行对象克隆，得到目标克隆对象，其中，桶快照克隆功能用于对目标时刻的数据桶对象的全部数据或部分数据生成可用的克隆对象，最后可以控制对象存储网关将目标克隆对象存储至数据持久层。在该实施例中，实现对象存储领域的数据桶克隆，使用快照技术，保证了目标数据的一致性与可靠性，在不对生产环境造成任何冲击的基础上，实现高性能的数据克隆，而分布式对象集群的调度规则同时保证了任务的可靠性与文件传输的稳定性，减少文件传输失败率，从而解决相关技术中通过独立部署的迁移工具进行数据存储、迁移时，容易导致文件传输失败的技术问题。
下面结合各步骤来说明本发明。
本发明实施例中可以通过与服务端连接的客户端创建克隆任务。用户可以按照自身需求指定全部快照或部分快照的可指定过滤规则和生成前缀的克隆任务，待全部任务调度完毕后，目标数据桶拥有源快照部分或完整的(取决于克隆规则)对象视图。
步骤S102，接收分布式传输的多个数据克隆任务，其中，数据克隆任务中携带有待克隆的源数据桶对象的对象信息。
在本发明实施例中，每个源数据桶可以存储多个对象，即存储源数据桶对象，例如，源数据桶存储、放置一个月内所有的100个对象，100个对象可以分配10个对象存储网关，每个对象存储网关声明接收对象传输子任务，以传输源数据桶对象。
作为本发明可选的实施例，在接收分布式传输的多个数据克隆任务之后，数据存储方法还包括：接收客户端传输的数据克隆任务，验证数据克隆任务的权限是否在任务权限内，且验证数据克隆任务是否在任务有效期内；若确定数据克隆任务的权限在任务权限内，且数据克隆任务在任务有效期内，则将数据克隆任务的任务信息存入预设数据库；检测各个对象存储网关的执行状态，其中，对象存储网关通过抢占方式领取任务，执行状态包括下述之一：空闲状态、执行任务状态、无法使用状态；调用空闲状态的对象存储网关读取任务信息，并基于任务信息执行数据克隆任务。
即通过服务端，对数据克隆任务发起权限和有效性验证，若验证通过，则将任务信息存入数据库。
本发明实施例中的网关包括但不限于：存储网关，在存储网关中有持锁网关和空闲网关，持锁网关可以发现新任务，并完成任务。对象存储网关轮询抢占锁(OCC)进行状态检测，持锁网关若发现新任务，则调用任务发起层激活任务，进而通过后续几个层完成任务。
步骤S104，根据数据克隆任务，使用桶快照克隆功能对源数据桶对象进行对象克隆，得到目标克隆对象，其中，桶快照克隆功能用于对目标时刻的数据桶对象的全部数据或部分数据生成可用的克隆对象。
可选的，根据数据克隆任务，使用桶快照克隆功能对源数据桶对象进行对象克隆，得到目标克隆对象的步骤包括：根据数据克隆任务，确定源数据桶对象的位置和所占空间大小；基于源数据桶对象的位置和所占空间大小，对源数据桶对象进行桶快照处理，以拷贝当前时刻的源数据桶对象的全部数据，得到快照数据集合；基于快照数据集合，生成桶克隆任务；基于桶克隆任务，对源数据桶对象进行桶克隆处理，得到目标克隆对象。
在本发明实施例，若任务启动，则各对象存储网关通过抢占的方式对子任务进行领取(注册)，并定期报告心跳信息给任务调度层，期间，如果子任务出现了异常(失联)，由任务调度层进行任务回收，并重新下发子任务，该子任务将被重新抢占执行。
步骤S106，控制对象存储网关将目标克隆对象存储至数据持久层。
本发明实施例中，使用克隆传输模型完成数据存储、迁移，传输模型基于分布式任务与状态机进行调度，由全部对象存储网关参与执行，在网关层面直接进行对象上传操作，并不需要真实下载对象。
在操作过程中，用户可按自身需求指定全部快照或部分快照的可指定过滤规则和生成前缀的克隆任务。待全部任务调度完毕后，目标桶拥有源快照部分或完整的(取决于克隆规则)对象视图。
上述克隆传输模型在完成桶快照克隆功能时，其克隆功能至少包括：任务生成层、任务发起层、任务调度层和数据传输层。下面分别对每个层次进行说明。
(1)任务生成层
在本发明实施例中，任务生成层可执行如下步骤：在接收客户端传输的数据克隆任务后，创建桶快照节点，并生成克隆对象任务清单，其中，桶快照节点用于对桶数据对象进行桶快照处理，以拷贝对象中的数据，克隆对象任务清单用于对每个数据克隆任务进行任务分类；按照克隆对象任务清单中的任务排序，确定数据克隆任务的执行顺序；对每个待执行的数据克隆任务，写入任务元数据，等待任务执行节点触发执行数据克隆任务。
即任务生成层可以校验/接收用户提交的数据克隆任务；创建快照并生成克隆对象任务清单；写入任务元数据，等待任务发起层触发。
(2)任务发起层(或任务执行层)
在本发明实施例中，任务发起层执行如下步骤：扫描克隆对象任务清单，确定待执行的数据克隆任务，并接收任务元数据；确定数据克隆任务需要传输的任务数据；基于任务数据，确定克隆对象清单；基于克隆对象清单，对源数据桶对象进行对象克隆，得到目标克隆对象；向任务调度层传输心跳信息，其中，心跳信息用于存储对象存储网关的执行状态；或者，接收数据传输层的任务传输状态，并向任务调度层报告任务传输状态。
通过上述的任务发起层，可以扫描数据库的任务清单，本发明实施例，可以设定周期性(例如，每隔半小时)扫描任务清单(例如，有100个源数据桶对象，可分配10个子任务，给10个对象存储网关，每个对象存储网关可声明接收子任务，并报告给任务调度层)。在扫描任务清单后，可以发现待执行任务元数据，此时，可以拉起任务调度层；向任务调度层报告自己要传输的内容；然后通过传输模块(每个对象存储网关可以对应有一个传输模块)发放对象清单；定期向任务调度层报告心跳信息；接收传输模块的执行结果，向任务调度层报告任务传输状态。
(3)任务调度层
在本发明实施例中，任务调度层执行如下步骤：存储所有对象存储网关的网关清单；基于心跳信息更新网关清单中每个对象存储网关的执行状态和任务执行进度；若克隆对象任务清单中的所有数据克隆任务全部执行完毕，确定每个数据克隆任务的任务执行结果；以及若数据克隆任务的数据量大于预设数据量阈值，则分割数据克隆任务，并更新克隆对象任务清单。
上述的任务调度层，可以存储任务执行网关清单；监督心跳信息，确定网关进度状态；筛选掉失败的任务网关，重置并重新激活子任务；任务清单执行完毕后根据完成度确认状态；对大型任务进行分割，前置任务成功后更新任务清单。
(4)数据传输层
在本发明实施例中，数据传输层执行如下步骤：根据克隆对象任务清单，获取当前待执行的数据克隆任务的源数据桶对象，其中，在对源数据桶对象进行桶快照克隆处理，得到目标克隆对象；根据数据传输速率，控制对象存储网关将目标克隆对象存储至数据持久层；返回任务传输状态至任务执行层；控制对象存储网关将目标克隆对象存储至数据持久层。
上述的数据传输层，可以根据克隆对象任务清单获取对象；然后根据传输速率读取指定长度的数据，并将数据填充至缓冲区；建立Tcp连接，创建PUT操作至目标站点；数据随读随写，根据IO带宽动态伸缩数据持久层；对象任务清单全部传输完毕后，返回执行状态至任务发起层。
克隆传输模型可基于分布式任务与状态机调度状态，由全部对象存储网关参与执行，在网关层面直接进行对象上传操作，并不需要真实下载对象。
通过上述各个层的协作，可以实现对象存储领域的桶克隆，利用对象存储集群本身具有的资源优势，直接把对象存储网关当上传对象的客户端来使用，做到对象不需要真实下载，也可以跨集群拷贝。
作为本发明可选的实施例，在控制对象存储网关将目标克隆对象存储至数据持久层之后，数据存储方法还包括：确认任务执行完毕；更新任务完成状态及传输聚合信息，其中，传输聚合信息包括下述至少之一：传输总耗时、完成时间、对象总数、总传输大小。
即可以在所有的子任务全部完成后，根据任务执行情况，更新任务完成状态及传输聚合信息。
本发明实施例中，可以利用桶快照技术，保证目标数据传输过程中的一致性与可靠性，同时对源数据桶的正常CURD不造成任何影响，达到了在不对生产环境造成任何冲击的基础上，实现高性能的可靠数据克隆。且本发明实施例中，桶克隆技术与对象存储网关高度整合，作为对象存储网关功能子集存在，不需要独立安装部署，随时可用，并且集群式的调度规则同时保证了任务的可靠性与传输的稳定性。
实施例二
图2是根据本发明实施例的一种可选的基于分布式对象的数据存储装置的示意图，如图2所示，该数据存储装置可以包括：接收单元21，克隆单元23，存储单元25，其中，
接收单元21，用于接收分布式传输的多个数据克隆任务，其中，数据克隆任务中携带有待克隆的源数据桶对象的对象信息；
克隆单元23，用于根据数据克隆任务，使用桶快照克隆功能对源数据桶对象进行对象克隆，得到目标克隆对象，其中，桶快照克隆功能用于对目标时刻的数据桶对象的全部数据或部分数据生成可用的克隆对象；
存储单元25，用于控制对象存储网关将目标克隆对象存储至数据持久层。
上述基于分布式对象的数据存储装置，可以通过接收单元21接收分布式传输的多个数据克隆任务，其中，数据克隆任务中携带有待克隆的源数据桶对象的对象信息，然后通过克隆单元23根据数据克隆任务，使用桶快照克隆功能对源数据桶对象进行对象克隆，得到目标克隆对象，其中，桶快照克隆功能用于对目标时刻的数据桶对象的全部数据或部分数据生成可用的克隆对象，最后可以通过存储单元25控制对象存储网关将目标克隆对象存储至数据持久层。在该实施例中，实现对象存储领域的数据桶克隆，使用快照技术，保证了目标数据的一致性与可靠性，在不对生产环境造成任何冲击的基础上，实现高性能的数据克隆，而分布式对象集群的调度规则同时保证了任务的可靠性与文件传输的稳定性，减少文件传输失败率，从而解决相关技术中通过独立部署的迁移工具进行数据存储、迁移时，容易导致文件传输失败的技术问题。
可选的，克隆单元包括：第一确定模块，用于根据数据克隆任务，确定源数据桶对象的位置和所占空间大小；桶快照处理模块，用于基于源数据桶对象的位置和所占空间大小，对源数据桶对象进行桶快照处理，以拷贝当前时刻的源数据桶对象的全部数据，得到快照数据集合；第一生成模块，用于基于快照数据集合，生成桶克隆任务；桶克隆处理模块，用于基于桶克隆任务，对源数据桶对象进行桶克隆处理，得到目标克隆对象。
另一种可选的，数据存储装置还包括：验证单元，用于在接收分布式传输的多个数据克隆任务之后，在接收客户端传输的数据克隆任务后，验证数据克隆任务的权限是否在任务权限内，且验证数据克隆任务是否在任务有效期内；存入单元，用于在确定数据克隆任务的权限在任务权限内，且数据克隆任务在任务有效期内，则将数据克隆任务的任务信息存入预设数据库；检测单元，用于检测各个对象存储网关的执行状态，其中，对象存储网关通过抢占方式领取任务，执行状态包括下述之一：空闲状态、执行任务状态、无法使用状态；调用单元，用于调用空闲状态的对象存储网关读取任务信息，并基于任务信息执行数据克隆任务。
可选的，桶快照克隆功能至少包括：任务生成层、任务发起层、任务调度层和数据传输层，任务生成层执行如下步骤：在接收客户端传输的数据克隆任务后，创建桶快照节点，并生成克隆对象任务清单，其中，桶快照节点用于对桶数据对象进行桶快照处理，以拷贝对象中的数据，克隆对象任务清单用于对每个数据克隆任务进行任务分类；按照克隆对象任务清单中的任务排序，确定数据克隆任务的执行顺序；对每个待执行的数据克隆任务，写入任务元数据，等待任务执行节点触发执行数据克隆任务。
可选的，任务发起层执行如下步骤：扫描克隆对象任务清单，确定待执行的数据克隆任务，并接收任务元数据；确定数据克隆任务需要传输的任务数据；基于任务数据，确定克隆对象清单；基于克隆对象清单，对源数据桶对象进行对象克隆，得到目标克隆对象；向任务调度层传输心跳信息，其中，心跳信息用于存储对象存储网关的执行状态；或者，接收数据传输层的任务传输状态，并向任务调度层报告任务传输状态。
可选的，任务调度层执行如下步骤：存储所有对象存储网关的网关清单；基于心跳信息更新网关清单中每个对象存储网关的执行状态和任务执行进度；若克隆对象任务清单中的所有数据克隆任务全部执行完毕，确定每个数据克隆任务的任务执行结果；以及若数据克隆任务的数据量大于预设数据量阈值，则分割数据克隆任务，并更新克隆对象任务清单。
可选的，数据传输层执行如下步骤：根据克隆对象任务清单，获取当前待执行的数据克隆任务的源数据桶对象，其中，在对源数据桶对象进行桶快照克隆处理，得到目标克隆对象；根据数据传输速率，控制对象存储网关将目标克隆对象存储至数据持久层；返回任务传输状态至任务执行层；控制对象存储网关将目标克隆对象存储至数据持久层。
作为本发明可选的实施例，数据存储装置还包括：确认单元，用于在控制对象存储网关将目标克隆对象存储至数据持久层之后，确认任务执行完毕；更新单元，用于更新任务完成状态及传输聚合信息，其中，传输聚合信息包括下述至少之一：传输总耗时、完成时间、对象总数、总传输大小。
上述的数据存储装置还可以包括处理器和存储器，上述接收单元21，克隆单元23，存储单元25等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
上述处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现桶快照克隆数据。
上述存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
根据本发明实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述任意一项的基于分布式对象的数据存储方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于分布式对象的数据存储方法，其特征在于，包括：
接收分布式传输的多个数据克隆任务，其中，所述数据克隆任务中携带有待克隆的源数据桶对象的对象信息；
根据所述数据克隆任务，使用桶快照克隆功能对所述源数据桶对象进行对象克隆，得到目标克隆对象，其中，所述桶快照克隆功能用于对目标时刻的数据桶对象的全部数据或部分数据生成可用的克隆对象；
控制对象存储网关将所述目标克隆对象存储至数据持久层。
2.根据权利要求1所述的数据存储方法，其特征在于，根据所述数据克隆任务，使用桶快照克隆功能对所述源数据桶对象进行对象克隆，得到目标克隆对象的步骤包括：
根据所述数据克隆任务，确定源数据桶对象的位置和所占空间大小；
基于所述源数据桶对象的位置和所占空间大小，对所述源数据桶对象进行桶快照处理，以拷贝当前时刻的所述源数据桶对象的全部数据，得到快照数据集合；
基于所述快照数据集合，生成桶克隆任务；
基于所述桶克隆任务，对所述源数据桶对象进行桶克隆处理，得到所述目标克隆对象。
3.根据权利要求1所述的数据存储方法，其特征在于，在接收分布式传输的多个数据克隆任务之后，所述数据存储方法还包括：
在接收客户端传输的数据克隆任务后，验证数据克隆任务的权限是否在任务权限内，且验证数据克隆任务是否在任务有效期内；
若确定数据克隆任务的权限在任务权限内，且数据克隆任务在任务有效期内，则将所述数据克隆任务的任务信息存入预设数据库；
检测各个对象存储网关的执行状态，其中，所述对象存储网关通过抢占方式领取任务，所述执行状态包括下述之一：空闲状态、执行任务状态、无法使用状态；
调用空闲状态的对象存储网关读取所述任务信息，并基于所述任务信息执行所述数据克隆任务。
4.根据权利要求1所述的数据存储方法，其特征在于，所述桶快照克隆功能至少包括：任务生成层、任务发起层、任务调度层和数据传输层，所述任务生成层执行如下步骤：
在接收客户端传输的数据克隆任务后，创建桶快照节点，并生成克隆对象任务清单，其中，所述桶快照节点用于对桶数据对象进行桶快照处理，以拷贝对象中的数据，所述克隆对象任务清单用于对每个所述数据克隆任务进行任务分类；
按照克隆对象任务清单中的任务排序，确定数据克隆任务的执行顺序；
对每个待执行的数据克隆任务，写入任务元数据，等待任务执行节点触发执行所述数据克隆任务。
5.根据权利要求4所述的数据存储方法，其特征在于，所述任务发起层执行如下步骤：
扫描所述克隆对象任务清单，确定待执行的数据克隆任务，并接收任务元数据；
确定所述数据克隆任务需要传输的任务数据；
基于所述任务数据，确定克隆对象清单；
基于所述克隆对象清单，对所述源数据桶对象进行对象克隆，得到目标克隆对象；
向所述任务调度层传输心跳信息，其中，所述心跳信息用于存储对象存储网关的执行状态；或者，
接收数据传输层的任务传输状态，并向所述任务调度层报告所述任务传输状态。
6.根据权利要求5所述的数据存储方法，其特征在于，所述任务调度层执行如下步骤：
存储所有对象存储网关的网关清单；
基于所述心跳信息更新所述网关清单中每个所述对象存储网关的执行状态和任务执行进度；
若所述克隆对象任务清单中的所有数据克隆任务全部执行完毕，确定每个所述数据克隆任务的任务执行结果；以及
若所述数据克隆任务的数据量大于预设数据量阈值，则分割所述数据克隆任务，并更新所述克隆对象任务清单。
7.根据权利要求6所述的数据存储方法，其特征在于，所述数据传输层执行如下步骤：
根据所述克隆对象任务清单，获取当前待执行的所述数据克隆任务的源数据桶对象，其中，在对所述源数据桶对象进行桶快照克隆处理，得到目标克隆对象；
根据数据传输速率，控制对象存储网关将所述目标克隆对象存储至数据持久层；
返回任务传输状态至所述任务执行层；
控制对象存储网关将所述目标克隆对象存储至数据持久层。
8.根据权利要求1所述的数据存储方法，其特征在于，在控制对象存储网关将所述目标克隆对象存储至数据持久层之后，所述数据存储方法还包括：
确认任务执行完毕；
更新任务完成状态及传输聚合信息，其中，所述传输聚合信息包括下述至少之一：传输总耗时、完成时间、对象总数、总传输大小。
9.一种基于分布式对象的数据存储装置，其特征在于，包括：
接收单元，用于接收分布式传输的多个数据克隆任务，其中，所述数据克隆任务中携带有待克隆的源数据桶对象的对象信息；
克隆单元，用于根据所述数据克隆任务，使用桶快照克隆功能对所述源数据桶对象进行对象克隆，得到目标克隆对象，其中，所述桶快照克隆功能用于对目标时刻的数据桶对象的全部数据或部分数据生成可用的克隆对象；
存储单元，用于控制对象存储网关将所述目标克隆对象存储至数据持久层。
10.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至8中任意一项所述的基于分布式对象的数据存储方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911229166.XA CN111104404B (zh) | 2019-12-04 | 2019-12-04 | 基于分布式对象的数据存储方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911229166.XA CN111104404B (zh) | 2019-12-04 | 2019-12-04 | 基于分布式对象的数据存储方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111104404A true CN111104404A (zh) | 2020-05-05 |
| CN111104404B CN111104404B (zh) | 2021-10-01 |
Family
ID=70421589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911229166.XA Active CN111104404B (zh) | 2019-12-04 | 2019-12-04 | 基于分布式对象的数据存储方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111104404B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113010478A (zh) * | 2021-03-15 | 2021-06-22 | 北京金山云网络技术有限公司 | 一种清单文件的生成方法、装置、电子设备及介质 |
| CN113806295A (zh) * | 2021-09-17 | 2021-12-17 | 济南浪潮数据技术有限公司 | 一种文件迁移方法、系统、设备及计算机可读存储介质 |
| CN117555882A (zh) * | 2023-12-15 | 2024-02-13 | 中国人寿保险股份有限公司 | 元数据的克隆方法、装置、系统、计算机设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130054531A1 (en) * | 2011-08-25 | 2013-02-28 | Oracle International Corporation | Database cloning |
| CN104182184A (zh) * | 2014-08-27 | 2014-12-03 | 浪潮电子信息产业股份有限公司 | 一种分布式块存储克隆方法 |
| CN107402839A (zh) * | 2016-05-18 | 2017-11-28 | 深圳市深信服电子科技有限公司 | 一种备份数据的方法及系统 |
| CN108132949A (zh) * | 2016-12-01 | 2018-06-08 | 腾讯科技（深圳）有限公司 | 数据库集群中数据迁移的方法及装置 |
| CN108228672A (zh) * | 2016-12-22 | 2018-06-29 | 阿里巴巴集团控股有限公司 | 一种元数据迁移方法、装置、系统及设备 |
| CN108268341A (zh) * | 2016-12-30 | 2018-07-10 | 大唐移动通信设备有限公司 | 一种数据迁移、备份及恢复方法及装置 |
| CN110286856A (zh) * | 2019-06-17 | 2019-09-27 | 杭州宏杉科技股份有限公司 | 卷克隆方法、装置、电子设备及机器可读存储介质 |
-
2019
- 2019-12-04 CN CN201911229166.XA patent/CN111104404B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130054531A1 (en) * | 2011-08-25 | 2013-02-28 | Oracle International Corporation | Database cloning |
| CN104182184A (zh) * | 2014-08-27 | 2014-12-03 | 浪潮电子信息产业股份有限公司 | 一种分布式块存储克隆方法 |
| CN107402839A (zh) * | 2016-05-18 | 2017-11-28 | 深圳市深信服电子科技有限公司 | 一种备份数据的方法及系统 |
| CN108132949A (zh) * | 2016-12-01 | 2018-06-08 | 腾讯科技（深圳）有限公司 | 数据库集群中数据迁移的方法及装置 |
| CN108228672A (zh) * | 2016-12-22 | 2018-06-29 | 阿里巴巴集团控股有限公司 | 一种元数据迁移方法、装置、系统及设备 |
| CN108268341A (zh) * | 2016-12-30 | 2018-07-10 | 大唐移动通信设备有限公司 | 一种数据迁移、备份及恢复方法及装置 |
| CN110286856A (zh) * | 2019-06-17 | 2019-09-27 | 杭州宏杉科技股份有限公司 | 卷克隆方法、装置、电子设备及机器可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| RYTIS SILEIKA: "Using Amazon EC2/S3 as a DataWarehouse Solution", 《PRO PYTHON SYSTEM ADMINISTRATION》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113010478A (zh) * | 2021-03-15 | 2021-06-22 | 北京金山云网络技术有限公司 | 一种清单文件的生成方法、装置、电子设备及介质 |
| CN113806295A (zh) * | 2021-09-17 | 2021-12-17 | 济南浪潮数据技术有限公司 | 一种文件迁移方法、系统、设备及计算机可读存储介质 |
| CN113806295B (zh) * | 2021-09-17 | 2024-02-23 | 济南浪潮数据技术有限公司 | 一种文件迁移方法、系统、设备及计算机可读存储介质 |
| CN117555882A (zh) * | 2023-12-15 | 2024-02-13 | 中国人寿保险股份有限公司 | 元数据的克隆方法、装置、系统、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111104404B (zh) | 2021-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11928029B2 (en) | Backup of partitioned database tables | |
| US12079091B2 (en) | Application consistent snapshots as a sidecar of a containerized application | |
| US10896102B2 (en) | Implementing secure communication in a distributed computing system | |
| US11327949B2 (en) | Verification of database table partitions during backup | |
| CN111104404B (zh) | 基于分布式对象的数据存储方法及装置 | |
| US10642694B2 (en) | Monitoring containers in a distributed computing system | |
| US20180322017A1 (en) | Restoring partitioned database tables from backup | |
| US10911540B1 (en) | Recovering snapshots from a cloud snapshot lineage on cloud storage to a storage system | |
| US11199985B2 (en) | Tracking storage capacity usage by snapshot lineages using metadata in a multi-level tree structure | |
| US11188561B2 (en) | Prioritizing microservices on a container platform for a restore operation | |
| US10956374B2 (en) | Data recovery method, apparatus, and system | |
| CN107710215A (zh) | 在测试设施中的移动计算装置安全的方法和设备 | |
| KR101693683B1 (ko) | 가상 데이터베이스 되감기 | |
| WO2016161396A9 (en) | Network attached storage (nas) apparatus having reversible privacy settings for logical storage area shares, and methods of configuring same | |
| US11630736B2 (en) | Recovering a storage volume associated with a snapshot lineage from cloud storage | |
| US11537553B2 (en) | Managing snapshots stored locally in a storage system and in cloud storage utilizing policy-based snapshot lineages | |
| US11288134B2 (en) | Pausing and resuming copying of snapshots from a local snapshot lineage to at least one cloud snapshot lineage | |
| US11599276B1 (en) | Snapshot shipping to multiple cloud destinations | |
| US8856293B1 (en) | Methods and devices for NAS-level data protection based on NAS configuration images | |
| US11573923B2 (en) | Generating configuration data enabling remote access to portions of a snapshot lineage copied to cloud storage | |
| CN113608838A (zh) | 应用镜像文件的部署方法、装置、计算机设备和存储介质 | |
| WO2014133502A1 (en) | Sending a request to a management service | |
| US11366600B2 (en) | Moving snapshots from a local snapshot lineage on a storage system to a cloud snapshot lineage on cloud storage | |
| CN117716335A (zh) | 大数据集群部署方法以及基于大数据集群的数据处理方法 | |
| US12056023B2 (en) | Orchestration of storage system-based snapshot recovery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 100094 101, floors 1-5, building 7, courtyard 3, fengxiu Middle Road, Haidian District, Beijing Patentee after: Beijing Xingchen Tianhe Technology Co.,Ltd. Address before: 100097 room 806-1, block B, zone 2, Jinyuan times shopping center, indigo factory, Haidian District, Beijing Patentee before: XSKY BEIJING DATA TECHNOLOGY Corp.,Ltd. |
|
| CP03 | Change of name, title or address |