CN113448946B - 数据迁移方法及装置、电子设备 - Google Patents
数据迁移方法及装置、电子设备 Download PDFInfo
- Publication number
- CN113448946B CN113448946B CN202110758754.3A CN202110758754A CN113448946B CN 113448946 B CN113448946 B CN 113448946B CN 202110758754 A CN202110758754 A CN 202110758754A CN 113448946 B CN113448946 B CN 113448946B
- Authority
- CN
- China
- Prior art keywords
- storage
- metadata
- merged
- data
- bucket
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005012 migration Effects 0.000 title claims abstract description 81
- 238000013508 migration Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000015654 memory Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 9
- 238000005215 recombination Methods 0.000 claims description 4
- 230000006798 recombination Effects 0.000 claims description 4
- 238000013403 standard screening design Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 239000007787 solid Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 239000002699 waste material Substances 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008521 reorganization Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据迁移方法及装置、电子设备。其中，该数据迁移方法包括：遍历当前存储集群中在预设存储桶内的多个存储对象，得到每个存储对象的对象类型，其中，对象类型包括：被归并对象和未归并对象，被归并对象是指对象数据的数据量大小低于预设阈值的存储对象；若存储对象的对象类型指示存储对象为未归并对象，则将未归并对象以及未归并对象的元数据直接写入目标存储集群中；若存储对象的对象类型指示存储对象为被归并对象，查询被归并对象所属的归并集合，读取对象列表中与归并集合对应的多个元数据，将归并集合中所有被归并对象以及多个元数据一起迁移至目标存储集群中。
Description
技术领域
本发明涉及数据处理技术领域，具体而言，涉及一种数据迁移方法及装置、电子设备。
背景技术
相关技术中，随着互联网应用的高速发展，日益产生的海量非结构化数据的需要存储。相关技术中，对象存储是一种可选的存储方式，能够提供海量存储的解决方案，支持百亿或者千亿产品规格。在网络安防、道路监控等场景需要提供海量小文件的存储解决方案，既要求海量小文件的读写性能，又希望降低存储的使用成本，如客户在视频监控场景或者机场的图像采集场景，摄像探头要实时拍照生成大量的图片，通常这些图片大小在1M-4M之间，属于小文件场景，海量的小文件浪费存储空间。同时，当前在读取海量的小文件时，读写性能差，需要较大的读写成本，大量增加固态硬盘等存储器的数量，大大增加了海量小文件场景对于固态硬盘SSD缓存池的依赖。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据迁移方法及装置、电子设备，以至少解决相关技术中对于海量小文件，不仅浪费存储空间，而且对固态硬盘SSD缓存池的依赖性较高的技术问题。
根据本发明实施例的一个方面，提供了一种数据迁移方法，包括：遍历当前存储集群中在预设存储桶内的多个存储对象，得到每个所述存储对象的对象类型，其中，所述对象类型包括：被归并对象和未归并对象，所述被归并对象是指对象数据的数据量大小低于预设阈值的存储对象；若所述存储对象的对象类型指示所述存储对象为未归并对象，则将所述未归并对象以及所述未归并对象的元数据直接写入目标存储集群中；若所述存储对象的对象类型指示所述存储对象为被归并对象，查询所述被归并对象所属的归并集合，读取对象列表中与所述归并集合对应的多个元数据，将所述归并集合中所有被归并对象以及所述多个元数据一起迁移至目标存储集群中。
可选地，将所述归并集合中所有被归并对象以及所述多个元数据一起迁移至目标存储集群中的步骤，包括：为所述归并集合设置对应的迁移接口；采用所述迁移接口将所述归并集合中所有被归并对象以及所述多个元数据一起迁移至目标存储集群中。
可选地，将所述归并集合中所有被归并对象以及所述多个元数据一起迁移至目标存储集群中的步骤，还包括：控制所述目标存储集群重命名所述归并集合；将所述归并集合中所有被归并对象的对象数据和每个所述被归并对象的元数据进行重组处理，并将重组处理后的新归并集合归档至所述目标存储集群的指定存储桶中。
可选地，在将重组处理后的新归并集合归档至所述目标存储集群的指定存储桶中之后，所述方法还包括：记录所述新归并集合的对象数据的数据名称以及所述元数据在所述新归并集合中的起始位和偏移位；将指向所述新归并集合的多个新元数据存储至桶索引文件。
可选地，在将指向所述新归并集合的多个新元数据存储至桶索引文件之后，所述方法还包括：接收对象访问请求，其中，所述对象访问请求中至少包括：元数据索引标识；基于所述元数据索引标识，获取指向新归并集合中的指定存储桶的目标元数据；基于所述目标元数据，查询在所述新归并集合中与所述目标元数据对应的目标对象数据。
可选地，在将重组处理后的新归并集合归档至所述目标存储集群的指定存储桶中之后，所述方法还包括：若所述指定存储桶不再写入对象数据，在所述指定存储桶的数据写入入口设置禁止标识，其中，所述禁止标识用于禁止外部终端向所述指定存储桶继续写入对象数据。
可选地，在将重组处理后的新归并集合归档至所述目标存储集群的指定存储桶中之后，所述方法还包括：接收用户终端的对象查询请求，其中，所述对象查询请求中至少包括：目标存储对象的对象归档标识；响应所述对象查询请求，查询所述预设存储桶内是否存在待查询存储对象；若所述预设存储桶内不存在待查询存储对象，则采用回溯规则查询在所述目标存储集群中与所述对象归档标识对应的对象数据和元数据。
可选地，在遍历当前存储集群中在预设存储桶内的多个存储对象，得到每个所述存储对象的对象类型之前，还包括：接收多个存储对象，其中，每个所述存储对象包括：多个对象数据以及标识每个所述对象数据的元数据；将多个存储对象写入预设缓存池的存储桶中，其中，所述预设缓存池中包含有至少一个所述存储桶；在对所述存储桶中的存储对象进行归并处理后，将归并后的所述对象数据写入数据池中，并将元数据写入元数据模块中。
可选地，所述预设缓存池是由多个第一类型驱动器组建的，所述元数据模块是由多个第二类型驱动器组建的。
根据本发明实施例的另一方面，还提供了一种数据迁移装置，包括：遍历单元，用于遍历当前存储集群中在预设存储桶内的多个存储对象，得到每个所述存储对象的对象类型，其中，所述对象类型包括：被归并对象和未归并对象，所述被归并对象是指对象数据的数据量大小低于预设阈值的存储对象；写入单元，用于在所述存储对象的对象类型指示所述存储对象为未归并对象，则将所述未归并对象以及所述未归并对象的元数据直接写入目标存储集群中；迁移单元，用于在所述存储对象的对象类型指示所述存储对象为被归并对象，查询所述被归并对象所属的归并集合，读取对象列表中与所述归并集合对应的多个元数据，将所述归并集合中所有被归并对象以及所述多个元数据一起迁移至目标存储集群中。
可选地，所述迁移单元包括：第一设置模块，用于为所述归并集合设置对应的迁移接口；第一迁移模块，用于采用所述迁移接口将所述归并集合中所有被归并对象以及所述多个元数据一起迁移至目标存储集群中。
可选地，所述迁移单元还包括：第一控制模块，用于控制所述目标存储集群重命名所述归并集合；重组模块，用于将所述归并集合中所有被归并对象的对象数据和每个所述被归并对象的元数据进行重组处理，并将重组处理后的新归并集合归档至所述目标存储集群的指定存储桶中。
可选地，所述数据迁移装置还包括：记录单元，用于在将重组处理后的新归并集合归档至所述目标存储集群的指定存储桶中之后，记录所述新归并集合的对象数据的数据名称以及所述元数据在所述新归并集合中的起始位和偏移位；存储单元，用于将指向所述新归并集合的多个新元数据存储至桶索引文件。
可选地，所述数据迁移装置还包括：第一接收单元，用于在将指向所述新归并集合的多个新元数据存储至桶索引文件之后，接收对象访问请求，其中，所述对象访问请求中至少包括：元数据索引标识；获取单元，用于基于所述元数据索引标识，获取指向新归并集合中的指定存储桶的目标元数据；第一查询单元，用于基于所述目标元数据，查询在所述新归并集合中与所述目标元数据对应的目标对象数据。
可选地，所述数据迁移装置还包括：第二设置模块，用于在将重组处理后的新归并集合归档至所述目标存储集群的指定存储桶中之后，若所述指定存储桶不再写入对象数据，在所述指定存储桶的数据写入入口设置禁止标识，其中，所述禁止标识用于禁止外部终端向所述指定存储桶继续写入对象数据。
可选地，所述数据迁移装置还包括：第二接收单元，用于在将重组处理后的新归并集合归档至所述目标存储集群的指定存储桶中之后，接收用户终端的对象查询请求，其中，所述对象查询请求中至少包括：目标存储对象的对象归档标识；响应单元，用于响应所述对象查询请求，查询所述预设存储桶内是否存在待查询存储对象；第二查询单元，用于在所述预设存储桶内不存在待查询存储对象时，则采用回溯规则查询在所述目标存储集群中与所述对象归档标识对应的对象数据和元数据。
可选地，所述数据迁移装置还包括：第三接收单元，用于在遍历当前存储集群中在预设存储桶内的多个存储对象，得到每个所述存储对象的对象类型之前，接收多个存储对象，其中，每个所述存储对象包括：多个对象数据以及标识每个所述对象数据的元数据；第一写入模块，用于将多个存储对象写入预设缓存池的存储桶中，其中，所述预设缓存池中包含有至少一个所述存储桶；第二写入模块在对所述存储桶中的存储对象进行归并处理后，将归并后的所述对象数据写入数据池中，并将元数据写入元数据模块中。
可选地，所述预设缓存池是由多个第一类型驱动器组建的，所述元数据模块是由多个第二类型驱动器组建的。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的数据迁移方法。
根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项所述的数据迁移方法。
本发明实施例中，采用遍历当前存储集群中在预设存储桶内的多个存储对象，得到每个存储对象的对象类型，其中，对象类型包括：被归并对象和未归并对象，被归并对象是指对象数据的数据量大小低于预设阈值的存储对象，若存储对象的对象类型指示存储对象为未归并对象，则将未归并对象以及未归并对象的元数据直接写入目标存储集群中，若存储对象的对象类型指示存储对象为被归并对象，查询被归并对象所属的归并集合，读取对象列表中与归并集合对应的多个元数据，将归并集合中所有被归并对象以及多个元数据一起迁移至目标存储集群中。在该实施例中，可以将数据量大小低于预设阈值的存储对象预先进行归并处理，按照本地集群归并后的单个归并集合为单位批量迁移小文件至另一个存储集群中，降低缓存池空间使用、提高磁盘利用率和小文件的读写性能，提高了存储迁移效率，降低了海量小文件场景对SSD的依赖，从而解决相关技术中对于海量小文件，不仅浪费存储空间，而且对固态硬盘SSD缓存池的依赖性较高的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的数据迁移方法的流程图；
图2是根据本发明实施例的一种可选的实现存储集群数据归并的示意图；
图3是根据本发明实施例的一种可选的迁移存储对象的对象数据的示意图；
图4是根据本发明实施例的一种可选的实现存储对象归并动作的示意图；
图5是根据本发明实施例的一种可选的数据迁移装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于本领域技术人员方便理解本发明，下面对本发明各实施例中涉及的部分术语或者名词做出解释：
RGW，Rados Gateway，对象存储网关；
存储类，Storage Class，不同存储介质或者不同冗余的存储集合；
索引池，Index Pool，对象存储元数据的数据池；
小文件归并(SOM)，Small Object Merge，小文件通过归并，聚合成大文件；
归并集合(MF)，Merging File，小文件归并后生成的大文件集合；
SSD，固态硬盘；
HDD，机械硬盘；
存储对象，包含对象数据和元数据，其中，元数据是指唯一标识对象数据的标识符，每个存储对象都会放置在一个扁平地址空间内的存储池内；
对象存储，是指基于对象的存储，是用来描述解决和处理离散单元的方法的通用术语，在本实施例中，离散单元是指对象；
存储桶，Bucket，对象的载体，也可理解为存储对象的容器，对象以扁平化结构存储在存储桶中，每个存储桶可存储任意数量的对象。
本发明可以应用于会产生海量小文件(存储对象)的场景中，该场景包括但不限于：网络安防、道路视频监控、机场图像采集、商场图像采集等。在这些场景中，图像采集设备(例如摄像探头、安防拍摄器)、无人货柜的部位识别器等会采集大量的小文件(文件类型包括但不限于：图片、视频、检测框，本发明中以采集的大量图片为例进行示意说明)，这些小文件规格较小，但是数量较多，在数据存储过程中往往需要较高的读写性能，同时又需要利用大数据对小文件做分析，这对集群容量产生极大的挑战，因此就意味着更多的成本。相对于现有技术中为了提高小文件读写性能，同时满足当前集群对海量数据要求，需要大量增加SSD个数，提高用户成本，对SSD的依赖性较高的弊端，本发明应用海量小文件存储和数据迁移归档场景，创建归并规则并应用于存储桶，通过对本地集群的小文件预先进行归并处理，然后按本地集群归并后的大文件为粒度进行迁移，来降低索引池(本发明中可以SSD组成的固态硬盘池作为索引池/缓存池)空间使用，提高磁盘利用率和小文件的读写性能。
本发明可以应用于数据归档服务中心/数据归档服务系统，能够降低成本减少用户对SSD缓存池的依赖。下面结合各个实施例对本发明进行详细说明。
实施例一
由于在数据存储过程中，通常每隔一段时间就会产生大量的数据，且大量数据还需要一段时间的保存周期(例如，保存周期为6个月-1年)，因此，对集群容量产生极大的挑战，针对这种场景，本实施例提供了一种数据迁移方法，能够满足用户的需求进行无缝迁移，将小文件在本地集群中预先进行归并处理，然后以归并集合为单位批量迁移小文件至另一个存储集群中(即按本地集群归并后的大文件为粒度进行迁移)，降低缓存池空间使用、提高磁盘利用率和小文件的读写性能，提高了存储迁移效率。
根据本发明实施例，提供了一种数据迁移方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种可选的数据迁移方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，遍历当前存储集群中在预设存储桶内的多个存储对象，得到每个存储对象的对象类型，其中，对象类型包括：被归并对象和未归并对象，被归并对象是指对象数据的数据量大小低于预设阈值的存储对象；
步骤S104，若存储对象的对象类型指示存储对象为未归并对象，则将未归并对象以及未归并对象的元数据直接写入目标存储集群中；
步骤S106，若存储对象的对象类型指示存储对象为被归并对象，查询被归并对象所属的归并集合，读取对象列表中与归并集合对应的多个元数据，将归并集合中所有被归并对象以及多个元数据一起迁移至目标存储集群中。
通过上述步骤，可以遍历当前存储集群中在预设存储桶内的多个存储对象，得到每个存储对象的对象类型，其中，对象类型包括：被归并对象和未归并对象，被归并对象是指对象数据的数据量大小低于预设阈值的存储对象，若存储对象的对象类型指示存储对象为未归并对象，则将未归并对象以及未归并对象的元数据直接写入目标存储集群中，若存储对象的对象类型指示存储对象为被归并对象，查询被归并对象所属的归并集合，读取对象列表中与归并集合对应的多个元数据，将归并集合中所有被归并对象以及多个元数据一起迁移至目标存储集群中。在该实施例中，可以将数据量大小低于预设阈值的存储对象预先进行归并处理，按照本地集群归并后的单个归并集合为单位批量迁移小文件至另一个存储集群中，降低缓存池空间使用、提高磁盘利用率和小文件的读写性能，提高了存储迁移效率，降低了海量小文件场景对SSD的依赖，从而解决相关技术中对于海量小文件，不仅浪费存储空间，而且对固态硬盘SSD缓存池的依赖性较高的技术问题。
在遍历当前存储集群中在预设存储桶内的多个存储对象，得到每个存储对象的对象类型之前，可以包括：接收多个存储对象，其中，每个存储对象包括：多个对象数据以及标识每个对象数据的元数据；将多个存储对象写入预设缓存池的存储桶中，其中，预设缓存池中包含有至少一个存储桶；在对存储桶中的存储对象进行归并处理后，将归并后的对象数据写入数据池中，并将元数据写入元数据模块中。
可选的，预设缓存池是由多个第一类型驱动器组建的，元数据模块是由多个第二类型驱动器组建的。
本实施例中，分别以第一类型驱动器组建缓存池，以存储较小的对象数据，以第二类型驱动器组建元数据模块，以存储标识对象数据的元数据。可选的，预设缓存池是由多个第一类型驱动器组建的，元数据模块是由多个第二类型驱动器组建的。
第一类型驱动器可以是指由固态硬盘SSD，第二类型驱动器可以是指机械硬盘HDD。
图2是根据本发明实施例的一种可选的实现存储集群数据归并的示意图，如图2所示，对于存储集群A，在数据归并过程中，包括：数据写入过程和归并模块进行归并执行过程；对于每一个存储对象obj，可以通过数据写入过程，将其写入缓存池，然后利用每个存储桶bucket(图2中示意了两个存储桶bucket1：bucket_id+AZeR和bucket2：bucket_id+erEz)存储该存储对象。图2中的归并执行过程包括：读取存储桶中的存储对象，确定每个存储对象的数据量大小，对数据量较小的多个存储对象进行归并处理，将归并后的对象数据写入数据池中，并将标识每个存储对象的存储位置(记录存储对象在存储桶中的位置、偏移位)的元数据写入元数据模块中。
每个归并集合的元数据结构包括但不限于：元数据头(记录引用个数)和对象位置(采用map存储，例如：1、object1：existed和2、object2:deleted…)、数据位置。
通过上述实施例，对当前存储集群中较小的存储对象已经进行归并处理。
下面结合上述各实施步骤来详细说明本发明。
步骤S102，遍历当前存储集群中在预设存储桶内的多个存储对象，得到每个存储对象的对象类型。
本实施例中的存储对象包括但不限于：文件、表格等。
在本实施例中，每个存储集群中会设置至少一个存储桶，存储对象会存储在存储桶中，每个存储桶所存放的对象数量和对象大小并不限定，例如，在存储桶内放置有1万个存储对象。可选的，本实施例以存储桶为单位对多个存储对象的对象数据进行归并处理。
本实施例中的对象类型包括：被归并对象和未归并对象，被归并对象是指对象数据的数据量大小低于预设阈值的存储对象。被归并对象可以是指数据量较小的存储对象，例如，1M、4M大小的图片，或者2M大小的txt文档，本地集群可以预先对这些小文件进行归并处理，得到多个归并集合(例如，归并集合MF1和MF2，其中，MF1包括：1.txt，2.txt，3.txt，4.txt，5.txt，而归并集合MF2包括：6.txt，7.txt，8.txt，9.txt，10.txt)，方便后续的对象迁移。而未归并对象可以是指数据较大的文件，由于占用空间较大，无需进行归并，后续进行迁移时，直接将未归并对象直接迁移至另一存储集群的指定存储桶中。
可选的，本申请在遍历当前存储集群中在预设存储桶内的多个存储对象时，是按照对象存储顺序遍历的，例如，先读取存储桶中的第一个存储对象1.txt，然后获取存储桶的第二个存储对象2.txt，在读取过程中，如果发现该存储对象为被归并对象，则将被归并对象所属的整个归并集合的文件全部迁移，例如，如果确定第一个存储对象1.txt为被归并对象，则查询其所属的归并集合MF1，然后通过访问元数据模块，查询该MF对应的对象列表，取该MF内的所有元数据，将每个元数据对应的存储对象都确认到，以前述示例说明为例，通过1.txt可以查询到归并集合MF1，然后通过对象列表可以查询到该MF1包含有1.txt，2.txt，3.txt，4.txt，5.txt，在迁移时，直接将该5个存储对象以及对应的元数据一起迁移。在将归并集合MF1的存储对象的对象数据和元数据全部迁移后，继续读取下一存储对象，例如，读取6.txt,7.txt…，在读取过程中，仍然按照前述方式以归并集合为单位进行迁移。
步骤S104，若存储对象的对象类型指示存储对象为未归并对象，则将未归并对象以及未归并对象的元数据直接写入目标存储集群中。
本实施例中，在迁移本地存储集群中的未归并对象时，可以直接将未归并对象迁移至另一存储集群中。
可选的，本实施例在迁移时，是以存储桶为单位进行迁移的，即将本地存储集群中预设存储桶的所有存储对象全部迁移至目标存储集群中指定存储桶中。
步骤S106，若存储对象的对象类型指示存储对象为被归并对象，查询被归并对象所属的归并集合，读取对象列表中与归并集合对应的多个元数据，将归并集合中所有被归并对象以及多个元数据一起迁移至目标存储集群中。
在当前存储集群列举存储桶bucket的存储对象后，如果是被归并对象，则读取对象列表对应的元数据，把元数据和MF一起下发至另一目标存储集群；如果不是被归并对象，则直接写入目标存储集群，目标存储集群把MF按规则重命名后写入，并更新对象元数据信息对应的MF名称，最后写入。
作为本实施例可选的实施方式，在迁移一批存储对象至目标存储集群后，可将当前存储集群中被迁移的存储对象全部删除。
可选的，将归并集合中所有被归并对象以及多个元数据一起迁移至目标存储集群中的步骤，包括：为归并集合设置对应的迁移接口；采用迁移接口将归并集合中所有被归并对象以及多个元数据一起迁移至目标存储集群中。
在数据归档过程中定义特定的迁移接口，按照单个归并集合(MF)为单位批量迁移较小的对象数据，降低对磁盘的随机读写惩罚，提高了存储迁移效率然后顺序扫描日志，读取对象信息执行分层任务。在通过迁移接口迁移存储对象后，由于归并集合存放的都是对象数据，归并集合中的所有对象数据可以拼接/链接在一起。
为了保证后续能够方便查询到目标存储集群中存放的对象数据或者回溯到当期存储集群中的对象数据，需要将对象数据与对应的元数据一对一重组，便于后续查找。本实施例中，将归并集合中所有被归并对象以及多个元数据一起迁移至目标存储集群中的步骤，还包括：控制目标存储集群重命名归并集合；将归并集合中所有被归并对象的对象数据和每个被归并对象的元数据进行重组处理，并将重组处理后的新归并集合归档至目标存储集群的指定存储桶中。
可选的，在将重组处理后的新归并集合归档至目标存储集群的指定存储桶中之后，方法还包括：记录新归并集合的对象数据的数据名称以及元数据在新归并集合中的起始位和偏移位；将指向新归并集合的多个新元数据存储至桶索引文件。
图3是根据本发明实施例的一种可选的迁移存储对象的对象数据的示意图，如图3所示，在将集群A(指代上述的当前存储集群)中的数据迁移至另一集群B(指代上述的目标存储集群)过程中，数据池中存储多个归并集合(如图3中示意的MF000001和MF000002…)，每个归并集合可以通过设置的存储桶进行存储，同时在元数据模块写入了每个存储对象的元数据。
如图3所示，在迁移存储对象的对象数据过程中，可以先查询元数据，数据迁移控制模块列举存储桶的桶对象，获取桶第一个对象后查询该对象所属的MF文件(即归并集合)，得到该MF文件下所有的对象数据和元数据。将对象数据和元数据一起迁移至另一集群B中，按MF写入数据，接下来更新元数据信息，如写入数据MF0000001_Clusterb，同时更新元数据信息，记录对应的数据名称和起始位、偏移位。
图3中，当前存储集群A通过列举桶bucket内的存储对象，如果第一个对象是被归并对象则读取对应的MF对象对应的对象列表，如obj1、obj2、obj3、obj4。然后把MF00001和获取得到的obj1等对象元数据下发至存储集群B(获取元数据过程通过访问元数据模块，查询MF对应的对象列表，再依次查询元数据模块获取obj1等的元数据)。命令下发至集群B后，先写入MF数据(需要重命名，防止冲突)，然后写入对象的元数据信息。
作为本实施例可选的实施方式，在将指向新归并集合的多个新元数据存储至桶索引文件之后，方法还包括：接收对象访问请求，其中，对象访问请求中至少包括：元数据索引标识；基于元数据索引标识，获取指向新归并集合中的指定存储桶的目标元数据；基于目标元数据，查询在新归并集合中与目标元数据对应的目标对象数据。
图4是根据本发明实施例的一种可选的实现存储对象归并动作的示意图，如图4所示，在对象归并前，数据会预先存储在缓存池，缓存池包括至少一个存储桶，以存储桶来存储各个对象，在存储桶(index bucket)中包含有存储对象1.txt(包含有对象数据data_1.txt和元数据index_1.txt)，设定该存储对象的对象数据部分为数据量低于预设阈值的对象数据，即小对象；在集群中进行对象归并中，对象数据写入数据池，标识对象数据的元数据写入元数据模块。在将集群A中的存储桶的对象迁移至集群B中的指定存储桶中(即对存储桶进行归档)，以每个存储桶为单位，对所有的归并集合进行归档处理，通过定义约定的归档接口，按单个归并集合(MF)为单位进行数据迁移，这样做的目的是为了提高归档效率，同时需要将对象数据和元数据进行重组，重新下发至目标存储集群(如图4中下方能够得到归并集合，此归并集合将对象数据和元数据部分进行重组了)，同时在桶归档后，还包括了index bucket(1.txt meta)。
当存储桶不再写入对象时，设置对应的迁移禁止标识flag禁止数据再写入。可选的，在将重组处理后的新归并集合归档至目标存储集群的指定存储桶中之后，方法还包括：若指定存储桶不再写入对象数据，在指定存储桶的数据写入入口设置禁止标识，其中，禁止标识用于禁止外部终端向指定存储桶继续写入对象数据。
为了在原集群能够访问归档对象，通过配置回源规则满足用户对数据的访问。在本实施例中，在将重组处理后的新归并集合归档至目标存储集群的指定存储桶中之后，方法还包括：接收用户终端的对象查询请求，其中，对象查询请求中至少包括：目标存储对象的对象归档标识；响应对象查询请求，查询预设存储桶内是否存在待查询存储对象；若预设存储桶内不存在待查询存储对象，则采用回溯规则查询在目标存储集群中与对象归档标识对应的对象数据和元数据。
为了实现在桶对象归档之后在原集群能够继续访问原对象，在存储桶设置归档flag时，或者数据归档之前配置桶的回源代理规则，实现原集群访问该存储对象。
在迁移工作开始之前，需要先配置回源规则，建立与目标存储集合中的指定存储桶的管理关系，如果集群A中的存储对象被删除，则需要去集群b读取下返回给用户终端。
通过上述实施例，在海量小文件存储和数据迁移归档场景，创建归并规则并应用于存储桶，通过对小文件进行归并来降低索引池空间使用，提高磁盘利用率和小文件的读写性能。当前集群减少了索引池使用，降低了海量小文件场景对SSD所构建的索引池/缓存池的依赖。
同时，在本实施例中，将数据归档过程定义特定迁移接口，按照单个归并集合(MF)为单位批量迁移小文件，降低对磁盘的随机读写惩罚，提高了存储迁移效率；同时对迁移后的对象优化元数据和数据存储方式，减少对索引池的使用。
下面通过另一种可选的实施例来说明本发明。
实施例二
本实施例提供了一种数据迁移装置，该数据迁移装置包含有多个实施单元，每个实施单元对应于上述实施例一中的各个实施步骤。
图5是根据本发明实施例的一种可选的数据迁移装置的示意图，如图5所示，该数据迁移装置可以包括：遍历单元51、写入单元53、迁移单元55，其中，
遍历单元51，用于遍历当前存储集群中在预设存储桶内的多个存储对象，得到每个存储对象的对象类型，其中，对象类型包括：被归并对象和未归并对象，被归并对象是指对象数据的数据量大小低于预设阈值的存储对象；
写入单元53，用于在存储对象的对象类型指示存储对象为未归并对象，则将未归并对象以及未归并对象的元数据直接写入目标存储集群中；
迁移单元55，用于在存储对象的对象类型指示存储对象为被归并对象，查询被归并对象所属的归并集合，读取对象列表中与归并集合对应的多个元数据，将归并集合中所有被归并对象以及多个元数据一起迁移至目标存储集群中。
上述数据迁移装置，可以通过遍历单元51遍历当前存储集群中在预设存储桶内的多个存储对象，得到每个存储对象的对象类型，其中，对象类型包括：被归并对象和未归并对象，被归并对象是指对象数据的数据量大小低于预设阈值的存储对象，通过写入单元53在存储对象的对象类型指示存储对象为未归并对象，则将未归并对象以及未归并对象的元数据直接写入目标存储集群中，通过迁移单元55在存储对象的对象类型指示存储对象为被归并对象，查询被归并对象所属的归并集合，读取对象列表中与归并集合对应的多个元数据，将归并集合中所有被归并对象以及多个元数据一起迁移至目标存储集群中。在该实施例中，可以将数据量大小低于预设阈值的存储对象预先进行归并处理，按照本地集群归并后的单个归并集合为单位批量迁移小文件至另一个存储集群中，降低缓存池空间使用、提高磁盘利用率和小文件的读写性能，提高了存储迁移效率，降低了海量小文件场景对SSD的依赖，从而解决相关技术中对于海量小文件，不仅浪费存储空间，而且对固态硬盘SSD缓存池的依赖性较高的技术问题。
可选的，迁移单元包括：第一设置模块，用于为归并集合设置对应的迁移接口；第一迁移模块，用于采用迁移接口将归并集合中所有被归并对象以及多个元数据一起迁移至目标存储集群中。
可选的，迁移单元还包括：第一控制模块，用于控制目标存储集群重命名归并集合；重组模块，用于将归并集合中所有被归并对象的对象数据和每个被归并对象的元数据进行重组处理，并将重组处理后的新归并集合归档至目标存储集群的指定存储桶中。
另一种可选的，数据迁移装置还包括：记录单元，用于在将重组处理后的新归并集合归档至目标存储集群的指定存储桶中之后，记录新归并集合的对象数据的数据名称以及元数据在新归并集合中的起始位和偏移位；存储单元，用于将指向新归并集合的多个新元数据存储至桶索引文件。
可选的，数据迁移装置还包括：第一接收单元，用于在将指向新归并集合的多个新元数据存储至桶索引文件之后，接收对象访问请求，其中，对象访问请求中至少包括：元数据索引标识；获取单元，用于基于元数据索引标识，获取指向新归并集合中的指定存储桶的目标元数据；第一查询单元，用于基于目标元数据，查询在新归并集合中与目标元数据对应的目标对象数据。
本实施例中，数据迁移装置还包括：第二设置模块，用于在将重组处理后的新归并集合归档至目标存储集群的指定存储桶中之后，若指定存储桶不再写入对象数据，在指定存储桶的数据写入入口设置禁止标识，其中，禁止标识用于禁止外部终端向指定存储桶继续写入对象数据。
可选的，数据迁移装置还包括：第二接收单元，用于在将重组处理后的新归并集合归档至目标存储集群的指定存储桶中之后，接收用户终端的对象查询请求，其中，对象查询请求中至少包括：目标存储对象的对象归档标识；响应单元，用于响应对象查询请求，查询预设存储桶内是否存在待查询存储对象；第二查询单元，用于在预设存储桶内不存在待查询存储对象时，则采用回溯规则查询在目标存储集群中与对象归档标识对应的对象数据和元数据。
另一种可选的，数据迁移装置还包括：第三接收单元，用于在遍历当前存储集群中在预设存储桶内的多个存储对象，得到每个存储对象的对象类型之前，接收多个存储对象，其中，每个存储对象包括：多个对象数据以及标识每个对象数据的元数据；第一写入模块，用于将多个存储对象写入预设缓存池的存储桶中，其中，所述预设缓存池中包含有至少一个所述存储桶；第二写入模块在对所述存储桶中的存储对象进行归并处理后，将归并后的所述对象数据写入数据池中，并将元数据写入元数据模块中。
可选的，预设缓存池是由多个第一类型驱动器组建的，元数据模块是由多个第二类型驱动器组建的。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的数据迁移方法。
根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项的数据迁移方法。
上述的数据迁移装置还可以包括处理器和存储器，上述遍历单元51、写入单元53、迁移单元55等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
上述处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来在存储对象的对象类型指示存储对象为被归并对象，查询被归并对象所属的归并集合，读取对象列表中与归并集合对应的多个元数据，将归并集合中所有被归并对象以及多个元数据一起迁移至目标存储集群中。
上述存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的数据迁移方法。
根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项的数据迁移方法。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：遍历当前存储集群中在预设存储桶内的多个存储对象，得到每个存储对象的对象类型，其中，对象类型包括：被归并对象和未归并对象，被归并对象是指对象数据的数据量大小低于预设阈值的存储对象；若存储对象的对象类型指示存储对象为未归并对象，则将未归并对象以及未归并对象的元数据直接写入目标存储集群中；若存储对象的对象类型指示存储对象为被归并对象，查询被归并对象所属的归并集合，读取对象列表中与归并集合对应的多个元数据，将归并集合中所有被归并对象以及多个元数据一起迁移至目标存储集群中。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (12)
1.一种数据迁移方法，其特征在于，包括：
遍历当前存储集群中在预设存储桶内的多个存储对象，得到每个所述存储对象的对象类型，其中，所述对象类型包括：被归并对象和未归并对象，所述被归并对象是指对象数据的数据量大小低于预设阈值的存储对象；
若所述存储对象的对象类型指示所述存储对象为未归并对象，则将所述未归并对象以及所述未归并对象的元数据直接写入目标存储集群中；
若所述存储对象的对象类型指示所述存储对象为被归并对象，查询所述被归并对象所属的归并集合，读取对象列表中与所述归并集合对应的多个元数据，将所述归并集合中所有被归并对象以及所述多个元数据一起迁移至目标存储集群中。
2.根据权利要求1所述的方法，其特征在于，将所述归并集合中所有被归并对象以及所述多个元数据一起迁移至目标存储集群中的步骤，包括：
为所述归并集合设置对应的迁移接口；
采用所述迁移接口将所述归并集合中所有被归并对象以及所述多个元数据一起迁移至目标存储集群中。
3.根据权利要求1所述的方法，其特征在于，将所述归并集合中所有被归并对象以及所述多个元数据一起迁移至目标存储集群中的步骤，还包括：
控制所述目标存储集群重命名所述归并集合；
将所述归并集合中所有被归并对象的对象数据和每个所述被归并对象的元数据进行重组处理，并将重组处理后的新归并集合归档至所述目标存储集群的指定存储桶中。
4.根据权利要求3所述的方法，其特征在于，在将重组处理后的新归并集合归档至所述目标存储集群的指定存储桶中之后，所述方法还包括：
记录所述新归并集合的对象数据的数据名称以及所述元数据在所述新归并集合中的起始位和偏移位；
将指向所述新归并集合的多个新元数据存储至桶索引文件。
5.根据权利要求4所述的方法，其特征在于，在将指向所述新归并集合的多个新元数据存储至桶索引文件之后，所述方法还包括：
接收对象访问请求，其中，所述对象访问请求中至少包括：元数据索引标识；
基于所述元数据索引标识，获取指向新归并集合中的指定存储桶的目标元数据；
基于所述目标元数据，查询在所述新归并集合中与所述目标元数据对应的目标对象数据。
6.根据权利要求3所述的方法，其特征在于，在将重组处理后的新归并集合归档至所述目标存储集群的指定存储桶中之后，所述方法还包括：
若所述指定存储桶不再写入对象数据，在所述指定存储桶的数据写入入口设置禁止标识，其中，所述禁止标识用于禁止外部终端向所述指定存储桶继续写入对象数据。
7.根据权利要求3所述的方法，其特征在于，在将重组处理后的新归并集合归档至所述目标存储集群的指定存储桶中之后，所述方法还包括：
接收用户终端的对象查询请求，其中，所述对象查询请求中至少包括：目标存储对象的对象归档标识；
响应所述对象查询请求，查询所述预设存储桶内是否存在待查询存储对象；
若所述预设存储桶内不存在待查询存储对象，则采用回溯规则查询在所述目标存储集群中与所述对象归档标识对应的对象数据和元数据。
8.根据权利要求1所述的方法，其特征在于，在遍历当前存储集群中在预设存储桶内的多个存储对象，得到每个所述存储对象的对象类型之前，还包括：
接收多个存储对象，其中，每个所述存储对象包括：多个对象数据以及标识每个所述对象数据的元数据；
将多个存储对象写入预设缓存池的存储桶中，其中，所述预设缓存池中包含有至少一个所述存储桶；
在对所述存储桶中的存储对象进行归并处理后，将归并后的所述对象数据写入数据池中，并将元数据写入元数据模块中。
9.根据权利要求8所述的方法，其特征在于，所述预设缓存池是由多个第一类型驱动器组建的，所述元数据模块是由多个第二类型驱动器组建的。
10.一种数据迁移装置，其特征在于，包括：
遍历单元，用于遍历当前存储集群中在预设存储桶内的多个存储对象，得到每个所述存储对象的对象类型，其中，所述对象类型包括：被归并对象和未归并对象，所述被归并对象是指对象数据的数据量大小低于预设阈值的存储对象；
写入单元，用于在所述存储对象的对象类型指示所述存储对象为未归并对象，则将所述未归并对象以及所述未归并对象的元数据直接写入目标存储集群中；
迁移单元，用于在所述存储对象的对象类型指示所述存储对象为被归并对象，查询所述被归并对象所属的归并集合，读取对象列表中与所述归并集合对应的多个元数据，将所述归并集合中所有被归并对象以及所述多个元数据一起迁移至目标存储集群中。
11.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至9中任意一项所述的数据迁移方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至9中任意一项所述的数据迁移方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110758754.3A CN113448946B (zh) | 2021-07-05 | 2021-07-05 | 数据迁移方法及装置、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110758754.3A CN113448946B (zh) | 2021-07-05 | 2021-07-05 | 数据迁移方法及装置、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113448946A CN113448946A (zh) | 2021-09-28 |
| CN113448946B true CN113448946B (zh) | 2024-01-12 |
Family
ID=77815085
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110758754.3A Active CN113448946B (zh) | 2021-07-05 | 2021-07-05 | 数据迁移方法及装置、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113448946B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115827788B (zh) * | 2023-02-16 | 2023-06-23 | 天翼云科技有限公司 | 一种数据迁移方法、装置、电子设备及可读存储介质 |
| CN117591495B (zh) * | 2024-01-18 | 2024-05-03 | 中核武汉核电运行技术股份有限公司 | 一种用于核电历史数据迁移的数据存储方法及系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102163210A (zh) * | 2010-02-12 | 2011-08-24 | 微软公司 | 索引元数据的快速更新 |
| CN102377824A (zh) * | 2011-10-19 | 2012-03-14 | 江西省南城县网信电子有限公司 | 一种基于云计算的空间信息服务系统 |
| CN102880658A (zh) * | 2012-08-31 | 2013-01-16 | 电子科技大学 | 基于地震数据处理的分布式文件管理系统 |
| CN106021585A (zh) * | 2016-06-02 | 2016-10-12 | 同济大学 | 一种基于时空特性的交通事件视频存取方法及系统 |
| CN108241709A (zh) * | 2016-12-27 | 2018-07-03 | 中国移动通信有限公司研究院 | 一种数据集成方法、装置和系统 |
| CN108287869A (zh) * | 2017-12-20 | 2018-07-17 | 江苏省公用信息有限公司 | 一种基于快速存储设备的海量小文件解决方法 |
| CN109460393A (zh) * | 2018-11-08 | 2019-03-12 | 浙江工业大学 | 一种基于大数据的预检预修可视化系统 |
| CN110888837A (zh) * | 2019-11-15 | 2020-03-17 | 星辰天合（北京）数据科技有限公司 | 对象存储小文件归并方法及装置 |
| CN111309259A (zh) * | 2020-02-14 | 2020-06-19 | 苏州浪潮智能科技有限公司 | 一种数据迁移方法、系统、存储介质和数据迁移终端 |
| CN112115206A (zh) * | 2019-06-19 | 2020-12-22 | 北京京东尚科信息技术有限公司 | 一种处理对象存储元数据的方法和装置 |
| CN112181309A (zh) * | 2020-10-14 | 2021-01-05 | 上海德拓信息技术股份有限公司 | 一种海量对象存储的在线扩容方法 |
| CN112434000A (zh) * | 2020-11-20 | 2021-03-02 | 苏州浪潮智能科技有限公司 | 一种基于hdfs的小文件合并方法、装置及设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8842907B2 (en) * | 2012-08-17 | 2014-09-23 | Tandent Vision Science, Inc. | Method for performing a multi-clustering merge for use in an image process |
| US10096074B2 (en) * | 2014-12-23 | 2018-10-09 | Veritas Technologies Llc | Systems and methods for expanding relevant search results in electronic discovery |
| US11036694B2 (en) * | 2017-03-15 | 2021-06-15 | Vmware, Inc. | Propagating affinity data to large file block clusters in a file system |
-
2021
- 2021-07-05 CN CN202110758754.3A patent/CN113448946B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102163210A (zh) * | 2010-02-12 | 2011-08-24 | 微软公司 | 索引元数据的快速更新 |
| CN102377824A (zh) * | 2011-10-19 | 2012-03-14 | 江西省南城县网信电子有限公司 | 一种基于云计算的空间信息服务系统 |
| CN102880658A (zh) * | 2012-08-31 | 2013-01-16 | 电子科技大学 | 基于地震数据处理的分布式文件管理系统 |
| CN106021585A (zh) * | 2016-06-02 | 2016-10-12 | 同济大学 | 一种基于时空特性的交通事件视频存取方法及系统 |
| CN108241709A (zh) * | 2016-12-27 | 2018-07-03 | 中国移动通信有限公司研究院 | 一种数据集成方法、装置和系统 |
| CN108287869A (zh) * | 2017-12-20 | 2018-07-17 | 江苏省公用信息有限公司 | 一种基于快速存储设备的海量小文件解决方法 |
| CN109460393A (zh) * | 2018-11-08 | 2019-03-12 | 浙江工业大学 | 一种基于大数据的预检预修可视化系统 |
| CN112115206A (zh) * | 2019-06-19 | 2020-12-22 | 北京京东尚科信息技术有限公司 | 一种处理对象存储元数据的方法和装置 |
| CN110888837A (zh) * | 2019-11-15 | 2020-03-17 | 星辰天合（北京）数据科技有限公司 | 对象存储小文件归并方法及装置 |
| CN111309259A (zh) * | 2020-02-14 | 2020-06-19 | 苏州浪潮智能科技有限公司 | 一种数据迁移方法、系统、存储介质和数据迁移终端 |
| CN112181309A (zh) * | 2020-10-14 | 2021-01-05 | 上海德拓信息技术股份有限公司 | 一种海量对象存储的在线扩容方法 |
| CN112434000A (zh) * | 2020-11-20 | 2021-03-02 | 苏州浪潮智能科技有限公司 | 一种基于hdfs的小文件合并方法、装置及设备 |
Non-Patent Citations (1)
| Title |
|---|
| 浅析集群系统中的动态负载平衡;黄卫华;《 渝西学院学报(自然科学版)》;第51-55页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113448946A (zh) | 2021-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11580061B2 (en) | System and method for file archiving using machine learning | |
| US8914412B2 (en) | Determining file ownership of active and inactive files based on file access history | |
| US8250033B1 (en) | Replication of a data set using differential snapshots | |
| US8706679B2 (en) | Co-operative locking between multiple independent owners of data space | |
| US8874517B2 (en) | Summarizing file system operations with a file system journal | |
| US7681001B2 (en) | Storage system | |
| US7577808B1 (en) | Efficient backup data retrieval | |
| US20100115332A1 (en) | Virtual machine-based on-demand parallel disaster recovery system and the method thereof | |
| CN113448946B (zh) | 数据迁移方法及装置、电子设备 | |
| WO2018121454A1 (zh) | 文件访问控制列表管理方法和相关装置和系统 | |
| CN103460197A (zh) | 计算机系统、文件管理方法以及元数据服务器 | |
| CN106599292B (zh) | 针对实时视频数据和图像数据进行存储的方法及系统 | |
| CN110888837B (zh) | 对象存储小文件归并方法及装置 | |
| KR101674176B1 (ko) | 파일 단위 순서 모드 저널링 기법을 이용한 fsync 시스템 호출 처리 장치 및 방법 | |
| US11250888B1 (en) | Flash memory and method for storing and retrieving embedded audio video data | |
| CN110287201A (zh) | 数据访问方法、装置、设备及存储介质 | |
| US11042507B2 (en) | System and method of deletion of files and counteracting their restoration | |
| CN114048185B (zh) | 一种分布式文件系统中海量小文件透明打包存储与访问的方法 | |
| CN104714864A (zh) | 一种计算机数据智能备份方法 | |
| CN114116611A (zh) | 一种文件扫描方法及相关装置 | |
| CN112262378B (zh) | 脱水文件的层级的水合 | |
| CN109144403B (zh) | 一种用于云盘模式切换的方法与设备 | |
| US20170286442A1 (en) | File system support for file-level ghosting | |
| EP3674876B1 (en) | System and method of deletion of files and counteracting their restoration | |
| US7974953B1 (en) | System and method for deletion of writeable PPIS |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 100094 101, floors 1-5, building 7, courtyard 3, fengxiu Middle Road, Haidian District, Beijing Applicant after: Beijing Xingchen Tianhe Technology Co.,Ltd. Address before: 100097 room 806-1, block B, zone 2, Jinyuan times shopping center, indigo factory, Haidian District, Beijing Applicant before: XSKY BEIJING DATA TECHNOLOGY Corp.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |