CN114138558A - 一种对象存储方法、装置、电子设备和存储介质 - Google Patents
一种对象存储方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN114138558A CN114138558A CN202111452244.XA CN202111452244A CN114138558A CN 114138558 A CN114138558 A CN 114138558A CN 202111452244 A CN202111452244 A CN 202111452244A CN 114138558 A CN114138558 A CN 114138558A
- Authority
- CN
- China
- Prior art keywords
- file
- object storage
- attribute information
- index
- changed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
- G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种对象存储方法、装置、电子设备和存储介质,包括:获取文件的当前属性信息以及文件名称;根据文件名称查询本地数据库,确定文件当前属性信息的更新状态;根据更新状态确定当前属性信息发生变化时,对文件进行分块并确定每个分块的索引;根据每个分块的索引查询本地数据库,并将发生变化的分块上传到对象存储进行备份。在确定文件属性信息发生变化时,通过将文件进行分块并且仅将发生变化的分块上传到对象存储进行备份,以减少对象存储的扫描及访问次数,以及传输重复数据的带宽浪费和资源占用,从而提高了备份的效率。
Description
技术领域
本发明实施例涉及对象存储技术领域,尤其涉及一种对象存储方法、装置、电子设备和存储介质。
背景技术
随着云技术、大数据的快速发展,petabyte级别的容量单位在较多企业内已经比较常见,而对象存储作为云计算存储服务领域的一种网络架构,应用也越来越广泛,对象存储相比文件存储更加简洁,在使用、扩展、维护方面更加符合大众化思想。文件系统的数据备份或迁移至对象存储,已成为备份领域较为常见的方式。一般比较常见的备份方式为,扫描文件系统上文件属性信息,获取对象存储上目标对象元数据信息,对比源端文件是否发生变化,然后上传整个文件到对象存储。
对象存储提供基于HTTP/HTTPS协议的接口,通过PUT和GET操作上传和下载数据,但是对象存储因为不支持随机位置的写操作,如果要更新一个对象,只能PUT上传整个文件,覆盖之前的对象,而在定时备份过程中,如果源端文件变化较多,每次都需要重新上传整个文件,对应CPU、内存和网络带宽的要求都相应增加,而且频繁与对象存储的交互也会增加对象存储的负担,从而影响备份的效率。
发明内容
本发明实施例提供了一种对象存储方法、装置、电子设备和存储介质,以实现将源端文件进行对象存储备份时,避免重复数据的传输。
第一方面,本发明实施例提供了一种对象存储方法,包括:
获取文件的当前属性信息以及文件名称;
根据文件名称查询本地数据库,确定文件当前属性信息的更新状态;
根据更新状态确定当前属性信息发生变化时,对文件进行分块并确定每个分块的索引;
根据每个分块的索引查询本地数据库,并将发生变化的分块上传到对象存储进行备份。
第二方面,本发明实施例提供了一种对象存储装置,包括:
属性信息和文件名称获取模块,用于获取文件的当前属性信息以及文件名称;
属性信息状态确定模块,用于根据文件名称查询本地数据库,确定文件当前属性信息的更新状态;
分块模块,用于根据更新状态确定当前属性信息发生变化时,对文件进行分块并确定每个分块的索引;
对象存储模块,用于根据每个分块的索引查询本地数据库,并将发生变化的分块上传到对象存储进行备份。
第三方面,本发明实施例提供了一种电子设备,电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上的方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如上所述的方法。
本发明实施例的技术方案,在确定文件属性信息发生变化时,通过将文件进行分块并且仅将发生变化的分块上传到对象存储进行备份,以减少对象存储的扫描及访问次数,以及传输重复数据的带宽浪费和资源占用,从而提高了备份的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1A是本发明实施例一提供的对象存储方法的流程图;
图1B是本发明实施例一提供的对象存储方法的应用场景示意图;
图2是本发明实施例二提供的对象存储方法的流程图;
图3是本发明实施例三提供的对象存储装置的结构示意图;
图4是本发明实施例四提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅用于解释本发明,而非对本发明的限定。
另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、软件实现、硬件实现等等。
实施例一
图1A是本发明实施例提供的对象存储方法的流程图,本实施例可适用于源端文件进行对象存储备份的情况,该方法可以由本发明实施例中的对象存储装置来执行,该装置可以采用软件和/或硬件的方式实现。如图1A所示,该方法具体包括如下操作:
步骤S101,获取文件的当前属性信息以及文件名称。
其中,如图1B所示为本实施方式的应用场景示意图,即将文件系统中的源端文件在对象存储中以对象的形式进行备份,为文件系统具体可以是存储区域网络(StorageArea Network,SAN),网络存储器(Network Attached Storage,NAS)或网络文件系统(Network File System,NFS)等,当然本实施方式中仅是举例说明,而并不对文件系统的具体类型进行限定。
具体的说,可以通过备份服务对文件系统进行定时扫描,针对每一个文件可以通过扫描获取文件的当前属性信息以及文件名称,而在属性信息中具体可以包括文件大小和修改时间等内容,本实施方式并不对属性信息的具体内容进行限定。
步骤S102,根据文件名称查询本地数据库,确定文件当前属性信息的更新状态。
可选的,根据文件名称查询本地数据库,确定文件当前属性信息的更新状态,包括:根据文件名称查询本地数据库获取文件的历史属性信息;判断文件的历史属性信息与当前属性信息是否相同,若相同,则确定当前属性信息的更新状态为未发生变化,否则,确定当前属性信息的更新状态为发生变化。
其中,在本地数据库中保存有每一个文件的前一次备份记录,在备份记录中包含历史属性信息,因此在获取到当前扫描的文件的名称时,可以根据文件名称查询本地数据库,获取前一次备份记录中所包含的历史属性信息,针对同一个文件,对比通过扫描所获取的当前属性信息与本地数据库中所保存的历史属性信息,即对比两端的文件大小与修改时间是否一致,如果一致,则确定当前属性信息的更新状态为未发生变化,即当前扫描的文件相对于前一次备份时没有发生变化,因此不需要上传到对象存储进行备份,如果不一致,则确定当前属性信息的更新状态为发生变化,即当前扫描的文件相对于前一次备份时发生了变化,因此需要对更新的文件进行备份。
步骤S103,根据更新状态确定当前属性信息发生变化时,对文件进行分块并确定每个分块的索引。
可选的,对文件进行分块并确定每个分块的索引,包括:根据文件的大小确定文件分块策略,其中,文件分块策略中包含文件大小与分块大小的对应关系;根据文件分块策略对文件进行分块,并按分块顺序依次确定每个分块的索引。
其中,本实施方式中可以预先设置文件分块策略,例如,文件分块策略包括:小文件每64k分块,一般文件每10M分块,大文件每100M分块,超大文件每1G分块。并且针对同一个文件分块越小,去重效率越高,但分块越多,对象存储上对应对象数量也越多;分块越大,去重效率越低,对象存储上对应对象数量也越小。当然,本实施方式中仅是举例说明而并不对分块策略的具体形式进行限定。
具体的说,根据预先设置的文件分块策略对属性信息发生变化的文件进行分块,例如,当前扫描的为文件1,并且确定文件1的属性信息发生了变化,文件的大小为40M,属于一般文件,因此可以按照每10M分块,获取4个分块,并且按分块顺序依次确定每个分块的索引具体为:1、2、3和4。
步骤S104,根据每个分块的索引查询本地数据库,并将发生变化的分块上传到对象存储进行备份。
可选的,根据每个分块的索引查询本地数据库,并将发生变化的分块上传到对象存储进行备份,包括:计算每个分块当前MD5哈希散列值;根据每个分块的索引查询本地数据库,获取与每个分块索引所对应的历史MD5哈希散列值;当分块索引相同的当前MD5哈希散列值与历史MD5哈希散列值不相同时,则确定分块发生变化;将发生变化的分块上传到对象存储进行备份。
其中,在对文件分块完成之后,根据分块中所包含的数据内容计算每个分块的MD5哈希散列值,由于根据分块数据内容计算MD5哈希散列值的方式并不是本申请的重点,因此本实施方式中不再进行赘述。根据每个分块的索引查询本地数据库,获取与每个分块索引所对应的历史MD5哈希散列值,例如,文件1进行分块处理获取了四个分块,索引为1的分块当前MD5哈希散列值为A,但本地数据库中保存的文件1中索引为1的分块历史MD5哈希散列值为a,而其余三个分块的MD5哈希散列值并没有发生变化,则确定文件1中索引为1的分块发生了变化,而其余三个分块没有变化,此时仅需要将1上传到对象存储中,而其余未发生变化的分块则无需上传,从而避免由于数据的重复上传,所造成的带宽浪费和资源占用。
在一个实施例中,如图1B所示,文件1中索引为1的分块保存在对象1中,索引为分块2的分块保存在对象2中,索引为分块3的分块保存在对象3中,索引为分块4的分块保存在对象4中,在确定文件1中索引为1的分块当前MD5哈希散列值与历史MD5哈希散列值不相同时,则仅将当前所获取的分块重新上传到对象1中,而其它三个分块由于未发生变化,因此无需重新上传。
需要说明的是,本实施方式中根据每个分块的MD5哈希散列值判定分块内容是否发生变化,当然还可以采用分块的其它参数进行判断,例如指示数据内容的指针等,当然,本实施方式进行举例说明,只要能够对分块内容的变动进行识别都是在本申请的保护范围内,本实施方式中并对其进行限定。
本发明实施例的技术方案,在确定文件属性信息发生变化时,通过将文件进行分块并且仅将发生变化的分块上传到对象存储进行备份,以减少对象存储的扫描及访问次数,以及传输重复数据的带宽浪费和资源占用,从而提高了备份的效率。
实施例二
图2是本发明实施例提供的对象存储方法的流程图,本实施例以上述实施例为基础,对上述步骤S104中的将发生变化的分块上传到对象存储进行备份的过程进行具体说明,方法步骤具体包括如下操作:
步骤S201,获取文件当前分块数量以及本地数据库中所保存的历史分块数量。
需要说明的是,由于在本地数据库中保存有前一次的备份记录信息,而在前一次的备份记录信息中包含有每个文件的历史分块数据,因此根据文件名称从本地数据库中进行查询,可以直接获取到文件名称所对应的历史分块数量。
步骤S202,判断当前分块数量与历史分块数量是否相同,若相同,则执行步骤S203,否则,执行步骤S204。
步骤S203,则从本地数据库获取对象存储映射关系,并将发生变化的分块按照对象存储映射关系上传到对象进行备份。
其中,对象存储映射关系中包含分块索引与对象标识的对应关系。
具体的说,在确定当前扫描文件的分块数量与前一次备份时所获取的历史分块数量相同时,即当前扫描文件的大小没有变化仅是文件的内容发生变化,此时,根据对象存储映射关系,将发生变化的分块按照原有路径重新上传到分块索引所对应的对象中,而无需增加新的对象进行存储,从而节省存储资源,例如,在本地数据库中保存有前一次备份时所获取的对象存储映射关系,索引为1的分块保存在对象1中,则当索引为1的分块发生变化后,将当前发生变化的索引为1的分块重新上传到对象1中,以将原有历史分块进行覆盖。
步骤S204,从本地数据库获取对象存储映射关系,根据发生变化的分块对对象映射关系进行更新,并将发生变化的分块按照更新后的对象存储映射关系上传到对象存储进行备份。
可选的,根据发生变化的分块对对象映射关系进行更新,并将发生变化的分块按照更新后的对象存储映射关系上传到对象存储进行备份,包括:在确定分块数量增加时,在对象映射关系中为发生变化的分块分配对象标识;将发生变化的分块按照更新后的对象存储映射关系上传到对象存储进行备份。
具体的说,当确定当前分块数量与历史分块数量不相同时,说明当前扫描文件的大小发生了变化,在确定分块数量增加时,说明文件变大了,在本地数据库中的对象映射关系从索引发生变化的分块开始分配对象标识,将发生变化的分块按照更新后的对象存储映射关系上传到对象存储进行备份,例如,历史分块数量是3个,但当前分块数量为4个,并且确定从索引2开始分块的MD5哈希散列值不相同,则从索引2开始重新分配对象标识,并按照重新分配的对象标识将发生变换的分块位置开始重新上传。
需要说明的是,在确定分块数量减少时,在对象映射关系中将发生变化的分块所对应的对象标识进行删除;在对象存储中将删除的对象表标识所对应的对象进行删除。并且在所有分块备份完成的情况下,还会将最终的文件大小、修改时间、分块大小以及分块数量等备份过程的相关信息在本地数据库进行保存,以便于后续文件发生变化时重新进行备份时进行查询。
值的一提的是,在将文件在对象存储进行备份之后,还可以根据需要从对象存储下载至本地数据库以对文件进行恢复。因为重新备份过程的相关信息已经在本地数据库进行了保存,因此通过查询数据库获取备份数据在对象储存上的文件目录,根据用户指令从文件目录中选择待下载的文件名称,获取文件名称所对应的分块索引,以及对象存储映射关系,根据对象存储映射关系连接对象存储进行分块的下载。此时,如果并发下载,可以下载到本地临时文件或缓存。如果按分块索引顺序下载,则直接顺序写入同一文件即可,无需合并。直到所有分块下载完成后,针对临时分块合并为完整文件,完成恢复流程。由于下载恢复过程为备份的逆过程,原理大致相同,因此本实施方式中不再进行赘述。
本发明实施例的技术方案,在确定文件属性信息发生变化时,通过将文件进行分块并且仅将发生变化的分块上传到对象存储进行备份,以减少对象存储的扫描及访问次数,以及传输重复数据的带宽浪费和资源占用,从而提高了备份的效率。本实施方式中针对发生变化的分块的不同情况采用不同的上传方式,从而使得备份更加精准。
实施例三
图3为本发明实施例提供的对象存储装置的结构示意图,该装置包括:属性信息和文件名称获取模块310、属性信息状态确定模块320、分块模块330和对象存储模块340。
属性信息和文件名称获取模块310,用于获取文件的当前属性信息以及文件名称;
属性信息状态确定模块320,用于根据文件名称查询本地数据库,确定文件当前属性信息的更新状态;
分块模块330,用于根据更新状态确定当前属性信息发生变化时,对文件进行分块并确定每个分块的索引;
对象存储模块340,用于根据每个分块的索引查询本地数据库,并将发生变化的分块上传到对象存储进行备份。
可选的,属性信息状态确定模块,具体用于根据文件名称查询本地数据库获取文件的历史属性信息;
判断文件的历史属性信息与当前属性信息是否相同,若相同,则确定当前属性信息的更新状态为未发生变化,否则,确定当前属性信息的更新状态为发生变化。
可选的,属性信息中包含文件大小和修改时间;分块模块,具体用于根据文件的大小确定文件分块策略,其中,文件分块策略中包含文件大小与分块大小的对应关系;
根据文件分块策略对文件进行分块,并按分块顺序依次确定每个分块的索引。
可选的,对象存储模块具体用于,计算每个分块当前MD5哈希散列值;
根据每个分块的索引查询本地数据库,获取与每个分块索引所对应的历史MD5哈希散列值;
当分块索引相同的当前MD5哈希散列值与历史MD5哈希散列值不相同时,则确定分块发生变化;
将发生变化的分块上传到对象存储进行备份。
可选的,对象存储模块具体用于,获取文件当前分块数量以及本地数据库中所保存的历史分块数量;
判断当前分块数量与历史分块数量是否相同,若相同,则从本地数据库获取对象存储映射关系,并将发生变化的分块按照对象存储映射关系上传到对象进行备份,其中,对象存储映射关系中包含分块索引与对象标识的对应关系,
否则,从本地数据库获取对象存储映射关系,根据发生变化的分块对对象映射关系进行更新,并将发生变化的分块按照更新后的对象存储映射关系上传到对象存储进行备份。
可选的,对象存储模块还用于,在确定分块数量增加时,在对象映射关系中为发生变化的分块分配对象标识;
将发生变化的分块按照更新后的对象存储映射关系上传到对象存储进行备份。
可选的,装置还包括对象删除模块,用于在确定分块数量减少时,在对象映射关系中将发生变化的分块所对应的对象标识进行删除;
在对象存储中将删除的对象表标识所对应的对象进行删除。
上述装置可执行本发明任意实施例所提供的对象存储方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明任意实施例提供的方法。
实施例四
图4是本发明实施例提供的一种电子设备的结构示意图。图4示出了适用于用来实现本发明实施方式的示例性电子设备412的框图。图4显示的电子设备412仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,电子设备412以通用计算设备的形式出现。电子设备412的组件可以包括但不限于:一个或者多个处理器416,存储器428,连接不同系统组件(包括存储器428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备412访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器428用于存储指令。存储器428可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)430和/或高速缓存存储器432。电子设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统434可以用于读写不可移动的、非易失性磁介质(图4未显示,通常称为“硬盘驱动器”)。尽管图4中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储器428可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440,可以存储在例如存储器428中,这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
电子设备412也可以与一个或多个外部设备414(例如键盘、指向设备、显示器424等)通信,还可与一个或者多个使得用户能与该电子设备412交互的设备通信,和/或与使得该电子设备412能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且,电子设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器420通过总线418与电子设备412的其它模块通信。应当明白,尽管图4中未示出,可以结合电子设备412使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在存储器428中的指令,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的对象存储方法:获取文件的当前属性信息以及文件名称;根据文件名称查询本地数据库,确定文件当前属性信息的更新状态;根据更新状态确定当前属性信息发生变化时,对文件进行分块并确定每个分块的索引;根据每个分块的索引查询本地数据库,并将发生变化的分块上传到对象存储进行备份。
实施例五
本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请所有发明实施例提供的对象存储方法:
获取文件的当前属性信息以及文件名称;根据文件名称查询本地数据库,确定文件当前属性信息的更新状态;根据更新状态确定当前属性信息发生变化时,对文件进行分块并确定每个分块的索引;根据每个分块的索引查询本地数据库,并将发生变化的分块上传到对象存储进行备份。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种对象存储方法,其特征在于,包括:
获取文件的当前属性信息以及文件名称;
根据所述文件名称查询本地数据库,确定文件当前属性信息的更新状态;
根据所述更新状态确定所述当前属性信息发生变化时,对所述文件进行分块并确定每个分块的索引;
根据每个分块的索引查询本地数据库,并将发生变化的分块上传到对象存储进行备份。
2.根据权利要求1所述的方法,其特征在于,所述根据所述文件名称查询本地数据库,确定文件当前属性信息的更新状态,包括:
根据所述文件名称查询本地数据库获取所述文件的历史属性信息;
判断所述文件的历史属性信息与当前属性信息是否相同,若相同,则确定当前属性信息的更新状态为未发生变化,否则,确定当前属性信息的更新状态为发生变化。
3.根据权利要求1所述的方法,其特征在于,所述属性信息中包含文件大小和修改时间;
所述对所述文件进行分块并确定每个分块的索引,包括:
根据所述文件的大小确定文件分块策略,其中,所述文件分块策略中包含文件大小与分块大小的对应关系;
根据所述文件分块策略对所述文件进行分块,并按分块顺序依次确定每个分块的索引。
4.根据权利要求1所述的方法,其特征在于,根据每个分块的索引查询本地数据库,并将发生变化的分块上传到对象存储进行备份,包括:
计算每个分块当前MD5哈希散列值;
根据每个分块的索引查询本地数据库,获取与每个分块索引所对应的历史MD5哈希散列值;
当分块索引相同的当前MD5哈希散列值与历史MD5哈希散列值不相同时,则确定分块发生变化;
将发生变化的分块上传到对象存储进行备份。
5.根据权利要求4所述的方法,其特征在于,所述将发生变化的分块上传到对象存储进行备份,包括:
获取文件当前分块数量以及本地数据库中所保存的历史分块数量;
判断当前分块数量与历史分块数量是否相同,若相同,则从本地数据库获取对象存储映射关系,并将发生变化的分块按照所述对象存储映射关系上传到对象进行备份,其中,所述对象存储映射关系中包含分块索引与对象标识的对应关系,
否则,从本地数据库获取对象存储映射关系,根据发生变化的分块对所述对象映射关系进行更新,并将发生变化的分块按照更新后的所述对象存储映射关系上传到对象存储进行备份。
6.根据权利要求5所述的方法,其特征在于,所述根据发生变化的分块对所述对象映射关系进行更新,并将发生变化的分块按照更新后的所述对象存储映射关系上传到对象存储进行备份,包括:
在确定分块数量增加时,在所述对象映射关系中为发生变化的分块分配对象标识;
将发生变化的分块按照更新后的所述对象存储映射关系上传到对象存储进行备份。
7.根据权利要求5所述的方法,其特征在于,所述方法还包括:
在确定分块数量减少时,在所述对象映射关系中将发生变化的分块所对应的对象标识进行删除;
在对象存储中将删除的对象表标识所对应的对象进行删除。
8.一种对象存储装置,其特征在于,包括:
属性信息和文件名称获取模块,用于获取文件的当前属性信息以及文件名称;
属性信息状态确定模块,用于根据所述文件名称查询本地数据库,确定文件当前属性信息的更新状态;
分块模块,用于根据所述更新状态确定所述当前属性信息发生变化时,对所述文件进行分块并确定每个分块的索引;
对象存储模块,用于根据每个分块的索引查询本地数据库,并将发生变化的分块上传到对象存储进行备份。
9.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111452244.XA CN114138558A (zh) | 2021-12-01 | 2021-12-01 | 一种对象存储方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111452244.XA CN114138558A (zh) | 2021-12-01 | 2021-12-01 | 一种对象存储方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114138558A true CN114138558A (zh) | 2022-03-04 |
Family
ID=80387033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111452244.XA Pending CN114138558A (zh) | 2021-12-01 | 2021-12-01 | 一种对象存储方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114138558A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114996224A (zh) * | 2022-07-01 | 2022-09-02 | 浙江大华技术股份有限公司 | 一种文件信息统计的方法、装置及电子设备 |
CN117519611A (zh) * | 2024-01-05 | 2024-02-06 | 南京扬子信息技术有限责任公司 | 一种用于信息系统的数据分布式存储方法及系统 |
-
2021
- 2021-12-01 CN CN202111452244.XA patent/CN114138558A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114996224A (zh) * | 2022-07-01 | 2022-09-02 | 浙江大华技术股份有限公司 | 一种文件信息统计的方法、装置及电子设备 |
CN117519611A (zh) * | 2024-01-05 | 2024-02-06 | 南京扬子信息技术有限责任公司 | 一种用于信息系统的数据分布式存储方法及系统 |
CN117519611B (zh) * | 2024-01-05 | 2024-03-15 | 南京扬子信息技术有限责任公司 | 一种用于信息系统的数据分布式存储方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102240557B1 (ko) | 데이터 저장 방법, 장치 및 시스템 | |
US10489059B2 (en) | Tier-optimized write scheme | |
CN107870728B (zh) | 用于移动数据的方法和设备 | |
US8683156B2 (en) | Format-preserving deduplication of data | |
US10108644B1 (en) | Method for minimizing storage requirements on fast/expensive arrays for data mobility and migration | |
CN114138558A (zh) | 一种对象存储方法、装置、电子设备和存储介质 | |
US11175846B2 (en) | Data co-location in a hierarchical storage management (HSM) system | |
US8180736B2 (en) | Methods for improving file system performance | |
CN104881466A (zh) | 数据分片的处理以及垃圾文件的删除方法和装置 | |
CN113806300A (zh) | 数据存储方法、系统、装置、设备及存储介质 | |
CN109388651B (zh) | 一种数据处理方法和装置 | |
US20160004715A1 (en) | Minimizing Metadata Representation In A Compressed Storage System | |
CN113688139A (zh) | 对象存储方法、网关、设备及介质 | |
CN113127438B (zh) | 用于存储数据的方法、装置、服务器和介质 | |
US8818970B2 (en) | Partitioning a directory while accessing the directory | |
US10884649B2 (en) | Tape drive data reclamation | |
US10311026B2 (en) | Compressed data layout for optimizing data transactions | |
US11513701B2 (en) | Storage management system and method | |
EP3436973A1 (en) | File system support for file-level ghosting | |
CN115586872A (zh) | 一种容器镜像管理方法、装置、设备及存储介质 | |
CN113032349A (zh) | 数据存储方法、装置、电子设备及计算机可读介质 | |
CN115878042A (zh) | 一种数据存储系统、数据处理方法及存储介质 | |
CN115129789A (zh) | 一种分布式对象存储系统的桶索引存储方法、装置及介质 | |
CN114443583A (zh) | 一种碎片空间整理方法、装置、设备及存储介质 | |
US11379147B2 (en) | Method, device, and computer program product for managing storage system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |