CN106250265A - 用于对象存储的数据备份方法和系统 - Google Patents
用于对象存储的数据备份方法和系统 Download PDFInfo
- Publication number
- CN106250265A CN106250265A CN201610565116.9A CN201610565116A CN106250265A CN 106250265 A CN106250265 A CN 106250265A CN 201610565116 A CN201610565116 A CN 201610565116A CN 106250265 A CN106250265 A CN 106250265A
- Authority
- CN
- China
- Prior art keywords
- storage
- backup
- renewal
- length
- snapshot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
- G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
Abstract
本发明涉及数据存储技术领域,具体涉及一种用于对象存储的数据备份方法,包括:对对象存储的存储桶中的存储对象创建快照和快照信息,根据用户对存储对象的更新请求,查询与存储对象对应的历史快照和快照信息中存储对象的备份特征信息;发送与备份特征信息有关的备份校验码至用户进行核对;根据用户反馈的核对结果,确定待接收的存储对象的更新数据信息;在接收到所确定的更新数据信息后,完成对象存储中的存储对象的更新。本发明还提供了一种用于对象存储的数据备份系统。本发明提供的方法和系统使用户的数据安全得到了最大程度的保障,减少了用户进行数据灾备的存储量,避免了用户将数据全部备份造成的公网带宽的浪费,节约了成本。
Description
技术领域
本发明涉及数据存储的技术领域,尤其涉及一种基于快照技术的对象存储的数据备份的方法和系统。
背景技术
对象存储在互联网的大潮中受到了广泛关注,并得到了迅速的发展。对象存储与文件存储不同,对象不以目录分层的结构进行组织。每个对象都位于被称为存储池的扁平的空间的相同层级,每一级的每个元素在存储系统中都有唯一的标识,用户通过这个标识来访问容器或者对象。采用扁平的数据组织结构抛弃了嵌套的文件夹,避免维护庞大的目录树。在大数据和互联网时代,存储的文件/对象超过上百万个,单位时间内的访问次数和并发访问量也达到了前所未有的量级,在这种情况下,目录树会给存储系统带来很大的开销和诸多问题,成为系统的瓶颈。另外一个让对象存储焕发生命力的因素是,对象存储不再提供POSIX兼容的接口(如open,close,read,write等),而是可以非常方便地通过HTTPRestful API接口和对象进行交互:通过PUT和GET进行上传下载,通过DELETE进行删除。
对象存储可以为用户提供视频、音乐等较大文件的存储,也可以提供日志的服务,另外,存储服务取得更大发展的更大因素是取得了移动互联网的青睐,在移动端的APP中,对象存储简单的HTTP接口简化了开发者的开发流程,并且还可以为用户提供海量的存储空间。
对象存储与文件存储类似,一个对象存储的桶相当于一个文件存储中的根目录,而一个对象存储中的对象相当于一个文件存储中的文件,因为对象存储采用的是扁平的目录结构,因此如果跟文件存储对比,看起来就是全部的文件都在同一个目录底下。
为对象存储进行备份是保证对象存储数据安全的有效手段。现有技术中对对象存储的数据保护的通常作法是将数据进行全部备份。然而,随着用户对存储对象的频繁更新,对象存储的容量会越来越大,对其进行全部备份势必会占用大量的存储空间,从而造成公网带宽的浪费,增加了用户的成本。此外,当用户需要某个备份数据时也不能够实现快速恢复。如何为对象存储提供一套更有效的数据保护方案,是目前对象存储的数据安全保护方面亟需解决的问题。
发明内容
本发明提供了一种基于快照技术的用于对象存储的数据备份的方法和系统,用以至少克服现有技术中对对象存储数据备份存储空间和带宽利用率不高的缺陷,实现对存储对象的有效保护。
其中,快照技术是一种文件在某一个时刻的静态状态,用户可以将一个随时可能变化的文件的某一个特定时刻的状态记录下来,并可以随时回滚到这个快照版本上。SNIA(存储网络行业协会)对快照(Snapshot)的定义是:关于指定数据集合的一个完全可用拷贝,该拷贝包括相应数据在某个时间点(拷贝开始的时间点)的映像。快照可以是其所表示的数据的一个副本,也可以是数据的一个复制品。而从具体的技术细节来讲,快照是指向保存在存储设备中的数据的引用标记或指针。我们可以这样理解,快照有点像是详细的目录表,但它被计算机作为完整的数据备份来对待。快照技术的作用主要是能够进行在线数据恢复,当存储设备发生应用故障或者文件损坏时可以进行及时数据恢复,将数据恢复成快照产生时间点的状态。快照的另一个作用是为存储用户提供了另外一个数据访问通道,当原数据进行在线应用处理时,用户可以访问快照数据,还可以利用快照进行测试等工作。快照在备份、数据保护过程中发挥着越来越大的作用。比如用户希望保存一个操作系统的数据到对象存储中,对于用户的操作系统而言,可以暂时记录下操作系统在做一个危险状态之前的状态,即在危险操作之前对文件做一个快照,然后再进行操作,如果这一危险操作破坏了数据,可以回滚到存储于对象存储中的快照。
根据本发明的一个方面,提供一种用于对象存储的数据备份的方法,其包括:
对对象存储的存储桶中的存储对象创建快照和快照信息;
根据用户对存储对象的更新请求,查询与存储对象对应的历史快照和快照信息中的存储对象的备份特征信息;
发送与备份特征信息有关的备份校验码至用户进行核对;
根据用户反馈的核对结果,确定待接收的存储对象的更新数据信息,其中,核对结果包括与更新请求有关的更新特征信息的更新校验码与备份校验码的比对结果;
在接收到所确定的更新数据信息后,完成对象存储中的存储对象的更新。
根据本发明的另一个方面,提供一种用于对象存储的数据备份的系统,其包括:
快照创建单元,其用于对对象存储的存储桶中的存储对象创建快照和快照信息;
查询单元,用于根据用户对存储对象的更新请求,查询与存储对象对应的历史快照和快照信息中的存储对象的备份特征信息;
发送单元,用于发送与备份特征信息有关的备份校验码至用户进行核对;
更新数据确定单元,用于根据用户反馈的核对结果,确定待接收的存储对象的更新数据信息,其中,所述核对结果包括与更新请求有关的更新特征信息的更新校验码与所述备份校验码的比对结果;
更新单元,用于在接收到所确定的更新数据信息后,完成对象存储中的存储对象的更新。
本发明提供的用于对象存储的数据备份的方法和系统,当用户对存储对象进行更新时,通过存储对象的更新特征信息与存储对象对应的快照中存储对象的备份特征信息进行比对,从而确定更新数据信息,进而完成存储对象的更新。使用户的数据安全得到了最大程度的保障,减少了用户进行数据灾备的存储量,避免了用户将数据全部备份造成的公网带宽的浪费,节约了成本。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的用于对象存储的数据备份的方法的一实施方式流程示意图;
图2为本发明的用于对象存储的数据备份的方法的另一实施方式流程示意图;
图3为本发明删除存储对象快照的方法的实施方式的流程示意图;
图4为本发明用于对象存储的数据备份的系统的一实施方式结构示意图;
图5为本发明用于对象存储的数据备份的系统的另一实施方式结构示意图;
图6为可以应用于实现本发明的终端设备或服务器的计算机系统的一实施方式的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施方式及实施方式中的特征可以相互组合。
本发明可用于众多通用或专用的计算系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”,不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。如图1所示,本发明的用于对象存储的数据备份的方法的一实施方式流程示意图,其包括:
S11、对对象存储的存储桶中的存储对象创建快照和快照信息。
S12、根据用户对存储对象的更新请求,查询与存储对象对应的历史快照和快照信息中的存储对象的备份特征信息。
S13、发送与备份特征信息有关的备份校验码至用户进行核对。
S14、根据用户反馈的核对结果,确定待接收的存储对象的更新数据信息,其中,所述核对结果包括与更新请求有关的更新特征信息的更新校验码与备份校验码的比对结果。
S15、在接收到所确定的更新数据信息后,完成对象存储中的存储对象的更新。
本实施例中,用户可能对已经上传到存储桶(Bucket)中的存储对象(Object)进行频繁的更新操作,这里存储桶(Bucket)为用户在存储集群上创建的,存储桶是对象存储中的命名空间,相当于数据的容器,可以存储若干数据实体(Object)。用户对已经上传到存储桶(Bucket)中的存储对象(Object)首先创建快照,用户创建快照通过发送请求的方式实现,例如通过调用HTTP Restful API接口的方式发起对存储对象创建快照的请求,对应的API为:
endpoint:snapshot
method:PUT
params:bucketname,objectname
这里,用户通过HTTP Restful API接口的方式发起对存储对象创建快照的请求,其中endpoint表示路径名;method表示操作类型,其值可以为put或delete等,当为put时,表示请求创建快照,当为delete时,表示请求删除快照;params为具体参数,其中bucketname表示存储桶的名称,objectname表示存储对象的名称。
当存储集群收到用户创建快照的请求后,为存储对象创建快照和快照信息。这里可以将快照信息记录在数据库中,但本发明不限于此,其也可以记录在文件或以其它形式记录。
存储对象的快照创建成功后,当存储集群所在的服务器端接收到用户对存储对象的更新请求时,首先查询与存储对象对应的快照和快照信息中的存储对象的备份特征信息,备份特征信息即快照中存储对象的特征信息。若没有查询到存储对象对应的快照,直接对存储对象进行更新,即覆盖已有的存储对象,反之将查询到的该存储对象的备份特征信息有关的备份校验码发送至用户以进行核对,这里,验证码为存储对象备份特征信息有关的MD5值,当然本发明并不限于此验证码,也可以采用其它形式的验证码。用户核对后将核对结果反馈给存储集群所在的服务器端,其中,所述核对结果包括与更新请求有关的更新特征信息的更新校验码与备份校验码的比对结果。存储集群所在的服务器端基于用户反馈的核对结果确定待接收的存储对象的更新数据信息,仅需要求用户上传所确定的更新数据信息,存储集群接收到用户上传的所确定的更新数据信息后,完成对象存储中的存储对象的更新,即将用户上传的更新数据写入磁盘,同时更新存储对象的当前版本信息。
通过如图1所示的方法,对于用户而言,有了基于对象存储的快照技术,相当于有了一份灾备数据,其数据安全得到了最大程度的保障,另外一点好处是,采用快照技术,并不会给其成本带来显著的提高,因为本实施方式的快照技术只会稍微占用一些存储空间,但却能够避免用户将数据全部备份造成的公网带宽的浪费,节约了成本。
可选地,快照信息一般需记录的内容包括快照名称、快照标识、存储对象名称以及存储对象的备份特征信息、存储对象的当前版本等信息项。
可选地,备份特征信息为存储对象的备份长度,更新特征信息为存储对象的更新长度。所谓备份长度即快照中存储对象的长度,更新长度为待更新的存储对象的长度。
可选地,更新长度大于或等于备份长度。
其中图1中步骤S13根据用户反馈的核对结果,确定待接收的存储对象的更新数据信息包括:
-当核对结果表示更新长度中与备份长度重合的部分的更新校验码与备份校验码不相等时,确定与更新长度对应的全部数据为待接收的存储对象的更新数据信息。
-当核对结果表示更新长度中与备份长度重合的部分的更新校验码与备份校验码相等时,确定更新长度中除去与备份长度重合的部分后的剩余长度对应的数据为待接收的存储对象的更新数据信息。
本实施例中,当存储对象更新长度中与备份长度重合的部分的MD5值与备份长度的MD5值不相等时,确定与更新长度对应的存储对象的全部数据为待接收的存储对象的更新数据信息。反之相等时,确定更新长度中除去备份长度重合的部分的剩余长度对应的数据为待接收的存储对象的更新数据信息。
如图2所示,本发明的用于对象存储的数据备份的方法的另一实施方式流程示意图,其包括:
S21、对对象存储的存储桶中的存储对象创建快照和快照信息。
S22、根据用户对存储对象的更新请求,查询与存储对象对应的历史快照和快照信息中的存储对象的备份特征信息。
S23、发送与备份特征信息有关的备份校验码至用户进行核对。
S24、根据用户反馈的核对结果,确定待接收的存储对象的更新数据信息,其中,所述核对结果包括与更新请求有关的更新特征信息的更新校验码与备份校验码的比对结果。
S25、在接收到所确定的更新数据信息后,完成对象存储中的存储对象的更新。
S26、响应于用户回滚的请求,提供历史快照以恢复至未更新前的存储对象。
本实施例中,步骤S21至S25与图1中所示的方法中步骤S11至S15步骤完全相同,可参见图1的描述,在此不再赘述。对于步骤26,当用户发现追加内容之后的版本并不好时,需要回滚到快照时的状态,存储集群收到用户回滚请求后,提供存储对象的快照,删除更新的数据,将存储对象恢复至更新前的存储对象,同时将存储对象的当前版本设置为快照状态。这样,实现了存储对象的快速及时的恢复,保证了存储对象的有效使用。
如图3所示,为本发明删除存储对象快照的方法的实施方式的流程示意图,其包括:
S31、用户请求删除存储对象的快照。
S32、存储集群所在的服务器端接收用户请求删除快照的请求后,删除存储对象的快照和快照信息。
本实施例中,用户可以对存储桶(Bucket)中的存储对象(Object)已创建的快照进行删除,用户删除快照通过发送请求的方式实现,例如通过调用HTTP Restful API接口的方式发起对存储对象已创建快照的删除请求。当存储集群收到用户删除快照的请求后,删除快照及快照信息。其具体实现为:比对当前版本的存储对象的当前长度中与备份长度重合部分的校验码与快照中存储对象的备份长度部分的校验码,当存储对象当前长度中与备份长度重合部分的校验码与备份长度部分的校验码不相等时,除了删除记录的快照信息外,还需删除存储对象备份长度的数据;当存储对象当前长度中与备份长度重合部分的校验码与备份长度部分的校验码相等时仅删除数据库中记录的快照信息即可。这样根据用户的实际需要适时调整快照,实现了用户对快照的维护,保证了存储资源的有效利用。
本发明实施方式中可以通过硬件处理器(hardware processor)来实现相关功能模块。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作合并,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
如图4所示,本发明提供的用于对象存储的数据备份的系统的一实施方式结构示意图,其包括:
快照创建单元,其用于对对象存储的存储桶中的存储对象创建快照和快照信息;
查询单元,用于根据用户对存储对象的更新请求,查询与存储对象对应的历史快照和快照信息中的存储对象的备份特征信息;
发送单元,用于发送与备份特征信息有关的备份校验码至用户进行核对;
更新数据确定单元,用于根据用户反馈的核对结果,确定待接收的存储对象的更新数据信息,其中,所述核对结果包括与更新请求有关的更新特征信息的更新校验码与备份校验码的比对结果;
更新单元,用于在接收到所确定的更新数据信息后,完成对象存储中的存储对象的更新。
可选地,快照信息至少包括快照标识、存储对象的备份特征信息;可选地,备份特征信息为存储对象的备份长度,更新特征信息为存储对象的更新长度。
进一步可选地,更新长度大于或等于备份长度。
可选地,更新数据确定单元还用于:
当核对结果表示更新长度中与备份长度重合的部分的更新校验码与备份校验码不相等时,确定与更新长度对应的全部数据为待接收的存储对象的更新数据信息;
当核对结果表示更新长度中与备份长度重合的部分的更新校验码与备份校验码相等时,确定更新长度中除去与备份长度重合的部分后的剩余长度对应的数据为待接收的存储对象的更新数据信息。
如图5所示,本发明提供的用于对象存储的数据备份的系统的另一实施方式结构示意图,其包括:
快照创建单元,其用于对对象存储的存储桶中的存储对象创建快照和快照信息;
查询单元,用于根据用户对存储对象的更新请求,查询与存储对象对应的快照和快照信息中的存储对象的备份特征信息;
发送单元,用于发送与备份特征信息有关的备份校验码至用户进行核对;
更新数据确定单元,用于根据用户反馈的核对结果,确定待接收的存储对象的更新数据信息,其中,所述核对结果包括与更新请求有关的更新特征信息的更新校验码与备份校验码的比对结果;
更新单元,用于在接收到所确定的更新数据信息后,完成对象存储中的存储对象的更新;
回滚单元,其用于响应于用户回滚的请求,提供历史快照以恢复至未更新前的存储对象。
进一步地,本发明还提供一种非瞬时性的计算机可读存储介质,所述存储介质中存储有一个或多个包括执行指令的程序,所述执行指令能够被带有控制界面的电子设备执行,以用于执行上述方法实施例中的相关步骤,例如:
对对象存储的存储桶中的存储对象创建快照和快照信息;
根据用户对存储对象的更新请求,查询与存储对象对应的快照和快照信息中的存储对象的备份特征信息;
发送与备份特征信息有关的备份校验码至用户进行核对;
根据用户反馈的核对结果,确定待接收的存储对象的更新数据信息,其中,核对结果包括与更新请求有关的更新特征信息的更新校验码与备份校验码的比对结果;
在接收到所确定的更新数据信息后,完成对象存储中的存储对象的更新。图6为可以应用于实现本发明的终端设备或服务器600的计算机系统的一实施方式的结构示意图,本发明具体实施方式并不对设备或服务器600的计算机系统的具体实现做限定。如图6所示,该设备600可以包括:
处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630、以及通信总线640。其中:
处理器610、通信接口620、以及存储器630通过通信总线640完成相互间的通信。
通信接口620,用于与比如客户端等的网元通信。
处理器610,用于执行存储器630中的程序632,具体可以执行上述方法实施例中的相关步骤。
具体地,程序632可以包括程序代码,所述程序代码包括计算机操作指令。
处理器610可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器630,用于存放程序632。存储器630可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。程序632具体可以用于使得所述计算机系统600执行以下操作:
对对象存储的存储桶中的存储对象创建快照和快照信息;
根据用户对存储对象的更新请求,查询与存储对象对应的快照和快照信息中的存储对象的备份特征信息;
发送与备份特征信息有关的备份校验码至用户进行核对;
根据用户反馈的核对结果,确定待接收的存储对象的更新数据信息,其中,核对结果包括与更新请求有关的更新特征信息的更新校验码与备份校验码的比对结果;
在接收到所确定的更新数据信息后,完成对象存储中的存储对象的更新。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
本领域内的技术人员应明白,本发明的实施方式可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施方式、完全软件实施方式、或结合软件和硬件方面的实施方式的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施方式的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (12)
1.一种用于对象存储的数据备份的方法,包括:
对对象存储的存储桶中的存储对象创建快照和快照信息;
根据用户对存储对象的更新请求,查询与存储对象对应的历史快照和快照信息中的存储对象的备份特征信息;
发送与所述备份特征信息有关的备份校验码至所述用户进行核对;
根据用户反馈的核对结果,确定待接收的存储对象的更新数据信息,其中,所述核对结果包括与更新请求有关的更新特征信息的更新校验码与所述备份校验码的比对结果;
在接收到所确定的更新数据信息后,完成对象存储中的存储对象的更新。
2.根据权利要求1所述的方法,其特征在于,所述快照信息至少包括快照标识、存储对象的备份特征信息。
3.根据权利要求1所述的方法,其特征在于,所述备份特征信息为存储对象的备份长度,所述更新特征信息为存储对象的更新长度。
4.根据权利要求3所述的方法,其特征在于,所述更新长度大于或等于所述备份长度。
5.根据权利要求3或4所述的方法,其特征在于,所述根据用户反馈的核对结果,确定待接收的存储对象的更新数据信息包括:
当核对结果表示更新长度中与备份长度重合的部分的更新校验码与备份校验码不相等时,确定与更新长度对应的全部数据为待接收的存储对象的更新数据信息;
当核对结果表示更新长度中与备份长度重合的部分的更新校验码与备份校验码相等时,确定更新长度中除去与备份长度重合的部分后的剩余长度对应的数据为待接收的存储对象的更新数据信息。
6.根据权利要求1-4中任一项所述的方法,其特征在于,在完成对象存储中的存储对象的更新后,所述方法还包括:
响应于用户回滚的请求,提供所述历史快照以恢复至未更新前的存储对象。
7.一种用于对象存储的数据备份的系统,其特征在于,包括:
快照创建单元,其用于对对象存储的存储桶中的存储对象创建快照和快照信息;
查询单元,用于根据用户对存储对象的更新请求,查询与存储对象对应的历史快照和快照信息中的存储对象的备份特征信息;
发送单元,用于发送与所述备份特征信息有关的备份校验码至所述用户进行核对;
更新数据确定单元,用于根据用户反馈的核对结果,确定待接收的存储对象的更新数据信息,其中,所述核对结果包括与更新请求有关的更新特征信息的更新校验码与所述备份校验码的比对结果;
更新单元,用于在接收到所确定的更新数据信息后,完成对象存储中的存储对象的更新。
8.根据权利要求7所述的系统,其特征在于,所述快照信息至少包括快照标识、存储对象的备份特征信息。
9.根据权利要求7所述的系统,其特征在于,所述备份特征信息为存储对象的备份长度,所述更新特征信息为存储对象的更新长度。
10.根据权利要求9所述的系统,其特征在于,所述更新长度大于或等于所述备份长度。
11.根据权利要求9或10所述的系统,其特征在于,所述更新数据确定单元还用于:
当核对结果表示更新长度中与备份长度重合的部分的更新校验码与备份校验码不相等时,确定与更新长度对应的全部数据为待接收的存储对象的更新数据信息;
当核对结果表示更新长度中与备份长度重合的部分的更新校验码与备份校验码相等时,确定更新长度中除去与备份长度重合的部分后的剩余长度对应的数据为待接收的存储对象的更新数据信息。
12.根据权利要求7-10中任一项所述的系统,其特征在于,所述系统还包括回滚单元,其用于响应于用户回滚的请求,提供所述历史快照以恢复至未更新前的存储对象。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610565116.9A CN106250265A (zh) | 2016-07-18 | 2016-07-18 | 用于对象存储的数据备份方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610565116.9A CN106250265A (zh) | 2016-07-18 | 2016-07-18 | 用于对象存储的数据备份方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106250265A true CN106250265A (zh) | 2016-12-21 |
Family
ID=57613305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610565116.9A Pending CN106250265A (zh) | 2016-07-18 | 2016-07-18 | 用于对象存储的数据备份方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106250265A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109840166A (zh) * | 2019-01-14 | 2019-06-04 | 京东数字科技控股有限公司 | 一种跨集群对象存储异步备份方法、装置和系统 |
CN110162507A (zh) * | 2019-04-22 | 2019-08-23 | 平安科技(深圳)有限公司 | 快照覆写方法、装置、计算机设备及存储介质 |
CN113157699A (zh) * | 2021-04-25 | 2021-07-23 | 上海淇玥信息技术有限公司 | 一种业务数据审核方法、装置和电子设备 |
CN116860526A (zh) * | 2023-09-04 | 2023-10-10 | 成都圣亚世照明设备有限公司 | 一种基于信息安全的用户数据处理方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101183387A (zh) * | 2007-12-14 | 2008-05-21 | 沈阳东软软件股份有限公司 | 一种增量数据捕获方法和系统 |
US20080243914A1 (en) * | 2006-12-22 | 2008-10-02 | Anand Prahlad | System and method for storing redundant information |
CN102084350A (zh) * | 2008-07-02 | 2011-06-01 | 惠普开发有限公司 | 数据的远程副本的验证 |
CN102624871A (zh) * | 2012-02-03 | 2012-08-01 | 杭州杰唐信息技术有限公司 | 一种基于分布式企业服务总线实现的远程文件同步方法 |
CN104484480A (zh) * | 2014-12-31 | 2015-04-01 | 华为技术有限公司 | 基于重复数据删除的远程复制方法及装置 |
CN104714755A (zh) * | 2013-12-13 | 2015-06-17 | 华为技术有限公司 | 一种快照管理方法及装置 |
-
2016
- 2016-07-18 CN CN201610565116.9A patent/CN106250265A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080243914A1 (en) * | 2006-12-22 | 2008-10-02 | Anand Prahlad | System and method for storing redundant information |
CN101183387A (zh) * | 2007-12-14 | 2008-05-21 | 沈阳东软软件股份有限公司 | 一种增量数据捕获方法和系统 |
CN102084350A (zh) * | 2008-07-02 | 2011-06-01 | 惠普开发有限公司 | 数据的远程副本的验证 |
CN102624871A (zh) * | 2012-02-03 | 2012-08-01 | 杭州杰唐信息技术有限公司 | 一种基于分布式企业服务总线实现的远程文件同步方法 |
CN104714755A (zh) * | 2013-12-13 | 2015-06-17 | 华为技术有限公司 | 一种快照管理方法及装置 |
CN104484480A (zh) * | 2014-12-31 | 2015-04-01 | 华为技术有限公司 | 基于重复数据删除的远程复制方法及装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109840166A (zh) * | 2019-01-14 | 2019-06-04 | 京东数字科技控股有限公司 | 一种跨集群对象存储异步备份方法、装置和系统 |
CN109840166B (zh) * | 2019-01-14 | 2021-03-30 | 京东数字科技控股有限公司 | 一种跨集群对象存储异步备份方法、装置和系统 |
CN110162507A (zh) * | 2019-04-22 | 2019-08-23 | 平安科技(深圳)有限公司 | 快照覆写方法、装置、计算机设备及存储介质 |
CN110162507B (zh) * | 2019-04-22 | 2023-06-27 | 平安科技(深圳)有限公司 | 快照覆写方法、装置、计算机设备及存储介质 |
CN113157699A (zh) * | 2021-04-25 | 2021-07-23 | 上海淇玥信息技术有限公司 | 一种业务数据审核方法、装置和电子设备 |
CN116860526A (zh) * | 2023-09-04 | 2023-10-10 | 成都圣亚世照明设备有限公司 | 一种基于信息安全的用户数据处理方法及系统 |
CN116860526B (zh) * | 2023-09-04 | 2024-02-09 | 善恒展创(深圳)发展合伙企业(有限合伙) | 一种基于信息安全的用户数据处理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220261317A1 (en) | Construction of an information management database in a hierarchical data storage system | |
US11330052B2 (en) | Network storage backup using distributed media agents | |
US11237864B2 (en) | Distributed job scheduler with job stealing | |
US10911540B1 (en) | Recovering snapshots from a cloud snapshot lineage on cloud storage to a storage system | |
US11199985B2 (en) | Tracking storage capacity usage by snapshot lineages using metadata in a multi-level tree structure | |
CN110096891B (zh) | 对象库中的对象签名 | |
US11836152B2 (en) | Continuous replication and granular application level replication | |
US10387271B2 (en) | File system storage in cloud using data and metadata merkle trees | |
CN106250265A (zh) | 用于对象存储的数据备份方法和系统 | |
US20190243682A1 (en) | Real-time distributed job scheduler with job self-scheduling | |
US11537553B2 (en) | Managing snapshots stored locally in a storage system and in cloud storage utilizing policy-based snapshot lineages | |
US11755764B2 (en) | Client-side filesystem for a remote repository | |
US20230046983A1 (en) | Snapshot shipping to multiple cloud destinations | |
US8321867B1 (en) | Request processing for stateless conformance engine | |
CN104662522A (zh) | 使用存储系统功能性的全虚拟机备份的系统和方法 | |
CA3099104A1 (en) | Client managed data backup process within an enterprise information management system | |
US11288134B2 (en) | Pausing and resuming copying of snapshots from a local snapshot lineage to at least one cloud snapshot lineage | |
US11573923B2 (en) | Generating configuration data enabling remote access to portions of a snapshot lineage copied to cloud storage | |
CN110263060A (zh) | 一种erp电子附件管理方法及计算机设备 | |
US11630736B2 (en) | Recovering a storage volume associated with a snapshot lineage from cloud storage | |
US9946480B2 (en) | Disk image deletion with failure resistant data erasure | |
WO2008103429A1 (en) | Data management in a data storage system using data sets | |
EP3857396A1 (en) | Client-side filesystem for a remote repository | |
US11366600B2 (en) | Moving snapshots from a local snapshot lineage on a storage system to a cloud snapshot lineage on cloud storage | |
US9659025B1 (en) | Automation of RSG management for backup and recovery |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20161221 |