CN111190765A - 一种数据备份方法及系统 - Google Patents
一种数据备份方法及系统 Download PDFInfo
- Publication number
- CN111190765A CN111190765A CN201811354198.8A CN201811354198A CN111190765A CN 111190765 A CN111190765 A CN 111190765A CN 201811354198 A CN201811354198 A CN 201811354198A CN 111190765 A CN111190765 A CN 111190765A
- Authority
- CN
- China
- Prior art keywords
- disk
- blocks
- data
- original data
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
本发明提供的数据备份方法及系统,可以获得部分或全部的原始数据;确定本次获得的所述原始数据所需写入的第一存储地址,确定对本次获得的所述原始数据进行编码后得到的编码数据块所需写入的第二存储地址;将本次获得的所述原始数据拆分为第一数量的原始数据块,分别对各所述原始数据块进行编码,获得第二数量的编码数据块,其中,所述第二数量小于所述第一数量,所述第二数量的编码数据块的数据量之和小于所述第一数量的原始数据块的数据量之和;将所述第一数量的原始数据块写入所述第一存储地址,将所述第二数量的编码数据块写入所述第二存储地址。本发明的备份数据的数据量小于原始数据的数据量,有效地减少冗余的数据存储空间。
Description
技术领域:
本发明涉及数据备份领域,尤其涉及一种数据备份方法及系统。
背景技术:
随着信息技术的不断发展,各种数据的数量和重要性也不断增加。在某些情况下,保存的数据可能会丢失。通过对数据备份可以有效降低数据丢失的风险,提高数据的安全性。
当前的数据备份技术通过对原始数据进行复制而得到与原始数据相同的备份数据(可以复制多次来得到多份备份数据),然后将原始数据和备份数据进行保存。当原始数据丢失时,仍旧可以使用备份数据。
但是,当前的数据备份技术复制得到的备份数据的数据量与原始数据的数据量相同,因此当前的数据备份技术会占用较多的数据存储空间。
发明内容:
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据备份方法及系统,技术方案如下:
一种数据备份方法,包括:
获得部分或全部的原始数据;
确定本次获得的所述原始数据所需写入的第一存储地址,确定对本次获得的所述原始数据进行编码后得到的编码数据块所需写入的第二存储地址,所述第一存储地址和所述第二存储地址均为第一磁盘组中的存储地址;
将本次获得的所述原始数据拆分为第一数量的原始数据块,分别对各所述原始数据块进行编码,获得第二数量的编码数据块,其中,所述第一数量和所述第二数量均为自然数,所述第二数量小于所述第一数量,所述第二数量的编码数据块的数据量之和小于所述第一数量的原始数据块的数据量之和;
将所述第一数量的原始数据块写入所述第一存储地址,将所述第二数量的编码数据块写入所述第二存储地址。
可选的,所述第一磁盘组包括多个磁盘块组,每个磁盘块组中均包括第三数量的磁盘块,所述第三数量为所述第一数量和所述第二数量之和,所述原始数据块的数据量和所述编码数据块的数据量均不大于所述磁盘块可存储的数据的数据量;
所述确定本次获得的所述原始数据所需写入的第一存储地址,确定对本次获得的所述原始数据进行编码后得到的编码数据块所需写入的第二存储地址,包括:
从第一磁盘组中确定本次获得的所述原始数据和对本次获得的所述原始数据进行编码后得到的编码数据块所需写入的一个磁盘块组;
将确定的所述磁盘块组中第一数量的磁盘块的存储地址确定为本次获得的所述原始数据所需写入的第一存储地址,将确定的所述磁盘块组中第二数量的磁盘块的存储地址确定为本次获得的所述原始数据进行编码后得到的编码数据块所需写入的第二存储地址,其中,所述第一数量的磁盘块中任一磁盘块均与所述第二数量中各磁盘块不同。
可选的,所述将所述第一数量的原始数据块写入所述第一存储地址,将所述第二数量的编码数据块写入所述第二存储地址,包括:
将所述第一数量的原始数据块分别写入所述第一数量的磁盘块中,将所述第二数量的编码数据块写入所述第二数量的磁盘块中,其中,一个所述原始数据块写入一个磁盘块中,各所述原始数据块写入的磁盘块不同,一个所述编码数据块写入一个磁盘块中,各所述编码数据块写入的磁盘块不同。
可选的,所述获得部分或全部的原始数据,包括:
在向第二磁盘组的第一磁盘块组写入原始数据完成后,获得所述第一磁盘块组中的各磁盘块所存储的原始数据,其中,所述第一磁盘块组中包括至少一个磁盘块,在向所述第一磁盘块组写入原始数据完成后,所述第一磁盘块组中保存有部分或全部的原始数据。
可选的,在所述将所述第一数量的原始数据块分别写入所述第一数量的磁盘块中,将所述第二数量的编码数据块写入所述第二数量的磁盘块中之后,所述方法还包括:
建立并保存所述第一数量的磁盘块的标识与所述第一数量的原始数据块的标识之间的对应关系,建立并保存所述第二数量的磁盘块的标识与所述第二数量的编码数据块的标识之间的对应关系。
可选的,所述磁盘块具有编号,第一磁盘组包括多个磁盘,每个磁盘中均包括多个编号不同的磁盘块,位于同一磁盘块组中的各磁盘块的编号相同。
可选的,在将所述第一数量的原始数据块写入所述第一存储地址,将所述第二数量的编码数据块写入所述第二存储地址之后,所述方法还包括:
将所述第二磁盘组的第一磁盘块组中的原始数据删除。
一种数据备份系统,包括:数据获得单元、地址确定单元、数据拆分单元、数据编码单元和第一写入单元,
所述数据获得单元,用于获得部分或全部的原始数据;
所述地址确定单元,用于确定本次获得的所述原始数据所需写入的第一存储地址,确定对本次获得的所述原始数据进行编码后得到的编码数据块所需写入的第二存储地址,所述第一存储地址和所述第二存储地址均为第一磁盘组中的存储地址;
所述数据拆分单元,用于将本次获得的所述原始数据拆分为第一数量的原始数据块;
所述数据编码单元,用于分别对各所述原始数据块进行编码,获得第二数量的编码数据块;其中,所述第一数量和所述第二数量均为自然数,所述第二数量小于所述第一数量,所述第二数量的编码数据块的数据量总和小于所述第一数量原始数据块的数据量总和;
所述第一写入单元,用于将所述第一数量的原始数据块写入所述第一存储地址,将所述第二数量的编码数据块写入所述第二存储地址。
可选的,所述第一磁盘组包括多个磁盘块组,每个磁盘块组中均包括第三数量的磁盘块,所述第三数量为所述第一数量和所述第二数量之和,所述原始数据块的数据量和所述编码数据块的数据量均小于所述磁盘块的可存储的数据量;
所述地址确定单元,包括:磁盘块组确定子单元和地址确定子单元,
所述磁盘块组确定子单元,用于从第一磁盘组中确定本次获得的所述原始数据和对本次获得的所述原始数据进行编码后得到的编码数据块所需写入的一个磁盘块组;
所述地址确定子单元,用于将确定的所述磁盘块组中第一数量的磁盘块的存储地址确定为本次获得的所述原始数据所需写入的第一存储地址,将确定的所述磁盘块组中第二数量的磁盘块的存储地址确定为本次获得的所述原始数据进行编码后得到的编码数据块所需写入的第二存储地址,其中,所述第一数量的磁盘块中任一磁盘块均与所述第二数量中各磁盘块不同。
可选的,所述第一写入单元,具体用于将所述第一数量的原始数据块分别写入所述第一数量的磁盘块中,将所述第二数量的编码数据块写入所述第二数量的磁盘块中,其中,一个所述原始数据块写入一个磁盘块中,各所述原始数据块写入的磁盘块不同,一个所述编码数据块写入一个磁盘块中,各所述编码数据块写入的磁盘块不同。
可选的,所述数据获得单元,具体用于在向第二磁盘组的第一磁盘块组写入原始数据完成后,获得所述第一磁盘块组中的各磁盘块所存储的原始数据,其中,所述第一磁盘块组中包括至少一个磁盘块,在向所述第一磁盘块组写入原始数据完成后,所述第一磁盘块组中保存有部分或全部的原始数据。
可选的,所述的系统还包括:对应保存单元,用于在所述第一写入单元将所述第一数量的原始数据块和所述第二数量的编码数据块写入磁盘块中之后,建立并保存所述第一数量的磁盘块的标识与所述第一数量的原始数据块的标识之间的对应关系,建立并保存所述第二数量的磁盘块的标识与所述第二数量的编码数据块的标识之间的对应关系。
可选的,所述磁盘块具有编号,第一磁盘组包括多个磁盘,每个磁盘中均包括多个编号不同的磁盘块,位于同一磁盘块组中的各磁盘块的编号相同。
可选的,所述的系统还包括:数据删除单元,用于在所述第一写入单元将所述第一数量的原始数据块和所述第二数量的编码数据块写入磁盘块中之后,将所述第二磁盘组的第一磁盘块组中的原始数据删除。
借由上述技术方案,本发明提供的数据备份方法及系统,可以获得部分或全部的原始数据;确定本次获得的所述原始数据所需写入的第一存储地址,确定对本次获得的所述原始数据进行编码后得到的编码数据块所需写入的第二存储地址,所述第一存储地址和所述第二存储地址均为第一磁盘组中的存储地址;将本次获得的所述原始数据拆分为第一数量的原始数据块,分别对各所述原始数据块进行编码,获得第二数量的编码数据块,其中,所述第一数量和所述第二数量均为自然数,所述第二数量小于所述第一数量,所述第二数量的编码数据块的数据量之和小于所述第一数量的原始数据块的数据量之和;将所述第一数量的原始数据块写入所述第一存储地址,将所述第二数量的编码数据块写入所述第二存储地址。本发明的备份数据的数据量小于原始数据的数据量,因此有效地减少冗余的数据存储空间。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。在附图中:
图1示出了本发明实施例提供的一种数据备份方法的流程图;
图2示出了本发明实施例提供的另一种数据备份方法的流程图;
图3示出了本发明实施例提供的另一种数据备份方法的流程图;
图4示出了本发明实施例提供的另一种数据备份方法的流程图;
图5示出了本发明实施例提供的另一种数据备份方法的流程图;
图6示出了本发明实施例提供的一种数据备份方法中的磁盘组的示意图;
图7示出了本发明实施例提供的一种数据备份系统的结构示意图;
图8示出了本发明实施例提供的另一种数据备份系统的结构示意图;
图9示出了本发明实施例提供的另一种数据备份系统的结构示意图;
图10示出了本发明实施例提供的另一种数据备份系统的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示,本发明实施例提供的一种数据备份方法,可以包括:
S100、获得部分或全部的原始数据;
可选的,步骤S100可以具体包括:
在向第二磁盘组的第一磁盘块组写入原始数据完成后,获得所述第一磁盘块组中的各磁盘块所存储的原始数据,其中,所述第一磁盘块组中包括至少一个磁盘块,在向所述第一磁盘块组写入原始数据完成后,所述第一磁盘块组中保存有部分或全部的原始数据。
具体的,第二磁盘组中可以包含1个数据磁盘和N个备份磁盘,本发明可以使用同一磁盘标识方法为各磁盘中的磁盘块设置标识,其中,磁盘块的标识可以为逻辑号,如0、1、2等。标识相同的磁盘块可以组成一个磁盘块组,第二磁盘组中可以包含有多个磁盘块组,每个磁盘块组中可以包括1个数据磁盘中的磁盘块和N个备份磁盘中的磁盘块。磁盘、磁盘组、磁盘块组、磁盘块以及逻辑号间的关系如图6所示,对磁盘块进行标识处理,可以在数据的读取和写入过程中不会造成混乱。
其中,向第二磁盘组的第一磁盘块组写入原始数据完成有两种情况:
情况一、原始数据的数据量不大于第一磁盘块组可存储的数据的数据量,全部原始数据被写入第一磁盘块组。
此情况下,所述第一磁盘块组即可保存全部的原始数据,本发明可以从第一磁盘块组中获得全部的原始数据。
情况二、原始数据的数据量大于第一磁盘块组可存储的数据的数据量,第一磁盘块组只能存储部分原始数据。
此情况下,原始数据无法全部被写入第一磁盘块组中,因此所述第一磁盘块组中保存有部分的原始数据,本发明可以从第一磁盘块组中获得部分的原始数据。
在实际应用中,向第二磁盘组的第一磁盘块组写入原始数据的过程可以包括:
向索引模块上报本次需写入的原始数据的数据量;
获得所述索引模块返回的与所述数据量匹配的至少一个磁盘块组的标识信息,其中,所述至少一个磁盘块组中包括第一磁盘块组;
将部分或全部原始数据写入所述第一磁盘块组。
可以理解的是,当原始数据的数据量较多时,由于磁盘块组需要保存原始数据和备份数据,因此一个磁盘块组可能无法保存全部的原始数据,此时,可以将原始数据分为多份,并按照预设写入顺序,依次写入多个磁盘块组中。
可选的,每当一个磁盘块组被写满或虽然磁盘块组未被写满但原始数据写入完毕时,本发明都可以获得该磁盘块组中的原始数据。因此本发明可以获得多次原始数据,每次获得的原始数据都可以来自不同的磁盘块组。
可选的,当获取所述第二磁盘组中的部分或原始数据时,如果对数据磁盘中的原始数据获取失败,则对备份磁盘中的原始数据进行获取,直到获取原始数据成功,否则,报告获取原始数据失败。
S200、确定本次获得的所述原始数据所需写入的第一存储地址,确定对本次获得的所述原始数据进行编码后得到的编码数据块所需写入的第二存储地址,所述第一存储地址和所述第二存储地址均为第一磁盘组中的存储地址。
其中,所述第一磁盘组可以包括多个磁盘块组,每个磁盘块组中均包括第三数量的磁盘块,所述第三数量为所述第一数量和所述第二数量之和,所述原始数据块的数据量和所述编码数据块的数据量均不大于所述磁盘块可存储的数据的数据量。
具体的,如图2所示,步骤S200可以具体包括:
S210、从第一磁盘组中确定本次获得的所述原始数据和对本次获得的所述原始数据进行编码后得到的编码数据块所需写入的一个磁盘块组;
S220、将确定的所述磁盘块组中第一数量的磁盘块的存储地址确定为本次获得的所述原始数据所需写入的第一存储地址,将确定的所述磁盘块组中第二数量的磁盘块的存储地址确定为本次获得的所述原始数据进行编码后得到的编码数据块所需写入的第二存储地址,其中,所述第一数量的磁盘块中任一磁盘块均与所述第二数量中各磁盘块不同。
可选的,所述磁盘块具有编号,第一磁盘组包括多个磁盘,每个磁盘中均包括多个编号不同的磁盘块,位于同一磁盘块组中的各磁盘块的编号相同。
具体的,第一磁盘组中可以包括至少一个磁盘,本发明可以使用同一磁盘标识方法为第一磁盘组的各磁盘中的磁盘块设置标识,磁盘块的标识可以为逻辑号,如0、1、2等。标识相同的磁盘块可以组成一个磁盘块组,第一磁盘组中可以包含有多个磁盘块组,每个块组中可以包括至少一个磁盘块。
当然,不同的磁盘块组所包含的磁盘块的标识构成的集合可以相同或不同,例如:磁盘块组A包含三个磁盘块,这三个磁盘块的标识分别为0、1和2。磁盘块组B也包含三个磁盘块,则这三个磁盘块的标识也分别为0、1和2,或者,这三个磁盘块的标识分别为2、3和4。
磁盘块组包含的磁盘块的数量可以相同,每个磁盘块能够存储的数据的数据量可以相同,这样,每个磁盘块组能够存储的数据的数据量相同。因此,当确定原始数据的数据量时,本发明可以从空闲的磁盘块组中确定可存储原始数据及编码数据的磁盘块组。例如:每个磁盘块大小4M,每个磁盘块组有12个磁盘块,那么每个磁盘块组的大小为48M。当确定原始数据量大小为32M时,就可以确定需要一个磁盘块组用于存储原始数据和编码数据。
S300、将本次获得的所述原始数据拆分为第一数量的原始数据块,分别对各所述原始数据块进行编码,获得第二数量的编码数据块,其中,所述第一数量和所述第二数量均为自然数,所述第二数量小于所述第一数量,所述第二数量的编码数据块的数据量之和小于所述第一数量的原始数据块的数据量之和,一般来说,第二数量是第一数量的一半。
为方便理解,下面举例说明:本发明在获得原始数据后,使用8+4制的编码技术对原始数据进行处理,则可以将原始数据拆分为8个原始数据块,每个原始数据块的数据量为4MB,则原始数据块的数据量一共是32MB,对原始数据块进行编码,得到4个编码数据块,由于8+4制的编码技术可以使得数据量减少一半,因此此时每个编码数据块为4MB,则编码数据块的数据量一共为16MB。在实际运用中可以根据需要使用不同制式的编码技术,例如:6+3制的编码技术。
具体的,所述第二数量小于所述第一数量。可选的,所述第一数量的原始数据块可以包括至少两个数据块,所述第二数量的编码数据块可以包括至少一个数据块。
S400、将所述第一数量的原始数据块写入所述第一存储地址,将所述第二数量的编码数据块写入所述第二存储地址。
可选的,步骤S400可以具体包括:
将所述第一数量的原始数据块分别写入所述第一数量的磁盘块中,将所述第二数量的编码数据块写入所述第二数量的磁盘块中,其中,一个所述原始数据块写入一个磁盘块中,各所述原始数据块写入的磁盘块不同,一个所述编码数据块写入一个磁盘块中,各所述编码数据块写入的磁盘块不同。
具体的,在第三数量的数据块中,只要有第二数量以上的数据块写入到磁盘块中,即认为写入成功,即使有第一数量以下的数据块写入错误,也可以从已写入的第二数量以上的磁盘块中对这第一数量以下的磁盘块中的数据进行恢复。例如:在8+4的编码技术中,如果有8个数据块写入到磁盘块中,即认为写入成功,当有4个数据块写入失败时,可以通过写入成功的8个磁盘块对这4个数据块中的数据进行恢复。
当需要从第一磁盘组中读取原始数据时,本发明可以确定直接对第一磁盘组中的原始数据进行读取,当对第一磁盘组中的某一块磁盘进行数据读取时,如果此磁盘是无效磁盘或者是已损坏的磁盘,此时通过对第一磁盘组中其余的有效磁盘,对不可读取磁盘中的数据进行恢复,再进行读取。优先地,在8+4的编码技术中,对存有原始数据的8个磁盘块进行读取,当存有原始数据的磁盘块无法读取时,通过存有编码数据的磁盘块对相应无法读取的数据进行恢复,再进行读取。
本发明通过获得部分或全部的原始数据;确定本次获得的所述原始数据所需写入的第一存储地址,确定对本次获得的所述原始数据进行编码后得到的编码数据块所需写入的第二存储地址,所述第一存储地址和所述第二存储地址均为第一磁盘组中的存储地址;将本次获得的所述原始数据拆分为第一数量的原始数据块,分别对各所述原始数据块进行编码,获得第二数量的编码数据块,其中,所述第一数量和所述第二数量均为自然数,所述第二数量小于所述第一数量,所述第二数量的编码数据块的数据量之和小于所述第一数量的原始数据块的数据量之和;将所述第一数量的原始数据块写入所述第一存储地址,将所述第二数量的编码数据块写入所述第二存储地址的技术方案,对需要存储备份的原始数据进行了编码,编码后的数据的数据量低于原始数据的数据量,因此本方案提供的数据备份技术相比现有技术而言,占用较少的数据存储空间。
可选的,如图3所示,本发明实施例提供的另一种数据备份方法,可以包括:
S100、获得部分或全部的原始数据;
S210、从第一磁盘组中确定本次获得的所述原始数据和对本次获得的所述原始数据进行编码后得到的编码数据块所需写入的一个磁盘块组;
S220、将确定的所述磁盘块组中第一数量的磁盘块的存储地址确定为本次获得的所述原始数据所需写入的第一存储地址,将确定的所述磁盘块组中第二数量的磁盘块的存储地址确定为本次获得的所述原始数据进行编码后得到的编码数据块所需写入的第二存储地址,其中,所述第一数量的磁盘块中任一磁盘块均与所述第二数量中各磁盘块不同;
S300、将本次获得的所述原始数据拆分为第一数量的原始数据块,分别对各所述原始数据块进行编码,获得第二数量的编码数据块,其中,所述第一数量和所述第二数量均为自然数,所述第二数量小于所述第一数量,所述第二数量的编码数据块的数据量之和小于所述第一数量的原始数据块的数据量之和。
S410、将所述第一数量的原始数据块分别写入所述第一数量的磁盘块中,将所述第二数量的编码数据块写入所述第二数量的磁盘块中,其中,一个所述原始数据块写入一个磁盘块中,各所述原始数据块写入的磁盘块不同,一个所述编码数据块写入一个磁盘块中,各所述编码数据块写入的磁盘块不同。
上述步骤S100至步骤S410已在前述实施例中进行说明,请参见前述实施例,不再赘述。
S500、建立并保存所述第一数量的磁盘块的标识与所述第一数量的原始数据块的标识之间的对应关系,建立并保存所述第二数量的磁盘块的标识与所述第二数量的编码数据块的标识之间的对应关系。
具体的,磁盘块标识与数据块标识之间的对应关系的建立和保存可以在索引模块中进行,索引模块对一个服务器集群中的所有磁盘个体以及这些磁盘的列表信息进行统一管理,形成磁盘列表,所述磁盘列表中包括磁盘所在的服务器,以及服务器的IP、PORT。IP指的是使用网际协议的设备的数字标签,PORT指的是在因特网协议TCP/IP中,客户端程序被分派计算机上特殊服务程序的一种方式。
可选的,如图4所示,本发明实施例提供的另一种数据备份方法,可以包括:
S110、向第二磁盘组的第一磁盘块组写入原始数据完成后,获得所述第一磁盘块组中的各磁盘块所存储的原始数据,其中,所述第一磁盘块组中包括至少一个磁盘块,在向所述第一磁盘块组写入原始数据完成后,所述第一磁盘块组中保存有部分或全部的原始数据;
S210、从第一磁盘组中确定本次获得的所述原始数据和对本次获得的所述原始数据进行编码后得到的编码数据块所需写入的一个磁盘块组;
S220、将确定的所述磁盘块组中第一数量的磁盘块的存储地址确定为本次获得的所述原始数据所需写入的第一存储地址,将确定的所述磁盘块组中第二数量的磁盘块的存储地址确定为本次获得的所述原始数据进行编码后得到的编码数据块所需写入的第二存储地址,其中,所述第一数量的磁盘块中任一磁盘块均与所述第二数量中各磁盘块不同;
S300、将本次获得的所述原始数据拆分为第一数量的原始数据块,分别对各所述原始数据块进行编码,获得第二数量的编码数据块,其中,所述第一数量和所述第二数量均为自然数,所述第二数量小于所述第一数量,所述第二数量的编码数据块的数据量之和小于所述第一数量的原始数据块的数据量之和。
S400、将所述第一数量的原始数据块写入所述第一存储地址,将所述第二数量的编码数据块写入所述第二存储地址。
上述步骤S110至步骤S400已在前述实施例中进行说明,请参见前述实施例,不再赘述。其中,图4所示方法中的步骤S400也可以具体为S410。
可选的,如图5所示,本发明实施例提供的另一种数据备份方法,可以包括:
S110、向第二磁盘组的第一磁盘块组写入原始数据完成后,获得所述第一磁盘块组中的各磁盘块所存储的原始数据,其中,所述第一磁盘块组中包括至少一个磁盘块,在向所述第一磁盘块组写入原始数据完成后,所述第一磁盘块组中保存有部分或全部的原始数据;
S210、从第一磁盘组中确定本次获得的所述原始数据和对本次获得的所述原始数据进行编码后得到的编码数据块所需写入的一个磁盘块组;
S220、将确定的所述磁盘块组中第一数量的磁盘块的存储地址确定为本次获得的所述原始数据所需写入的第一存储地址,将确定的所述磁盘块组中第二数量的磁盘块的存储地址确定为本次获得的所述原始数据进行编码后得到的编码数据块所需写入的第二存储地址,其中,所述第一数量的磁盘块中任一磁盘块均与所述第二数量中各磁盘块不同;
S300、将本次获得的所述原始数据拆分为第一数量的原始数据块,分别对各所述原始数据块进行编码,获得第二数量的编码数据块,其中,所述第一数量和所述第二数量均为自然数,所述第二数量小于所述第一数量,所述第二数量的编码数据块的数据量之和小于所述第一数量的原始数据块的数据量之和。
S410、将所述第一数量的原始数据块分别写入所述第一数量的磁盘块中,将所述第二数量的编码数据块写入所述第二数量的磁盘块中,其中,一个所述原始数据块写入一个磁盘块中,各所述原始数据块写入的磁盘块不同,一个所述编码数据块写入一个磁盘块中,各所述编码数据块写入的磁盘块不同。
上述步骤S110至步骤S410已在前述实施例中进行说明,请参见前述实施例,不再赘述。其中,图6所示方法中的步骤S410也可以修改为图1所示的步骤S400。
S600、将所述第二磁盘组的第一磁盘块组中的原始数据删除。
具体的,在对所述第二磁盘组的第一磁盘块组的数据进行删除后,等待一段时间后,比如说1秒后,第二磁盘组的第一磁盘组块被索引模块归类到空闲列表中,以便后续新的数据写入。
在对所述第二磁盘组的第一磁盘块组的数据进行删除前,如果对数据进行读取,会出现原始数据同时存在与第一磁盘组和第二磁盘组的情况,此时优先对第二磁盘组中的数据进行读取,这样做的原因在于:第二磁盘组中的数据是最新的数据,也就是刚刚写入或是修改的数据。
本发明实施例还提供对数据进行修改的功能,当需要对数据进行修改时,首先检查需要修改的数据存在于第一磁盘组还是第二磁盘组,如果存在于第一磁盘组,则将第一磁盘组中的编码数据转换为原始数据,将转换后得到的原始数据放入空闲的第二磁盘组中进行修改;如果是需要修改的数据存在于第二磁盘组中,则可直接在第二磁盘组中进行修改。对数据的修改可以是在原有数据上进行覆盖,也可以是在原有数据上进行添加新的数据。
与上述方法实施例相对应,本发明还提供了一种数据备份系统。
如图7所示。本发明实施例提供的一种数据备份系统,可以包括:数据获得单元001、地址确定单元002、数据拆分单元003、数据编码单元004和第一写入单元005,
所述数据获得单元001,用于获得部分或全部的原始数据;
可选的,数据获得单元001可以具体用于在向第二磁盘组的第一磁盘块组写入原始数据完成后,获得所述第一磁盘块组中的各磁盘块所存储的原始数据,其中,所述第一磁盘块组中包括至少一个磁盘块,在向所述第一磁盘块组写入原始数据完成后,所述第一磁盘块组中保存有部分或全部的原始数据。
具体的,第二磁盘组中可以包含1个数据磁盘和N个备份磁盘,本发明可以使用同一磁盘标识方法为各磁盘中的磁盘块设置标识,其中,磁盘块的标识可以为逻辑号,如0、1、2等。标识相同的磁盘块可以组成一个磁盘块组,第二磁盘组中可以包含有多个磁盘块组,每个磁盘块组中可以包括1个数据磁盘中的磁盘块和N个备份磁盘中的磁盘块。磁盘、磁盘组、磁盘块组、磁盘块以及逻辑号间的关系如图6所示,对磁盘块进行标识处理,可以在数据的读取和写入过程中不会造成混乱。
其中,向第二磁盘组的第一磁盘块组写入原始数据完成有两种情况:
情况一、原始数据的数据量不大于第一磁盘块组可存储的数据的数据量,全部原始数据被写入第一磁盘块组。
此情况下,所述第一磁盘块组即可保存全部的原始数据,本发明可以从第一磁盘块组中获得全部的原始数据。
情况二、原始数据的数据量大于第一磁盘块组可存储的数据的数据量,第一磁盘块组只能存储部分原始数据。
此情况下,原始数据无法全部被写入第一磁盘块组中,因此所述第一磁盘块组中保存有部分的原始数据,本发明可以从第一磁盘块组中获得部分的原始数据。
在实际应用中,向第二磁盘组的第一磁盘块组写入原始数据的过程可以包括:
向索引模块上报本次需写入的原始数据的数据量;
获得所述索引模块返回的与所述数据量匹配的至少一个磁盘块组的标识信息,其中,所述至少一个磁盘块组中包括第一磁盘块组;
将部分或全部原始数据写入所述第一磁盘块组。
可以理解的是,当原始数据的数据量较多时,由于磁盘块组需要保存原始数据和备份数据,因此一个磁盘块组可能无法保存全部的原始数据,此时,可以将原始数据分为多份,并按照预设写入顺序,依次写入多个磁盘块组中。
可选的,每当一个磁盘块组被写满或虽然磁盘块组未被写满但原始数据写入完毕时,本发明都可以获得该磁盘块组中的原始数据。因此本发明可以获得多次原始数据,每次获得的原始数据都可以来自不同的磁盘块组。
可选的,当获取所述第二磁盘组中的部分或原始数据时,如果对数据磁盘中的原始数据获取失败,则对备份磁盘中的原始数据进行获取,直到获取原始数据成功,否则,报告获取原始数据失败。
所述地址确定单元002,用于确定本次获得的所述原始数据所需写入的第一存储地址,确定对本次获得的所述原始数据进行编码后得到的编码数据块所需写入的第二存储地址,所述第一存储地址和所述第二存储地址均为第一磁盘组中的存储地址。
其中,所述第一磁盘组可以包括多个磁盘块组,每个磁盘块组中均包括第三数量的磁盘块,所述第三数量为所述第一数量和所述第二数量之和,所述原始数据块的数据量和所述编码数据块的数据量均不大于所述磁盘块可存储的数据的数据量。
具体的,如图8所示,所述地址确定单元002可以具体包括:磁盘块组确定子单元0021和地址确定子单元0022,
所述磁盘块组确定子单元0021,用于从第一磁盘组中确定本次获得的所述原始数据和对本次获得的所述原始数据进行编码后得到的编码数据块所需写入的一个磁盘块组;
所述地址确定子单元0022,用于将所述磁盘块组中第一数量的磁盘块的存储地址确定为本次获得的所述原始数据所需写入的第一存储地址,将所述磁盘块组中第二数量的磁盘块的存储地址确定为本次获得的所述原始数据进行编码后得到的编码数据块所需写入的第二存储地址,其中,所述第一数量的磁盘块中任一磁盘块均与所述第二数量中各磁盘块不同。
可选的,所述磁盘块具有编号,第一磁盘组包括多个磁盘,每个磁盘中均包括多个编号不同的磁盘块,位于同一磁盘块组中的各磁盘块的编号相同。
具体的,第一磁盘组中可以包括至少一个磁盘,本发明可以使用同一磁盘标识方法为第一磁盘组的各磁盘中的磁盘块设置标识,磁盘块的标识可以为逻辑号,如0、1、2等。标识相同的磁盘块可以组成一个磁盘块组,第一磁盘组中可以包含有多个磁盘块组,每个块组中可以包括至少一个磁盘块。
当然,不同的磁盘块组所包含的磁盘块的标识构成的集合可以相同或不同,例如:磁盘块组A包含三个磁盘块,这三个磁盘块的标识分别为0、1和2。磁盘块组B也包含三个磁盘块,则这三个磁盘块的标识也分别为0、1和2,或者,这三个磁盘块的标识分别为2、3和4。
磁盘块组包含的磁盘块的数量可以相同,每个磁盘块能够存储的数据的数据量可以相同,这样,每个磁盘块组能够存储的数据的数据量相同。因此,当确定原始数据的数据量时,本发明可以从空闲的磁盘块组中确定可存储原始数据及编码数据的磁盘块组。例如:每个磁盘块大小4M,每个磁盘块组有12个磁盘块,那么每个磁盘块组的大小为48M。当确定原始数据量大小为32M时,就可以确定需要一个磁盘块组用于存储原始数据和编码数据。
所述数据拆分单元003,用于将本次获得的所述原始数据拆分为第一数量的原始数据块;
所述数据编码单元004,用于分别对各所述原始数据块进行编码,获得第二数量的编码数据块;其中,所述第一数量和所述第二数量均为自然数,所述第二数量小于所述第一数量,所述第二数量的编码数据块的数据量之和小于所述第一数量原始数据块的数据量之和,一般来说,第二数量是第一数量的一半。
为方便理解,下面举例说明:本发明在获得原始数据后,使用8+4制的编码技术对原始数据进行处理,则可以将原始数据拆分为8个原始数据块,每个原始数据块的数据量为4MB,则原始数据块的数据量一共是32MB,对原始数据块进行编码,得到4个编码数据块,由于8+4制的编码技术可以使得数据量减少一半,因此此时每个编码数据块为4MB,则编码数据块的数据量一共为16MB。在实际运用中可以根据需要使用不同制式的编码技术,例如:6+3制的编码技术。
具体的,所述第二数量小于所述第一数量。可选的,所述第一数量的原始数据块可以包括至少两个数据块,所述第二数量的编码数据块可以包括至少一个数据块。
所述第一写入单元005,用于将所述第一数量的原始数据块写入所述第一存储地址,将所述第二数量的编码数据块写入所述第二存储地址。
可选的,所述第一写入单元005,可以具体用于将所述第一数量的原始数据块分别写入所述第一数量的磁盘块中,将所述第二数量的编码数据块写入所述第二数量的磁盘块中,其中,一个所述原始数据块写入一个磁盘块中,各所述原始数据块写入的磁盘块不同,一个所述编码数据块写入一个磁盘块中,各所述编码数据块写入的磁盘块不同。
具体的,在第三数量的数据块中,只要有第二数量以上的数据块写入到磁盘块中,即认为写入成功,即使有第一数量以下的数据块写入错误,也可以从已写入的第二数量以上的磁盘块中对这第一数量以下的磁盘块中的数据进行恢复。例如:在8+4的编码技术中,如果有8个数据块写入到磁盘块中,即认为写入成功,当有4个数据块写入失败时,可以通过写入成功的8个磁盘块对这4个数据块中的数据进行恢复。
当需要从第一磁盘组中读取原始数据时,本发明可以确定直接对第一磁盘组中的原始数据进行读取,当对第一磁盘组中的某一块磁盘进行数据读取时,如果此磁盘是无效磁盘或者是已损坏的磁盘,此时通过对第一磁盘组中其余的有效磁盘,对不可读取磁盘中的数据进行恢复,再进行读取。优先地,在8+4的编码技术中,对存有原始数据的8个磁盘块进行读取,当存有原始数据的磁盘块无法读取时,通过存有编码数据的磁盘块对相应无法读取的数据进行恢复,再进行读取。
本发明通过获得部分或全部的原始数据;确定本次获得的所述原始数据所需写入的第一存储地址,确定对本次获得的所述原始数据进行编码后得到的编码数据块所需写入的第二存储地址,所述第一存储地址和所述第二存储地址均为第一磁盘组中的存储地址;将本次获得的所述原始数据拆分为第一数量的原始数据块,分别对各所述原始数据块进行编码,获得第二数量的编码数据块,其中,所述第一数量和所述第二数量均为自然数,所述第二数量小于所述第一数量,所述第二数量的编码数据块的数据量之和小于所述第一数量的原始数据块的数据量之和;将所述第一数量的原始数据块写入所述第一存储地址,将所述第二数量的编码数据块写入所述第二存储地址的技术方案,对需要存储备份的原始数据进行了编码,编码后的数据的数据量低于原始数据的数据量,因此本方案提供的数据备份技术相比现有技术而言,占用较少的数据存储空间。
可选的,在图8所示系统基础上,如图9所示,本发明实施例提供的另一种数据备份系统,还可以包括:对应保存单元006,
所述对应保存单元006,用于在所述第一写入单元005将所述第一数量的原始数据块和所述第二数量的编码数据块写入磁盘块中之后,建立并保存所述第一数量的磁盘块的标识与所述第一数量的原始数据块的标识之间的对应关系,建立并保存所述第二数量的磁盘块的标识与所述第二数量的编码数据块的标识之间的对应关系。
具体的,磁盘块标识与数据块标识之间的对应关系的建立和保存可以在索引模块中进行,索引模块对一个服务器集群中的所有磁盘个体以及这些磁盘的列表信息进行统一管理,形成磁盘列表,所述磁盘列表中包括磁盘所在的服务器,以及服务器的IP、PORT。IP指的是使用网际协议的设备的数字标签,PORT指的是在因特网协议TCP/IP中,客户端程序被分派计算机上特殊服务程序的一种方式。
可选的,在图8所示系统基础上,如图10所示,本发明实施例提供的另一种数据备份系统,还可以包括:数据删除单元007,
所述数据删除单元007,用于在所述第一写入单元005将所述第一数量的原始数据块和所述第二数量的编码数据块写入磁盘块中之后,将所述第二磁盘组的第一磁盘块组中的原始数据删除。
具体的,在对所述第二磁盘组的第一磁盘块组的数据进行删除后,等待一段时间后,比如说1秒后,第二磁盘组的第一磁盘组块被索引模块归类到空闲列表中,以便后续新的数据写入。
在对所述第二磁盘组的第一磁盘块组的数据进行删除前,如果对数据进行读取,会出现原始数据同时存在与第一磁盘组和第二磁盘组的情况,此时优先对第二磁盘组中的数据进行读取,这样做的原因在于:第二磁盘组中的数据是最新的数据,也就是刚刚写入或是修改的数据。
本发明实施例还提供对数据进行修改的功能,当需要对数据进行修改时,首先检查需要修改的数据存在于第一磁盘组还是第二磁盘组,如果存在于第一磁盘组,则将第一磁盘组中的编码数据转换为原始数据,将转换后得到的原始数据放入空闲的第二磁盘组中进行修改;如果是需要修改的数据存在于第二磁盘组中,则可直接在第二磁盘组中进行修改。对数据的修改可以是在原有数据上进行覆盖,也可以是在原有数据上进行添加新的数据。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (14)
1.一种数据备份方法,其特征在于,包括:
获得部分或全部的原始数据;
确定本次获得的所述原始数据所需写入的第一存储地址,确定对本次获得的所述原始数据进行编码后得到的编码数据块所需写入的第二存储地址,所述第一存储地址和所述第二存储地址均为第一磁盘组中的存储地址;
将本次获得的所述原始数据拆分为第一数量的原始数据块,分别对各所述原始数据块进行编码,获得第二数量的编码数据块,其中,所述第一数量和所述第二数量均为自然数,所述第二数量小于所述第一数量,所述第二数量的编码数据块的数据量之和小于所述第一数量的原始数据块的数据量之和;
将所述第一数量的原始数据块写入所述第一存储地址,将所述第二数量的编码数据块写入所述第二存储地址。
2.根据权利要求1所述的方法,其特征在于,所述第一磁盘组包括多个磁盘块组,每个磁盘块组中均包括第三数量的磁盘块,所述第三数量为所述第一数量和所述第二数量之和,所述原始数据块的数据量和所述编码数据块的数据量均不大于所述磁盘块可存储的数据的数据量;
所述确定本次获得的所述原始数据所需写入的第一存储地址,确定对本次获得的所述原始数据进行编码后得到的编码数据块所需写入的第二存储地址,包括:
从第一磁盘组中确定本次获得的所述原始数据和对本次获得的所述原始数据进行编码后得到的编码数据块所需写入的一个磁盘块组;
将确定的所述磁盘块组中第一数量的磁盘块的存储地址确定为本次获得的所述原始数据所需写入的第一存储地址,将确定的所述磁盘块组中第二数量的磁盘块的存储地址确定为本次获得的所述原始数据进行编码后得到的编码数据块所需写入的第二存储地址,其中,所述第一数量的磁盘块中任一磁盘块均与所述第二数量中各磁盘块不同。
3.根据权利要求2所述的方法,其特征在于,所述将所述第一数量的原始数据块写入所述第一存储地址,将所述第二数量的编码数据块写入所述第二存储地址,包括:
将所述第一数量的原始数据块分别写入所述第一数量的磁盘块中,将所述第二数量的编码数据块写入所述第二数量的磁盘块中,其中,一个所述原始数据块写入一个磁盘块中,各所述原始数据块写入的磁盘块不同,一个所述编码数据块写入一个磁盘块中,各所述编码数据块写入的磁盘块不同。
4.根据权利要求2或3所述的方法,其特征在于,所述获得部分或全部的原始数据,包括:
在向第二磁盘组的第一磁盘块组写入原始数据完成后,获得所述第一磁盘块组中的各磁盘块所存储的原始数据,其中,所述第一磁盘块组中包括至少一个磁盘块,在向所述第一磁盘块组写入原始数据完成后,所述第一磁盘块组中保存有部分或全部的原始数据。
5.根据权利要求3所述的方法,其特征在于,在所述将所述第一数量的原始数据块分别写入所述第一数量的磁盘块中,将所述第二数量的编码数据块写入所述第二数量的磁盘块中之后,所述方法还包括:
建立并保存所述第一数量的磁盘块的标识与所述第一数量的原始数据块的标识之间的对应关系,建立并保存所述第二数量的磁盘块的标识与所述第二数量的编码数据块的标识之间的对应关系。
6.根据权利要求2所述的方法,其特征在于,所述磁盘块具有编号,第一磁盘组包括多个磁盘,每个磁盘中均包括多个编号不同的磁盘块,位于同一磁盘块组中的各磁盘块的编号相同。
7.根据权利要求4所述的方法,其特征在于,在将所述第一数量的原始数据块写入所述第一存储地址,将所述第二数量的编码数据块写入所述第二存储地址之后,所述方法还包括:
将所述第二磁盘组的第一磁盘块组中的原始数据删除。
8.一种数据备份系统,其特征在于,包括:数据获得单元、地址确定单元、数据拆分单元、数据编码单元和第一写入单元,
所述数据获得单元,用于获得部分或全部的原始数据;
所述地址确定单元,用于确定本次获得的所述原始数据所需写入的第一存储地址,确定对本次获得的所述原始数据进行编码后得到的编码数据块所需写入的第二存储地址,所述第一存储地址和所述第二存储地址均为第一磁盘组中的存储地址;
所述数据拆分单元,用于将本次获得的所述原始数据拆分为第一数量的原始数据块;
所述数据编码单元,用于分别对各所述原始数据块进行编码,获得第二数量的编码数据块;其中,所述第一数量和所述第二数量均为自然数,所述第二数量小于所述第一数量,所述第二数量的编码数据块的数据量之和小于所述第一数量原始数据块的数据量之和;
所述第一写入单元,用于将所述第一数量的原始数据块写入所述第一存储地址,将所述第二数量的编码数据块写入所述第二存储地址。
9.根据权利要求8所述的系统,其特征在于,所述第一磁盘组包括多个磁盘块组,每个磁盘块组中均包括第三数量的磁盘块,所述第三数量为所述第一数量和所述第二数量之和,所述原始数据块的数据量和所述编码数据块的数据量均小于所述磁盘块的可存储的数据量;
所述地址确定单元,包括:磁盘块组确定子单元和地址确定子单元,
所述磁盘块组确定子单元,用于从第一磁盘组中确定本次获得的所述原始数据和对本次获得的所述原始数据进行编码后得到的编码数据块所需写入的一个磁盘块组;
所述地址确定子单元,用于将确定的所述磁盘块组中第一数量的磁盘块的存储地址确定为本次获得的所述原始数据所需写入的第一存储地址,将确定的所述磁盘块组中第二数量的磁盘块的存储地址确定为本次获得的所述原始数据进行编码后得到的编码数据块所需写入的第二存储地址,其中,所述第一数量的磁盘块中任一磁盘块均与所述第二数量中各磁盘块不同。
10.根据权利要求9所述的系统,其特征在于,所述第一写入单元,具体用于将所述第一数量的原始数据块分别写入所述第一数量的磁盘块中,将所述第二数量的编码数据块写入所述第二数量的磁盘块中,其中,一个所述原始数据块写入一个磁盘块中,各所述原始数据块写入的磁盘块不同,一个所述编码数据块写入一个磁盘块中,各所述编码数据块写入的磁盘块不同。
11.根据权利要求9或10所述的系统,其特征在于,所述数据获得单元,具体用于在向第二磁盘组的第一磁盘块组写入原始数据完成后,获得所述第一磁盘块组中的各磁盘块所存储的原始数据,其中,所述第一磁盘块组中包括至少一个磁盘块,在向所述第一磁盘块组写入原始数据完成后,所述第一磁盘块组中保存有部分或全部的原始数据。
12.根据权利要求10所述的系统,其特征在于,还包括:对应保存单元,用于在所述第一写入单元将所述第一数量的原始数据块和所述第二数量的编码数据块写入磁盘块中之后,建立并保存所述第一数量的磁盘块的标识与所述第一数量的原始数据块的标识之间的对应关系,建立并保存所述第二数量的磁盘块的标识与所述第二数量的编码数据块的标识之间的对应关系。
13.根据权利要求9所述的系统,其特征在于,所述磁盘块具有编号,第一磁盘组包括多个磁盘,每个磁盘中均包括多个编号不同的磁盘块,位于同一磁盘块组中的各磁盘块的编号相同。
14.根据权利要求11所述的系统,其特征在于,还包括:数据删除单元,用于在所述第一写入单元将所述第一数量的原始数据块和所述第二数量的编码数据块写入磁盘块中之后,将所述第二磁盘组的第一磁盘块组中的原始数据删除。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811354198.8A CN111190765B (zh) | 2018-11-14 | 2018-11-14 | 一种数据备份方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811354198.8A CN111190765B (zh) | 2018-11-14 | 2018-11-14 | 一种数据备份方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111190765A true CN111190765A (zh) | 2020-05-22 |
CN111190765B CN111190765B (zh) | 2023-01-10 |
Family
ID=70707249
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811354198.8A Active CN111190765B (zh) | 2018-11-14 | 2018-11-14 | 一种数据备份方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111190765B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022000324A1 (zh) * | 2020-06-30 | 2022-01-06 | 深圳市大疆创新科技有限公司 | 数据编码方法、数据解码方法、数据处理方法、编码器、解码器、系统、可移动平台与计算机可读介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62247626A (ja) * | 1986-04-19 | 1987-10-28 | Fuji Photo Film Co Ltd | 符号化方法 |
US20080189590A1 (en) * | 2007-02-01 | 2008-08-07 | Marvell Technology Japan Y.K. | Magnetic disc controller and method |
CN101299852A (zh) * | 2008-05-09 | 2008-11-05 | 北京天宇朗通通信设备股份有限公司 | 数据传输方法和系统 |
CN101630282A (zh) * | 2009-07-29 | 2010-01-20 | 国网电力科学研究院 | 一种基于Erasure编码和副本技术的数据备份方法 |
CN102364472A (zh) * | 2011-10-25 | 2012-02-29 | 中兴通讯股份有限公司 | 数据存储方法及系统 |
US8175418B1 (en) * | 2007-10-26 | 2012-05-08 | Maxsp Corporation | Method of and system for enhanced data storage |
US20150120683A1 (en) * | 2013-10-29 | 2015-04-30 | Fuji Xerox Co., Ltd. | Data compression apparatus, data compression method, and non-transitory computer readable medium |
CN106527986A (zh) * | 2016-11-03 | 2017-03-22 | 北京百度网讯科技有限公司 | 用于存储数据的方法和装置 |
CN107885612A (zh) * | 2016-09-30 | 2018-04-06 | 华为技术有限公司 | 数据处理方法和系统及装置 |
CN108268344A (zh) * | 2017-12-26 | 2018-07-10 | 华为技术有限公司 | 一种数据处理方法和装置 |
CN108664356A (zh) * | 2018-05-03 | 2018-10-16 | 吉林亿联银行股份有限公司 | 一种数据库备份方法及装置、数据库系统 |
-
2018
- 2018-11-14 CN CN201811354198.8A patent/CN111190765B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62247626A (ja) * | 1986-04-19 | 1987-10-28 | Fuji Photo Film Co Ltd | 符号化方法 |
US20080189590A1 (en) * | 2007-02-01 | 2008-08-07 | Marvell Technology Japan Y.K. | Magnetic disc controller and method |
US8175418B1 (en) * | 2007-10-26 | 2012-05-08 | Maxsp Corporation | Method of and system for enhanced data storage |
CN101299852A (zh) * | 2008-05-09 | 2008-11-05 | 北京天宇朗通通信设备股份有限公司 | 数据传输方法和系统 |
CN101630282A (zh) * | 2009-07-29 | 2010-01-20 | 国网电力科学研究院 | 一种基于Erasure编码和副本技术的数据备份方法 |
CN102364472A (zh) * | 2011-10-25 | 2012-02-29 | 中兴通讯股份有限公司 | 数据存储方法及系统 |
US20150120683A1 (en) * | 2013-10-29 | 2015-04-30 | Fuji Xerox Co., Ltd. | Data compression apparatus, data compression method, and non-transitory computer readable medium |
CN107885612A (zh) * | 2016-09-30 | 2018-04-06 | 华为技术有限公司 | 数据处理方法和系统及装置 |
CN106527986A (zh) * | 2016-11-03 | 2017-03-22 | 北京百度网讯科技有限公司 | 用于存储数据的方法和装置 |
CN108268344A (zh) * | 2017-12-26 | 2018-07-10 | 华为技术有限公司 | 一种数据处理方法和装置 |
CN108664356A (zh) * | 2018-05-03 | 2018-10-16 | 吉林亿联银行股份有限公司 | 一种数据库备份方法及装置、数据库系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022000324A1 (zh) * | 2020-06-30 | 2022-01-06 | 深圳市大疆创新科技有限公司 | 数据编码方法、数据解码方法、数据处理方法、编码器、解码器、系统、可移动平台与计算机可读介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111190765B (zh) | 2023-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106776130B (zh) | 一种日志恢复方法、存储装置和存储节点 | |
US11537659B2 (en) | Method for reading and writing data and distributed storage system | |
US10620830B2 (en) | Reconciling volumelets in volume cohorts | |
US20160006461A1 (en) | Method and device for implementation data redundancy | |
CN101515276B (zh) | 一种文件数据写操作的方法、文件数据恢复方法及系统 | |
CN103577121A (zh) | 一种基于nand flash的高可靠线性文件存取方法 | |
CN106528338B (zh) | 一种远程数据复制方法、存储设备及存储系统 | |
US8316196B1 (en) | Systems, methods and computer readable media for improving synchronization performance after partially completed writes | |
CN104965835A (zh) | 一种分布式文件系统的文件读写方法及装置 | |
CN114416665B (zh) | 一种数据一致性检测和修复的方法、装置及介质 | |
CN116578746A (zh) | 对象去重方法及装置 | |
CN111435286B (zh) | 一种数据存储方法、装置和系统 | |
CN113885809B (zh) | 数据管理系统及方法 | |
CN111190765B (zh) | 一种数据备份方法及系统 | |
CN109189326B (zh) | 分布式集群的管理方法和装置 | |
CN111857603B (zh) | 数据处理方法及相关装置 | |
CN117075821B (zh) | 一种分布式存储方法、装置、电子设备及存储介质 | |
CN112463880B (zh) | 一种区块链数据存储方法及相关装置 | |
CN111459399A (zh) | 一种数据写入方法、数据读取方法及装置 | |
CN109542860B (zh) | 基于hdfs的业务数据管理方法、终端设备 | |
CN111488124A (zh) | 一种数据更新方法、装置、电子设备及存储介质 | |
CN105159790A (zh) | 一种数据抢救方法及文件服务器 | |
CN112131194A (zh) | 一种只读文件系统的文件存储控制方法及装置、存储介质 | |
CN113495807A (zh) | 数据备份方法、数据恢复方法及装置 | |
CN111274258A (zh) | 一种区块链数据上链方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |