CN101599079A - 一种备份数据集中存储的管理方法 - Google Patents

一种备份数据集中存储的管理方法 Download PDF

Info

Publication number
CN101599079A
CN101599079A CNA2009100890572A CN200910089057A CN101599079A CN 101599079 A CN101599079 A CN 101599079A CN A2009100890572 A CNA2009100890572 A CN A2009100890572A CN 200910089057 A CN200910089057 A CN 200910089057A CN 101599079 A CN101599079 A CN 101599079A
Authority
CN
China
Prior art keywords
data
backup
user
print
data block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2009100890572A
Other languages
English (en)
Other versions
CN101599079B (zh
Inventor
王树鹏
云晓春
郭莉
吴志刚
严寒冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai Branch Institute Of Computing Technology Chinese Academy Of Science
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN2009100890572A priority Critical patent/CN101599079B/zh
Publication of CN101599079A publication Critical patent/CN101599079A/zh
Application granted granted Critical
Publication of CN101599079B publication Critical patent/CN101599079B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种多用户备份数据组织表及基于其的备份数据集中存储的管理方法，包括：接收备份数据的数据对象描述信息，将和多用户备份数据组织表中数据指纹不同的所述数据对象描述信息中的数字指纹对应的数据块进行备份，并将所述数据块对应的索引信息以及所述数据对象描述信息对应存放到所述多用户备份数据组织表中，增加所述数据块的引用次数。多用户备份数据组织表包括用户表、任务表、备份点索引表、数据块索引表和数据仓库。本发明能够在备份阶段消除各个用户备份数据中的重复内容，节约传输带宽和存储空间开销，有效降低重复数据占用的存储空间。

Description

一种备份数据集中存储的管理方法
技术领域
本发明涉及信息安全技术领域，更具体地，本发明涉及一种备份数据集中存储的管理方法。
背景技术
随着计算机技术的不断发展和信息化程度的不断提高，人们对信息的依赖程度越来越高。信息在IT环境中的高度集中存储，很大程度上提高了信息和数据管理的自动化，提高了运营效率，降低了成本。但同时，风险性也不断地增加，从而灾难发生所造成的数据丢失可能会导致巨大的损失。
为了避免灾难带来的不利影响，就需要建立灾备系统，对生产系统的关键数据进行保护。而灾备系统的分散建设极大地增加了建设成本和维护成本，导致目前灾备体系比较薄弱。另外，集中存储的备份数据中存在大量重复数据，浪费了大量的存储空间。
针对建设成本和维护成本比较高的问题，四川大学于2008年1月17日提交的申请号为200810045207.5的中国专利申请提供了一种与源结构无关的备份数据共享存储方法，其中，备份数据的组织结构没有变化，虽然备份中心与备份源数据存储结构无关，但该专利申请仍然没有消除灾备系统中的重复数据，使得备份数据占用巨大的存储空间。
发明内容
为克服现有重复备份、存储开销大的缺陷，本发明提出一种备份数据集中存储的管理方法。
根据本发明的一个方面，提出了一种多用户备份数据组织表，包括：用户表、任务表、备份点索引表、数据块索引表和数据仓库；
其中，所述用户表存放数据备份的终端用户的用户名、密码；
所述任务表记录终端用户所建立的备份任务的名称、备份数据，并保存备份任务与用户之间的映射关系；
所述备份点索引表记录备份任务在备份点所产生的备份数据的数据对象名称、对象属性以及数字指纹列表；
所述数据块索引表记录备份数据的数字指纹、存储备份数据的数据仓库编号和备份数据在该数据仓库中的偏移量；
所述数据仓库表示备份数据的存储位置和该备份数据的引用信息。
其中，所述用户表中每项包括用户ID、用户名、密码；所述任务表中每一项包括用户ID、任务ID、任务名、备份模式、备份计划；其中，一个用户具有一个或者多个备份任务，所述用户表通过用户ID与所述任务表建立映射。
其中，所述备份点索引集描述备份任务在备份点执行备份操作而产生的备份数据集，所述备份点索引集以数据对象为单位进行描述，数据对象是文件、数据卷或者数据库。
其中，所述数据指纹列表描述数据对象的所有数据块的数字指纹，所述数字指纹通过安全散列算法或者信息摘要算法计算来标志数据块。
其中，所述数据仓库包括数字指纹、引用次数、长度以及数据块内容，引用次数用来表示所述数据块被引用的次数。
根据本发明的第二方面，提出了根据上述一个多用户备份数据组织表的备份方法，包括：
步骤10)、接收备份数据的数据对象描述信息，将和多用户备份数据组织表中数据指纹不同的所述数据对象描述信息中的数字指纹对应的数据块进行备份，并将所述数据块对应的索引信息以及所述数据对象描述信息对应存放到所述多用户备份数据组织表中，增加所述数据块的引用次数。
其中，所述数据对象描述信息包括对象名、对象属性和数据指纹列表，所述数据指纹列表描述所述数据对象包含的所有数据块的数字指纹。
其中，步骤10)进一步包括：
对于和多用户备份数据组织表中数据指纹相同的所述数据对象描述信息中的数字指纹所对应的数据块不进行备份，将所述数据对象描述信息中的所述数字指纹定位到多用户备份数据组织表中数据指纹指示的数据块，将所述数据对象描述信息对应于所述数据块存放到所述多用户备份数据组织表中，增加所述数据块的引用次数。
其中，所述方法还包括：
步骤20)、根据用户信息、任务信息和备份点信息从所述备份点索引表中获取数据对象的数字指纹列表，根据对应的所述数据块的所述数字指纹查询数据块索引表来获取所述数据块的存放位置，从数据仓库读取所述数据块。
根据本发明的第三方面，提出了根据上述一个多用户备份数据组织表的备份数据合并方法，包括：
步骤110)、依次读取所述两个相邻备份点中数据对象对应的数字指纹；
步骤120)、根据对应的数字指纹读取两个数据对象的数据块，对数据块进行合并；
步骤130)、形成新时间点的数字指纹列表和数据块，并分别保存在所述多用户备份数据组织表和所述数据仓库。
根据本发明的第四方面，提出了根据上述一个多用户备份数据组织表的备份数据管理方法，包括：
步骤10)、从根据用户信息、任务信息和备份点信息定位的备份点索引表中获取要删除的数据对象对应的数字指纹列表；
步骤20)、根据所述数字指纹列表中的数据指纹在所述数据块索引表中查找数据块的存放位置，
步骤30)、从数据仓库中读取所述数据块的描述信息，将所述数据块的引用次数减1，将所述数据对象从备份点索引表中删除。
根据本发明的第五方面，提出了一种建立多用户备份数据组织表的方法，包括：
步骤10)、建立用户表和备份任务表的映射关系，其中，用户表包括用户名和密码，备份任务表包括用户名、备份任务名称和备份数据；
步骤20)、建立备份任务表和备份点索引集的映射关系，其中，备份点索引集包括备份任务在备份点所产生的备份数据的数据对象名称、对象属性以及数字指纹列表；
步骤30)、建立备份点索引集和数据块索引集的映射关系，其中，数据块索引集包括备份数据的数字指纹、存储备份数据的数据仓库编号和备份数据在该数据仓库中的偏移量，从而建立所述数据块索引和表示备份数据的存储位置与该备份数据的引用信息的数据仓库的映射关系
本发明通过一种支持删除重复数据的备份数据集中存储的管理方法，在备份阶段消除各个用户备份数据中的重复内容，节约了传输带宽和存储空间开销，并且有效降低重复数据占用的存储空间，支持公共的共享灾备平台，降低灾备系统的建设成本和维护成本，促进灾备体系的不断完善。这种组织方式同样与备份源数据无关，可以实现一个备份存储空间有多个用户，能够解决为灾备系统分散建设成本过高的问题，能够有效地降低建设成本和维护成本，该方法具有很强的实用性和应用范围，具有很广泛的应用前景。
附图说明
图1是根据本发明实施例的支持消冗的多用户备份数据组织表示意图；
图2是根据本发明实施例的存储备份数据的操作流程图；
图3是根据本发明实施例的读取备份数据的操作流程图；
图4是根据本发明实施例的合并备份数据的操作流程图；和
图5是根据本发明实施例的删除备份数据的操作流程图。
具体实施方式
下面结合附图和具体实施例对本发明提供的一种备份数据集中存储的管理方法进行详细描述。
图1示出根据本发明实施例的支持消除重复备份的多用户备份数据组织表。如图1所示，该多用户备份数据组织表包括用户表、任务表、备份点索引表、数据块索引表和数据仓库。其中，用户表中存放数据备份的终端用户的用户名、密码等信息；任务表记录终端用户所建立的备份任务的名称、备份数据、备份计划、备份选项等信息，并保存任务与用户表表示的终端用户之间的映射关系；备份点索引表记录备份任务在备份点所产生的备份数据的数据对象名称、对象属性以及数字指纹列表等信息，并与备份任务具有映射关系；数据块索引表记录数据仓库中数据块的索引信息，包括备份数据的数字指纹、存储备份数据的数据仓库编号和备份数据在该数据仓库中的偏移量，实现数据块的快速定位和访问；数据仓库用于存储备份数据，备份数据以数据块的形式存放在数据仓库中。
其中，用户表中每项的内容可以包括用户ID、用户名、密码等基本信息；任务表中每一项包括用户ID、任务ID、任务名、备份模式、备份计划、高级选项等相关信息，一个用户可以拥有多个备份任务，通过用户ID与用户建立所属关系，在其它实现中可以对其中的信息进行调整；备份任务在备份点执行备份操作，可以产生该备份点的备份数据集，备份数据集通过备份点索引集来描述，备份点索引集以数据对象为单位进行描述，数据对象可以是文件、数据卷、数据库等各种类型的数据，针对每个数据对象的描述信息包括对象名、对象属性、数据指纹列表等，数据指纹列表描述数据对象所拥有的所有数据块的数字指纹，通过数据指纹可以实现对数据块的查询、定位，因此通过该列表可以确定数据对象在该备份点的备份数据；数据块索引表中每一项由数字指纹、数据仓库编号、偏移量等信息构成，其中，数字指纹可以通过安全散列算法(SHA-1)或者信息摘要算法(MD5)来计算，能够唯一地标志一个数据块，数字仓库编号和偏移量分别表示的是数字指纹所描述的数据块所在的数据仓库的编号以及在数据仓库中的偏移量，基于数据块索引表可以实现由数字指纹到数据块的快速定位，因此可以有效支持基于数据指纹的数据块检索；数据仓库中存放数据块描述以及数据块信息，包括数字指纹、引用次数、长度以及数据块内容，引用次数用来表示该数据块被引用的次数，当引用次数为零时，表示该数据块不被任何数据对象所引用，数据块的长度是可变的，因此引入长度来描述数据块的长度，在实际实现中数据块的长度也可以是固定的，这时可以省略长度信息。
本发明的管理方法主要包括：存储备份数据的操作，读取备份数据的操作，合并备份数据的操作，删除备份数据的操作。
图2是根据本发明实施例的存储备份数据的操作流程图，具体步骤如下：
步骤201：接收备份数据的数据对象的描述信息；
步骤202：接收数据对象所包含数据块的数字指纹集合F；
步骤203：判断数字指纹集合F中是否存在没有与数据块索引集比较的数字指纹，如果存在，则执行步骤204，否则执行步骤211；
步骤204：从数字指纹集合F中取一个数字指纹f；
步骤205：判断数据块索引集中是否存在该数字指纹f，如果存在，说明该数据块是重复的数据块，不需要备份，直接执行步骤209；否则，说明该数据块是新数据块，执行步骤206对该数据块进行备份；
步骤206：接收数字指纹f所表示的数据块d；
步骤207：将数据块d及相关信息放到数据仓库中；
步骤208：生成数据块d的索引信息放到数据块索引表中，该数据块已经处理完，重新执行步骤203处理下一个数据块；
步骤209：通过数据块索引表将数字指纹f定位到对应的数据块d；
步骤210：增加数据块d的引用次数，该数据块已经处理完，重新执行步骤203处理下一个数据块；
步骤211：生成数据对象的描述信息，放到备份点索引表中，备份操作执行完成。
图3是根据本发明实施例的读取备份数据的操作流程图，读取备份点全部数据对象可以通过循环执行该流程来实现，具体步骤如下：
步骤301：根据用户标志、任务标志、备份点信息定位到备份点索引集；
步骤302：根据数据对象名称从备份点索引集中读取数据对象属性及数字指纹列表；
步骤303：判断数字指纹列表是否还有未处理的数字指纹，如果有，则执行步骤304，否则执行步骤307；
步骤304：从数字指纹列表中取一个数字指纹；
步骤305：根据数字指纹查询数据块索引表，获取数据块存放位置信息；
步骤306：根据数据块存放位置信息，从数据仓库中读取数据块信息；
步骤307：根据获取的所有数据块信息构成该数据对象。
图4是根据本发明实施例的合并备份数据的操作流程图，其中Oi表示O在备份点ti产生的数据对象，Oi表示O在备份点tj产生的数据对象，ti和tj相邻的两个备份时间点，且有ti＜tj，L(Oi)表示数据对象在备份点ti产生的数字指纹列表，L(Oj)表示数据对象在备份点tj产生的数字指纹列表，f(Oi)表示数字指纹列表L(Oi)中的一个数字指纹，f(Oj)表示数字指纹列表L(Oj)中的一个数字指纹，d(Oi)和d(Oj)分别表示数字指纹f(Oi)和f(Oj)所对应的数据块，S(d(Oi))表示数据块d(Oi)在数据对象O中的起始位置，E(d(Oi))表示数据块d(Oi)在数据对象O中的结束位置。合并的具体步骤如下：
步骤401：判断数据对象Oi和Oj的数字指纹列表L(Oi)和L(Oj)是否为空，如果都不为空，执行步骤402，如果指纹列表L(Oi)为空，执行步骤415，如果指纹列表L(Oj)为空，执行步骤416；
步骤402：分别从指纹列表L(Oi)和L(Oj)中分别取数字指纹f(Oi)和f(Oj)；
步骤403：根据数字指纹通过数据块索引定位到数据块的存放位置；
步骤404：从数据仓库分别读取数字指纹f(Oi)和f(Oj)所对应的数据块d(Oi)和d(Oj)的信息；
步骤405：判断数据块d(Oi)和d(Oj)的起始位置与截止位置之间的关系，如果满足条件E(d(oi))＜S(d(oj))或者S(d(Oi))＜S(d(Oj))＜＝E(d(oi))＜E(d(Oj))，则执行步骤406；如果满足条件S(d(oj))＜E(d(oi))或者S(d(Oj)＜S(d(Oi))＜＝(d(Oj))＜E(d(Oi))，则执行步骤409；如果满足条件S(d(oj))＜＝S(d(Oi))＜E(d(Oi))＜＝E(d(Oj))，则执行步骤412；如果满足条件S(d(Oi))＜S(d(Oj))＜E(d(Oj))＜E(d(oi))，则执行步骤414；
步骤406：将f(Oi)放入数据指纹集合f`(O)；
步骤407：判断数字指纹列表L(Oi)是否为空，如果不为空，执行步骤408，否则，执行步骤415；
步骤408：从指纹列表L(Oi)中取一个数字指纹f(Oi)，并从数据仓库读取对应数据块d(Oi)的信息，然后重新执行步骤405；
步骤409：将f(Oj)放入数据指纹集合f`(O)；
步骤410：判断数字指纹列表L(Oj)是否为空，如果不为空，执行步骤411，否则，执行步骤416；
步骤411：从指纹列表L(Oi)中取一个数字指纹f(Oj)，并从数据仓库读取对应数据块d(Oj)的信息，然后重新执行步骤405；
步骤412：将f(Oj)放入数据指纹列表L`(O)；
步骤413：对f(Oi)对应的数据对象d(Oj)执行删除操作，然后重新执行步骤402；
步骤414：将f(Oj)和f(Oj)都放入数据指纹集合L`(O)，然后重新执行步骤402；
步骤415：将L(Oj)所有的数字指纹放入指纹列表L`(O)；
步骤416：将L(Oi)所有的数字指纹放入指纹列表L`(O)；
步骤417：根据L`(O)生成新的数据对象索引项，放入时间点索引集；
步骤418：执行结束。
两个备份点的合并可以通过重复该过程来实现，多个备份点数据集的合并可以通过依次合并相邻的备份点数据集来实现。
图5是根据本发明实施例的删除备份数据的操作流程图，备份点数据的删除可以通过重复执行该过程来实现，具体步骤如下：
步骤501：根据用户标志、任务标志、备份点信息，定位到备份点索引集；
步骤502：获取备份点索引集中数据对象属性及数字指纹列表；
步骤503：判断数字指纹列表是否还有未处理的数字指纹，如果有，则执行步骤504，否则执行步骤509；
步骤504：从数字指纹列表中取一个数字指纹；
步骤505：根据数字指纹查询数据块索引表，获取数据块存放位置信息；
步骤506：根据数据块存放位置信息，从数据仓库中读取数据块描述信息，将引用次数减1；
步骤507：该数据块引用次数是否为0，如果为零，说明该数据块不被任何数据对象引用，可以清理掉所占用的存储空间，执行步骤508，否则，说明该数据块还被其它数据对象引用，该数据块的删除过程结束，重新执行步骤503删除下一个数据块；
步骤508：清除该数据块所占用的空间，从数据块索引表中删除该数据块的索引项，该数据块删除过程结束，执行步骤503删除下一个数据块；
步骤509：从备份点索引表中删除该数据对象的索引项；
步骤510：结束。
最后应说明的是，以上实施例仅用以描述本发明的技术方案而不是对本技术方法进行限制，本发明在应用上可以延伸为其他的修改、变化、应用和实施例，并且因此认为所有这样的修改、变化、应用、实施例都在本发明的精神和教导范围内。

Claims (12)

1、一种多用户备份数据组织表，包括：用户表、任务表、备份点索引表、数据块索引表和数据仓库；
其中，所述用户表存放数据备份的终端用户的用户名、密码；
所述任务表记录终端用户所建立的备份任务的名称、备份数据，并保存备份任务与用户之间的映射关系；
所述备份点索引表记录备份任务在备份点所产生的备份数据的数据对象名称、对象属性以及数字指纹列表；
所述数据块索引表记录备份数据的数字指纹、存储备份数据的数据仓库编号和备份数据在该数据仓库中的偏移量；
所述数据仓库表示备份数据的存储位置和该备份数据的引用信息。
2、权利要求1所述的多用户备份数据组织表，其中，所述用户表中每项包括用户ID、用户名、密码；所述任务表中每一项包括用户ID、任务ID、任务名、备份模式、备份计划；其中，一个用户具有一个或者多个备份任务，所述用户表通过用户ID与所述任务表建立映射。
3、权利要求1所述的多用户备份数据组织表，其中，所述备份点索引集描述备份任务在备份点执行备份操作而产生的备份数据集，所述备份点索引集以数据对象为单位进行描述，数据对象是文件、数据卷或者数据库。
4、权利要求1所述的多用户备份数据组织表，其中，所述数据指纹列表描述数据对象的所有数据块的数字指纹，所述数字指纹通过安全散列算法或者信息摘要算法计算来标志数据块。
5、权利要求1所述的多用户备份数据组织表，其中，所述数据仓库包括数字指纹、引用次数、长度以及数据块内容，引用次数用来表示所述数据块被引用的次数。
6、根据权利要求1到5的任意一个所述的多用户备份数据组织表的备份方法，包括：
步骤10)、接收备份数据的数据对象描述信息，将和多用户备份数据组织表中数据指纹不同的所述数据对象描述信息中的数字指纹对应的数据块进行备份，并将所述数据块对应的索引信息以及所述数据对象描述信息对应存放到所述多用户备份数据组织表中，增加所述数据块的引用次数。
7、权利要求6所述的方法，其中，所述数据对象描述信息包括对象名、对象属性和数据指纹列表，所述数据指纹列表描述所述数据对象包含的所有数据块的数字指纹。
8、权利要求6所述的方法，其中，步骤10)进一步包括：
对于和多用户备份数据组织表中数据指纹相同的所述数据对象描述信息中的数字指纹所对应的数据块不进行备份，将所述数据对象描述信息中的所述数字指纹定位到多用户备份数据组织表中数据指纹指示的数据块，将所述数据对象描述信息对应于所述数据块存放到所述多用户备份数据组织表中，增加所述数据块的引用次数。
9、权利要求7所述的方法，其中，所述方法还包括：
步骤20)、根据用户信息、任务信息和备份点信息从所述备份点索引表中获取数据对象的数字指纹列表，根据对应的所述数据块的所述数字指纹查询数据块索引表来获取所述数据块的存放位置，从数据仓库读取所述数据块。
10、根据权利要求1到5的任意一个所述的多用户备份数据组织表的备份数据合并方法，包括：
步骤110)、依次读取所述两个相邻备份点中数据对象对应的数字指纹；
步骤120)、根据对应的数字指纹读取两个数据对象的数据块，对数据块进行合并；
步骤130)、形成新时间点的数字指纹列表和数据块，并分别保存在所述多用户备份数据组织表和所述数据仓库。
11、根据权利要求1到5的任意一个所述的多用户备份数据组织表的备份数据管理方法，包括：
步骤10)、从根据用户信息、任务信息和备份点信息定位的备份点索引表中获取要删除的数据对象对应的数字指纹列表；
步骤20)、根据所述数字指纹列表中的数据指纹在所述数据块索引表中查找数据块的存放位置，
步骤30)、从数据仓库中读取所述数据块的描述信息，将所述数据块的引用次数减1，将所述数据对象从备份点索引表中删除。
12、一种建立多用户备份数据组织表的方法，包括：
步骤10)、建立用户表和备份任务表的映射关系，其中，用户表包括用户名和密码，备份任务表包括用户名、备份任务名称和备份数据；
步骤20)、建立备份任务表和备份点索引集的映射关系，其中，备份点索引集包括备份任务在备份点所产生的备份数据的数据对象名称、对象属性以及数字指纹列表；
步骤30)、建立备份点索引集和数据块索引集的映射关系，其中，数据块索引集包括备份数据的数字指纹、存储备份数据的数据仓库编号和备份数据在该数据仓库中的偏移量，从而建立所述数据块索引和表示备份数据的存储位置与该备份数据的引用信息的数据仓库的映射关系。
CN2009100890572A 2009-07-22 2009-07-22 一种备份数据集中存储的管理方法 Expired - Fee Related CN101599079B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009100890572A CN101599079B (zh) 2009-07-22 2009-07-22 一种备份数据集中存储的管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009100890572A CN101599079B (zh) 2009-07-22 2009-07-22 一种备份数据集中存储的管理方法

Publications (2)

Publication Number Publication Date
CN101599079A true CN101599079A (zh) 2009-12-09
CN101599079B CN101599079B (zh) 2011-08-31

Family

ID=41420527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100890572A Expired - Fee Related CN101599079B (zh) 2009-07-22 2009-07-22 一种备份数据集中存储的管理方法

Country Status (1)

Country Link
CN (1) CN101599079B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729671A (zh) * 2009-12-31 2010-06-09 宇龙计算机通信科技(深圳)有限公司 一种终端、备份文件管理的方法及系统
CN102354292A (zh) * 2011-09-21 2012-02-15 国家计算机网络与信息安全管理中心 主、备数据库记录一致性校验方法及系统
CN102495894A (zh) * 2011-12-12 2012-06-13 成都市华为赛门铁克科技有限公司 重复数据查找方法、装置及系统
CN102523421A (zh) * 2011-12-27 2012-06-27 中兴通讯股份有限公司 Mcu的电源控制方法和装置
CN102622285A (zh) * 2012-02-22 2012-08-01 浪潮(北京)电子信息产业有限公司 一种实现数据存储备份还原的系统及方法
CN102810108A (zh) * 2011-06-02 2012-12-05 英业达股份有限公司 重复数据的处理方法
CN102902763A (zh) * 2012-09-21 2013-01-30 东软集团股份有限公司 关联、检索信息处理数据和处理信息任务的方法及装置
CN102982180A (zh) * 2012-12-18 2013-03-20 华为技术有限公司 数据存储方法及设备
CN103064757A (zh) * 2012-12-12 2013-04-24 鸿富锦精密工业（深圳）有限公司 数据备份方法及系统
CN103154950A (zh) * 2012-05-04 2013-06-12 华为技术有限公司 重复数据删除方法及装置
CN103678158A (zh) * 2013-12-26 2014-03-26 中国科学院信息工程研究所 一种数据布局优化方法及系统
CN103761169A (zh) * 2014-01-27 2014-04-30 中国石油天然气股份有限公司 石油地质软件数据库的热备份方法及装置
CN106569915A (zh) * 2016-11-04 2017-04-19 广东欧珀移动通信有限公司 一种数据备份方法及数据备份服务器
CN107506150A (zh) * 2017-08-30 2017-12-22 郑州云海信息技术有限公司 分布式存储装置、重删、写、删除、读取方法以及系统
WO2019019607A1 (zh) * 2017-07-28 2019-01-31 中兴通讯股份有限公司 数据备份方法、装置及系统
CN109582458A (zh) * 2017-09-28 2019-04-05 北京国双科技有限公司 资源信息加载方法、装置、存储介质及处理器
CN111125031A (zh) * 2019-12-24 2020-05-08 珠海大横琴科技发展有限公司 一种对象存储方法、装置、电子设备和存储介质
CN111352935A (zh) * 2019-07-29 2020-06-30 阿里巴巴集团控股有限公司 一种块链式账本中的索引创建方法、装置及设备
US10795874B2 (en) 2019-07-29 2020-10-06 Alibaba Group Holding Limited Creating index in blockchain-type ledger
CN112286734A (zh) * 2020-12-24 2021-01-29 深圳市科力锐科技有限公司 备份任务执行方法、装置、设备及存储介质
WO2021190313A1 (zh) * 2020-03-25 2021-09-30 华为技术有限公司 Db文件的备份方法、装置和电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100561474C (zh) * 2006-01-17 2009-11-18 鸿富锦精密工业（深圳）有限公司 远程多点文件索引同步系统及方法
CN101295299A (zh) * 2007-04-26 2008-10-29 王霞 无线射频识别数据的分布式存储方法
CN100547555C (zh) * 2007-12-10 2009-10-07 华中科技大学 一种基于指纹的数据备份系统

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729671A (zh) * 2009-12-31 2010-06-09 宇龙计算机通信科技(深圳)有限公司 一种终端、备份文件管理的方法及系统
CN102810108A (zh) * 2011-06-02 2012-12-05 英业达股份有限公司 重复数据的处理方法
CN102354292A (zh) * 2011-09-21 2012-02-15 国家计算机网络与信息安全管理中心 主、备数据库记录一致性校验方法及系统
CN102495894A (zh) * 2011-12-12 2012-06-13 成都市华为赛门铁克科技有限公司 重复数据查找方法、装置及系统
WO2013086969A1 (zh) * 2011-12-12 2013-06-20 华为技术有限公司 重复数据查找方法、装置及系统
CN102523421A (zh) * 2011-12-27 2012-06-27 中兴通讯股份有限公司 Mcu的电源控制方法和装置
CN102523421B (zh) * 2011-12-27 2018-02-13 中兴通讯股份有限公司 Mcu的电源控制方法和装置
CN102622285A (zh) * 2012-02-22 2012-08-01 浪潮(北京)电子信息产业有限公司 一种实现数据存储备份还原的系统及方法
CN103154950A (zh) * 2012-05-04 2013-06-12 华为技术有限公司 重复数据删除方法及装置
US8719237B2 (en) 2012-05-04 2014-05-06 Huawei Technologies Co., Ltd. Method and apparatus for deleting duplicate data
CN103154950B (zh) * 2012-05-04 2014-12-10 华为技术有限公司 重复数据删除方法及装置
CN102902763A (zh) * 2012-09-21 2013-01-30 东软集团股份有限公司 关联、检索信息处理数据和处理信息任务的方法及装置
CN102902763B (zh) * 2012-09-21 2016-01-27 东软集团股份有限公司 关联、检索信息处理数据和处理信息任务的方法及装置
US9342408B2 (en) 2012-12-12 2016-05-17 Hong Fu Jin Precision Industry (Shenzhen) Co., Ltd. Backup system and backcup method thereof
CN103064757A (zh) * 2012-12-12 2013-04-24 鸿富锦精密工业（深圳）有限公司 数据备份方法及系统
CN102982180B (zh) * 2012-12-18 2016-08-03 华为技术有限公司 数据存储方法及设备
CN102982180A (zh) * 2012-12-18 2013-03-20 华为技术有限公司 数据存储方法及设备
CN103678158A (zh) * 2013-12-26 2014-03-26 中国科学院信息工程研究所 一种数据布局优化方法及系统
CN103678158B (zh) * 2013-12-26 2016-11-02 中国科学院信息工程研究所 一种数据布局优化方法及系统
CN103761169B (zh) * 2014-01-27 2017-09-01 中国石油天然气股份有限公司 石油地质软件数据库的热备份方法及装置
CN103761169A (zh) * 2014-01-27 2014-04-30 中国石油天然气股份有限公司 石油地质软件数据库的热备份方法及装置
CN106569915B (zh) * 2016-11-04 2019-07-02 Oppo广东移动通信有限公司 一种数据备份方法及数据备份服务器
CN106569915A (zh) * 2016-11-04 2017-04-19 广东欧珀移动通信有限公司 一种数据备份方法及数据备份服务器
WO2019019607A1 (zh) * 2017-07-28 2019-01-31 中兴通讯股份有限公司 数据备份方法、装置及系统
CN107506150A (zh) * 2017-08-30 2017-12-22 郑州云海信息技术有限公司 分布式存储装置、重删、写、删除、读取方法以及系统
CN109582458A (zh) * 2017-09-28 2019-04-05 北京国双科技有限公司 资源信息加载方法、装置、存储介质及处理器
CN111352935A (zh) * 2019-07-29 2020-06-30 阿里巴巴集团控股有限公司 一种块链式账本中的索引创建方法、装置及设备
US10795874B2 (en) 2019-07-29 2020-10-06 Alibaba Group Holding Limited Creating index in blockchain-type ledger
US11068457B2 (en) 2019-07-29 2021-07-20 Advanced New Technologies Co., Ltd. Creating index in blockchain-type ledger
US11573944B2 (en) 2019-07-29 2023-02-07 Advanced New Technologies Co., Ltd. Creating index in blockchain-type ledger
CN111125031A (zh) * 2019-12-24 2020-05-08 珠海大横琴科技发展有限公司 一种对象存储方法、装置、电子设备和存储介质
WO2021190313A1 (zh) * 2020-03-25 2021-09-30 华为技术有限公司 Db文件的备份方法、装置和电子设备
CN112286734A (zh) * 2020-12-24 2021-01-29 深圳市科力锐科技有限公司 备份任务执行方法、装置、设备及存储介质
CN112286734B (zh) * 2020-12-24 2021-06-11 深圳市科力锐科技有限公司 备份任务执行方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN101599079B (zh) 2011-08-31

Similar Documents

Publication Publication Date Title
CN101599079B (zh) 一种备份数据集中存储的管理方法
CN102222085B (zh) 一种基于相似性与局部性结合的重复数据删除方法
KR101708261B1 (ko) 개별 액세스 가능한 데이터 유닛의 스토리지 관리
CN107391306B (zh) 一种异构数据库备份文件恢复方法
CN103020315B (zh) 一种基于主从分布式文件系统的海量小文件存储方法
CN103324552B (zh) 两阶段单实例去重数据备份方法
CN100565512C (zh) 消除文件存储系统中冗余文件的系统及方法
CN101719128B (zh) 一种基于模糊匹配的中文地理编码确定方法
KR101400816B1 (ko) 개별적으로 액세스 가능한 데이터 유닛의 기억 관리 방법 및 시스템
CN103838830B (zh) 一种HBase数据库的数据管理方法及系统
US20090228473A1 (en) Data storage for file updates
US20070094310A1 (en) Systems and methods for accessing and updating distributed data
CN103577123A (zh) 一种基于hdfs的小文件优化存储方法
CN101814045A (zh) 一种用于备份服务的数据组织方法
CN104133882A (zh) 一种基于hdfs的小文件处理方法
CN101799783A (zh) 一种数据存储处理方法、查找方法及其装置
CN107291858B (zh) 一种基于字符串后缀的数据索引方法
CN102073697A (zh) 一种数据处理方法及装置
US9348833B2 (en) Consolidation for updated/deleted records in old fragments
CN103279502B (zh) 一种具有与并行文件系统结合的重复数据删除文件系统的架构及方法
CN103678158B (zh) 一种数据布局优化方法及系统
CN103383690A (zh) 分布式数据存储方法及系统
CN103198150A (zh) 一种大数据索引方法及系统
CN109284273A (zh) 一种采用后缀数组索引的海量小文件查询方法及系统
CN101236525A (zh) 文件存储、读取、删除及复制方法及其相关系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: YANTAI ZHONGKE NETWORK TECHNOLOGY INSTITUTE

Free format text: FORMER OWNER: INSTITUTE OF COMPUTING TECHNOLOGY, CHINESE ACADEMY OF SCIENCES

Effective date: 20140408

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 100190 HAIDIAN, BEIJING TO: 264003 YANTAI, SHANDONG PROVINCE

TR01 Transfer of patent right

Effective date of registration: 20140408

Address after: 264003, Blue Ocean International Software Park, No. 1 Blue Sea Road, Yantai, Shandong

Patentee after: YANTAI BRANCH, INSTITUTE OF COMPUTING TECHNOLOGY, CHINESE ACADEMY OF SCIENCE

Address before: 100190 Haidian District, Zhongguancun Academy of Sciences, South Road, No. 6, No.

Patentee before: Institute of Computing Technology, Chinese Academy of Sciences

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110831

Termination date: 20210722

CF01 Termination of patent right due to non-payment of annual fee