CN102130939A - 一种远程复制方法及装置 - Google Patents
一种远程复制方法及装置 Download PDFInfo
- Publication number
- CN102130939A CN102130939A CN2010105953994A CN201010595399A CN102130939A CN 102130939 A CN102130939 A CN 102130939A CN 2010105953994 A CN2010105953994 A CN 2010105953994A CN 201010595399 A CN201010595399 A CN 201010595399A CN 102130939 A CN102130939 A CN 102130939A
- Authority
- CN
- China
- Prior art keywords
- data
- data block
- volume
- remote
- piece
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种远程复制方法及装置，将每个本地卷及其对应的远程卷分别分成两个以上数量相同、一一对应的数据块，具有对应关系的两个数据块具有相同的块号；设置每个本地卷的指示标识，当用户写入有效数据时，在被写入的本地卷的指示标识中填写表示被写入的数据块存在有效数据的取值；该方法还包括：利用所述指示标识，确定每个本地卷中存在有效数据的数据块；针对每个本地卷，将确定出的数据块中的有效数据复制到对应远程卷的对应的数据块中。应用本发明，能够提高网络带宽利用率，提高远程复制性能。
Description
技术领域
本发明涉及备份技术，特别涉及一种远程复制方法及装置。
背景技术
远程复制是基于存储区域网络(SAN，Storage Area Network)或者广域网的一种远程容灾备份技术，本地设备中包括对应不同用户的不同本地卷，远程设备中包括分别与各个本地卷对应的远程卷。
在本地设备，针对某个用户创建一个新的本地卷时，该本地卷中可能为空，也可能存在其他数据，或者用户在本地卷写入数据时，有时写入数据并不覆盖整个本地卷，这时本地卷中未被覆盖的部分可能存在其他数据。不管是上述哪种情况，将本地卷中存在的、非用户写入的数据统称为无效数据，本地卷为空时可以视为一种无效数据的特殊情况。相应的，将用户写入的数据称为有效数据。
执行远程复制时，一般需要把本地卷中的所有数据通过网络同步到对应的远程卷，在现有技术的方案中，将本地卷中的有效数据和无效数据全部同步到对应的远程卷，极大的浪费了网络带宽并降低了远程复制性能。
发明内容
本发明提供一种远程复制方法，提高网络带宽利用率，提高远程复制性能。
本发明提供一种远程复制装置，提高网络带宽利用率，提高远程复制性能。
本发明的技术方案是这样实现的：
一种远程复制方法，关键在于，将每个本地卷及其对应的远程卷分别分成两个以上数量相同、一一对应的数据块，具有对应关系的两个数据块具有相同的块号；设置每个本地卷的指示标识，当用户写入有效数据时，在被写入的本地卷的指示标识中填写表示被写入的数据块存在有效数据的取值；该方法还包括：
A、利用所述指示标识，确定每个本地卷中存在有效数据的数据块；
B、针对每个本地卷，将确定出的数据块中的有效数据复制到对应远程卷的对应的数据块中。
一种远程复制装置，关键在于，该装置包括：数据模块、写入模块、指示标识模块和复制模块；
所述数据模块中包括本地卷，每个本地卷包括与对应远程卷中数量相同、一一对应的两个以上数据块；每个本地卷及其对应远程卷中具有对应关系的两个数据块具有相同的块号；
所述指示标识模块，存储每个本地卷的指示标识；
所述写入模块，接收有效数据写入所述数据模块中，在被写入的本地卷的指示标识中填写表示被写入的数据块存在有效数据的取值；
所述复制模块，利用所述指示标识，确定每个本地卷中存在有效数据的数据块；针对每个本地卷，将确定出的数据块中的数据复制到对应远程卷的对应的数据块中。
可见，本发明的远程复制方法及装置中，将本地卷和远程卷分成了更小粒度的数据块，并设置了每个本地卷的指示标识，在执行远程复制时，针对每个本地卷，通过其指示标识确定该本地卷中存在有效数据的数据块，只将存在有效数据的数据块复制到对应远程卷的对应数据块中，减少无效数据的传输，大大提高了网络带宽利用率，提高了远程复制效率和性能。
附图说明
图1为本发明远程复制方法的流程图；
图2为本发明实施例中远程复制方法的流程图；
图3为本发明实施例中指示标识的结构示意图；
图4为本发明实施例中第一种数据块的块号设置示意图；
图5为本发明实施例中第二种数据块的块号设置示意图；
图6为本发明远程复制的装置的结构示意图。
具体实施方式
为使本发明的目的和优点更加清楚，下面结合附图和实施例对本发明作进一步的详细说明。
在本发明的远程复制方法中，将每个本地卷及其对应的远程卷分别分成两个以上数量相同、一一对应的数据块，具有对应关系的两个数据块具有相同的块号；设置每个本地卷的指示标识，当用户写入有效数据时，在被写入的本地卷的指示标识中填写表示被写入的数据块存在有效数据的取值。
图1为本发明远程复制方法的流程图，该方法包括：
步骤101：利用指示标识，确定每个本地卷中存在有效数据的数据块。
步骤102：针对每个本地卷，将确定出的数据块中的数据复制到对应远程卷的对应的数据块中。
可见，本发明的远程复制方法中，将本地卷和远程卷分成了更小粒度的数据块，并设置了每个本地卷的指示标识，在执行远程复制时，针对每个本地卷，通过其指示标识确定该本地卷中存在有效数据的数据块，只将存在有效数据的数据块复制到对应远程卷的对应数据块中，减少无效数据的传输，大大提高了网络带宽利用率，提高了远程复制效率和性能。
下面给出本发明的远程复制方法的一个实施例。
在本实施例中，当用户写入数据时，根据数据的大小和本地卷中划分出的数据块的大小，该写入的数据将作为有效数据存入该用户对应的本地卷的一个或两个以上数据块，并在该用户对应的本地卷的指示标识中填写表示被写入的数据块存在有效数据的取值。至于具体存入哪个数据或哪些数据块中，可以根据实际应用和本领域的公知常识确定，这并非本发明要讨论的重点，因此这里不再赘述。
本实施例中，为方便操作，本地卷和远程卷中分出的各个数据块的大小均相同。
图2为本发明实施例中远程复制方法的流程图，该流程包括：
步骤201：利用指示标识，确定每个本地卷中存在有效数据的数据块。
本实施例中，每个本地卷对应一个指示标识，该指示标识为比特位图(bitmap)，其中的每一比特位对应该本地卷的一个数据块，设置各个比特位填写不同的取值代表对应的数据块中是否存在有效数据，图3为本发明实施例中指示标识的结构示意图，假设0代表对应数据块中不存在有效数据，1代表对应数据块中存在有效数据，可以看出图3所示的本地卷中，从左至右第2和第4个数据块中存在有效数据，其他数据块中不存在有效数据。
步骤202：针对每个确定出的数据块计算哈希值。
本实施例中，针对每个确定出的数据块计算哈希值的具体算法，可以根据实际需求选择，计算的方式也属于本领域的公知常识，这里不再赘述。
本实施例中，在本地设备中维护一个哈希表，其中每个记录项记录一个哈希值及具有该哈希值的数据块的块号。哈希表的表结构如下面的表一所示。
| 哈希值1 | 数据块的块号 |
| 哈希值2 | 数据块的块号 |
| 哈希值3 | 数据块的块号 |
| …… | …… |
表一
步骤203：针对每个确定出的数据块，判断该数据块的哈希值是否已记录在哈希表中，如果不是，在哈希表中创建一个新纪录项、将该数据块的哈希值和块号记录到该新记录项中，并将该数据块中的有效数据复制到对应远程卷的对应的数据块中，否则进一步比对该数据块中的有效数据和记录在哈希表中、且具有相同哈希值的其他数据块中的有效数据是否相同，如果是，通知远程设备将上述其他数据块在远程卷的对应数据块中的有效数据恢复到该数据块在远程卷的对应数据块中，否则按照该数据块的哈希值，将该数据块的块号记录到哈希表中，再将该数据块中的有效数据复制到对应远程卷的对应的数据块中。
本步骤中，当两个数据块的哈希值不相同时，则可确定这两个数据块中的有效数据不相同，但当两个数据块的哈希值相同时，还需进一步具体比对数据块中的有效数据，来确定这两个数据块中的有效数据是否相同。
基于数据块的块号设置方式的不同，本步骤中通知远程设备的方式包括两种可能的情况。
图4为本发明实施例中第一种数据块的块号设置示意图，可以看出，每两个具有对应关系的数据块具有唯一的块号，根据该块号就可以获知相应的数据块，这时针对某数据块执行步骤203中的通知远程设备的操作时，需通知远程设备该数据块的块号、及记录在哈希表中、且与该数据块具有相同哈希值的其他数据块的块号。
图5为本发明实施例中第二种数据块的块号设置示意图，可以看出每个本地卷及其对应的远程卷具有相同的卷号，每个本地卷中的每个数据块的块号不相同，不同本地卷中的数据块可能具有相同的块号，这时针对某数据块执行步骤203中的通知远程设备的操作时，需通知远程设备该数据块的块号、该数据块所在本地卷的卷号、记录在哈希表中、且与该数据块具有相同哈希值的其他数据块的块号、及该其他数据块所在本地卷的卷号。
通过上述步骤203，在确定有效数据的基础上，进一步确定出了有效数据中哪些是执行过远程复制的，对于这部分数据无需重复执行远程复制，只需要通知远程设备将已经执行远程复制的有效数据恢复到远程卷中相应的位置，从而进一步提高了远程复制效率和性能。
为实现上述本发明的远程复制的方法，本发明还提供一种远程复制的装置，该装置位于本地设备中。
图6为本发明远程复制的装置的结构示意图，该装置包括：数据模块、写入模块、指示标识模块和复制模块。
上述数据模块中包括本地卷，每个本地卷包括与对应远程卷中数量相同、一一对应的两个以上数据块；每个本地卷及其对应远程卷中具有对应关系的两个数据块具有相同的块号；
上述指示标识模块，存储每个本地卷的指示标识；
上述写入模块，接收有效数据写入所述数据模块中，在被写入的本地卷的指示标识中填写表示被写入的数据块存在有效数据的取值；
上述复制模块，利用所述指示标识，确定每个本地卷中存在有效数据的数据块；针对每个本地卷，将确定出的数据块中的数据复制到对应远程卷的对应的数据块中。
为进一步提高远程复制效率和性能，该装置中可以进一步包括：哈希表模块，存储有哈希表，所述哈希表中的每个记录项记录一个哈希值及具有该哈希值的数据块的块号。
上述复制模块，利用所述指示标识，确定每个本地卷中存在有效数据的数据块，计算每个确定出的数据块的哈希值；针对每个确定出的数据块，判断该数据块的哈希值是否已记录在所述哈希表中，如果不是，在所述哈希表中创建一个新纪录项、将该数据块的哈希值和块号记录到该新记录项中，并将该数据块中的有效数据复制到对应远程卷的对应的数据块中；否则进一步比对该数据块中的有效数据和记录在哈希表中、且具有相同哈希值的其他数据块中的有效数据是否相同，如果是，通知远程设备将该其他数据块在远程卷的对应数据块中的数据恢复到该数据块在远程卷对应的数据块中，否则按照该数据块的哈希值，将该数据块的块号记录到哈希表中，再将该数据块中的有效数据复制到对应远程卷的对应的数据块中。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种远程复制方法，其特征在于，将每个本地卷及其对应的远程卷分别分成两个以上数量相同、一一对应的数据块，具有对应关系的两个数据块具有相同的块号；设置每个本地卷的指示标识，当用户写入有效数据时，在被写入的本地卷的指示标识中填写表示被写入的数据块存在有效数据的取值；该方法还包括：
A、利用所述指示标识，确定每个本地卷中存在有效数据的数据块；
B、针对每个本地卷，将确定出的数据块中的有效数据复制到对应远程卷的对应的数据块中。
2.如权利要求1所述的方法，其特征在于，设置哈希表，其中每个记录项记录一个哈希值及具有该哈希值的数据块的块号；
所述步骤A和步骤B之间进一步包括：计算每个确定出的数据块的哈希值；
所述步骤B包括：针对每个确定出的数据块，判断该数据块的哈希值是否已记录在所述哈希表中，如果不是，在所述哈希表中创建一个新纪录项、将该数据块的哈希值和块号记录到该新记录项中，并将该数据块中的有效数据复制到对应远程卷的对应的数据块中；否则进一步比对该数据块中的有效数据和记录在哈希表中、且具有相同哈希值的其他数据块中的有效数据是否相同，如果是，通知远程设备将所述其他数据块在远程卷的对应数据块中的有效数据恢复到该数据块在远程卷的对应数据块中，否则按照该数据块的哈希值，将该数据块的块号记录到哈希表中，再将该数据块中的有效数据复制到对应远程卷的对应的数据块中。
3.如权利要求2所述的方法，其特征在于，每两个具有对应关系的数据块具有唯一的块号；
针对一个数据块执行所述通知远程设备的操作时，包括：通知远程设备该数据块的块号、及所述记录在哈希表中、且具有相同哈希值的其他数据块的块号。
4.权利要求2所述的方法，其特征在于，每个本地卷及其对应的远程卷具有相同的卷号，每个本地卷中的每个数据块的块号不相同；
针对一个数据块执行所述通知远程设备的操作时，包括：通知远程设备该数据块的块号、该数据块所在本地卷的卷号、所述记录在哈希表中、且具有相同哈希值的其他数据块的块号、及所述其他数据块所在本地卷的卷号。
5.如权利要求1或2所述的方法，其特征在于，各个数据块的大小均相同。
6.如权利要求1或2所述的方法，其特征在于，所述指示标识为比特位图，其中的每一比特位对应指示本地卷的一个数据块中是否存在有效数据。
7.一种远程复制装置，其特征在于，该装置包括：数据模块、写入模块、指示标识模块和复制模块；
所述数据模块中包括本地卷，每个本地卷包括与对应远程卷中数量相同、一一对应的两个以上数据块；每个本地卷及其对应远程卷中具有对应关系的两个数据块具有相同的块号；
所述指示标识模块，存储每个本地卷的指示标识；
所述写入模块，接收有效数据写入所述数据模块中，在被写入的本地卷的指示标识中填写表示被写入的数据块存在有效数据的取值；
所述复制模块，利用所述指示标识，确定每个本地卷中存在有效数据的数据块；针对每个本地卷，将确定出的数据块中的数据复制到对应远程卷的对应的数据块中。
8.如权利要求7所述的装置，其特征在于，该装置中进一步包括：哈希表模块，存储有哈希表，所述哈希表中的每个记录项记录一个哈希值及具有该哈希值的数据块的块号；
所述复制模块，利用所述指示标识，确定每个本地卷中存在有效数据的数据块，计算每个确定出的数据块的哈希值；针对每个确定出的数据块，判断该数据块的哈希值是否已记录在所述哈希表中，如果不是，在所述哈希表中创建一个新纪录项、将该数据块的哈希值和块号记录到该新记录项中，并将该数据块中的有效数据复制到对应远程卷的对应的数据块中；否则进一步比对该数据块中的有效数据和记录在哈希表中、且具有相同哈希值的其他数据块中的有效数据是否相同，如果是，通知远程设备将该其他数据块在远程卷的对应数据块中的数据恢复到该数据块在远程卷对应的数据块中，否则按照该数据块的哈希值，将该数据块的块号记录到哈希表中，再将该数据块中的有效数据复制到对应远程卷的对应的数据块中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010105953994A CN102130939A (zh) | 2010-12-10 | 2010-12-10 | 一种远程复制方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010105953994A CN102130939A (zh) | 2010-12-10 | 2010-12-10 | 一种远程复制方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102130939A true CN102130939A (zh) | 2011-07-20 |
Family
ID=44268827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010105953994A Pending CN102130939A (zh) | 2010-12-10 | 2010-12-10 | 一种远程复制方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102130939A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567131A (zh) * | 2011-12-27 | 2012-07-11 | 创新科存储技术有限公司 | 一种异步镜像方法 |
| CN102761615A (zh) * | 2012-06-29 | 2012-10-31 | 浪潮(北京)电子信息产业有限公司 | 一种实现远程复制系统数据同步的方法及装置 |
| CN103873504A (zh) * | 2012-12-12 | 2014-06-18 | 鸿富锦精密工业（深圳）有限公司 | 数据分块存储至分布式服务器的系统及方法 |
| CN104394228A (zh) * | 2014-12-08 | 2015-03-04 | 浪潮(北京)电子信息产业有限公司 | 一种文件系统的存储方法及装置 |
| CN105912425A (zh) * | 2016-04-08 | 2016-08-31 | 杭州宏杉科技有限公司 | 快照映像建立、回滚方法以及装置 |
| CN110531930A (zh) * | 2019-08-22 | 2019-12-03 | 苏州浪潮智能科技有限公司 | 存储卷缓存的清除方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101387976A (zh) * | 2008-11-07 | 2009-03-18 | 清华大学 | 一种基于数据差异的逻辑卷快速同步方法 |
| CN101789977A (zh) * | 2010-02-08 | 2010-07-28 | 北京同有飞骥科技有限公司 | 一种基于Hash编码的远程数据复制去重方法 |
-
2010
- 2010-12-10 CN CN2010105953994A patent/CN102130939A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101387976A (zh) * | 2008-11-07 | 2009-03-18 | 清华大学 | 一种基于数据差异的逻辑卷快速同步方法 |
| CN101789977A (zh) * | 2010-02-08 | 2010-07-28 | 北京同有飞骥科技有限公司 | 一种基于Hash编码的远程数据复制去重方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567131A (zh) * | 2011-12-27 | 2012-07-11 | 创新科存储技术有限公司 | 一种异步镜像方法 |
| CN102567131B (zh) * | 2011-12-27 | 2015-03-04 | 创新科存储技术有限公司 | 一种异步镜像方法 |
| CN102761615A (zh) * | 2012-06-29 | 2012-10-31 | 浪潮(北京)电子信息产业有限公司 | 一种实现远程复制系统数据同步的方法及装置 |
| CN103873504A (zh) * | 2012-12-12 | 2014-06-18 | 鸿富锦精密工业（深圳）有限公司 | 数据分块存储至分布式服务器的系统及方法 |
| CN104394228A (zh) * | 2014-12-08 | 2015-03-04 | 浪潮(北京)电子信息产业有限公司 | 一种文件系统的存储方法及装置 |
| CN105912425A (zh) * | 2016-04-08 | 2016-08-31 | 杭州宏杉科技有限公司 | 快照映像建立、回滚方法以及装置 |
| CN105912425B (zh) * | 2016-04-08 | 2019-04-16 | 杭州宏杉科技股份有限公司 | 快照映像建立、回滚方法以及装置 |
| CN110531930A (zh) * | 2019-08-22 | 2019-12-03 | 苏州浪潮智能科技有限公司 | 存储卷缓存的清除方法及装置 |
| CN110531930B (zh) * | 2019-08-22 | 2023-01-10 | 苏州浪潮智能科技有限公司 | 存储卷缓存的清除方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101334797B (zh) | 一种分布式文件系统及其数据块一致性管理的方法 | |
| CN102130939A (zh) | 一种远程复制方法及装置 | |
| CN104182184B (zh) | 一种分布式块存储克隆方法 | |
| CN103229134B (zh) | 存储设备及其控制方法 | |
| CN101777017B (zh) | 一种连续数据保护系统的快速恢复方法 | |
| CN106708427A (zh) | 一种适用于键值对数据的存储方法 | |
| CN106708425A (zh) | 分布式多模存储管理 | |
| CN104699416B (zh) | 一种数据存储系统以及一种数据存储方法 | |
| TW200731103A (en) | Method of managing data snapshot images in a storage system | |
| CN103793291B (zh) | 分布式数据复制方法和装置 | |
| CN106055431A (zh) | 基于快照在线回滚的数据备份与恢复的方法及装置 | |
| CN103793181B (zh) | 一种多层关联存储架构的数据同步方法及数据同步系统 | |
| CN102129434B (zh) | 读写分离数据库的方法及系统 | |
| CN104317742A (zh) | 一种优化空间管理的自动精简配置方法 | |
| CN103678145B (zh) | 数据储存装置与快闪存储器控制方法 | |
| CN104541252A (zh) | 用于实现基于服务器的分层大容量存储系统的系统和方法 | |
| CN101753935B (zh) | 一种数据存储设备长时间预录的方法 | |
| CN103455631A (zh) | 一种数据处理方法、装置及系统 | |
| CN106294193A (zh) | 存储设备及基于该存储设备的分块存储方法 | |
| CN103577513A (zh) | 藉延迟节点实例化以缓存xml信息集的系统和/或方法 | |
| TW200725298A (en) | System and method for storage management | |
| CN112000627A (zh) | 一种数据存储方法、系统、电子设备及存储介质 | |
| CN103051671A (zh) | 一种集群文件系统重复数据删除方法 | |
| CN106681848A (zh) | 一种纠删码raid的数据一致性保障方法及系统 | |
| CN101520793A (zh) | 一种流媒体文件存储和读取方法、系统及流媒体服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20110720 |