CN102567131A - 一种异步镜像方法 - Google Patents
一种异步镜像方法 Download PDFInfo
- Publication number
- CN102567131A CN102567131A CN2011104435475A CN201110443547A CN102567131A CN 102567131 A CN102567131 A CN 102567131A CN 2011104435475 A CN2011104435475 A CN 2011104435475A CN 201110443547 A CN201110443547 A CN 201110443547A CN 102567131 A CN102567131 A CN 102567131A
- Authority
- CN
- China
- Prior art keywords
- data
- block
- logical volume
- carried out
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种异步镜像方法,该方法通过比较本地逻辑卷以及远程逻辑卷的数据块校验,获取差异化数据,在进行异步更新时,仅更新数据块中的不同数据。采用本发明可以减少更新的数据量,提高带宽利用率。
Description
技术领域
本发明涉及数据存储技术,特别是涉及一种异步镜像方法。
背景技术
异步镜像是一种基于SAN网络甚至广域网的一种远程容灾备份技术。定时将用户的数据修改通过网络同步到另一台存储设备。目前的异步镜像方法中,进行数据同步的粒度为数据块,即将被修改数据所在的数据块整体同步到另一台存储设备中。这样对于该数据块中未被修改的数据也需要进行同步,这些不需要更新的数据不可避免的要占用一定的带宽,从而影响了网络带宽的利用率。
发明内容
有鉴于此,本发明的主要目的在于提供一种异步镜像方法,能有效提高带宽利用率。
为了达到上述目的,本发明提出的技术方案为:
一种异步镜像方法,该方法包括以下步骤:
a、在需要进行异步镜像更新时,所述本地存储设备将最近一次异步镜像更新后进行过本地更新的数据块的编号通知给远程存储设备;
b、对于远程逻辑卷中每个所述编号i对应的数据块,如果该数据块未曾被更新过,则所述远程存储设备通知所述本地存储设备对该数据块的所有数据进行异步镜像更新;否则,所述远程存储设备将该数据块进行数据子块的划分,每个所述数据子块的长度为预设长度S,对每个数据子块进行数据校验,并将数据校验值列表通知给所述本地存储设备,所述本地存储设备根据接收到的所述数据校验值列表,确定本地逻辑卷中所述编号i对应的数据块中与远程逻辑卷中不同的数据子块,将所述不同的数据子块更新到所述远程逻辑卷中。
综上所述,本发明提出的异步镜像方法,通过比较本地逻辑卷以及远程逻辑卷的数据块校验,获取差异化数据,并在进行异步更新时,仅更新数据块中的不同数据,从而减少更新的数据量,提高带宽利用率。
附图说明
图1为本发明实施例一的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图及具体实施例对本发明作进一步地详细描述。
本发明的核心思想是:比较本地逻辑卷以及远程逻辑卷的数据块校验,获取差异化数据,在进行异步更新时,仅更新数据块中的不同数据,从而减少更新的数据量,提高带宽利用率。
图1为本发明实施例一的流程示意图。如图1所示该实施例包括:
步骤101、在需要进行异步镜像更新时,所述本地存储设备将最近一次异步镜像更新后进行过本地更新的数据块的编号通知给远程存储设备。
在具体实现时,本地存储设备需要将最近一次异步镜像更新后进行过本地更新的数据块进行标识,以便可以在需要进行异步镜像更新时,将其通知给远程存储设备。在实际应用中,可将更新标识设置为“1”以表示被更新过。
步骤102、对于远程逻辑卷中每个所述编号i对应的数据块,如果该数据块未曾被更新过,则所述远程存储设备通知所述本地存储设备对该数据块的所有数据进行异步镜像更新;否则,所述远程存储设备将该数据块进行数据子块的划分,每个所述数据子块的长度为预设长度S,对每个数据子块进行数据校验,并将数据校验值列表通知给所述本地存储设备,所述本地存储设备根据接收到的所述数据校验值列表,确定本地逻辑卷中所述编号i对应的数据块中与远程逻辑卷中不同的数据子块,将所述不同的数据子块更新到所述远程逻辑卷中。
这里,远程逻辑卷将遍历本地存储设备所通知的数据块,判断该数据块在远程逻辑卷中是否被更新过,如果未被更新过,说明是该数据块没有同步数据,需要进行整个数据块的同步,因此通知所述本地存储设备对该数据块的所有数据进行异步镜像更新。如果判断出该数据块被更新过,则只需要找出该数据块中远程和本地有差异的数据进行更新即可,这样,可以减少相同数据的更新从而可提高带宽利用率。本步骤中,将通过数据校验的方式,找出该数据块中远程和本地有差异的数据的方法。
对于一个在远程被更新过的数据块,远程存储设备将首先对其进行数据子块的划分,然后对各数据子块进行校验,将检验结果通知给本地存储设备,存储设备将本地的校验结果与远程的校验结果进行匹配,当不匹配时,即可确定相应的数据子块在本地和远程存在差异,最后仅将存在差异的数据进行异步更新即可。
具体的,数据子块大小S可由本领域技术人员根据实际需要的校验粒度以及算法复杂度和准确度进行确定。
较佳地,远程逻辑卷可以按照128位的强滚动校验方法,对每个数据子块进行数据校验。
具体地,所述强滚动校验方法已为本领域人员所掌握,在此不再赘述。
相应地,本地存储设备根据接收到的所述数据校验值列表,确定本地逻辑卷中所述编号i对应的数据块中与远程逻辑卷中不同的数据子块可以为:
对于本地逻辑卷中所述编号i对应的数据块,所述本地存储设备依次对以其中每个字节开始的长度为所述S的数据进行128位的强滚动校验,将所述强滚动校验的校验值与接收到的所述数据校验值列表进行搜索匹配,将不匹配的校验值所对应的长度为S的数据确定为与远程逻辑卷中数据不同的数据子块。
具体地,所述搜索匹配方法已为本领域技术人员所掌握,在此不再赘述。
进一步的,为了提高本地存储设备识别有差异数据子块的速率,远程可采用两种数据校验方法分别进行校验,即远程存储设备对每个数据子块进行数据校验包括:
按照32位的弱滚动校验方法,对每个数据子块进行数据校验;
按照128位的强滚动校验方法,对每个数据子块进行数据校验;
所述数据校验值列表包括所述弱滚动校验值列表和所述强滚动校验值列表。
相应地,本地存储设备根据接收到的所述数据校验值列表,确定本地逻辑卷中所述编号i对应的数据块中与远程逻辑卷中不同的数据子块可以为:
对于本地逻辑卷中所述编号i对应的数据块,所述本地存储设备依次对以其中每个字节开始的长度为所述S的数据进行32位的弱滚动校验,将所述弱滚动校验的校验值与接收到的所述弱滚动校验值列表进行搜索匹配,如果校验值不匹配,则将对应的长度为S的数据确定为与远程逻辑卷中数据不同的数据子块;如果校验值匹配,则对校验值匹配的数据进行128位的强滚动校验,将所述强滚动校验的校验值与接收到的所述强滚动校验值列表进行搜索匹配,如果不匹配,则将对应的长度为S的数据确定为与远程逻辑卷中数据不同的数据子块。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种异步镜像方法,其特征在于,该方法包括以下步骤:
a、在需要进行异步镜像更新时,所述本地存储设备将最近一次异步镜像更新后进行过本地更新的数据块的编号通知给远程存储设备;
b、对于远程逻辑卷中每个所述编号i对应的数据块,如果该数据块未曾被更新过,则所述远程存储设备通知所述本地存储设备对该数据块的所有数据进行异步镜像更新;否则,所述远程存储设备将该数据块进行数据子块的划分,每个所述数据子块的长度为预设长度S,对每个数据子块进行数据校验,并将数据校验值列表通知给所述本地存储设备,所述本地存储设备根据接收到的所述数据校验值列表,确定本地逻辑卷中所述编号i对应的数据块中与远程逻辑卷中不同的数据子块,将所述不同的数据子块更新到所述远程逻辑卷中。
2.根据权利要求1所述的方法,其特征在于,步骤b中所述对每个数据子块进行数据校验包括:
按照128位的强滚动校验方法,对每个数据子块进行数据校验。
3.根据权利要求2所述的方法,其特征在于,步骤b中所述本地存储设备根据接收到的所述数据校验值列表,确定本地逻辑卷中所述编号i对应的数据块中与远程逻辑卷中不同的数据子块为:
对于本地逻辑卷中所述编号i对应的数据块,所述本地存储设备依次对以其中每个字节开始的长度为所述S的数据进行128位的强滚动校验,将所述强滚动校验的校验值与接收到的所述数据校验值列表进行搜索匹配,将不匹配的校验值所对应的长度为S的数据确定为与远程逻辑卷中数据不同的数据子块。
4.根据权利要求1所述的方法,其特征在于,步骤b中所述对每个数据子块进行数据校验包括:
按照32位的弱滚动校验方法,对每个数据子块进行数据校验;
按照128位的强滚动校验方法,对每个数据子块进行数据校验;
所述数据校验值列表包括所述弱滚动校验值列表和所述强滚动校验值列表。
5.根据权利要求4所述的方法,其特征在于,步骤b中所述本地存储设备根据接收到的所述数据校验值列表,确定本地逻辑卷中所述编号i对应的数据块中与远程逻辑卷中不同的数据子块为:
对于本地逻辑卷中所述编号i对应的数据块,所述本地存储设备依次对以其中每个字节开始的长度为所述S的数据进行32位的弱滚动校验,将所述弱滚动校验的校验值与接收到的所述弱滚动校验值列表进行搜索匹配,如果校验值不匹配,则将对应的长度为S的数据确定为与远程逻辑卷中数据不同的数据子块;如果校验值匹配,则对校验值匹配的数据进行128位的强滚动校验,将所述强滚动校验的校验值与接收到的所述强滚动校验值列表进行搜索匹配,如果不匹配,则将对应的长度为S的数据确定为与远程逻辑卷中数据不同的数据子块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110443547.5A CN102567131B (zh) | 2011-12-27 | 2011-12-27 | 一种异步镜像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110443547.5A CN102567131B (zh) | 2011-12-27 | 2011-12-27 | 一种异步镜像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102567131A true CN102567131A (zh) | 2012-07-11 |
CN102567131B CN102567131B (zh) | 2015-03-04 |
Family
ID=46412614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110443547.5A Active CN102567131B (zh) | 2011-12-27 | 2011-12-27 | 一种异步镜像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102567131B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104699569A (zh) * | 2015-03-24 | 2015-06-10 | 积成电子股份有限公司 | 一种mqx操作系统映像结构、mqx操作系统、用电信息采集终端及映像更新方法 |
CN106452694A (zh) * | 2016-09-23 | 2017-02-22 | 郑州云海信息技术有限公司 | 一种远程站点容灾方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1549974A (zh) * | 2001-08-14 | 2004-11-24 | 存储网络技术公司 | 在存储区域网络中的异步镜像 |
US20070294314A1 (en) * | 2006-06-16 | 2007-12-20 | Michael Padovano | Bitmap based synchronization |
CN101290628A (zh) * | 2008-06-17 | 2008-10-22 | 中兴通讯股份有限公司 | 一种数据文件更新存储方法 |
CN101387976A (zh) * | 2008-11-07 | 2009-03-18 | 清华大学 | 一种基于数据差异的逻辑卷快速同步方法 |
CN101833486A (zh) * | 2010-04-07 | 2010-09-15 | 山东高效能服务器和存储研究院 | 一种远程备份和恢复系统设计方法 |
CN102130939A (zh) * | 2010-12-10 | 2011-07-20 | 创新科存储技术有限公司 | 一种远程复制方法及装置 |
-
2011
- 2011-12-27 CN CN201110443547.5A patent/CN102567131B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1549974A (zh) * | 2001-08-14 | 2004-11-24 | 存储网络技术公司 | 在存储区域网络中的异步镜像 |
US20070294314A1 (en) * | 2006-06-16 | 2007-12-20 | Michael Padovano | Bitmap based synchronization |
CN101290628A (zh) * | 2008-06-17 | 2008-10-22 | 中兴通讯股份有限公司 | 一种数据文件更新存储方法 |
CN101387976A (zh) * | 2008-11-07 | 2009-03-18 | 清华大学 | 一种基于数据差异的逻辑卷快速同步方法 |
CN101833486A (zh) * | 2010-04-07 | 2010-09-15 | 山东高效能服务器和存储研究院 | 一种远程备份和恢复系统设计方法 |
CN102130939A (zh) * | 2010-12-10 | 2011-07-20 | 创新科存储技术有限公司 | 一种远程复制方法及装置 |
Non-Patent Citations (1)
Title |
---|
许先行: "目录镜像及文件镜像算法", 《微型电脑应用》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104699569A (zh) * | 2015-03-24 | 2015-06-10 | 积成电子股份有限公司 | 一种mqx操作系统映像结构、mqx操作系统、用电信息采集终端及映像更新方法 |
CN104699569B (zh) * | 2015-03-24 | 2017-12-08 | 积成电子股份有限公司 | 一种mqx操作系统映像结构、mqx操作系统、用电信息采集终端及映像更新方法 |
CN106452694A (zh) * | 2016-09-23 | 2017-02-22 | 郑州云海信息技术有限公司 | 一种远程站点容灾方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN102567131B (zh) | 2015-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9589041B2 (en) | Client and server integration for replicating data | |
CN103198494B (zh) | 一种基于建筑外轮廓线及激光点云的建筑立面提取方法 | |
CN105302591B (zh) | 双mcu架构系统更新程序的通信方法 | |
NZ596476A (en) | Updating a device in a smart meter system using recognition of unique identifiers over a combination of networks | |
WO2008105962A3 (en) | Real-time computerized annotation of pictures | |
CN103177077B (zh) | 一种apk文件的存储及输出方法 | |
CN105095099A (zh) | 一种基于内存页位图变更的大内存页整合方法 | |
GB201204443D0 (en) | Dynamic replica volume swap in a cluster | |
CN103678158B (zh) | 一种数据布局优化方法及系统 | |
CN103200278A (zh) | 源站文件更新发布方法及缓存文件更新方法 | |
CN103905561A (zh) | 一种同步数据的方法及系统 | |
CN102567131A (zh) | 一种异步镜像方法 | |
CN104484242A (zh) | 一种写时拷贝快照备份过程中可断点传输的方法 | |
CN102654878B (zh) | 嵌入式系统中分布式数据库的数据操作方法及板卡 | |
CN102685193B (zh) | 一种基于云技术的动感电影播放系统及其控制方法 | |
CN105373621A (zh) | 一种快速的跨数据库系统的数据增量迁移方法 | |
CN102130939A (zh) | 一种远程复制方法及装置 | |
CN100353331C (zh) | 网络信息系统数据异地快速恢复方法 | |
CN104715051A (zh) | 一种面向电站系统异构数据融合的一体化处理方法 | |
CN102004799B (zh) | 数据库冗余数据一致性检验方法 | |
CN105681425B (zh) | 基于分布式存储系统的多节点修复方法及其系统 | |
JP2015012802A5 (zh) | ||
CN107966673A (zh) | 一种简易有效的电能表时钟管理方法 | |
CN105631000A (zh) | 基于移动终端位置特征信息的终端缓存的数据压缩方法 | |
CN104792490A (zh) | 一种风洞颤振模型外挂物侧摆频率和偏航频率解耦装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: Room 505, Taixing Building, 11 Garden East Road, Haidian District, Beijing, 100191 Co-patentee after: Shenzhen Innovation Technology Co., Ltd. Patentee after: Innovation Technology Co., Ltd. Address before: Room 0801-0810, 51 College Road, Haidian District, Beijing, 100191 Co-patentee before: UIT Storage Technology (Shenzhen) Co., Ltd. Patentee before: Innovation and Technology Storage Technology Co., Ltd. |
|
CP03 | Change of name, title or address |