CN104866234A - 数据迁移方法、装置及系统 - Google Patents

数据迁移方法、装置及系统 Download PDF

Info

Publication number
CN104866234A
CN104866234A CN201410059049.4A CN201410059049A CN104866234A CN 104866234 A CN104866234 A CN 104866234A CN 201410059049 A CN201410059049 A CN 201410059049A CN 104866234 A CN104866234 A CN 104866234A
Authority
CN
China
Prior art keywords
business datum
request
data
destination server
write
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410059049.4A
Other languages
English (en)
Other versions
CN104866234B (zh
Inventor
孙丹丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Beijing Co Ltd
Original Assignee
Tencent Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Beijing Co Ltd filed Critical Tencent Technology Beijing Co Ltd
Priority to CN201410059049.4A priority Critical patent/CN104866234B/zh
Publication of CN104866234A publication Critical patent/CN104866234A/zh
Application granted granted Critical
Publication of CN104866234B publication Critical patent/CN104866234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明实施例公开了一种数据迁移方法、装置及系统,属于数据管理领域。所述方法包括:在数据迁移过程中,请求路由设备接收对业务数据的写数据请求;请求路由设备将写数据请求转发至目标服务器,目标服务器根据写数据请求检测业务数据是否已经从源服务器迁移至目标服务器,并在检测结果为业务数据已经从源服务器迁移至目标服务器时,以更新方式写入业务数据。本发明实施例解决了停写数据迁移方法会造成业务的写数据服务的中断的问题;达到了在保证数据一致性的前提下,数据迁移过程中也能够响应写数据请求的效果。

Description

数据迁移方法、装置及系统
技术领域
本发明实施例涉及数据管理领域,特别涉及一种数据迁移方法、系统及设备。
背景技术
数据迁移是数据运维中最为重要的一个部分,通过将业务数据从旧的源服务器迁移到新的目标服务器,能够支持新业务的接入、解决磁盘不足或性能不足的问题。
传统的数据迁移方法主要是停写数据迁移。也即:首先在源服务器上停止写数据服务但保留读数据服务;然后将源服务器上的数据按所需条件导出,并按新格式迁移到目标服务器;最后切换路由,由目标服务器提供已迁移数据的写数据服务和读数据服务,从而完成数据迁移过程。
在实现本发明实施例的过程中,发明人发现上述技术至少存在以下问题:优秀的数据迁移方法应当最大程度保证数据的一致性,并尽量保证数据迁移过程中不中断业务的正常运行。上述数据迁移方法虽然能够保证数据的一致性,但是在数据迁移过程中,需要停止写数据服务,造成了业务中写数据服务的中断。
发明内容
为了解决停写数据迁移方法会造成业务的写数据服务的中断的问题,本发明实施例提供了一种数据迁移方法、系统及设备。所述技术方案如下:
第一方面,提供了一种数据迁移方法,用于目标服务器中,所述方法包括:
接收业务数据的写数据请求,所述写数据请求是请求路由设备在数据迁移过程中收到所述写数据请求后转发的;
根据所述写数据请求检测所述业务数据是否已经从源服务器迁移至所述目标服务器;
在检测结果为所述业务数据已经从所述源服务器迁移至所述目标服务器时,以更新方式写入所述业务数据。
第二方面,提供了一种数据迁移方法,所述方法包括:
在数据迁移过程中,接收对业务数据的写数据请求;
将所述写数据请求转发至目标服务器;所述目标服务器用于根据所述写数据请求检测所述业务数据是否已经从源服务器迁移至所述目标服务器,并在检测结果为所述业务数据已经从所述源服务器迁移至所述目标服务器时,以更新方式写入所述业务数据。
第三方面,提供了一种数据迁移装置,用于目标服务器中,所述装置包括:
转发接收模块,用于接收业务数据的写数据请求,所述写数据请求是请求路由设备在数据迁移过程中收到所述写数据请求后转发的;
写请求检测模块,用于根据所述写数据请求检测所述业务数据是否已经从源服务器迁移至所述目标服务器;
更新写入模块,用于在所述写请求检测模块的检测结果为所述业务数据已经从所述源服务器迁移至所述目标服务器时,以更新方式写入所述业务数据。
第四方面,提供了一种数据迁移装置,所述装置包括:
写请求接收模块,用于在数据迁移过程中,接收对业务数据的写数据请求;
请求转发模块,用于将所述写数据请求转发至目标服务器;所述目标服务器用于根据所述写数据请求检测所述业务数据是否已经从源服务器迁移至所述目标服务器,并在检测结果为所述业务数据已经从所述源服务器迁移至所述目标服务器时,以更新方式写入所述业务数据。
第五方面,提供了一种数据迁移系统,所述数据迁移系统包括:请求路由设备、与所述请求路由设备相连的源服务器和与所述请求路由设备相连的目标服务器,所述源服务器和所述目标服务器相连;
所述请求路由设备,包括如第四方面所述的数据迁移装置;
所述目标服务器,包括如第三方面所述的数据迁移装置。
本发明实施例提供的技术方案带来的有益效果是:
通过在数据迁移过程中,由请求路由设备将写数据请求转发至目标服务器,目标服务器根据写数据请求检测业务数据是否已经从源服务器迁移至目标服务器,并在检测结果为业务数据已经从源服务器迁移至目标服务器时以更新方式写入业务数据;解决了停写数据迁移方法会造成业务的写数据服务的中断的问题;达到了在保证数据一致性的前提下,数据迁移过程中也能够响应写数据请求的效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的数据迁移方法所涉及的实施环境的结构示意图;
图2是本发明一个实施例提供的数据迁移方法的方法流程图;
图3是本发明另一实施例提供的数据迁移方法的方法流程图;
图4是本发明再一实施例提供的数据迁移方法的方法流程图;
图5是本发明一个实施例提供的数据迁移装置的结构方框图;
图6是本发明另一实施例提供的数据迁移装置的结构方框图;
图7是本发明一个实施例提供的数据迁移装置的结构方框图;
图8是本发明另一实施例提供的数据迁移装置的结构方框图;
图9是本发明一个实施例提供的数据迁移系统的结构方框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
请参考图1,其示出了本发明实施例提供的数据迁移方法所涉及的实施环境的结构示意图。该实施环境包括:请求路由设备120、源服务器140和目标服务器160。
请求路由设备120用于接收用户对业务数据的读数据请求或写数据请求,然后将读数据请求或写数据请求路由转发至业务数据所对应的服务器。与背景技术不同的是,该请求路由设备120还新增了将读数据请求或写数据请求路由至目标服务器的功能。
源服务器140是业务数据在数据迁移前的存储位置。源服务器140与请求路由设备120和目标服务器160相连。
目标服务器160是业务数据在数据迁移后的存储位置。目标服务器160与请求路由设备120和源服务器140相连。
请参考图2,其示出了本发明一个实施例提供的数据迁移方法的方法流程图。本实施例以该数据迁移方法应用于图1所示出的请求访问设备来举例说明。该数据迁移方法,包括:
步骤202,在数据迁移过程中,接收对业务数据的写数据请求;
在数据迁移过程开始后,也即业务数据开始从源服务器向目标服务器迁移后,请求路由设备依然接收对业务数据的写数据请求。
步骤204,将写数据请求转发至目标服务器;该目标服务器用于根据写数据请求检测业务数据是否已经从源服务器迁移至目标服务器,并在检测结果为业务数据已经从源服务器迁移至目标服务器时,以更新方式写入业务数据。
请求路由设备将接收到的写数据请求转发给目标服务器,由目标服务器来处理该写数据请求。
综上所述,本实施例提供的数据迁移方法,通过在数据迁移过程中,由请求路由设备将写数据请求转发至目标服务器,目标服务器根据写数据请求检测业务数据是否已经从源服务器迁移至目标服务器,并在检测结果为业务数据已经从源服务器迁移至目标服务器时以更新方式写入业务数据;解决了停写数据迁移方法会造成业务的写数据服务的中断的问题;达到了在保证数据一致性的前提下,数据迁移过程中也能够响应写数据请求的效果。
请参考图3,其示出了本发明另一实施例提供的数据迁移方法的方法流程图。本实施例以该数据迁移方法应用于图1所示出的请求访问设备来举例说明。该数据迁移方法,包括:
步骤302,接收业务数据的写数据请求,该写数据请求是请求路由设备在数据迁移过程中收到该写数据请求后转发的;
在数据迁移过程开始后,也即业务数据开始从源服务器向目标服务器迁移后,请求路由设备依然会接收对业务数据的写数据请求,并将该写数据请求转发至目标服务器。目标服务器接收业务数据的写数据请求。
步骤304,根据写数据请求检测业务数据是否已经从源服务器迁移至目标服务器;
步骤306,在检测结果为业务数据已经从源服务器迁移至目标服务器时,以更新方式写入业务数据。
综上所述,本实施例提供的数据迁移方法,通过在数据迁移过程中,由请求路由设备将写数据请求转发至目标服务器,目标服务器根据写数据请求检测业务数据是否已经从源服务器迁移至目标服务器,并在检测结果为业务数据已经从源服务器迁移至目标服务器时以更新方式写入业务数据;解决了停写数据迁移方法会造成业务的写数据服务的中断的问题;达到了在保证数据一致性的前提下,数据迁移过程中也能够响应写数据请求的效果。
请参考图4,其示出了本发明再一个实施例提供的数据迁移方法的方法流程图。本实施例以该数据迁移方法应用于图1所示的实施环境来举例说明。该数据迁移方法包括:
步骤401,在数据迁移过程中,请求路由设备接收业务数据的写数据请求;
在数据迁移过程开始后,也即业务数据开始从源服务器向目标服务器迁移后,请求路由设备依然会接收对业务数据的写数据请求。源服务器和目标服务器可以通过运行后台的数据同步脚本来实现业务数据按顺序的逐条迁移。
步骤402,请求路由设备将写数据请求转发至目标服务器;
写数据请求携带有:业务数据的数据标识、待写入的数据内容以及该数据内容的序列号。数据内容的序列号用于表征该数据内容的时间先后顺序,在本实施例中用于保证迁移过程中业务数据的一致性。
比如,写数据请求携带的具体内容为:业务数据的数据标识“张三的用户签名”,待写入的数据内容“今天天气不错”以及该数据内容的序列号“140119100530”,该序列号表示14年01月19日10点05分30秒。
步骤403,目标服务器接收业务数据的写数据请求,该写数据请求是请求路由设备在数据迁移过程中收到写数据请求后转发的;
步骤404,目标服务器根据写数据请求检测业务数据是否已经从源服务器迁移至目标服务器;
由于后台的数据迁移过程尚未完成,所以只有一部分业务数据被迁移至目标服务器。为了确保业务数据的一致性,目标服务器根据写数据请求检测待写入的业务数据的历史数据内容是否已经从源服务器迁移至目标服务器的业务数据中是否包括待写入的业务数据。本步骤可以包括:
1)在写数据请求携带有:业务数据的数据标识、数据内容以及数据内容的序列号时,目标服务器根据业务数据的数据标识检测本地是否存在该业务数据;
业务数据的数据标识可以唯一地在所有业务数据中确定一条业务数据。目标服务器根据写数据请求中携带的业务数据的数据标识来检测本地是否存在待写入的该条业务数据。
2)在检测结果为本地存在该条业务数据时,目标服务器检测本地的业务数据中数据内容的序列号是否早于写数据请求中数据内容的序列号。
若本地存在该条业务数据,也即该条业务数据已经从源服务器迁移至目标服务器,则目标服务器检测本地的业务数据中数据内容的序列号是否早于写数据请求中数据内容的序列号。
若检测结果为本地的业务数据中数据内容的序列号早于写数据请求中数据内容的序列号,则目标服务器进入步骤405。
3)在检测结果为本地不存在该条业务数据时,目标服务器以插入方式写入该业务数据。
若本地不存在该条业务数据,也即该条业务数据尚未从源服务器迁移至目标服务器或者该业务数据是一条新的业务数据,则目标服务器以插入方式写入该业务数据。写入的业务数据包括:业务数据的数据标识、数据内容以及数据内容的序列号。
步骤405,目标服务器以更新方式写入业务数据。
若本地存在该条业务数据且本地的数据内容的序列号早于写数据请求中数据内容的序列号,则目标服务器以更新方式写入业务数据。也即,目标服务器用写数据请求中数据内容覆盖本地的数据内容。
通过上述步骤401至步骤405,实现了数据迁移过程中对写数据请求的处理和响应。
步骤406,在数据迁移过程中,请求路由设备接收对业务数据的读数据请求;
在数据迁移过程开始后,也即业务数据开始从源服务器向目标服务器迁移后,请求路由设备还可能会接收到用户对业务数据的读数据请求。
步骤407,请求路由设备将读数据请求路由至目标服务器;
由于业务数据被迁移至目标服务器后,存储在目标服务器上的业务数据可能为序列号更新的业务数据,所以请求路由设备首先将读数据请求路由至目标服务器。
步骤408,目标服务器接收业务数据的读数据请求,该读数据请求是请求路由设备在数据迁移过程中收到读数据请求后转发的;
读数据请求携带有:业务数据的数据标识。
步骤409,目标服务器根据读数据请求检测业务数据是否已经从源服务器迁移至目标服务器;
目标服务器根据读数据请求中的业务数据的数据标识检测本地是否存在该业务数据。若检测结果为是,则目标服务器向请求路由设备反馈该业务数据,请求路由设备根据接收到的业务数据对读数据请求进行响应;若检测结果为否,则进入步骤410。
步骤410,目标服务器向请求路由设备反馈读取失败信息;
步骤411,请求路由设备接收目标服务器反馈的读取失败信息;
该读取失败信息是目标服务器根据读数据请求检测业务数据是否已经从源服务器迁移至所述目标服务器,并在检测结果为业务数据尚未从源服务器迁移至目标服务器时反馈的。
步骤412,请求路由设备将读数据请求重新转发至源服务器;
步骤413,源服务器接收业务数据的读数据请求,该读数据请求是请求路由设备在数据迁移过程中收到目标服务器反馈的读取失败信息后转发的;
步骤414,源服务器向请求路由设备反馈该业务数据,并将该业务数据迁移至目标服务器;
由于对于同一业务数据来讲,在接收到读数据请求之后有很大几率会继续接收到其它的读数据请求和写数据请求,所以优选地,源服务器在收到读数据请求后,还可以触发将该条业务数据马上迁移至目标服务器,使得该条业务数据能够更早地迁移至目标服务器。
需要说明的是,若该条业务数据被更早地迁移至目标服务器,则在后台的按顺序逐条迁移业务数据的过程中,该条业务数据被按顺序迁移时,源服务器可以不再重复迁移该条业务数据;源服务器也可以继续迁移该条业务数据,但是由目标服务器根据序列号选择是否保留。
步骤415,目标服务器接收从源服务器迁移至本地的单条业务数据;
该单条业务数据是源服务器在接收到请求路由设备重新转发的读数据请求后触发发送的。目标服务器可以接收并保存该业务数据。
步骤416,请求路由设备接收源服务器反馈的业务数据。
请求路由设备根据接收到的业务数据对读数据请求进行响应。
在数据迁移过程结束后,请求路由设备会切换路由,使得后续接收到的写数据请求和读数据请求都转发给目标服务器进行处理。
综上所述,本实施例提供的数据迁移方法,通过在数据迁移过程中,由请求路由设备将写数据请求转发至目标服务器,目标服务器根据写数据请求检测业务数据是否已经从源服务器迁移至目标服务器,并在检测结果为业务数据已经从源服务器迁移至目标服务器时以更新方式写入业务数据;解决了停写数据迁移方法会造成业务的写数据服务的中断的问题;达到了在保证数据一致性的前提下,数据迁移过程中也能够响应写数据请求的效果。
还通过在接收到读数据请求时,优先将读数据请求转发至目标服务器来处理,保证读数据请求能够读取到最新的业务数据。
还通过源服务器在接收到读数据请求后触发将该条业务数据马上迁移至目标服务器,使得该条业务数据能够更早地迁移至目标服务器,可以优化后续对该业务数据的访问效率。
请参考图5,其示出了本发明一个实施例提供的数据迁移装置的结构方框图。该数据迁移装置可以通过软件、硬件或者两者的结合实现成为请求路由设备的全部和一部分。该装置包括:写请求接收模块520和请求转发模块540;
写请求接收模块520,用于在数据迁移过程中,接收对业务数据的写数据请求;
请求转发模块540,用于将所述写数据请求转发至目标服务器;所述目标服务器用于根据所述写数据请求检测所述业务数据是否已经从源服务器迁移至所述目标服务器,并在检测结果为所述业务数据已经从所述源服务器迁移至所述目标服务器时,以更新方式写入所述业务数据。
综上所述,本实施例提供的数据迁移装置,通过在数据迁移过程中,由请求路由设备将写数据请求转发至目标服务器,目标服务器根据写数据请求检测业务数据是否已经从源服务器迁移至目标服务器,并在检测结果为业务数据已经从源服务器迁移至目标服务器时以更新方式写入业务数据;解决了停写数据迁移方法会造成业务的写数据服务的中断的问题;达到了在保证数据一致性的前提下,数据迁移过程中也能够响应写数据请求的效果。
请参考图6,其示出了本发明另一实施例提供的数据迁移装置的结构方框图。该数据迁移装置可以通过软件、硬件或者两者的结合实现成为请求路由设备的全部和一部分。该装置包括:写请求接收模块520、请求转发模块540、读请求接收模块562、失败接收模块564、再次转发模块566和数据接收模块568。
写请求接收模块520,用于在数据迁移过程中,接收对业务数据的写数据请求;
请求转发模块540,用于将所述写数据请求转发至目标服务器;所述目标服务器用于根据所述写数据请求检测所述业务数据是否已经从源服务器迁移至所述目标服务器,并在检测结果为所述业务数据已经从所述源服务器迁移至所述目标服务器时,以更新方式写入所述业务数据。
读请求接收模块562,用于在数据迁移过程中,接收对业务数据的读数据请求;
请求转发模块540,用于将所述读数据请求转发至所述目标服务器;
失败接收模块564,用于接收所述目标服务器反馈的读取失败信息;所述读取失败信息是所述目标服务器根据所述读数据请求检测所述业务数据是否已经从所述源服务器迁移至所述目标服务器,并在检测结果为所述业务数据尚未从所述源服务器迁移至所述目标服务器时反馈的;
再次转发模块566,用于将所述读数据请求重新转发至所述源服务器;所述源服务器用于在接收到所述读数据请求后反馈所述业务数据,并将所述业务数据迁移至所述目标服务器;
数据接收模块568,用于接收所述源服务器反馈的所述业务数据,并根据所述业务数据响应所述读数据请求。
综上所述,本实施例提供的数据迁移装置,通过在数据迁移过程中,由请求路由设备将写数据请求转发至目标服务器,目标服务器根据写数据请求检测业务数据是否已经从源服务器迁移至目标服务器,并在检测结果为业务数据已经从源服务器迁移至目标服务器时以更新方式写入业务数据;解决了停写数据迁移方法会造成业务的写数据服务的中断的问题;达到了在保证数据一致性的前提下,数据迁移过程中也能够响应写数据请求的效果。
还通过在接收到读数据请求时,优先将读数据请求转发至目标服务器来处理,保证读数据请求能够读取到最新的业务数据。
还通过源服务器在接收到读数据请求后触发将该条业务数据马上迁移至目标服务器,使得该条业务数据能够更早地迁移至目标服务器,可以优化后续对该业务数据的访问效率。
请参考图7,其示出了本发明一个实施例提供的数据迁移装置的结构方框图。该数据迁移装置可以通过软件、硬件或者两者的结合实现成为目标服务器的全部和一部分。该装置包括:转发接收模块720、写请求检测模块740和更新写入模块760;
转发接收模块720,用于接收业务数据的写数据请求,所述写数据请求是请求路由设备在数据迁移过程中收到所述写数据请求后转发的;
写请求检测模块740,用于根据所述写数据请求检测所述业务数据是否已经从源服务器迁移至所述目标服务器;
更新写入模块760,用于在检测结果为所述业务数据已经从所述源服务器迁移至所述目标服务器时,以更新方式写入所述业务数据。
综上所述,本实施例提供的数据迁移装置,通过在数据迁移过程中,由请求路由设备将写数据请求转发至目标服务器,目标服务器根据写数据请求检测业务数据是否已经从源服务器迁移至目标服务器,并在检测结果为业务数据已经从源服务器迁移至目标服务器时以更新方式写入业务数据;解决了停写数据迁移方法会造成业务的写数据服务的中断的问题;达到了在保证数据一致性的前提下,数据迁移过程中也能够响应写数据请求的效果。
请参考图8,其示出了本发明另一实施例提供的数据迁移装置的结构方框图。该数据迁移装置可以通过软件、硬件或者两者的结合实现成为目标服务器的全部和一部分。该装置包括:转发接收模块720、写请求检测模块740、更新写入模块760、插入写入模块780、读请求检测模块792、失败反馈模块794和单条迁移模块796;
转发接收模块720,用于接收业务数据的写数据请求,所述写数据请求是请求路由设备在数据迁移过程中收到所述写数据请求后转发的;
写请求检测模块740,用于根据所述写数据请求检测所述业务数据是否已经从源服务器迁移至所述目标服务器;
更新写入模块760,用于在检测结果为所述业务数据已经从所述源服务器迁移至所述目标服务器时,以更新方式写入所述业务数据。
所述写请求检测模块740,包括:数据检测单元和序列号检测单元;
所述数据检测单元,用于在所述写数据请求携带有:业务数据的数据标识、数据内容以及所述数据内容的序列号时,根据所述业务数据的数据标识检测本地是否存在所述业务数据;
所述序列号检测单元,用于在检测结果为本地存在所述业务数据时,检测本地的所述业务数据中数据内容的序列号是否早于所述写数据请求中数据内容的序列号。
所述插入写入模块780,用于在所述写请求检测模块的检测结果为本地不存在所述业务数据时,以插入方式写入所述业务数据。
所述装置还包括:
所述转发接收模块720,还用于接收业务数据的读数据请求,所述读数据请求是所述请求路由设备在数据迁移过程中收到所述读数据请求后转发的;
所述读请求检测模块792,用于根据所述转发接收模块接收到的所述读数据请求检测所述业务数据是否已经从所述源服务器迁移至所述目标服务器;
所述失败反馈模块794,用于在所述读请求检测模块的检测结果为所述业务数据尚未从所述源服务器迁移至所述目标服务器时,向所述请求路由设备反馈读取失败信息;所述请求路由设备用于在接收到所述读取失败信息后将所述读数据请求重新转发至所述源服务器。
所述单条迁移模块796,用于接收从所述源服务器迁移至本地的所述业务数据,所述业务数据是所述源服务器在接收到所述请求路由设备重新转发的所述读数据请求后触发发送的。
综上所述,本实施例提供的数据迁移装置,通过在数据迁移过程中,由请求路由设备将写数据请求转发至目标服务器,目标服务器根据写数据请求检测业务数据是否已经从源服务器迁移至目标服务器,并在检测结果为业务数据已经从源服务器迁移至目标服务器时以更新方式写入业务数据;解决了停写数据迁移方法会造成业务的写数据服务的中断的问题;达到了在保证数据一致性的前提下,数据迁移过程中也能够响应写数据请求的效果。
还通过在接收到读数据请求时,优先将读数据请求转发至目标服务器来处理,保证读数据请求能够读取到最新的业务数据。
还通过源服务器在接收到读数据请求后触发将该条业务数据马上迁移至目标服务器,使得该条业务数据能够更早地迁移至目标服务器,可以优化后续对该业务数据的访问效率。
需要说明的是:上述实施例提供的数据迁移装置在迁移业务数据时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的数据迁移装置与数据迁移方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
请参考图9,其示出了本发明一个实施例提供的数据迁移系统的结构方框图。所述数据迁移系统包括:请求路由设备920、与所述请求路由设备920相连的源服务器940和与所述请求路由设备920相连的目标服务器960,所述源服务器940和所述目标服务器960相连;
所述请求路由设备920,包括如图5或图6所示实施例所述的数据迁移装置;
所述目标服务器960,包括如图7或图8所示实施例所述的数据迁移装置。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (15)

1.一种数据迁移方法,其特征在于,用于目标服务器中,所述方法包括:
接收业务数据的写数据请求,所述写数据请求是请求路由设备在数据迁移过程中收到所述写数据请求后转发的;
根据所述写数据请求检测所述业务数据是否已经从源服务器迁移至所述目标服务器;
在检测结果为所述业务数据已经从所述源服务器迁移至所述目标服务器时,以更新方式写入所述业务数据。
2.根据权利要求1所述的方法,其特征在于,所述根据所述写数据请求检测所述业务数据是否已经从源服务器迁移至所述目标服务器,包括:
在所述写数据请求携带有:业务数据的数据标识、数据内容以及所述数据内容的序列号时,根据所述业务数据的数据标识检测本地是否存在所述业务数据;
在检测结果为本地存在所述业务数据时,检测本地的所述业务数据中数据内容的序列号是否早于所述写数据请求中数据内容的序列号。
3.根据权利要求1所述的方法,其特征在于,所述根据所述写数据请求检测所述业务数据是否已经从源服务器迁移至所述目标服务器之后,还包括:
在检测结果为本地不存在所述业务数据时,以插入方式写入所述业务数据。
4.根据权利要求1至3任一所述的方法,其特征在于,所述方法还包括:
接收业务数据的读数据请求,所述读数据请求是所述请求路由设备在数据迁移过程中收到所述读数据请求后转发的;
根据所述读数据请求检测所述业务数据是否已经从所述源服务器迁移至所述目标服务器;
在检测结果为所述业务数据尚未从所述源服务器迁移至所述目标服务器时,向所述请求路由设备反馈读取失败信息;所述请求路由设备用于在接收到所述读取失败信息后将所述读数据请求重新转发至所述源服务器。
5.根据权利要求4所述的方法,其特征在于,所述向所述请求路由设备反馈读取失败信息之后,还包括:
接收从所述源服务器迁移至本地的所述业务数据,所述业务数据是所述源服务器在接收到所述请求路由设备重新转发的所述读数据请求后触发发送的。
6.一种数据迁移方法,其特征在于,所述方法包括:
在数据迁移过程中,接收对业务数据的写数据请求;
将所述写数据请求转发至目标服务器;所述目标服务器用于根据所述写数据请求检测所述业务数据是否已经从源服务器迁移至所述目标服务器,并在检测结果为所述业务数据已经从所述源服务器迁移至所述目标服务器时,以更新方式写入所述业务数据。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
在数据迁移过程中,接收对业务数据的读数据请求;
将所述读数据请求路由至所述目标服务器;
接收所述目标服务器反馈的读取失败信息;所述读取失败信息是所述目标服务器根据所述读数据请求检测所述业务数据是否已经从所述源服务器迁移至所述目标服务器,并在检测结果为所述业务数据尚未从所述源服务器迁移至所述目标服务器时反馈的;
将所述读数据请求重新路由至所述源服务器;所述源服务器用于在接收到所述读数据请求后反馈所述业务数据,并将所述业务数据迁移至所述目标服务器;
接收所述源服务器反馈的所述业务数据。
8.一种数据迁移装置,其特征在于,用于目标服务器中,所述装置包括:
转发接收模块,用于接收业务数据的写数据请求,所述写数据请求是请求路由设备在数据迁移过程中收到所述写数据请求后转发的;
写请求检测模块,用于根据所述写数据请求检测所述业务数据是否已经从源服务器迁移至所述目标服务器;
更新写入模块,用于在检测结果为所述业务数据已经从所述源服务器迁移至所述目标服务器时,以更新方式写入所述业务数据。
9.根据权利要求8所述的装置,其特征在于,所述写请求检测模块,包括:
数据检测单元和序列号检测单元;
所述数据检测单元,用于在所述写数据请求携带有:业务数据的数据标识、数据内容以及所述数据内容的序列号时,根据所述业务数据的数据标识检测本地是否存在所述业务数据;
所述序列号检测单元,用于在检测结果为本地存在所述业务数据时,检测本地的所述业务数据中数据内容的序列号是否早于所述写数据请求中数据内容的序列号。
10.根据权利要求8所述的装置,其特征在于,所述装置,还包括:
插入写入模块;
所述插入写入模块,用于在所述写请求检测模块的检测结果为本地不存在所述业务数据时,以插入方式写入所述业务数据。
11.根据权利要求8至10任一所述的装置,其特征在于,所述装置还包括:
读请求检测模块和失败反馈模块;
所述转发接收模块,还用于接收业务数据的读数据请求,所述读数据请求是所述请求路由设备在数据迁移过程中收到所述读数据请求后转发的;
所述读请求检测模块,用于根据所述转发接收模块接收到的所述读数据请求检测所述业务数据是否已经从所述源服务器迁移至所述目标服务器;
所述失败反馈模块,用于在所述读请求检测模块的检测结果为所述业务数据尚未从所述源服务器迁移至所述目标服务器时,向所述请求路由设备反馈读取失败信息;所述请求路由设备用于在接收到所述读取失败信息后将所述读数据请求重新转发至所述源服务器。
12.根据权利要求11所述的装置,其特征在于,所述装置还包括:
单条迁移模块;
所述单条迁移模块,用于接收从所述源服务器迁移至本地的所述业务数据,所述业务数据是所述源服务器在接收到所述请求路由设备重新转发的所述读数据请求后触发发送的。
13.一种数据迁移装置,其特征在于,所述装置包括:
写请求接收模块,用于在数据迁移过程中,接收对业务数据的写数据请求;
请求转发模块,用于将所述写数据请求转发至目标服务器;所述目标服务器用于根据所述写数据请求检测所述业务数据是否已经从源服务器迁移至所述目标服务器,并在检测结果为所述业务数据已经从所述源服务器迁移至所述目标服务器时,以更新方式写入所述业务数据。
14.根据权利要求13所述的装置,其特征在于,所述装置还包括:
读请求接收模块、失败接收模块、再次转发模块和数据接收模块;
所述读请求接收模块,用于在数据迁移过程中,接收对业务数据的读数据请求;
所述请求转发模块,用于将所述读数据请求转发至所述目标服务器;
所述失败接收模块,用于接收所述目标服务器反馈的读取失败信息;所述读取失败信息是所述目标服务器根据所述读数据请求检测所述业务数据是否已经从所述源服务器迁移至所述目标服务器,并在检测结果为所述业务数据尚未从所述源服务器迁移至所述目标服务器时反馈的;
所述再次转发模块,用于将所述读数据请求重新转发至所述源服务器;所述源服务器用于在接收到所述读数据请求后反馈所述业务数据,并将所述业务数据迁移至所述目标服务器;
所述数据接收模块,用于接收所述源服务器反馈的所述业务数据,并根据所述业务数据响应所述读数据请求。
15.一种数据迁移系统,其特征在于,所述数据迁移系统包括:请求路由设备、与所述请求路由设备相连的源服务器和与所述请求路由设备相连的目标服务器,所述源服务器和所述目标服务器相连;
所述请求路由设备,包括如权利要求13或14所述的数据迁移装置;
所述目标服务器,包括如权利要求8至12任一所述的数据迁移装置。
CN201410059049.4A 2014-02-21 2014-02-21 数据迁移方法、装置及系统 Active CN104866234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410059049.4A CN104866234B (zh) 2014-02-21 2014-02-21 数据迁移方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410059049.4A CN104866234B (zh) 2014-02-21 2014-02-21 数据迁移方法、装置及系统

Publications (2)

Publication Number Publication Date
CN104866234A true CN104866234A (zh) 2015-08-26
CN104866234B CN104866234B (zh) 2019-01-22

Family

ID=53912099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410059049.4A Active CN104866234B (zh) 2014-02-21 2014-02-21 数据迁移方法、装置及系统

Country Status (1)

Country Link
CN (1) CN104866234B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874320A (zh) * 2016-06-20 2017-06-20 阿里巴巴集团控股有限公司 分布式流式数据处理的方法和装置
CN107220375A (zh) * 2017-06-20 2017-09-29 北京小度信息科技有限公司 数据读写方法和服务器
CN107391033A (zh) * 2017-06-30 2017-11-24 北京奇虎科技有限公司 数据迁移方法及装置、计算设备、计算机存储介质
CN108205559A (zh) * 2016-12-19 2018-06-26 腾讯科技(深圳)有限公司 一种数据管理方法及其设备
CN110309120A (zh) * 2018-03-06 2019-10-08 阿里巴巴集团控股有限公司 数据处理方法和数据处理装置
CN110321075A (zh) * 2019-05-31 2019-10-11 平安科技(深圳)有限公司 基于nbd设备的数据迁移方法、装置、设备及存储介质
CN110333823A (zh) * 2019-05-31 2019-10-15 平安科技(深圳)有限公司 基于nbd设备的数据迁移方法、装置、设备及存储介质
CN110427284A (zh) * 2019-07-31 2019-11-08 中国工商银行股份有限公司 数据处理方法、分布式系统、计算机系统和介质
CN110471712A (zh) * 2019-08-12 2019-11-19 广州华多网络科技有限公司 跨系统服务的切换方法、装置、服务器和存储介质
CN110874354A (zh) * 2019-10-23 2020-03-10 支付宝(杭州)信息技术有限公司 数据库迁移方法及装置、电子设备、存储介质
CN111800497A (zh) * 2020-06-30 2020-10-20 北京金山云网络技术有限公司 请求响应方法、热迁移系统及装置
CN112698792A (zh) * 2021-01-14 2021-04-23 腾讯科技(深圳)有限公司 分布式存储系统的数据迁移方法、装置及电子设备
CN113468140A (zh) * 2021-06-30 2021-10-01 上海掌门科技有限公司 数据迁移处理方法、电子设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073462A (zh) * 2010-11-29 2011-05-25 华为技术有限公司 虚拟存储迁移方法、系统和虚拟机监控器
US20110270900A1 (en) * 2009-01-08 2011-11-03 Sakae Yoshiaki Distributed file name solution system, distributed file name solution method and distributed file name solution program
CN103067433A (zh) * 2011-10-24 2013-04-24 阿里巴巴集团控股有限公司 一种分布式存储系统的数据迁移方法、设备和系统
CN103514212A (zh) * 2012-06-27 2014-01-15 腾讯科技(深圳)有限公司 数据写入方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110270900A1 (en) * 2009-01-08 2011-11-03 Sakae Yoshiaki Distributed file name solution system, distributed file name solution method and distributed file name solution program
CN102073462A (zh) * 2010-11-29 2011-05-25 华为技术有限公司 虚拟存储迁移方法、系统和虚拟机监控器
CN103067433A (zh) * 2011-10-24 2013-04-24 阿里巴巴集团控股有限公司 一种分布式存储系统的数据迁移方法、设备和系统
CN103514212A (zh) * 2012-06-27 2014-01-15 腾讯科技(深圳)有限公司 数据写入方法及系统

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874320A (zh) * 2016-06-20 2017-06-20 阿里巴巴集团控股有限公司 分布式流式数据处理的方法和装置
US11036562B2 (en) 2016-06-20 2021-06-15 Advanced New Technologies Co., Ltd. Streaming data distributed processing method and device
CN108205559A (zh) * 2016-12-19 2018-06-26 腾讯科技(深圳)有限公司 一种数据管理方法及其设备
CN108205559B (zh) * 2016-12-19 2022-01-07 腾讯科技(深圳)有限公司 一种数据管理方法及其设备
CN107220375A (zh) * 2017-06-20 2017-09-29 北京小度信息科技有限公司 数据读写方法和服务器
CN107220375B (zh) * 2017-06-20 2020-02-11 北京星选科技有限公司 数据读写方法和服务器
CN107391033B (zh) * 2017-06-30 2020-07-07 北京奇虎科技有限公司 数据迁移方法及装置、计算设备、计算机存储介质
CN107391033A (zh) * 2017-06-30 2017-11-24 北京奇虎科技有限公司 数据迁移方法及装置、计算设备、计算机存储介质
CN110309120A (zh) * 2018-03-06 2019-10-08 阿里巴巴集团控股有限公司 数据处理方法和数据处理装置
CN110309120B (zh) * 2018-03-06 2023-04-07 阿里云计算有限公司 数据处理方法和数据处理装置
CN110321075A (zh) * 2019-05-31 2019-10-11 平安科技(深圳)有限公司 基于nbd设备的数据迁移方法、装置、设备及存储介质
WO2020237859A1 (zh) * 2019-05-31 2020-12-03 平安科技(深圳)有限公司 基于nbd设备的数据迁移方法、装置、设备及存储介质
CN110333823A (zh) * 2019-05-31 2019-10-15 平安科技(深圳)有限公司 基于nbd设备的数据迁移方法、装置、设备及存储介质
CN110321075B (zh) * 2019-05-31 2023-05-23 平安科技(深圳)有限公司 基于nbd设备的数据迁移方法、装置、设备及存储介质
CN110333823B (zh) * 2019-05-31 2023-07-07 平安科技(深圳)有限公司 基于nbd设备的数据迁移方法、装置、设备及存储介质
CN110427284A (zh) * 2019-07-31 2019-11-08 中国工商银行股份有限公司 数据处理方法、分布式系统、计算机系统和介质
CN110427284B (zh) * 2019-07-31 2022-02-18 中国工商银行股份有限公司 数据处理方法、分布式系统、计算机系统和介质
CN110471712A (zh) * 2019-08-12 2019-11-19 广州华多网络科技有限公司 跨系统服务的切换方法、装置、服务器和存储介质
CN110874354A (zh) * 2019-10-23 2020-03-10 支付宝(杭州)信息技术有限公司 数据库迁移方法及装置、电子设备、存储介质
CN111800497A (zh) * 2020-06-30 2020-10-20 北京金山云网络技术有限公司 请求响应方法、热迁移系统及装置
CN112698792A (zh) * 2021-01-14 2021-04-23 腾讯科技(深圳)有限公司 分布式存储系统的数据迁移方法、装置及电子设备
CN112698792B (zh) * 2021-01-14 2021-09-10 腾讯科技(深圳)有限公司 分布式存储系统的数据迁移方法、装置及电子设备
CN113468140A (zh) * 2021-06-30 2021-10-01 上海掌门科技有限公司 数据迁移处理方法、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN104866234B (zh) 2019-01-22

Similar Documents

Publication Publication Date Title
CN104866234A (zh) 数据迁移方法、装置及系统
CN110417569B (zh) 一种网络链路故障处理方法和隧道端点设备
CN102223394A (zh) 远程直接存储设备访问
CN109791522B (zh) 数据迁移的方法、系统及智能网卡
CN102316043B (zh) 端口虚拟化方法、交换机及通信系统
CN104679611A (zh) 数据资源复制方法以及装置
CN102355369A (zh) 虚拟化集群系统及其处理方法和设备
CN103530066B (zh) 一种数据存储方法、装置及系统
CN107493180B (zh) 一种虚拟交换机的升级方法以及装置
CN105516263A (zh) 存储系统中数据分发方法、装置、计算节点及存储系统
CN103152390A (zh) 分布式存储系统的节点配置方法、装置、节点及系统
CN112015517A (zh) 一种基于k8s集群的区块链节点动态迁移方法和系统
CN111198845B (zh) 一种数据迁移方法、可读存储介质及计算设备
CN104750428A (zh) 块储存存取和网关模块、储存系统和方法与内容递送装置
CN106126374A (zh) 数据写入方法、数据读取方法及装置
US8806159B2 (en) Data storage resource management systems and methods
CN103986779A (zh) 一种应用数据传输方法、装置及终端设备
CN103559198A (zh) 一种数据同步的方法及设备
CN104035728A (zh) 一种硬盘热插拔处理方法、装置及节点
CN112052230A (zh) 多机房数据同步方法、计算设备及存储介质
CN104793981A (zh) 一种虚拟机集群的在线快照管理方法及装置
CN103905312A (zh) IPv6/IPv4协议翻译网关及数据报文处理方法
CN104517067A (zh) 访问数据的方法、装置及系统
CN111917588B (zh) 边缘设备管理方法、装置、边缘网关设备和存储介质
CN103810038A (zh) 一种ha集群中虚拟机存储文件迁移方法及其装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant