CN103053146A - 数据迁移方法和设备 - Google Patents

数据迁移方法和设备 Download PDF

Info

Publication number
CN103053146A
CN103053146A CN2012800005714A CN201280000571A CN103053146A CN 103053146 A CN103053146 A CN 103053146A CN 2012800005714 A CN2012800005714 A CN 2012800005714A CN 201280000571 A CN201280000571 A CN 201280000571A CN 103053146 A CN103053146 A CN 103053146A
Authority
CN
China
Prior art keywords
data migration
node
source node
destination
qos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800005714A
Other languages
English (en)
Other versions
CN103053146B (zh
Inventor
刘洋
龚德利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Cloud Computing Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN103053146A publication Critical patent/CN103053146A/zh
Application granted granted Critical
Publication of CN103053146B publication Critical patent/CN103053146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/214Database migration support
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02Standardisation; Integration
    • H04L41/0213Standardised network management protocols, e.g. simple network management protocol [SNMP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明实施例涉及一种数据迁移方法和设备。一种方法包括:根据网络中源节点至目的节点的服务质量QOS,确定所述各源节点中待调度的数据迁移任务;向所述待调度的数据迁移任务对应的目标源节点下发调度命令,所述调度命令用于对所述数据迁移任务进行调度。本发明实施例,实现合理利用网络资源,提高数据迁移效率,避免网络拥塞。

Description

数据迁移方法和设备 技术领域
本发明实施例涉及信息技术领域, 特别涉及一种数据迁移方法和设备。 背景技术
在云计算数据的大规模应用中, 经常需要将数据进行迁移。 现有技术中, 在迁移节点或者目的节点一端搭建 FTP服务器, 另一端通过 FTP客户端下载 或者上传数据, 完成相应数据的迁移。 然而, 这种实现方案网络利用率不高, 可能导致网络拥塞。 发明内容
本发明实施例提供一种数据迁移方法和设备。 实现合理利用网络资源, 提高数据迁移效率, 避免网络拥塞。
一方面, 本发明实施例提供了一种数据迁移方法, 包括:
根据网络中源节点至目的节点的服务质量 QOS, 调整所述源节点中待调 度的数据迁移任务;
向所述待调度的数据迁移任务对应的目标源节点下发调度命令, 所述调 度命令用于对所述数据迁移任务进行调度。
本发明实施例提供了另一种数据迁移方法, 包括:
接收迁移平台下发的调度命令, 所述调度命令用于对待调度的数据迁移 任务进行调度, 所述待调度的数据迁移任务由所述迁移平台根据网络中源节 点至目的节点的服务质量 QOS调整;
根据所述调度命令, 对所述数据迁移任务进行调度。
另一方面, 本发明实施例还提供一种迁移平台, 包括:
处理模块, 用于根据网络中源节点至目的节点的服务质量 QOS, 调整所 述各源节点中待调度的数据迁移任务;
调度模块, 用于向所述待调度的数据迁移任务对应的目标源节点下发调 度命令, 所述调度命令用于对所述数据迁移任务进行调度。
本发明实施例还提供一种节点, 包括:
接收模块, 用于接收迁移平台下发的调度命令, 所述调度命令用于对待 调度的数据迁移任务进行调度, 所述待调度的数据迁移任务由所述迁移平台 根据网络中源节点至目的节点的服务质量 QOS确定;
执行模块, 用于根据所述调度命令, 对所述数据迁移任务进行调度。 本发明实施例提供的数据迁移方法和设备,通过在网络中设置迁移平台, 迁移平台根据网络中源节点至目的节点的服务质量 QOS 对源节点的数据迁 移任务进行调度, 从而实现合理利用网络资源, 提高数据迁移效率, 避免网 络拥塞。 附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案, 下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍, 显而易见地, 下面 描述中的附图仅仅是本发明的一些实施例, 对于本领域普通技术人员来讲, 在不付出创造性劳动的前提下, 还可以根据这些附图获得其他的附图。
图 1为本发明提供的数据迁移方法一个实施例的流程图;
图 2为本发明提供的数据迁移方法又一个实施例的流程图;
图 3a为本发明提供的数据迁移方法一个实施例的实施场景示意图; 图 3b为图 3a所示实施场景下凄 t据迁移方法一个实施例的流程图; 图 3c为图 3a所示实施场景下凄 t据迁移方法又一个实施例的流程图; 图 4a为本发明提供的数据迁移方法又一个实施例的实施场景示意图; 图 4b为图 4a所示实施场景下凄 t据迁移方法一个实施例的流程图; 图 5为本发明提供的数据迁移方法又一个实施例的实施场景示意图; 图 6为本发明提供的迁移平台一个实施例的结构示意图;
图 7为本发明提供的迁移平台又一个实施例的结构示意图;
图 8为本发明提供的节点一个实施例的结构示意图;
图 9为本发明提供的节点一个实施例的结构示意图。 具体实施方式
下面将结合本发明实施例中的附图, 对本发明实施例中的技术方案进行 清楚、 完整地描述, 显然, 所描述的实施例仅仅是本发明一部分实施例, 而 不是全部的实施例。 基于本发明中的实施例, 本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例, 都属于本发明保护的范围。
图 1为本发明提供的数据迁移方法一个实施例的流程图, 如图 1所示, 该 方法包括:
S101、 根据网络中源节点至目的节点的服务质量 QOS, 调整源节点中待 调度的数据迁移任务;
S102、 向待调度的数据迁移任务对应的目标源节点下发调度命令, 该调 度命令用于对数据迁移任务进行调度。
以上步骤的执行主体为迁移平台, 该迁移平台可以为网络中的任意节点, 例如: 网络中的物理机, 或者虚拟机。 还可以是网络中独立设置的设备, 也可 以与网络中的节点一体集成设置, 例如: 可以与凄 t据中心等可作为目的节点的 设备一体集成设置。
本发明实施例, 可适用于网络中物理机到虚拟机的数据迁移, 虚拟机到数 据^ i殳备的数据^分等多种实施场景。 因此, 本发明实施例中涉及的源节点, 可以是网络中的物理机, 也可以是虚拟机; 目的节点可以是虚拟机、 数据中心 或者数据^ 备等。
需要说明的是, 本发明实施例中涉及的源节点, 是指在迁移平台上登记数 据迁移信息的节点, 即一个数据迁移任务的始发端。 具体的, 网络中的各源节 点可以预先将数据迁移信息登记到迁移平台上, 数据迁移信息可以包括: 源节 点的迁移目录信息、 目的节点的地址信息和目的节点的迁移目录信息。 迁移 平台可以根据源节点登记的数据迁移信息和源节点的地址信息, 生成数据迁移 任务, 迁移平台可以将生成的数据迁移任务加入到迁移平台的调度队列中。 其 中, 调度队列可以设置在迁移平台本地的处理器或者内存等模块中, 该调度队 列用于存储迁移平台根据源节点登记的数据迁移信息所生成的数据迁移任务。 迁移平台可以不断地将新生成的数据迁移任务加入到调度队列中, 当调度队列 中已有的数据迁移任务执行完毕后, 迁移平台可以在调度队列中删除执行完毕 的数据迁移任务。
现有技术中, 网络中的节点可以将自身的地址信息和目录信息在网络中共 享, 因此, 源节点可以从共享的网络信息中获取目的节点的地址信息和目的节 点的迁移目录信息; 现有技术中, 网络中的节点还可以在其他节点之间依次传 递自身的地址信息和目录信息, 因此, 源节点能够从网络中其他节点处获取目 的节点的地址信息和目的节点的迁移目录信息。
网络中的源节点可以周期性地向目的节点发送互联网控制报文协议
( Internet Control Message Protocol, ICMP )探测报文, 源节点可以根据目的 节点返回的 ICMP响应报文, 获取源节点至目的节点的服务质量 QOS, 并将 源节点至目的节点的服务质量 QOS上报给迁移平台。 为表述方便, 本实施例 以及后面的实施例中将服务质量 QOS简称为 QOS。
可选的, 迁移平台还可以监控源节点周期性发送给目的节点的互联网控 制才艮文协议 ICMP探测才艮文, 根据 ICMP响应才艮文获取源节点至目的节点的 QOS„
以上仅是本发明提供的迁移平台获取网络中源节点至目的节点的 QOS 的可行的实施方式, 但并不以此作为对本发明的限制, 迁移平台还可以通过 各种现有方法获取网络中源节点至目的节点的 QOS。
迁移平台可以根据网络中源节点至目的节点的服务质量 QOS, 确定源节 点中待调度的数据迁移任务。 即, 迁移平台可以从调度队列中已生成的多个 数据迁移任务中, 确定某个或某些需要调度的数据迁移任务。
本发明实施例中涉及的目标源节点, 为迁移平台确定的待调度的数据迁 移任务对应的源节点, 也就是待调度的数据迁移任务的始发端。 其中, 迁移 平台对数据迁移任务进行调度具体可以是: 启动尚未进行数据迁移的数据迁 移任务, 使该数据迁移任务对应的目标源节点执行向目的节点的数据迁移; 还可以是: 使目标源节点正在进行数据迁移的数据迁移任务暂停(即, 暂时 停止, 可以过一段时间后再继续进行数据迁移)或停止(即, 完全停止, 之 后可以重新启动数据迁移, 也可以不启动数据迁移); 还可以是: 降低或增加 目标源节点正在进行数据迁移的数据迁移任务的数据迁移速率。
作为一种可行的实施方式, 迁移平台获取源节点至目的节点的 QOS后, 可以进一步统计源网段内的所有源节点至目的节点的 QOS , 得到源网段的 QOS; 同样的, 迁移平台可以统计目的网段内的所有目的节点至源节点的 QOS, 得到目的网段的 QOS。
其中, 本发明实施例涉及的任一源网段, 可以是具有一个或多个源节点 的同一个子网 IP地址段; 类似的, 目的网段可以是具有一个或多个目的节点 的同一个子网 IP地址段。 作为一种可行的实施方式, 源网段的 QOS或目的 网段的 QOS的获取过程具体可以包括: 迁移平台可以将同一个子网 IP地址段 的所有源节点至目的节点的 QOS进行汇总后进行统计分析,在该源网段内根据 所有源节点至目的节点的 QOS从小向大的方向获取占总数量∑%的 QOS值来 计算平均值, 该平均值即为该源网段的 QOS。 同理, 迁移平台可以将同一个子 网 IP地址段的所有目的节点至源节点的 QOS进行汇总后进行统计分析, 在该 目的网段内根据所有目的节点至源节点的 QOS从小向大的方向获取占总数量 ∑%的 QOS值来计算平均值, 该平均值即为该目的网段的 QOS。 其中, ∑%为 网段 QOS的取样比例, 为了计算更合理真实, 可以将该比例取值范围大于等于 70% 、 小于等于 100%, 例如: 可以取值为 80%。 迁移平台可以根据各源网段 的 QOS和 /或各目的网段的 QOS确定各源节点中待调度的数据迁移任务。 生拥塞(通常情况下, QOS越大, 网络质量越差), 如果源网段的 QOS小于 第一门限, 则源网段未发生拥塞, 则迁移平台可以增加源网段内待迁移的数 据迁移任务, 即, 迁移平台可以在源网段启动更多的数据迁移任务(通过向 该源网段内对应的源节点下发调度命令, 使源节点启动数据迁移), 源网段内 的各源节点可以执行更多的数据迁移操作来提高源网段内的数据迁移效率; 如果源网段的 QOS大于等于第一门限, 则源网段发生拥塞, 迁移平台可以减 少源网段内待迁移的数据迁移任务, 即, 对于正在进行数据迁移的数据迁移 任务, 迁移平台可以停止或暂停源网段内的一些数据迁移任务(通过向该源 网段内对应的源节点下发调度命令, 使源节点暂停或停止数据迁移)。
类似的, 对于各个目的网段, 迁移平台可以根据目的网段的 QOS值确定 目的网段是否发生拥塞, 如果目的网段的 QOS小于第二门限, 则目的网段未 发生拥塞, 则迁移平台可以增加目的网段内待迁移的数据迁移任务, 即, 迁 移平台可以在目的网段启动更多的数据迁移任务(通过向待调度的数据迁移 任务对应的源节点下发调度命令, 使源节点启动数据迁移); 如果目的网段的 QOS大于等于第二门限, 则目的网段发生拥塞, 迁移平台可以减少目的网段 内待迁移的数据迁移任务, 即, 对于正在进行数据迁移的数据迁移任务, 迁 移平台可以停止或暂停源网段内的一些数据迁移任务(通过向待调度的数据 迁移任务对应的源节点下发调度命令, 使源节点暂停或停止数据迁移)。
需要说明的是, 对于任一数据迁移任务, 如果其源节点所属的源网段的 未发生拥塞而目的网段发生拥塞, 或者源网段发生拥塞而目的网段未发生拥 塞。 在这种情况下, 迁移平台可以不对该数据迁移任务进行调度, 或者根据 该数据迁移任务对应的源网段或目的网段中发生拥塞的网段对该数据迁移任 务进行调度。
其中,第一门限和第二门限可以根据经验值或网络中的具体情况来设定。 需要说明的是, 本发明实施例涉及的第一门限, 用于指某一源网段的 QOS门 限, 而对于不同的源网段而言, 其对应的第一门限可以相同, 也可以不同。 同样, 本发明实施例涉及的第二门限, 用于指某一目的网段的 QOS门限, 而 对于不同的目的网段而言, 其对应的第二门限可以相同, 也可以不同。
可选的, 迁移平台还可以根据源网段内的骨干网络的 QOS, 确定在源网 段内增加待迁移的数据迁移任务或者减少待迁移的数据迁移任务。 其中, 源 网段内的骨干网络可以是源网段内的主体路径, 例如: 可以是该源网段内源 节点进行数据迁移的必经路径。 在这种实施场景下, 迁移平台不必统计源网 段内所有源节点至目的节点的 QOS, 而是可以统计源网段骨干网络内所有源 节点至目的节点的 QOS得到该骨干网络的 QOS, 根据骨干网络的 QOS确定 在源网段内增加待迁移的数据迁移任务或者减少待迁移的数据迁移任务。 同 样的, 迁移平台不必统计目的网段内所有目的节点至源节点的 QOS, 而是可 以统计源网段骨干网络内所有目的节点至源节点的 QOS 得到该骨干网络的 QOS ,根据骨干网络的 QOS确定在目的网段内增加待迁移的数据迁移任务或 者减少待迁移的数据迁移任务。
进一步的, 迁移平台可以根据各源节点至目的节点的迁移路径上的网络 设备上报的接口流量信息进一步调整待调度的数据迁移任务。 其中, 这些网 络设备可以是各网段中关键路径上(例如骨干路径) 的网络设备, 例如: 路 由器、 交换机等, 这些设备具有接口流量监测功能, 可以将自身的接口流量 信息上报给迁移平台。 迁移平台接收到网络设备上报的接口流量信息后, 如 果网络设备的接口流量大于等于第三设定门限, 则如果该网络设备位于某一 源网段中, 则迁移平台可以减少该网络设备所属的源网段内待迁移的数据迁 移任务, 或者, 降低网络设备所属的源网段内正在进行数据迁移的数据迁移 任务的数据迁移速率; 同样, 如果该网络设备位于某一目的网段中, 则迁移 平台可以减少该网络设备所属的目的网段内待迁移的数据迁移任务, 或者, 降低网络设备所属的目的网段内正在进行数据迁移的数据迁移任务的数据迁 移速率。
需要说明的是, 通常情况下, 某一网段的 QOS较大, 即, 该网段发生拥 塞的情况下, 该网段内的网络设备的接口流量通常较大; 某一网段的 QOS值 较低, 即, 该网段未发生拥塞时, 该网段内的网络设备的接口流量可能较大, 也可能较小, 也可能处于正常状态。 这是由于网络设备的接口流量除了与网 络的 QOS有关之外, 还与自身的处理能力有关, 如果网络设备自身的处理能 力有限, 或者资源占用率较高时, 即使网段内未发生拥塞, 但网络设备的处 理能力已经无法执行正在执行的数据迁移任务, 或者已经无法满足正在执行 的数据迁移任务目前的数据迁移速率。 因此, 针对这种实施场景, 如果网络 设备位于某源网段中, 则迁移平台可以根据网络设备上报的接口流量信息, 减少该网络设备所属的源网段内待迁移的数据迁移任务, 例如: 可以暂停或 停止经过接口流量较大的网络设备的数据迁移任务; 或者, 迁移平台还可以 降低网络设备所属的源网段内正在进行数据迁移的数据迁移任务的数据迁移 速率; 如果网络设备位于某目的网段中, 则迁移平台可以根据网络设备上报 的接口流量信息,减少该网络设备所属的目的网段内待迁移的数据迁移任务, 例如: 可以暂停或停止经过接口流量较大的网络设备的数据迁移任务; 或者, 迁移平台还可以降低网络设备所属的目的网段内正在进行数据迁移的数据迁 移任务的数据迁移速率。
其中, 第三门限可以根据经验值或网络中的具体情况来设定。 需要说明 的是, 本发明实施例涉及的第三门限, 用于指某一网络设备的接口流量门限, 而对于不同的网络设备而言, 其对应的第三门限可以相同, 也可以不同。
作为另一种可行的实施方式, 迁移平台还可以根据各源节点至目的节点 的 QOS, 判断各源节点或目的节点是否发生拥塞。 具体的: 若源节点至目的 节点的 QOS 大于等于第四设定门限值, 则源节点和 /或目的节点发生拥塞, 迁移平台可以降低源节点正在进行的数据迁移任务的数据迁移速率。 其中, 本发明实施例涉及的源节点至目的节点的 QOS, 主要是指点到点的 QOS, 忽 略了源节点至目的节点之间路径的 QOS。 因此, 需要说明的是, 作为一种可 行的实施方式,迁移平台可以在根据各源网段或目的网段的 QOS确定待调度 的数据迁移任务的基础上, 进一步根据各源节点至目的节点的 QOS, 判断各 源节点或目的节点是否发生拥塞。如果源节点至目的节点的 QOS大于等于第 四设定门限值, 则说明源节点和 /或目的节点发生拥塞, 源节点和 /或目的节点 的 QOS情况无法满足现有的数据迁移任务的需求。那么即使源节点所属的源 网段未拥塞, 该源网段增加了待迁移的数据迁移任务; 或者, 目的节点所属 的目的网段未发生拥塞, 该目的网段增加了待迁移的数据迁移任务, 迁移平 台仍然可以降低源节点正在进行的数据迁移任务的数据迁移速率。 可以理解 的是, 作为另一种可行的实施方式, 迁移平台也可以直接根据源节点至目的 节点的 QOS , 判断源节点和 /或目的节点是否发生拥塞, 进而在源节点和 /或 目的节点发生拥塞时,降低源节点正在进行的数据迁移任务的数据迁移速率。
其中, 第四门限可以根据经验值或网络中的具体情况来设定。 需要说明 的是, 本发明实施例涉及的第四门限, 用于指某一源节点至其对应的目的节 点的 QOS, 而对于不同的源节点而言, 其对应的目的节点的 QOS的第四门 限可以相同, 也可以不同。
可选的, 由于网络中的各源节点具有监控自身接口流量信息的能力, 因 此, 源节点可以向迁移平台上报该源节点的接口流量信息, 迁移平台可以进 一步根据源节点的接口流量信息确定将源节点正在进行数据迁移的数据迁移 任务的数据迁移速率降至多少, 以保证源节点和 /或目的节点的数据迁移任务 的正常进行。
需要说明的是, 在网络中的源节点均未进行数据迁移时, 网络中的源节点 无法向迁移平台上 ·艮源节点至目的节点的 QOS。 因此, 作为一种可行的实施方 式, 在网络中的源节点均未进行数据迁移的实施场景下, 迁移平台可以首先根 据设定的以下信息中的一种或任意种组合: 数据迁移时间段、 目标源网段、 目标目的网段, 确定源节点中待迁移的初始数据迁移任务, 并向初始数据迁 移任务对应的目标源节点下发调度命令, 来启动这些目标源节点初始数据迁 移任务。
可选的, 迁移平台还可以具体根据不同的实施场景来确定不同的初始数 据迁移任务。 在数据迁移任务为从源节点至目的节点的数据备份的实施场景 下, 则在这种实施场景下, 迁移平台还可以进一步根据数据备份时间间隔、 最大备份数据量、 最大备份带宽等至少一种或任意种组合信息确定初始数据 迁移任务。 例如: 某一源节点需要向数据中心(即目的节点)备份邮件目录, 由于源节点在接收到新邮件时邮件目录会发生变化, 因此, 可以设定数据备 份时间间隔, 以使数据中心调度该源节点执行邮件备份后, 能够间隔设定时 间进行邮件备份。
其中,数据迁移的时间段可以设定在源节点至目的节点的 QOS较大的时间 段减少数据迁移任务或降低已进行的数据迁移任务的数据迁移速率; 在源节点 至目的节点的 QOS较小的时间段增加数据迁移任务等。
目标源网段为迁移平台设定的, 包括待调度的数据迁移任务对应的目标 源节点的源网段; 目标目的网段为迁移平台设定的, 包括待调度的数据迁移 任务对应的目的节点的目的网段。 数据迁移的目标源网段, 可以根据网络中 各源网段内源节点的数量来确定; 同样, 数据迁移任务的目标目的网段, 也 可以根据网络中各目的网段内目的节点的数量来确定。 可选的, 迁移平台还 可以根据网络中各源网段或目的网段在各时间段内的业务量情况来确定目标 源网段和 /或目标目的网段。
这些目标源节点在进行数据迁移的过程中, 可以将源节点至目的节点的 QOS上报给迁移平台,从而使迁移平台可以根据源节点至目的节点的 QOS,调 整待调度的数据迁移任务,并向数据迁移任务对应的目标源节点发送调度命令, 该调度命令用来对数据迁移任务进行调度。 调度命令可以用于指示目标源节点 启动、 停止或挂起数据迁移任务, 也可以用于指示目标源节点调整数据迁移任 务的数据迁移速率。 迁移平台调整数据迁移任务, 可以向待调度的数据迁移任务对应的目标 源节点下发调度命令, 从而使目标源节点可以根据调度命令启动、 停止或挂 起数据迁移任务, 或者调整数据迁移速率。
本发明实施例提供的数据迁移方法, 通过在网络中设置迁移平台, 迁移平 台根据网络中源节点至目的节点的 QOS对源节点的数据迁移任务进行调度, 从而实现合理利用网络资源, 提高数据迁移效率, 避免网络拥塞。 图 2为本发明提供的数据迁移方法又一个实施例的流程图, 如图 2所示, 该方法包括:
S201、 接收迁移平台下发的调度命令, 调度命令用于对待调度的数据迁 移任务进行调度, 待调度的数据迁移任务由迁移平台根据网络中源节点至目 的节点的服务质量 QOS调整;
S202、 根据调度命令, 对数据迁移任务进行调度。
以上步骤的执行主体为源节点。该源节点可以是网络中的物理机,也可以 是虚拟机。
源节点可以预先将数据迁移信息登记到迁移平台上。 具体的, 源节点可以 从迁移平台上下载客户端代理(Client Agent ), 并通½户端代理在迁移平台上 登记 :据迁移信息,其中,该数据迁移信息可以包括: 源节点的迁移目录信息、 目的节点的地址信息和目的节点的迁移目录信息。其中, 目的节点的地址信息 和目的节点的迁移目录信息可以通过网络共享或者是在各节点之间依次传递的 方式来获取。 迁移平台可以根据源节点登记的数据迁移信息, 生成数据迁移任 务加入到调度队列中。
源节点可以周期性向目的节点发送 ICMP探测报文, 并根据目的节点返 回的 ICMP响应 ^艮文获取源节点至目的节点的 QOS。
作为一种可行的实施方式, 源节点可以周期性向目的节点发送 ICMP探测 报文, 每次发送两个探测报文, 第一个探测报文由于涉及到网络设备路由及转 发查表, 其时延比较大, 因此, 源节点可以通过目的节点对第二个探测报文的 响应, 确定源节点至目的节点之间的时延, 并可以根据一段时间内的时延及丟 包情况来计算出平均时延、 时延抖动和丟包数, 进而确定源节点至目的节点的
QOS„
例如: 源节点每隔 tl时间向对应的目的节点发起一次 ICMP探测报文, 源 节点可以记录各个周期发送的每次 ICMP探测报文中的第二个探测报文的响应 时延 :据, 分别为: dl ...dn, 如果丟包, 则将时延记录为 0。 在 T的周期内(建 议 T为 tl的整数倍, 且 T>10tl )发送的第二个探测报文数目为: T/tl 个, 收 到第二探测报文的响应数目为: m, 则平均时延为: (dl+d2+...dn) /m
时延抖动为: 平均时延与最小时延差值 (dl+d2+...dn)/m - dmin
丟包率: l-m*tl/T
收包率: m/(T/tl)
则源节点至目的节点之间的 QOS= (收到包数 * (平均时延 + X*时延抖动) +丟掉包数 *Y*平均时延) /(平均时延 *发送包数) -1
=[m* ( (dl+...dn)/m +X*[(dl+...dn)/m - dmin] + (T/tl-m)*Y*(dl+. - .dn)/m]/
[(dl+...dn)/m *T/tl]-l
=(Y-l)*(l-m*tl/T) + X*[[(dl+.■ .dn)*m-dmin]/(dl+dn)]/m]*[m/(T/tl)]
=(Y-1)*丟包率 +x*抖动率 *收包率
其中, X为抖动的 QOS影响因子, Y为丟包的 QOS影响因子(X, Y在 不同网络环境中取值可能不同)。 X、 Y取值可根据最佳实践建议分别取值 2和 10,则网络只有抖动无丟包时 QOS指标最大为 2,网络中全丟包最大 QOS为 9, 数据平台在调度过程中, 可以选取例如: Q0SO.5时保持目前的调度任务; 如 果 Q0S>1则减少数据任务调度等。
以上仅为源节点获取源节点至目的节点的 QOS的一种可行的实施方式,但 并不以此构成对本发明的限制, 源节点还可以采用现有的各种方法获取源节点 至目的节点的 QOS, 在此不——列举。 源节点可以将源节点至目的节点的 QOS上报给迁移平台,迁移平台可以根 据网络中源节点上报的源节点至目的节点的 QOS,确定待调度的数据迁移任务。 其中, 迁移平台调整待调度的数据迁移任务的具体过程可参见前一实施例, 在 此不再赞述。
迁移平台向源节点下发的调度命令, 具体可以用于: 指示启动尚未进行数 据迁移的数据迁移任务, 使源节点执行向目的节点的数据迁移; 还可以是: 指示正在进行数据迁移的数据迁移任务暂停(即, 暂时停止, 可以过一段时 间后再继续进行数据迁移)或停止(即, 完全停止, 之后可以重新启动数据 迁移, 也可以不启动数据迁移); 还可以是: 降低或增加正在进行数据迁移的 数据迁移任务的数据迁移速率。 源节点接收到调度命令后, 执行调度命令指 示的相应操作。
本发明实施例提供的数据迁移方法, 通过在网络中设置迁移平台, 迁移平 台根据网络中源节点至目的节点的服务质量 QOS 对源节点的数据迁移任务 进行调度, 源节点接收到调度命令后, 执行调度命令指示的相应操作, 从而 实现合理利用网络资源, 提高数据迁移效率, 避免网络拥塞。 以上实施例分别从迁移平台侧和目标源节点侧对本发明提供的数据迁移方 对本发明提供的数据迁移方法进行说明。
图 3a为本发明提供的数据迁移方法又一个实施例的实施场景示意图,如图
3a所示, 本实施例提供的实施场景为物理机(PC )向桌面云虚拟机进行数据迁 移, 该数据迁移通常是操作系统到操作系统的迁移, 即, 迁移的对象为源节点 的操作系统目录下的各种文件。
在本实施例提供的实施场景下, 源节点是分散的物理机, 目的节点为集中 的桌面云虚拟机。 迁移源相同网段 IP地址的 PC机具备相同的接入、 汇聚层网 络设备, 迁移目标相同网段 IP地址的设备具备相同的接入、 汇聚层网络设备。 由于源节点比较^ 其接入层、 汇聚层网络带宽不定且一般出口带宽较小, 易出现拥塞。 目的网段接入带宽较大, 在迁移路径中存在一些必经的汇聚、 核 心网络设备, 迁移路径中可能存在带宽瓶颈。
如图 3b所示, 本实施例提供的数据迁移方法具体包括:
S301、 源节点登录到迁移平台, 下载迁移客户端代理并安装、 通过客户端 代理在迁移平台上登记数据迁移信息, 该数据迁移信息包括: 源节点的迁移目 录信息、 目的节点的地址信息和目的节点的迁移目录信息。
其中, 目的节点的地址信息和目的节点的迁移目录信息可以通过网络共享 或者是在节点之间依次传递的方式来获取。 地址信息可以是 IP地址, 或者统 一资源定位符(Uniform Resource Locator, URL )等。
S302、 迁移平台根据数据迁移信息和源节点的地址信息, 生成数据迁移 任务。
其中, 数据迁移任务包括: 源节点的迁移目录信息和地址信息, 以及目 的节点的迁移目录信息和地址信息。
S303、 迁移平台根据设定的以下信息中的一种或任意种组合: 数据迁移 时间段、 目标源网段和目标目的网段, 确定各源节点中待迁移的初始数据迁 移任务。
具体的, 迁移平台可以将源节点至目的节点的 QOS较大的时间段内, 减少 数据迁移任务或降低已进行的数据迁移任务的数据迁移速率; 还可以在源节点 至目的节点的 QOS较小的时间段内, 增加数据迁移任务等。数据迁移的目标源 网段可以是:在源节点至目的节点的 QOS较大的源网段减少数据迁移任务或者 降低正在进行的数据迁移任务的数据迁移速率;在源节点至目的节点的 QOS较 小的源网段增加待迁移的数据迁移任务等; 数据迁移的目标目的网段的设置与 数据迁移的目标源网段的设置相类似, 在此不再赞述。
需要说明的是, 对于同一数据迁移任务而言, 如果其源节点所属的目标源 网段 QOS较小, 而目的节点所属的目标目的网段 QOS较大, 或者其源节点所 属的目标源网段 QOS较大, 而目的节点所属的目标目的网段 QOS较小, 则迁 移平台可以不在该目标源网段和目标目的网段内增加或减少待迁移的数据迁移 任务; 或者, 迁移平台也可以以 QOS较大的网段为主, 减少待迁移的数据迁移 任务。
数据迁移的目标源网段, 可以根据网络中各源网段内源节点的数量来确 定; 同样, 数据迁移任务的目标目的网段, 也可以根据网络中各目的网段内 目的节点的数量来确定。 可选的, 还可以根据网络中各源网段或目的网段在 各时间段内的 QOS情况来确定目标源网段和 /或目标目的网段 S304、 迁移平 台向初始数据迁移任务对应的目标源节点下发调度命令, 该调度命令用于启 动初始数据迁移任务。
5305、 初始数据迁移任务对应的目标源节点的客户端代理接收到迁移平台 的调度命令后, 开始向目的节点进行凄 t据迁移。
5306、 目标源节点在开始数据迁移后, 周期性向目的节点发送互联网控制 报文协议 ICMP探测报文,根据目的节点返回的 ICMP响应报文的平均时延、 时延抖动和丟包数获取源节点至目的节点的 QOS。
5307、 源节点将源节点至目的节点的 QOS上报给迁移平台。
目标源节点可以以实时上^艮的方式向迁移平台上 目标源节点至目的节点 的 QOS, 还可以周期性地向迁移平台上"¾目标源节点至目的节点的 QOS。
5308、 源节点至目的节点的迁移路径上的网络设备向迁移平台上报接口 流量信息。
其中, 源节点至目的节点的迁移路径上的网络设备可以是交换机、 路由 器等设备。 优选的, 网络设备可以是源节点至目的节点的关键路径上的网络 设备。
迁移平台可以首先根据数据迁移时间段、目标源网段和目标目的网段等信 息, 确定源节点中待迁移的初始数据迁移任务。 初始数据迁移任务对应的目 标源节点可以在执行调度命令的过程中向迁移平台上报源节点至目的节点的 QOS, 网络设备也可以在数据迁移任务对应的目标源节点执行调度命令的过 程中向迁移平台上 ^艮接口流量信息。
S309、 迁移平台根据源节点至目的节点的 QOS, 调整各源节点中待调度 的数据迁移任务。
作为一种可行的实施方式, 迁移平台获取源节点至目的节点的 QOS后, 可以进一步统计源网段内的所有源节点至目的节点的 QOS , 得到源网段的 QOS; 同样的, 迁移平台可以统计各目的网段内的所有目的节点至源节点的 QOS, 得到目的网段的 QOS。
具体的:迁移平台可以将同一个子网 IP地址段的所有源节点至目的节点的 QOS 进行汇总后进行统计分析, 在该源网段内根据所有源节点至目的节点的 QOS从小向大的方向获取占总数量∑%的 QOS值来计算平均值,该平均值即为 该源网段的 QOS。 同理,迁移平台可以将同一个子网 IP地址段的所有目的节点 至源节点的 QOS进行汇总后进行统计分析,在该目的网段内根据所有目的节点 至源节点的 QOS从小向大的方向获取占总数量∑%的 QOS值来计算平均值, 该平均值即为该目的网段的 QOS。 其中, Z%为网段 QOS的取样比例, 为了计 算更合理真实, 可以将该比例取值范围大于等于 70% 、 小于等于 100%, 例如: 调整各源节点中待调度的数据迁移任务。 塞, 如果源网段的 QOS小于第一门限, 则源网段未发生拥塞, 则迁移平台可 以增加源网段内待迁移的数据迁移任务, 即, 迁移平台可以在源网段启动更 多的数据迁移任务, 源网段内的源节点可以执行更多的数据迁移操作来提高 源网段内的数据迁移效率; 如果源网段的 QOS大于等于第一门限, 则源网段 发生拥塞, 迁移平台可以减少源网段内待迁移的数据迁移任务, 即, 对于正 在进行数据迁移的数据迁移任务, 迁移平台可以停止或暂停源网段内的一些 数据迁移任务。 发生拥塞, 如果目的网段的 QOS小于第二门限, 则目的网段未发生拥塞, 则 迁移平台可以增加目的网段内待迁移的数据迁移任务, 即, 迁移平台可以在 目的网段启动更多的数据迁移任务(通过向待调度的数据迁移任务对应的源 节点下发调度命令, 使源节点启动数据迁移); 如果目的网段的 QOS大于等 于第二门限, 则目的网段发生拥塞, 迁移平台可以减少目的网段内待迁移的 数据迁移任务, 即, 对于正在进行数据迁移的数据迁移任务, 迁移平台可以 停止或暂停源网段内的一些数据迁移任务。
其中, 本发明实施例涉及的第一门限, 用于指某一源网段的 QOS门限, 而对于不同的源网段而言, 其对应的第一门限可以相同, 也可以不同。 同样, 本发明实施例涉及的第二门限, 用于指某一目的网段的 QOS门限, 而对于不 同的目的网段而言, 其对应的第二门限可以相同, 也可以不同。 第一门限和 第二门限可以根据经验值或网络中的具体情况来设定。
进一步的, 迁移平台可以根据源节点至目的节点的迁移路径上的网络设 备上报的接口流量信息进一步确定待调度的数据迁移任务。 其中, 这些网络 设备可以是各网段中关键路径上的网络设备, 例如: 路由器、 交换机等, 这 些设备具有接口流量监测功能,可以将自身的接口流量信息上报给迁移平台。 迁移平台接收到网络设备上报的接口流量信息后, 当网络设备的接口流量大 于等于第三设定门限, 如果网络设备位于某源网段中, 则迁移平台可以根据 网络设备上报的接口流量信息, 减少该网络设备所属的源网段内待迁移的数 据迁移任务, 例如: 可以暂停或停止经过接口流量较大的网络设备的数据迁 移任务; 或者, 迁移平台还可以降低网络设备所属的源网段内正在进行数据 迁移的数据迁移任务的数据迁移速率; 当网络设备的接口流量大于等于第三 设定门限, 如果网络设备位于某目的网段中, 则迁移平台可以根据网络设备 上报的接口流量信息, 减少该网络设备所属的目的网段内待迁移的数据迁移 任务, 例如: 可以暂停或停止经过接口流量较大的网络设备的数据迁移任务; 或者, 迁移平台还可以降低网络设备所属的目的网段内正在进行数据迁移的 数据迁移任务的数据迁移速率。
需要说明的是, 通常情况下, 某一网段的 QOS值较大, 即, 该网段发生 拥塞的情况下, 该网段内的网络设备的接口流量通常较大; 某一网段的 QOS 较小, 即, 该网段未发生拥塞时, 该网段内的网络设备的接口流量可能较大, 也可能较小, 也可能处于正常状态。 这是由于网络设备的接口流量除了与网 络的 QOS有关之外, 还与自身的处理能力有关, 如果网络设备自身的处理能 力有限, 或者资源占用率较高时, 即使网段内未发生拥塞, 但网络设备的处 理能力已经无法执行正在执行的数据迁移, 或者已经无法满足正在执行的数 据迁移任务目前的数据迁移速率。 因此, 针对这种实施场景, 迁移平台可以 根据网络设备上报的接口流量信息, 减少该网络设备所属的网段内待迁移的 数据迁移任务, 例如: 可以暂停或停止经过接口流量较大的网络设备的数据 迁移任务; 或者, 迁移平台还可以降低网络设备所属的网段内正在进行数据 迁移的数据迁移任务的数据迁移速率。
其中, 第三门限可以根据经验值或网络中的具体情况来设定。 需要说明 的是, 本发明实施例涉及的第三门限, 用于指某一网络设备的接口流量门限, 而对于不同的网络设备而言, 其对应的第三门限可以相同, 也可以不同。
作为另一种可行的实施方式, 迁移平台还可以根据各源节点至目的节点 的 QOS, 判断各源节点和 /或目的节点是否发生拥塞。 具体的: 若源节点至目 的节点的 QOS大于等于第四设定门限值, 则源节点和 /或目的节点发生拥塞, 迁移平台可以降低源节点的正在进行数据迁移的数据迁移任务的数据迁移速 率。 其中, 本发明实施例涉及的源节点至目的节点的 QOS, 主要是指点到点 的 QOS, 忽略了源节点至目的节点之间路径的 QOS。
作为一种可行的实施方式, 迁移平台可以在根据源网段或目的网段的 QOS调整待调度的数据迁移任务的基础上, 进一步根据各源节点至目的节点 的 QOS, 即点到点的 QOS, 忽略了源节点至目的节点之间路径的 QOS, 判 断各源节点或目的节点是否发生拥塞。如果源节点至目的节点的 QOS大于等 于第四设定门限值, 则说明源节点和 /或目的节点发生拥塞, 源节点或目的节 点的 QOS情况无法满足现有的数据迁移任务的需求。那么即使源节点所属的 源网段未拥塞, 该源网段增加了待迁移的数据迁移任务; 或者, 目的节点所 属的目的网段未发生拥塞, 该目的网段增加了待迁移的数据迁移任务, 迁移 平台仍然可以降低该源节点的正在进行数据迁移的数据迁移任务的数据迁移 速率。
可以理解的是, 作为另一种可行的实施方式, 迁移平台也可以直接根据 各源节点至目的节点的 QOS, 即点到点的 QOS, 忽略了源节点至目的节点之 间路径的 QOS, 判断各源节点和 /或目的节点是否发生拥塞, 进而在源节点和 /或目的节点发生拥塞时, 降低源节点的正在进行数据迁移的数据迁移任务的 数据迁移速率。
其中, 需要说明的是, 本发明实施例涉及的第四门限, 用于指某一源节 点至其对应的目的节点的 QOS, 而对于不同的源节点而言, 其对应的目的节 点的 QOS的第四门限可以相同, 也可以不同。 第四门限可以根据经验值或网 络中的具体情况来设定。
可选的, 由于网络中的各源节点具有监控自身接口流量信息的能力, 因 此, 各源节点可以向迁移平台上报接口流量信息, 迁移平台可以进一步根据 源节点的接口流量信息确定将源节点正在进行数据迁移的数据迁移任务的数 据迁移速率降至多少, 以保证源节点和 /或目的节点的数据迁移任务的正常进 行。
5310、 迁移平台向待调度的数据迁移任务对应的目标源节点下发调度命 令, 该调度命令用于对数据迁移任务进行调度。
5311、 目标源节点接收到迁移平台的调度命令后, 对数据迁移任务执行所 述调度命令。 其中, 迁移平台向目标源节点下发的调度任务, 可以用于启动 尚未进行数据迁移的数据迁移任务, 使该数据迁移任务对应的源节点执行向 目的节点的数据迁移; 还用于使正在进行数据迁移的数据迁移任务暂停(即, 暂时停止, 可以过一段时间后再继续进行数据迁移)或停止(即, 完全停止, 之后可以重新启动数据迁移, 也可以不启动数据迁移); 还可以用于降低或增 加正在进行数据迁移的数据迁移任务的数据迁移速率。
本实施例提供的数据迁移方法, 网络中各物理机向桌面云虚拟机进行数据 迁移的实施场景下, 通过在网络中设置迁移平台, 网络中各物理机在迁移平 台上登记数据迁移信息, 迁移平台生成数据迁移任务, 并根据网络中各源节 点至目的节点的服务质量 QOS, 可选的, 还可以根据各源节点的接口流量信 息, 可选的, 还可以根据网络设备的接口流量信息, 对各源节点的数据迁移 任务进行调度, 从而实现合理利用网络资源, 提高数据迁移效率, 避免网络 拥塞。 图 4a为本发明提供的数据迁移方法又一个实施例的实施场景示意图,如图 4a所示, 本实施例提供的实施场景为桌面云虚拟机向数据备 备备份数据, 即, 源节点可以是云计算数据中心的桌面云虚拟机, 目的节点可以是集中的数 据^ i殳备。
在本实施例的实施场景下, 在同一个汇聚交换机下面,有多个接入交换机, 每个接入交换机下都接入某一网段的 IP地址的服务器。不同交换机下可能接入 同一网段 IP地址的服务器。 源节点的同汇聚下, 同一接入交换机下存在多个不 同网段 IP地址的服务器; 多个接入交换机下存在同一个网段的 IP地址的服务 器, 源节点与接入交换机没有对应关系, 但同一源网段一般处于同一个汇聚交 换机下; 源网络端接入带宽充足, 汇聚层以上的网络核心及到^殳备端的汇 聚容易出现带宽不足、 网 用塞。 该方法具体包括:
S401、 源节点登录到迁移平台, 下载迁移客户端代理并安装、 通过客户端 代理在迁移平台上登记数据迁移信息, 该数据迁移信息包括: 源节点的迁移目 录信息、 目的节点的地址信息和目的节点的迁移目录信息。 5402、 迁移平台根据数据迁移信息和源节点的地址信息, 生成数据迁移 任务。
5403、 迁移平台根据设定的以下信息中的一种或任意种组合: 数据迁移 时间段、 目标源网段和目标目的网段, 确定各源节点的至少一个初始数据迁 移任务。
在本实施例的实施场景下, 迁移平台还可以进一步根据源网段或目标网段 备份时间间隔、最大备份任务数和最大备份带宽等信息确定初始数据迁移任务。
例如: 某一源节点需要向数据中心备份邮件目录, 由于源节点在接收到 新邮件时邮件目录会发生变化, 因此, 可以设定数据备份时间间隔, 以使数 据中心调度该源节点执行邮件备份后, 能够间隔设定时间进行邮件备份。
5404、 迁移平台向初始数据迁移任务对应的目标源节点下发调度命令, 该调度命令用于指示启动初始数据迁移任务。
5405、 初始数据迁移任务对应的目标源节点的客户端代理接收到迁移平台 的调度命令后, 开始向目的节点进行凄 t据迁移。
S406、 目标源节点在开始数据迁移后, 周期性向目的节点发送互联网控制 报文协议 ICMP探测报文,根据目的节点返回的 ICMP响应报文的平均时延、 时延抖动和丟包数获取源节点至目的节点的 QOS。
5407、 源节点将源节点至目的节点的 QOS上报给迁移平台。
5408、 源节点至目的节点的迁移路径上的网络设备向迁移平台上报接口 流量信息。
5409、 迁移平台根据源节点至目的节点的 QOS, 确定各源节点待调度的 数据迁移任务。
S401-S409的过程与 S301-S309相类似,具体可参见 S301-S309中的相关 描述。 如图 4b所示, 该方法还包括:
S410、 迁移平台比较目标源节点与对应的目的节点上文件内改动的数据 块。 在数据备份的实施场景下, 源节点的数据迁移可以是向目的节点备份多 个文件, 也可以是备份某个文件的部分数据。 据此, 如果迁移平台与目的节 点集成设置(例如: 迁移平台可以是目的节点中的一个模块), 如图 5所示, 则当备份的文件没发生变化而是文件的部分数据发生变化时, 迁移平台可以 通过比较源节点和对应目的节点上变化文件内改动的数据块, 在下发给目标 源节点的调度命令中携带指示信息, 以指示目标源节点只备份变化的数据块 而不用备份整个文件, 从而减少数据备份量, 提高备份效率。
5411、 迁移平台向待调度的数据迁移任务对应的目标源节点下发调度命 令, 该调度命令用于对数据迁移任务进行调度。
其中, S410为可选步骤, 如果迁移平台执行 S410, 则 S411中迁移平台向 目标源节点下发的调度命令中可以携带指示信息,指示信息用于指示目标源节 点备份文件内改动的数据块至目的节点。
5412、 目标源节点接收到迁移平台的调度命令后, 对数据迁移任务执行调 度命令。
其中, 如果调度命令中携带指示信息, 则目标源节点接收到调度命令中的 指示信息后, 可以根据指示信息, 向对应的目的节点备份该目标源节点的文 件内改动的数据块。
需要说明的是, 对于邮件备份等实施场景, 由于需要备份的数据量能够发 生变化, 源节点需要每隔一段时间便向目的节点进行一次数据备份, 对于这种 情况, 源节点的每一次数据都可以作为一个新的数据迁移任务, 由迁移平台根 据该源节点至目的节点的 QOS来确定是否对调度数据迁移任务。
本实施例提供的数据迁移方法, 在数据 ^分的实施场景下, 通过在网络中 设置迁移平台, 网络中各桌面云虚拟机在迁移平台上登记数据迁移信息, 迁 移平台生成数据迁移任务,并根据网络中源节点至目的节点的服务质量 QOS , 可选的, 还可以根据源节点的接口流量信息, 可选的, 还可以根据网络设备 的接口流量信息, 对各源节点的数据迁移任务进行调度, 从而实现合理利用 网络资源, 提高数据迁移效率, 避免网络拥塞。 在迁移平台与目的节点一体 集成的场景下, 迁移平台还可以比较目标源节点与对应的目的节点上各件内 改动的数据块, 并在下发给目标源节点的调度命令中携带指示信息, 以指示 目标源节点备份各文件内改动的数据块至目的节点, 从而减少数据备份量, 提高备份效率。
上述实施例涉及的数据迁移的具体实施场景, 仅为本发明实施例提供的数 据迁移方法适用的几个可行的实施场景, 仅以上述实施场景为例进行说明, 但 并不以此作为对本发明的限制。
需要说明的是: 对于前述的各方法实施例, 为了简单描述, 故将其都表 述为一系列的动作组合, 但是本领域技术人员应该知悉, 本发明并不受所描 述的动作顺序的限制, 因为依据本发明, 某些步骤可以采用其他顺序或者同 时进行。 其次, 本领域技术人员也应该知悉, 说明书中所描述的实施例均属 于优选实施例, 所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中, 对各个实施例的描述都各有侧重, 某个实施例中没有 详述的部分, 可以参见其他实施例的相关描述。
本领域普通技术人员可以理解: 实现上述方法实施例的全部或部分步骤 可以通过程序指令相关的硬件来完成, 前述的程序可以存储于一计算机可读 取存储介质中, 该程序在执行时, 执行包括上述方法实施例的步骤; 而前述 的存储介质包括: ROM、 RAM, 磁碟或者光盘等各种可以存储程序代码的介 质。
图 6为本发明提供的迁移平台一个实施例的结构示意图, 如图 6所示, 该迁移平台包括: 处理模块 11和调度模块 12;
处理模块 11 , 用于根据网络中源节点至目的节点的服务质量 QOS, 调整 源节点中待调度的数据迁移任务;
调度模块 12, 用于向待调度的数据迁移任务对应的目标源节点下发调度 命令, 调度命令用于对数据迁移任务进行调度。
本实施例提供的迁移平台, 通过在网络中设置迁移平台, 迁移平台根据 网络中源节点至目的节点的服务质量 QOS 对各源节点的数据迁移任务进行 调度, 从而实现合理利用网络资源, 提高数据迁移效率, 避免网络拥塞。
图 7为本发明提供的迁移平台又一个实施例的结构示意图,如图 7所示, 在前一实施例的基础上, 可选的, 该迁移平台还可以包括: 接收模块 13和监 控模块 14中的至少一个; 其中:
接收模块 13 , 用于接收源节点上报的源节点至目的节点的 QOS;
监控模块 14, 用于监控源节点周期性发送给目的节点的互联网控制报文 协议 ICMP探测报文, 根据目的节点返回的 ICMP响应报文获取源节点至目 的节点的 QOS。
作为一种可行的实施方式, 处理模块 11可以具体用于: 统计各源网段内 的所有源节点至目的节点的 QOS, 获取各源网段的 QOS; 若源网段的 QOS 小于第一设定门限,则增加源网段内待迁移的数据迁移任务;若源网段的 QOS 大于等于第一设定门限, 则减少源网段内待迁移的数据迁移任务。
作为另一种可行的实施方式, 处理模块 11可以具体用于: 统计目的网段 内的所有目的节点至源节点的 QOS, 获取目的网段的 QOS, 源节点至目的节 点的 QOS与目的节点至源节点的 QOS相等;若目的网段的 QOS小于第二设 定门限, 则增加目的网段内待迁移的数据迁移任务; 若目的网段的 QOS大于 等于第二设定门限, 则减少目的网段内待迁移的数据迁移任务。
进一步的, 接收模块 13还可以用于: 接收源节点至目的节点的迁移路径 上的网络设备上报的接口流量信息;
相应的, 处理模块 11还可以用于: 若网络设备的接口流量大于等于第三 设定门限, 如果该网络设备位于源网段, 则减少网络设备所属的源网段内待 迁移的数据迁移任务, 或者, 降低网络设备所属的源网段内正在进行数据迁 移的数据迁移任务的数据迁移速率; 如果该网络设备位于目的网段, 则减少 网络设备所属的目的网段内待迁移的数据迁移任务, 或者, 降低网络设备所 属的目的网段内正在进行数据迁移的数据迁移任务的数据迁移速率。 作为又一种可行的实施方式, 处理模块 11还可以用于: 若源节点至目的 节点的 QOS大于等于第四设定门限值,则降低源节点的正在进行数据迁移的 数据迁移任务的数据迁移速率。 其中, 本发明实施例涉及的源节点至目的节 点的 QOS, 主要是指点到点的 QOS , 忽略了源节点至目的节点之间路径的 QOS。
进一步的, 接收模块 13还可以用于: 接收源节点上报的接口流量信息, 以使处理模块 11 能够根据源节点的接口流量信息确定源节点的正在进行数 据迁移的数据迁移任务的数据迁移速率。
可选的, 处理模块 11还可以用于: 根据设定的以下信息中的一种或任意 种组合: 数据迁移时间段、 目标源网段、 目标目的网段, 确定源节点中待迁 移的初始数据迁移任务;
相应的, 调度模块 12可以还用于: 向初始数据迁移任务对应的目标源节 点下发调度命令, 调度命令用于启动初始数据迁移任务。
进一步的, 若数据迁移任务为源节点至目的节点的数据备份, 则处理模 块 11还可以根据以下信息中的一种或任意种组合确定初始数据迁移任务:数 据备份时间间隔、 最大备份数据量和最大备份带宽。
可选的, 处理模块 11还可以用于: 比较目标源节点与对应的目的节点上 文件内改动的数据块;
相应的,调度模块 12向目标源节点下发的调度命令中还可以携带指示信 息, 指示信息用于指示目标源节点备份各文件内改动的数据块至目的节点。
该迁移平台还可以进一步包括:
登记模块 15 ,用于获取源节点登记的数据迁移信息,数据迁移信息包括: 源节点的迁移目录信息、 目的节点的地址信息和目的节点的迁移目录信息; 相应的, 处理模块 11还可以用于: 根据登记模块获取的数据迁移信息, 以及源节点的地址信息, 生成数据迁移任务。
本实施例提供的迁移平台,通过在网络中设置迁移平台, 网络中各源节点 在迁移平台上登记数据迁移信息, 迁移平台生成数据迁移任务, 并根据网络 中各源节点至目的节点的服务质量 QOS, 可选的, 还可以根据各源节点的接 口流量信息, 可选的, 还可以根据网络设备的接口流量信息, 对各源节点的 数据迁移任务进行调度, 从而实现合理利用网络资源, 提高数据迁移效率, 避免网络拥塞。 在迁移平台与目的节点一体集成的场景下, 迁移平台还可以 比较目标源节点与对应的目的节点上各文件内改动的数据块, 并在下发给目 标源节点的调度命令中携带指示信息, 以指示目标源节点备份各文件内改动 的数据块至目的节点, 从而减少数据备份量, 提高备份效率。
本发明实施例提供的迁移平台, 可以独立设置, 也可以台与目的节点, 例如: 数据中心等一体集成设置。 与本发明实施例提供的数据迁移方法相对 应, 为数据迁移方法的执行设备, 其执行数据迁移方法的具体过程可参见方 法实施例, 在此不再赘述。
图 8为本发明提供的节点一个实施例的结构示意图, 如图 8所示, 该节 点包括: 接收模块 21和执行模块 22;
接收模块 21 , 用于接收迁移平台下发的调度命令, 调度命令用于对待调 度的数据迁移任务进行调度, 待调度的数据迁移任务由迁移平台根据网络中 源节点至目的节点的服务质量 QOS确定;
执行模块 22, 用于根据所述调度命令, 对数据迁移任务进行调度。
本实施例提供的节点, 通过在网络中设置迁移平台, 迁移平台根据网络 中各源节点至目的节点的服务质量 QOS 对各源节点的数据迁移任务进行调 度, 源节点接收到调度命令后, 执行调度命令指示的相应操作, 从而实现合 理利用网络资源, 提高数据迁移效率, 避免网络拥塞。
图 9为本发明提供的节点一个实施例的结构示意图, 如图 9所示, 在前 一实施例的基础上, 该节点可以进一步包括: 发送模块 23、 处理模块 24和 上报模块 25; 其中:
发送模块 23 , 用于周期性向目的节点发送互联网控制报文协议 ICMP探 测报文;
处理模块 24, 用于根据目的节点返回的 ICMP响应报文获取源节点至目 的节点的 QOS;
上报模块 25, 用于将源节点至目的节点的 QOS上报迁移平台。
可选的, 若数据迁移任务为源节点至目的节点的数据备份, 则接收模块
21接收的调度命令中还可以包括指示信息, 指示信息用于指示源节点备份文 件内改动的数据块至目的节点。
该节点还可以进一步包括:
登记模块 26, 用于向迁移平台登记数据迁移信息, 数据迁移信息包括: 源节点的迁移目录信息、 目的节点的地址信息和目的节点的迁移目录信息, 以使数据平台根据数据迁移信息和源节点的地址信息生成数据迁移任务。
本实施例提供的节点,网络中的迁移平台根据网络中源节点至目的节点的 服务质量 QOS对各源节点的数据迁移任务进行调度,从而实现合理利用网络 资源, 提高数据迁移效率, 避免网络拥塞。 在迁移平台与目的节点一体集成 的场景下, 节点接收到迁移平台下发的携带指示信息的调度命令后, 可以根 据以指示备份各文件内改动的数据块至目的节点, 从而减少数据被分量, 提 高备份效率。
本发明实施例提供的节点,为待调度的数据迁移任务对应的目标源节点, 可以是网络中的物理机或虚拟机, 该节点与本发明实施例提供的数据迁移方 法相对应, 为数据迁移方法的执行设备, 其执行数据迁移方法的具体过程可 参见方法实施例, 在此不再赘述。
最后应说明的是: 以上实施例仅用以说明本发明的技术方案, 而非对其 限制; 尽管参照前述实施例对本发明进行了详细的说明, 本领域的普通技术 人员应当理解: 其依然可以对前述各实施例所记载的技术方案进行修改, 或 者对其中部分技术特征进行等同替换; 而这些修改或者替换, 并不使相应技 术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (21)

  1. 权 利 要求
    1、 一种数据迁移方法, 其特征在于, 包括:
    根据网络中源节点至目的节点的服务质量 QOS, 调整所述源节点中待调 度的数据迁移任务;
    向所述待调度的数据迁移任务对应的目标源节点下发调度命令, 所述调 度命令用于对所述数据迁移任务进行调度。
    2、 根据权利要求 1所述的方法, 其特征在于, 所述根据网络中源节点至 目的节点的 QOS, 调整所述源节点中待调度的数据迁移任务之前, 还包括: 接收所述源节点上报的所述源节点至目的节点的 QOS;
    或者, 监控所述源节点周期性发送给目的节点的互联网控制报文协议 ICMP探测报文,根据所述目的节点返回的 ICMP响应报文获取所述源节点至 目的节点的 QOS。
    3、 根据权利要求 1或 2所述的方法, 其特征在于, 所述根据网络中源节 点至目的节点的 QOS, 调整所述源节点中待调度的数据迁移任务, 包括: 统计源网段内的所有源节点至目的节点的 QOS , 获取所述源网段的
    QOS;
    若所述源网段的 QOS小于第一设定门限,则增加所述源网段内待迁移的 数据迁移任务; 若所述源网段的 QOS大于等于所述第一设定门限, 则减少所 述源网段内待迁移的数据迁移任务。
    4、 根据权利要求 1-3任一项所述的方法, 其特征在于, 所述根据网络中 源节点至目的节点的 QOS,调整所述源节点中待调度的数据迁移任务, 包括: 统计目的网段内的所有目的节点至源节点的 QOS, 获取所述目的网段的 QOS,所述源节点至目的节点的 QOS与所述目的节点至源节点的 QOS相等; 若所述目的网段的 QOS小于第二设定门限,则增加所述目的网段内待迁 移的数据迁移任务; 若所述目的网段的 QOS大于等于所述第二设定门限, 则 减少所述目的网段内待迁移的数据迁移任务。 5、 根据权利要求 3或 4所述的方法, 其特征在于, 所述调整所述源节点 中待调度的数据迁移任务之前, 还包括: 接收所述源节点至目的节点的迁移 路径上的网络设备上报的接口流量信息;
    所述调整所述源节点中待调度的数据迁移任务, 还包括:
    若所述网络设备的接口流量大于等于第三设定门限, 则减少所述网络设 备所属的源网段或目的网段内待迁移的数据迁移任务, 或者, 降低所述网络 设备所属的源网段或目的网段内正在进行数据迁移的数据迁移任务的数据迁 移速率。
    6、 根据权利要求 1-5任一项所述的方法, 其特征在于, 所述根据网络中 源节点至目的节点的网络服务质量 QOS , 调整所述源节点中待调度的数据迁 移任务, 包括:
    若所述源节点至目的节点的 QOS大于等于第四设定门限值,则降低所述 源节点的正在进行数据迁移的数据迁移任务的数据迁移速率。
  2. 7、 根据权利要求 6所述的方法, 其特征在于, 所述降低所述源节点的正 在进行数据迁移的数据迁移任务的数据迁移速率之前, 还包括:
    接收所述源节点上报的接口流量信息, 以根据所述源节点的接口流量信 息确定所述源节点的正在进行数据迁移的数据迁移任务的数据迁移速率。
    8、 根据权利要求 1-7任一项所述的方法, 其特征在于, 所述根据网络中 源节点至目的节点的 QOS, 调整所述源节点中待调度的数据迁移任务之前, 还包括:
    根据设定的以下信息中的一种或任意种组合: 数据迁移时间段、 目标源 网段、 目标目的网段, 确定所述源节点中待迁移的初始数据迁移任务;
    向所述初始数据迁移任务对应的目标源节点下发调度命令, 所述调度命 令用于启动所述初始数据迁移任务。
  3. 9、 根据权利要求 8所述的方法, 其特征在于, 若所述数据迁移任务为所 述源节点至所述目的节点的数据备份, 则所述初始数据迁移任务还根据以下 信息中的一种或任意种组合确定: 数据备份时间间隔、 最大备份数据量和最 大备份带宽。
  4. 10、 根据权利要求 1-9任一项所述的方法, 其特征在于, 若所述待调度 的数据迁移任务为所述源节点至所述目的节点的数据备份, 则所述向待调度 的所述数据迁移任务对应的目标源节点下发调度命令之前, 还包括:
    比较所述目标源节点与对应的目的节点上文件内改动的数据块, 以在所 述调度命令中携带指示信息, 所述指示信息用于指示目标源节点备份所述文 件内改动的数据块至所述目的节点。
  5. 11、 根据权利要求 1-10任一项所述的方法, 其特征在于, 所述调整所述 源节点中待调度的数据迁移任务之前, 还包括:
    获取所述源节点登记的数据迁移信息, 所述数据迁移信息包括: 源节点 的迁移目录信息、 目的节点的地址信息和目的节点的迁移目录信息;
    根据所述数据迁移信息和所述源节点的地址信息, 生成所述数据迁移任 务。
  6. 12、 一种数据迁移方法, 其特征在于, 包括:
    接收迁移平台下发的调度命令, 所述调度命令用于对待调度的数据迁移 任务进行调度, 所述待调度的数据迁移任务由所述迁移平台根据网络中源节 点至目的节点的服务质量 QOS调整;
    根据所述调度命令, 对所述数据迁移任务进行调度。
  7. 13、 根据权利要求 12所述的方法, 其特征在于, 所述接收迁移平台下发 的调度命令之前, 还包括:
    周期性向所述目的节点发送互联网控制报文协议 ICMP探测报文; 根据所述目的节点返回的 ICMP响应报文获取所述源节点至目的节点的 QOS;
    将所述源节点至目的节点的 QOS上报所述迁移平台。
  8. 14、 根据权利要求 12-13任一项所述的方法, 其特征在于, 若所述数据 迁移任务为所述源节点至所述目的节点的数据备份, 则所述调度命令中还包 括指示信息, 所述指示信息用于指示所述源节点备份文件内改动的数据块至 所述目的节点。
  9. 15、 根据权利要求 12-14任一项所述的方法, 其特征在于, 所述接收迁 移平台下发的调度命令之前, 还包括:
    向所述迁移平台登记数据迁移信息, 所述数据迁移信息包括: 源节点的 迁移目录信息、 目的节点的地址信息和目的节点的迁移目录信息, 以使所述 数据平台根据所述数据迁移信息和所述源节点的地址信息生成所述数据迁移 任务。
  10. 16、 一种迁移平台, 其特征在于, 包括:
    处理模块, 用于根据网络中源节点至目的节点的服务质量 QOS, 调整所 述源节点中待调度的数据迁移任务;
    调度模块, 用于向所述待调度的数据迁移任务对应的目标源节点下发调 度命令, 所述调度命令用于对所述数据迁移任务进行调度。
  11. 17、 根据权利要求 16所述的迁移平台, 其特征在于, 还包括: 接收模块 和监控模块中的至少一个;
    所述接收模块, 用于接收所述各源节点上报的所述各源节点至目的节点 的 QOS;
    所述监控模块, 用于监控所述各源节点周期性发送给目的节点的互联网 控制报文协议 ICMP探测报文, 根据所述目的节点返回的 ICMP响应报文获 取所述源节点至目的节点的 QOS。
    18、 根据权利要求 16或 17所述的迁移平台, 其特征在于, 所述处理模 块具体用于: 统计源网段内的所有源节点至目的节点的 QOS, 获取所述源网 段的 QOS; 若所述源网段的 QOS小于第一设定门限, 则增加所述源网段内 待迁移的数据迁移任务; 若所述源网段的 QOS大于等于所述第一设定门限, 则减少所述源网段内待迁移的数据迁移任务。 19、 根据权利要求 16-18任一项所述的迁移平台, 其特征在于, 所述处 理模块具体用于: 统计目的网段内的所有目的节点至源节点的 QOS , 获取所 述目的网段的 QOS, 所述源节点至目的节点的 QOS与所述目的节点至源节 点的 QOS相等; 若所述目的网段的 QOS小于第二设定门限, 则增加所述目 的网段内待迁移的数据迁移任务;若所述目的网段的 QOS大于等于所述第二 设定门限, 则减少所述目的网段内待迁移的数据迁移任务。
  12. 20、 根据权利要求 19所述的迁移平台, 其特征在于, 所述接收模块还用 于: 接收所述源节点至目的节点的迁移路径上的网络设备上报的接口流量信 自 ·
    所述处理模块还用于: 若所述网络设备的接口流量大于等于第三设定门 限,则减少所述网络设备所属的源网段或目的网段内待迁移的数据迁移任务, 或者, 降低所述网络设备所属的源网段或目的网段内正在进行数据迁移的数 据迁移任务的数据迁移速率。
  13. 21、 根据权利要求 16-20任一项所述的迁移平台, 其特征在于, 所述处 理模块还用于: 若所述源节点至目的节点的 QOS大于等于第四设定门限值, 则降低所述源节点的正在进行数据迁移的数据迁移任务的数据迁移速率。
  14. 22、 根据权利要求 21所述的迁移平台, 其特征在于, 所述接收模块还用 于: 接收所述源节点上报的接口流量信息, 以使所述处理模块根据所述源节 点的接口流量信息确定所述源节点的正在进行数据迁移的数据迁移任务的数 据迁移速率。
  15. 23、 根据权利要求 16-22任一项所述的迁移平台, 其特征在于, 所述处 理模块还用于: 根据设定的以下信息中的一种或任意种组合: 数据迁移时间 段、 目标源网段、 目标目的网段, 确定所述源节点中待迁移的初始数据迁移 任务;
    所述调度模块还用于: 向所述初始数据迁移任务对应的目标源节点下发 调度命令, 所述调度命令用于启动所述初始数据迁移任务。 24、 根据权利要求 23所述的迁移平台, 其特征在于, 若所述数据迁移任 务为所述源节点至所述目的节点的数据备份, 则所述处理模块还根据以下信 息中的一种或任意种组合确定所述初始数据迁移任务: 数据备份时间间隔、 最大备份数据量和最大备份带宽。
  16. 25、 根据权利要求 16-24任一项所述的迁移平台, 其特征在于, 所述处 理模块还用于: 比较所述目标源节点与对应的目的节点上文件内改动的数据 块;
    所述调度模块向所述目标源节点下发的所述调度命令中携带指示信息 , 所述指示信息用于指示所述目标源节点备份所述文件内改动的数据块至所述 目的节点。
  17. 26、 根据权利要求 16-25任一项所述的迁移平台, 其特征在于, 还包括: 登记模块, 用于获取所述源节点登记的数据迁移信息, 所述数据迁移信 息包括: 源节点的迁移目录信息、 目的节点的地址信息和目的节点的迁移目 录信息;
    所述处理模块还用于: 根据所述登记模块获取的所述数据迁移信息, 以 及所述源节点的地址信息, 生成所述数据迁移任务。
  18. 27、 一种节点, 其特征在于, 包括:
    接收模块, 用于接收迁移平台下发的调度命令, 所述调度命令用于对待 调度的数据迁移任务进行调度, 所述待调度的数据迁移任务由所述迁移平台 根据网络中源节点至目的节点的服务质量 QOS调整;
    执行模块, 用于根据所述调度命令, 对所述数据迁移任务进行调度。
  19. 28、 根据权利要求 27所述的节点, 其特征在于, 还包括:
    发送模块, 用于周期性向所述目的节点发送互联网控制报文协议 ICMP 探测报文;
    处理模块, 用于根据所述目的节点返回的 ICMP响应报文获取所述源节 点至目的节点的 QOS; 上报模块, 用于将所述源节点至目的节点的 QOS上报所述迁移平台。
  20. 29、 根据权利要求 27-29任一项所述的节点, 其特征在于, 若所述数据 迁移任务为所述源节点至所述目的节点的数据备份, 则所述接收模块接收的 所述调度命令中还包括指示信息, 所述指示信息用于指示所述源节点备份所 述文件内改动的数据块至所述目的节点。
  21. 30、 根据权利要求 27-29任一项所述的节点, 其特征在于, 还包括: 登记模块, 用于向所述迁移平台登记数据迁移信息, 所述数据迁移信息 包括: 源节点的迁移目录信息、 目的节点的地址信息和目的节点的迁移目录 信息, 以使所述数据平台根据所述数据迁移信息和所述源节点的地址信息生 成所述数据迁移任务。
CN201280000571.4A 2012-03-01 2012-03-01 数据迁移方法和设备 Active CN103053146B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/071820 WO2012095053A2 (zh) 2012-03-01 2012-03-01 数据迁移方法和设备

Publications (2)

Publication Number Publication Date
CN103053146A true CN103053146A (zh) 2013-04-17
CN103053146B CN103053146B (zh) 2014-06-25

Family

ID=46507500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280000571.4A Active CN103053146B (zh) 2012-03-01 2012-03-01 数据迁移方法和设备

Country Status (2)

Country Link
CN (1) CN103053146B (zh)
WO (1) WO2012095053A2 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104426795A (zh) * 2013-09-09 2015-03-18 中国电信股份有限公司 用于负载均衡的方法、节点调度服务器和系统
CN104580306A (zh) * 2013-10-21 2015-04-29 北京计算机技术及应用研究所 一种多终端备份服务系统及其任务调度方法
CN105100184A (zh) * 2014-05-19 2015-11-25 英特尔公司 虚拟机的可靠且确定的实时迁移
CN105897604A (zh) * 2016-04-06 2016-08-24 中国人民解放军国防科学技术大学 一种提高数据中心网络更新成功率的方法
CN109002263A (zh) * 2018-07-20 2018-12-14 腾讯科技(深圳)有限公司 存储容量的调整方法及装置
CN109857528A (zh) * 2019-01-10 2019-06-07 北京三快在线科技有限公司 数据迁移的速度调整方法、装置、存储介质和移动终端
CN111104206A (zh) * 2019-12-25 2020-05-05 曙光信息产业(北京)有限公司 虚拟机存储迁移方法、装置和计算机设备
CN113259473A (zh) * 2021-06-08 2021-08-13 广东睿江云计算股份有限公司 一种自适应云数据迁移的方法
CN113590613A (zh) * 2021-07-13 2021-11-02 上海一谈网络科技有限公司 数据表分区方法、装置、计算机设备和存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109391663B (zh) * 2017-08-10 2021-11-16 阿里巴巴集团控股有限公司 一种访问请求的处理方法与设备
CN109189756A (zh) * 2018-06-29 2019-01-11 平安科技(深圳)有限公司 电子装置、数据迁移的方法及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101088260A (zh) * 2004-12-28 2007-12-12 松下电器产业株式会社 通信装置、存储介质、集成电路以及通信系统
CN101101563A (zh) * 2007-07-23 2008-01-09 清华大学 基于海量数据分级存储系统的迁移管理方法
CN102147709A (zh) * 2010-02-05 2011-08-10 Lsi公司 基于服务质量的存储分层与迁移技术的系统和方法
CN102170396A (zh) * 2011-05-06 2011-08-31 浙江大学 一种基于区分服务的云存储系统QoS控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101088260A (zh) * 2004-12-28 2007-12-12 松下电器产业株式会社 通信装置、存储介质、集成电路以及通信系统
CN101101563A (zh) * 2007-07-23 2008-01-09 清华大学 基于海量数据分级存储系统的迁移管理方法
CN102147709A (zh) * 2010-02-05 2011-08-10 Lsi公司 基于服务质量的存储分层与迁移技术的系统和方法
CN102170396A (zh) * 2011-05-06 2011-08-31 浙江大学 一种基于区分服务的云存储系统QoS控制方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104426795B (zh) * 2013-09-09 2017-09-12 中国电信股份有限公司 用于负载均衡的方法、节点调度服务器和系统
CN104426795A (zh) * 2013-09-09 2015-03-18 中国电信股份有限公司 用于负载均衡的方法、节点调度服务器和系统
CN104580306A (zh) * 2013-10-21 2015-04-29 北京计算机技术及应用研究所 一种多终端备份服务系统及其任务调度方法
CN104580306B (zh) * 2013-10-21 2018-02-16 北京计算机技术及应用研究所 一种多终端备份服务系统及其任务调度方法
CN105100184B (zh) * 2014-05-19 2020-07-10 英特尔公司 虚拟机的可靠且确定的实时迁移
CN105100184A (zh) * 2014-05-19 2015-11-25 英特尔公司 虚拟机的可靠且确定的实时迁移
CN105897604A (zh) * 2016-04-06 2016-08-24 中国人民解放军国防科学技术大学 一种提高数据中心网络更新成功率的方法
CN105897604B (zh) * 2016-04-06 2019-04-09 中国人民解放军国防科学技术大学 一种提高数据中心网络更新成功率的方法
CN109002263A (zh) * 2018-07-20 2018-12-14 腾讯科技(深圳)有限公司 存储容量的调整方法及装置
CN109857528A (zh) * 2019-01-10 2019-06-07 北京三快在线科技有限公司 数据迁移的速度调整方法、装置、存储介质和移动终端
CN111104206A (zh) * 2019-12-25 2020-05-05 曙光信息产业(北京)有限公司 虚拟机存储迁移方法、装置和计算机设备
CN111104206B (zh) * 2019-12-25 2023-09-01 曙光信息产业(北京)有限公司 虚拟机存储迁移方法、装置和计算机设备
CN113259473A (zh) * 2021-06-08 2021-08-13 广东睿江云计算股份有限公司 一种自适应云数据迁移的方法
CN113259473B (zh) * 2021-06-08 2021-11-05 广东睿江云计算股份有限公司 一种自适应云数据迁移的方法
CN113590613A (zh) * 2021-07-13 2021-11-02 上海一谈网络科技有限公司 数据表分区方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN103053146B (zh) 2014-06-25
WO2012095053A9 (zh) 2013-03-14
WO2012095053A2 (zh) 2012-07-19
WO2012095053A3 (zh) 2013-01-31

Similar Documents

Publication Publication Date Title
CN103053146A (zh) 数据迁移方法和设备
US9137130B2 (en) Dynamic network load forecasting
CN102369688A (zh) 资源动态调整方法和调度设备
JP2018045671A (ja) クラウドサーバスケジューリング方法及び装置
Rathore et al. Variable threshold-based hierarchical load balancing technique in Grid
JP5362801B2 (ja) データ送信方法及び装置
CN106603692B (zh) 一种分布式存储系统中的数据存储方法及装置
CN103873513B (zh) 自适应下载方法与系统
CN110020046B (zh) 一种数据抓取方法及装置
CN110708377A (zh) 一种数据传输方法、装置和存储介质
CN111984395A (zh) 一种数据迁移方法和系统,及计算机可读存储介质
Callegati et al. Live migration of virtualized edge networks: Analytical modeling and performance evaluation
US10021008B1 (en) Policy-based scaling of computing resource groups
US20060123111A1 (en) Method, system and computer program product for transitioning network traffic between logical partitions in one or more data processing systems
Li et al. OPTAS: Decentralized flow monitoring and scheduling for tiny tasks
WO2013082742A1 (zh) 资源调度方法、装置和系统
CN104426694A (zh) 一种调整虚拟机资源的方法和装置
CN104539744A (zh) 一种两阶段协作的媒体边缘云调度方法及装置
CN109561054A (zh) 一种数据传输方法、控制器及接入设备
Hanafy et al. A new infrastructure elasticity control algorithm for containerized cloud
US9607275B2 (en) Method and system for integration of systems management with project and portfolio management
US10148592B1 (en) Prioritization-based scaling of computing resources
Edinger et al. Decentralized low-latency task scheduling for ad-hoc computing
US10146584B2 (en) Weight adjusted dynamic task propagation
CN103747040A (zh) 一种节点分配方法和控制中心

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220222

Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province

Patentee after: Huawei Cloud Computing Technology Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.