CN110995620A - 一种充分利用带宽提高云迁移效率的方法 - Google Patents

一种充分利用带宽提高云迁移效率的方法 Download PDF

Info

Publication number
CN110995620A
CN110995620A CN201911193971.1A CN201911193971A CN110995620A CN 110995620 A CN110995620 A CN 110995620A CN 201911193971 A CN201911193971 A CN 201911193971A CN 110995620 A CN110995620 A CN 110995620A
Authority
CN
China
Prior art keywords
request
cloud migration
timeout time
data
available bandwidth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911193971.1A
Other languages
English (en)
Inventor
连柯
潘城
温景新
王秀竹
江映燕
骆宇平
李海涛
潘亮
梁炯光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Electric Power Communication Technology Co Ltd
Original Assignee
Guangdong Electric Power Communication Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Electric Power Communication Technology Co Ltd filed Critical Guangdong Electric Power Communication Technology Co Ltd
Priority to CN201911193971.1A priority Critical patent/CN110995620A/zh
Publication of CN110995620A publication Critical patent/CN110995620A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/80—Actions related to the user profile or the type of traffic
    • H04L47/801—Real time traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/185—Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/80—Actions related to the user profile or the type of traffic
    • H04L47/803—Application aware

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明属于计算机技术领域，更具体地，涉及一种充分利用带宽提高云迁移效率的方法。包括以下步骤：S1.配置可用带宽大小；S2.接收可调整参数中已知参数；S3.若已知其中两个参数，根据数学模型“(可用带宽(Mbps)/8)*请求的响应超时时间(s)>并发线程数目*单次请求数据量大小(MB)”计算出可调整参数的最大值；S4.若已知其中一个参数，根据数学模型“(可用带宽(Mbps)/8)*请求的响应超时时间(s)>并发线程数目*单次请求数据量大小(MB)”，并结合实际使用场景获取其他两个可调整参数的最优参数值。本发明将“云迁移进程可用带宽”、“请求的响应超时时间”和“单次请求数据量大小”作为最大线程数的统计参数，充分考虑影响数据云迁移效率的因素。

Description

一种充分利用带宽提高云迁移效率的方法
技术领域
本发明属于计算机技术领域，更具体地，涉及一种充分利用带宽提高云迁移效率的方法。
背景技术
随着云计算技术的不断发展，企业数据(存储、归档、文件服务器、备份)向云端迁移已经成为企业的首选方案。企业应用实现云端迁移通常通过云网关等中介载体来实现。云迁移的传输效率是其中最为关注问题之一。在数据云迁移过程中，带宽大小与并发线程数目是影响网络传输效率的主要因素，而网络传输效率的高低直接影响着数据云迁移的速度。为了充分利用有限的硬件资源与带宽资源，应用程序通常采用多线程的方式实现对请求的并行处理。在现有技术方案中，通过监控服务器各项资源(CPU、内存、磁盘、系统平均负载等)的使用情况调整线程数量来增大或减小数据云迁移的压力，以期达到充分利用服务器资源、提高数据云迁移效率的目的。但该种方法并没考虑带宽的承载能力。在可用带宽资源稳定不变时(例：专线)迁移数据，若线程数量过多，多个请求同时向云端迁移数据，数据传输延迟增大，存在部分请求在响应时间范围内可能无法成功传输完所有数据，导致请求传输失败，反而使云迁移效率出现降低的问题。在可用带宽资源变动时(例：公网高峰期可用带宽较低，低谷期可用带宽较高)迁移数据，适配于高峰期的线程数目在低谷期迁移数据时，线程数目较少，无法充分利用带宽资源，数据云迁移效率低下；适配于低谷期的线程数目在高峰期迁移数据时，线程数目较多，数据传输延迟增大，存在部分请求在响应时间范围内可能无法成功传输完所有数据，导致请求传输失败，反而使云迁移效率降低的问题。
发明内容
本发明为克服上述现有技术中的缺陷，提供一种充分利用带宽提高云迁移效率的方法，充分考虑网络传输特性，通过数学模型获取最大线程数目，充分利用带宽资源。
为解决上述技术问题，本发明采用的技术方案是：一种充分利用带宽提高云迁移效率的方法，包括以下步骤：
S1.配置可用带宽大小；
S2.接收可调整参数中已知参数；
S3.若已知其中两个参数，根据以下数学模型计算出可调整参数的最大值，该数学模型为：
Figure BDA0002294252270000021
S4.若已知其中一个参数，根据S3步骤中的数据模型并结合实际使用场景获取其他两个可调整参数的最优参数值。
进一步的，所述的数学模型中，可用带宽的单位为Mbps；请求的相应超时时间的单位为秒，单次请求数据量大小为MB。
进一步的，若已知“请求的响应超时时间”与“单次请求数据量大小”，可得出“并发线程数目”的最大值。
进一步的，若已知“请求的响应超时时间”，可得出“并发线程数目”与“单次请求数据量大小”乘积的最大值，可结合生产环境中数据读写方式获取最优的“单次请求数据量大小”，进而确定“并发线程数目”的最大值。
进一步的，若已知“单次请求数据量大小”，可得出“并发线程数目”与“请求的响应超时时间”之间的比值关系，可结合生产环境中数据传输方式获取“请求的响应超时时间”，进而确定“并发线程数目”的最大值。
进一步的，若本发明获取的最大线程数为M1，现有技术方案中的推断方法推断出最大线程数为M2，则取M1与M2的最小值为最大线程数目，在保证系统稳定性的前提下，充分利用服务器资源与网络带宽资源，提高数据云迁移效率。
在本发明中，充分考虑影响网络传输效率的因素可用带宽(Mbps)、并发线程数目、请求响应超时时间(s)、单次请求数据量大小(MB)，建立数据模型“(可用带宽(Mbps)/8)*请求的响应超时时间(s)>并发线程数目*单次请求数据量大小(MB)”；在固定“云迁移进程可用带宽”的前提下，可通过单次请求数据量大小与请求响应超时时间计算出最大线程数目；在固定“云迁移进程可用带宽”的前提下，可通过一个参数获取其他两个参数的数值关系，并结合实际生产环境，推断出最大线程数目；在公网环境下，可根据预设的云迁移进程可用带宽映射表计算出不同时间段对应的最大线程数目，进而实时调节线程数，达到充分利用带宽的目的。
与现有技术相比，有益效果是：
1.将“云迁移进程可用带宽”、“请求的响应超时时间”和“单次请求数据量大小”作为最大线程数的统计参数，充分考虑影响数据云迁移效率的因素；
2.在公网环境下，可根据预设的云迁移进程可用带宽映射表计算出不同时间段对应的最大线程数目；
3.与现有技术方案互补。若本发明获取的最大线程数为M1，现有技术方案中的推断方法推断出最大线程数为M2，则取M1与M2的最小值为最大线程数目，在保证系统稳定性的前提下，充分利用服务器资源与网络带宽资源，提高数据云迁移效率。
附图说明
图1是本发明的方法流程示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。
实施例：
如图1所示，一种充分利用带宽提高云迁移效率的方法，包括以下步骤：
S1.配置可用带宽大小；
S2.接收可调整参数中已知参数；
S3.若已知其中两个参数，根据以下数学模型计算出可调整参数的最大值，该数学模型为：
Figure BDA0002294252270000031
其中，可用带宽的单位为Mbps；请求的相应超时时间的单位为秒，单次请求数据量大小为MB；
S4.若已知其中一个参数，根据S3步骤中的数据模型并结合实际使用场景获取其他两个可调整参数的最优参数值。
通过上述方法，若已知“请求的响应超时时间”与“单次请求数据量大小”，可得出“并发线程数目”的最大值。
通过上述方法，若已知“请求的响应超时时间”，可得出“并发线程数目”与“单次请求数据量大小”乘积的最大值，可结合生产环境中数据读写方式获取最优的“单次请求数据量大小”，进而确定“并发线程数目”的最大值。
通过上述方法，若已知“单次请求数据量大小”，可得出“并发线程数目”与“请求的响应超时时间”之间的比值关系，可结合生产环境中数据传输方式获取“请求的响应超时时间”，进而确定“并发线程数目”的最大值。
通过上述方法，若本发明获取的最大线程数为M1，现有技术方案中的推断方法推断出最大线程数为M2，则取M1与M2的最小值为最大线程数目，在保证系统稳定性的前提下，充分利用服务器资源与网络带宽资源，提高数据云迁移效率。
本发明将“云迁移进程可用带宽”、“请求的响应超时时间”和“单次请求数据量大小”作为最大线程数的统计参数，充分考虑影响数据云迁移效率的因素；在公网环境下，可根据预设的云迁移进程可用带宽映射表计算出不同时间段对应的最大线程数目。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.一种充分利用带宽提高云迁移效率的方法，其特征在于，包括以下步骤：
S1.配置可用带宽大小；
S2.接收可调整参数中已知参数；
S3.若已知其中两个参数，根据以下数学模型计算出可调整参数的最大值，该数学模型为：
Figure FDA0002294252260000011
S4.若已知其中一个参数，根据S3步骤中的数据模型并结合实际使用场景获取其他两个可调整参数的最优参数值。
2.根据权利要求1所述的充分利用带宽提高云迁移效率的方法，其特征在于，所述的数学模型中，可用带宽的单位为Mbps；请求的相应超时时间的单位为秒，单次请求数据量大小为MB。
3.根据权利要求2所述的充分利用带宽提高云迁移效率的方法，其特征在于，若已知“请求的响应超时时间”与“单次请求数据量大小”，可得出“并发线程数目”的最大值。
4.根据权利要求2所述的充分利用带宽提高云迁移效率的方法，其特征在于，若已知“请求的响应超时时间”，可得出“并发线程数目”与“单次请求数据量大小”乘积的最大值，可结合生产环境中数据读写方式获取最优的“单次请求数据量大小”，进而确定“并发线程数目”的最大值。
5.根据权利要求2所述的充分利用带宽提高云迁移效率的方法，其特征在于，若已知“单次请求数据量大小”，可得出“并发线程数目”与“请求的响应超时时间”之间的比值关系，可结合生产环境中数据传输方式获取“请求的响应超时时间”，进而确定“并发线程数目”的最大值。
CN201911193971.1A 2019-11-28 2019-11-28 一种充分利用带宽提高云迁移效率的方法 Pending CN110995620A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911193971.1A CN110995620A (zh) 2019-11-28 2019-11-28 一种充分利用带宽提高云迁移效率的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911193971.1A CN110995620A (zh) 2019-11-28 2019-11-28 一种充分利用带宽提高云迁移效率的方法

Publications (1)

Publication Number Publication Date
CN110995620A true CN110995620A (zh) 2020-04-10

Family

ID=70087856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911193971.1A Pending CN110995620A (zh) 2019-11-28 2019-11-28 一种充分利用带宽提高云迁移效率的方法

Country Status (1)

Country Link
CN (1) CN110995620A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112433670A (zh) * 2020-10-28 2021-03-02 西安交通大学 一种针对去中心化架构存储系统的迁移任务调度方法
CN115529258A (zh) * 2022-09-30 2022-12-27 济南浪潮数据技术有限公司 一种快速定位带宽最优值的方法、系统、装置及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101534310A (zh) * 2009-04-08 2009-09-16 华为技术有限公司 传输数据的方法及数据处理装置
US20130198564A1 (en) * 2012-01-27 2013-08-01 Empire Technology Development, Llc Parameterized dynamic model for cloud migration
CN108123893A (zh) * 2017-12-18 2018-06-05 重庆理工大学 一种实时虚拟机迁移的多目标带宽分配方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101534310A (zh) * 2009-04-08 2009-09-16 华为技术有限公司 传输数据的方法及数据处理装置
US20130198564A1 (en) * 2012-01-27 2013-08-01 Empire Technology Development, Llc Parameterized dynamic model for cloud migration
CN108123893A (zh) * 2017-12-18 2018-06-05 重庆理工大学 一种实时虚拟机迁移的多目标带宽分配方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112433670A (zh) * 2020-10-28 2021-03-02 西安交通大学 一种针对去中心化架构存储系统的迁移任务调度方法
CN115529258A (zh) * 2022-09-30 2022-12-27 济南浪潮数据技术有限公司 一种快速定位带宽最优值的方法、系统、装置及介质
CN115529258B (zh) * 2022-09-30 2024-05-03 郑州浪潮数据技术有限公司 一种快速定位带宽最优值的方法、系统、装置及介质

Similar Documents

Publication Publication Date Title
US9954758B2 (en) Virtual network function resource allocation and management system
WO2017028697A1 (zh) 计算机集群的扩容和缩容方法及设备
Chaczko et al. Availability and load balancing in cloud computing
CN107302580B (zh) 负载均衡方法、装置、负载均衡器及存储介质
US7516221B2 (en) Hierarchical management of the dynamic allocation of resources in a multi-node system
US9699017B1 (en) Dynamic utilization of bandwidth for a quorum-based distributed storage system
CN107391633A (zh) 数据库集群自动优化处理方法、装置及服务器
AU2004266017B2 (en) Hierarchical management of the dynamic allocation of resources in a multi-node system
WO2017020742A1 (zh) 负载均衡方法及设备
CN108196935B (zh) 一种面向云计算的虚拟机节能迁移方法
CN111522636A (zh) 应用容器的调整方法、调整系统、计算机可读介质及终端设备
CN110995620A (zh) 一种充分利用带宽提高云迁移效率的方法
CN114020407A (zh) 一种容器管理集群容器组调度优化方法、装置、设备
CN116136792A (zh) 一种数据库的计算资源扩缩方法、装置、设备及存储介质
CN113986522A (zh) 一种基于负载均衡的分布式存储服务器扩容系统
WO2021259064A1 (zh) 集群的缩扩容方法及系统、缩扩容控制终端和介质
CN107689876A (zh) 分布式对象存储系统中元数据的分布管理方法
US10469411B1 (en) Dynamic application scaling
CN116107741A (zh) 一种负载均衡调度方法、系统、电子设备及可读存储介质
CN110971647A (zh) 一种大数据系统的节点迁移方法
WO2017162075A1 (zh) 任务调度方法和装置
CN102497431B (zh) 一种tcp连接缓存应用数据的内存申请方法和系统
TW202215262A (zh) 一種具延遲感知負載平衡的反向代理方法和存儲裝置
CN112328387A (zh) 一种面向多租户的微服务资源调度方法
CN111459738B (zh) 基于fail-slow模型的并行存储系统故障诊断方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200410

RJ01 Rejection of invention patent application after publication