CN116016223B - 一种数据中心网络数据传输优化方法 - Google Patents
一种数据中心网络数据传输优化方法 Download PDFInfo
- Publication number
- CN116016223B CN116016223B CN202211580429.3A CN202211580429A CN116016223B CN 116016223 B CN116016223 B CN 116016223B CN 202211580429 A CN202211580429 A CN 202211580429A CN 116016223 B CN116016223 B CN 116016223B
- Authority
- CN
- China
- Prior art keywords
- scheduling period
- data
- message
- period
- data center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 46
- 238000005457 optimization Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 claims abstract description 14
- 230000009466 transformation Effects 0.000 claims abstract description 12
- 238000010606 normalization Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims abstract description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请涉及一种数据中心网络数据传输优化方法,包括如下步骤:读取各设备在前n个周期中各个周期向控制中心传输的数据报文量;控制中心在调度周期内接收到的各设备的报文接收率,历史报文接收率序列;将历史报文接收率序列作为训练集,利用反向传播算法进行LSTM神经网络参数更新,进行数据中心设备传输规律学习模型的构建;将当前时刻t的各设备的报文接收率进行正态化变换,然后作为预测模型的输入,得到预测值;依据预测的各设备平均每条报文产生的间隔和调度周期长度的优化目标函数,找到最优的调度周期。本申请通过基于LSTM神经网络的学习模型来提取数据中心设备的传输规律;通过构建调度周期长度的优化目标,对调度周期进行了优化。
Description
技术领域
本申请涉及网络优化领域,涉及一种数据中心网络数据传输优化方法。
背景技术
随着现代计算机技术的发展,社会的信息化程度在不断提高,很多高校、企业单位在运作过程中需要大量计算机和服务器来存储管理海量数据信息,这些计算机和服务器都存放在数据中心机房中。数据中心机房的正常运行需要动力环境的保证,如果机房的环境出现了巨大变化,就会影响到整个数据中心机房计算机的运行。
因此,需要将数据中心机房中服务器的运行状态数据和动环监测设备感知到的环境数据传输到控制中心。但对于数据中心中的各种设备,传输的数据量和频率不一致且不是一成不变的,传输需求也会因此产生变化,由此导致固定的调度周期难以满足设备的传输需求。
发明内容
本申请实施例的目的在于提供一种数据中心网络数据传输优化方法,通过LSTM神经网络的学习模型来提取数据中心设备的传输规律,然后构建了调度周期长度的优化目标,以此找到最优的调度周期来匹配设备的传输需求,实现在恰好满足设备传输需求的同时减少多余的数据传输量,避免不必要的开销。
为实现上述目的,本申请提供如下技术方案:
本申请实施例提供一种数据中心网络数据传输优化方法,包括如下步骤:
步骤1:在数据中心网络中,控制中心接收到各设备的数据报文,将各设备的报文数量记为Ni,初始调度周期为Ts,读取各设备在前n个周期中各个周期向控制中心传输的数据报文量,记为Nn,i;
步骤2:控制中心在调度周期内接收到的各设备的报文接收率为λn,i,历史报文接收率序列Di={λ1,i,λ2,i,…,λn,i};
步骤3:将Di作为训练集,利用反向传播算法进行LSTM神经网络参数更新,进行数据中心设备传输规律学习模型的构建;
步骤4:将当前时刻t的各设备的报文接收率进行正态化变换,然后作为预测模型的输入,得到t+1时刻的预测值,然后反正态化变换得到t+1时刻的报文接收率λt+1,i和平均每条报文产生的间隔It+1,i;
步骤5:依据预测的各设备平均每条报文产生的间隔It+1,i和调度周期长度的优化目标函数,找到最优的调度周期Tf。
所述步骤3中,对于数据中心网络中设备传输规律学习模型的构建具体为,
报文的接收率为Nn,i表示第i个设备在第n个周期向控制中心传输的数据报文量,Ts表示调度周期的时间长度,
对于训练集Di,为了防止在学习时神经元饱和,需要采用对数变换实现序列数据正态化:
yn,i=f(λn,i)=ln(λn,i-min(λn,i)+1)
其中,min(λn,i)是历史报文接收率序列Di中的最小值,
使用LSTM神经网络进行预测:
计算预测值与真实值的误差:
利用反向传播算法对LSTM神经网络参数进行训练,以此得到最终的传输规律学习模型。
所述步骤5中求得最优的调度周期具体为,:
调度周期长度的优化目标:
其中,Li是设备i的数据包传输时间长度,m是数据中心设备的数量,是单位时间内为设备i分配的传输次数与所需传输次数的差值,
其中,Ii是预测出的下一个周期的设备i的报文产生间隔,Tf是所要求的最优调度周期,k1表示当设备i产生的报文间隔小于调度周期Tf时,在一个调度周期内可设置的发送次数;k2表示当设备i产生的报文间隔大于调度周期Tf时,在k2个调度周期Tf中发送一次,
将Tf赋值为min{Ii},按照一定步长从min{Ii}搜索到max{Ii},并记录每一次的使/>最小的Tf作为最优调度周期。
与现有技术相比,本发明的有益效果是:
1.针对数据中心网络中设备传输需求的差异性和动态变化性,通过LSTM神经网络的学习模型来提取数据中心设备的传输规律,以此预测控制中心对数据中心网络各设备的报文接收率;
2.为避免不必要的开销,实现设备数据的周期性和规律性传输,构建了调度周期长度的优化目标,对调度周期进行了优化,以此实现了在减少多余的数据传输量传输的同时,满足了各个设备的传输需求。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本申请实施例基于LSTM的报文接收率预测示意图;
图2是本申请实施例方法的具体流程图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
下面结合图1和图2,介绍本发明的具体实施方式为一种数据中心网络数据传输优化方法,包括以下具体步骤:
步骤1:数据中心网络中有m个设备,每个设备向控制中心发送的数据报文量为Ni,初始调度周期为Ts,读取各设备在前n个周期中各个周期内向控制中心传输的数据报文量,记为Nn,i;
步骤2:计算各设备在各调度周期内的报文接收率λn,i,组成历史报文接收序列Di={λ1,i,λ2,i,…,λn,i};
其中λn,i表示在第n个调度周期中控制中心对设备i的报文接收率,Nn,i表示第i个设备在第n个周期向控制中心传输的数据报文量,Ts表示调度周期的时间长度。
步骤3:将Di作为训练集,为了防止在学习时神经元饱和,采用对数变换实现序列数据正态化:
yn,i=f(λn,i)=ln(λn,i-min(λn,i)+1)
其中,min(λn,i)是历史报文接收率序列Di中的最小值。
使用LSTM神经网络进行预测:
其中,代表通过神经网络预测出的控制中心对设备i的报文接收率;
计算预测值与真实值的误差:
利用反向传播算法对LSTM神经网络参数进行训练,以此得到最终的传输规律学习模型。
步骤4:将当前时刻t的各设备的报文接收率进行正态化变换:
yt,i=f(λt,i)=ln(λt,i-min(λn,i)+1)
然后将yt,i作为预测模型的输入,得到各设备t+1时刻的预测值
然后反正态化变换得到t+1时刻的报文接收率λt+1,i和平均每条报文产生的间隔It+1,i;
步骤5:调度周期长度的优化目标函数构建为:
其中,Li是设备i的数据包传输时间长度,m是数据中心设备的数量,是单位时间内为设备i分配的传输次数与所需传输次数的差值。
其中,Ii是预测出的下一个周期的设备i的报文产生间隔,Tf是所要求的最优调度周期,k1表示当设备i产生的报文间隔小于调度周期Tf时,在一个调度周期内可设置的发送次数;k2表示当设备i产生的报文间隔大于调度周期Tf时,在k2个调度周期Tf中发送一次。
将Tf赋值为min{Ii},按照步长a从min{Ii}搜索到max{Ii},并记录每一次的使/>最小的Tf作为最优调度周期。
相较于现有技术,本发明提出一种数据中心网络数据传输优化方法。针对数据中心网络中设备传输需求的差异性和动态变化性,通过LSTM神经网络的学习模型来提取数据中心设备的传输规律,以此预测控制中心对数据中心网络各设备的报文接收率;为避免不必要的开销,实现设备数据的周期性和规律性传输,构建了调度周期长度的优化目标,对调度周期进行了优化,以此实现了在减少多余的数据传输量传输的同时,满足了各个设备的传输需求。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (1)
1.一种数据中心网络数据传输优化方法,其特征在于,包括如下步骤:
步骤1:在数据中心网络中,控制中心接收到各设备的数据报文,将各设备的报文数量记为Ni,初始调度周期为Ts,读取各设备在前n个周期中各个周期向控制中心传输的数据报文量,记为Nn,i;
步骤2:控制中心在调度周期内接收到的各设备的报文接收率为λn,i,历史报文接收率序列Di={λ1,i,λ2,i,…,λn,i};
步骤3:将Di作为训练集,利用反向传播算法进行LSTM神经网络参数更新,进行数据中心设备传输规律学习模型的构建;
步骤4:将当前时刻t的各设备的报文接收率进行正态化变换,然后作为预测模型的输入,得到t+1时刻的预测值,然后反正态化变换得到t+1时刻的报文接收率λt+1,i和平均每条报文产生的间隔It+1,i;
步骤5:依据预测的各设备平均每条报文产生的间隔It+1,i和调度周期长度的优化目标函数,找到最优的调度周期Tf;
所述步骤3中,对于数据中心网络中设备传输规律学习模型的构建具体为,
报文的接收率为Nn,i表示第i个设备在第n个周期向控制中心传输的数据报文量,Ts表示调度周期的时间长度,
对于训练集Di,为了防止在学习时神经元饱和,需要采用对数变换实现序列数据正态化:
yn,i=f(λn,i)=ln(λn,i-min(λn,i)+1)
其中,min(λn,i)是历史报文接收率序列Di中的最小值,
使用LSTM神经网络进行预测:
计算预测值与真实值的误差:
利用反向传播算法对LSTM神经网络参数进行训练,以此得到最终的传输规律学习模型;
所述步骤5中求得最优的调度周期具体为:
调度周期长度的优化目标:
其中,Li是设备i的数据包传输时间长度,m是数据中心设备的数量,是单位时间内为设备i分配的传输次数与所需传输次数的差值,
其中,Ii是预测出的下一个周期的设备i的报文产生间隔,Tf是所要求的最优调度周期,k1表示当设备i产生的报文间隔小于调度周期Tf时,在一个调度周期内可设置的发送次数;k2表示当设备i产生的报文间隔大于调度周期Tf时,在k2个调度周期Tf中发送一次,
将Tf赋值为min{Ii},按照一定步长从min{Ii}搜索到max{Ii},并记录每一次的使最小的Tf作为最优调度周期。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211580429.3A CN116016223B (zh) | 2022-12-09 | 2022-12-09 | 一种数据中心网络数据传输优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211580429.3A CN116016223B (zh) | 2022-12-09 | 2022-12-09 | 一种数据中心网络数据传输优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116016223A CN116016223A (zh) | 2023-04-25 |
CN116016223B true CN116016223B (zh) | 2024-02-02 |
Family
ID=86028927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211580429.3A Active CN116016223B (zh) | 2022-12-09 | 2022-12-09 | 一种数据中心网络数据传输优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116016223B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103944680A (zh) * | 2014-04-23 | 2014-07-23 | 浙江大学 | 基于信号稀疏特性的不可靠无线链路信息传输方法 |
WO2019056499A1 (zh) * | 2017-09-20 | 2019-03-28 | 平安科技(深圳)有限公司 | 预测模型训练方法、数据监控方法、装置、设备及介质 |
WO2021007812A1 (zh) * | 2019-07-17 | 2021-01-21 | 深圳大学 | 一种深度神经网络超参数优化方法、电子设备及存储介质 |
CN112308145A (zh) * | 2020-10-30 | 2021-02-02 | 北京百度网讯科技有限公司 | 一种分类网络训练方法、分类方法、装置以及电子设备 |
WO2021082809A1 (zh) * | 2019-10-29 | 2021-05-06 | 山东科技大学 | 一种外汇时间序列预测的训练优化方法 |
WO2021128181A1 (zh) * | 2019-12-25 | 2021-07-01 | 深圳大学 | 一种自适应调节拥塞控制初始窗口的方法和系统 |
CN113490181A (zh) * | 2021-05-20 | 2021-10-08 | 南京邮电大学 | 一种基于lstm神经网络的车辆传输时延优化方法 |
CN114363195A (zh) * | 2022-01-11 | 2022-04-15 | 北京工业大学 | 面向时间和频谱残差卷积网络的网络流量预测预警方法 |
US11487273B1 (en) * | 2021-04-30 | 2022-11-01 | Dalian University Of Technology | Distributed industrial energy operation optimization platform automatically constructing intelligent models and algorithms |
CN115423393A (zh) * | 2022-08-12 | 2022-12-02 | 北京邮电大学 | 一种基于lstm的动态自适应调度周期的订单调度方法及装置 |
-
2022
- 2022-12-09 CN CN202211580429.3A patent/CN116016223B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103944680A (zh) * | 2014-04-23 | 2014-07-23 | 浙江大学 | 基于信号稀疏特性的不可靠无线链路信息传输方法 |
WO2019056499A1 (zh) * | 2017-09-20 | 2019-03-28 | 平安科技(深圳)有限公司 | 预测模型训练方法、数据监控方法、装置、设备及介质 |
WO2021007812A1 (zh) * | 2019-07-17 | 2021-01-21 | 深圳大学 | 一种深度神经网络超参数优化方法、电子设备及存储介质 |
WO2021082809A1 (zh) * | 2019-10-29 | 2021-05-06 | 山东科技大学 | 一种外汇时间序列预测的训练优化方法 |
WO2021128181A1 (zh) * | 2019-12-25 | 2021-07-01 | 深圳大学 | 一种自适应调节拥塞控制初始窗口的方法和系统 |
CN112308145A (zh) * | 2020-10-30 | 2021-02-02 | 北京百度网讯科技有限公司 | 一种分类网络训练方法、分类方法、装置以及电子设备 |
US11487273B1 (en) * | 2021-04-30 | 2022-11-01 | Dalian University Of Technology | Distributed industrial energy operation optimization platform automatically constructing intelligent models and algorithms |
CN113490181A (zh) * | 2021-05-20 | 2021-10-08 | 南京邮电大学 | 一种基于lstm神经网络的车辆传输时延优化方法 |
CN114363195A (zh) * | 2022-01-11 | 2022-04-15 | 北京工业大学 | 面向时间和频谱残差卷积网络的网络流量预测预警方法 |
CN115423393A (zh) * | 2022-08-12 | 2022-12-02 | 北京邮电大学 | 一种基于lstm的动态自适应调度周期的订单调度方法及装置 |
Non-Patent Citations (1)
Title |
---|
杨坡,颜健,白刚.机器学习工程简明教程.2021,104-105. * |
Also Published As
Publication number | Publication date |
---|---|
CN116016223A (zh) | 2023-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lee et al. | Adaptive transmission scheduling in wireless networks for asynchronous federated learning | |
WO2018031958A1 (en) | Aggregate features for machine learning | |
CN108733508B (zh) | 用于控制数据备份的方法和系统 | |
CN114265979B (zh) | 确定融合参数的方法、信息推荐方法和模型训练方法 | |
CN114528304A (zh) | 一种自适应客户端参数更新的联邦学习方法、系统及存储介质 | |
CN106453608B (zh) | 一种基于云端的移动应用的后台请求自适应调度算法 | |
CN105407158A (zh) | 一种建立模型和推送消息的方法及装置 | |
CN112668877B (zh) | 结合联邦学习和强化学习的事物资源信息分配方法及系统 | |
CN111104299A (zh) | 一种服务器性能预测方法、装置及电子设备和存储介质 | |
CN117972367B (zh) | 一种数据存储预测方法、数据存储子系统及智能计算平台 | |
WO2023154538A1 (en) | System and method for reducing system performance degradation due to excess traffic | |
CN115766104A (zh) | 一种基于改进的Q-learning网络安全决策自适应生成方法 | |
CN116016223B (zh) | 一种数据中心网络数据传输优化方法 | |
CN112989203A (zh) | 素材投放方法、装置、设备和介质 | |
CN117056020A (zh) | 容器伸缩方法、系统、电子设备及存储介质 | |
CN112990826B (zh) | 一种短时物流需求预测方法、装置、设备及可读存储介质 | |
CN115169692A (zh) | 一种时间序列预测方法及相关装置 | |
GB2607255A (en) | Dynamic subsystem operational sequencing to concurrently control and distribute supervised learning processor training and provide predictive responses | |
CN113762687A (zh) | 一种仓库内的人员排班调度方法和装置 | |
CN117667606B (zh) | 基于用户行为的高性能计算集群能耗预测方法及系统 | |
CN112836770B (zh) | Kpi异常定位分析方法及系统 | |
CN114281802B (zh) | 一种数据处理方法及装置 | |
CN117575181A (zh) | 派工排产仿真方法及其装置 | |
Gao et al. | Grey Markov model based horizontal scaling strategy for Kubernetes | |
KR20240053405A (ko) | 서버리스 엣지 컴퓨팅 환경에서의 동적 분할 컴퓨팅 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |