CN116915706B - 数据中心网络拥塞控制方法、装置、设备及存储介质 - Google Patents
数据中心网络拥塞控制方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116915706B CN116915706B CN202311178985.2A CN202311178985A CN116915706B CN 116915706 B CN116915706 B CN 116915706B CN 202311178985 A CN202311178985 A CN 202311178985A CN 116915706 B CN116915706 B CN 116915706B
- Authority
- CN
- China
- Prior art keywords
- speed
- congestion control
- adjustment
- state information
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000012545 processing Methods 0.000 claims abstract description 68
- 238000012549 training Methods 0.000 claims abstract description 31
- 230000002787 reinforcement Effects 0.000 claims abstract description 20
- 238000004458 analytical method Methods 0.000 claims abstract description 12
- 230000005540 biological transmission Effects 0.000 claims description 73
- 230000001133 acceleration Effects 0.000 claims description 11
- 230000009467 reduction Effects 0.000 claims description 4
- 239000003795 chemical substances by application Substances 0.000 description 34
- 238000004422 calculation algorithm Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 230000001960 triggered effect Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 7
- 230000000630 rising effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000001052 transient effect Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000011217 control strategy Methods 0.000 description 2
- 229960001484 edetic acid Drugs 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- KCXVZYZYPLLWCC-UHFFFAOYSA-N EDTA Chemical compound OC(=O)CN(CC(O)=O)CCN(CC(O)=O)CC(O)=O KCXVZYZYPLLWCC-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/11—Identifying congestion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
- H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/20—Traffic policing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/25—Flow control; Congestion control with rate being modified by the source upon detecting a change of network conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/31—Flow control; Congestion control by tagging of packets, e.g. using discard eligibility [DE] bits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/36—Flow control; Congestion control by determining packet size, e.g. maximum transfer unit [MTU]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开了一种数据中心网络拥塞控制方法、装置、设备及存储介质，所述数据中心网络拥塞控制方法包括：当收到拥塞通知报文时，获取交换机的第一状态信息；将第一状态信息输入至当前的拥塞控制模型，基于拥塞控制模型，对状态信息进行拥塞分析处理，得到决策结果，并基于决策结果，对服务器端进行降速处理；获取服务器端降速后交换机的第二状态信息，并基于第二状态信息，确定决策评分值；基于决策评分值，对所述拥塞控制模型进行训练更新，得到更新后的拥塞控制模型。本申请属于计算机技术领域，基于分布式深度强化学习训练的拥塞控制模型，通过在不需要先验知识的前提下自主探索环境并获得决策评分值更新模型的策略，能够适应网络动态变化。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种数据中心网络拥塞控制方法、装置、设备及存储介质。
背景技术
随着云计算数据中心技术的发展，成千上万台服务器节点在数据中心中组成集群，节点的计算、存储、网络等资源被抽象以服从统一的管理。而在数据中心中存在网络拥塞的问题亟待解决。
相关技术中提出的拥塞控制方法主要是针对相应优化问题的启发式算法，它们通常是针对单一任务集优化的，例如DCQCN和Swift，针对稳态场景进行了优化，但是对于短流量的突然爆发，则在瞬态状态下表现较差，即对拥塞控制的动态适应能力差，无法适应网络动态变化。
发明内容
本申请的主要目的在于提供一种数据中心网络拥塞控制方法、装置、设备及存储介质，旨在解决现有技术中对拥塞控制的动态适应能力差的技术问题。
为实现以上目的，本申请提供一种数据中心网络拥塞控制方法，所述数据中心网络拥塞控制方法包括：
当收到拥塞通知CNP报文时，获取交换机的第一状态信息；
将所述第一状态信息输入至当前的拥塞控制模型，基于所述拥塞控制模型，对所述第一状态信息进行拥塞分析处理，得到决策结果，并基于所述决策结果，对服务器端进行降速处理，其中，所述拥塞控制模型是基于分布式深度强化学习DRL训练得到的；
获取服务器端降速后交换机的第二状态信息，并基于所述第二状态信息，确定决策评分值；
基于所述决策评分值，对所述拥塞控制模型进行训练更新，得到更新后的拥塞控制模型，其中，所述更新后的拥塞控制模型用于下一轮的状态信息处理。
可选地，所述第二状态信息包括队列长度、数据包的传输字节和链路带宽容量，所述基于所述第二状态信息，确定决策评分值的步骤，包括：
基于所述第二状态信息中的队列长度、数据包的传输字节和链路带宽容量，采用以下公式计算决策评分值：
其中，表示决策评分值，/>表示交换机的队列长度，/>表示链路带宽容量，/>表示数据包的传输字节，L表示吞吐量性能指标的评分值，Q表示延迟性能指标的评分值，/>表示吞吐量性能指标的评分值的权重，/>表示延迟性能指标的评分值的权重，/>，/>表示目标队列长度。
可选地，所述当收到拥塞通知CNP报文时，获取交换机的第一状态信息的步骤之前，所述方法包括：
获取当前交换机的队列长度数据；
若所述队列长度数据大于或者等于预设的拥塞标记最大值水线，则对当前的传输数据包进行拥塞标记；
若所述队列长度数据小于或者等于预设的拥塞标记最小值水线，则不对当前的传输数据包进行拥塞标记；
若所述队列长度数据大于所述拥塞标记最小值水线，并小于所述拥塞标记最大值水线，则计算标记概率，并基于所述标记概率，对当前的传输数据包进行拥塞标记处理；
其中，若传输数据包存在拥塞标记，则收到拥塞通知CNP报文。
可选地，所述决策结果包括降速因子和升速因子，所述基于所述决策结果，对服务器端进行降速处理的步骤，包括：
基于所述降速因子，对服务器端发包速率进行降速调整，以实现对服务器端的降速处理；
判断是否需要对所述服务器端进行升速调整，若需要对所述服务器端进行升速调整，则基于所述升速因子，对服务器端发包速率进行升速调整，以实现对服务器端的升速处理。
可选地，所述判断是否需要对所述服务器端进行升速调整，若需要对所述服务器端进行升速调整，则基于所述升速因子，对服务器端发包速率进行升速调整，以实现对服务器端的升速处理的步骤，包括：
开启预设时间的定时器；
当满足在所述定时器的时间内并未收到所述CNP报文的条件时，则确定需要对所述服务器端进行升速调整；
基于所述升速因子，对服务器端发包速率进行一次升速调整，并实时判断是否收到所述CNP报文，若完成上一次升速调整后，未收到所述CNP报文，则重复基于所述升速因子，对服务器端发包速率进行升速调整，并实时判断是否收到所述CNP报文的步骤，直至收到所述CNP报文后，停止对服务器端发包速率的升速调整。
可选地，所述基于所述升速因子，对服务器端发包速率进行一次升速调整，并实时判断是否收到所述CNP报文，若完成上一次升速调整后，未收到所述CNP报文，则重复基于所述升速因子，对服务器端发包速率进行升速调整，并实时判断是否收到所述CNP报文的步骤，直至收到所述CNP报文后，停止对服务器端发包速率的升速调整的步骤，包括：
基于所述升速因子，对服务器端发包速率进行一次升速调整，并确定升速调整次数，同时实时判断是否收到所述CNP报文；
若完成上一次升速调整后，未收到所述CNP报文，则增加一次所述升速调整次数，并重复基于所述升速因子，对服务器端发包速率进行一次升速调整，并确定升速调整次数的步骤；
当所述升速调整次数达到预设的升速次数阈值，则对所述升速因子进行提升调整；
基于提升调整后的升速因子对服务器端发包速率进行相应的升速调整，同时实时判断是否收到所述CNP报文，若完成上一次升速调整后，未收到所述CNP报文，则重复基于提升调整后的升速因子对服务器端发包速率进行相应的升速调整，同时实时判断是否收到所述CNP报文；
其中，收到所述CNP报文后，停止对服务器端发包速率的升速调整。
可选地，所述获取交换机的第一状态信息的步骤，包括：
采用带内网络遥测技术INT，获取每一跳交换机的初始状态信息，其中，所述初始状态信息包括队列长度、数据包的传输字节、拥塞标记数据包的传输字节和链路带宽容量；
将所述每一跳交换机的初始状态信息进行累加，得到交换机的第三状态信息；
基于所述每一跳交换机，计算所述第三状态信息的平均值，得到交换机的第一状态信息。
本申请还提供一种数据中心网络拥塞控制装置，所述数据中心网络拥塞控制装置包括：
获取模块，用于当收到拥塞通知CNP报文时，获取交换机的第一状态信息；
降速模块，用于将所述第一状态信息输入至当前的拥塞控制模型，基于所述拥塞控制模型，对所述第一状态信息进行拥塞分析处理，得到决策结果，并基于所述决策结果，对服务器端进行降速处理，其中，所述拥塞控制模型是基于分布式深度强化学习DRL训练得到的；
评分模块，用于获取服务器端降速后交换机的第二状态信息，并基于所述第二状态信息，确定决策评分值；
更新模块，用于基于所述决策评分值，对所述拥塞控制模型进行训练更新，得到更新后的拥塞控制模型，其中，所述更新后的拥塞控制模型用于下一轮的状态信息处理。
本申请还提供一种数据中心网络拥塞控制设备，所述数据中心网络拥塞控制设备包括：存储器、处理器以及存储在存储器上的用于实现所述数据中心网络拥塞控制方法的程序，
所述存储器用于存储实现数据中心网络拥塞控制方法的程序；
所述处理器用于执行实现所述数据中心网络拥塞控制方法的程序，以实现所述数据中心网络拥塞控制方法的步骤。
本申请还提供一种存储介质，所述存储介质上存储有实现数据中心网络拥塞控制方法的程序，所述实现数据中心网络拥塞控制方法的程序被处理器执行以实现所述数据中心网络拥塞控制方法的步骤。
本申请提供的一种数据中心网络拥塞控制方法、装置、设备及存储介质，与相关技术中对于短流量的突然爆发，则在瞬态状态下表现较差，即对拥塞控制的动态适应能力差，无法适应网络动态变化相比，在本申请中，当收到拥塞通知CNP报文时，获取交换机的第一状态信息；将所述第一状态信息输入至当前的拥塞控制模型，基于所述拥塞控制模型，对所述第一状态信息进行拥塞分析处理，得到决策结果，并基于所述决策结果，对服务器端进行降速处理，其中，所述拥塞控制模型是基于分布式深度强化学习DRL训练得到的；获取服务器端降速后交换机的第二状态信息，并基于所述第二状态信息，确定决策评分值；基于所述决策评分值，对所述拥塞控制模型进行训练更新，得到更新后的拥塞控制模型，其中，所述更新后的拥塞控制模型用于下一轮的状态信息处理。即在本申请中，基于分布式深度强化学习训练的拥塞控制模型，通过在不需要先验知识的前提下自主探索环境并获得决策评分值更新模型的策略，能够适应网络动态变化的场景，即提高了对拥塞控制的动态适应能力。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本申请数据中心网络拥塞控制方法第一实施例的流程示意图；
图3为本申请数据中心网络拥塞控制装置的模块示意图；
图4为本申请数据中心网络拥塞控制方法第三实施例的流程示意图；
图5为本申请数据中心网络拥塞控制方法的控制框架示意图；
图6为本申请数据中心网络拥塞控制方法的状态信息更新流程示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如图1所示，图1是本申请实施例方案涉及的硬件运行环境的终端结构示意图。
本申请实施例终端可以是服务器，也可以是PC、智能手机、平板电脑、电子书阅读器、MP3（Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3）播放器、MP4（Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4）播放器、便携计算机等具有显示功能的可移动式终端设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、RF（Radio Frequency，射频）电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作装置、网络通信模块、用户接口模块以及数据中心网络拥塞控制程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端（用户端），与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的数据中心网络拥塞控制程序。
参照图2，本申请实施例提供一种数据中心网络拥塞控制方法，所述数据中心网络拥塞控制方法包括：
步骤S100，当收到拥塞通知CNP报文时，获取交换机的第一状态信息；
步骤S200，将所述第一状态信息输入至当前的拥塞控制模型，基于所述拥塞控制模型，对所述第一状态信息进行拥塞分析处理，得到决策结果，并基于所述决策结果，对服务器端进行降速处理，其中，所述拥塞控制模型是基于分布式深度强化学习DRL训练得到的；
步骤S300，获取服务器端降速后交换机的第二状态信息，并基于所述第二状态信息，确定决策评分值；
步骤S400，基于所述决策评分值，对所述拥塞控制模型进行训练更新，得到更新后的拥塞控制模型，其中，所述更新后的拥塞控制模型用于下一轮的状态信息处理。
在本实施例中，针对的应用场景是：
作为一种示例，数据中心网络拥塞控制的场景可以为，在数据中心的网络拥堵后，需要进行相应的拥塞降速以及控制。目前学业界和工业界提出的一系列拥塞控制方法主要是针对相应优化问题的启发式算法，它们通常是针对单一任务集优化的，例如DCQCN和Swift已经针对稳态场景进行了优化，但是对于短流量的突然爆发，则在瞬态状态下表现较差，其动态适应能力差，无法适应网络动态变化的场景。除此之外传统算法需要专业人员花费大量的人力物力和时间手动调优多个参数，例如DCQCN主要在终端主机有9个配置参数，在交换机有3个ECN配置参数、DCTCP有5个配置参数、HPCC有3个配置参数、ECN#有4个配置参数。其次传统的基于机器学习的拥塞控制大多是集中式的，例如QTCP和DRL-CC，其网络状态-动作空间很大，很难在线做出准确的决策，模型需要大量的计算资源和时间收敛，拥塞处理延迟大，数据收集上传会消耗大量资源。传统算法利用的时延、RTT、丢包率等传统拥塞信号准确性很低，很难准确的反映出网络中的拥塞情况，严重的影响网络的性能，除此之外会增加网络收敛难度，影响系统稳定性，例如TIMELY是基于RTT实现的。现有利用机器学习的算法，其机器学习的触发更新方式大多是基于RTT或固定间隔，这些触发机制是不准确的，不必要的反复触发会造成过度反应、计算资源的浪费，更会造成算法的不稳定。最后这些基于机器学习的拥塞控制算法并没有针对数据中心有任何特定的设计优化，也没有结合数据中心的机制（ECN和PFC等等）和高效准确的拥塞信息（ECN、INT等等），例如Remy、PCCVivace等。针对此场景，本实施例的数据中心网络拥塞控制方法基于分布式深度强化学习训练的拥塞控制模型，通过在不需要先验知识的前提下自主探索环境并获得决策评分值更新模型的策略，能够适应网络动态变化的场景，即提高了对拥塞控制的动态适应能力。
作为一种示例，数据中心网络拥塞控制的应用场景不仅为上述的对数据中心的场景下，还包括各种拥塞控制场景中，在此不做具体限制。
本实施例旨在：提高对拥塞控制的动态适应能力。
在本实施例中，数据中心网络拥塞控制方法应用于数据中心网络拥塞控制装置，其中，数据中心网络拥塞控制装置包括发送端服务器和接收端服务器。
具体步骤如下：
步骤S100，当收到拥塞通知CNP报文时，获取交换机的第一状态信息；
在本实施例中，当收到拥塞通知CNP报文时，即确定当前数据中心存在网络拥塞的情况下，装置获取交换机的第一状态信息，其中，第一状态信息是指网络状况的数据，包括但不限于时间戳(ts)、队列长度(qLen)、数据包的传输字节（或称为交换机传输速率）(txBytes)、拥塞标记数据包的传输字节（EtxBytes）和链路带宽容量(B)，具体地，装置是利用数据面业务进行网络状况的收集，获取交换机的第一状态信息。
具体地，所述步骤S100，包括以下步骤S110-S130：
步骤S110，采用带内网络遥测技术INT，获取每一跳交换机的初始状态信息，其中，所述初始状态信息包括队列长度、数据包的传输字节、拥塞标记数据包的传输字节和链路带宽容量；
在本实施例中，装置采用带内网络遥测技术INT，获取每一跳交换机的初始状态信息，即初始状态信息为INT信息；其中，所述初始状态信息包括队列长度、数据包的传输字节、拥塞标记数据包的传输字节和链路带宽容量，INT信息中的txRate，B和qlen可以精确的反应网络中的吞吐和延迟这两个关键的性能指标，以此为在线学习提供准确的参数反馈，加快网络的收敛，提升网络的稳定性。
步骤S120，将所述每一跳交换机的初始状态信息进行累加，得到交换机的第三状态信息；
在本实施例中，参照图5，每个服务器端（或称源端）都与一个DRL（深度强化学习）的Agent（智能体）相关联，利用当前和前一个INT信息中的每一跳交换机i的时间戳(ts)、数据包的传输字节(txBytes)和ECN（拥塞标记）标记包的传输字节(EtxBytes)计算获得每一跳交换机i的传输速率(txRate)、ECN标记包的输出速率(EtxRate)，具体如下公式：
其中，、/>、/>、/>、/>分别表示当前轮次交换机的传输速率、ECN标记包的输出速率、队列长度、链路带宽、轮次数。
并将当前INT信息中每一跳交换机i的数据包的传输字节(txBytes)和ECN（拥塞标记）标记包的传输字节(EtxBytes)、队列长度(qLen)、链路带宽（B）分别累加求其链路总和，具体公式如下：
其中，、/>、/>分别为累加后的交换机的传输速率、ECN标记包的输出速率、队列长度。
步骤S130，基于所述每一跳交换机，计算所述第三状态信息的平均值，得到交换机的第一状态信息。
在本实施例中，装置基于所述每一跳交换机，计算所述第三状态信息的平均值，得到交换机的第一状态信息，具体地，累加每轮的CtxRate、CEtxRate和CqLen，并统计计算轮数n，最后分别将累加值AtxRate、AEtxRate和AqLen除以n求得相应的平均值，得到交换机的第一状态信息。参照图6，即整个过程为，在一条流的发送过程中，当该流的发送端收到ACK时，首先判断Agent在上轮是否被触发，如果触发则需要清空AtxRate、AEtxRate和AqLen，以及计算轮数n。然后当发送端的Agent在该流发送的过程中没有被CNP触发过时，State中txRate、EtxRate和qLen的平均值是从收到的第一个携带INT信息的ACK开始统计，统计第一个ACK到CNP触发时的ACK之间计算获得的总数据量，并除以计算轮数n获得相应的平均值；若发送端的Agent在该流发送的过程中已经被CNP触发过，State中txRate、EtxRate和qLen的平均值是从收到上一个Action执行后发出的首个包的ACK开始统计，统计Rate改变后发出的第一个包返回的ACK到CNP触发时的ACK之间计算获得的总数据量，并除以计算轮数n获得相应的平均值。并且在发送端完成每轮State的更新后，会更新新旧INT信息。将上述获得txRate、EtxRate和qLen的平均值与INT信息中的链路带宽（B）以及源端发包速率(Rate)进行归一化处理后作为当前的State，且当发送端发送新流的时候，需要清空发送端的State的更新流程的全部参数。以上的公式如下：
其中，、/>、/>分别为取均值后的的传输速率、ECN标记包的输出速率、队列长度。
综合源端发包速率(Rate)后，把它们归一化处理后作为DDPG（深度确定性策略梯度）的（第一状态信息），具体如下公式：
步骤S200，将所述第一状态信息输入至当前的拥塞控制模型，基于所述拥塞控制模型，对所述第一状态信息进行拥塞分析处理，得到决策结果，并基于所述决策结果，对服务器端进行降速处理，其中，所述拥塞控制模型是基于分布式深度强化学习DRL训练得到的；
在本实施例中，装置将所述第一状态信息输入至当前的拥塞控制模型，基于所述拥塞控制模型，对所述第一状态信息进行拥塞分析处理，得到决策结果，并基于所述决策结果，对服务器端进行降速处理，其中，所述拥塞控制模型是基于分布式深度强化学习DRL训练得到的，当前的拥塞控制模型可以是预设的拥塞控制模型（初始拥塞控制模型），也可以是经过更新后的拥塞控制模型，预设的拥塞控制模型是指根据训练样本以及样本标签经过迭代训练后所首次训练完成的拥塞控制模型，该预设的拥塞控制模型会随着数据中心网络拥塞控制方法，进行持续的更新，即为更新后的拥塞控制模型，该更新后的拥塞控制模型用于下一轮的状态信息处理。具体地，所述拥塞控制模型的预训练过程是将待训练模型部署于数据中心的应用场景中，采用DDPG算法对所述待训练模型进行深度强化学习，得到所述拥塞控制模型，并且根据分布式深度强化学习的特性，所述拥塞控制模型在数据中心的场景下不断处理拥塞控制的过程中，仍进行进一步的强化学习，即能够在不需要先验知识的前提下自主探索环境并逐步寻找获得较大奖励函数（或称决策评分）的策略，其Agent（智能体）具有强大的自主决策能力和对环境的适应能力，因此在数据中心机制的基础上，DRL与拥塞控制结合：(1)可以适应网络动态变化的场景，并寻找优秀的拥塞控制策略，具有很好的泛化能力；(2)可以在避免复杂费时的手动调优控制参数的同时，在线做出明智的决策。
具体地，所述步骤S200，包括以下步骤S210-S220：
步骤S210，基于所述降速因子，对服务器端发包速率进行降速调整，以实现对服务器端的降速处理；
在本实施例中，所述决策结果包括降速因子和升速因子，由于当前为网络拥塞的情况，因此装置根据决策结果中输出的降速因子对服务器端发包速率进行降速调整，以实现对服务器端进行降速处理，而其中的升速因子根据需求对服务器端发包速率进行升速调整，以此达到适应网络动态变化的目的，其中，降速因子和升速因子/>是一个参数值，具体地，具体范围如下：
实现对服务器端进行降速处理，即将源端发包速率改成当前发包速率乘以降速因子，如下公式：
其中，是降速前的源端发包速率，/>是降速后的源端发包速率。
步骤S220，判断是否需要对所述服务器端进行升速调整，若需要对所述服务器端进行升速调整，则基于所述升速因子，对服务器端发包速率进行升速调整，以实现对服务器端的升速处理。
在本实施例中，装置判断是否需要对所述服务器端进行升速调整，若需要对所述服务器端进行升速调整，则基于所述升速因子，对服务器端发包速率进行升速调整，以实现对服务器端的升速处理，其中，基于所述升速因子，对服务器端发包速率进行升速调整，以实现对服务器端的升速处理与上述步骤S210的降速调整同理，即将源端发包速率改成当前发包速率乘以升速因子，如下公式：
其中，是当前（升速前）源端发包速率，/>是升速后的源端发包速率。
具体地，所述步骤S220，包括以下步骤S221-S223：
步骤S221，开启预设时间的定时器；
步骤S222，当满足在所述定时器的时间内并未收到所述CNP报文的条件时，则确定需要对所述服务器端进行升速调整；
在本实施例中，装置判断是否需要对所述服务器端进行升速调整的步骤是在降速完成后开启预设时间的定时器，当满足在所述定时器的时间内并未收到所述CNP报文的条件时，则确定需要对所述服务器端进行升速调整，即在定时器的时间范围内，装置并未收到所述CNP报文，即当前并未处于网络拥塞的情况下，确定需要对所述服务器端进行升速调整。
步骤S223，基于所述升速因子，对服务器端发包速率进行一次升速调整，并实时判断是否收到所述CNP报文，若完成上一次升速调整后，未收到所述CNP报文，则重复基于所述升速因子，对服务器端发包速率进行升速调整，并实时判断是否收到所述CNP报文的步骤，直至收到所述CNP报文后，停止对服务器端发包速率的升速调整。
在本实施例中，装置基于所述升速因子，对服务器端发包速率进行一次升速调整，并实时判断是否收到所述CNP报文，若完成上一次升速调整后，未收到所述CNP报文，则重复基于所述升速因子，对服务器端发包速率进行升速调整，并实时判断是否收到所述CNP报文的步骤，直至收到所述CNP报文后，停止对服务器端发包速率的升速调整，即只要装置没有被CNP报文触发，装置一直重复以上升速操作，直至收到所述CNP报文后，停止对服务器端发包速率的升速调整。
具体地，所述步骤S223，包括以下步骤S2231-S2235：
步骤S2231，基于所述升速因子，对服务器端发包速率进行一次升速调整，并确定升速调整次数，同时实时判断是否收到所述CNP报文；
步骤S2232，若完成上一次升速调整后，未收到所述CNP报文，则增加一次所述升速调整次数，并重复基于所述升速因子，对服务器端发包速率进行一次升速调整，并确定升速调整次数的步骤；
步骤S2233，当所述升速调整次数达到预设的升速次数阈值，则对所述升速因子进行提升调整；
步骤S2234，基于提升调整后的升速因子对服务器端发包速率进行相应的升速调整，同时实时判断是否收到所述CNP报文，若完成上一次升速调整后，未收到所述CNP报文，则重复基于提升调整后的升速因子对服务器端发包速率进行相应的升速调整，同时实时判断是否收到所述CNP报文；
步骤S2235，其中，收到所述CNP报文后，停止对服务器端发包速率的升速调整。
在本实施例中，装置基于所述升速因子，对服务器端发包速率进行一次升速调整，并确定升速调整次数，同时实时判断是否收到所述CNP报文，若完成上一次升速调整后，未收到所述CNP报文，则增加一次所述升速调整次数，并重复基于所述升速因子，对服务器端发包速率进行一次升速调整，并确定升速调整次数的步骤，当所述升速调整次数达到预设的升速次数阈值，则对所述升速因子进行提升调整，基于提升调整后的升速因子对服务器端发包速率进行相应的升速调整，同时实时判断是否收到所述CNP报文，若完成上一次升速调整后，未收到所述CNP报文，则重复基于提升调整后的升速因子对服务器端发包速率进行相应的升速调整，同时实时判断是否收到所述CNP报文，该过程的升速调整一直到装置收到所述CNP报文后才停止。
举例说明，装置实时判断是否收到所述CNP报文，只要Agent没有被CNP报文触发，装置一直重复以上升速操作，直到升速步数Stage（即升速调整次数）到达设定升速次数阈值（Threshold=4）时，先更新升速因子，再改变源端速率，如下公式：
其中，是当前（提升调整前）的升速因子，/>是提升调整后的升速因子，/>是当前的源端发包速率，/>是提升调整后的升速因子/>对/>进一步升速后的源端发包速率，1.001是Stage到达设定升速次数阈值时的提升调整参数。
提升调整参数也可以是除1.001之外的其他值，在此不做具体限定。
且当升速步数Stage超过设定阈值（Threshold>4）时，则以更大幅度更新升速因子，改变源端速率。若Agent触发时间超过40微秒，且又收到CNP报文，则再次触发Agent作出决策，并重复以上操作。
其中，是当前（提升调整前）的升速因子，/>是进一步提升调整后的升速因子，是当前的源端发包速率，/>进一步提升调整后的升速因子/>对/>升速后的源端发包速率，1.002是Stage大于设定升速次数阈值时的提升调整参数。
进一步提升调整参数也可以是除1.002之外的其他值，在此不做具体限定。
步骤S300，获取服务器端降速后交换机的第二状态信息，并基于所述第二状态信息，确定决策评分值；
在本实施例中，在对服务器端（或称源端）降速后，装置获取当前交换机的第二状态信息，并基于所述第二状态信息，确定决策评分值，其中，所述决策评分值也可以称为当前环境反馈的奖励，是对上一次决策结果的评分，具体公式如下步骤S310。
具体地，所述步骤S300，包括以下步骤S310：
步骤S310，基于所述第二状态信息中的队列长度、数据包的传输字节和链路带宽容量，采用以下公式计算决策评分值：
其中，表示决策评分值，/>表示交换机的队列长度，/>表示链路带宽容量，/>表示数据包的传输字节，L表示吞吐量性能指标的评分值，Q表示延迟性能指标的评分值，/>表示吞吐量性能指标的评分值的权重，/>表示延迟性能指标的评分值的权重，/>，/>表示目标队列长度。
在本实施例中，可以根据数据中心网络的需求，为L和Q设置不同的权重，以此来调整Reward，来更好的优化学习目标，例如当前的数据中心网络更强调低延迟，就可以将的数值设大一点，取/>，/>，除此之外/>KB表示的是我们的目标qlen，因此可以针对不同的场景需求来设置不同的/>，优选地，可以将/>设置成60。
在本实施例中，INT信息中的txRate，B和qlen可以精确的反应网络中的吞吐和延迟这两个关键的性能指标，由于txRate和qlen的瞬时值变化范围很大，这会导致Reward的不稳定，因此优选的实施例中，采用平均值设计DDPG的Reward。
在本实施例中，装置基于ECN和INT信息设计的State和Reward，其中，在在txRate、EtxRate和采用平均值的情况下，计算得到的Reward也为平均值，由于可以获得准确的网络和反馈信息，因此可以加快网络的收敛，网络的稳定性和性能同样可以得到很好的提升。
步骤S400，基于所述决策评分值，对所述拥塞控制模型进行训练更新，得到更新后的拥塞控制模型，其中，所述更新后的拥塞控制模型用于下一轮的状态信息处理。
在本实施例中，装置基于所述决策评分值，对所述拥塞控制模型进行训练更新，得到更新后的拥塞控制模型，其中，所述更新后的拥塞控制模型用于下一轮的状态信息处理，具体地，对DRL的训练更新，当action执行完成后，Agent再次被触发，根据环境的反馈，即利用新到来的INT信息根据上述计算方法获得新状态信息和决策评分值/>，并将添加到经验回放池中，当Agent的参数池容量未到达设定值，不更新DRL模型，当Agent的参数池容量到达设定值后，从经验池中随机采样一个minibatch，并利用DDPG算法对模型进行更新学习，DDPG算法包含四个网络分别是Actor网络、Critic网络、Target Actor网络 、Target Critic网络，通过TD_error对Critic网络进行参数更新，即先利用Target Critic网络/>来计算目标值/>，利用/>与当前/>值的均方误差构造损失函数，进行梯度更新。
并依据确定性策略梯度对Actor网络进行参数更新，即把Actor的确定性动作函数代进Q-function的a，然后求梯度，最后更新目标网络。
对于Target Actor网络和Target Critic网络的更新，DDPG算法采用了软更新方式（指数平均移动），即引入一个学习率(0.005)，将旧的目标网络参数和新的对应网络参数做加权平均，然后赋值给Target网络。
完成对所有网络的学习更新后，下次CNP报文触发Agent，Agent将利用新的Actor网络来选择动作，通过在线学习的方式训练模型，让Agent能够学习每个流量模型的特征，提升拥塞控制性能。
本申请提供的一种数据中心网络拥塞控制方法，与相关技术中对于短流量的突然爆发，则在瞬态状态下表现较差，即对拥塞控制的动态适应能力差，无法适应网络动态变化相比，在本申请中，当收到拥塞通知CNP报文时，获取交换机的第一状态信息；将所述第一状态信息输入至当前的拥塞控制模型，基于所述拥塞控制模型，对所述第一状态信息进行拥塞分析处理，得到决策结果，并基于所述决策结果，对服务器端进行降速处理，其中，所述拥塞控制模型是基于分布式深度强化学习DRL训练得到的；获取服务器端降速后交换机的第二状态信息，并基于所述第二状态信息，确定决策评分值；基于所述决策评分值，对所述拥塞控制模型进行训练更新，得到更新后的拥塞控制模型，其中，所述更新后的拥塞控制模型用于下一轮的状态信息处理。即在本申请中，基于分布式深度强化学习训练的拥塞控制模型，通过在不需要先验知识的前提下自主探索环境并获得决策评分值更新模型的策略，能够适应网络动态变化的场景，即提高了对拥塞控制的动态适应能力。
基于上述的第一实施例，本申请还提供另一实施例，所述数据中心网络拥塞控制方法包括：
在所述步骤S100，当收到拥塞通知CNP报文时，获取交换机的第一状态信息的步骤之前，所述方法包括以下步骤A100-A500：
步骤A100，获取当前交换机的队列长度数据；
步骤A200，若所述队列长度数据大于或者等于预设的拥塞标记最大值水线，则对当前的传输数据包进行拥塞标记；
步骤A300，若所述队列长度数据小于或者等于预设的拥塞标记最小值水线，则不对当前的传输数据包进行拥塞标记；
步骤A400，若所述队列长度数据大于所述拥塞标记最小值水线，并小于所述拥塞标记最大值水线，则计算标记概率，并基于所述标记概率，对当前的传输数据包进行拥塞标记处理；
步骤A500，其中，若传输数据包存在拥塞标记，则收到拥塞通知CNP报文。
在本实施例中，装置主要由三个部分组成，分别是发送端、交换机端、接收端。在交换机端和大部分基于ECN的拥塞控制类似，采用和DCQCN、DCTCP类似的方式对包进行ECN标记，本申请针对不同链路带宽设置不同的ECN配置以及使用出队列ECN标记。本申请通过ECN机制与RED策略结合的方式完成对包是否进行ECN标记的判定，与DCQCN和DCTCP等大多基于ECN的拥塞控制不同的是，本申请抛弃了传统的入队列ECN标记方式，采用反馈更快的出队列ECN标记，即在报文出队列时判断当前出端口队列长度是否超过ECN水线，来进行ECN标记，从而缩短了ECN标记包在交换机队列中的转发时间。ECN（Explicit CongestionNotification，显式拥塞通知）是一种拥塞通知技术，ECN功能利用IP报文头中的DS域来标记报文传输路径上的拥塞状态（ECN字段置为11表示拥塞），根据交换机端口的链路带宽设定相应的上限长度Kmax、下限长度Kmin，基于RED策略并利用出队列ECN标记方式对交换机出端口中即将出队列的报文进行如下处理：
当队列的长度低于下限Kmin时，不标记即将出队列的报文；
当队列的长度超过上限Kmax时，标记即将出队列的报文；
当队列的长度在上限Kmax和下限Kmin之间时，按照概率P标记即将出队列的报文。
队列越长，标记概率越高，队列标记概率随队列长度线性增长，不超出最大概率Pmax，其中Kmin和Kmax的设置是根据链路带宽设置的，如下所示为Kmin、Kmax和标记概率P的计算方式：
根据INT（In-band Network Telemetry，带内网络遥测）技术，在数据包从发送方传播到接收方的过程中，路径上的每个交换机都利用其交换ASIC的INT特性插入一些元数据，本申请需要获取的交换机出端口INT信息包括时间戳(ts)、队列长度(qLen)、传输字节(txBytes)、ECN标记包的传输字节（EtxBytes）和链路带宽容量(B)。
当接收端收到报文后，首先把记录的INT信息复制到ACK消息中，并反馈回发送端，若发现报文中携带ECN拥塞标记（ECN字段为11），则知道网络中存在拥塞，立即向发送端发送CNP（Congestion Notification Packets，拥塞通知报文），即表明路径中存在网络拥塞。
在本申请中，通过准确的拥塞触发机制，有效的防止过度反应、节约计算资源并提升算法的稳定性。
基于上述的第一实施例和第二实施例，本申请还提供另一实施例，参照图4，所述数据中心网络拥塞控制方法包括：
1、当数据包在通过传输路径上的交换机时，根据INT（带内网络遥测）技术，利用数据面业务进行网络状况的收集，获取经过每一跳交换机的数据，分别是时间戳(ts)、队列长度(qLen)、传输字节(txBytes)、ECN标记包的传输字节（EtxBytes）和链路带宽容量(B)。并在出队列ECN标记的基础上根据技术内容中描述的RED策略判断是否对即将出队列的数据包进行ECN标记，即当数据包出队列时的交换机出端口队列长度超过上水线（Kmax）时，我们对数据包进行ECN标记（ECN字段置为11）；当队列长度低于下水线（Kmin）时，不对数据包进行ECN标记；当队列长度位于上下水线之间时，按照标记概率（P）对数据包进行ECN标记。若上一跳交换机已经对数据包进行ECN标记，那么在这一跳交换机中不需要对数据包进行任何处理，最后经过上述处理后，交换机端向接收端转发携带INT和ECN信息的数据包。
2、当接收端收到来自源端的数据包时，首先把记录的每一跳INT信息复制到ACK消息中，并发送给源端，然后检查报文中的ECN字段，如果ECN字段为11，则立即向发送端发送CNP报文，如果ECN字段为10或者01，则不需要进行任何处理，通过以上操作后接收端将ECN和INT信息反馈给发送端。
3、在发送端j接收到ACK消息后，会更新INT信息，发送端j始终会保留前一个ACK携带的INT信息和当前ACK携带的INT信息。发送端j的流是以线速启动发送的，直到发送端j收到CNP报文，此时首先初始化定时器Timer1，设置Agent在40微秒内最多触发一次，并立即触发Agent作出决策，每个源端都与一个DRL的Agent相关联如图5所示，利用当前和前一个INT信息中的每一跳交换机i的时间戳(ts)、传输字节(txBytes)和ECN标记包的传输字节(EtxBytes)计算获得每一跳交换机i的传输速率(txRate)、ECN标记包的输出速率(EtxRate)，然后分别累加每一跳的txRate、EtxRate、qLen求其链路总和，再求取平均值：，最后综合链路带宽总和（/>）、源端发包速率(/>)，将它们归一化处理后作为当前的State，同时更新INT信息：
且当发送端j发送新流的时候，需要清空发送端j的State的更新流程的全部参数。
在本实施例中，具体的计算方法参照以上步骤S110-S130，在此不再赘述。
4、发送端Agent采用局部网络状态并做出决策，输出一个升速因子/>和一个降速因子/>，源端j做降速处理。
发送端j完成降速处理的同时，启动定时器Timer2，并初始化Stage，当Timer2到达45微秒时，Agent没有被CNP报文触发，将Stage加1、重新初始化Timer2的同时立即执行升速处理。
当Agent在Timer2的定时时间内未被触发，发送端j则一直重复以上升速操作，当Stage到达设定阈值（Threshold=4）时，更新升速因子，改变源端速率。
且Stage超过设定阈值（Threshold>4）时，则以更大幅度更新升速因子，改变源端速率。
若Timer1到达40微秒之后，又收到CNP报文，则再次触发Agent作出决策，重复以上操作，若未收到CNP报文，则一直进行上述升速处理，且当大于等于线速时，发送端以线速发送，速度不再增加，直到Agent触发。
5、DRL训练更新：
当action执行完成后，Agent再次被触发，根据环境的反馈，即利用新到来的INT信息根据上述计算方法获得新状态和即时奖励/>。
/>
并将添加到经验回放池中，当Agent的参数池容量未到达设定值，不更新DRL模型，当Agent的参数池容量到达设定值后，从经验池中随机采样一个minibatch，即从经验池中抽样N个/>，并利用DDPG算法对模型进行更新学习，DDPG算法包含四个网络分别是Actor网络/>、Critic网络/>、TargetActor网络/>、Target Critic网络/>，其中/>为Actor网络的权重、/>为Critic网络的权重、/>为Target Actor网络的权重、/>为Target Critic网络的权重，通过TD_error对Critic网络进行参数更新，即先利用Target Critic网络/>来计算目标值/>，其中/>为折扣因子，利用/>与当前/>值的均方误差构造损失函数，进行梯度更新。
并依据确定性策略梯度对Actor网络进行参数更新，即把Actor的确定性动作函数代进Q-function的，然后求梯度，最后更新目标网络。
对于Target Actor网络和Target Critic网络的更新，DDPG算法采用了软更新方式（指数平均移动），即引入一个学习率(0.005)，将旧的目标网络参数和新的对应网络参数做加权平均，然后赋值给Target网络。
完成对所有网络的学习更新后，下次CNP报文触发Agent，Agent将利用新的Actor网络来选择动作，通过在线学习的方式训练模型，让Agent能够学习每个流量模型的特征，提升拥塞控制性能。
本发明具备如下有益效果：
1、根据深度强化学习的特点可知，其能够在不需要先验知识的前提下自主探索环境并逐步寻找获得较大奖励函数的策略，其Agent（智能体）具有强大的自主决策能力和对环境的适应能力，因此在数据中心机制的基础上，DRL与拥塞控制结合：(1)可以适应网络动态变化的场景，并寻找优秀的拥塞控制策略，具有很好的泛化能力；(2)可以在避免复杂费时的手动调优控制参数的同时，在线做出明智的决策；
2、只采用局部网络状态并做出决策，网络状态-动作空间会极大的减少，可以加快DRL模型收敛。由于设备间通信的减少，数据的传输也会减少，每个Agent独立决策，因而传输延迟会大大降低，在提升拥塞控制的反应速度的同时也很好的节约了计算资源、降低了网络开销；
3、基于ECN和INT信息设计的State和Reward，由于可以获得准确的网络和反馈信息，因此可以加快网络的收敛，网络的稳定性和性能同样可以得到很好的提升，且基于MIMD设计的action可以更快的恢复网络的状态并降低延迟。最后通过基于ECN的准确的拥塞触发机制，可以减少Agent的一些不必要的反复触发更新，进而可以在提升整体算法稳定性和性能的同时防止过度反应并节约计算资源。
本申请还提供一种数据中心网络拥塞控制装置，参照图3，所述数据中心网络拥塞控制装置包括：
获取模块10，用于当收到拥塞通知CNP报文时，获取交换机的第一状态信息；
降速模块20，用于将所述第一状态信息输入至当前的拥塞控制模型，基于所述拥塞控制模型，对所述第一状态信息进行拥塞分析处理，得到决策结果，并基于所述决策结果，对服务器端进行降速处理，其中，所述拥塞控制模型是基于分布式深度强化学习DRL训练得到的；
评分模块30，用于获取服务器端降速后交换机的第二状态信息，并基于所述第二状态信息，确定决策评分值；
更新模块40，用于基于所述决策评分值，对所述拥塞控制模型进行训练更新，得到更新后的拥塞控制模型，其中，所述更新后的拥塞控制模型用于下一轮的状态信息处理。
可选地，所述更新模块40，包括：
基于所述第二状态信息中的队列长度、数据包的传输字节和链路带宽容量，采用以下公式计算决策评分值：
其中，表示决策评分值，/>表示交换机的队列长度，/>表示链路带宽容量，/>表示数据包的传输字节，L表示吞吐量性能指标的评分值，Q表示延迟性能指标的评分值，/>表示吞吐量性能指标的评分值的权重，/>表示延迟性能指标的评分值的权重，/>，/>表示目标队列长度。
可选地，所述数据中心网络拥塞控制装置还包括：
队列长度数据获取模块，用于获取当前交换机的队列长度数据；
第一标记模块，用于若所述队列长度数据大于或者等于预设的拥塞标记最大值水线，则对当前的传输数据包进行拥塞标记；
第二标记模块，用于若所述队列长度数据小于或者等于预设的拥塞标记最小值水线，则不对当前的传输数据包进行拥塞标记；
第三标记模块，用于若所述队列长度数据大于所述拥塞标记最小值水线，并小于所述拥塞标记最大值水线，则计算标记概率，并基于所述标记概率，对当前的传输数据包进行拥塞标记处理；
报文发送模块，用于若对当前的传输数据包进行拥塞标记，则发送拥塞通知CNP报文。
可选地，所述降速模块20，包括：
速率降速调整模块，用于基于所述降速因子，对服务器端发包速率进行降速调整，以实现对服务器端的降速处理；
升速模块，用于判断是否需要对所述服务器端进行升速调整，若需要对所述服务器端进行升速调整，则基于所述升速因子，对服务器端发包速率进行升速调整，以实现对服务器端的升速处理。
可选地，所述升速模块，包括：
定时模块，用于开启预设时间的定时器；
升速确定模块，用于当满足在所述定时器的时间内并未收到所述CNP报文的条件时，则确定需要对所述服务器端进行升速调整；
升速调整模块，用于基于所述升速因子，对服务器端发包速率进行一次升速调整，并实时判断是否收到所述CNP报文，若完成上一次升速调整后，未收到所述CNP报文，则重复基于所述升速因子，对服务器端发包速率进行升速调整，并实时判断是否收到所述CNP报文的步骤，直至收到所述CNP报文后，停止对服务器端发包速率的升速调整。
可选地，所述升速调整模块，包括：
调整次数确定模块，用于基于所述升速因子，对服务器端发包速率进行一次升速调整，并确定升速调整次数，同时实时判断是否收到所述CNP报文；
第一重复升速模块，用于若完成上一次升速调整后，未收到所述CNP报文，则增加一次所述升速调整次数，并重复基于所述升速因子，对服务器端发包速率进行一次升速调整，并确定升速调整次数的步骤；
升速因子提升模块，用于当所述升速调整次数达到预设的升速次数阈值，则对所述升速因子进行提升调整；
第二重复升速模块，用于基于提升调整后的升速因子对服务器端发包速率进行相应的升速调整，同时实时判断是否收到所述CNP报文，若完成上一次升速调整后，未收到所述CNP报文，则重复基于提升调整后的升速因子对服务器端发包速率进行相应的升速调整，同时实时判断是否收到所述CNP报文；
停止升速模块，用于收到所述CNP报文后，停止对服务器端发包速率的升速调整。
可选地，所述获取模块10，包括：
初始状态信息获取模块，用于采用带内网络遥测技术INT，获取每一跳交换机的初始状态信息，其中，所述初始状态信息包括队列长度、数据包的传输字节、拥塞标记数据包的传输字节和链路带宽容量；
累加模块，用于将所述每一跳交换机的初始状态信息进行累加，得到交换机的第三状态信息；
均值计算模块，用于基于所述每一跳交换机，计算所述第三状态信息的平均值，得到交换机的第一状态信息。
本申请数据中心网络拥塞控制装置具体实施方式与上述数据中心网络拥塞控制方法各实施例基本相同，在此不再赘述。
参照图1，图1是本申请实施例方案涉及的硬件运行环境的终端结构示意图。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，该数据中心网络拥塞控制设备还可以包括矩形用户接口、网络接口、摄像头、RF（Radio Frequency，射频）电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏（Display）、输入子模块比如键盘（Keyboard），可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。
本领域技术人员可以理解，图1中示出的数据中心网络拥塞控制设备结构并不构成对数据中心网络拥塞控制设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块以及数据中心网络拥塞控制程序。操作系统是管理和控制数据中心网络拥塞控制设备硬件和软件资源的程序，支持数据中心网络拥塞控制程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与数据中心网络拥塞控制系统中其它硬件和软件之间通信。
在图1所示的数据中心网络拥塞控制设备中，处理器1001用于执行存储器1005中存储的数据中心网络拥塞控制程序，实现上述任一项所述的数据中心网络拥塞控制方法的步骤。
本申请数据中心网络拥塞控制设备具体实施方式与上述数据中心网络拥塞控制方法各实施例基本相同，在此不再赘述。
本申请还提供一种存储介质，所述存储介质上存储有实现数据中心网络拥塞控制方法的程序，所述实现数据中心网络拥塞控制方法的程序被处理器执行以实现如下所述数据中心网络拥塞控制方法：
当收到拥塞通知CNP报文时，获取交换机的第一状态信息；
将所述第一状态信息输入至当前的拥塞控制模型，基于所述拥塞控制模型，对所述第一状态信息进行拥塞分析处理，得到决策结果，并基于所述决策结果，对服务器端进行降速处理，其中，所述拥塞控制模型是基于分布式深度强化学习DRL训练得到的；
获取服务器端降速后交换机的第二状态信息，并基于所述第二状态信息，确定决策评分值；
基于所述决策评分值，对所述拥塞控制模型进行训练更新，得到更新后的拥塞控制模型，其中，所述更新后的拥塞控制模型用于下一轮的状态信息处理。
可选地，所述第二状态信息包括队列长度、数据包的传输字节和链路带宽容量，所述基于所述第二状态信息，确定决策评分值的步骤，包括：
基于所述第二状态信息中的队列长度、数据包的传输字节和链路带宽容量，采用以下公式计算决策评分值：
其中，表示决策评分值，/>表示交换机的队列长度，/>表示链路带宽容量，/>表示数据包的传输字节，L表示吞吐量性能指标的评分值，Q表示延迟性能指标的评分值，/>表示吞吐量性能指标的评分值的权重，/>表示延迟性能指标的评分值的权重，/>，/>表示目标队列长度。
可选地，所述当收到拥塞通知CNP报文时，获取交换机的第一状态信息的步骤之前，所述方法包括：
获取当前交换机的队列长度数据；
若所述队列长度数据大于或者等于预设的拥塞标记最大值水线，则对当前的传输数据包进行拥塞标记；
若所述队列长度数据小于或者等于预设的拥塞标记最小值水线，则不对当前的传输数据包进行拥塞标记；
若所述队列长度数据大于所述拥塞标记最小值水线，并小于所述拥塞标记最大值水线，则计算标记概率，并基于所述标记概率，对当前的传输数据包进行拥塞标记处理；
其中，若传输数据包存在拥塞标记，则收到拥塞通知CNP报文。
可选地，所述决策结果包括降速因子和升速因子，所述基于所述决策结果，对服务器端进行降速处理的步骤，包括：
基于所述降速因子，对服务器端发包速率进行降速调整，以实现对服务器端的降速处理；
判断是否需要对所述服务器端进行升速调整，若需要对所述服务器端进行升速调整，则基于所述升速因子，对服务器端发包速率进行升速调整，以实现对服务器端的升速处理。
可选地，所述判断是否需要对所述服务器端进行升速调整，若需要对所述服务器端进行升速调整，则基于所述升速因子，对服务器端发包速率进行升速调整，以实现对服务器端的升速处理的步骤，包括：
开启预设时间的定时器；
当满足在所述定时器的时间内并未收到所述CNP报文的条件时，则确定需要对所述服务器端进行升速调整；
基于所述升速因子，对服务器端发包速率进行一次升速调整，并实时判断是否收到所述CNP报文，若完成上一次升速调整后，未收到所述CNP报文，则重复基于所述升速因子，对服务器端发包速率进行升速调整，并实时判断是否收到所述CNP报文的步骤，直至收到所述CNP报文后，停止对服务器端发包速率的升速调整。
可选地，所述基于所述升速因子，对服务器端发包速率进行一次升速调整，并实时判断是否收到所述CNP报文，若完成上一次升速调整后，未收到所述CNP报文，则重复基于所述升速因子，对服务器端发包速率进行升速调整，并实时判断是否收到所述CNP报文的步骤，直至收到所述CNP报文后，停止对服务器端发包速率的升速调整的步骤，包括：
基于所述升速因子，对服务器端发包速率进行一次升速调整，并确定升速调整次数，同时实时判断是否收到所述CNP报文；
若完成上一次升速调整后，未收到所述CNP报文，则增加一次所述升速调整次数，并重复基于所述升速因子，对服务器端发包速率进行一次升速调整，并确定升速调整次数的步骤；
当所述升速调整次数达到预设的升速次数阈值，则对所述升速因子进行提升调整；
基于提升调整后的升速因子对服务器端发包速率进行相应的升速调整，同时实时判断是否收到所述CNP报文，若完成上一次升速调整后，未收到所述CNP报文，则重复基于提升调整后的升速因子对服务器端发包速率进行相应的升速调整，同时实时判断是否收到所述CNP报文；
其中，收到所述CNP报文后，停止对服务器端发包速率的升速调整。
可选地，所述获取交换机的第一状态信息的步骤，包括：
采用带内网络遥测技术INT，获取每一跳交换机的初始状态信息，其中，所述初始状态信息包括队列长度、数据包的传输字节、拥塞标记数据包的传输字节和链路带宽容量；
将所述每一跳交换机的初始状态信息进行累加，得到交换机的第三状态信息；
基于所述每一跳交换机，计算所述第三状态信息的平均值，得到交换机的第一状态信息。
本申请存储介质具体实施方式与上述数据中心网络拥塞控制方法各实施例基本相同，在此不再赘述。
本申请还提供一种计算机程序产品、包括计算机程序，该计算机程序被处理器执行时实现上述的数据中心网络拥塞控制方法的步骤。
本申请计算机程序产品的具体实施方式与上述数据中心网络拥塞控制方法各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (9)
1.一种数据中心网络拥塞控制方法，其特征在于，所述数据中心网络拥塞控制方法包括：
当收到拥塞通知CNP报文时，获取交换机的第一状态信息；
将所述第一状态信息输入至当前的拥塞控制模型，基于所述拥塞控制模型，对所述第一状态信息进行拥塞分析处理，得到决策结果，并基于所述决策结果，对服务器端进行降速处理，其中，所述拥塞控制模型是基于分布式深度强化学习DRL训练得到的；
获取服务器端降速后交换机的第二状态信息，所述第二状态信息包括队列长度、数据包的传输字节和链路带宽容量；
基于所述第二状态信息中的队列长度、数据包的传输字节和链路带宽容量，采用以下公式计算决策评分值：
其中，表示决策评分值，/>表示交换机的队列长度，/>表示链路带宽容量，表示数据包的传输字节，L表示吞吐量性能指标的评分值，Q表示延迟性能指标的评分值，/>表示吞吐量性能指标的评分值的权重，/>表示延迟性能指标的评分值的权重，，/>表示目标队列长度；
基于所述决策评分值，对所述拥塞控制模型进行训练更新，得到更新后的拥塞控制模型，其中，所述更新后的拥塞控制模型用于下一轮的状态信息处理。
2.如权利要求1所述的数据中心网络拥塞控制方法，其特征在于，所述当收到拥塞通知CNP报文时，获取交换机的第一状态信息的步骤之前，所述方法包括：
获取当前交换机的队列长度数据；
若所述队列长度数据大于或者等于预设的拥塞标记最大值水线，则对当前的传输数据包进行拥塞标记；
若所述队列长度数据小于或者等于预设的拥塞标记最小值水线，则不对当前的传输数据包进行拥塞标记；
若所述队列长度数据大于所述拥塞标记最小值水线，并小于所述拥塞标记最大值水线，则计算标记概率，并基于所述标记概率，对当前的传输数据包进行拥塞标记处理；
其中，若传输数据包存在拥塞标记，则收到拥塞通知CNP报文。
3.如权利要求1所述的数据中心网络拥塞控制方法，其特征在于，所述决策结果包括降速因子和升速因子，所述基于所述决策结果，对服务器端进行降速处理的步骤，包括：
基于所述降速因子，对服务器端发包速率进行降速调整，以实现对服务器端的降速处理；
判断是否需要对所述服务器端进行升速调整，若需要对所述服务器端进行升速调整，则基于所述升速因子，对服务器端发包速率进行升速调整，以实现对服务器端的升速处理。
4.如权利要求3所述的数据中心网络拥塞控制方法，其特征在于，所述判断是否需要对所述服务器端进行升速调整，若需要对所述服务器端进行升速调整，则基于所述升速因子，对服务器端发包速率进行升速调整，以实现对服务器端的升速处理的步骤，包括：
开启预设时间的定时器；
当满足在所述定时器的时间内并未收到所述CNP报文的条件时，则确定需要对所述服务器端进行升速调整；
基于所述升速因子，对服务器端发包速率进行一次升速调整，并实时判断是否收到所述CNP报文，若完成上一次升速调整后，未收到所述CNP报文，则重复基于所述升速因子，对服务器端发包速率进行升速调整，并实时判断是否收到所述CNP报文的步骤，直至收到所述CNP报文后，停止对服务器端发包速率的升速调整。
5.如权利要求4所述的数据中心网络拥塞控制方法，其特征在于，所述基于所述升速因子，对服务器端发包速率进行一次升速调整，并实时判断是否收到所述CNP报文，若完成上一次升速调整后，未收到所述CNP报文，则重复基于所述升速因子，对服务器端发包速率进行升速调整，并实时判断是否收到所述CNP报文的步骤，直至收到所述CNP报文后，停止对服务器端发包速率的升速调整的步骤，包括：
基于所述升速因子，对服务器端发包速率进行一次升速调整，并确定升速调整次数，同时实时判断是否收到所述CNP报文；
若完成上一次升速调整后，未收到所述CNP报文，则增加一次所述升速调整次数，并重复基于所述升速因子，对服务器端发包速率进行一次升速调整，并确定升速调整次数的步骤；
当所述升速调整次数达到预设的升速次数阈值，则对所述升速因子进行提升调整；
基于提升调整后的升速因子对服务器端发包速率进行相应的升速调整，同时实时判断是否收到所述CNP报文，若完成上一次升速调整后，未收到所述CNP报文，则重复基于提升调整后的升速因子对服务器端发包速率进行相应的升速调整，同时实时判断是否收到所述CNP报文；
其中，收到所述CNP报文后，停止对服务器端发包速率的升速调整。
6.如权利要求1所述的数据中心网络拥塞控制方法，其特征在于，所述获取交换机的第一状态信息的步骤，包括：
采用带内网络遥测技术INT，获取每一跳交换机的初始状态信息，其中，所述初始状态信息包括队列长度、数据包的传输字节、拥塞标记数据包的传输字节和链路带宽容量；
将所述每一跳交换机的初始状态信息进行累加，得到交换机的第三状态信息；
基于所述每一跳交换机，计算所述第三状态信息的平均值，得到交换机的第一状态信息。
7.一种数据中心网络拥塞控制装置，其特征在于，所述数据中心网络拥塞控制装置包括：
获取模块，用于当收到拥塞通知CNP报文时，获取交换机的第一状态信息；
降速模块，用于将所述第一状态信息输入至当前的拥塞控制模型，基于所述拥塞控制模型，对所述第一状态信息进行拥塞分析处理，得到决策结果，并基于所述决策结果，对服务器端进行降速处理，其中，所述拥塞控制模型是基于分布式深度强化学习DRL训练得到的；
状态信息获取模块，用于获取服务器端降速后交换机的第二状态信息，所述第二状态信息包括队列长度、数据包的传输字节和链路带宽容量
评分模块，用于基于所述第二状态信息中的队列长度、数据包的传输字节和链路带宽容量，采用以下公式计算决策评分值：
其中，表示决策评分值，/>表示交换机的队列长度，/>表示链路带宽容量，表示数据包的传输字节，L表示吞吐量性能指标的评分值，Q表示延迟性能指标的评分值，/>表示吞吐量性能指标的评分值的权重，/>表示延迟性能指标的评分值的权重，，/>表示目标队列长度；
更新模块，用于基于所述决策评分值，对所述拥塞控制模型进行训练更新，得到更新后的拥塞控制模型，其中，所述更新后的拥塞控制模型用于下一轮的状态信息处理。
8.一种数据中心网络拥塞控制设备，其特征在于，所述数据中心网络拥塞控制设备包括：存储器、处理器以及存储在存储器上的用于实现所述数据中心网络拥塞控制方法的程序，
所述存储器用于存储实现数据中心网络拥塞控制方法的程序；
所述处理器用于执行实现所述数据中心网络拥塞控制方法的程序，以实现如权利要求1至6中任一项所述数据中心网络拥塞控制方法的步骤。
9.一种存储介质，其特征在于，所述存储介质上存储有实现数据中心网络拥塞控制方法的程序，所述实现数据中心网络拥塞控制方法的程序被处理器执行以实现如权利要求1至6中任一项所述数据中心网络拥塞控制方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311178985.2A CN116915706B (zh) | 2023-09-13 | 2023-09-13 | 数据中心网络拥塞控制方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311178985.2A CN116915706B (zh) | 2023-09-13 | 2023-09-13 | 数据中心网络拥塞控制方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116915706A CN116915706A (zh) | 2023-10-20 |
| CN116915706B true CN116915706B (zh) | 2023-12-26 |
Family
ID=88355074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311178985.2A Active CN116915706B (zh) | 2023-09-13 | 2023-09-13 | 数据中心网络拥塞控制方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116915706B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117749707A (zh) * | 2023-12-21 | 2024-03-22 | 杭州粒子光速科技有限公司 | 一种面向复杂网络环境的拥塞控制策略发现方法 |
Citations (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106101005A (zh) * | 2016-08-09 | 2016-11-09 | 中南大学 | 一种数据中心网络中基于分组长度的拥塞控制方法 |
| WO2017177356A1 (zh) * | 2016-04-11 | 2017-10-19 | 华为技术有限公司 | 数据传输的方法、基站和用户设备 |
| CN107547418A (zh) * | 2016-06-29 | 2018-01-05 | 华为技术有限公司 | 一种拥塞控制方法和装置 |
| CN108270691A (zh) * | 2018-01-11 | 2018-07-10 | 电子科技大学 | 一种用于数据中心的可选择性显式拥塞通知标记方法 |
| CN108667739A (zh) * | 2017-03-27 | 2018-10-16 | 华为技术有限公司 | 拥塞控制方法、装置及系统 |
| CN108718283A (zh) * | 2018-05-03 | 2018-10-30 | 电子科技大学 | 数据中心网络中集中式端网协调的tcp拥塞控制方法 |
| CN111490943A (zh) * | 2019-01-29 | 2020-08-04 | 中兴通讯股份有限公司 | 拥塞控制方法、终端及可读存储介质 |
| CN111818570A (zh) * | 2020-07-25 | 2020-10-23 | 清华大学 | 一种面向真实网络环境的智能拥塞控制方法及系统 |
| CN112615789A (zh) * | 2020-12-09 | 2021-04-06 | 盛科网络（苏州）有限公司 | 带外流量控制方法及设备 |
| WO2021088893A1 (zh) * | 2019-11-05 | 2021-05-14 | 中兴通讯股份有限公司 | 一种tcp拥塞控制方法、装置、终端及可读存储介质 |
| WO2021128181A1 (zh) * | 2019-12-25 | 2021-07-01 | 深圳大学 | 一种自适应调节拥塞控制初始窗口的方法和系统 |
| WO2021147704A1 (zh) * | 2020-01-23 | 2021-07-29 | 华为技术有限公司 | 拥塞控制方法及装置 |
| CN113300916A (zh) * | 2021-07-27 | 2021-08-24 | 中国人民解放军国防科技大学 | 一种基于流水印的数据中心网络拥塞检测系统及方法 |
| CN113411264A (zh) * | 2021-06-30 | 2021-09-17 | 中国工商银行股份有限公司 | 一种网络队列的监控方法、装置、计算机设备和存储介质 |
| CN113507420A (zh) * | 2021-08-05 | 2021-10-15 | 清华大学 | 一种拥塞控制方法及装置 |
| CN113572694A (zh) * | 2020-04-29 | 2021-10-29 | 华为技术有限公司 | 拥塞控制方法、装置及系统、计算机存储介质 |
| CN113595923A (zh) * | 2021-08-11 | 2021-11-02 | 国网信息通信产业集团有限公司 | 一种网络拥塞控制方法及装置 |
| CN113746744A (zh) * | 2020-05-30 | 2021-12-03 | 华为技术有限公司 | 网络拥塞的控制方法、装置、设备、系统及存储介质 |
| WO2022111724A1 (zh) * | 2020-11-30 | 2022-06-02 | 苏州盛科通信股份有限公司 | 网络拥塞检测方法及装置 |
| WO2022161206A1 (zh) * | 2021-01-30 | 2022-08-04 | 华为技术有限公司 | 处理网络拥塞的方法、装置和设备 |
| CN114938350A (zh) * | 2022-06-15 | 2022-08-23 | 长沙理工大学 | 数据中心无损网络中基于拥塞反馈的数据流传输控制方法 |
| CN114938354A (zh) * | 2022-06-24 | 2022-08-23 | 北京有竹居网络技术有限公司 | 拥塞控制的方法、装置、设备和存储介质 |
| CN115037672A (zh) * | 2022-04-28 | 2022-09-09 | 北京邮电大学 | 多路径拥塞控制方法及装置 |
| CN115314442A (zh) * | 2022-08-08 | 2022-11-08 | 北京云脉芯联科技有限公司 | 拥塞控制和基于Group的限速限窗装置及方法、限速限窗方法 |
| CN115412497A (zh) * | 2022-11-01 | 2022-11-29 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种bbr拥塞控制算法的性能优化方法 |
| CN115460156A (zh) * | 2022-09-21 | 2022-12-09 | 长沙理工大学 | 一种数据中心无损网络拥塞控制方法、装置、设备及介质 |
| CN115914115A (zh) * | 2022-12-15 | 2023-04-04 | 苏州浪潮智能科技有限公司 | 网络拥塞控制方法、装置及通信系统 |
| CN116055415A (zh) * | 2023-01-10 | 2023-05-02 | 中国联合网络通信集团有限公司 | 数据包的传输控制方法及装置 |
| WO2023093256A1 (zh) * | 2021-11-25 | 2023-06-01 | 华为技术有限公司 | 一种参数调整方法和装置 |
| CN116455820A (zh) * | 2023-04-26 | 2023-07-18 | 齐鲁工业大学(山东省科学院) | 基于拥塞规避的多传输路径调整系统及方法 |
| CN116471629A (zh) * | 2023-05-06 | 2023-07-21 | 重庆邮电大学 | 一种基于深度强化学习的物联网智能拥塞控制方法 |
| CN116489106A (zh) * | 2023-06-21 | 2023-07-25 | 新华三技术有限公司 | 一种拥塞控制方法、装置、转发芯片及客户端 |
| WO2023142937A1 (zh) * | 2022-01-27 | 2023-08-03 | 华为技术有限公司 | 一种网络拥塞控制方法及相关装置 |
| CN116545933A (zh) * | 2023-07-06 | 2023-08-04 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 网络拥塞控制方法、装置、设备及存储介质 |
| CN116545936A (zh) * | 2023-07-05 | 2023-08-04 | 苏州浪潮智能科技有限公司 | 拥塞控制方法、系统、装置、通信设备及存储介质 |
-
2023
- 2023-09-13 CN CN202311178985.2A patent/CN116915706B/zh active Active
Patent Citations (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017177356A1 (zh) * | 2016-04-11 | 2017-10-19 | 华为技术有限公司 | 数据传输的方法、基站和用户设备 |
| CN107547418A (zh) * | 2016-06-29 | 2018-01-05 | 华为技术有限公司 | 一种拥塞控制方法和装置 |
| CN106101005A (zh) * | 2016-08-09 | 2016-11-09 | 中南大学 | 一种数据中心网络中基于分组长度的拥塞控制方法 |
| CN108667739A (zh) * | 2017-03-27 | 2018-10-16 | 华为技术有限公司 | 拥塞控制方法、装置及系统 |
| CN108270691A (zh) * | 2018-01-11 | 2018-07-10 | 电子科技大学 | 一种用于数据中心的可选择性显式拥塞通知标记方法 |
| CN108718283A (zh) * | 2018-05-03 | 2018-10-30 | 电子科技大学 | 数据中心网络中集中式端网协调的tcp拥塞控制方法 |
| CN111490943A (zh) * | 2019-01-29 | 2020-08-04 | 中兴通讯股份有限公司 | 拥塞控制方法、终端及可读存储介质 |
| WO2021088893A1 (zh) * | 2019-11-05 | 2021-05-14 | 中兴通讯股份有限公司 | 一种tcp拥塞控制方法、装置、终端及可读存储介质 |
| WO2021128181A1 (zh) * | 2019-12-25 | 2021-07-01 | 深圳大学 | 一种自适应调节拥塞控制初始窗口的方法和系统 |
| WO2021147704A1 (zh) * | 2020-01-23 | 2021-07-29 | 华为技术有限公司 | 拥塞控制方法及装置 |
| CN113572694A (zh) * | 2020-04-29 | 2021-10-29 | 华为技术有限公司 | 拥塞控制方法、装置及系统、计算机存储介质 |
| JP2021175194A (ja) * | 2020-04-29 | 2021-11-01 | 華為技術有限公司Huawei Technologies Co., Ltd. | 輻輳制御方法、装置及びシステム並びにコンピュータ記憶媒体 |
| CN113746744A (zh) * | 2020-05-30 | 2021-12-03 | 华为技术有限公司 | 网络拥塞的控制方法、装置、设备、系统及存储介质 |
| WO2021244240A1 (zh) * | 2020-05-30 | 2021-12-09 | 华为技术有限公司 | 网络拥塞的控制方法、装置、设备、系统及存储介质 |
| CN111818570A (zh) * | 2020-07-25 | 2020-10-23 | 清华大学 | 一种面向真实网络环境的智能拥塞控制方法及系统 |
| WO2022111724A1 (zh) * | 2020-11-30 | 2022-06-02 | 苏州盛科通信股份有限公司 | 网络拥塞检测方法及装置 |
| CN112615789A (zh) * | 2020-12-09 | 2021-04-06 | 盛科网络（苏州）有限公司 | 带外流量控制方法及设备 |
| WO2022161206A1 (zh) * | 2021-01-30 | 2022-08-04 | 华为技术有限公司 | 处理网络拥塞的方法、装置和设备 |
| CN113411264A (zh) * | 2021-06-30 | 2021-09-17 | 中国工商银行股份有限公司 | 一种网络队列的监控方法、装置、计算机设备和存储介质 |
| CN113300916A (zh) * | 2021-07-27 | 2021-08-24 | 中国人民解放军国防科技大学 | 一种基于流水印的数据中心网络拥塞检测系统及方法 |
| WO2023011179A1 (zh) * | 2021-08-05 | 2023-02-09 | 清华大学 | 一种拥塞控制方法及装置 |
| CN113507420A (zh) * | 2021-08-05 | 2021-10-15 | 清华大学 | 一种拥塞控制方法及装置 |
| CN113595923A (zh) * | 2021-08-11 | 2021-11-02 | 国网信息通信产业集团有限公司 | 一种网络拥塞控制方法及装置 |
| WO2023093256A1 (zh) * | 2021-11-25 | 2023-06-01 | 华为技术有限公司 | 一种参数调整方法和装置 |
| WO2023142937A1 (zh) * | 2022-01-27 | 2023-08-03 | 华为技术有限公司 | 一种网络拥塞控制方法及相关装置 |
| CN115037672A (zh) * | 2022-04-28 | 2022-09-09 | 北京邮电大学 | 多路径拥塞控制方法及装置 |
| CN114938350A (zh) * | 2022-06-15 | 2022-08-23 | 长沙理工大学 | 数据中心无损网络中基于拥塞反馈的数据流传输控制方法 |
| CN114938354A (zh) * | 2022-06-24 | 2022-08-23 | 北京有竹居网络技术有限公司 | 拥塞控制的方法、装置、设备和存储介质 |
| CN115314442A (zh) * | 2022-08-08 | 2022-11-08 | 北京云脉芯联科技有限公司 | 拥塞控制和基于Group的限速限窗装置及方法、限速限窗方法 |
| CN115460156A (zh) * | 2022-09-21 | 2022-12-09 | 长沙理工大学 | 一种数据中心无损网络拥塞控制方法、装置、设备及介质 |
| CN115412497A (zh) * | 2022-11-01 | 2022-11-29 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种bbr拥塞控制算法的性能优化方法 |
| CN115914115A (zh) * | 2022-12-15 | 2023-04-04 | 苏州浪潮智能科技有限公司 | 网络拥塞控制方法、装置及通信系统 |
| CN116055415A (zh) * | 2023-01-10 | 2023-05-02 | 中国联合网络通信集团有限公司 | 数据包的传输控制方法及装置 |
| CN116455820A (zh) * | 2023-04-26 | 2023-07-18 | 齐鲁工业大学(山东省科学院) | 基于拥塞规避的多传输路径调整系统及方法 |
| CN116471629A (zh) * | 2023-05-06 | 2023-07-21 | 重庆邮电大学 | 一种基于深度强化学习的物联网智能拥塞控制方法 |
| CN116489106A (zh) * | 2023-06-21 | 2023-07-25 | 新华三技术有限公司 | 一种拥塞控制方法、装置、转发芯片及客户端 |
| CN116545936A (zh) * | 2023-07-05 | 2023-08-04 | 苏州浪潮智能科技有限公司 | 拥塞控制方法、系统、装置、通信设备及存储介质 |
| CN116545933A (zh) * | 2023-07-06 | 2023-08-04 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 网络拥塞控制方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 数据中心网络传输协议综述;曾高雄;胡水海;张骏雪;陈凯;;计算机研究与发展(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116915706A (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109412900B (zh) | 一种网络状态识别的方法、模型训练的方法及装置 | |
| CN111092823B (zh) | 一种自适应调节拥塞控制初始窗口的方法和系统 | |
| CN116915706B (zh) | 数据中心网络拥塞控制方法、装置、设备及存储介质 | |
| CN110581808A (zh) | 一种基于深度强化学习的拥塞控制方法及系统 | |
| WO2021103706A1 (zh) | 控制数据包发送方法、模型训练方法、装置及系统 | |
| CN110955463A (zh) | 支持边缘计算的物联网多用户计算卸载方法 | |
| Su et al. | QRED: A Q-learning-based active queue management scheme | |
| CN112954385A (zh) | 一种基于控制论和数据驱动的自适应分流决策方法 | |
| CN113438315B (zh) | 基于双网络深度强化学习的物联网信息新鲜度优化方法 | |
| CN113760511B (zh) | 一种基于深度确定性策略的车辆边缘计算任务卸载方法 | |
| CN107070802A (zh) | 基于pid控制器的无线传感器网络拥塞控制技术 | |
| CN114945004A (zh) | 拥塞控制方法、装置、电子设备及存储介质 | |
| CN113825171A (zh) | 网络拥塞控制方法、装置、设备及介质 | |
| CN110012324A (zh) | 一种嵌入式无线视频传输的码率自适应方法及系统 | |
| CN109698925A (zh) | 基于数据驱动的实时视频拥塞控制方法及装置 | |
| CN116455522A (zh) | 对灯光互动控制信息传输方法及系统 | |
| CN115130649A (zh) | 一种面向流水线分布式端云协同推理的深度学习模型划分方法和装置 | |
| CN109347606B (zh) | 一种数据处理方法、装置、网络侧设备及终端设备 | |
| CN109819040A (zh) | 应用数据缓存方法、装置、智能终端及存储介质 | |
| CN117499297A (zh) | 数据包传输路径的筛选方法及装置 | |
| CN113672819A (zh) | 一种基于推荐感知和协作边缘缓存的内容请求处理系统 | |
| CN117354934A (zh) | 一种多时隙mec系统双时间尺度任务卸载和资源分配方法 | |
| CN110505293B (zh) | 一种雾无线接入网中基于改进的果蝇优化算法的协作缓存方法 | |
| CN111488208A (zh) | 基于可变步长蝙蝠算法的边云协同计算节点调度优化方法 | |
| CN116389375A (zh) | 一种面向直播视频流的网络队列管理方法、设备及路由器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |