CN113179218B - 模型训练方法、网络拥塞控制方法、装置及相关产品 - Google Patents
模型训练方法、网络拥塞控制方法、装置及相关产品 Download PDFInfo
- Publication number
- CN113179218B CN113179218B CN202110443151.4A CN202110443151A CN113179218B CN 113179218 B CN113179218 B CN 113179218B CN 202110443151 A CN202110443151 A CN 202110443151A CN 113179218 B CN113179218 B CN 113179218B
- Authority
- CN
- China
- Prior art keywords
- data
- congestion control
- transmission
- network congestion
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 154
- 238000000034 method Methods 0.000 title claims abstract description 89
- 230000005540 biological transmission Effects 0.000 claims abstract description 332
- 238000003062 neural network model Methods 0.000 claims abstract description 188
- 230000006399 behavior Effects 0.000 claims description 138
- 238000013507 mapping Methods 0.000 claims description 24
- 230000004044 response Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 15
- 238000004590 computer program Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本公开公开了一种模型训练方法、网络拥塞控制方法、装置及相关产品。涉及云计算技术领域，具体为云存储技术。具体实现方案为：获取本端设备和对端设备之间的至少一个线下网络连接；针对每个线下网络连接，对网络拥塞控制数据进行调整，并采集线下网络连接在网络拥塞控制数据调整后对应的第一传输行为数据及第一传输结果数据；根据调整后的网络拥塞控制数据、对应的第一传输行为数据及第一传输结果数据构建对应的训练样本；采用训练样本对预设神经网络模型进行训练，以获得训练至收敛的神经网络模型，训练至收敛的神经网络模型用于确定本端设备与对端设备进行线上网络连接时对应的最优网络拥塞控制数据。
Description
技术领域
本公开涉及云计算技术领域，具体为云存储技术，尤其涉及一种模型训练方法、网络拥塞控制方法、装置及相关产品。
背景技术
随着网络通信技术和云计算技术的不断发展，对网络中大吞吐量、低时延及低卡顿的需求越来越迫切。但目前数据在网络传输过程中常常发生吞吐量小、时延大及卡顿严重的问题。这就造成了网络拥塞的现象。
目前一般采用网络拥塞控制算法来对网络拥塞进行控制。具体地，获取整体网络的情况、或者机器级别、域名级别的网络情况，进而根据网络情况对控制网络拥塞的参数进行调整，根据调整后的参数改善网络拥塞的情况。
发明内容
本公开提供了一种模型训练方法、网络拥塞控制方法、装置及相关产品。
根据本公开的第一方面，提供了一种用于网络拥塞控制的神经网络模型训练方法，包括：
获取本端设备和对端设备之间的至少一个线下网络连接；
针对每个线下网络连接，对网络拥塞控制数据进行调整，并采集所述线下网络连接在所述网络拥塞控制数据调整后对应的第一传输行为数据及第一传输结果数据；
根据调整后的网络拥塞控制数据、对应的第一传输行为数据及第一传输结果数据构建对应的训练样本；
采用所述训练样本对预设神经网络模型进行训练，以获得训练至收敛的神经网络模型，所述训练至收敛的神经网络模型用于确定本端设备与对端设备进行线上网络连接时对应的最优网络拥塞控制数据。
根据本公开的第二方面，提供了一种基于神经网络模型的网络拥塞控制方法，包括：
若监测到本端设备与对端设备进行线上网络连接，则采集所述线上网络连接对应的第二传输行为数据及第二传输结果数据；
将所述第二传输行为数据及所述第二传输结果数据输入到训练至收敛的神经网络模型中；
通过所述训练至收敛的神经网络模型输出所述网络连接对应的最优网络拥塞控制数据；所述训练至收敛的神经网络模型是通过训练样本训练获得的，所述训练样本是通过本端设备和对端设备之间的线下网络连接对应的调整后的网络拥塞控制数据、对应的第一传输行为数据及第一传输结果数据构建的；
根据所述最优网络拥塞控制参数对所述线上网络连接进行网络拥塞控制。
根据本公开的第三方面，提供一种用于网络拥塞控制的神经网络模型训练装置，包括：
获取单元，用于获取本端设备和对端设备之间的至少一个线下网络连接；
调整单元，用于针对每个线下网络连接，对网络拥塞控制数据进行调整；
采集单元，用于采集所述线下网络连接在所述网络拥塞控制数据调整后对应的第一传输行为数据及第一传输结果数据；
构建单元，用于根据调整后的网络拥塞控制数据、对应的第一传输行为数据及第一传输结果数据构建对应的训练样本；
训练单元，用于采用所述训练样本对预设神经网络模型进行训练，以获得训练至收敛的神经网络模型，所述训练至收敛的神经网络模型用于确定本端设备与对端设备进行线上网络连接时对应的最优网络拥塞控制数据。
根据本公开的第四方面，提供一种基于神经网络模型的网络拥塞控制装置，包括：
采集单元，用于若监测到本端设备与对端设备进行线上网络连接，则采集所述线上网络连接对应的第二传输行为数据及第二传输结果数据；
输入单元，用于将所述第二传输行为数据及所述第二传输结果数据输入到训练至收敛的神经网络模型中；
输出单元，用于通过所述训练至收敛的神经网络模型输出所述网络连接对应的最优网络拥塞控制数据；所述训练至收敛的神经网络模型是通过训练样本训练获得的，所述训练样本是通过本端设备和对端设备之间的线下网络连接对应的调整后的网络拥塞控制数据、对应的第一传输行为数据及第一传输结果数据构建的；
控制单元，用于根据所述最优网络拥塞控制参数对所述线上网络连接进行网络拥塞控制。
根据本公开的第五方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面或第二方面所述的方法。
根据本公开的第六方面，提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面或第二方面所述的方法。
根据本公开的第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面或第二方面所述的方法。
根据本公开的模型训练方法、网络拥塞控制方法、装置及相关产品，通过技术解决了无法有效改善本端设备和对端设备之间每一个网络连接的网络拥塞情况的问题。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开提供的用于网络拥塞控制的神经网络模型训练方法及基于神经网络模型的网络拥塞控制方法的第一网络架构示意图；
图2是根据本公开提供的用于网络拥塞控制的神经网络模型训练方法及基于神经网络模型的网络拥塞控制方法的第二网络架构示意图；
图3是根据本公开第一实施例提供的用于网络拥塞控制的神经网络模型训练方法的流程示意图；
图4是根据本公开第二实施例提供的用于网络拥塞控制的神经网络模型训练方法的流程示意图；
图5是根据本公开第二实施例提供的用于网络拥塞控制的神经网络模型训练方法的交互示意图；
图6是根据本公开第三实施例提供的基于神经网络模型的网络拥塞控制方法的流程示意图；
图7是根据本公开第三实施例提供的基于神经网络模型的网络拥塞控制方法的交互示意图；
图8是根据本公开第四实施例提供的基于神经网络模型的网络拥塞控制方法的流程示意图；
图9是根据本公开第五实施例提供的用于网络拥塞控制的神经网络模型训练装置的结构示意图；
图10是根据本公开第六实施例提供的基于神经网络模型的网络拥塞控制装置的结构示意图；
图11是用来实现本公开实施例的用于网络拥塞控制的神经网络模型训练方法的电子设备的框图；
图12是用来实现本公开实施例的基于神经网络模型的网络拥塞控制方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
为了清楚理解本公开的技术方案，首先对现有技术的技术方案进行详细介绍。
现有技术中，一般采用网络拥塞控制算法来对网络拥塞进行控制。目前网络拥塞控制算法主要有BBR、CUBIC及RENO等。采用这些网络拥塞控制算法的主要原理是：首先确定网络进行数据传输的初始网络参数，然后根据整体网络的情况或者机器级别、域名级别的网络情况，进行初始网络参数的动态调整，以及进行网络拥塞控制算法中超参数的调整。通过对初始网络参数，超参的调整来优化网络拥塞控制算法，通过优化后的拥塞控制算法控制整体的网络传输情况，或者机器级别或域名级别的网络传输情况，以尽量进行网络传输的优化。
而现有技术中对对初始网络参数及超参数的调整都是基于经验值，所以现有技术中对网络拥塞控制的方法，并不能得到最优的调控参数，对网络拥塞的优化也不能达到最佳优化的效果。并且现有技术中只能从整体网络的层面，或者机器级别、域名级别的层面进行网络拥塞的优化。并不能使本端设备和对端设备之间的每一个网络连接得到网络拥塞的有效改善。
所以面对现有技术中的技术问题，发明人通过创造性的研究发现，虽然本端设备和对端设备之间进行每个网络连接时，对应的业务需求可能不同，但每个网络连接对应的传输效果的好坏与该网络连接对应的传输行为数据及网络拥塞控制数据有直接的关系。而且为了摆脱对初始网络参数及超参数的调整依赖经验值的问题，深度学习算法是一个很好的解决方式。所以本公开中可针对每个线下网络连接，对网络拥塞控制数据进行调整后，采集线下网络连接对应的传输行为数据及传输结果数据，通过调整后的网络拥塞控制数据、对应的传输行为数据及传输结果数据构建对应的训练样本，采用训练样本对预设神经网络模型进行训练，以获得训练至收敛的神经网络模型。在该训练至收敛的神经网络模型中能够根据传输行为数据及传输结果数据确定进行调整的最优网络拥塞控制数据。所以在本端设备和对端设备进行线上网络连接时，可采集该线上网络连接对应的传输行为数据及传输结果数据，并将上网络连接对应的传输行为数据及传输结果数据输入到训练至收敛的神经网络模型中，并通过该训练至收敛的神经网络模型输出该线上网络连接对应的最优网络拥塞控制数据，并根据最优网络拥塞控制参数对线上网络连接进行网络拥塞控制。由于训练至收敛的神经网络模型是基于每个网络连接对应的训练样本训练获得的，所以该训练至收敛的神经网络模型能够针对每个线上网络连接确定出最优的网络拥塞控制数据，而且该最优的网络拥塞控制数据并不依赖于经验值，更加的准确。进而使本端设备和对端设备之间每一个网络连接的网络拥塞情况得到有效改善。
发明人基于上述的创造性发现，提出了本公开的技术方案。下面对本公开提供的用于网络拥塞控制的神经网络模型训练方法及基于神经网络模型的网络拥塞控制方法的网络架构进行介绍。
图1是根据本公开提供的用于网络拥塞控制的神经网络模型训练方法及基于神经网络模型的网络拥塞控制方法的第一网络架构示意图，如图1所示，该网络架构中包括一种典型的网络服务架构。该典型的网络服务架构中本端设备和对端设备一个为终端设备1，一个为服务器2。终端设备1和服务器2之间通过局域网或广域网进行网络连接。终端设备1通过网络连接请求服务器2上的资源，服务器2将对应的资源传输到终端设备1。在图1的网络架构中，电子设备3分别与终端设备1及服务器2进行通信连接。在对神经网络模型的训练阶段，终端设备1和服务器2之间通过局域网或广域网进行至少一个网络连接，该网络连接为一种线下网络连接。即是进行网络拥塞测试阶段的网络连接，该线下网络连接不为用户提供真正的业务服务。电子设备3获取到终端设备1和服务器2之间的至少一个线下网络连接后，获取对预设神经网络模型进行训练的训练样本，并对预设神经网络模型进行训练，获得训练至收敛的神经网络模型。然后电子设备3将训练至收敛的神经网络模型部署在线上，在为终端设备1所属的用户提供真正的业务服务时，电子设备3监测终端设备1与服务器2之间是否存在线上网络连接，若监测到存在线上网络连接，则利用训练至收敛的神经网络模型确定该线上网络连接对应的最优网络拥塞控制数据，进而根据最优网络拥塞控制参数对线上网络连接进行网络拥塞控制。
图2是根据本公开提供的用于网络拥塞控制的神经网络模型训练方法及基于神经网络模型的网络拥塞控制方法的第二网络架构示意图。在图2提供的网络架构与图1提供的网络架构的区别为：该网络架构包括另一种典型的网络服务架构，该典型的网络服务架构为数据中心(简称：IDC)内部或点对点(简称：P2P)网络服务架构。这种网络架构广泛应用在云计算领域中。即本端设备和对端设备均为服务器，在图2中分别为第一服务器21和第二服务器22，服务器之间进行网络连接，并互相传输数据。在图2的网络架构中，电子设备3分别与第一服务器21和第二服务器22进行通信连接。电子设备3执行的具体方法与图1中电子设备执行的具体方法类似，在此不再一一赘述。
以下将参照附图来具体描述本公开的实施例。
图3是根据本公开第一实施例提供的用于网络拥塞控制的神经网络模型训练方法的流程示意图，如图3所示，本实施例提供的用于网络拥塞控制的神经网络模型训练方法的执行主体为用于网络拥塞控制的神经网络模型训练装置，该用于网络拥塞控制的神经网络模型训练装置位于电子设备中，则本实施例提供的用于网络拥塞控制的神经网络模型训练方法包括以下步骤：
步骤301，获取本端设备和对端设备之间的至少一个线下网络连接。
本实施例中，在图1所示的网络架构中，本端设备可以为终端设备，相应地，对端设备为建立线下网络连接的服务器。或者本端设备可以为服务器，相应地，对端设备为建立线下网络连接的终端设备。
或者本实施例中，在图2所示的网络架构中，本端设备为本端服务器，相应地，对端设备为建立线下网络连接的对端服务器。
其中，线下网络连接是进行网络拥塞测试阶段的网络连接，该线下网络连接不提供真正的业务服务。
具体地，本实施例中，电子设备对本端设备和对端设备进行监测，若监测到本端设备与对端设备之间建立线下网络连接，则获取该线下网络连接。
可以理解的是，本端设备与对端设备之间可建立多个线下网络连接，每个线下网络连接可传输不同的数据。所以电子设备能够获取到至少一个线下网络连接。
步骤302，针对每个线下网络连接，对网络拥塞控制数据进行调整，并采集线下网络连接在网络拥塞控制数据调整后对应的第一传输行为数据及第一传输结果数据。
本实施例中，网络拥塞控制数据可以包括网络拥塞控制算法，还可以包括网络拥塞控制算法中的至少一个参数。其中，网络拥塞控制算法可以为BBR、CUBIC及RENO等。网络拥塞控制算法中的至少一个参数可以包括：动态参数还可以包括超参。如动态参数可以为发送窗口、重传超时时间等。超参可以包括：重传超时时间的最大最小值，重传超时时间与数据往返时间的倍数关系等。
本实施例中，针对每个线下网络连接，对网络拥塞控制数据进行调整时，可按照预设调整策略对网络拥塞控制数据进行调整。如首先固定成一个网络拥塞控制算法，然后对该网络拥塞控制算法中的至少一个参数进行调整。在该网络拥塞控制算法中的至少一个参数完全调整后，换成下一个网络拥塞控制算法，继续对该网络拥塞控制算法中的至少一个参数进行调整，以此类推，直到所有网络拥塞控制算法及网络拥塞控制算法中的所有参数均进行调整上的遍历为止。
或者本实施例中，针对每个线下网络连接，对网络拥塞控制数据进行调整时，可随机对网络拥塞控制数据进行调整，直到达到调整次数为止。
需要说明的是，本实施例中针对每个线下网络连接，对网络拥塞控制数据进行调整的方式不作限定。
本实施例中，针对每个线下网络连接，在每次对网络拥塞控制数据进行调整后采集该线下网络连接对应的传输行为数据和传输结果数据。其中，该线下网络连接对应的传输行为数据为第一传输行为数据。该线下网络连接对应的传输结果数据为第一传输结果数据。
其中，传输行为数据可以为传输行为序列。如该线下网络连接，在进行网络拥塞控制数据调整后，本端设备向对端设备发送了N个数据包，则传输行为序列为这N个数据包的传输行为数据点构成的序列。每个数据包的传输行为数据点可以包括：数据包标识，数据发送时间及响应时间。还可以包括其他数据，本实施例中对此不作限定。
其中，传输结果数据可以根据该线下网络连接传输数据的类型不同而不同。如可以包括以下传输结果数据中的任意一种或多种：传输速度、传输带宽、是否发生冲突、冲突次数、是否发生卡顿、卡顿次数等。
步骤303，根据调整后的网络拥塞控制数据、对应的第一传输行为数据及第一传输结果数据构建对应的训练样本。
本实施例中，针对每次线下网络连接，有多个调整后的网络拥塞控制数据，而对于每个调整后的网络拥塞控制数据，均采集了对应的第一传输行为数据及第一传输结果数据。所以针对每次线下网络连接，可根据调整后的网络拥塞控制数据、对应的第一传输行为数据及第一传输结果数据构建多个训练样本。
本实施例中，由多个线下网络连接对应的训练样本构成训练集。并且该训练集中针对传输结果数据可划分为正训练样本和负训练样本。
步骤304，采用训练样本对预设神经网络模型进行训练，以获得训练至收敛的神经网络模型。
其中，训练至收敛的神经网络模型用于确定本端设备与对端设备进行线上网络连接时对应的最优网络拥塞控制数据。
本实施例中，将每个训练样本输入到预设神经网络模型中，对预设神经网络模型进行训练，以改变预设神经网络模型中的参数。并在每次训练后判断是否满足预设的收敛条件，若确定满足预设的收敛条件，则将满足预设收敛条件的神经网络模型确定为训练至收敛的神经网络模型。
其中，预设的收敛条件可以为使损失函数达到最小，或者训练次数达到预设的训练次数等，本实施例中对此不作限定。
本实施例中，神经网络模型的类型不作限定，如可以为卷积神经网络模型，长短期记忆神经网络模型等。
本实施例中，在获得训练至收敛的神经网络模型后，该训练至收敛的神经网络模型用于执行第三实施例或第四实施例中的基于神经网络模型的网络拥塞控制方法。即利用训练至收敛的神经网络模型确定线上网络连接对应的最优的网络拥塞控制数据，以根据最优网络拥塞控制参数对线上网络连接进行网络拥塞控制。
本实施例提供的用于网络拥塞控制的神经网络模型训练方法，通过获取本端设备和对端设备之间的至少一个线下网络连接；针对每个线下网络连接，对网络拥塞控制数据进行调整，并采集线下网络连接在网络拥塞控制数据调整后对应的第一传输行为数据及第一传输结果数据；根据调整后的网络拥塞控制数据、对应的第一传输行为数据及第一传输结果数据构建对应的训练样本；采用训练样本对预设神经网络模型进行训练，以获得训练至收敛的神经网络模型，训练至收敛的神经网络模型用于执行基于神经网络模型的网络拥塞控制方法，由于训练至收敛的神经网络模型是基于每个网络连接对应的训练样本训练获得的，所以该训练至收敛的神经网络模型能够针对每个线上网络连接确定出最优的网络拥塞控制数据，而且该最优的网络拥塞控制数据并不依赖于经验值，更加的准确。进而使本端设备和对端设备之间每一个网络连接的网络拥塞情况得到有效改善。
图4是根据本公开第二实施例提供的用于网络拥塞控制的神经网络模型训练方法的流程示意图，如图4所示，本实施例提供的用于网络拥塞控制的神经网络模型训练方法，在本公开上述实施例提供的用于网络拥塞控制的神经网络模型训练方法的基础上，对步骤302-步骤304进行了进一步的细化，则本实施例提供的用于网络拥塞控制的神经网络模型训练方法包括以下步骤：
步骤401，获取本端设备和对端设备之间的至少一个线下网络连接。
本实施例中，步骤401的实现方式与第一实施例中的步骤301的实现范式类似，在此不再一一赘述。
步骤402，针对每个线下网络连接，对网络拥塞控制算法及网络拥塞控制算法的参数中的至少一个进行随机调整。
本实施例中，可将网络拥塞控制算法及网络拥塞控制算法的参数集中存储到数据库中，并针对每个线下网络连接，从数据库中随机获取网络拥塞控制算法及网络拥塞控制算法的参数中的至少一个，并对获取到的至少一个网络拥塞控制算法及网络拥塞控制算法的参数进行调整。
需要说明的是，步骤402是第一实施例中的步骤302中针对每个线下网络连接，对网络拥塞控制数据进行调整的一种可选实施方式。
步骤403，从本端设备中采集线下网络连接在网络拥塞控制数据调整后的第一日志文件。
本实施例中，如图5所示，示例性地，以图2所示的网络架构为例，针对每个线下网络连接，在每次对网络拥塞控制算法及网络拥塞控制算法的参数中的至少一个进行随机调整后，将调整后的网络拥塞控制数据作用在对应的线下网络连接中。具体地，可将调整后的网络拥塞控制数据发送给本端服务器21，以使本端服务器21调整网络拥塞控制数据后，进行该线下网络连接的数据传输。
步骤404，从第一日志文件中获取第一传输行为数据。
本实施例中，本端设备在向对端设备发送数据时，会在本端设备中形成日志文件，该日志文件为第一日志文件。在该第一日志文件中存储有第一传输行为数据。所以如图5所示，在针对该线下网络连接，对网络拥塞控制数据进行调整后，通过该线下网络连接发送数据时，在本端设备(在图5中为第一服务器21)形成第一日志文件，对第一日志文件进行采集，并从第一日志文件中获取第一传输行为数据。
步骤405，从对端设备中采集线下网络连接在网络拥塞控制数据调整后的第二日志文件。
步骤406，从第二日志文件中获取第一传输结果数据。
本实施例中，在对端设备接收到从对端设备中传输过来的数据后，在对端设备中会根据数据传输结果形成日志文件，该日志文件为第二日志文件。所以如图5所示，针对该线下网络连接，对网络拥塞控制数据进行调整后，对端设备(在图5中为第二服务器22)接收到通过该线下网络连接传输过来的数据，并针对该线下网络连接对第二日志文件进行采集，并从第二日志文件中获取第一传输结果数据。
需要说明的是，步骤403-步骤406是第一实施例中的步骤302中采集线下网络连接在网络拥塞控制数据调整后对应的第一传输行为数据及第一传输结果数据的一种可选实施方式。
步骤407，对调整后的网络拥塞控制数据、对应的第一传输行为数据及第一传输结果数据进行归一化处理及拼接处理，以形成对应的训练样本。
步骤408，根据第一传输结果数据确定对应训练样本的标签，并对训练样本标记对应的标签。
需要说明的是，步骤407-步骤408是第一实施例中的步骤303的一种可选实施方式。
具体地，本实施例中，针对每个线下网络连接，获取每次调整后的网络拥塞控制数据、对应的第一传输行为数据及第一传输结果数据，对每次调整后的网络拥塞控制数据、对应的第一传输行为数据及第一传输结果数据首先进行归一化处理，然后进行拼接处理，可形成对应的训练样本。该训练样本可以为向量形式或矩阵形式。
本实施例中，针对每个训练样本，根据第一传输结果数据确定训练样本的标签。具体地，可将第一传输结果数据与对应的预设传输结果数据阈值进行对比，若第一传输结果数据大于对应的预设传输结果数据阈值，则说明该第一传输结果数据为优秀的传输结果数据，则标记标签为正样本标签。反之，若第一传输结果数据小于或等于对应的预设传输结果数据阈值，则说明该第一传输结果数据为较差的传输结果数据，则标记标签为负样本标签。
步骤409，将训练样本输入到预设神经网络模型中，并调整预设神经网络模型中的参数，以对预设神经网络模型进行训练。
步骤410，判断训练后的神经网络模型是否满足预设的收敛条件，若是，则执行步骤411，否则继续执行步骤409。
步骤411，将满足预设的收敛条件的神经网络模型确定为训练至收敛的神经网络模型。
本实施例中，响应于确定满足预设的收敛条件，将满足预设的收敛条件的神经网络模型确定为训练至收敛的神经网络模型。
需要说明的是，步骤409-步骤411是第一实施例中的步骤304的一种可选实施方式。
具体地，本实施例中，将多个训练样本输入到预设神经网络模型中，可按照梯度下降法调整预设神经网络模型中的参数，使参数按照最优的参数方向寻找，每次迭代训练一次，判断训练后的神经网络模型是否满足预设的收敛条件。若满足预设的收敛条件，则说明该神经网络模型已训练完成，形成训练至收敛的神经网络模型。若未满足预设的收敛条件，则继续对神经网络模型进行训练，直到满足预设的收敛条件为止。
本实施例提供的用于网络拥塞控制的神经网络模型训练方法，在针对每个线下网络连接，对网络拥塞控制数据进行调整时，针对每个线下网络连接，对网络拥塞控制算法及网络拥塞控制算法的参数中的至少一个进行随机调整，进而根据调整后的网络拥塞控制数据、对应的第一传输行为数据及第一传输结果数据构建对应的训练样本后，使得训练样本既有正训练样本又有负训练样本，训练样本更加的全面，进而使神经网络模型训练的更加充分，更加适用于确定每种网络连接的最优网络拥塞控制数据。
作为一种可选实施方式，本实施例中，第一传输行为数据包括第一数据传输行为序列。相应地，步骤404包括以下步骤：
步骤4041，从第一日志文件中提取每次传输数据的标识，对应数据的发送时间及响应时间。
步骤4042，针对每次传输数据，将传输数据的标识、对应数据的发送时间及响应时间确定为对应的传输行为数据点，并将各传输行为数据点按照数据发送时间顺序进行排序，以获得第一数据传输行为序列。
具体地，本实施例中，在本端设备通过线下网络连接向对端设备传输数据时，每传输一个数据，会在第一日志文件中记录该传输数据的标识、该传输数据的发送时间，在接收到对端设备的响应后，在第一日志文件中记录对应的响应时间。所以在第一日志文件中可提取出每次传输数据的标识，对应数据的发送时间及响应时间。每次传输数据的标识，对应数据的发送时间及响应时间可确定为一个传输行为数据点。如传输行为数据点可表示为Si＝(Pi,ti,ti’)。其中，Pi为第i个传输数据的标识，ti为第i个传输数据的发送时间，ti’为第i个传输数据的响应时间。则将各传输行为数据点按照数据发送时间顺序进行排序，获得的第一数据传输行为序列可表示为S＝(S1，S2,……，Si，……，Sn)。
需要说明的是，在每次传输数据时，数据可为数据包的形式，所以传输数据的标识可以为传输数据包的标识，对应数据的发送时间和响应时间可以为对应数据包的发送时间和响应时间。
本实施例中，将第一传输行为数据表示为第一数据传输行为序列，并且在从第一日志文件中获取第一传输行为数据时，从第一日志文件中提取每次传输数据的标识，对应数据的发送时间及响应时间，针对每次传输数据，将传输数据的标识、对应数据的发送时间及响应时间确定为对应的传输行为数据点，并将各传输行为数据点按照数据发送时间顺序进行排序，以获得第一数据传输行为序列。能够使第一数据传输行为序列更能准确地表达对应的线下网络连接的网络行为。
作为一种可选实施方式，本实施例中，步骤406包括以下步骤：
步骤4061，确定线下网络连接的业务类型。
本实施例中，可对第一传输行为数据进行解析，确定通过该线下网络连接每次传输数据的业务类型。如可以为视频类型，文本类型，音频类型等。
步骤4062，获取预先构建的业务类型与传输结果数据的映射关系。
本实施例中，由于业务类型的不同，在进行该业务类型的数据传输后，表示传输结果的数据也不同。所以预先构建业务类型与传输结果数据的映射关系。
步骤4063，根据映射关系从第二日志文件中获取与线下网络连接的业务类型具有映射关系的传输结果数据。
步骤4064，将具有映射关系的传输结果数据确定为第一传输结果数据。
本实施例中，首先确定线下网络连接的业务类型，然后从预先构建的映射关系中查询与该线下网络连接的业务类型具有映射关系的传输结果数据。将该具有映射关系的传输结果数据确定为该线下网络连接对应的第一传输结果数据。
本实施例中，在从第二日志文件中获取第一传输结果数据时，确定线下网络连接的业务类型，获取预先构建的业务类型与传输结果数据的映射关系，根据映射关系从第二日志文件中获取与线下网络连接的业务类型具有映射关系的传输结果数据，将具有映射关系的传输结果数据确定为第一传输结果数据，能够使第一传输结果数据更加准确地表达该线下网络连接真实的传输结果。
图6是根据本公开第三实施例提供的基于神经网络模型的网络拥塞控制方法的流程示意图，如图6所示，本实施例提供的基于神经网络模型的网络拥塞控制方法的执行主体为基于神经网络模型的网络拥塞控制装置，该基于神经网络模型的网络拥塞控制装置可以集成在电子设备中，该电子设备与第一实施例和第二实施例中的电子设备可以为同一电子设备，也可以为不同电子设备。则本实施例提供的基于神经网络模型的网络拥塞控制方法包括以下步骤：
步骤601，若监测到本端设备与对端设备进行线上网络连接，则采集线上网络连接对应的第二传输行为数据及第二传输结果数据。
本实施例中，本端设备与对端设备部署在线上，为用户提供服务。如图7所示，以本端设备为第一服务器21，对端设备为第二服务器22进行说明。电子设备与本端设备和对端设备通信，监测本端设备与对端设备是否进行线上网络连接，若监测到本端设备与对端设备进行了线上网络连接，则采集该线上网络连接对应的传输行为数据及传输结果数据。
其中，线上网络连接对应的传输行为数据为第二传输行为数据。线上网络连接对应的传输结果数据为第二传输结果数据。
其中，在采集该线上网络连接对应的第二传输行为数据及第二传输结果数据时，从本端设备中采集该线上网络连接对应的日志文件，从本端设备的日志文件中获取第二传输行为数据。并从对端设备中采集该线上网络连接对应的日志文件，从对端设备的日志文件中获取第二传输结果数据。
步骤602，将第二传输行为数据及第二传输结果数据输入到训练至收敛的神经网络模型中。
步骤603，通过训练至收敛的神经网络模型输出线上网络连接对应的最优网络拥塞控制数据。
其中，训练至收敛的神经网络模型是通过训练样本训练获得的，所述训练样本是通过本端设备和对端设备之间的线下网络连接对应的调整后的网络拥塞控制数据、对应的第一传输行为数据及第一传输结果数据构建的。即训练至收敛的神经网络模型是根据第一实施例或第二实施例提供的用于网络拥塞控制的神经网络模型训练方法训练获得。
具体地，本实施例中，将第二传输行为数据和第二传输结果数据进行归一化处理及拼接处理后，输入到训练至收敛的神经网络模型中，训练至收敛的神经网络模型根据第二传输行为数据和第二传输结果数据进行该线上网络连接的网络特征进行提取，并基于提取的网络特征确定与其最匹配的最优网络拥塞控制数据，并输出最优网络拥塞控制数据。
其中，最优网络拥塞控制数据包括最优网络拥塞控制算法及最优网络拥塞控制算法的最优参数中的至少一个。
步骤604，根据最优网络拥塞控制参数对线上网络连接进行网络拥塞控制。
本实施例中，如图7所示，将最优网络拥塞控制参数作用在该线上网络连接中。具体地，可发送给本端设备(在图7中为第一服务器21)，以使本端设备对网络拥塞参数进行调整，调整为最优网络拥塞控制参数，进而对该线上网络连接进行网络拥塞控制。
可以理解的是，本实施例中的电子设备也可以为本端设备，训练至收敛的神经网络模型存储在本端设备中，由本端设备直接获取线上网络连接，并通过训练至收敛的神经网络模型输出最优网络拥塞控制数据，并对该线上网络连接进行网络拥塞控制。
本实施例提供的基于神经网络模型的网络拥塞控制方法，若监测到本端设备与对端设备进行线上网络连接，则采集线上网络连接对应的第二传输行为数据及第二传输结果数据；将第二传输行为数据及第二传输结果数据输入到训练至收敛的神经网络模型中，并通过训练至收敛的神经网络模型输出线上网络连接对应的最优网络拥塞控制数据；训练至收敛的神经网络模型是根据第一实施例或第二实施例方法训练获得，根据最优网络拥塞控制参数对线上网络连接进行网络拥塞控制。由于训练至收敛的神经网络模型是基于每个网络连接对应的训练样本训练获得的，所以该训练至收敛的神经网络模型能够针对每个线上网络连接确定出最优的网络拥塞控制数据，而且该最优的网络拥塞控制数据并不依赖于经验值，更加的准确。进而使本端设备和对端设备之间每一个网络连接的网络拥塞情况得到有效改善。
图8是根据本公开第四实施例提供的基于神经网络模型的网络拥塞控制方法的流程示意图，如图8所示，本实施例提供的基于神经网络模型的网络拥塞控制方法是在本公开第三实施例的基础上，对步骤601和步骤604的进一步细化，并且还包括了其他步骤，则本实施例提供的基于神经网络模型的网络拥塞控制方法包括以下步骤：
步骤801，若监测到本端设备与对端设备进行线上网络连接，则采集当前预设时间间隔线上网络连接对应的第二传输行为数据及第二传输结果数据。
本实施例中，预先对线上网络连接对应的网络拥塞控制时间间隔进行配置。该预设时间间隔也为线上网络连接采集对应的第二传输行为数据及第二传输结果数据的时间间隔。
具体地，本实施例中，在监测到本端设备与对端设备进行线上网络连接后，针对该线上网络连接，采集当前预设时间间隔对应的第二传输行为数据及第二传输结果数据。
作为一种可选实施方式，采集当前预设时间间隔线上网络连接对应的第二传输行为数据及第二传输结果数据，具体包括：
从本端设备中采集线上网络连接在当前预设时间间隔对应的第三日志文件；从第三日志文件中获取第二传输行为数据；从对端设备中采集线上网络连接在当前预设时间间隔对应的第四日志文件；从第四日志文件中获取第二传输结果数据。
具体地，本实施例中，在本端设备通过线上网络连接在当前预设时间间隔向对端设备发送数据时，在本端设备生成该当前预设时间间隔对应日志文件，该日志文件为第三日志文件。并在第三日志文件中记录有线上网络连接在当前预设时间间隔对应的第二传输行为数据。所以从第三日志文件中获取当前预设时间间隔对应的第二传输行为数据。而对端设备接收到通过线上网络连接接收到本端设备在当前预设时间间隔内发送的数据后，也会在本地生成日志文件，该日志文件为第四日志文件。在第四日志文件中记录有线上网络连接在当前预设时间间隔对应的第二传输结果数据。所以从第四日志文件中获取当前预设时间间隔对应的第二传输结果数据。
需要说明的是，从第三日志文件中获取第二传输行为数据，以及从第四日志文件中获取第二传输结果数据的实现方式与第二实施例中的步骤404和步骤406的实现方式类似，在此不再一一赘述。
步骤802，将第二传输行为数据及第二传输结果数据输入到训练至收敛的神经网络模型中，并通过训练至收敛的神经网络模型输出当前预设时间间隔线上网络连接对应的最优网络拥塞控制数据。
步骤803，根据最优网络拥塞控制参数对下一预设时间间隔线上网络连接进行网络拥塞控制。
步骤804，获取进行网络拥塞控制后的第三传输行为数据及第三传输结果数据。
步骤805，将最优网络拥塞控制数据、对应的第三传输行为数据及第三传输结果数据发送给对神经网络模型进行训练的电子设备。
本实施例中，通过最优网络拥塞控制参数对下一预设时间间隔线上网络连接进行网络拥塞控制后，采集该线上网络连接在该预设时间间隔内对应的传输行为数据和传输结果数据。该传输行为数据为第三传输行为数据。传输结果数据为第三传输结果数据。
本实施例中，将最优网络拥塞控制数据、对应的第三传输行为数据及第三传输结果数据发送给对神经网络模型进行训练的电子设备，对神经网络模型进行训练的电子设可将最优网络拥塞控制数据、对应的第三传输行为数据及第三传输结果数据再次作为训练样本，由于该训练样本为线上网络连接对应的训练样本，所以能够更加反映线上网络连接的网络拥塞情况。所以可采用该训练样本实现对训练至收敛的神经网络的优化。
本实施例提供的基于神经网络模型的网络拥塞控制方法，若监测到本端设备与对端设备进行线上网络连接，则采集当前预设时间间隔线上网络连接对应的第二传输行为数据及第二传输结果数据，将第二传输行为数据及第二传输结果数据输入到训练至收敛的神经网络模型中，并通过训练至收敛的神经网络模型输出当前预设时间间隔线上网络连接对应的最优网络拥塞控制数据，根据最优网络拥塞控制参数对下一预设时间间隔线上网络连接进行网络拥塞控制。能够每间隔预设时间间隔就确定出该线上网络连接对应的最优网络拥塞控制数据，能够实现对线上网络连接网络拥塞的实时控制，能够更加有效地改善每个线上网络连接的拥塞情况。
图9是根据本公开第五实施例提供的用于网络拥塞控制的神经网络模型训练装置的结构示意图，如图9所示，本实施例提供的用于网络拥塞控制的神经网络模型训练装置900包括：获取单元901，调整单元902，采集单元903，构建单元904，训练单元905。
其中，获取单元901，用于获取本端设备和对端设备之间的至少一个线下网络连接。调整单元902，用于针对每个线下网络连接，对网络拥塞控制数据进行调整。采集单元903，用于采集线下网络连接在网络拥塞控制数据调整后对应的第一传输行为数据及第一传输结果数据。构建单元904，用于根据调整后的网络拥塞控制数据、对应的第一传输行为数据及第一传输结果数据构建对应的训练样本。训练单元905，用于采用训练样本对预设神经网络模型进行训练，以获得训练至收敛的神经网络模型，训练至收敛的神经网络模型用于确定本端设备与对端设备进行线上网络连接时对应的最优网络拥塞控制数据。
本实施例提供的用于网络拥塞控制的神经网络模型训练装置可以执行图3所示方法实施例的技术方案，其实现原理和技术效果与图3所示方法实施例类似，在此不再一一赘述。
可选地，调整单元902，包括：
调整模块，用于针对每个线下网络连接，对网络拥塞控制算法及网络拥塞控制算法的参数中的至少一个进行随机调整。
可选地，采集单元903，包括：第一采集模块，第一获取模块，第二采集模块，第二获取模块。
其中，第一采集模块，用于从本端设备中采集线下网络连接在网络拥塞控制数据调整后的第一日志文件。第一获取模块，用于从第一日志文件中获取第一传输行为数据。第二采集模块，用于从对端设备中采集线下网络连接在网络拥塞控制数据调整后的第二日志文件。第二获取模块，用于从第二日志文件中获取第一传输结果数据。
可选地，第一传输行为数据包括第一数据传输行为序列。相应地，第一获取模块，包括：提取子模块和排序子模块。
具体地，提取子模块，用于从第一日志文件中提取每次传输数据的标识，对应数据的发送时间及响应时间。排序子模块，用于针对每次传输数据，将传输数据的标识、对应数据的发送时间及响应时间确定为对应的传输行为数据点，并将各传输行为数据点按照数据发送时间顺序进行排序，以获得第一数据传输行为序列。
可选地，第二获取模块，包括：第一确定子模块，获取子模块及第二确定子模块。
其中，第一确定子模块，用于确定线下网络连接的业务类型。获取子模块，用于获取预先构建的业务类型与传输结果数据的映射关系，根据映射关系从第二日志文件中获取与线下网络连接的业务类型具有映射关系的传输结果数据。第二确定子模块，用于将具有映射关系的传输结果数据确定为第一传输结果数据。
可选地，构建单元904，包括：处理模块和标记模块。
具体地，处理模块，用于对调整后的网络拥塞控制数据、对应的第一传输行为数据及第一传输结果数据进行归一化处理及拼接处理，以形成对应的训练样本。标记模块，用于根据第一传输结果数据确定对应训练样本的标签，并对训练样本标记对应的标签。
可选地，训练单元905，包括：输入模块及确定模块。
其中，输入模块，用于将训练样本输入到预设神经网络模型中，并调整预设神经网络模型中的参数，以对预设神经网络模型进行训练。确定模块，用于响应于确定满足预设的收敛条件，将满足预设的收敛条件的神经网络模型确定为训练至收敛的神经网络模型。
本实施例提供的用于网络拥塞控制的神经网络模型训练装置可以执行图4所示方法实施例的技术方案，其实现原理和技术效果与图3所示方法实施例类似，在此不再一一赘述。
图10是根据本公开第六实施例提供的基于神经网络模型的网络拥塞控制装置的结构示意图，如图10所示，本实施例提供的基于神经网络模型的网络拥塞控制装置位于电子设备中，则本实施例提供的基于神经网络模型的网络拥塞控制装置1000包括：采集单元1001，输入单元1002，输出单元1003及控制单元1004。
其中，采集单元1001，用于若监测到本端设备与对端设备进行线上网络连接，则采集线上网络连接对应的第二传输行为数据及第二传输结果数据。输入单元1002，用于将第二传输行为数据及第二传输结果数据输入到训练至收敛的神经网络模型中。输出单元1003，用于通过训练至收敛的神经网络模型输出网络连接对应的最优网络拥塞控制数据；训练至收敛的神经网络模型是通过训练样本训练获得的，所述训练样本是通过本端设备和对端设备之间的线下网络连接对应的调整后的网络拥塞控制数据、对应的第一传输行为数据及第一传输结果数据构建的。控制单元1004，用于根据最优网络拥塞控制参数对线上网络连接进行网络拥塞控制。
本实施例提供的基于神经网络模型的网络拥塞控制装置可以执行图6所示方法实施例的技术方案，其实现原理和技术效果与图6所示方法实施例类似，在此不再一一赘述。
可选地，采集单元1001，包括：采集模块。相应地，控制单元1004，包括：控制模块。
具体地，采集模块，用于采集当前预设时间间隔线上网络连接对应的第二传输行为数据及第二传输结果数据。控制模块，用于根据最优网络拥塞控制参数对下一预设时间间隔线上网络连接进行网络拥塞控制。
可选地，采集模块，包括：第一采集子模块，第一获取子模块，第二采集子模块，第二获取子模块。
具体地，第一采集子模块，用于从本端设备中采集线上网络连接在当前预设时间间隔对应的第三日志文件。第一获取子模块，用于从第三日志文件中获取第二传输行为数据。第二采集子模块，用于从对端设备中采集线上网络连接在当前预设时间间隔对应的第四日志文件。第二获取子模块，用于从第四日志文件中获取第二传输结果数据。
可选地，本实施例提供的基于神经网络模型的网络拥塞控制装置还包括：获取单元和发送单元。
具体地，获取单元，用于获取进行网络拥塞控制后的第三传输行为数据及第三传输结果数据。发送单元，用于将最优网络拥塞控制数据、对应的第三传输行为数据及第三传输结果数据发送给对神经网络模型进行训练的电子设备。
本实施例提供的基于神经网络模型的网络拥塞控制装置可以执行图8所示方法实施例的技术方案，其实现原理和技术效果与图8所示方法实施例类似，在此不再一一赘述。
根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。
根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
图11示出了可以用来实施本公开的用于网络拥塞控制的神经网络模型训练方法对应实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图11所示，电子设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元11011，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如用于网络拥塞控制的神经网络模型训练方法。例如，在一些实施例中，用于网络拥塞控制的神经网络模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的用于网络拥塞控制的神经网络模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行用于网络拥塞控制的神经网络模型训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
图12是用来实现本公开实施例的基于神经网络模型的网络拥塞控制方法的电子设备1200的框图，如图12所示，该电子设备1200包括：计算单元1201，ROM 1202，RAM 1203,总线1204，I/O接口1205，输入单元1206，输出单元1207，存储单元1208及通信单元1209。
其中，各部件的连接关系及实现方式与图11中所示的电子设备的类似，在此不再一一赘述。
本公开提供一种模型训练方法、网络拥塞控制方法、装置及相关产品，应用于云计算技术领域中的云存储技术，由于训练至收敛的神经网络模型是基于每个网络连接对应的训练样本训练获得的，所以该训练至收敛的神经网络模型能够针对每个线上网络连接确定出最优的网络拥塞控制数据，而且该最优的网络拥塞控制数据并不依赖于经验值，更加的准确。进而使本端设备和对端设备之间每一个网络连接的网络拥塞情况得到有效改善。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (16)
1.一种用于网络拥塞控制的神经网络模型训练方法，包括：
获取本端设备和对端设备之间的至少一个线下网络连接；
针对每个线下网络连接，对网络拥塞控制数据进行调整，并采集所述线下网络连接在所述网络拥塞控制数据调整后对应的第一传输行为数据及第一传输结果数据；
根据调整后的网络拥塞控制数据、对应的第一传输行为数据及第一传输结果数据构建对应的训练样本；
采用所述训练样本对预设神经网络模型进行训练，以获得训练至收敛的神经网络模型，所述训练至收敛的神经网络模型用于确定本端设备与对端设备进行线上网络连接时对应的最优网络拥塞控制数据；所述最优网络拥塞控制数据用于对线上网络连接进行网络拥塞控制；
所述针对每个线下网络连接，对网络拥塞控制数据进行调整，包括：
针对每个线下网络连接，对网络拥塞控制算法及所述网络拥塞控制算法的参数中的至少一个进行随机调整；
所述采集所述线下网络连接在所述网络拥塞控制数据调整后对应的第一传输行为数据及第一传输结果数据，包括：
从所述本端设备中采集所述线下网络连接在所述网络拥塞控制数据调整后的第一日志文件；
从所述第一日志文件中获取所述第一传输行为数据；
从所述对端设备中采集所述线下网络连接在所述网络拥塞控制数据调整后的第二日志文件；
从所述第二日志文件中获取所述第一传输结果数据。
2.根据权利要求1所述的方法，其中，所述第一传输行为数据包括第一数据传输行为序列；
从所述第一日志文件中获取所述第一传输行为数据，包括：
从所述第一日志文件中提取每次传输数据的标识，对应数据的发送时间及响应时间；
针对每次传输数据，将传输数据的标识、对应数据的发送时间及响应时间确定为对应的传输行为数据点，并将各所述传输行为数据点按照数据发送时间顺序进行排序，以获得第一数据传输行为序列。
3.根据权利要求1所述的方法，其中，所述从所述第二日志文件中获取所述第一传输结果数据，包括：
确定所述线下网络连接的业务类型；
获取预先构建的业务类型与传输结果数据的映射关系；
根据所述映射关系从所述第二日志文件中获取与所述线下网络连接的业务类型具有映射关系的传输结果数据；
将所述具有映射关系的传输结果数据确定为第一传输结果数据。
4.根据权利要求1-3任一项所述的方法，其中，所述根据调整后的网络拥塞控制数据、对应的第一传输行为数据及第一传输结果数据构建对应的训练样本，包括：
对调整后的网络拥塞控制数据、对应的第一传输行为数据及第一传输结果数据进行归一化处理及拼接处理，以形成对应的训练样本；
根据第一传输结果数据确定对应训练样本的标签，并对所述训练样本标记对应的标签。
5.根据权利要求1-4任一项所述的方法，其中，所述采用所述训练样本对预设神经网络模型进行训练，以获得训练至收敛的神经网络模型，包括：
将所述训练样本输入到预设神经网络模型中，并调整预设神经网络模型中的参数，以对预设神经网络模型进行训练；
响应于确定满足预设的收敛条件，将满足预设的收敛条件的神经网络模型确定为训练至收敛的神经网络模型。
6.一种基于神经网络模型的网络拥塞控制方法，包括：
若监测到本端设备与对端设备进行线上网络连接，则采集所述线上网络连接对应的第二传输行为数据及第二传输结果数据；
将所述第二传输行为数据及所述第二传输结果数据输入到训练至收敛的神经网络模型中；
通过所述训练至收敛的神经网络模型输出所述线上网络连接对应的最优网络拥塞控制数据；所述训练至收敛的神经网络模型是通过训练样本训练获得的，所述训练样本是通过本端设备和对端设备之间的线下网络连接对应的调整后的网络拥塞控制数据、对应的第一传输行为数据及第一传输结果数据构建的；
根据所述最优网络拥塞控制数据对所述线上网络连接进行网络拥塞控制；
所述采集所述线上网络连接对应的第二传输行为数据及第二传输结果数据，包括：
采集当前预设时间间隔所述线上网络连接对应的第二传输行为数据及第二传输结果数据；
所述根据所述最优网络拥塞控制数据对所述线上网络连接进行网络拥塞控制，包括：
根据所述最优网络拥塞控制数据对下一预设时间间隔所述线上网络连接进行网络拥塞控制；
所述采集当前预设时间间隔所述线上网络连接对应的第二传输行为数据及第二传输结果数据，包括：
从所述本端设备中采集所述线上网络连接在当前预设时间间隔对应的第三日志文件；
从所述第三日志文件中获取所述第二传输行为数据；
从所述对端设备中采集所述线上网络连接在当前预设时间间隔对应的第四日志文件；
从所述第四日志文件中获取所述第二传输结果数据。
7.根据权利要求6所述的方法，其中，所述根据所述最优网络拥塞控制数据对所述线上网络连接进行网络拥塞控制之后，还包括：
获取进行网络拥塞控制后的第三传输行为数据及第三传输结果数据；
将所述最优网络拥塞控制数据、对应的第三传输行为数据及第三传输结果数据发送给对神经网络模型进行训练的电子设备。
8.一种用于网络拥塞控制的神经网络模型训练装置，包括：
获取单元，用于获取本端设备和对端设备之间的至少一个线下网络连接；
调整单元，用于针对每个线下网络连接，对网络拥塞控制数据进行调整；
采集单元，用于采集所述线下网络连接在所述网络拥塞控制数据调整后对应的第一传输行为数据及第一传输结果数据；
构建单元，用于根据调整后的网络拥塞控制数据、对应的第一传输行为数据及第一传输结果数据构建对应的训练样本；
训练单元，用于采用所述训练样本对预设神经网络模型进行训练，以获得训练至收敛的神经网络模型，所述训练至收敛的神经网络模型用于确定本端设备与对端设备进行线上网络连接时对应的最优网络拥塞控制数据；所述最优网络拥塞控制数据用于对线上网络连接进行网络拥塞控制；
所述调整单元，包括：
调整模块，用于针对每个线下网络连接，对网络拥塞控制算法及所述网络拥塞控制算法的参数中的至少一个进行随机调整；
所述采集单元，包括：
第一采集模块，用于从所述本端设备中采集所述线下网络连接在所述网络拥塞控制数据调整后的第一日志文件；
第一获取模块，用于从所述第一日志文件中获取所述第一传输行为数据；
第二采集模块，用于从所述对端设备中采集所述线下网络连接在所述网络拥塞控制数据调整后的第二日志文件；
第二获取模块，用于从所述第二日志文件中获取所述第一传输结果数据。
9.根据权利要求8所述的装置，其中，所述第一传输行为数据包括第一数据传输行为序列；
所述第一获取模块，包括：
提取子模块，用于从所述第一日志文件中提取每次传输数据的标识，对应数据的发送时间及响应时间；
排序子模块，用于针对每次传输数据，将传输数据的标识、对应数据的发送时间及响应时间确定为对应的传输行为数据点，并将各所述传输行为数据点按照数据发送时间顺序进行排序，以获得第一数据传输行为序列。
10.根据权利要求8所述的装置，其中，所述第二获取模块，包括：
第一确定子模块，用于确定所述线下网络连接的业务类型；
获取子模块，用于获取预先构建的业务类型与传输结果数据的映射关系，根据所述映射关系从所述第二日志文件中获取与所述线下网络连接的业务类型具有映射关系的传输结果数据；
第二确定子模块，用于将所述具有映射关系的传输结果数据确定为第一传输结果数据。
11.根据权利要求8-10任一项所述的装置，其中，所述构建单元，包括：
处理模块，用于对调整后的网络拥塞控制数据、对应的第一传输行为数据及第一传输结果数据进行归一化处理及拼接处理，以形成对应的训练样本；
标记模块，用于根据第一传输结果数据确定对应训练样本的标签，并对所述训练样本标记对应的标签。
12.根据权利要求8-11任一项所述的装置，其中，所述训练单元，包括：
输入模块，用于将所述训练样本输入到预设神经网络模型中，并调整预设神经网络模型中的参数，以对预设神经网络模型进行训练；
确定模块，用于响应于确定满足预设的收敛条件，将满足预设的收敛条件的神经网络模型确定为训练至收敛的神经网络模型。
13.一种基于神经网络模型的网络拥塞控制装置，包括：
采集单元，用于若监测到本端设备与对端设备进行线上网络连接，则采集所述线上网络连接对应的第二传输行为数据及第二传输结果数据；
输入单元，用于将所述第二传输行为数据及所述第二传输结果数据输入到训练至收敛的神经网络模型中；
输出单元，用于通过所述训练至收敛的神经网络模型输出所述网络连接对应的最优网络拥塞控制数据；所述训练至收敛的神经网络模型是通过训练样本训练获得的，所述训练样本是通过本端设备和对端设备之间的线下网络连接对应的调整后的网络拥塞控制数据、对应的第一传输行为数据及第一传输结果数据构建的；
控制单元，用于根据所述最优网络拥塞控制数据对所述线上网络连接进行网络拥塞控制；
所述采集单元，包括：
采集模块，用于采集当前预设时间间隔所述线上网络连接对应的第二传输行为数据及第二传输结果数据；
所述控制单元，包括：
控制模块，用于根据所述最优网络拥塞控制数据对下一预设时间间隔所述线上网络连接进行网络拥塞控制；
所述采集模块，包括：
第一采集子模块，用于从所述本端设备中采集所述线上网络连接在当前预设时间间隔对应的第三日志文件；
第一获取子模块，用于从所述第三日志文件中获取所述第二传输行为数据；
第二采集子模块，用于从所述对端设备中采集所述线上网络连接在当前预设时间间隔对应的第四日志文件；
第二获取子模块，用于从所述第四日志文件中获取所述第二传输结果数据。
14.根据权利要求13所述的装置，其中，还包括：
获取单元，用于获取进行网络拥塞控制后的第三传输行为数据及第三传输结果数据；
发送单元，用于将所述最优网络拥塞控制数据、对应的第三传输行为数据及第三传输结果数据发送给对神经网络模型进行训练的电子设备。
15. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5或6-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-5或6-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110443151.4A CN113179218B (zh) | 2021-04-23 | 2021-04-23 | 模型训练方法、网络拥塞控制方法、装置及相关产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110443151.4A CN113179218B (zh) | 2021-04-23 | 2021-04-23 | 模型训练方法、网络拥塞控制方法、装置及相关产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113179218A CN113179218A (zh) | 2021-07-27 |
| CN113179218B true CN113179218B (zh) | 2023-04-21 |
Family
ID=76924485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110443151.4A Active CN113179218B (zh) | 2021-04-23 | 2021-04-23 | 模型训练方法、网络拥塞控制方法、装置及相关产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113179218B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111416774A (zh) * | 2020-03-17 | 2020-07-14 | 深圳市赛为智能股份有限公司 | 网络拥塞控制方法、装置、计算机设备及存储介质 |
| CN111539479A (zh) * | 2020-04-27 | 2020-08-14 | 北京百度网讯科技有限公司 | 生成样本数据的方法和装置 |
| CN112383485A (zh) * | 2020-10-30 | 2021-02-19 | 新华三技术有限公司 | 一种网络拥塞控制方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102559552B1 (ko) * | 2018-12-17 | 2023-07-26 | 한국전자통신연구원 | 다매체 다중경로 네트워크의 최적 경로 선택 시스템 및 그 방법 |
-
2021
- 2021-04-23 CN CN202110443151.4A patent/CN113179218B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111416774A (zh) * | 2020-03-17 | 2020-07-14 | 深圳市赛为智能股份有限公司 | 网络拥塞控制方法、装置、计算机设备及存储介质 |
| CN111539479A (zh) * | 2020-04-27 | 2020-08-14 | 北京百度网讯科技有限公司 | 生成样本数据的方法和装置 |
| CN112383485A (zh) * | 2020-10-30 | 2021-02-19 | 新华三技术有限公司 | 一种网络拥塞控制方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113179218A (zh) | 2021-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111124819B (zh) | 全链路监控的方法和装置 | |
| WO2019169928A1 (zh) | 一种流量检测方法和流量检测设备 | |
| CN113467910B (zh) | 基于业务等级的过载保护调度方法 | |
| CN114448830B (zh) | 一种设备检测系统及方法 | |
| US11677639B2 (en) | Connection management between applications and service resources | |
| CN107360032A (zh) | 一种网络流识别方法及电子设备 | |
| CN114065864B (zh) | 联邦学习方法、联邦学习装置、电子设备以及存储介质 | |
| Le et al. | Applying big data, machine learning, and SDN/NFV for 5G early-stage traffic classification and network QoS control | |
| CN112527530A (zh) | 消息处理方法、装置、设备、存储介质及计算机程序产品 | |
| CN114513470A (zh) | 网络流量控制方法、装置、设备及计算机可读存储介质 | |
| CN113132403A (zh) | 用于内容分发网络的回源方法和装置 | |
| CN113132479B (zh) | 流量切换、模型生成方法、装置、设备、存储介质及程序 | |
| CN112994934B (zh) | 数据交互方法、装置及系统 | |
| CN114253710A (zh) | 计算请求的处理方法、智能终端、云服务器、设备及介质 | |
| CN113179218B (zh) | 模型训练方法、网络拥塞控制方法、装置及相关产品 | |
| CN113379750A (zh) | 语义分割模型的半监督学习方法、相关装置及产品 | |
| CN114567687B (zh) | 报文转发方法、装置、设备、介质及程序产品 | |
| CN116343776A (zh) | 语音识别方法、装置、系统、设备、介质和程序产品 | |
| CN108259576B (zh) | 一种软硬件实时信息传输系统和方法 | |
| CN112817463B (zh) | 输入法获取音频数据的方法、设备和存储介质 | |
| CN114071192A (zh) | 信息获取方法、终端、服务器、电子设备以及存储介质 | |
| CN114500642B (zh) | 模型应用方法、装置及电子设备 | |
| CN113643696B (zh) | 语音处理方法、装置、设备、存储介质及程序 | |
| CN116484922A (zh) | 一种联邦学习方法、系统、设备及存储介质 | |
| CN113327602A (zh) | 语音识别的方法、装置、电子设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |