CN110958187A - 一种面向分布式机器学习参数同步差异化数据传输方法 - Google Patents

一种面向分布式机器学习参数同步差异化数据传输方法 Download PDF

Info

Publication number
CN110958187A
CN110958187A CN201911300999.0A CN201911300999A CN110958187A CN 110958187 A CN110958187 A CN 110958187A CN 201911300999 A CN201911300999 A CN 201911300999A CN 110958187 A CN110958187 A CN 110958187A
Authority
CN
China
Prior art keywords
gradient
data
message
data block
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911300999.0A
Other languages
English (en)
Other versions
CN110958187B (zh
Inventor
虞红芳
周华漫
李宗航
蔡青青
孙罡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201911300999.0A priority Critical patent/CN110958187B/zh
Publication of CN110958187A publication Critical patent/CN110958187A/zh
Application granted granted Critical
Publication of CN110958187B publication Critical patent/CN110958187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2425—Traffic characterised by specific attributes, e.g. priority or QoS for supporting services specification, e.g. SLA
    • H04L47/2433—Allocation of priorities to traffic types
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/06—Notations for structuring of protocol data, e.g. abstract syntax notation one [ASN.1]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Communication Control (AREA)

Abstract

本发明公开了一种面向分布式机器学习参数同步差异化数据传输方法，将等待同步的结构化梯度张量按照其张量结构，从更细粒度进行数据拆分之后衡量数据对模型收敛的贡献，依据梯度的贡献度，本发明提供差异化传输质量(可靠性、传输时延)的梯度传输方案；对模型收敛贡献度高的数据得到更高的传输可靠性和更低的传输时延；差异化的梯度数据传输方法使得在有限的网络资源下，数据传输更加高效；从而解决在保证模型收敛的同时降低参数同步的通信开销的问题。

Description

一种面向分布式机器学习参数同步差异化数据传输方法
技术领域
本发明涉及人工智能领域，具体涉及一种面向分布式机器学习参数同步差异化数据传输方法。
背景技术
分布式机器学习(Distributed Machine Learning,DML)是解决人工智能领域中大规模机器学习任务模型复杂度过高、训练数据量过大的主流解决方案。DML通过数据划分或模型划分的方式将大规模机器模型任务分为若干规模较小的子任务，使用类似GPU、TPU、FPGA、ASIC等具有更高算力的计算机集群对子任务进行分布式并行训练，集群节点之间相互通信实现信息共享和参数同步，通过迭代式的局部优化、全局更新完成整个模型的训练。DML能够高效地利用大数据训练更准确的复杂模型，极大促进了AI产业的发展。
DML集群间通信主要是为了进行参数同步获取全局模型的参数更新值，其通信网络传输层通常依赖于类似于TCP协议的可靠传输控制协议，同时DML通常采用迭代式的优化算法进行模型训练，通信频次高、数据传输量大。因此，DML集群通信过程中的数据流具有周期性、突发性的特点。参数汇聚端有大量流量同时达到会出现吞吐量崩溃问题，导致报文丢失并引发TCP协议的重传机制，影响DML的训练时间。因此，DML集群间的通信是DML的性能瓶颈，如何在保证DML集群数据流交互的可靠性的同时减小通信网络资料的开销，是现有技术尚无法解决的工程难题。
发明内容
针对现有技术中的上述不足，本发明提供的一种面向分布式机器学习参数同步差异化数据传输方法，结合流量调度策略混合使用可靠传输协议和不可靠传输协议进行数据传输，使对模型收敛重要的数据得到优先可靠传输，非重要的数据使用低优先级尽力传输，解决了在保证模型收敛的同时，如何使数据传输更加高效，且降低参数同步的通信开销解决的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种面向分布式机器学习参数同步差异化数据传输方法，包括以下步骤：
S1、根据等待同步的结构化梯度张量的模型结构特征，对等待同步的结构化梯度张量进行分块处理及封装操作，得到梯度数据块报文；
S2、通过SANE算法对梯度数据块报文中的梯度数据进行贡献度估计，得到梯度数据块报文中的梯度数据贡献度值；
S3、根据梯度数据块报文中的梯度数据贡献度值，对梯度数据块报文进行分类，并将分类后的报文采用差异化传输方式由发送端传输至接收端，通过接收端对梯度数据块报文进行提取、数据存储和数据重构，完成数据传输过程。
进一步地：步骤S1包括以下步骤：
S11、判断等待同步的结构化梯度张量是否为卷积神经网络模型的卷积层参数张量，若是，则跳转至步骤S12；若否，则跳转至步骤S13；
S12、将等待同步的结构化梯度张量按照卷积核的大小划分为梯度参数子数据块，并跳转至步骤S14；
S13、将等待同步的结构化梯度张量按照其预定义的块大小划分为梯度参数子数据块，并跳转至步骤S14；
S14、对梯度参数子数据块进行消息报文封装，并对其添加消息头和按照传输协议添加数据报头，得到梯度数据块报文。
上述进一步方案的有益效果为：将等待同步的结构化梯度张量按照其模型结构进行划分，以数据块对模型收敛的贡献度大小作为衡量重要数据和不重要数据的标准，一方面便于数据的封装和发送，另一方面也从更细的粒度衡量数据的重要性，保障重要梯度报文的可靠传输，减少可靠传输的数据量。
进一步地：步骤S14中在消息头中顺序添加以下信息：该子块所属的梯度张量序号、该子块序号、该子块所属梯度张量的第一个子块序号、该子块所属梯度张量的最后一个子块序号、该子块所属梯度张量的总字节数和该子块所属梯度张量的位置。
进一步地：步骤S2中贡献度的计算公式为：
Figure BDA0002321770920000031
其中，
Figure BDA0002321770920000032
为分布式机器学习集群的第k个工作节点在第τ次进行参数同步操作时的第j个梯度参数子数据块的贡献度，α为平滑因子，n为子数据块中梯度值的数量，gi为子数据块的第i个梯度值，
Figure BDA0002321770920000033
为工作节点k上第j个子数据块。
进一步地：步骤S3包括以下步骤：
S31、计算分类阈值；
S32、根据梯度数据块报文中的梯度数据贡献度值对梯度数据块报文进行排序，判断梯度数据块报文中的梯度数据贡献度值是否大于分类阈值，若是，则跳转至步骤S33，若否，则跳转至步骤S34；
S33、标记梯度数据块报文为重要梯度报文，采用可靠传输协议，并通过最高优先级的通道传输至接收端，并跳转至步骤S35；
S34、标记梯度数据块报文为非重要梯度报文，采用不可靠传输协议和非重要报文传输通道将非重要梯度报文传输至接收端；
S35、采用异步接收延迟更新策略，根据接收端接收到的梯度数据块报文，提取并储存梯度参数子数据块，进行数据重构，完成数据传输过程。
进一步地：步骤S34包括以下步骤：
S341、标记梯度数据块报文为非重要梯度报文；
S342、根据梯度数据贡献度值大小对非重要梯度报文划分等级，并根据非重要梯度报文的等级确定各级别的非重要梯度报文的非重要报文传输通道；
S343、根据差异化的优先级，将每个等级的非重要梯度报文通过交换机相应的非重要报文传输通道和不可靠传输协议传输至接收端。
上述进一步方案的有益效果为：重要梯度报文使用最高优先级进行传输，非重要梯度数据使用剩余优先级通道进行优先级分级，避免没有流量控制和拥塞控制的不可靠流量抢占过多网络资源，影响重要数据的完成时间，保证可靠传输优先完成。
进一步地：步骤S35包括以下步骤：
S351、将通过接收端的可靠传输协议接收到的梯度数据块报文放入靠通道缓冲区中，将通过不可靠传输协议接收到的梯度数据块报文放入不可靠传输通道缓冲区；
S352、通过不可靠数据接收引擎从不可靠接收缓冲区获取梯度数据块报文，并对梯度数据块报文进行解封装操作，将得到梯度参数子数据块存入数据缓冲区，并继续获取梯度数据块报文；
S353、通过可靠数据接收引擎从可靠通道缓冲区获取梯度数据块报文，对梯度数据块报文进行解封装操作，将得到的梯度参数子数据块存入数据缓冲区，并判断重要梯度报文是否完全接收，若是，则跳转至S354，若否，则继续获取梯度数据块报文；
S354、对数据缓冲区的梯度参数子数据块进行数据重构，还原原始结构化梯度张量，将缺失子块对应的结构化梯度数据进行0填充；
S355、将重构完成的结构化梯度张量递交上层模型，完成参数同步数据传输过程。
上述进一步方案的有益效果为：对接收端接收到的梯度参数子数据块采用“非重要梯度报文及时更新，非重要梯度报文延迟更新”的策略，一方面减少了接收端进行数据重构的等待时间，另一方面避免了对延迟到达的不可靠数据直接丢弃，提高传输效率。
本发明的有益效果为：将等待同步的结构化梯度张量按照其张量结构，从更细粒度衡量数据的重要性，对模型收敛重要的数据得到优先可靠传输。重要梯度报文采用最高优先级和可靠传输控制协议发送，保障重要梯度报文的优先可靠传输，减少可靠传输的数据量；对其余贡献度低的梯度采用不可靠传输，使数据传输更加高效。
附图说明
图1为一种面向分布式机器学习参数同步差异化数据传输方法流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，在本发明的一个实施例中，一种面向分布式机器学习参数同步差异化数据传输方法，包括以下步骤：
S1、根据等待同步的结构化梯度张量的模型结构特征，对等待同步的结构化梯度张量进行分块处理及封装操作，得到梯度数据块报文；
步骤S1包括以下步骤：
S11、判断等待同步的结构化梯度张量是否为卷积神经网络模型的卷积层参数张量，若是，则跳转至步骤S12；若否，则跳转至步骤S13；
S12、将等待同步的结构化梯度张量按照卷积核的大小划分为梯度参数子数据块，并跳转至步骤S14；
S13、将等待同步的结构化梯度张量按照其预定义的块大小划分为梯度参数子数据块，并跳转至步骤S14；
S14、对梯度参数子数据块进行消息报文封装，并对其添加消息头和按照传输协议添加数据报头，得到梯度数据块报文。
将等待同步的结构化梯度张量按照其模型结构进行划分，以数据块对模型收敛的贡献度大小作为衡量重要数据和不重要数据的标准，一方面便于数据的封装和发送，另一方面也从更细的粒度衡量数据的重要性，保障重要梯度报文的可靠传输，减少可靠传输的数据量。
步骤S14中在消息头中顺序添加以下信息：该子块所属的梯度张量序号、该子块序号、该子块所属梯度张量的第一个子块序号、该子块所属梯度张量的最后一个子块序号、该子块所属梯度张量的总字节数和该子块所属梯度张量的位置。
S2、通过SANE算法对梯度数据块报文中的梯度数据进行贡献度估计，得到梯度数据块报文中的梯度数据贡献度值；
步骤S2中贡献度的计算公式为：
Figure BDA0002321770920000061
其中，
Figure BDA0002321770920000062
为分布式机器学习集群的第k个工作节点在第τ次进行参数同步操作时的第j个梯度参数子数据块的贡献度，α为平滑因子，n为子数据块中梯度值的数量，gi为子数据块的第i个梯度值，
Figure BDA0002321770920000063
为工作节点k上第j个子数据块。
S3、根据梯度数据块报文中的梯度数据贡献度值，对梯度数据块报文进行分类，并将分类后的报文采用差异化传输方式由发送端传输至接收端，通过接收端对梯度数据块报文进行提取、数据存储和数据重构，完成数据传输过程。
步骤S3包括以下步骤：
S31、计算分类阈值；在参数更新迭代过程中的第τ轮迭代时，获取第τ-1轮迭代损失函数值lossτ-1，并使用以下公式计算第τ轮迭代的分类阈值pτ，其中：loss0为上层模型损失函数的初始值，p0为用户定义的初始分类阈值，pmin为用户定义的最低分类阈值；
Figure BDA0002321770920000071
S32、根据梯度数据块报文中的梯度数据贡献度值对梯度数据块报文进行排序，判断梯度数据块报文中的梯度数据贡献度值是否大于分类阈值，若是，则跳转至步骤S33，若否，则跳转至步骤S34；
S33、标记梯度数据块报文为重要梯度报文，采用可靠传输协议(例如TCP协议)，并通过最高优先级的通道传输至接收端，并跳转至步骤S35；
S34、标记梯度数据块报文为非重要梯度报文，采用不可靠传输协议(例如UDP协议)和非重要报文传输通道将非重要梯度报文传输至接收端；
步骤S34包括以下步骤：
S341、标记梯度数据块报文为非重要梯度报文；
S342、根据梯度数据贡献度值大小对非重要梯度报文划分等级(等级数量为交换机剩余通道数量)，并根据非重要梯度报文的等级确定各级别的非重要梯度报文的非重要报文传输通道(各个等级的非重要梯度报文采用各自对应的优先级的非重要报文传输通道进行传输)；
S343、根据差异化的优先级，将每个等级的非重要梯度报文通过交换机相应的非重要报文传输通道和不可靠传输协议传输至接收端。
S35、采用异步接收延迟更新策略，根据接收端接收到的梯度数据块报文，提取并储存梯度参数子数据块，进行数据重构，完成数据传输过程。
重要梯度报文使用最高优先级进行传输，非重要梯度数据使用剩余优先级通道进行优先级分级，避免没有流量控制和拥塞控制的不可靠流量抢占过多网络资源，影响重要数据的完成时间，保证可靠传输优先完成。
步骤S35包括以下步骤：
S351、将通过接收端的可靠传输协议接收到的梯度数据块报文放入靠通道缓冲区中，将通过不可靠传输协议接收到的梯度数据块报文放入不可靠传输通道缓冲区；
S352、通过不可靠数据接收引擎从不可靠接收缓冲区获取梯度数据块报文，并对梯度数据块报文进行解封装操作，将得到梯度参数子数据块存入数据缓冲区，并继续获取梯度数据块报文；
S353、通过可靠数据接收引擎从可靠通道缓冲区获取梯度数据块报文，对梯度数据块报文进行解封装操作，将得到的梯度参数子数据块存入数据缓冲区，并判断重要梯度报文是否完全接收，若是，则跳转至S354，若否，则继续获取梯度数据块报文；
S354、对数据缓冲区的梯度参数子数据块进行数据重构，还原原始结构化梯度张量，将缺失子块对应的结构化梯度数据进行0填充；
S355、将重构完成的结构化梯度张量递交上层模型，完成参数同步数据传输过程。
对接收端接收到的梯度参数子数据块采用“非重要梯度报文及时更新，非重要梯度报文延迟更新”的策略，一方面减少了接收端进行数据重构的等待时间，另一方面避免了对延迟到达的不可靠数据直接丢弃，提高传输效率。
本发明的有益效果为：将等待同步的结构化梯度张量按照其张量结构，从更细粒度衡量数据的重要性，对模型收敛重要的数据得到优先可靠传输。重要梯度报文采用最高优先级和可靠传输控制协议发送，保障重要梯度报文的优先可靠传输，减少可靠传输的数据量；对其余贡献度低的梯度采用不可靠传输，使数据传输更加高效。

Claims (7)

1.一种面向分布式机器学习参数同步差异化数据传输方法，其特征在于，包括以下步骤：
S1、根据等待同步的结构化梯度张量的模型结构特征，对等待同步的结构化梯度张量进行分块处理及封装操作，得到梯度数据块报文；
S2、通过SANE算法对梯度数据块报文中的梯度数据进行贡献度估计，得到梯度数据块报文中的梯度数据贡献度值；
S3、根据梯度数据块报文中的梯度数据贡献度值，对梯度数据块报文进行分类，并将分类后的报文采用差异化传输方式由发送端传输至接收端，通过接收端对梯度数据块报文进行提取、数据存储和数据重构，完成数据传输过程。
2.根据权利要求1所述的面向分布式机器学习参数同步差异化数据传输方法，其特征在于，所述步骤S1包括以下步骤：
S11、判断等待同步的结构化梯度张量是否为卷积神经网络模型的卷积层参数张量，若是，则跳转至步骤S12；若否，则跳转至步骤S13；
S12、将等待同步的结构化梯度张量按照卷积核的大小划分为梯度参数子数据块，并跳转至步骤S14；
S13、将等待同步的结构化梯度张量按照其预定义的块大小划分为梯度参数子数据块，并跳转至步骤S14；
S14、对梯度参数子数据块进行消息报文封装，并对其添加消息头和按照传输协议添加数据报头，得到梯度数据块报文。
3.根据权利要求2所述的面向分布式机器学习参数同步差异化数据传输方法，其特征在于，所述步骤S14中在消息头中顺序添加以下信息：该子块所属的梯度张量序号、该子块序号、该子块所属梯度张量的第一个子块序号、该子块所属梯度张量的最后一个子块序号、该子块所属梯度张量的总字节数和该子块所属梯度张量的位置。
4.根据权利要求1所述的面向分布式机器学习参数同步差异化数据传输方法，其特征在于，所述步骤S2中贡献度的计算公式为：
Figure FDA0002321770910000021
其中，
Figure FDA0002321770910000022
为分布式机器学习集群的第k个工作节点在第τ次进行参数同步操作时的第j个梯度参数子数据块的贡献度，α为平滑因子，n为子数据块中梯度值的数量，gi为子数据块的第i个梯度值，
Figure FDA0002321770910000023
为工作节点k上第j个子数据块。
5.根据权利要求1所述的面向分布式机器学习参数同步差异化数据传输方法，其特征在于，所述步骤S3包括以下步骤：
S31、计算分类阈值；
S32、根据梯度数据块报文中的梯度数据贡献度值对梯度数据块报文进行排序，判断梯度数据块报文中的梯度数据贡献度值是否大于分类阈值，若是，则跳转至步骤S33，若否，则跳转至步骤S34；
S33、标记梯度数据块报文为重要梯度报文，采用可靠传输协议，并通过最高优先级的通道传输至接收端，并跳转至步骤S35；
S34、标记梯度数据块报文为非重要梯度报文，采用不可靠传输协议和非重要报文传输通道将非重要梯度报文传输至接收端；
S35、采用异步接收延迟更新策略，根据接收端接收到的梯度数据块报文，提取并储存梯度参数子数据块，进行数据重构，完成数据传输过程。
6.根据权利要求5所述的面向分布式机器学习参数同步差异化数据传输方法，其特征在于，所述步骤S34包括以下步骤：
S341、标记梯度数据块报文为非重要梯度报文；
S342、根据梯度数据贡献度值大小对非重要梯度报文划分等级，并根据非重要梯度报文的等级确定各级别的非重要梯度报文的非重要报文传输通道；
S343、根据差异化的优先级，将每个等级的非重要梯度报文通过交换机相应的非重要报文传输通道和不可靠传输协议传输至接收端。
7.根据权利要求5所述的面向分布式机器学习参数同步差异化数据传输方法，其特征在于，所述步骤S35包括以下步骤：
S351、将通过接收端的可靠传输协议接收到的梯度数据块报文放入靠通道缓冲区中，将通过不可靠传输协议接收到的梯度数据块报文放入不可靠传输通道缓冲区；
S352、通过不可靠数据接收引擎从不可靠接收缓冲区获取梯度数据块报文，并对梯度数据块报文进行解封装操作，将得到梯度参数子数据块存入数据缓冲区，并继续获取梯度数据块报文；
S353、通过可靠数据接收引擎从可靠通道缓冲区获取梯度数据块报文，对梯度数据块报文进行解封装操作，将得到的梯度参数子数据块存入数据缓冲区，并判断重要梯度报文是否完全接收，若是，则跳转至S354，若否，则继续获取梯度数据块报文；
S354、对数据缓冲区的梯度参数子数据块进行数据重构，还原原始结构化梯度张量，将缺失子块对应的结构化梯度数据进行0填充；
S355、将重构完成的结构化梯度张量递交上层模型，完成参数同步数据传输过程。
CN201911300999.0A 2019-12-17 2019-12-17 一种面向分布式机器学习参数同步差异化数据传输方法 Active CN110958187B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911300999.0A CN110958187B (zh) 2019-12-17 2019-12-17 一种面向分布式机器学习参数同步差异化数据传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911300999.0A CN110958187B (zh) 2019-12-17 2019-12-17 一种面向分布式机器学习参数同步差异化数据传输方法

Publications (2)

Publication Number Publication Date
CN110958187A true CN110958187A (zh) 2020-04-03
CN110958187B CN110958187B (zh) 2021-05-18

Family

ID=69982115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911300999.0A Active CN110958187B (zh) 2019-12-17 2019-12-17 一种面向分布式机器学习参数同步差异化数据传输方法

Country Status (1)

Country Link
CN (1) CN110958187B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860672A (zh) * 2020-07-28 2020-10-30 北京邮电大学 一种基于分块卷积神经网络的细粒度图像分类方法
US11954611B2 (en) 2020-08-27 2024-04-09 International Business Machines Corporation Tensor comparison across a distributed machine learning environment

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102594494A (zh) * 2012-01-11 2012-07-18 浙江工业大学 一种面向智能终端的渐进网络自适应传输方法
CN104714852A (zh) * 2015-03-17 2015-06-17 华中科技大学 一种适用于分布式机器学习的参数同步优化方法及其系统
CN107707933A (zh) * 2017-10-18 2018-02-16 中国联合网络通信集团有限公司 发送、接收视频流的方法及装置
CN108694090A (zh) * 2018-04-16 2018-10-23 江苏润和软件股份有限公司 一种面向分布式机器学习的云计算资源调度方法
CN108768876A (zh) * 2018-06-05 2018-11-06 清华大学深圳研究生院 一种面向机器学习框架的流量调度方法
US20190179301A1 (en) * 2016-05-09 2019-06-13 Strong Force Iot Portfolio 2016, Llc Data collection device with an analog switch

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102594494A (zh) * 2012-01-11 2012-07-18 浙江工业大学 一种面向智能终端的渐进网络自适应传输方法
CN104714852A (zh) * 2015-03-17 2015-06-17 华中科技大学 一种适用于分布式机器学习的参数同步优化方法及其系统
US20190179301A1 (en) * 2016-05-09 2019-06-13 Strong Force Iot Portfolio 2016, Llc Data collection device with an analog switch
CN107707933A (zh) * 2017-10-18 2018-02-16 中国联合网络通信集团有限公司 发送、接收视频流的方法及装置
CN108694090A (zh) * 2018-04-16 2018-10-23 江苏润和软件股份有限公司 一种面向分布式机器学习的云计算资源调度方法
CN108768876A (zh) * 2018-06-05 2018-11-06 清华大学深圳研究生院 一种面向机器学习框架的流量调度方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860672A (zh) * 2020-07-28 2020-10-30 北京邮电大学 一种基于分块卷积神经网络的细粒度图像分类方法
CN111860672B (zh) * 2020-07-28 2021-03-16 北京邮电大学 一种基于分块卷积神经网络的细粒度图像分类方法
US11954611B2 (en) 2020-08-27 2024-04-09 International Business Machines Corporation Tensor comparison across a distributed machine learning environment

Also Published As

Publication number Publication date
CN110958187B (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
US11595289B2 (en) Network testing using a programmable packet engine
CN110445653B (zh) 网络状态预测方法、装置、设备及介质
CN110135573B (zh) 一种深度学习模型的训练方法、计算设备以及系统
Liu et al. Fluid models and solutions for large-scale IP networks
CN111447083A (zh) 动态带宽和不可靠网络下的联邦学习架构及其压缩算法
CN110958187B (zh) 一种面向分布式机器学习参数同步差异化数据传输方法
CN107948103A (zh) 一种基于预测的交换机pfc控制方法及控制系统
Zhou et al. Analysis and implementation of packet preemption for time sensitive networks
CN112637883A (zh) 电力物联网中对无线环境变化具有鲁棒性的联邦学习方法
US10176068B2 (en) Methods, systems, and computer readable media for token based message capture
CN106911740A (zh) 一种缓存管理的方法和装置
Duan et al. Mercury: A simple transport layer scheduler to accelerate distributed DNN training
CN111416779B (zh) 基于时限的互联网业务队列调度方法
CN114884893B (zh) 一种转发和控制可定义的协同流量调度方法与系统
CN102739508B (zh) 一种高速网络数据传输的方法及系统
Àlvarez et al. Adversarial models for priority‐based networks
CN106603426A (zh) 报文丢弃方法及装置
CN115374019A (zh) 分布式ui测试用例的测试方法、系统及计算机存储介质
CN108881058B (zh) 一种网络流到QoS类的软聚集方法
CN114513816A (zh) 一种sdn网络资源分配方法、系统及存储介质
Yan et al. MP-DQN Based Task Scheduling for RAN QoS Fluctuation Minimizing in Public Clouds
CN115062771B (zh) 一种分布式机器学习梯度汇聚方法、装置及模型训练方法
di Pietro et al. Blockmon: Toward high-speed composable network traffic measurement
CN113365310B (zh) 一种数据传输方法、装置、存储介质及电子装置
CN115567460B (zh) 数据包处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant