CN113556247B - 多层参数分布式数据传输方法、装置及可读介质 - Google Patents
多层参数分布式数据传输方法、装置及可读介质 Download PDFInfo
- Publication number
- CN113556247B CN113556247B CN202110712064.4A CN202110712064A CN113556247B CN 113556247 B CN113556247 B CN 113556247B CN 202110712064 A CN202110712064 A CN 202110712064A CN 113556247 B CN113556247 B CN 113556247B
- Authority
- CN
- China
- Prior art keywords
- parameters
- data
- training
- node
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000005540 biological transmission Effects 0.000 title claims abstract description 29
- 238000004891 communication Methods 0.000 claims abstract description 26
- 238000013135 deep learning Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 63
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013136 deep learning model Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
- H04L69/163—In-band adaptation of TCP data exchange; In-band control procedures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
- H04L69/164—Adaptation or special uses of UDP protocol
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Security & Cryptography (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Communication Control (AREA)
Abstract
本发明涉及一种多层参数分布式数据传输方法、装置及可读介质的技术方案，包括：将用于分布式学习的任意节点的参数通过UDP协议进行传输；将参数以数据字典格式的数据包在节点之间进行传输；参数被接收时创建对应的参数空间，解析数据包的数据字典配置将数据包的参数存储至指定位置；接收参数的节点对自身的参数进行更新。本发明的有益效果为：提高了分布式深度学习网络的数据通信效率，减少通信时间。
Description
技术领域
本发明涉及计算机网络和分布式深度学习领域，具体涉及了一种多层参数分布式数据传输方法、装置及可读介质。
背景技术
深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习的本质就是训练具有不同网络结构的模型，通过大量的数据更新网络模型参数，使网络模型达到良好的收敛效果，达到“学习”的目的。
由于大数据的产生，用于训练一个深度学习模型的数据量过大，单台高性能服务器已经无法满足深度学习模型训练的需求，于是分布式深度学习训练应运而生，由于分布式深度学习模型训练具有以下特点：模型参数量大，训练时间长导致的通信时间较长、通信数据量较大等问题。所以如何提高各个工作节点之间的参数传输的通信效率成为了业内的一个重要研究对象。
目前业界的分布式深度学习模型训练一般使用TCP协议作为各个工作节点之间的通信协议，TCP协议具有稳定可靠但是通信效率低的特点，为了克服使用TCP协议带来的通信效率低的问题，一般将模型训练所用的服务器全部放置在一个内网中进行训练，对通信环境、带宽等要求较高，无法充分利用不在同一个内网环境中的不同服务器进行分布式训练。
如果在外网环境中采用TCP协议进行分布式训练，则会因为外网中通信环境不佳和带宽不足的问题大大延长训练的进度，无法达到分布式训练预期的效果。
发明内容
本发明的目的在于至少解决现有技术中存在的技术问题之一，提供了一种多层参数分布式数据传输方法、装置及可读介质，提高了分布式的深度学习网络的数据通信效率，减少通信时间。
本发明的技术方案包括一种多层参数分布式数据传输方法，其特征在于，该方法包括：将用于分布式学习的任意节点的参数通过UDP协议进行传输；所述参数以数据字典格式的数据包在节点之间进行传输；所述参数被接收时创建对应的参数空间，解析所述数据包的数据字典配置将数据包的所述参数存储至指定位置；接收所述参数的所述节点对自身的所述参数进行更新。
根据所述的多层参数分布式数据传输方法，其中将分布式学习的任意节点的参数通过UDP协议进行传输包括：将每个所述节点已训练的模型参数通过UDP协议的广播机制发送至一个或多个其他所述节点。
根据所述的多层参数分布式数据传输方法，其中数据包包括：采用数据字典格式，每个所述数据包的字典设置至少包括训练批次、批次训练中的参数层、参数数据、发送节点及数据包序列号。
根据所述的多层参数分布式数据传输方法，其中参数空间包括：确定基于UDP通信协议传输的参数总量和所需要接受的数据包数量，所述节点接收所述数据包时创建多个字典数据结构，通过所述字典数据结构创建出接收参数的空间，其中每个所述字典数据结构对应一个所述节点的发送方；所述字典数据结构包括分布式深度学习的层及每层的数据包存放位置。
根据所述的多层参数分布式数据传输方法，其中解析所述数据包的数据字典配置将数据包的所述参数存储至指定位置包括：获取所述数据包的参数，根据所述字典数据结构的存放至指定位置。
根据所述的多层参数分布式数据传输方法，其中接收所述参数的所述节点对自身的所述参数进行更新包括：将接收到的所述参数与自身的参数进行相加并除以2，以及对接收的参数的完整性进行检查，若接收的参数完整则执行参数合并，完成本轮训练，并执行下一轮训练，否则在等待超时后执行参数合并结束本轮训练。
根据所述的多层参数分布式数据传输方法，其中该方法还包括：所述节点通过多个线程完成所述参数的接收及发送，多个所述线程之间通信通过队列数据结构实现；所述节点至少包括主线程及两个子线程，所述主线程用于执行深度学习模型的训练，所述主线程在每一轮训练完之后将队列中的数据取出对自身数据进行更新，以及对每一轮训练过程进行加锁以保持各个训练节点之间的训练线程同步；所述子线程用于将训练完成之后的参数通过UDP协议将中间计算结果发送给其他节点，以及，用于接受其他节点发来的中间计算结果，并将所述中间计算结果写入队列。
根据所述的多层参数分布式数据传输方法，其中该方法还包括：所述分布式学习所训练的模型的每层参数通过多个基于UDP协议的所述数据包进行传输，所述数据包设置有数据包长度、训练标识及层参数总量。
本发明的技术方案还包括一种多层参数分布式数据传输装置，该装置包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现任一所述的方法步骤。
本发明的技术方案一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现任一所述的方法步骤。
本发明的有益效果为：通过使用基于UDP的通信协议进行分布式深度学习模型的训练，可以通过UDP协议的广播机制发送给其他工作节点每轮训练的中间计算结果，避免了需要给其他工作节点传输重复数据；并且采用UDP协议相比使用TCP协议，无需经过握手和挥手阶段来预先分配信道资源和回收信道资源，同时也不需要丢包重传等机制，并且UDP包相比TCP包减少了大量的头部开销，对于深度学习模型训练这种参数量大，通信时间长的任务来说大大减少了通信消耗，提高了通信效率。
附图说明
下面结合附图和实施例对本发明进一步地说明；
图1所示为根据本发明实施方式的节点之间的交互示意图。
图2所示为根据本发明实施方式的参数传输处理流程图。
图3所示为根据本发明实施方式的装置图。
具体实施方式
本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
本发明的描述中，除非另有明确的限定，设置等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
术语解释：
TCP协议：TCP提供一种面向连接的、可靠的字节流服务。面向连接意味着两个使用TCP的应用(通常是一个客户和一个服务器)在彼此交换数据包之前必须先建立一个TCP连接。这一过程与打电话很相似，先拨号振铃，等待对方摘机说“喂”，然后才说明是谁。在一个TCP连接中，仅有两方进行彼此通信。广播不能用于TCP。
UDP协议：UDP是一个无连接协议，传输数据之前源端和终端不建立连接，当它想传送时就简单地去抓取来自应用程序的数据，并尽可能快地把它扔到网络上。在发送端，UDP传送数据的速度仅仅是受应用程序生成数据的速度、计算机的能力和传输带宽的限制；在接收端，UDP把每个消息段放在队列中，应用程序每次从队列中读一个消息段。由于传输数据不建立连接，因此也就不需要维护连接状态，包括收发状态等，因此一台服务机可同时向多个客户机传输相同的消息。UDP信息包的标题很短，只有8个字节，相对于TCP的20个字节信息包而言UDP的额外开销很小。
map(key-value)数据格式：数据字典格式。
深度学习模型训练过程：开始训练一个批次的数据，就进行一次前向传播和反向传播，通过反向传播更新自身网络结构参数即为一次训练，每次训练过后需要通过测试集测试当前网络的准确率和收敛程度，测试网络准确率的过程与训练过程大致一样，同样将测试集的数据输入神经网络但是不进行前向传播和反向传播，即保持参数不更新，仅记录准确率以此判断模型收敛情况。通过多轮训练，当模型的准确率较高并且收敛情况较好，则训练完成。
参考图1，图1的实施方式仅示例了2个节点之间的参数传输方式，在实际应用时，存在一个节点向多个节点、多个节点向一个节点发送参数的传输方法。本实施例的流程包括：将用于分布式学习的任意节点的参数通过UDP协议进行传输；参数以数据字典格式的数据包在节点之间进行传输；参数被接收时创建对应的参数空间，解析数据包的数据字典配置将数据包的参数存储至指定位置；接收参数的节点对自身的参数进行更新。
对于参数空间，参考如下表1，其提供了一种参数空间的数据格式：
表1
表1表示分布式深度学习的每层参数通过多个数据包基于UDP协议进行发送，每个数据包还设置了对应的存储位置。
分布式深度学习是数据并行的架构，所有节点训练的模型应当是一样的，具有同样的网络结构并且每一层的参数量也一致，根据这个特点，在使用基于UDP的通信协议传输之前就已知需要传输的参数总量和所需要接受的数据包数量(总数据量/每个数据包的规定长度)，因此接受方在接收数据之前就可以用多个map数据结构创建出接收参数的空间(每接受一台机器的中间结果就需要一个多map(key-value)构成的数据结构)。
本发明的技术方案还公开了数据包数据字典设置，其示例如下表2：
| Epoch | 训练批次 |
| Parameter_layer | 该批次训练中的参数层 |
| Parameter_layer_data | 该数据包中的参数数据(长度已规定) |
| Train_machine | 从哪台机器中传送过来的数据 |
| Parameter_layer_number | 数据包序号 |
表2
由于采用map(key-value)数据结构，每个数据包中的参数数据会根据包中的Train_machine、Parameter_layer和Parameter_layer_number这三个参数的值到达指定层数的map结构的指定位置，比如1号节点收到了来自2号节点第1轮训练的第三层参数层的3号数据包(即为2号节点第1轮训练的中间计算结果)，根据数据包中Train_machine的值为2可以确定该数据包将去到专门接受2号节点中间计算结果的数据结构中做进一步的解码处理，根据数据包中Parameter_layer的值为3可以确定该数据包将去往专门存储2号节点第3层map数据结构中，根据数据包中Parameter_layer_number的值为3可以确定该数据包中的Parameter_layer_data的数据放在2号节点的第3层参数层map数据结构中key为3的位置，至此该数据包的数据已成功处理完成，等待接受完所有的计算结果之后对自身参数进行更新。
本实施例至少具备以下有益效果：使用UDP广播机制的特性避免了重复发送数据到各个工作节点，并且减少了通信本身带来的时间、资源上的消耗，提高了通信效率。并且通过特殊设计的协议和流程克服了使用UDP作为通信协议不可靠的问题。
参考图2，其包括以下流程：
S210，工作节点开始模型训练；所训练的模型具有许多权重层，并且每一层的参数量不一样，并且参数量非常大，所以需要将每一层的参数分成许多个UDP数据包进行发送，并且由于要进行多轮训练，不但要规定每个数据包的长度，还要在此基础上对数据包加上一些标识，例如训练轮数以及是哪一层训练的数据，并且由于UDP本身带有丢包的可能性，所以每个数据包也要带上该层参数的总量，这样接受方就能在组装数据包的时候了解是否丢包以及数据的完整性，保证了参数能完整传输；
S220，使用自身参数初始化自身参数空间；
S230，训练完毕后将中间计算结果使用UDP数据包广播给其他节点；
S240，开始接收其他节点的中间计算结果；
S250，根据数据包的参数将数据包合并到参数空间的指定位置；本实例的多个节点通信还需要在数据包上标识该数据包来自哪个工作节点，方便接受方组装数据包时将来自不同节点的计算结果区分并成功组装；
S260，确定数据包是否接收完毕；
S270，则该轮训练的中间结果接收完毕，与自身参数合并，并返S220执行下一轮的训练；否则，等待超时，默认结束该轮训练，将接收到的参数与自身参数合并返S220执行下一轮的训练。
本实施例采用队列数据结构作为多线程之间的通信方式，主线程负责深度学习模型的训练，另外两个线程一个负责在训练完成之后通过UDP协议将中间计算结果发送给其他节点，另一个线程负责不断接受其他节点发来的中间计算结果，然后将结果放进队列里，主线程在每一轮训练完之后将队列中的数据取出对自身数据做更新，需要对每一轮训练过程加锁以保证各个训练节点之间的训练线程同步，即每个节点必须接受到所有其他节点的中间结果并且完成本身数据更新才能进行下一轮的训练。
如图3所示的装置。装置包括存储器100及处理器200，其中处理器200存储有计算机程序，计算机程序用于执行：将用于分布式学习的任意节点的参数通过UDP协议进行传输；将参数以数据字典格式的数据包在节点之间进行传输；参数被接收时创建对应的参数空间，解析数据包的数据字典配置将数据包的参数存储至指定位置；接收参数的节点对自身的参数进行更新。
应当认识到，本发明实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (7)
1.一种多层参数分布式数据传输方法，其特征在于，该方法包括：
将用于分布式学习的任意节点的参数通过UDP协议进行传输；
所述参数以数据字典格式的数据包在节点之间进行传输；
所述参数被接收时创建对应的参数空间，解析所述数据包的数据字典配置将数据包的所述参数存储至指定位置；
接收所述参数的所述节点对自身的所述参数进行更新；
所述数据包包括：
采用数据字典格式，每个所述数据包的字典设置至少包括训练批次、批次训练中的参数层、参数数据、发送节点及数据包序列号；
所述参数空间包括：
确定基于UDP通信协议传输的参数总量和所需要接受的数据包数量，所述节点接收所述数据包时创建多个字典数据结构，通过所述字典数据结构创建出接收参数的空间，其中每个所述字典数据结构对应一个所述节点的发送方；
所述字典数据结构包括分布式深度学习的层及每层的数据包存放位置；
所述接收所述参数的所述节点对自身的所述参数进行更新包括：
将接收到的所述参数与自身的参数进行相加并除以2，以及对接收的参数的完整性进行检查，若接收的参数完整则执行参数合并，完成本轮训练，并执行下一轮训练，否则在等待超时后执行参数合并结束本轮训练。
2.根据权利要求1所述的多层参数分布式数据传输方法，其特征在于，所述将分布式学习的任意节点的参数通过UDP协议进行传输包括：
将每个所述节点已训练的模型参数通过UDP协议的广播机制发送至一个或多个其他所述节点。
3.根据权利要求1所述的多层参数分布式数据传输方法，其特征在于，所述解析所述数据包的数据字典配置将数据包的所述参数存储至指定位置包括：
获取所述数据包的参数，根据所述字典数据结构的存放至指定位置。
4.根据权利要求1所述的多层参数分布式数据传输方法，其特征在于，该方法还包括：
所述节点通过多个线程完成所述参数的接收及发送，多个所述线程之间通信通过队列数据结构实现；
所述节点至少包括主线程及两个子线程，所述主线程用于执行深度学习模型的训练，所述主线程在每一轮训练完之后将队列中的数据取出对自身数据进行更新，以及对每一轮训练过程进行加锁以保持各个训练节点之间的训练线程同步；所述子线程用于将训练完成之后的参数通过UDP协议将中间计算结果发送给其他节点，以及，用于接受其他节点发来的中间计算结果，并将所述中间计算结果写入队列。
5.根据权利要求1所述的多层参数分布式数据传输方法，其特征在于，该方法还包括：
所述分布式学习所训练的模型的每层参数通过多个基于UDP协议的所述数据包进行传输，所述数据包设置有数据包长度、训练标识及层参数总量。
6.一种多层参数分布式数据传输装置，该装置包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-5任一所述的方法步骤。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110712064.4A CN113556247B (zh) | 2021-06-25 | 2021-06-25 | 多层参数分布式数据传输方法、装置及可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110712064.4A CN113556247B (zh) | 2021-06-25 | 2021-06-25 | 多层参数分布式数据传输方法、装置及可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113556247A CN113556247A (zh) | 2021-10-26 |
| CN113556247B true CN113556247B (zh) | 2023-08-01 |
Family
ID=78102417
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110712064.4A Active CN113556247B (zh) | 2021-06-25 | 2021-06-25 | 多层参数分布式数据传输方法、装置及可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113556247B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108268638A (zh) * | 2018-01-18 | 2018-07-10 | 浙江工业大学 | 一种基于Spark框架的生成对抗网络分布式实现方法 |
| WO2019042200A1 (zh) * | 2017-08-30 | 2019-03-07 | 第四范式（北京）技术有限公司 | 执行机器学习的分布式系统及其方法 |
| CN111679860A (zh) * | 2020-08-12 | 2020-09-18 | 上海冰鉴信息科技有限公司 | 分布式信息处理方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11087234B2 (en) * | 2016-01-29 | 2021-08-10 | Verizon Media Inc. | Method and system for distributed deep machine learning |
| CN108280522B (zh) * | 2018-01-03 | 2021-08-20 | 北京大学 | 一种插件式分布式机器学习计算框架及其数据处理方法 |
| CN108616503A (zh) * | 2018-03-12 | 2018-10-02 | 北京邮电大学 | 基于udp的数据传输方法及系统 |
| JP6981329B2 (ja) * | 2018-03-23 | 2021-12-15 | 日本電信電話株式会社 | 分散深層学習システム |
| CN112766502A (zh) * | 2021-02-27 | 2021-05-07 | 上海商汤智能科技有限公司 | 基于分布式通信的神经网络训练方法、装置及存储介质 |
| CN112906825A (zh) * | 2021-03-30 | 2021-06-04 | 第四范式（北京）技术有限公司 | 实现机器学习模型的分布式训练的方法和计算节点 |
-
2021
- 2021-06-25 CN CN202110712064.4A patent/CN113556247B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019042200A1 (zh) * | 2017-08-30 | 2019-03-07 | 第四范式（北京）技术有限公司 | 执行机器学习的分布式系统及其方法 |
| CN108268638A (zh) * | 2018-01-18 | 2018-07-10 | 浙江工业大学 | 一种基于Spark框架的生成对抗网络分布式实现方法 |
| CN111679860A (zh) * | 2020-08-12 | 2020-09-18 | 上海冰鉴信息科技有限公司 | 分布式信息处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113556247A (zh) | 2021-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113835902B (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
| CN111835837B (zh) | 多端适配的消息推送方法及系统 | |
| CN105450785B (zh) | 一种文件传输方法和装置 | |
| CN107360177B (zh) | 一种基于udp的报文传输方法及装置 | |
| US20230042747A1 (en) | Message Processing Method and Device, Storage Medium, and Electronic Device | |
| CN110430126A (zh) | 即时通信消息处理方法、装置、系统、设备及存储介质 | |
| CN114039703A (zh) | 数据传输方法、装置、设备和介质 | |
| KR101989249B1 (ko) | 이동 단말기의 오프로딩 방법 및 그 이동 단말기 | |
| CN107707594A (zh) | 一种实现按需加速的文件传输方法及装置 | |
| CN109729061A (zh) | 消息处理方法、装置、设备及可读存储介质 | |
| CN113259989B (zh) | 数据重传方法、装置及电子设备 | |
| CN107317821A (zh) | 一种图像数据的传输方法、装置及系统 | |
| CN113556247B (zh) | 多层参数分布式数据传输方法、装置及可读介质 | |
| CN113806156A (zh) | 测试方法、系统、设备以及存储介质 | |
| CN113422669B (zh) | 数据传输方法、装置和系统、电子设备以及存储介质 | |
| CN107800999A (zh) | 一种混合接入摄像机和视频平台的方法和系统 | |
| CN112131014A (zh) | 决策引擎系统及其业务处理方法 | |
| CN115348333B (zh) | 基于udp双端通信交互的数据传输方法、系统及设备 | |
| CN114979793B (zh) | 一种直播数据传输方法、装置、系统、设备和介质 | |
| CN107995201B (zh) | 数据的传输方法及装置、服务器及存储介质 | |
| CN110740138A (zh) | 数据传输方法和装置 | |
| CN109766347B (zh) | 一种数据更新方法、装置、系统、计算机设备及存储介质 | |
| WO2022082742A1 (zh) | 模型训练方法、装置、服务器、终端和存储介质 | |
| CN111865884B (zh) | 一种报文处理方法、装置及设备 | |
| US11374874B2 (en) | Access control method, access control device, and data processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |