CN111736999A - 一种降低通信成本的神经网络端云协同训练系统 - Google Patents

一种降低通信成本的神经网络端云协同训练系统 Download PDF

Info

Publication number
CN111736999A
CN111736999A CN202010570373.8A CN202010570373A CN111736999A CN 111736999 A CN111736999 A CN 111736999A CN 202010570373 A CN202010570373 A CN 202010570373A CN 111736999 A CN111736999 A CN 111736999A
Authority
CN
China
Prior art keywords
cloud
neural network
module
communication module
training module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010570373.8A
Other languages
English (en)
Inventor
徐沐霖
梁龙飞
薛向阳
李斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai New Helium Brain Intelligence Technology Co ltd
Fudan University
Original Assignee
Shanghai New Helium Brain Intelligence Technology Co ltd
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai New Helium Brain Intelligence Technology Co ltd, Fudan University filed Critical Shanghai New Helium Brain Intelligence Technology Co ltd
Priority to CN202010570373.8A priority Critical patent/CN111736999A/zh
Publication of CN111736999A publication Critical patent/CN111736999A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明提供了一种降低通信成本的神经网络端云协同训练系统，包括：端侧设备，包括端侧训练模块以及与端侧训练模块通信连接的端侧通信模块；云侧设备，包括与端侧通信模块通信连接的云侧通信模块以及与云侧通信模块通信连接的云侧训练模块，其中，端侧训练模块中包含端侧输入接口、端侧网络层以及端侧输出接口，云侧训练模块中包含云侧输入接口、云侧网络层以及云侧输出接口，端侧训练模块与云侧训模块构成完整的神经网络，神经网络的重量级部分放置在云侧训练模块中，神经网络的轻量级部分放置在端侧训练模块中，端侧通信模块与云侧通信模块中均包含一个编码器和一个解码器。

Description

一种降低通信成本的神经网络端云协同训练系统
技术领域
本发明属于人工智能领域，具体涉及一种降低通信成本的神经网络端云协同训练系统。
背景技术
深度学习已经是目前AI领域研究问题的主要手段，神经网络则是深度学习中的核心。神经网络的学习过程就是修改网络权重使得网络更加拟合输入数据到输出结果的过程。若要修改网络权重，我们首先需要计算计算图的根节点对每个神经元的导数。但是每次重复计算十分浪费时间，所以通常计算图可以保存中间节点的梯度，而多层神经网络可以看作是复合函数，所以可以用链式法则来计算根节点对每个神经元的导数。
随着5G技术的迅猛发展，云计算和边缘计算逐日走向现实，云与端、端与端之间的协同工作是必不可少的。常见的神经网络协同计算主要为分布式并行计算，很少有出现在两台设备中进行串行的协同训练方法，将神经网络串行的分布在端云两侧，网络的轻量级部分保留在端侧，重量级部分安置在云侧，可以大大减轻端侧设备的计算压力，在轻量级的端侧实现复杂的网络。
而将网络拆分至端云两侧意味着前向传播和反向传播需要通过信道。而在通常的训练过程中，前向传播和反向传播会存在数千次至数万次之多，倘若每次传递的张量和梯度较为庞大，则无疑对通信成本造成了不小的压力。
文章Candes E J,Wakin M B.An Introduction To Compressive Sampling[J].IEEE Signal Processing Magazine,2008,25(2):p.21-30.提出了压缩感知的方法，压缩感知基于信号的可压缩性,通过低维空间、低分辨率、欠Nyquist采样数据的非相关观测来实现高维信号的感知。但该方法中只能单方向进行信号压缩和重建，不能反向进行信号压缩和重建。
文章Zhou G,Fan Y,Cui R,et al.Rocket Launching:A Universal andEfficient Framework for Training Well-performing Light Net[J].2017.提出了一种模型蒸馏的方法，端侧拥有较小的网络模型，云侧拥有较大的网络模型，端云的网络之中共用一部分网络层，共用的部分均在端侧。输入信号在端侧经过共用层之后的特征，一部分发送至云侧传递到云侧的网络，一部分在本地的网络继续前向传播，在云侧的信号可以反过来指导端侧网络的训练。但该方法中并未设有压缩编码和解码来进行数据的传输，在通常的训练过程中，前向传播和反向传播会存在数千次至数万次之多，当每次传递的张量和梯度较为庞大时，会对通信成本造成很大的压力。
文章Mcmahan H B,Moore E,Ramage D,et al.Federated Learning of DeepNetworks using Model Averaging[J].2016.是谷歌提出的多模型参数聚合算法，也是联邦学习的基础。联邦学习是分布式学习的一种，它从保护隐私的角度实现了多台设备共同学习的方法。但它的方法中各个设备都有独立且相同的神经网络，每个设备中有自己的数据，训练后将网络参数上传，数据不上传。该方法属于并行的方法，端侧拥有完整的神经网络，容易在计算时造成端侧的计算压力过大。
发明内容
本发明是为了解决上述问题而进行的，目的在于提供一种降低通信成本的神经网络端云协同训练系统。
本发明提供了一种降低通信成本的神经网络端云协同训练系统，具有这样的特征，包括：端侧设备，包括端侧训练模块以及与端侧训练模块通信连接的端侧通信模块；云侧设备，包括与端侧通信模块通信连接的云侧通信模块以及与云侧通信模块通信连接的云侧训练模块，其中，端侧训练模块中包含端侧输入接口、端侧网络层以及端侧输出接口，云侧训练模块中包含云侧输入接口、云侧网络层以及云侧输出接口，端侧训练模块与云侧训模块构成完整的神经网络，神经网络的重量级部分放置在云侧训练模块中，神经网络的轻量级部分放置在端侧训练模块中，端侧通信模块与云侧通信模块中均包含一个编码器和一个解码器。
在本发明提供的降低通信成本的神经网络端云协同训练系统中，还可以具有这样的特征：其中，端侧设备与云侧设备位于不同服务器中。
在本发明提供的降低通信成本的神经网络端云协同训练系统中，还可以具有这样的特征：其中，当神经网络进行前向传播时，输入数据从端侧输入接口输入，经过端侧网络层前向传播后通过端侧输出接口将端侧根节点的张量传输至端侧通信模块进行压缩编码后再传输至云侧通信模块进行解码，解码后的端侧根节点的张量通过云侧输入接口输入并作为云侧叶节点的张量，该云侧叶节点的张量经过云侧网络层继续前向传播后得到输出数据，并通过云侧输出接口输出该输出数据。
在本发明提供的降低通信成本的神经网络端云协同训练系统中，还可以具有这样的特征：其中，当神经网络进行反向传播时，云侧叶节点的梯度传输至云侧通信模块，并通过云侧通信模块压缩编码后传输至端侧通信模块进行解码，解码后的云侧叶节点的梯度通过端侧输出接口进入端侧网络层并替代端侧根节点的空梯度后继续进行反向传播。
发明的作用与效果
根据本发明所涉及的降低通信成本的神经网络端云协同训练系统，因为将完整的神经网络拆分为端侧训练模块与云侧训练模块来进行串行协同训练，并将神经网络的重量级部分放置在云侧训练模块，将神经网络的轻量级部分放置在端侧训练模块，所以，能够大大减轻端侧设备的计算压力，在轻量级的端侧也能够实现复杂的网络；因为端侧训练模块与云侧训练模块之间通过端侧通信模块和云侧通信模块进行通信，并通过编码器与解码器进行数据的编解码来减少数据传输量，所以，能给大幅降低通信成本且不会降低训练效果。
附图说明
图1是本发明的实施例中的降低通信成本的神经网络端云协同训练系统的结构示意图；
图2是本发明的实施例中神经网络位于单个服务器中的结构示意图；
图3是本发明的实施例中神经网络位于单个服务器中时的前向传播与反向传播的算法结构示意图；
图4是本发明的实施例中的降低通信成本的神经网络端云协同训练系统中的神经网络的前向传播的算法结构示意图；
图5是本发明的实施例中的降低通信成本的神经网络端云协同训练系统中的神经网络的前向传播与反向传播的算法结构示意图；
图6是本发明的实施例中两种通信压缩方法的效果图。
具体实施方式
为了使本发明实现的技术手段与功效易于明白了解，以下结合实施例及附图对本发明作具体阐述。
图1是本发明的实施例中的神经网络端云协同训练系统的结构示意图。
如图1所示，本实施例的降低通信成本的神经网络端云协同训练系统100，包括端侧设备10和云侧设备20。
端侧设备10包括端侧训练模块11以及与端侧训练模块11通信连接的端侧通信模块12。
云侧设备20包括与端侧通信模块12通信连接的云侧通信模块21以及与云侧通信模块21通信连接的云侧训练模块22。
端侧设备10与云侧设备20位于不同服务器中。
端侧训练模块11中包含端侧输入接口、端侧网络层以及端侧输出接口，云侧训练模块22中包含云侧输入接口、云侧网络层以及云侧输出接口，端侧训练模块11与云侧训模块22构成完整的神经网络，神经网络的重量级部分放置在云侧训练模块22中，神经网络的轻量级部分放置在端侧训练模块11中。
端侧通信模块12与云侧通信模块21中均包含一个编码器30和一个解码器40。
本实施例中的降低通信成本的神经网络端云协同训练系统100的神经网络设计过程如下：
图2是本发明的实施例中神经网络位于单个服务器中的结构示意图，图3是本发明的实施例中神经网络位于单个服务器中时的前向传播与反向传播的算法结构示意图。
如图2所示，常见的神经网络位于同一服务器中，且前向传播与反向传播的过程如图3所示，图3中，从下往上为前向传播，输入数据为V，输出为Z，在根节点Z处计算损失函数，并且进行反向传播计算损失函数对每个神经元的导数，反向传播的过程运用了链式法则，下一层神经元的导数计算依赖于上一层的导数。
图4是本发明的实施例中的降低通信成本的神经网络端云协同训练系统中的神经网络的前向传播的算法结构示意图。
如图4所示，本实施例的降低通信成本的神经网络端云协同训练系统100中神经网络会被分为端侧网络和云侧网络两个部分，因此需要对如图3中的前向传播与反向传播过程进行修改。
对于前向传播的修改只需要将端侧根节点的张量发送到云侧，作为云侧叶节点的张量继续进行前向传播即可。
图5是本发明的实施例中的降低通信成本的神经网络端云协同训练系统中的神经网络的前向传播与反向传播的算法结构示意图。
如图5所示，在进行反向传播时，因为神经网络被截断了，梯度
Figure BDA0002547098960000071
无法传递至端侧，所以需要将云侧叶节点梯度
Figure BDA0002547098960000072
传递至端侧，替换掉端侧根节点的空梯度，并进行反向传播，即可实现跨服务器反向传播的功能。在反向传播过程中，通过读取出云侧叶节点的梯度，将其发送至端侧并替代端侧存储的根节点的导数，此时在端侧进行反向传播时，端侧每个神经元的导数便是云侧根节点的对端侧每个神经元的导数，实现了反向传播的过程。
如图1和图5所示，本实施例中降低通信成本的神经网络端云协同训练系统100的神经网络训练过程如下：
当神经网络进行前向传播时，输入数据从端侧输入接口输入，经过端侧网络层前向传播后通过端侧输出接口将端侧根节点的张量传输至端侧通信模块12进行压缩编码后再传输至云侧通信模块21进行解码，解码后的端侧根节点的张量通过云侧输入接口输入并作为云侧叶节点的张量，该云侧叶节点的张量经过云侧网络层继续前向传播后得到输出数据，并通过云侧输出接口输出该输出数据，
当神经网络进行反向传播时，云侧叶节点的梯度传输至云侧通信模块21，并通过云侧通信模块21压缩编码后传输至端侧通信模块11进行解码，解码后的云侧叶节点的梯度通过端侧输出接口进入端侧网络层并替代端侧根节点的空梯度后继续进行反向传播。
本实施例中，由于直接传递前向传播的张量和反向传播的梯度对于通信成本而言数据量有点大，因此需要进行通信压缩，通过编码器30和解码器40对数据进行编解码，保证信息在服务器之间快速稳定的传递。
图6是本发明的实施例中两种通信压缩方法的效果图。
如图6所示，本实施例中还通过两种通信压缩方法对前向传播的张量和反向传播的梯度进行压缩，过程如下：
方法一：将32位float压缩为16位float甚至8位，使得信息传输是原来的若干分之一。
方法一为量化的方法，对于方法一，本实施例中尝试将32位float型张量压缩为16位的float型张量，以及使用8位均匀量化编码和8位非均匀量化编码，效果如图6左侧所示。实验结果说明了将前向传播的张量和反向传播的梯度压缩为16位对于神经网络的训练效果并没有影响。
方法二：采用FFT、DCT、PCA等方法，将特征的低频/主成分传输。
方法二为压缩信息的方法，对于方法二，本实施例尝试了只传播信号的主成分来压缩信号，效果如图6右侧所示，本实施例尝试了各个压缩比下的神经网络训练效果，实验结果说明了压缩比在八分之一以内时，神经网络的训练效果并没有影响。
因此，能够通过结合本实施例的方法一与方法二来对前向传播的张量和反向传播的梯度进行压缩，在低成本的通信代价下实现端云协同训练。
实施例的作用与效果
根据本实施例所涉及的降低通信成本的神经网络端云协同训练系统，因为将完整的神经网络拆分为端侧训练模块与云侧训练模块来进行串行协同训练，并将神经网络的重量级部分放置在云侧训练模块，将神经网络的轻量级部分放置在端侧训练模块，所以，能够大大减轻端侧设备的计算压力，在轻量级的端侧也能够实现复杂的网络；因为端侧训练模块与云侧训练模块之间通过端侧通信模块和云侧通信模块进行通信，并通过编码器与解码器进行数据的编解码来减少数据传输量，所以，能给大幅降低通信成本且不会降低训练效果。
进一步地，因为端侧设备与云侧设备位于不同服务器中，所以，能够便于排查系统问题，便于进行维护。
进一步地，因为通过结合量化以及压缩信息的方法进行数据压缩传输，通过对前向传播的张量与反向传播的梯度进行压缩编码并通信传输后再进行解码来完成神经网络的前向传播与反向传播的过程，所以，能够在尽量减少传输数据量的同时保证神经网络的训练效果。
上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。

Claims (4)

1.一种降低通信成本的神经网络端云协同训练系统，其特征在于，包括：
端侧设备，包括端侧训练模块以及与所述端侧训练模块通信连接的端侧通信模块；
云侧设备，包括与所述端侧通信模块通信连接的云侧通信模块以及与所述云侧通信模块通信连接的云侧训练模块，
其中，所述端侧训练模块中包含端侧输入接口、端侧网络层以及端侧输出接口，
所述云侧训练模块中包含云侧输入接口、云侧网络层以及云侧输出接口，
所述端侧训练模块与所述云侧训模块构成完整的神经网络，所述神经网络的重量级部分放置在所述云侧训练模块中，所述神经网络的轻量级部分放置在所述端侧训练模块中，
所述端侧通信模块与所述云侧通信模块中均包含一个编码器和一个解码器。
2.根据权利要求1所述的降低通信成本的神经网络端云协同训练系统，其特征在于：
其中，所述端侧设备与所述云侧设备位于不同服务器中。
3.根据权利要求1所述的降低通信成本的神经网络端云协同训练系统，其特征在于：
其中，当所述神经网络进行前向传播时，输入数据从所述端侧输入接口输入，经过所述端侧网络层前向传播后通过所述端侧输出接口将端侧根节点的张量传输至所述端侧通信模块进行压缩编码后再传输至所述云侧通信模块进行解码，解码后的所述端侧根节点的张量通过所述云侧输入接口输入并作为云侧叶节点的张量，该云侧叶节点的张量经过所述云侧网络层继续前向传播后得到输出数据，并通过所述云侧输出接口输出该输出数据。
4.根据权利要求1所述的降低通信成本的神经网络端云协同训练系统，其特征在于：
其中，当所述神经网络进行反向传播时，所述云侧叶节点的梯度传输至所述云侧通信模块，并通过所述云侧通信模块压缩编码后传输至所述端侧通信模块进行解码，解码后的所述云侧叶节点的梯度通过所述端侧输出接口进入所述端侧网络层并替代所述端侧根节点的空梯度后继续进行反向传播。
CN202010570373.8A 2020-06-19 2020-06-19 一种降低通信成本的神经网络端云协同训练系统 Pending CN111736999A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010570373.8A CN111736999A (zh) 2020-06-19 2020-06-19 一种降低通信成本的神经网络端云协同训练系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010570373.8A CN111736999A (zh) 2020-06-19 2020-06-19 一种降低通信成本的神经网络端云协同训练系统

Publications (1)

Publication Number Publication Date
CN111736999A true CN111736999A (zh) 2020-10-02

Family

ID=72651922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010570373.8A Pending CN111736999A (zh) 2020-06-19 2020-06-19 一种降低通信成本的神经网络端云协同训练系统

Country Status (1)

Country Link
CN (1) CN111736999A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113472866A (zh) * 2021-06-23 2021-10-01 北京理工大学珠海学院 基于tcp协议的云端神经网络数据接口方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110580487A (zh) * 2018-06-08 2019-12-17 Oppo广东移动通信有限公司 神经网络的训练方法、构建方法、图像处理方法和装置
CN111091278A (zh) * 2019-12-04 2020-05-01 湃方科技(天津)有限责任公司 机械设备异常检测的边缘检测模型构建方法及装置
CN111222532A (zh) * 2019-10-23 2020-06-02 西安交通大学 具有分类精度保持和带宽保护的边云协同深度学习模型训练方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110580487A (zh) * 2018-06-08 2019-12-17 Oppo广东移动通信有限公司 神经网络的训练方法、构建方法、图像处理方法和装置
CN111222532A (zh) * 2019-10-23 2020-06-02 西安交通大学 具有分类精度保持和带宽保护的边云协同深度学习模型训练方法
CN111091278A (zh) * 2019-12-04 2020-05-01 湃方科技(天津)有限责任公司 机械设备异常检测的边缘检测模型构建方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113472866A (zh) * 2021-06-23 2021-10-01 北京理工大学珠海学院 基于tcp协议的云端神经网络数据接口方法

Similar Documents

Publication Publication Date Title
ZainEldin et al. Image compression algorithms in wireless multimedia sensor networks: A survey
US20210125070A1 (en) Generating a compressed representation of a neural network with proficient inference speed and power consumption
CN110602494A (zh) 基于深度学习的图像编码、解码系统及编码、解码方法
CN113259665B (zh) 一种图像处理方法以及相关设备
CN105163121A (zh) 基于深度自编码网络的大压缩比卫星遥感图像压缩方法
Al-Marridi et al. Convolutional autoencoder approach for eeg compression and reconstruction in m-health systems
Kumar et al. Image compression techniques by using wavelet transform
CN113822147A (zh) 一种协同机器语义任务的深度压缩方法
Wu et al. Semantic segmentation-based semantic communication system for image transmission
Xu et al. Singular vector sparse reconstruction for image compression
CN111736999A (zh) 一种降低通信成本的神经网络端云协同训练系统
CN113450421B (zh) 一种基于增强深度学习的无人机侦察图像压缩与解压方法
TW202406344A (zh) 一種點雲幾何資料增強、編解碼方法、裝置、碼流、編解碼器、系統和儲存媒介
CN116155873A (zh) 一种云边协同的图像处理方法、系统、设备及介质
CN116361256A (zh) 基于日志解析的数据同步方法及系统
Saudagar et al. Image compression approach with ridgelet transformation using modified neuro modeling for biomedical images
CN113949880B (zh) 一种极低码率人机协同图像编码训练方法及编解码方法
CN114501031B (zh) 一种压缩编码、解压缩方法以及装置
Tripathi Image compression enhancement using bipolar coding with LM algorithm in artificial neural network
Gao et al. Volumetric end-to-end optimized compression for brain images
CN115361556A (zh) 一种基于自适应的高效视频压缩算法及其系统
Hsieh et al. C3-SL: Circular Convolution-Based Batch-Wise Compression for Communication-Efficient Split Learning
Liang et al. An adaptive image compression algorithm based on joint clustering algorithm and deep learning
Adate et al. Analysing image compression using generative adversarial networks
CN114663536B (zh) 一种图像压缩方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201002

WD01 Invention patent application deemed withdrawn after publication