CN110263928A - 保护数据隐私的基于移动设备的分布式深度学习训练方法 - Google Patents

Abstract

本发明公开了一种保护数据隐私的基于移动设备的分布式深度学习训练方法，包括：步骤1，切割神经网络；步骤2，分配移动设备；步骤3，移动设备组内训练；步骤4，移动设备组间训练；步骤5，全局服务器全局模型跟新。该分布式深度学习训练方法实现了兼顾保护用户的数据隐私以及使训练模型达到较高性能的目标，让用户对自己产生的训练数据享有绝对的控制权。解决了传统集中式深度学习下，服务提供商可以恶意使用、侵犯以及泄露用户数据隐私的问题。

Description

保护数据隐私的基于移动设备的分布式深度学习训练方法

技术领域

本发明涉及深度学习领域，尤其涉及一种保护数据隐私的基于移动设备的分布式深度学习训练方法。

背景技术

深度学习在很多领域的应用，如语音识别、物体识别、人脸检测以及生物医学等，性能都已远超于传统机器学习算法。机器学习擅长从复杂数据结构中捕捉非线性特征，同时对不相关的噪声有较强的鲁棒性。而深度学习能达到这么高的性能极其依赖海量的丰富多样的训练数据以及复杂的神经网络结构。收集的训练数据要求在特征分布上与实际使用时的数据分布一致。现阶段服务提供商们的常见做法是，隐式地收集用户日常使用中产生的数据作为训练数据，然后在一些性能较强的服务器上进行复杂的神经网络模型的训练。考虑到用户日常使用产生的数据往往包含非常多的敏感信息，这种大规模的收集用户使用数据在很多方面都会侵犯以及泄露用户的隐私。同时一旦服务提供商收集用户的数据后，这些数据的使用方式以及使用目的将完全由服务提供商决定，用户无法参与进来。比如，服务提供商可以再搜集完用户的数据后卖给第三方，或者训练学习一个用于其他目的的神经网络来对用户的隐私信息进行恶意建模分析等。这些恶意行为对于用户而言是无法知晓同时也是无力控制的，因为基于该训练模式下，服务提供商对于训练数据的使用方式、使用目的等具有绝对的控制权。

现有技术还未能完全实现基于移动设备训练深度学习网络同时兼顾保护用户数据隐私的目标。现有技术提出了类似的分布式深度学习训练模型，但是未能充分考虑移动设备的计算以及存储性能。传统的深度学习训练通常在几台性能极强的服务器上仍需要训练长达数日，如果不针对移动设备的计算性能进行优化，那么分布式的深度学习模型无法在移动设备上进行训练。同时考虑到神经网络变得越来越复杂，一个神经网络可能将占用多大上百兆乃至上上千兆的存储空间，直接将神经网络模型存储在移动设备端将极大消耗移动设备宝贵的存储资源。现有技术也有针对深度学习的训练数据进行隐私保护，常见方法如同态加密或差分隐私，但同态加密方法会增加极高的计算开销，同时因为其自身只支持有限次加法和乘法的特性，导致训练的模型性能急剧下降。而基于差分隐私的方法会引入较多的噪声，模型性能也会较差，不适用于商业产品中。

发明内容

基于现有技术所存在的问题，本发明的目的是提供一种保护数据隐私的基于移动设备的分布式深度学习训练方法，能利用性能有限的移动设备分布式进行深度学习训练，并能保护训练数据的隐私。

本发明的目的是通过以下技术方案实现的：

本发明实施方式提供一种保护数据隐私的基于移动设备的分布式深度学习训练方法，包括：

步骤1，切割神经网络：全局服务器获取参与训练的各移动设备的平均计算性能和通信开销，并根据各移动设备的平均计算性能和通信开销对预期训练使用的神经网络模型进行切割，将完整的所述神经网络模型切割为多个神经网络块，每个神经网络块均能在一个移动设备上运行；

步骤2，分配移动设备：所述全局服务器按设定的分组策略将所有参与训练的移动设备分为多组，每组内包含的移动设备数量支持合作训练一个完整的神经网络模型开销；

步骤3，移动设备组内训练：将某一完整的神经网络模型切割后得到的各神经网络块分配给同一分组内的各移动设备运行进行训练，由该分组内的全部移动设备合作共同训练该完整的神经网络模型，设定该分组内全部移动设备合作共同训练的迭代次数为w，完成w次模型参数权值迭代后，该分组内的移动设备根据梯度绝对值大小，选择θ比率的梯度绝对值较大的模型参数权值上传给全局服务器；

步骤4，移动设备组间训练：各分组的移动设备在w次迭代，并向所述全局服务器上传θ比率的模型参数的权值后，同时从所述全局服务器接收滑动窗口长度μ内被更新次数最多的比率的模型参数权值，替换对应的本地模型参数权值，完成不同分组移动设备之间的训练知识的分享与间接融合；

步骤5，全局模型跟新：所述全局服务器与不同分组的移动设备进行通信，从每个移动设备分组内，每经过w次迭代后获取设定的θ比率的最新模型参数权值，来跟新该全局服务器保留的与预期训练使用的神经网络模型相同的全局神经网络模型的模型参数权值，完成全局神经网络模型的跟新；同时全局服务器根据设定的滑动窗口长度μ和比率选择比率被更新次数最多的模型参数权值发送给移动设备，用于分组内移动设备本地模型参数权值的替换。

由上述本发明提供的技术方案可以看出，本发明实施例提供的保护数据隐私的基于移动设备的分布式深度学习训练方法，其有益效果为：

通过有机进行的切割神经网络、分配移动设备、移动设备组内训练、移动设备组间训练、全局模型跟新形成分布式深度学习训练方法，实现了充分利用多个移动设备进行分布式训练，同时兼顾保护用户的数据隐私，并使训练模型达到较高的性能，让用户对自己产生的训练数据享有绝对的控制权。解决了传统集中式深度学习下，服务提供商可以恶意使用用户数据、侵犯以及泄露用户数据隐私的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的分布式深度学习训练方法的流程图；

图2为本发明实施例提供的分布式深度学习训练方法的训练过程示意图。

具体实施方式

下面结合本发明的具体内容，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

如图1所示，本发明实施例提供一种保护数据隐私的基于移动设备的分布式深度学习训练方法，包括：

步骤1，切割神经网络：全局服务器获取参与训练的各移动设备的平均计算性能和通信开销，并根据各移动设备的平均计算性能和通信开销对预期训练使用的神经网络模型进行切割，将完整的所述神经网络模型切割为多个神经网络块，每个神经网络块均能在一个移动设备上运行；

步骤2，分配移动设备：所述全局服务器按设定的分组策略将所有参与训练的移动设备分为多组，每组内包含的移动设备数量支持合作训练一个完整的神经网络模型开销；

步骤3，移动设备组内训练：将某一完整的神经网络模型切割后得到的各神经网络块分配给同一分组内的各移动设备运行进行训练，由该分组内的全部移动设备合作共同训练该完整的神经网络模型，设定该分组内全部移动设备合作共同训练的迭代次数为w，完成w次模型参数权值迭代后，该分组内的移动设备根据梯度绝对值大小，选择θ比率的梯度绝对值较大的模型参数权值上传给全局服务器；

步骤4，移动设备组间训练：各分组的移动设备在w次迭代，并向所述全局服务器上传θ比率的模型参数的权值后，同时从所述全局服务器接收滑动窗口长度μ内被更新次数最多的比率的模型参数权值，替换对应的本地模型参数权值，完成不同分组移动设备之间的训练知识的分享与间接融合；

步骤5，全局模型跟新：所述全局服务器与不同分组的移动设备进行通信，从每个移动设备分组内，每经过w次迭代后获取设定的θ比率的最新模型参数权值，来跟新该全局服务器保留的与预期训练使用的神经网络模型相同的全局神经网络模型的模型参数权值，完成全局神经网络模型的跟新；同时全局服务器根据设定的滑动窗口长度μ和比率，选择比率被更新次数最多的模型参数权值发送给移动设备，用于分组内移动设备本地模型参数权值的替换。优选的，μ和可根据经验值确定，μ和越大，越利于组间知识的共享，但通信代价也越大。

上述方法的步骤1中，将完整的所述神经网络模型切割为多个神经网络块为：

定义出所切割的完整神经网络模型的通信计算代价图，该通信计算代价图的每个顶点为计算开销，该通信计算代价图的每条边为通信开销；

对所述通信计算代价图进行图切割得出网络神经块，切割后得到的每个网络神经块的计算开销最大限度保持一致且总的通信开销最小化。

上述方法的步骤2中，所述全局服务器按设定的分组策略将所有参与训练的移动设备分为多组为：

以所有参与训练的移动设备的地理位置、社交关系、使用习惯、用户肖像特征为设定的分组策略；

按以下方式进行分组：

若有m个移动设备参与训练，神经网络模型切割得到的神经网络块为n块，则将m个移动设备分成m/n个移动设备分组，且每个移动设备分组内的移动设备数量大于n。

上述方法的步骤3中，将某一完整的神经网络模型切割后得到的各神经网络块分配给同一分组内的各移动设备运行进行训练，由该组内的全部移动设备合作共同训练该完整的神经网络模型为：

同一分组内的每个移动设备分配一个神经网络块，未分配的移动设备作为替换训练过程中掉线移动设备的备选移动设备；

组内训练过程中，随机交换不同移动设备所运行的神经网络块，使每个移动设备均能分配到神经网络模型的输入层，输入自有的数据作为训练数据；

组内训练过程中，各移动设备之间将计算结果进行非对称加密后通过全局服务器中转进行通信，安全交换计算结果。

上述方法步骤3中，该分组内的移动设备根据梯度绝对值大小，选择θ比率的梯度绝对值较大的模型参数的权值上传给全局服务器为：

所述θ比率为10％～50％；

所述θ比率的梯度绝对值较大的模型参数的权值为：按梯度绝对值从大到小的比例为θ，即选取θ比率的参数梯度绝对值较大的模型参数，将其权重上传给全局服务器。

上述步骤中，由于先向全局服务器上传模型参数权重，根据模型参数权重能确定模型参数的梯度绝对值，具体选择哪些模型参数上传是依据模型参数的梯度绝对值来选择的，梯度绝对值较大的模型参数被选择为上传参数。

具体的，优先挑选迭代优化时参数梯度绝对值较大的模型参数权重；这种挑选方式主要是依据梯度下降法的原理，梯度权重绝对值较大的模型参数对优化结果的影响大于梯度权重绝对值较小的模型参数，当参数在一轮迭代优化时的梯度绝对值较大，说明该参数相对其他参数对模型的收敛影响更大，所以选取设定比率的模型参数权重上传给全局服务器时，优先挑选参数梯度绝对值较大的参数；

组内每个移动设备可挑选上传θ比率的最大参数梯度给全局服务器，θ比率依据经验值设定，θ越大全局模型获得的参数越精确，但通信代价也越高。θ比率可依据经验取10％至50％。

上述方法步骤4中，不同分组的移动设备通过从全局服务器获取其他分组上传的模型参数更新替换自身分组内的模型参数权值，完成不同分组移动设备之间交互训练知识，间接融合不同分组移动设备之间的训练数据。

上述方法步骤5中，完成全局神经网络模型的跟新为：

所述全局服务器保留一个与预期训练使用的神经网络模型相同的全局神经网络模型，通过组内训练时上传给全局服务器的模型参数，对所述全局神经网络模型进行参数跟新。

本发明基于移动设备的分布式深度学习训练方法，实现了兼顾保护用户的数据隐私以及使训练模型达到较高性能的目标，让用户对自己产生的训练数据享有绝对的控制权。解决了传统集中式深度学习下，服务提供商可以恶意使用、侵犯以及泄露用户数据隐私的问题，赋予用户对自己产生数据的绝对控制权。例如用户可以同时享用由深度学习带来的输入法智能联想带来的便捷，由无需担心自己的日常输入数据被输入法提供商收集。并且，该方法兼顾了移动设备端计算存储性能较弱的局限性以及在保护用户数据隐私的同时不会对服务提供商的利益有损害，使得用户能够掌控自己数据被如何使用，充分享有保护自己数据隐私的权利，同时相比于传统的集中式训练的方式，模型的性能不会出现较大下降，极大保护了服务提供商的利益，也让用户能享受到深度学习带来的种种便捷。

下面对本发明实施例具体作进一步地详细描述。

本发明实施例提供一种保护数据隐私的基于移动设备的分布式深度学习训练方法，基于众智学习的思路，借助移动设备的计算资源，将深度学习的训练分布式部署到移动设备端，同时用户日常使用的数据将被作为训练数据保留在用户移动设备端，用户对整个训练过程享有绝对的控制，保证用户的数据隐私在整个训练过程中不会泄露给任何第三方。

参见图1，本发明的训练方法，包括以下步骤：

步骤1，神经网络切割：该步骤由服务提供商(全局服务器)进行，全局服务器基于移动设备的平均计算性能和通信开销，对服务提供商预期训练使用的神经网络模型进行切割，保证每个移动设备都能支持所负责的存储计算通信开销；

步骤2，分配移动设备：该步骤由服务提供商的全局服务器进行，全局服务器基于不同策略(用户(用户是指用户拥有的移动设备)的地理位置、社交关系、使用习惯、肖像特征等)，将所有参与训练的用户分组，保证组内用户之间的差异性较大，同时每个组内用户数能支持合作训练单一的神经网络开销；

步骤3，移动设备组内训练：组内用户合作共同训练一个完整的神经网络模型；因为每个用户所拿到的切割后的神经网络块是不一样的，所以只有拿到第一层和最后一层的用户才能将自己的数据作为训练数据，其他用户都只能充当计算资源的角色；所以组内训练时需要协调不同用户的角色，保证每个用户的数据都能被用作训练数据；组内训练会每隔一段时间与全局服务器通信，交换部分模型参数；

步骤4，移动设备组间训练：组间训练实现不同组之间的训练数据可以间接融合，通过组间分享部分模型权重，实现不同组间的训练知识的交互，提高每个组的模型的泛化性能；

步骤5，全局模型跟新：服务提供商的全局服务器与不同组之间交互通信，从每个组内每隔一段时间获取设定比率的最新模型参数来跟新自己的全局神经网络模型的参数，实现全局神经网络模型的跟新(即进行完整的所述神经网络模型的全局跟新)。

具体的，上述方法的每个步骤的具体实现过程为：

步骤1的切割神经网络为：神经网络切割的目的是，保证每个移动设备能支持部分神经网络块的存储和计算。同时考虑到移动设备端的网络通信业极其昂贵，以网络切割来约束这些要求，保证每个设备能支持某个神经网络块的存储和计算，同时总的通信比较低。首先全局服务器基于神经网络定义了代价图，从中发现神经网络每个顶点可以定义计算开销，而每条边可以定义通信开销，基于这两个发现，在神经网络上定义了通信计算代价图。然后网络切割的目标是，最小化总的通信开销，同时保证每个切割块的计算开销尽可能一致。基于该优化目标，定义优化方程，将问题转化成图切割问题。该问题在并行计算和稀疏矩阵相乘里应用非常广，所以可以借助现有方法解决。

步骤2的分配移动设备为：假设训练开始，一共有m个用户参与训练，而神经网络切割将网络切割成了n块，那么分配移动设备阶段，要将m个用户分成近似m/n组，但需保证每个组内的用户数应大于n，保证当个别用户掉线时，任由其他候补用户参与进来，替代掉线用户的角色。该分配的目标是将数据相似的用户尽可能分到不同组里，基本方法可以是基于用户的日常生活习惯、服务使用习惯等，本发明没有对该步骤进行过多探讨。

步骤3的移动设备组内训练为：当移动设备分组完成后，每个设备将被分到一个神经网络块，未被分到的设备作为备选用户，替换训练过程中掉线用户的角色。考虑到只有当用户被分配到神经网络的输入层的时候，该用户才可能贡献自己的数据作为训练数据，所以在组内训练时，需要将不同用户负责的神经网络块随机交换，保证每个用户都有机会拿到输入层，使得每个人的数据都能被用作训练数据使用。组内训练时，利用非对称加密进行通信，保证组内的计算结果不会被全局服务器获知。同时为保证全局服务器能学习一个全局的神经网络模型，训练时在一定的固定时间后，组内用户需上传θ比率的模型参数权重给全局服务器，供其更新模型参数。θ比率的模型参数选择满足优先挑选有较大更新的权重，因为这些有较大更新的权重反映出其对模型的优化有更重要的意义，上传这些边的权重给全局服务器能更好帮助全局神经网络模型的更新。θ比率依据经验值设定，θ越大全局模型获得的参数越精确，但通信代价也越高。θ可依据经验取10％至50％。

步骤4的移动设备组间训练为：当组内移动设备向全局服务器上传部分比率的模型参数时，同时也会向全局服务器请求部分的模型参数，更新替换组内的模型参数。该组间训练的方式，间接保证了组间可以通过部分边的权值更新实现知识的共享，因为那些权值部分反映出了该组内的训练数据，所以这种方式能提高全局训练的模型的泛化性能。

步骤5的服务提供商全局模型跟新为：服务提供商利用全局服务器保留一个全局神经网络模型，借助组内训练时上传给全局服务器的模型参数，进行全局模型参数的跟新。利用滑动窗口控制跟新模型参数的粒度，滑动窗口越长，表示全局服务器跟新模型参数时所依赖的组内的历史模型参数值程度越高。

本发明的方法考虑到在机器学习或深度学习领域，训练数据与真实使用场景下的数据的相似性直接影响了基于该训练数据训练的模型性能，本发明提出的基于移动设备的分布式深度学习充分考虑了训练数据的分布，提出了以组为单位进行移动设备的分配，将具有相似生活或行为习惯的用户分到不同组，保证每个组内的训练数据分布尽可能多样化，同时又能保证每个组内的移动设备能支持合作训练所需要的计算存储开销。基于分组的策略，通过设置“移动设备组内训练”和“移动设备组间训练”两个阶段，组内训练旨在充分利用组间设备的计算存储资源，合作训练同一深度网络模型；而组间训练旨在融合不同组间训练数据的多样性，增强训练模型的性能。最后因为本发明保证用户的训练数据不会离开用户自己的移动设备，所以服务提供商不再需要基于传统集中式深度学习训练模型的方式，服务提供商只需要提供一个非常轻量级的服务器，协调所有移动设备间的通信以及计算，该服务器会保留一个全局的训练的神经网络模型，该全局网络模型将被作为最终提供服务时的神经网络模型。服务器端只需要协调移动设备间的通信，借助移动设备与服务器端的通信来跟新全局的神经网络模型，实现全局神经网络模型的训练。

本发明的方法使得计算存储开销极大的深度学习能够部署到计算存储能力非常局限的移动设备端。通过利用多台移动设备对单个神经网络进行合作计算及存储，达到用轻量级设备训练复杂神经网络的目标，解决单独的移动设备无法容忍对单个神经网络的计算或存储开销问题。而且该方法严格保证了每一个阶段，每一个用户(移动设备)的个人数据隐私都不会泄露给任何一个第三方，包括服务提供商(即服务端)和参与训练的其他用户。同时本发明保证了复杂的神经网络训练能成功部署到计算存储通信资源局限的移动设备端。与传统的集中式神经网络训练出的模型对比发现，本发明提出的基于移动设备的分布式训练出的模型能达到近似的性能，同时收敛速度也很快。基于4层CNN神经网络在CIFAR-10数据集上的验证发现，该发明方法训练出的模型能达到近似于传统集中式训练方式下训练出的模型。同时针对存储大小、计算开销、通信开销的评测发现，每个移动设备(一般指手机)所需要的开销都是在合理忍受范围内。

实施例

如图2所示，以一个案例来具体说明本发明的各步骤的处理过程：本发明中所涉及的参与成员有：具有移动设备使用服务的用户和服务提供商(全局服务器)。用户在使用该服务的同时产生了大量的可用作训练的训练数据，而该发明依赖于这些用户产生的训练数据和存储这些数据的移动设备进行基于移动设备的分布式深度学习。

训练开始时，全局服务器会针对移动设备的计算性能对神经网络进行切割，比如该案例中，神经网络被切割成了N1、N2、N3和N4四块。为了保证训练的顺利进行，神经网络的第一层和最后一层必须分在同一块中，保证一个用户能同时拿到这两层。然后全局服务器对所有移动设备进行分组，在该案例下，每个组有5个用户(移动设备)。这5个移动设备中，一个移动设备代表分配到了N1块，此时该移动设备的数据被拿来当做训练数据使用，而其他三个移动设备分别分配到了N2、N3和N4。此时这三个移动设备的数据不会被拿来使用，他们的角色是提供计算资源完成基于N1用户训练数据的训练计算。而未分配的移动设备表示暂时不参与本次训练，该移动设备的作用是预留出来防止其他四个设备中某个设备的掉线，当其他移动设备掉线时他将替代掉线设备的角色。每个组内的四个移动设备会轮换角色，保证每个移动设备都有机会拿到N1块，只有当移动设备拿到N1块的时候，该移动设备的数据才会被当做训练数据使用，这保证了组内所有移动设备的数据都被利用了。组内合作训练一个整体的神经网络模型，同时经过一段时间与全局服务器交互通信，该通信包含上传移动设备分组内的模型参数给全局服务器，帮助全局服务器更新全局神经网络模型的参数，同时从全局服务器端拿最新的模型参数，间接使用其他分组的训练知识来帮助提高自己组内训练的神经网络模型的性能。当该训练完成时，在全局服务器端保留了全局的训练模型(即训练好的神经网络模型)，同时每个移动设备的数据都不会泄露给任何第三方。

本发明的保护训练数据隐私的基于移动设备的分布式深度学习训练方法，可以应用在很多实际场景中。任何基于服务器-客户端模式下的借助深度学习模型提供服务的场景都可以使用该训练方法。例如：假设公司A借助深度学习模型，借助搜集用户的日常使用数据训练一个神经网络模型M，同时将模型M部署到用户的移动手机端，为用户提供基于模型M的更智能的服务F(比如相册管理、联想输入法、路径规划及推荐等)，在该场景下即可利用本发明提出的保护训练数据隐私的基于移动设备的分布式深度学习训练方式，实现：公司A在不收集用户的日常产生的数据下，借助用户的手机资源进行模型M的训练，保证用户的数据始终保留在用户的移动设备上，同时基于该分布式训练出的模型M在提供服务F上的性能不会比原先的集中式训练出的模型M差。具体实施步骤可严格按照本发明提出的技术内容，按照本发明提出的5个步骤即可达到上述效果。

本领域普通技术人员可以理解：实现上述实施例方法中的全部或部分流程是可以通过程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种保护数据隐私的基于移动设备的分布式深度学习训练方法，其特征在于，包括：

步骤1，切割神经网络：全局服务器获取参与训练的各移动设备的平均计算性能和通信开销，并根据各移动设备的平均计算性能和通信开销对预期训练使用的神经网络模型进行切割，将完整的所述神经网络模型切割为多个神经网络块，每个神经网络块均能在一个移动设备上运行；

步骤2，分配移动设备：所述全局服务器按设定的分组策略将所有参与训练的移动设备分为多组，每组内包含的移动设备数量支持合作训练一个完整的神经网络模型开销；

步骤3，移动设备组内训练：将某一完整的神经网络模型切割后得到的各神经网络块分配给同一分组内的各移动设备运行进行训练，由该分组内的全部移动设备合作共同训练该完整的神经网络模型，设定该分组内全部移动设备合作共同训练的迭代次数为w，完成w次模型参数权值迭代后，该分组内的移动设备根据梯度绝对值大小，选择θ比率的梯度绝对值较大的模型参数权值上传给全局服务器；

步骤4，移动设备组间训练：各分组的移动设备在w次迭代，并向所述全局服务器上传θ比率的模型参数的权值后，同时从所述全局服务器接收滑动窗口长度μ内被更新次数最多的比率的模型参数权值，替换对应的本地模型参数权值，完成不同分组移动设备之间的训练知识的分享与间接融合；

步骤5，全局模型跟新：所述全局服务器与不同分组的移动设备进行通信，从每个移动设备分组内，每经过w次迭代后获取设定的θ比率的最新模型参数权值，来跟新该全局服务器保留的与预期训练使用的神经网络模型相同的全局神经网络模型的模型参数权值，完成全局神经网络模型的跟新；同时全局服务器根据设定的滑动窗口长度μ和比率选择比率被更新次数最多的模型参数权值发送给移动设备，用于分组内移动设备本地模型参数权值的替换。

2.根据权利要求1所述的保护数据隐私的基于移动设备的分布式深度学习训练方法，其特征在于，所述方法的步骤1中，将完整的所述神经网络模型切割为多个神经网络块为：

定义出所切割的完整神经网络模型的通信计算代价图，该通信计算代价图的每个顶点为计算开销，该通信计算代价图的每条边为通信开销；

对所述通信计算代价图进行图切割得出网络神经块，切割后得到的每个网络神经块的计算开销最大限度保持一致且总的通信开销最小化。

3.根据权利要求1或2所述的保护数据隐私的基于移动设备的分布式深度学习训练方法，其特征在于，所述方法的步骤2中，所述全局服务器按设定的策略将所有参与训练的移动设备分组为：

以所有参与训练的移动设备的地理位置、社交关系、使用习惯、用户肖像特征为设定的分组策略；

按以下方式进行分组：

若有m个移动设备参与训练，神经网络模型切割得到的神经网络块为n块，则将m个移动设备分成m/n个移动设备分组，且每个移动设备分组内的移动设备数量大于n。

4.根据权利要求1或2所述的保护数据隐私的基于移动设备的分布式深度学习训练方法，其特征在于，所述方法的步骤3中，将某一完整的神经网络模型切割后得到的各神经网络块分配给同一分组内的各移动设备运行进行训练，由该组内的全部移动设备合作共同训练该完整的神经网络模型为：

同一分组内的每个移动设备分配一个神经网络块，未分配的移动设备作为替换训练过程中掉线移动设备的备选移动设备；

组内训练过程中，随机交换不同移动设备所运行的神经网络块，使每个移动设备均能分配到神经网络模型的输入层，输入自有的数据作为训练数据；

组内训练过程中，各移动设备之间将计算结果进行非对称加密后通过全局服务器中转进行通信，安全交换计算结果。

5.根据权利要求1或2所述的保护数据隐私的基于移动设备的分布式深度学习训练方法，其特征在于，所述方法步骤3中，该分组内的移动设备根据梯度绝对值大小，选择θ比率的梯度绝对值较大的模型参数的权值上传给全局服务器为：

所述θ比率为10％～50％；

所述θ比率的梯度绝对值较大的模型参数的权值为：按梯度绝对值从大到小的比例为θ。