CN109005060B - 一种基于层级化高度异构分布式系统的深度学习应用优化框架 - Google Patents

Abstract

本发明公开了一种基于层级化高度异构分布式系统的深度学习应用优化框架，涉及计算科学方向深度学习领域，包括运行准备阶段和运行阶段，所述运行准备阶段用于进行深度神经网络训练，所述运行阶段对分布式系统中各类设备进行任务分配，并使用数据加密模块对用户敏感数据进行隐私保护。本发明的系统任务异构特性，在保证整体性能的前提下，降低系统响应时间，保证用户体验，基于神经网络的数据加密模块，能够以较低的计算代价和存储代价对用户敏感数据进行隐私保护，保障用户数据安全。

Description

一种基于层级化高度异构分布式系统的深度学习应用优化 框架

技术领域

本发明涉及计算科学方向深度学习领域，尤其涉及一种基于层级化高度异构分布式系统的深度学习应用优化框架。

背景技术

分布式系统是计算机系统领域的重要计算平台。分布式系统相比于传统集中式计算具有高可扩展性、高可靠性等特性，能够高效的为高性能计算实现系统支持。传统分布式系统搭载在高性能计算服务器上，能够高效利用其计算资源。随着移动计算终端，即智能手机，和物联网技术的发展，将分布式系统扩展到移动计算终端和物联网设备，成为了分布式系统发展的新机遇。

层级化高度异构的分布式系统，根据计算设备的性能高低、网络延迟、功耗限制等因素，将计算节点划分为三类：云节点、雾节点及终端节点。云节点由传统云计算框架发展而来，其部署在高性能计算中心上，具有非常强且集中的计算力资源。雾节点主要指数据由终端用户上传至云节点中，路径上的较强计算中心。典型的雾节点如智慧家居中的家庭路由器，智慧城市中的地区运营商等。雾节点相比云节点，计算力资源有限，其优点是距离终端用户更近。终端节点涵盖移动计算终端和物联网设备，前者通常以智能手机为例，尤其指具有智能计算芯片的现代智能手机，而后者由数量众多的传感器、监视器等组成。终端节点计算力较弱，且通常具有其他物理资源限制，如功耗限制，内存限制，网络资源限制等。

由于此类分布式系统往往被用在面向用户的应用程序中，网络延迟是该类系统中需要考虑的重要因素，其显著影响计算框架的响应时间和用户体验。云节点因其物理上距离终端用户较远，网络通信往往不稳定，具有高延迟的缺点。雾节点相比云节点距离用户较近，网络延迟较小。终端节点距离用户最近，网络延迟极小，但其具有硬件资源的限制。

除此之外，隐私保护也是此类系统需要解决的重要问题。传统基于云计算的人工智能应用，如图片物体识别等，通常需要用户上传原始图片到服务提供商的云计算中心上，但是这样加大了用户隐私泄露的可能性，例如数据传输过程中的劫持、数据在云计算中心的泄露等因素。

因此，本领域的技术人员致力于开发一种基于层级化高度异构分布式系统的深度学习应用优化框架，能够高效利用该系统中各节点的物理资源和节点间的网络资源，同时能对用户敏感数据进行隐私保护，保障用户数据安全。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何将深度学习应用更加高效的部署到层级化高度异构的分布式系统上，高效利用该系统中各节点的物理资源和节点间的网络资源，以及如何对用户敏感数据进行隐私保护，保障用户数据安全。

为实现上述目的，本发明提供了一种基于层级化高度异构分布式系统的深度学习应用优化框架，包括运行准备阶段和运行阶段，所述运行准备阶段用于进行深度神经网络训练，所述运行阶段对分布式系统中各类设备进行任务分配，并使用数据加密模块对用户敏感数据进行隐私保护。

进一步地，所述深度神经网络训练，可针对性的选择与设计具有不同侧重的深度神经网络模型。

进一步地，所述深度神经网络模型的选择，依赖参数包含当前层级化高度异构的分布式系统中各节点的特性，包括计算能力、功耗限制、存储限制、网络状态及支持框架等。

进一步地，所述深度神经网络训练，在确定相关深度神经网络参数之后，在具有足够计算能力的计算节点上构建所需要的神经网络。

进一步地，所述深度神经网络模型，各节点可以有所差别，包括网络结构，网络层数、是否包含数据正则化层、是否使用卷积神经网络、是否使用优化速度的纵深神经网络层等。

进一步地，所述深度神经网络训练，训练终止条件主要参考模型损失函数数值、模型在验证数据集上的精确度、模型训练时间等。

进一步地，所述数据加密模块，利用高层级计算节点(例如雾节点相比终端节点，被称为高层级计算节点)中使用的神经网络的前数层，对敏感数据进行前向传递。

进一步地，所述运行阶段，根据基于计算时间匹配的任务调度算法得到当前任务部署的计算节点，将加密后的数据发送至指定节点进行计算。

进一步地，所述基于计算时间匹配的任务调度算法，根据终端节点和雾节点的任务完成时间，计算终端节点和雾节点的最佳匹配数量，辅助进行调度。

进一步地，所述运行阶段，根据系统任务异构特性，对计算节点返回的不同任务的结果进行综合，该判断主要依据返回任务结果时的时间消耗、该计算节点的任务类型、及该计算节点执行其任务类型时的性能等。

在本发明的较佳实施方式中，将深度学习应用部署到层级化高度异构分布式系统上，具有分布式计算节点异构特性，能够高效利用各节点的物理资源和节点间的网络资源；具有系统任务异构特性，能够在保证整体性能的前提下，降低系统响应时间，改善用户体验。

在本发明的另一较佳实施方式中，在运行过程中，当用户使用的终端节点发起计算任务时，根据用户的输入判断当前数据是否是敏感数据，如果是，则使用基于神经网络的数据加密模块进行隐私保护。具体来说，该模块利用高层级计算节点(例如雾节点相比终端节点，被称为高层级计算节点)中使用的神经网络的前数层，对敏感数据进行前向传递。随后，该节点仅将计算结果传递给该高层级计算节点，从而防止原始的敏感数据被传输到其他节点，降低隐私泄漏的风险。

与现有技术相比，本发明的有益效果是：

(1)本发明在保证整体性能的前提下，降低系统响应时间，改善用户体验；基于计算时间匹配的任务调度算法，能够改善框架可扩展性及性能；

(2)本发明根据分布式系统中各节点物理资源优化深度神经网络模型的方法具有深度神经网络异构特性，能够在各计算节点上平衡计算开销与模型性能，优化硬件资源的利用率；

(3)本发明基于神经网络的数据加密模块，能够以较低的计算代价和存储代价对用户敏感数据进行隐私保护，保障用户数据安全。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明一个较佳实施例的运行准备阶段流程示意图；

图2是本发明一个较佳实施例的运行阶段流程示意图；

图3是本发明一个较佳实施例的中层级化高度异构分布式系统的示意图；

其中，1-云节点，2-雾节点，3-终端节点。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

如图1所示，在运行准备过程时，框架需要根据各计算节点的特性，有针对性的进行深度神经网络选择与训练。计算节点的特性包括但不限于：计算能力、功耗限制、存储限制、网络状态、及支持框架等。根据相关特性，对深度神经网络进行的调整包括但不限于：网络结构，网络层数、是否包含数据正则化层、是否使用卷积神经网络、是否使用优化速度的纵深神经网络层等。

在确定相关深度神经网络参数之后，框架在具有足够计算能力的计算节点上(例如云节点)构建所需要的神经网络，随后使用训练集进行训练。训练终止条件主要参考但不限于以下因素：模型损失函数数值、模型在验证数据集上的精确度、模型训练时间等。在判断当前神经网络已经训练完成之后，训练节点将模型文件传输到对应的计算节点上。

如图2所示，在运行过程中，当用户使用的终端节点发起计算任务时，首先根据用户的输入判断当前数据是否是敏感数据，例如照片等。如果是，则使用基于神经网络的数据加密模块进行隐私保护。具体来说，该模块利用高层级计算节点(例如雾节点相比终端节点，被称为高层级计算节点)中使用的神经网络的前数层，对敏感数据进行前向传递。随后，该节点仅将计算结果传递给该高层级计算节点，从而防止原始的敏感数据被传输到其他节点，降低隐私泄漏的风险。

经过加密的数据，随后根据基于任务时间匹配的调度算法被发送到指定节点。如图3所示，是一例典型的层级化高度异构分布式系统结构，其主要由三部分组成，终端节点3、雾节点2、和云节点1。其中，数据流从终端节点直接发送到云节点1的调度模式称作终端——云模式。类似的，数据流从终端节点发送到雾节点2的调度模式称为终端——雾模式，从雾节点2发送到云节点1的调度模式称为雾——云模式。以上三类调度模式均有不同程度的缺陷，如终端——云模式中各终端到云节点的网络通信拥塞和高延迟，终端——雾模式中雾节点神经网络性能有限，雾——云模式中任务在终端节点和雾节点之间传输的通信延迟等。

本发明提出的基于任务时间匹配的调度算法，能够有效平衡网络延迟和系统性能。该算法根据终端节点和雾节点的任务完成时间，计算终端节点和雾节点的最佳匹配数量，辅助进行调度。具体来说，假定终端节点和雾节点的总计算时间(包括神经网络模型的前向传递时间和通信延迟时间消耗)分别为：

则该最佳匹配数量可由下式计算得到：

根据系统任务异构特性，对各节点的计算结果进行判断，并返回给用户终端节点。该判断主要依据返回任务结果时的时间消耗、该计算节点的任务类型、及该计算节点执行其任务类型时的性能等。判断模式包括但不限于：以最小延迟，向用户返回最高性能的简单任务类型，不计延迟，向用户返回一次最高性能的复杂任务类型等。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (6)

1.一种深度学习应用优化方法，其特征在于，包括运行准备阶段和运行阶段，所述运行准备阶段用于进行深度神经网络训练，所述运行阶段对分布式系统中各类设备进行任务分配，并使用数据加密模块对用户敏感数据进行隐私保护；

所述数据加密模块利用高层级计算节点中使用的神经网络的前数层，对所述敏感数据进行前向传递；

在所述运行阶段，根据基于计算时间匹配的任务调度算法得到当前任务部署的计算节点，将加密后的数据发送至指定的所述计算节点进行计算，然后将计算结果传递给所述高层级计算节点；

其中，所述基于计算时间匹配的任务调度算法，根据终端节点和雾节点的任务完成时间，计算终端节点和雾节点的最佳匹配数量，辅助进行调度；

所述最佳匹配数量由下式计算得到：

其中，

为终端节点的总计算时间，

为雾节点的总计算时间。

2.如权利要求1所述的深度学习应用优化方法，其特征在于，所述深度神经网络模型的选择，依赖参数包含当前层级化高度异构的分布式系统中各节点的特性，包括计算能力、功耗限制、存储限制、网络状态及支持框架。

3.如权利要求1所述的深度学习应用优化方法，其特征在于，所述深度神经网络训练，在确定相关深度神经网络参数之后，在具有足够计算能力的计算节点上构建所需要的神经网络。

4.如权利要求1所述的深度学习应用优化方法，其特征在于，所述深度神经网络模型，各节点有所差别，包括网络结构，网络层数、是否包含数据正则化层、是否使用卷积神经网络、是否使用优化速度的纵深神经网络层。

5.如权利要求1所述的深度学习应用优化方法，其特征在于，所述深度神经网络训练，训练终止条件包括以下因素：模型损失函数数值、模型在验证数据集上的精确度、模型训练时间。

6.如权利要求1所述的深度学习应用优化方法，其特征在于，所述运行阶段，根据系统任务异构特性，对计算节点返回的不同任务的结果进行综合判断，所述综合判断依据返回任务结果时的时间消耗、计算节点的任务类型、及计算节点执行其任务类型时的性能。

Images