CN111126594A - 基于边缘计算的神经网络模型动态切分方法及装置 - Google Patents

Abstract

本发明提供一种基于边缘计算的神经网络模型动态切分方法及装置，包括：接收接口终端发送的AI业务请求；根据所述AI业务请求，确定可执行计算卸载任务的执行终端；根据所述执行终端的性能参数，确定所述计算卸载任务的计算参数；向所述执行终端发送所述计算参数；接收所述执行终端发送的计算卸载任务结果，所述计算卸载任务结果是所述执行终端根据所述计算参数执行所述计算卸载任务后得到的。本发明能够实现神经网络模型的动态切分，优化资源利用，提高服务质量。

Description

基于边缘计算的神经网络模型动态切分方法及装置

技术领域

本发明涉及边缘计算技术领域，尤其涉及一种基于边缘计算的神经网络模型动态切分方法及装置。

背景技术

随着AI(Artificial Intelligence，人工智能)技术的快速发展及广泛应用，用户对AI业务的时延、精度等要求越来越高。为实现AI业务，一般是于云端或是中心服务器部署神经网络模型，服务器接收AI业务请求，利用神经网络模型实现AI识别，然后响应AI业务请求。一方面，为提高神经网络模型的预测精度，神经网络模型的结构呈复杂化趋势，服务器需具备很高的计算能力；另一方面，随着AI业务的增加，大量AI业务请求数据发送至服务器，对服务器造成很大的数据压力，严重时，会造成流量堵塞，时延过大，QoS(Quality ofService，服务质量)严重下降。

目前，可采用对神经网络模型进行切分的方法实现计算卸载，以降低服务器的计算及流量压力，即，可利用特定终端(如边缘服务器)完成神经网络模型的部分计算，将部分计算得到的中间结果发送至云服务器，由云服务器进行剩余部分的计算处理。然而，目前的神经网络模型切分方法为固定式切分方法，能够利用特定终端完成神经网络模型的固定部分的计算，无法根据网络及业务的实际情况实现动态切分。

发明内容

有鉴于此，本发明的目的在于提出一种基于边缘计算的神经网络模型动态切分方法及装置，以解决神经网络模型无法实现动态切分的问题。

基于上述目的，本发明提供了一种基于边缘计算的神经网络模型动态切分方法，包括：

接收接口终端发送的AI业务请求；

根据所述AI业务请求，确定可执行计算卸载任务的执行终端；

根据所述执行终端的性能参数，确定所述计算卸载任务的计算参数；

向所述执行终端发送所述计算参数；

接收所述执行终端发送的计算卸载任务结果，所述计算卸载任务结果是所述执行终端根据所述计算参数执行所述计算卸载任务后得到的。

可选的，所述方法还包括：

向服务器发送所述计算卸载任务结果；

接收服务器发送的AI业务结果，所述AI业务结果是所述服务器基于所述计算卸载任务结果计算得到的；

向所述接口终端发送所述AI业务结果。

可选的，所述计算参数包括神经网络模型的切分层数和计算所述切分层数所需计算资源。

可选的，所述方法还包括：接收各终端发送的性能参数；

所述根据AI业务请求，确定可执行计算卸载任务的执行终端，包括：

根据所述AI业务请求和各终端的性能参数，确定可执行计算卸载任务的执行终端。

可选的，所述AI业务请求包括AI数据、QoS参数，所述性能参数包括计算资源和存储资源；

所述执行终端能够在满足所述QoS参数要求下完成所述AI数据处理的计算卸载任务。

可选的，根据所述AI业务请求和各终端的性能参数，确定可执行计算卸载任务的执行终端，包括：

根据所述AI业务请求和所述接口终端的性能参数，判断所述接口终端是否可执行所述计算卸载任务；

若是，选取所述接口终端作为所述执行终端；若否，从其他终端中选取可执行所述计算卸载任务的终端作为所述执行终端。

可选的，向服务器发送所述计算卸载任务结果，包括：

判断当前网络状态是否满足预设的上传条件；

若满足，向服务器发送所述计算卸载任务结果。

本发明实施例还提供一种基于边缘计算的神经网络模型动态切分装置，包括：

接收模块，用于接收接口终端发送的AI业务请求；以及接收执行终端发送的计算卸载任务结果，所述计算卸载任务结果是所述执行终端根据计算参数执行所述计算卸载任务后得到的；

选取模块，用于根据所述AI业务请求，确定可执行所述计算卸载任务的执行终端；

参数确定模块，用于根据所述执行终端的性能参数，确定所述计算卸载任务的计算参数；

发送模块，用于向所述执行终端发送所述计算参数。

可选的，所述装置还包括：

所述发送模块，用于向服务器发送所述计算卸载任务结果；以及，向所述接口终端发送AI业务结果；

所述接收模块，用于接收所述服务器发送的所述AI业务结果，所述AI业务结果是所述服务器基于所述计算卸载任务结果计算得到的。

可选的，所述计算参数包括神经网络模型的切分层数和计算所述切分层数所需计算资源。

从上面所述可以看出，本发明提供的基于边缘计算的神经网络模型动态切分方法及装置，接收接口终端发送的AI业务请求；根据AI业务请求，确定可执行计算卸载任务的执行终端；根据执行终端的性能参数，确定计算卸载任务的计算参数；向执行终端发送所述计算参数；接收执行终端发送的计算卸载任务结果，计算卸载任务结果是执行终端根据所述计算参数执行计算卸载任务后得到的。本发明能够实现神经网络模型的动态切分，优化资源利用，提高服务质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的方法流程示意图；

图2为本发明实施例的PON网络拓扑图；

图3为本发明实施例的应用场景示意图；

图4为本发明实施例的装置结构框图；

图5为本发明实施例的电子设备框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，除非另外定义，本发明实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

图1为本发明实施例的方法流程示意图。如图所示，本发明实施例提供的基于边缘计算的神经网络模型动态切分方法，包括：

S101：接收接口终端发送的AI业务请求；

本发明实施例中，接口终端用于接收用户终端发送的AI业务请求。可选的，用户终端例如是智能手机、电脑、图像采集设备、传感器终端等能够实现声音、图像、视频等信息采集的终端；一种实施方式中，用户终端安装有AI识别应用程序，用户终端打开AI识别应用程序，采集待识别信息，将待识别信息以AI业务请求发送至接口终端。

如图2所示，在一种应用场景中，本发明的方法应用于PON(Passive OpticalNetwork，无源光纤网络)网络，PON网络包括ONU(Optical Network Unit，光网络单元)、ODN(optical distribution network，光分配节点)、OLT(optical line termina，光线路终端)，ONU通过ODU与OLT建立数据连接，用户终端与ONU进行数据通信；PON网络的基本技术均为现有技术，本发明不做过多说明。

本发明实施例中，接口终端为ONU，用户终端通过ONU接入PON网络，实现数据服务。可选的，用户终端向ONU发送AI业务请求，可通过PON网络实现AI识别，包括但不限于人脸识别、车牌识别、证件识别、图文识别、菜品识别等等。所述AI业务请求包括但不限于业务类型、AI数据、QoS参数等。

本发明实施例中，所述基于边缘计算的神经网络模型动态切分方法的执行主体可以是设置于ONU中的控制器，也可以是ODN中的控制器、OLT中的控制器等，具体不做限定。

S102：根据所述AI业务请求，确定可执行计算卸载任务的执行终端；

本发明实施例中，根据AI业务请求，确定能够执行计算卸载任务的执行终端，利用执行终端执行计算卸载任务。可选的，执行终端能够在满足QoS参数要求下完成AI数据处理的计算卸载任务。所述QoS参数包括但不限于传输时延、传输抖动、最大保证带宽、丢包率等。

神经网络模型包括输入层、隐藏层和输出层，隐藏层可能又包括多个层；可将神经网络模型的部分层计算切分出来作为计算卸载任务，利用边缘侧终端执行切分出的计算卸载任务，计算卸载任务执行之后得到的计算结果发送至服务器，由服务器基于计算结果继续进行神经网络模型的剩余计算任务，以得到最终的模型预测结果，这样，能够降低服务器的计算压力和数据流压力，提高响应速度，提高服务质量。

本发明实施例中，于PON网络的应用场景中，根据用户终端发送的AI业务请求，确定可执行计算卸载任务的执行终端，执行终端可以是任意一个ONU。执行终端执行计算卸载任务，可以是在执行终端的控制器中执行，也可以是将利用与执行终端连接的边缘服务器执行计算卸载任务，具体不做限定。

S103：根据所述执行终端的性能参数，确定所述计算卸载任务的计算参数；

本发明实施例中，从各终端确定出可执行计算卸载任务的执行终端后，确定执行终端的性能参数，确定计算卸载任务的计算参数，以在执行终端的性能范围之内，执行计算参数对应的计算卸载任务。

本发明实施例中，终端的性能参数包括但不限于计算资源、存储资源，计算资源例如是CPU个数、CPU性能等，存储资源例如是内存容量、硬盘容量等。计算卸载任务的计算参数包括但不限于神经网络模型的切分层数及计算切分层数所需计算资源。

于一些实施例中，根据执行终端的计算资源和存储资源，确定执行终端可计算的神经网络模型的层数及计算该层数所需计算资源。这样，本实施例可根据终端的性能参数，动态的确定神经网络模型的计算参数，在实现AI业务的基础上，优化资源分配。

S104：向所述执行终端发送所述计算参数；

S105：接收所述执行终端发送的计算卸载任务结果，所述计算卸载任务结果是所述执行终端根据所述计算参数执行所述计算卸载任务后得到的。

本发明实施例中，由执行终端接收计算参数，并根据计算参数执行对应的计算卸载任务，即利用计算切分层数所需计算资源进行神经网络模型的切分层数的计算，计算之后得到计算卸载任务结果。

于一些实施例中，本发明实施例的基于边缘计算的神经网络模型动态切分方法，还包括：

向服务器发送计算卸载任务结果；

接收服务器发送的AI业务结果，AI业务结果是服务器基于计算卸载任务结果计算得到的；

向接口终端发送所述AI业务结果。

本发明实施例中，接收到执行终端执行计算卸载任务得到的计算卸载任务结果之后，将计算卸载任务结果发送至服务器，由服务器基于计算卸载任务结果，执行神经网络模型的剩余计算任务，以得到最终的模型预测结果。

可选的，当判断当前网络状态满足预设的上传条件时，向服务器发送计算卸载任务结果。所述网络状态例如是服务器的当前数据流量，当服务器的当前数据流量小于预设的数据流量阈值时，向服务器发送计算卸载任务结果。

于一些实施例中，服务器中存储有若干能够实现不同AI业务功能的神经网络模型，例如用于图像处理的2D卷积神经网络模型，用于视频处理的3D卷积神经网络模型，用于语音处理的循环神经网络等。可选的，可由服务器对神经网络模型进行训练，对于训练神经网络模型的训练数据，可由边缘侧终端对原始数据进行预处理，将预处理后得到的数据发送至服务器进行数据增强和模型训练，进一步降低服务器的数据处理压力。所述对原始数据进行预处理例如是清除标点等非文本、分词、大小写转换、自然语言向量化、图像预处理等等。

于一些实施例中，本发明实施例的基于边缘计算的神经网络模型动态切分方法，还包括：接收各终端发送的性能参数；

所述步骤S101中根据AI业务请求，确定可执行计算卸载任务的执行终端，包括：

根据AI业务请求和各终端的性能参数，确定可执行计算卸载任务的执行终端。

本发明实施例中，根据AI业务请求和所有终端的性能参数，从所有终端中选取出可执行计算卸载任务的执行终端。综合考量了AI业务的AI业务类型、QoS参数以及所有终端的性能，选取出最适合执行计算卸载任务的执行终端执行计算卸载任务，由于利用边缘侧终端执行神经网络模型的部分计算功能，实现了资源优化利用，充分降低服务器压力。

于一些实施例中，所述根据所述AI业务请求和各终端的性能参数，确定可执行计算卸载任务的执行终端，包括：

根据AI业务请求和接口终端的性能参数，判断接口终端是否可执行计算卸载任务；

若是，选取接口终端作为执行终端；若否，从其他终端中选取可执行计算卸载任务的终端作为执行终端。

本发明实施例中，用户终端向接口终端发送AI业务请求，首先判断接口终端是否可执行计算卸载任务，若判断以接口终端的计算资源和存储资源无法完成计算卸载任务，则从其他终端中选取能够完成计算卸载任务的终端作为执行终端。

图3为本发明实施例的应用场景示意图。如图所述，基于PON网络，用户终端(摄像头)向接口终端ONU发送图像识别的AI业务请求，该AI业务请求包括图像数据、AI业务类型(图像识别)、QoS参数等；本实施例中，利用ODN的控制器执行本实施例所述方法，ODN接收接口终端ONU发送的AI业务请求，根据接口终端的性能参数判断接口终端是否可执行计算卸载任务，若是，将接口终端作为执行终端，若否，根据其他ONU的性能参数，从其他ONU中选取能够执行计算卸载任务的ONU作为执行终端；之后，根据执行终端的性能参数确定计算卸载任务的计算参数，将计算参数发送给执行终端，由执行终端利用计算切分层数所需计算资源计算神经网络模型的切分层数，计算得到计算卸载任务结果。ODN将计算卸载任务结果发送给OLT，由OLT基于计算卸载任务结果继续进行神经网络模型的计算，计算结束得到图像识别的预测结果(例如，识别为“猫”)，并将预测结果返回给ODN，ODN将预测结果通过接口终端发送给用户终端。

需要说明的是，本发明实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本发明实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

图4为本发明实施例的装置结构框图。如图所示，本发明实施例提供的基于边缘计算的神经网络模型动态切分装置，包括：

接收模块，用于接收接口终端发送的AI业务请求；以及接收执行终端发送的计算卸载任务结果，所述计算卸载任务结果是执行终端根据计算参数执行计算卸载任务后得到的；

选取模块，用于根据AI业务请求，确定可执行计算卸载任务的执行终端；

参数确定模块，用于根据执行终端的性能参数，确定计算卸载任务的计算参数；

发送模块，用于向执行终端发送计算参数。

于一些实施例中，所述装置还包括：

发送模块，用于向服务器发送计算卸载任务结果；以及，向接口终端发送AI业务结果；

接收模块，用于接收服务器发送的AI业务结果，AI业务结果是服务器基于计算卸载任务结果计算得到的。

可选的，所述计算参数包括神经网络模型的切分层数和计算所述切分层数所需计算资源。

上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

图5示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于边缘计算的神经网络模型动态切分方法，其特征在于，包括：

接收接口终端发送的AI业务请求；

根据所述AI业务请求，确定可执行计算卸载任务的执行终端；

根据所述执行终端的性能参数，确定所述计算卸载任务的计算参数；

向所述执行终端发送所述计算参数；

接收所述执行终端发送的计算卸载任务结果，所述计算卸载任务结果是所述执行终端根据所述计算参数执行所述计算卸载任务后得到的。

2.根据权利要求1所述的方法，其特征在于，还包括：

向服务器发送所述计算卸载任务结果；

接收服务器发送的AI业务结果，所述AI业务结果是所述服务器基于所述计算卸载任务结果计算得到的；

向所述接口终端发送所述AI业务结果。

3.根据权利要求1所述的方法，其特征在于，所述计算参数包括神经网络模型的切分层数和计算所述切分层数所需计算资源。

4.根据权利要求1所述的方法，其特征在于，还包括：接收各终端发送的性能参数；

所述根据AI业务请求，确定可执行计算卸载任务的执行终端，包括：

根据所述AI业务请求和各终端的性能参数，确定可执行计算卸载任务的执行终端。

5.根据权利要求4所述的方法，其特征在于，所述AI业务请求包括AI数据、QoS参数，所述性能参数包括计算资源和存储资源；

所述执行终端能够在满足所述QoS参数要求下完成所述AI数据处理的计算卸载任务。

6.根据权利要求4所述的方法，其特征在于，根据所述AI业务请求和各终端的性能参数，确定可执行计算卸载任务的执行终端，包括：

根据所述AI业务请求和所述接口终端的性能参数，判断所述接口终端是否可执行所述计算卸载任务；

若是，选取所述接口终端作为所述执行终端；若否，从其他终端中选取可执行所述计算卸载任务的终端作为所述执行终端。

7.根据权利要求2所述的方法，其特征在于，向服务器发送所述计算卸载任务结果，包括：

判断当前网络状态是否满足预设的上传条件；

若满足，向服务器发送所述计算卸载任务结果。

8.一种基于边缘计算的神经网络模型动态切分装置，其特征在于，包括：

接收模块，用于接收接口终端发送的AI业务请求；以及接收执行终端发送的计算卸载任务结果，所述计算卸载任务结果是所述执行终端根据计算参数执行所述计算卸载任务后得到的；

选取模块，用于根据所述AI业务请求，确定可执行所述计算卸载任务的执行终端；

参数确定模块，用于根据所述执行终端的性能参数，确定所述计算卸载任务的计算参数；

发送模块，用于向所述执行终端发送所述计算参数。

9.根据权利要求8所述的装置，其特征在于，还包括：

所述发送模块，用于向服务器发送所述计算卸载任务结果；以及，向所述接口终端发送AI业务结果；

所述接收模块，用于接收所述服务器发送的所述AI业务结果，所述AI业务结果是所述服务器基于所述计算卸载任务结果计算得到的。

10.根据权利要求8所述的装置，其特征在于，所述计算参数包括神经网络模型的切分层数和计算所述切分层数所需计算资源。

Images