CN114640669A - 边缘计算方法及装置 - Google Patents
边缘计算方法及装置 Download PDFInfo
- Publication number
- CN114640669A CN114640669A CN202011380254.2A CN202011380254A CN114640669A CN 114640669 A CN114640669 A CN 114640669A CN 202011380254 A CN202011380254 A CN 202011380254A CN 114640669 A CN114640669 A CN 114640669A
- Authority
- CN
- China
- Prior art keywords
- task
- data
- network model
- edge
- configuration information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 67
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 17
- 238000005192 partition Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 230000005540 biological transmission Effects 0.000 description 11
- 238000007726 management method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种边缘计算方法及装置，属于人工智能和边缘计算技术领域。边缘计算方法，由边缘设备执行，包括：获取任务的数据；利用通用网络模型和所述任务的配置信息对所述任务的数据进行特征提取；将提取的特征数据和所述任务的配置信息发送至云端设备；接收所述云端设备返回的针对所述任务的数据的预测结果。本发明的技术方案能够实现端‑云协同完成任务的处理。
Description
技术领域
本发明涉及人工智能和边缘计算技术领域，特别是指一种边缘计算方法及装置。
背景技术
随着越来越多的设备连接到互联网并生成数据，数据继续以创纪录的速度增长。目前物联网的主要实现方式还是依托于云计算，端侧设备或者边缘侧设备只负责进行数据采集、数据传输，所有的计算(训练、推理)都是集中在云侧进行。但是这种方式不能满足智能物联网的实时性、可靠性、隐私保护、个性化、自主化等方面的需求，尤其是在某些需要非常快速地处理数据的使用场景当中。
发明内容
本发明要解决的技术问题是提供一种边缘计算方法及装置，能够实现端-云协同完成任务的处理。
为解决上述技术问题，本发明的实施例提供技术方案如下：
一方面，提供一种边缘计算方法，由边缘设备执行，包括：
获取任务的数据；
利用通用网络模型和所述任务的配置信息对所述任务的数据进行特征提取；
将提取的特征数据和所述任务的配置信息发送至云端设备；
接收所述云端设备返回的针对所述任务的数据的预测结果；
其中，不同的边缘设备共享所述通用网络模型的参数并保持所述参数固定。
一些实施例中，所述配置信息包括：
任务编号；
任务的模型划分点k，k为所述任务的数据处理在通用网络模型中需要执行的层数。
一些实施例中，所述任务的数据包括以下至少一项：
图像、文本、视频、音频、数字信号；
所述任务包括以下至少一项：图像分类、目标检测、文本预测。
一些实施例中，所述利用通用网络模型和所述任务的配置信息对所述任务的数据进行特征提取之前，所述方法还包括：
收集原始的任务数据，将收集的所述原始的任务数据发送给云端设备；
接收所述云端设备返回的所述通用网络模型及所述配置信息。
本发明实施例还提供了一种边缘计算方法，由云端设备执行，包括：
接收至少一个边缘设备发送的任务的数据的特征数据及所述任务的配置信息；
根据所述任务的配置信息确定与所述任务对应的任务网络模型；
利用所述任务网络模型根据所述特征数据产生针对所述任务的数据的预测结果；
将所述预测结果发送给所述边缘设备；
其中，不同的边缘设备共享所述通用网络模型的参数并保持所述参数固定。
一些实施例中，所述配置信息包括：
任务编号；
任务的模型划分点k，k为所述任务的数据处理在通用网络模型中需要执行的层数。
一些实施例中，所述任务的数据包括以下至少一项：
图像、文本、视频、音频、数字信号；
所述任务包括以下至少一项：图像分类、目标检测、文本预测。
一些实施例中，所述方法还包括：
接收所述边缘设备收集的原始的任务数据，利用所述原始的任务数据构建数据集；
利用所述数据集进行通用网络模型的训练；
针对每一任务确定任务的模型划分点k，将所述模型划分点k作为任务的配置信息，根据所述任务的配置信息构建任务网络模型；
将所述任务的配置信息及所述通用网络模型发送给边缘设备。
一些实施例中，所述针对每一任务确定任务的模型划分点k包括：
将任务对应的训练数据输入所述通用网络模型中，逐层获取中间特征，对所述通用网络模型各层获取的中间特征进行归一化处理，逐层对中间特征计算归一化亮度的部分区间的统计值的加权和，并将计算结果与设定的阈值进行比较，如果计算结果小于所述阈值，则继续根据下一层中间特征进行计算；如果计算结果超过所述阈值，停止计算，记录当前层数k。
本发明实施例还提供了一种边缘计算装置，由边缘设备执行，包括：
获取模块，用于获取任务的数据；
特征提取模块，用于利用通用网络模型和所述任务的配置信息对所述任务的数据进行特征提取；
发送模块，用于将提取的特征数据和所述任务的配置信息发送至云端设备；
接收模块，用于接收所述云端设备返回的针对所述任务的数据的预测结果；
其中，不同的边缘设备共享所述通用网络模型的参数并保持所述参数固定。
一些实施例中，所述配置信息包括：
任务编号；
任务的模型划分点k，k为所述任务的数据处理在通用网络模型中需要执行的层数。
一些实施例中，所述任务的数据包括以下至少一项：
图像、文本、视频、音频、数字信号；
所述任务包括以下至少一项：图像分类、目标检测、文本预测。
一些实施例中，
所述发送模块还用于收集原始的任务数据，将收集的所述原始的任务数据发送给云端设备；
所述接收模块还用于接收所述云端设备返回的所述通用网络模型及所述配置信息。
本发明实施例还提供了一种边缘计算装置，由云端设备执行，包括：
接收模块，用于接收至少一个边缘设备发送的任务的数据的特征数据及所述任务的配置信息；
处理模块，用于根据所述任务的配置信息确定与所述任务对应的任务网络模型；
预测模块，用于利用所述任务网络模型根据所述特征数据产生针对所述任务的数据的预测结果；
发送模块，用于将所述预测结果发送给所述边缘设备；
其中，不同的边缘设备共享所述通用网络模型的参数并保持所述参数固定。
一些实施例中，所述配置信息包括：
任务编号；
任务的模型划分点k，k为所述任务的数据处理在通用网络模型中需要执行的层数。
一些实施例中，所述任务的数据包括以下至少一项：
图像、文本、视频、音频、数字信号；
所述任务包括以下至少一项：图像分类、目标检测、文本预测。
一些实施例中，
所述接收模块还用于接收所述边缘设备收集的原始的任务数据，利用所述原始的任务数据构建数据集；
所述处理模块还用于利用所述数据集进行通用网络模型的训练；针对每一任务确定任务的模型划分点k，将所述模型划分点k作为任务的配置信息，根据所述任务的配置信息构建任务网络模型；
所述发送模块还用于将所述任务的配置信息及所述通用网络模型发送给边缘设备。
一些实施例中，所述处理模块具体用于将任务对应的训练数据输入所述通用网络模型中，逐层获取中间特征，对所述通用网络模型各层获取的中间特征进行归一化处理，逐层对中间特征计算归一化亮度的部分区间的统计值的加权和，并将计算结果与设定的阈值进行比较，如果计算结果小于所述阈值，则继续根据下一层中间特征进行计算；如果计算结果超过所述阈值，停止计算，记录当前层数k。
本发明的实施例提供了一种边缘计算装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器执行所述程序时实现如上所述的边缘计算方法。
一些实施例中，边缘计算装置应用于边缘设备，所述处理器用于获取任务的数据；利用通用网络模型和所述任务的配置信息对所述任务的数据进行特征提取；将提取的特征数据和所述任务的配置信息发送至云端设备；接收所述云端设备返回的针对所述任务的数据的预测结果；
其中，不同的边缘设备共享所述通用网络模型的参数并保持所述参数固定。
一些实施例中，所述配置信息包括：
任务编号；
任务的模型划分点k，k为所述任务的数据处理在通用网络模型中需要执行的层数。
一些实施例中，所述任务的数据包括以下至少一项：
图像、文本、视频、音频、数字信号；
所述任务包括以下至少一项：图像分类、目标检测、文本预测。
一些实施例中，所述处理器还用于收集原始的任务数据，将收集的所述原始的任务数据发送给云端设备；接收所述云端设备返回的所述通用网络模型及所述配置信息。
一些实施例中，边缘计算装置应用于云端设备，所述处理器用于接收至少一个边缘设备发送的任务的数据的特征数据及所述任务的配置信息；根据所述任务的配置信息确定与所述任务对应的任务网络模型；利用所述任务网络模型根据所述特征数据产生针对所述任务的数据的预测结果；将所述预测结果发送给所述边缘设备；
其中，不同的边缘设备共享所述通用网络模型的参数并保持所述参数固定。
一些实施例中，所述处理器还用于接收所述边缘设备收集的原始的任务数据，利用所述原始的任务数据构建数据集；利用所述数据集进行通用网络模型的训练；针对每一任务确定任务的模型划分点k，将所述模型划分点k作为任务的配置信息，根据所述任务的配置信息构建任务网络模型；将所述任务的配置信息及所述通用网络模型发送给边缘设备。
一些实施例中，所述处理器还用于将任务对应的训练数据输入所述通用网络模型中，逐层获取中间特征，对所述通用网络模型各层获取的中间特征进行归一化处理，逐层对中间特征计算归一化亮度的部分区间的统计值的加权和，并将计算结果与设定的阈值进行比较，如果计算结果小于所述阈值，则继续根据下一层中间特征进行计算；如果计算结果超过所述阈值，停止计算，记录当前层数k。
本发明的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的方法中的步骤。
本发明的实施例具有以下有益效果：
上述方案中，当存在任务的数据时，边缘设备利用通用网络模型和任务的配置信息对任务的数据进行特征提取，将提取的特征数据和任务的配置信息发送至云端设备，云端设备根据提取的特征数据产生针对所述任务的数据的预测结果，将所述预测结果发送给所述边缘设备。本实施例中，多个边缘设备共享通用网络模型参数并保持参数固定，这样针对不同的任务只需要在边缘设备上部署一次通用网络模型，任务更新的时候只需要更新云端设备的任务网络模型即可，便于管理，边缘设备端的存储和计算成本低；并且边缘设备仅需要将特征数据发送给云端设备，避免直接传输任务的原始数据，减少数据传输量，降低传输延迟，保护用户隐私。
附图说明
图1为本发明实施例由边缘设备执行的边缘计算方法的流程示意图；
图2为本发明实施例由云端设备执行的边缘计算方法的流程示意图；
图3为本发明实施例网络模型的布局示意图；
图4-图6为本发明实施例边缘计算方法的流程示意图；
图7为本发明实施例边缘设备侧的边缘计算装置的结构示意图；
图8为本发明实施例云端设备侧的边缘计算装置的结构示意图；
图9为本发明实施例边缘设备侧的边缘计算装置的组成示意图；
图10为本发明实施例云端设备侧的边缘计算装置的组成示意图。
具体实施方式
为使本发明的实施例要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
端-云协同，是智能物联网的一种可选解决方案。端-云协同模式，在端侧和云侧各自进行部分计算，可以充分利用端侧的计算能力，明显的优势有以下几点：(1)降低网络传输时延、减轻网络传输压力。若采集到的原始数据在端侧经过处理得到一些抽象的特征之后再传输到云侧，数据量得到压缩，极大缓解网络传输的压力。(2)提高应用程序效率。通过降低网络延迟，应用程序可以更高效、更快速地运行。(3)安全和隐私保护。端侧采集到的数据涉及个人隐私，传统的云计算模式需要将这些隐私数据上传至云计算中心，这将增加泄露用户隐私数据的风险。但是将抽象的特征上传至云计算中心，将会尽可能地降低隐私泄露的风险。
但是物联网端侧一个非常突出的短板是计算资源和存储资源非常受限。在物联网设备高度智能化的趋势下，一个智能设备上可能需要运行多个任务，例如一个机器人上集成的摄像头，可能需要同时对当前捕获到的图像进行人脸识别任务、物体识别任务或障碍物识别任务等。
针对上述计算资源受限的问题，现有的技术方案多采取给任务设置优先级，设计复杂的任务调度算法，以保证当前任务的顺利运行。针对上述存储资源有限的方法，现有的技术方案多采取模型压缩的方法，尽可能地降低模型的大小，使其占用的端侧的存储资源尽可能地少。
在上述端-云协作和多任务并行的场景下，现有技术方案存在很多问题。
(1)不涉及端-云协同，现有方案一般将模型完全部署在终端设备上，没有涉及到设备和云端的协同。
(2)端侧模型需要不断更新：现有设备端的模型需要不断更新，就需要不断地下载和部署。
(3)多个任务之间模型不共享。
综上所述，目前的解决方案是每个任务准备一个模型，N个任务就有N个模型，不管资源调度算法如何设计，都会导致以下问题：(1)模型数量多，耗资源；(2)每次增加或切换新任务都要下载、更新模型；(3)模型越来越多，管理越来越复杂。
本发明实施例提供一种边缘计算方法及装置，能够实现端-云协同完成任务的处理。
本发明的实施例提供一种边缘计算方法，由边缘设备执行，如图1所示，包括：
步骤101：获取任务的数据；
步骤102：利用通用网络模型和所述任务的配置信息对所述任务的数据进行特征提取；
步骤103：将提取的特征数据和所述任务的配置信息发送至云端设备；
步骤104：接收所述云端设备返回的针对所述任务的数据的预测结果；
其中，不同的边缘设备共享所述通用网络模型的参数并保持所述参数固定。
本实施例提出一种深度学习的端-云协同的方法，利用深度网络的结构特点，在边缘设备端保持一个适用于多任务的通用网络模型，在云端设备保持各个任务的任务网络模型。边缘设备端通用网络模型和云端的任务网络模型，协同完成任务处理。
当存在任务的数据时，边缘设备利用通用网络模型和任务的配置信息对任务的数据进行特征提取，将提取的特征数据和任务的配置信息发送至云端设备，云端设备根据提取的特征数据产生针对所述任务的数据的预测结果，将所述预测结果发送给所述边缘设备。本实施例中，多个边缘设备共享通用网络模型参数并保持参数固定，这样针对不同的任务只需要在边缘设备上部署一次通用网络模型，任务更新的时候只需要更新云端设备的任务网络模型即可，便于管理，边缘设备端的存储和计算成本低；并且边缘设备仅需要将特征数据发送给云端设备，避免直接传输任务的原始数据，减少数据传输量，降低传输延迟，保护用户隐私。
一些实施例中，所述配置信息包括：
任务编号；
任务的模型划分点k，k为所述任务的数据处理在通用网络模型中需要执行的层数。
一些实施例中，所述任务的数据包括以下至少一项：
图像、文本、视频、音频、数字信号；
所述任务包括以下至少一项：图像分类、目标检测、文本预测。
一些实施例中，所述利用通用网络模型和所述任务的配置信息对所述任务的数据进行特征提取之前，所述方法还包括：
收集原始的任务数据，将收集的所述原始的任务数据发送给云端设备；
接收所述云端设备返回的所述通用网络模型及所述配置信息。
本实施例的技术方案可以用于OneNET(中国移动物联网开放平台)边缘IoT(Internet of Things，物联网)。OneNET边缘IoT支持运行在小到嵌入式终端，大到MEC(移动边缘计算)边缘云基础设施中，并且可以在边缘端提供人工智能、大数据、物联网设备管理、工业终端协议适配、视频接入，海量时序数据存储等功能。摄像头上安装的安防功能，实现人脸识别、行人检测、物体检测等功能。运用此技术后，摄像头等端侧的模型可以避免频繁更新，不仅极大的降低了时延，保护了隐私，还降低了对设备的管理和维护成本，有利于提升移动的服务质量和客户满意度。
如图3所示，在边缘设备侧保持一个适用于多任务的通用网络模型(简称sharedlayers)，在云端设备保持N个任务网络模型(task layers)，N个任务就对应N个任务网络模型。在执行某个任务的时候，由边缘设备侧通用网络模型和云端的任务网络模型协同来完成该任务，如图3所示。
在端-云协同推理阶段：边缘设备侧通用网络模型主要负责执行shared layers对设备采集到的数据进行特征提取，提取到的特征数据会通过网络传输到云端，云端的任务网络模型主要负责接收设备侧传输过来的特征数据并执行task layers产生预测结果，并将预测结果反馈到设备侧。流程如图4所示。边缘设备端和云端的协同主要依靠配置信息，配置信息包括任务的编号、该任务在边缘设备侧通用网络模型中需要执行的层数等，云侧接收到配置信息之后可以直接找到当前任务需要执行的云端任务网络模型。这里边缘设备端采集到的数据可能是图像、文本、视频、音频、数字信号等，任务网络模型所进行的任务可能是图像分类、目标检测、文本预测等。
本实施例需要在云端训练一个通用网络模型，针对不同的任务，依据该任务的数据在通用网络模型中产生的中间特征确定划分点，联合划分点之前的通用网络模型训练该任务的任务网络模型。训练完成之后将通用网络模型部署在边缘设备端，将任务网络模型部署在云端。流程如图5所示。
在有新任务的时候，边缘设备端将收集的原始数据传输到云端，在进行少量数据的标注之后，执行通用网络确定划分点，设计任务网络模型，联合通用网络模型和任务网络模型训练该任务的网络模型。训练完成之后，将任务网络模型部署在云端，将该任务的配置信息发送到边缘设备端即可，无需更新边缘设备端的模型。流程如图6所示。
其中，针对不同的任务，依据该任务的数据在通用网络中产生的中间特征确定划分点，指的是将该任务对应的训练数据集输入到训练好的通用网络中，逐层获取中间特征，对上述各层获取的中间特征进行处理，具体的处理方式包括计算亮度、均值等统计特征，并做归一化处理。具体地，逐层对中间特征计算归一化亮度的部分区间(例如，大于0.5)的统计值的加权和，并与设定的阈值进行比较。如果小于阈值，则继续计算下一层中间特征；如果超过阈值，就停止操作，记录当前层数k。此时，就得到了任务的模型划分点k。对于多个任务，重复上述操作，得到每个任务的模型划分点，由于不同的任务的数据集不同，所得到的模型划分点也可能不同。
以图像分类任务为例，本实施例的技术方案包括以下步骤：
第一步骤，云侧(即云端设备侧)的数据准备阶段，将一个或者多个数据库的图片以及相应的标签进行格式处理，每一张图像对应一个标签。例如，大型数据集ImageNet、手写体数字识别数据集MNIST、场景识别数据集Places32或其他自建数据集。
第二步骤，在云侧进行通用网络的训练。例如，在大型数据集ImageNet上训练一个通用网络，可以是VGG、ResNet、DenseNet等经典网络结构，也可以是搭建的深度网络。
第三步骤，针对不同的任务选择合适的模型划分点。例如，针对手写体数字识别数据集，将数据集中的图像输入到训练好的通用网络中，逐层获取中间特征(Feature Map)，对上述各层获取的中间特征进行处理，具体的处理方式包括计算亮度、均值等统计特征，并做归一化处理。具体地，逐层对中间特征计算归一化亮度的部分区间(大于0.5)的统计值的加权和，并与设定的阈值进行比较。如果小于阈值，则继续计算下一层中间特征；如果超过阈值，就停止操作，记录当前层数k。此时，就得到了任务的模型划分点k。对于多个任务，重复上述操作，得到每个任务的模型划分点，由于不同的任务的数据集不同，所得到的模型划分点也可能不同。
第四步骤，针对不同的任务训练各自的任务网络模型。例如，针对手写体数字识别数据集，在获取到模型划分点k之后，通用网络的前k层作为该任务的通用网络模型(sharedlayers)，并设计一个简单的p层网络作为该任务的任务网络模型(task layers)，其中，k表示底层网络的划分点，p表示云端任务网络的层数，p可以为根据经验设定的值。通用网络模型的输出是任务网络模型的输入，shared layers和task layers一起构成一个新的网络。训练数据是手写体数据识别数据集。在训练的过程中，保持shared layers的参数固定不变，只更新task layers的参数。训练一定的迭代，例如100个epoch，网络达到稳定，就得到了训练好的针对手写体数字识别的网络。同样地，针对其他的数据集可以进行相似的操作。
第五步骤，将通用网络和各个任务的配置信息部署到边缘设备端，各个任务的任务网络模型部署在云端。各个任务的配置信息主要包括任务编号和各个任务的模型划分点k。在边缘设备端，不同的任务共享通用网络模型的参数空间。例如，手写体数字识别数据集在边缘设备端输入通用网络模型之后，经过通用网络模型的前k1层，将输出的中间特征传输到云端，部署在云端的手写体数字识别任务网络模型接收中间特征，继续进行推理，产生最终的预测结果；场景识别数据集在边缘设备端输入通用网络模型之后，经过通用网络模型的前k2层，将输出的中间特征传输到云端，部署在云端的场景识别任务网络模型接收中间特征，继续进行推理，产生最终的预测结果。上述操作，实现了边缘设备端和云端的协作。
第六步骤，特别地，对于新的任务。边缘设备端将采集的原始数据传输到云端，经过少量的人工标注，然后执行第三、四、五步骤。
其中，上述第三步骤用当前层Feature Map的亮度的绝对值进行模型划分点的判断，也可以通过相邻层Feature Map亮度的比值进行判断，并不做限定。
上述实施例介绍了对于特定应用的处理流程，对于其他的应用，处理流程相同。本实施例结合深度卷积神经网络的结构特点，底层网络提取输入数据的细节特征，高层网络提取输入数据的语义特征，具体地，边缘设备端的通用网络模型提取输入数据的细节特征，并将该中间特征传输到云端，云端的任务网络模型提取语义特征，并产生预测结果。不同的任务有不同的语义特征，云端的任务网络模型也不相同。边缘设备端保持一个通用网络模型，节省计算和存储资源，便于管理。
本实施例中，边缘设备侧通用网络模型主要负责对采集到的数据进行特征提取，并添加配置信息，配置信息包括任务的编号、该任务在边缘设备侧通用网络模型中需要执行的层数等，将提取到的特征和配置信息通过网络传输到云端。
对于特定的任务，云端计算深度模型在该任务的数据集上各层输出的特征，基于各层特征的亮度、均值、方差等统计特征，判定特定任务的模型划分层。具体地，模型划分层的判定，可以采用前后层的Feature Map统计参数的比值，或者绝对差值等。
本实施例中，多任务在边缘设备侧共享通用网络模型，降低计算和存储资源，降低功耗；通用模型模型的参数保持固定，更新模型时只更新云端的任务网络模型，避免频繁向端侧部署新模型，方便管理。另外，本方案提出的根据Feature Map的亮度、均值、方差等统计特征来划分模型的方法，充分依据了深度卷积神经网络的结构特点，不降低模型的精度。本方案不仅适用于例子中描述的图像分类任务，也适用于其他图像、视频、文本和语音等模型的优化，具有更好地普适性。
本发明实施例还提供了一种边缘计算方法，由云端设备执行，如图2所示，包括：
步骤201：接收至少一个边缘设备发送的任务的数据的特征数据及所述任务的配置信息；
步骤202：根据所述任务的配置信息确定与所述任务对应的任务网络模型；
步骤203：利用所述任务网络模型根据所述特征数据产生针对所述任务的数据的预测结果；
步骤204：将所述预测结果发送给所述边缘设备；
其中，不同的边缘设备共享所述通用网络模型的参数并保持所述参数固定。
当存在任务的数据时，边缘设备利用通用网络模型和任务的配置信息对任务的数据进行特征提取，将提取的特征数据和任务的配置信息发送至云端设备，云端设备根据提取的特征数据产生针对所述任务的数据的预测结果，将所述预测结果发送给所述边缘设备。本实施例中，多个边缘设备共享通用网络模型参数并保持参数固定，这样针对不同的任务只需要在边缘设备上部署一次通用网络模型，任务更新的时候只需要更新云端设备的任务网络模型即可，便于管理，边缘设备端的存储和计算成本低；并且边缘设备仅需要将特征数据发送给云端设备，避免直接传输任务的原始数据，减少数据传输量，降低传输延迟，保护用户隐私。
一些实施例中，所述配置信息包括：
任务编号；
任务的模型划分点k，k为所述任务的数据处理在通用网络模型中需要执行的层数。
一些实施例中，所述任务的数据包括以下至少一项：
图像、文本、视频、音频、数字信号；
所述任务包括以下至少一项：图像分类、目标检测、文本预测。
一些实施例中，所述方法还包括：
接收所述边缘设备收集的原始的任务数据，利用所述原始的任务数据构建数据集；
利用所述数据集进行通用网络模型的训练；
针对每一任务确定任务的模型划分点k，将所述模型划分点k作为任务的配置信息，根据所述任务的配置信息构建任务网络模型；
将所述任务的配置信息及所述通用网络模型发送给边缘设备。
一些实施例中，所述针对每一任务确定任务的模型划分点k包括：
将任务对应的训练数据输入所述通用网络模型中，逐层获取中间特征，对所述通用网络模型各层获取的中间特征进行归一化处理，逐层对中间特征计算归一化亮度的部分区间的统计值的加权和，并将计算结果与设定的阈值进行比较，如果计算结果小于所述阈值，则继续根据下一层中间特征进行计算；如果计算结果超过所述阈值，停止计算，记录当前层数k。
本实施例的技术方案可以用于OneNET(中国移动物联网开放平台)边缘IoT(Internet of Things，物联网)。OneNET边缘IoT支持运行在小到嵌入式终端，大到MEC(移动边缘计算)边缘云基础设施中，并且可以在边缘端提供人工智能、大数据、物联网设备管理、工业终端协议适配、视频接入，海量时序数据存储等功能。摄像头上安装的安防功能，实现人脸识别、行人检测、物体检测等功能。运用此技术后，摄像头等端侧的模型可以避免频繁更新，不仅极大的降低了时延，保护了隐私，还降低了对设备的管理和维护成本，有利于提升移动的服务质量和客户满意度。
本发明实施例还提供了一种边缘计算装置，由边缘设备执行，如图7所示，包括：
获取模块31，用于获取任务的数据；
特征提取模块32，用于利用通用网络模型和所述任务的配置信息对所述任务的数据进行特征提取；
发送模块33，用于将提取的特征数据和所述任务的配置信息发送至云端设备；
接收模块34，用于接收所述云端设备返回的针对所述任务的数据的预测结果；
其中，不同的边缘设备共享所述通用网络模型的参数并保持所述参数固定。
一些实施例中，所述配置信息包括：
任务编号；
任务的模型划分点k，k为所述任务的数据处理在通用网络模型中需要执行的层数。
一些实施例中，所述任务的数据包括以下至少一项：
图像、文本、视频、音频、数字信号；
所述任务包括以下至少一项：图像分类、目标检测、文本预测。
一些实施例中，
所述发送模块33还用于收集原始的任务数据，将收集的所述原始的任务数据发送给云端设备；
所述接收模块34还用于接收所述云端设备返回的所述通用网络模型及所述配置信息。
本发明实施例还提供了一种边缘计算装置，由云端设备执行，如图8所示，包括：
接收模块41，用于接收至少一个边缘设备发送的任务的数据的特征数据及所述任务的配置信息；
处理模块42，用于根据所述任务的配置信息确定与所述任务对应的任务网络模型；
预测模块43，用于利用所述任务网络模型根据所述特征数据产生针对所述任务的数据的预测结果；
发送模块44，用于将所述预测结果发送给所述边缘设备；
其中，不同的边缘设备共享所述通用网络模型的参数并保持所述参数固定。
一些实施例中，所述配置信息包括：
任务编号；
任务的模型划分点k，k为所述任务的数据处理在通用网络模型中需要执行的层数。
一些实施例中，所述任务的数据包括以下至少一项：
图像、文本、视频、音频、数字信号；
所述任务包括以下至少一项：图像分类、目标检测、文本预测。
一些实施例中，
所述接收模块41还用于接收所述边缘设备收集的原始的任务数据，利用所述原始的任务数据构建数据集；
所述处理模块42还用于利用所述数据集进行通用网络模型的训练；针对每一任务确定任务的模型划分点k，将所述模型划分点k作为任务的配置信息，根据所述任务的配置信息构建任务网络模型；
所述发送模块44还用于将所述任务的配置信息及所述通用网络模型发送给边缘设备。
一些实施例中，所述处理模块42具体用于将任务对应的训练数据输入所述通用网络模型中，逐层获取中间特征，对所述通用网络模型各层获取的中间特征进行归一化处理，逐层对中间特征计算归一化亮度的部分区间的统计值的加权和，并将计算结果与设定的阈值进行比较，如果计算结果小于所述阈值，则继续根据下一层中间特征进行计算；如果计算结果超过所述阈值，停止计算，记录当前层数k。
本发明的实施例提供了一种边缘计算装置，应用于边缘设备，如图9所示，包括存储器51、处理器52及存储在所述存储器51上并可在所述处理器52上运行的计算机程序；所述处理器52执行所述程序时实现如上所述的边缘计算方法。
一些实施例中，所述处理器52用于获取任务的数据；利用通用网络模型和所述任务的配置信息对所述任务的数据进行特征提取；将提取的特征数据和所述任务的配置信息发送至云端设备；接收所述云端设备返回的针对所述任务的数据的预测结果；
其中，不同的边缘设备共享所述通用网络模型的参数并保持所述参数固定。
一些实施例中，所述配置信息包括：
任务编号；
任务的模型划分点k，k为所述任务的数据处理在通用网络模型中需要执行的层数。
一些实施例中，所述任务的数据包括以下至少一项：
图像、文本、视频、音频、数字信号；
所述任务包括以下至少一项：图像分类、目标检测、文本预测。
一些实施例中，所述处理器52还用于收集原始的任务数据，将收集的所述原始的任务数据发送给云端设备；接收所述云端设备返回的所述通用网络模型及所述配置信息。
本发明的实施例提供了一种边缘计算装置，应用于云端设备，如图10所示，包括存储器61、处理器62及存储在所述存储器61上并可在所述处理器62上运行的计算机程序；所述处理器62执行所述程序时实现如上所述的边缘计算方法。
一些实施例中，所述处理器62用于接收至少一个边缘设备发送的任务的数据的特征数据及所述任务的配置信息；根据所述任务的配置信息确定与所述任务对应的任务网络模型；利用所述任务网络模型根据所述特征数据产生针对所述任务的数据的预测结果；将所述预测结果发送给所述边缘设备；
其中，不同的边缘设备共享所述通用网络模型的参数并保持所述参数固定。
一些实施例中，所述处理器62还用于接收所述边缘设备收集的原始的任务数据，利用所述原始的任务数据构建数据集；利用所述数据集进行通用网络模型的训练；针对每一任务确定任务的模型划分点k，将所述模型划分点k作为任务的配置信息，根据所述任务的配置信息构建任务网络模型；将所述任务的配置信息及所述通用网络模型发送给边缘设备。
一些实施例中，所述处理器62还用于将任务对应的训练数据输入所述通用网络模型中，逐层获取中间特征，对所述通用网络模型各层获取的中间特征进行归一化处理，逐层对中间特征计算归一化亮度的部分区间的统计值的加权和，并将计算结果与设定的阈值进行比较，如果计算结果小于所述阈值，则继续根据下一层中间特征进行计算；如果计算结果超过所述阈值，停止计算，记录当前层数k。
本发明的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的方法中的步骤。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储待检测终端设备或任何其他非传输介质，可用于存储可以被计算待检测终端设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (13)
1.一种边缘计算方法，其特征在于，由边缘设备执行，包括：
获取任务的数据；
利用通用网络模型和所述任务的配置信息对所述任务的数据进行特征提取；
将提取的特征数据和所述任务的配置信息发送至云端设备；
接收所述云端设备返回的针对所述任务的数据的预测结果；
其中，不同的边缘设备共享所述通用网络模型的参数并保持所述参数固定。
2.根据权利要求1所述的边缘计算方法，其特征在于，所述配置信息包括：
任务编号；
任务的模型划分点k，k为所述任务的数据处理在通用网络模型中需要执行的层数。
3.根据权利要求1所述的边缘计算方法，其特征在于，所述任务的数据包括以下至少一项：
图像、文本、视频、音频、数字信号；
所述任务包括以下至少一项：图像分类、目标检测、文本预测。
4.根据权利要求1所述的边缘计算方法，其特征在于，所述利用通用网络模型和所述任务的配置信息对所述任务的数据进行特征提取之前，所述方法还包括：
收集原始的任务数据，将收集的所述原始的任务数据发送给云端设备；
接收所述云端设备返回的所述通用网络模型及所述配置信息。
5.一种边缘计算方法，其特征在于，由云端设备执行，包括：
接收至少一个边缘设备发送的任务的数据的特征数据及所述任务的配置信息；
根据所述任务的配置信息确定与所述任务对应的任务网络模型；
利用所述任务网络模型根据所述特征数据产生针对所述任务的数据的预测结果；
将所述预测结果发送给所述边缘设备；
其中，不同的边缘设备共享所述通用网络模型的参数并保持所述参数固定。
6.根据权利要求5所述的边缘计算方法，其特征在于，所述配置信息包括：
任务编号；
任务的模型划分点k，k为所述任务的数据处理在通用网络模型中需要执行的层数。
7.根据权利要求5所述的边缘计算方法，其特征在于，所述任务的数据包括以下至少一项：
图像、文本、视频、音频、数字信号；
所述任务包括以下至少一项：图像分类、目标检测、文本预测。
8.根据权利要求5所述的边缘计算方法，其特征在于，所述方法还包括：
接收所述边缘设备收集的原始的任务数据，利用所述原始的任务数据构建数据集；
利用所述数据集进行通用网络模型的训练；
针对每一任务确定任务的模型划分点k，将所述模型划分点k作为任务的配置信息，根据所述任务的配置信息构建任务网络模型；
将所述任务的配置信息及所述通用网络模型发送给边缘设备。
9.根据权利要求8所述的边缘计算方法，其特征在于，所述针对每一任务确定任务的模型划分点k包括：
将任务对应的训练数据输入所述通用网络模型中，逐层获取中间特征，对所述通用网络模型各层获取的中间特征进行归一化处理，逐层对中间特征计算归一化亮度的部分区间的统计值的加权和，并将计算结果与设定的阈值进行比较，如果计算结果小于所述阈值，则继续根据下一层中间特征进行计算；如果计算结果超过所述阈值，停止计算，记录当前层数k。
10.一种边缘计算装置，其特征在于，应用于边缘设备，包括：
获取模块，用于获取任务的数据；
特征提取模块，用于利用通用网络模型和所述任务的配置信息对所述任务的数据进行特征提取；
发送模块，用于将提取的特征数据和所述任务的配置信息发送至云端设备；
接收模块，用于接收所述云端设备返回的针对所述任务的数据的预测结果；
其中，不同的边缘设备共享所述通用网络模型的参数并保持所述参数固定。
11.一种边缘计算装置，其特征在于，应用于云端设备，包括：
接收模块，用于接收至少一个边缘设备发送的任务的数据的特征数据及所述任务的配置信息；
处理模块，用于根据所述任务的配置信息确定与所述任务对应的任务网络模型；
预测模块，用于利用所述任务网络模型根据所述特征数据产生针对所述任务的数据的预测结果；
发送模块，用于将所述预测结果发送给所述边缘设备；
其中，不同的边缘设备共享所述通用网络模型的参数并保持所述参数固定。
12.一种边缘计算装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；其特征在于，所述处理器执行所述程序时实现如权利要求1-9中任一项所述的边缘计算方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一项所述的边缘计算方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011380254.2A CN114640669A (zh) | 2020-11-30 | 2020-11-30 | 边缘计算方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011380254.2A CN114640669A (zh) | 2020-11-30 | 2020-11-30 | 边缘计算方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114640669A true CN114640669A (zh) | 2022-06-17 |
Family
ID=81945240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011380254.2A Pending CN114640669A (zh) | 2020-11-30 | 2020-11-30 | 边缘计算方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114640669A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116168334A (zh) * | 2023-04-26 | 2023-05-26 | 深圳金三立视频科技股份有限公司 | 一种视频行为分类的方法及终端 |
| CN116385825A (zh) * | 2023-03-22 | 2023-07-04 | 小米汽车科技有限公司 | 模型联合训练方法、装置及车辆 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107766889A (zh) * | 2017-10-26 | 2018-03-06 | 济南浪潮高新科技投资发展有限公司 | 一种云端边缘计算融合的深度学习计算系统和方法 |
| CN110135317A (zh) * | 2019-05-08 | 2019-08-16 | 深圳达实智能股份有限公司 | 基于协同计算体系的行为监控和管理系统和方法 |
| US20200007409A1 (en) * | 2018-06-29 | 2020-01-02 | Electronics And Telecommunications Research Institute | INTELLIGENT INTERNET OF EVERYTHING (IoE) EDGE COMPUTIING SYSTEM FOR HIGH RELIABLE INTERNET OF THINGS (IoT) SERVICE |
| CN110719210A (zh) * | 2019-12-05 | 2020-01-21 | 赣江新区智慧物联研究院有限公司 | 一种基于云边协同的工业设备预测性维护方法 |
| CN111199279A (zh) * | 2019-10-30 | 2020-05-26 | 山东浪潮人工智能研究院有限公司 | 一种警务行业云端边缘计算和人工智能融合方法及装置 |
| CN111510774A (zh) * | 2020-04-21 | 2020-08-07 | 济南浪潮高新科技投资发展有限公司 | 一种结合边缘计算与深度学习的智能终端图像压缩算法 |
-
2020
- 2020-11-30 CN CN202011380254.2A patent/CN114640669A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107766889A (zh) * | 2017-10-26 | 2018-03-06 | 济南浪潮高新科技投资发展有限公司 | 一种云端边缘计算融合的深度学习计算系统和方法 |
| US20200007409A1 (en) * | 2018-06-29 | 2020-01-02 | Electronics And Telecommunications Research Institute | INTELLIGENT INTERNET OF EVERYTHING (IoE) EDGE COMPUTIING SYSTEM FOR HIGH RELIABLE INTERNET OF THINGS (IoT) SERVICE |
| CN110135317A (zh) * | 2019-05-08 | 2019-08-16 | 深圳达实智能股份有限公司 | 基于协同计算体系的行为监控和管理系统和方法 |
| CN111199279A (zh) * | 2019-10-30 | 2020-05-26 | 山东浪潮人工智能研究院有限公司 | 一种警务行业云端边缘计算和人工智能融合方法及装置 |
| CN110719210A (zh) * | 2019-12-05 | 2020-01-21 | 赣江新区智慧物联研究院有限公司 | 一种基于云边协同的工业设备预测性维护方法 |
| CN111510774A (zh) * | 2020-04-21 | 2020-08-07 | 济南浪潮高新科技投资发展有限公司 | 一种结合边缘计算与深度学习的智能终端图像压缩算法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116385825A (zh) * | 2023-03-22 | 2023-07-04 | 小米汽车科技有限公司 | 模型联合训练方法、装置及车辆 |
| CN116385825B (zh) * | 2023-03-22 | 2024-04-30 | 小米汽车科技有限公司 | 模型联合训练方法、装置及车辆 |
| CN116168334A (zh) * | 2023-04-26 | 2023-05-26 | 深圳金三立视频科技股份有限公司 | 一种视频行为分类的方法及终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111192292B (zh) | 基于注意力机制与孪生网络的目标跟踪方法及相关设备 | |
| CN111460968B (zh) | 基于视频的无人机识别与跟踪方法及装置 | |
| US11816570B2 (en) | Method for accelerated detection of object in videos, server, and non-transitory computer readable storage medium | |
| US20230196837A1 (en) | Action recognition method and apparatus, and device and storage medium | |
| CN111178507B (zh) | 图谱卷积神经网络数据处理方法及装置 | |
| CN111242844B (zh) | 图像处理方法、装置、服务器和存储介质 | |
| CN110830807B (zh) | 图像压缩方法、装置及存储介质 | |
| CN111709497A (zh) | 一种信息处理方法、装置及计算机可读存储介质 | |
| CN112861575A (zh) | 一种行人结构化方法、装置、设备和存储介质 | |
| CN113704531A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN112565777B (zh) | 基于深度学习模型视频数据传输方法、系统、介质及设备 | |
| CN107992937B (zh) | 基于深度学习的非结构化数据判决方法和装置 | |
| CN112817755A (zh) | 基于目标追踪加速的边云协同深度学习目标检测方法 | |
| CN114550053A (zh) | 一种交通事故定责方法、装置、计算机设备及存储介质 | |
| CN114640669A (zh) | 边缘计算方法及装置 | |
| WO2019128735A1 (zh) | 图像处理方法及装置 | |
| CN116562399A (zh) | 端边云协同的模型训练方法及装置 | |
| CN115618051A (zh) | 一种基于互联网的智慧校园监控视频存储方法 | |
| CN113313098B (zh) | 视频处理方法、设备、系统及存储介质 | |
| EP4311202A1 (en) | End-edge-cloud coordination system and method based on digital retina, and device | |
| CN114170425A (zh) | 模型训练、图像分类方法、服务器及存储介质 | |
| WO2019127926A1 (zh) | 一种稀疏神经网络的计算方法及计算装置、电子装置、计算机可读存储介质以及计算机程序产品 | |
| CN114169506A (zh) | 一种基于工业物联网平台的深度学习边缘计算系统框架 | |
| CN113590898A (zh) | 数据检索方法、装置、电子设备、存储介质及计算机产品 | |
| WO2024045836A1 (zh) | 参数调整方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |