CN115545198B - 一种基于深度学习模型的边缘智能协同推断方法及系统 - Google Patents

一种基于深度学习模型的边缘智能协同推断方法及系统 Download PDF

Info

Publication number
CN115545198B
CN115545198B CN202211488786.7A CN202211488786A CN115545198B CN 115545198 B CN115545198 B CN 115545198B CN 202211488786 A CN202211488786 A CN 202211488786A CN 115545198 B CN115545198 B CN 115545198B
Authority
CN
China
Prior art keywords
deep learning
learning model
inference
edge
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211488786.7A
Other languages
English (en)
Other versions
CN115545198A (zh
Inventor
吴涛
邓宇萍
陈曦
吴锡
周启钊
冯霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Information Technology
Original Assignee
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Information Technology filed Critical Chengdu University of Information Technology
Priority to CN202211488786.7A priority Critical patent/CN115545198B/zh
Publication of CN115545198A publication Critical patent/CN115545198A/zh
Application granted granted Critical
Publication of CN115545198B publication Critical patent/CN115545198B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及边缘智能技术领域，公开了一种基于深度学习模型的边缘智能协同推断方法及系统，通过获取巡检设备和边缘设备的参数信息以及所述巡检设备采集的监控图像数据的处理需求分别构建适用于巡检设备和边缘设备的简单模型和复杂分支模型；简单模型较复杂分支模型的网络层数和神经元个数更少，神经网络计算会明显减少任务推断时间和自身消耗的能耗；巡检设备端输出结果置信度值判定器以输出结果的置信度最大值作为依据判断监控图像数据是否需要传输到边缘设备端进行处理，从而保证深度学习模型结果准确率的同时，最大程度的利用巡检设备、边缘设备的计算和存储能力，以及降低系统在单边执行任务时的所带来的高时延和高能耗。

Description

一种基于深度学习模型的边缘智能协同推断方法及系统
技术领域
本发明涉及边缘智能技术领域，尤其涉及一种基于深度学习模型的边缘智能协同推断方法及系统。
背景技术
天气预报、电网和通信网络是当前生活必不可少的要素。天气预报的准确性、电网和通信网络的安全稳定运行始终依赖于各类气象观测设施、电力设施和网络设施的正常运行。目前，通过智能巡检集群对各类设备设施进行长期有效的动态监测以维持其在复杂和动态的环境中连续运行。但由于智能巡检集群在实施监控职能和自动数据处理存在一定的限制，例如巡检设备由于机动性强、体积小、生产成本低等限制，在电池寿命和计算能力方面存在缺陷；随着硬件和互联网技术的发展，巡检设备采集的数据类型呈现多样化趋势，数据处理和存储能力也大幅增强，在面对复杂场景中的监控数据，巡检设备有限的内存和计算能力还远远不够；同时，以云计算为核心的传统监控数据处理模式在传输延迟、能耗、数据安全性等方面也存在局限性。采用边缘智能技术(Edge Intelligent，EI)将巡检设备部署的图像识别模型无法处理的监控数据传输到边缘服务器进行处理，从而保障智能巡检集群监控数据自动化处理功能。
然而，本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：
（1）巡检设备端参与计算工作，但是由于巡检设备（例如无人机、智能小车等）的计算资源以及续航能力有限，易造成巡检设备电量的消耗加速，不仅增加智能巡检集群系统的巡检设备的电力成本，且无法保证巡检设备的核心功能（采集监控数据）的运行时间，另外，巡检设备能够搭载的网络推断模型数量有限，导致应对多样化环境表现不佳，且搭载复杂的深度模型会出现运行内存不足从而导致模型推断直接中断等严重影响监控数据处理时延的缺陷，甚至出现中间结果数据丢失或无法到达边缘设备端的情况。
（2）由巡检设备将采集到的监控图像数据传输到边缘设备端，再由边缘设备端上部署的深度学习模型对监控图像数据进行运算处理，没有充分利用移动巡检设备端的计算能力，造成资源浪费；同时，由于巡检设备的可移动性，其位置不断变化，出现网络信道的衰落，从而导致巡检设备存在传输能耗高、传输时延长、数据易暴露等严重问题，进而降低智能巡检集群系统的监测实时性，控制中心无法对设备维护情况做出及时反应，增加设备的维修成本。
因此，在充分利用巡检设备、边缘设备的计算和存储能力的情况下，如何降低智能巡检集群内的设备的传输能耗、传输时延是目前亟待解决的技术问题。
发明内容
为了解决上述技术问题，本发明公开了一种基于深度学习模型的边缘智能协同推断方法及系统，主要应用于大型偏远地区的气象设施的智能巡检集群系统，用于对监控图像数据的图像分类和目标检测，其目的在于确保运行深度学习模型结果的准确率不下降的同时，最大程度的利用，降低系统在单边执行任务时所带来的高时延和高能耗。
主要通过以下技术方案实现上述发明目的：
第一方面，一种基于深度学习模型的边缘智能协同推断方法，包括：
获取巡检设备和边缘设备的参数信息，以及所述巡检设备采集的监控图像数据的处理需求；
基于所述参数信息和处理需求分别构建第一深度学习模型和第二深度学习模型，其中，所述第一深度学习模型的网络层数以及每层的神经元个数少于所述第二深度学习模型，以所述第二深度学习模型为主干网络，在中间层构建若干退出点，得到所述第二深度学习模型的第三分支模型，并分别将所述第一深度学习模型和第三分支模型经过训练之后部署到所述巡检设备和边缘设备；
基于所述第一深度学习模型和处理需求对所述监控图像数据进行任务推断，得到第一推断结果，判断所述第一推断结果的最大置信度值是否达到最佳置信度标准值，若是，将所述第一推断结果发送给控制中心，否则将所述监控图像数据发送给所述边缘设备，由所述第三分支模型进行任务推断，得到第二推断结果，将其发送给所述控制中心。
第二方面，一种基于深度学习模型的边缘智能协同推断系统，包括巡检设备、边缘设备和控制中心，所述巡检设备端部署有第一深度学习模型，所述边缘设备端部署有第三分支模型，其中，所述第三分支模型以第二深度学习模型为主干网络，在中间层构建若干退出点，得到所述第二深度学习模型的第三分支模型，所述第一深度学习模型和第二深度学习模型是基于所述巡检设备和边缘设备的参数信息以及所述巡检设备采集的监控图像数据的处理需求构建的，所述第一深度学习模型的网络层数以及每层的神经元个数少于所述第二深度学习模型，分别将所述第一深度学习模型和第三分支模型经过训练之后部署到所述巡检设备和边缘设备；
所述巡检设备端基于所述第一深度学习模型和处理需求对所述监控图像数据进行任务推断，得到第一推断结果，所述巡检设备还包括置信度值判定器，用于判断所述第一推断结果的最大置信度值是否达到最佳置信度标准值，若是，则所述巡检设备将所述第一推断结果发送给所述控制中心，否则将所述监控图像数据发送给所述边缘设备；
所述边缘设备端的第三分支模型根据接收的所述监控图像数据进行任务推断，得到第二推断结果，并将其发送给所述控制中心；
所述控制中心用于根据推断结果对系统内的设备进行相关的维护工作。
相较于现有技术的有益效果：
本发明通过获取巡检设备和边缘设备的参数信息（计算和存储能力），以及所述巡检设备采集的监控图像数据的处理需求（图像分类和目标检测），从而确定适用的基准模型；根据巡检设备和边缘设备的参数信息，以基准模型结构组成为参照，分别构建适用于巡检设备和边缘设备计算和存储能力的第一深度学习模型和第二深度学习模型，然后以第二深度学习模型为主干网络，在中间层构建若干退出点，得到第三分支模型；第一深度学习模型较第三分支模型，网络的层数以及每层的神经元个数更少，因此，巡检设备端在使用神经网络进行计算时，会明显减少任务推断时间和自身消耗的能耗；另外，在巡检设备端引入输出结果置信度值判定器，该判定器是以输出结果的置信度最大值作为依据判断巡检设备采集的监控图像数据是否需要传输到边缘设备端使用第三分支模型进行处理，从而保证在运行深度学习模型结果的准确率不下降的同时，最大程度的利用巡检设备、边缘设备的计算能力和存储能力，同时降低了系统在单边执行任务时的所带来的高时延和高能耗。
附图说明
图1为本发明实施例一提供的一种基于深度学习模型的边缘智能协同推断方法的流程示意图；
图2为本发明实施例二提供的一种基于深度学习模型的边缘智能协同推断方法的流程示意图；
图3为本发明实施例三提供的一种基于深度学习模型的边缘智能协同推系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
实施例一
如图1所示，本发明实施例公开了一种基于深度学习模型的边缘智能协同推断方法，包括以下步骤：
步骤1：获取巡检设备和边缘设备的参数信息，以及所述巡检设备采集的监控图像数据的处理需求。
巡检设备和边缘设备的参数信息包括计算和存储参数信息，据此可获知巡检设备和边缘设备的计算和存储能力；巡检设备采集的监控图像数据的处理需求包括图像分类和目标检测，确定适用的基准模型，例如，适用于图像分类的深度学习模型和目标检测深度学习模型。
步骤2：基于所述参数信息和处理需求分别构建第一深度学习模型和第二深度学习模型，其中，所述第一深度学习模型的网络层数以及每层的神经元个数少于所述第二深度学习模型。
根据巡检设备和边缘设备的参数信息，以基准模型结构组成为参照，分别构建适用于巡检设备和边缘设备计算和存储能力的第一深度学习模型和第二深度学习模型。
步骤3：以所述第二深度学习模型为主干网络，在主干网络的不同位置添加了分支网络，在中间层构建若干退出点，得到所述第二深度学习模型的第三分支模型。
第一深度学习模型较第三分支模型，网络的层数以及每层的神经元个数更少，因此，巡检设备端在使用神经网络进行计算时，会明显减少任务推断时间和自身消耗的能耗。
步骤4：分别将所述第一深度学习模型和第三分支模型经过训练之后部署到所述巡检设备和边缘设备。
模型训练可参照深度学习模型的训练方法，属于现有技术，因此本发明实施例中此处不再赘述。
步骤5：基于所述第一深度学习模型和处理需求对所述监控图像数据进行任务推断，得到第一推断结果，判断所述第一推断结果的最大置信度值是否达到最佳置信度标准值。
步骤6：若所述第一推断结果的最大置信度值达到最佳置信度标准值，则将所述第一推断结果发送给控制中心，否则转到步骤7。
步骤7：若所述第一推断结果的最大置信度值没有达到最佳置信度标准值，则将所述监控图像数据发送给所述边缘设备。
步骤8：所述第三分支模型进行任务推断，得到第二推断结果，将其发送给所述控制中心。
举例说明：对于一个图像分类任务而言，如果采用深度学习技术进行处理的话，首先，图像经过预处理之后作为第一深度学习模型的输入，然后经由多个隐藏层提取特征，最后通过不同图像分类任务需求设置激活函数获得输出层结果。如果是二分类任务，输出层结果值为0表示图像不属于目标类别，反之，值为1表示图像属于目标类别；若是多分类任务，模型输出层结果表示图像属于数据集中部分或者全部类别的概率，即置信度，所有的置信度相加和为1。而输出结果代表的类别置信度越大，则表示图像属于该类别的可能性越大，图像分类结果则选取置信度值最大的类别。
以输出结果的置信度最大值作为依据，判断使用网络模型进行推断结果的正确 度，其中最大置信度值
Figure 773823DEST_PATH_IMAGE001
的表示为：
Figure 806502DEST_PATH_IMAGE002
。
本发明实施例中使用最大置信度值
Figure 928041DEST_PATH_IMAGE001
作为模型执行推断任务执行好坏的原理 为：若某一项
Figure 563422DEST_PATH_IMAGE001
值与输出结果的总和1更加接近，说明图像属于该类；反之
Figure 640968DEST_PATH_IMAGE001
值和1之 间差值越大，说明该图像属于其他类别的可能性同样也会升高，进而可能导致输出结果错 误。
通过实验验证，在Cifar10公开数据集测试集中，推断结果与标签类别对应正确的
Figure 172444DEST_PATH_IMAGE001
值大多数都是大于0.9的样例，而与标签类别对应错误的
Figure 578017DEST_PATH_IMAGE001
值很少存在大于0.9的 样例，并且
Figure 158034DEST_PATH_IMAGE001
值均偏小；模型结构如果更加复杂，大于不同
Figure 903136DEST_PATH_IMAGE001
值的正确样例的数量就 越多，小于不同
Figure 667830DEST_PATH_IMAGE001
值的错误样例的数量就越少。因此，
Figure 124481DEST_PATH_IMAGE001
值作为模型进行神经网络推 断任务时分类正确与否的判定指标，可以判定图像分类任务推断成功与否。
本发明实施例中在巡检设备端引入输出结果置信度值判定器，该判定器是以输出结果的置信度最大值作为依据判断巡检设备采集的监控图像数据是否需要传输到边缘设备端使用第三分支模型进行处理，从而保证在运行深度学习模型结果的准确率不下降的同时，最大程度的利用巡检设备、边缘设备的计算能力和存储能力，同时降低了系统在单边执行任务时的所带来的高时延和高能耗。
在一个优选地实施例中，所述由所述第三分支模型进行任务推断，具体包括：从所述第三分支模型的输入层开始，依次通过每个所述退出点，当其中某一退出点的输出层输出的第三推断结果满足预设的退出条件时，则退出所述第三分支模型的输出结果，将所述第三推断结构作为所述第二推断结果。
需要说明的是，当神经网络到达某一个退出点时，其输出数据满足退出条件，就可以提前退出输出结果，减少神经网络的推断，实现神经网络推断任务的提前退出机制，其目的是为了进一步减少推断任务在边缘设备端处理的时延和能耗。
在一个优选地实施例中，所述第三分支模型的每个分支网络退出点的损失函数都采用交叉熵损失函数计算，每个交叉熵损失函数分别乘以权重参数再相加进行联合优化作为所述第三分支模型的整个分支网络的优化目标：
Figure 226299DEST_PATH_IMAGE003
；
所述第三分支模型的优化目标是最小化与多个退出点加权系数相关的损失函数 值和。
Figure 888224DEST_PATH_IMAGE004
表示退出点
Figure 699185DEST_PATH_IMAGE005
的加权系数,
Figure 17034DEST_PATH_IMAGE005
为所有退出点的总数量，
Figure 63488DEST_PATH_IMAGE006
表示单次推断任务所 产生的参数量，
Figure 220667DEST_PATH_IMAGE007
表示输入样本
Figure 264846DEST_PATH_IMAGE008
的标签，
Figure 132308DEST_PATH_IMAGE009
表示所述第三分支模型推断结果：
Figure 592239DEST_PATH_IMAGE010
，其中
Figure 166440DEST_PATH_IMAGE011
表示一个数据集中的不同的标签总数，
Figure 443838DEST_PATH_IMAGE012
表示 所述第三分支模型推断结果的归一化函数，
Figure 470699DEST_PATH_IMAGE013
表示所述第三分支模型输出结果：
Figure 249168DEST_PATH_IMAGE014
，
Figure 677876DEST_PATH_IMAGE015
表示退出点
Figure 126175DEST_PATH_IMAGE005
的推断结果；
Figure 578016DEST_PATH_IMAGE016
表示所述第三分支模型的损 失函数：
Figure 504383DEST_PATH_IMAGE017
。
当测试样本在训练好的所述第三分支模型上进行测试时，测试样本从分支网络的 输入层开始，逐一通过每个退出点，每一个退出点输出层都会产生一个输出结果
Figure 787597DEST_PATH_IMAGE013
，推断结 果的归一化函数
Figure 32896DEST_PATH_IMAGE018
，则某一个退出点的样本输出信息熵定义如下式所示：
Figure 96667DEST_PATH_IMAGE019
。
Figure 764409DEST_PATH_IMAGE020
的值与是否需要提前结束推断任务退出所述第三分支模 型的输出结果呈正相关关系。
在一个优选地实施例中，确定输出结果置信度值判定器的最佳
Figure 105391DEST_PATH_IMAGE021
标准值计算 方式，最佳
Figure 895493DEST_PATH_IMAGE021
标准值是判定巡检设备端所述第一深度学习模型处理的数据是否需要传 输到边缘设备执行的判断依据。
通过下式确定所述最佳置信度标准值，将推断结果正确率和通信时间延迟归一化后相减求极大值，作为所述最佳置信度标准值：
Figure 40035DEST_PATH_IMAGE022
；
其中，
Figure 573785DEST_PATH_IMAGE023
为在所述第一深度学习模型上进行任务推断的推断结果正确率函 数：
Figure 503694DEST_PATH_IMAGE024
，
Figure 402380DEST_PATH_IMAGE025
为采集的监控图像的总数量；
其中，
Figure 440744DEST_PATH_IMAGE026
为表示序列为
Figure 135774DEST_PATH_IMAGE027
的监控图像推断任务的准确率：
Figure 248086DEST_PATH_IMAGE028
，
Figure 645569DEST_PATH_IMAGE021
为所述第一推断结果的最大置信度值，
Figure 843333DEST_PATH_IMAGE029
为所述 最佳置信度标准值，
Figure 859830DEST_PATH_IMAGE030
表示所述巡检设备端第
Figure 888966DEST_PATH_IMAGE027
次推断任务正确与否，若
Figure 129454DEST_PATH_IMAGE031
则表示所述巡检设备端第
Figure 267044DEST_PATH_IMAGE027
次推断任务正确，若
Figure 883970DEST_PATH_IMAGE032
则表示所述巡检设 备端第
Figure 33191DEST_PATH_IMAGE027
次推断任务错误；
Figure 116685DEST_PATH_IMAGE033
表示所述边缘设备端第
Figure 85778DEST_PATH_IMAGE027
次推断任务正确与否， 若
Figure 506395DEST_PATH_IMAGE034
则表示所述边缘设备端第
Figure 870643DEST_PATH_IMAGE027
次推断任务正确，若
Figure 780830DEST_PATH_IMAGE035
则表示所述边缘 设备端第
Figure 440481DEST_PATH_IMAGE027
次推断任务错误；
Figure 336893DEST_PATH_IMAGE036
为通信时间延迟函数：
Figure 195128DEST_PATH_IMAGE037
；
其中，其中，函数
Figure 135271DEST_PATH_IMAGE038
为所述巡检设备和边缘设备之间是否需要数据传输 的依据，所述巡检设备端的推断
Figure 813377DEST_PATH_IMAGE039
值大于等于
Figure 247900DEST_PATH_IMAGE040
时，
Figure 163904DEST_PATH_IMAGE041
值置为0；所述巡检设备端的 推断
Figure 150314DEST_PATH_IMAGE039
值小于
Figure 475903DEST_PATH_IMAGE040
时，
Figure 776434DEST_PATH_IMAGE041
值置为1；
Figure 609261DEST_PATH_IMAGE042
表示第
Figure 641939DEST_PATH_IMAGE043
次所述巡检设备端向边缘设备端进 行数据传输的时间；
Figure 497900DEST_PATH_IMAGE044
为通信延迟的权重系数，
Figure 664439DEST_PATH_IMAGE045
为所有图像数据
Figure 555035DEST_PATH_IMAGE046
均卸载到所述边缘设备端处理 的通信时间：
Figure 7882DEST_PATH_IMAGE047
。
需要说明的是，最佳
Figure 413455DEST_PATH_IMAGE021
标准值计算方法应该充分考虑到应用环境因素。
Figure 55789DEST_PATH_IMAGE021
标准值的大小主要影响系统推断结果正确率和通信时间延迟，其目的是找到最佳的
Figure 472995DEST_PATH_IMAGE021
标准值作为系统中
Figure 237689DEST_PATH_IMAGE021
值判定器（即置信度值判定器）的标准值，从而最大化系统的任务 处理效率。因此，
Figure 68241DEST_PATH_IMAGE021
标准值选择目标如下：
（1）提高系统的推断结果准确率；
使用
Figure 937103DEST_PATH_IMAGE048
表示
Figure 864607DEST_PATH_IMAGE021
标准值，
Figure 737885DEST_PATH_IMAGE027
表示输入图像的序列，
Figure 462259DEST_PATH_IMAGE049
表示处理图像的总数量。用
Figure 774292DEST_PATH_IMAGE050
表示序列为
Figure 415357DEST_PATH_IMAGE027
的图像推断任务的准确率，其形式如下式所示:
Figure 459537DEST_PATH_IMAGE051
（2）降低系统的通信时间延迟。
系统中巡检设备和边缘设备的每一次网络通信，都会加重系统整体的通信压力， 因此系统的整体通信时间延迟
Figure 61419DEST_PATH_IMAGE052
函数为：
Figure 521351DEST_PATH_IMAGE053
。
由于系统的推断结果正确率
Figure 95551DEST_PATH_IMAGE054
函数和整体通信时间延迟
Figure 107370DEST_PATH_IMAGE052
函数的衡 量标准不一致，因此应当对两者分别进行归一化之后将其映射到0~1范围内之后才能进行 联合计算。对于系统的推断结果正确率
Figure 85297DEST_PATH_IMAGE054
函数，只需要除以系统处理图像的总数量
Figure 411236DEST_PATH_IMAGE049
即可完成；对于整体通信时间延迟
Figure 902260DEST_PATH_IMAGE052
函数，需要除以所有图像数据
Figure 225925DEST_PATH_IMAGE049
均卸载到边缘设 备处理的通信时间
Figure 740083DEST_PATH_IMAGE055
方可完成归一化：
Figure 666451DEST_PATH_IMAGE056
；
由于本发明实施例中实现提升系统推断结果正确率和降低整体通信时间延迟两 个相反的目标，导致
Figure 402194DEST_PATH_IMAGE054
函数和损失
Figure 959078DEST_PATH_IMAGE052
函数对
Figure 757269DEST_PATH_IMAGE021
标准值的设定也呈高低两种 需求的结果。因此将归一化后准确率和通信延迟相减求极大值作为求解系统最佳
Figure 628273DEST_PATH_IMAGE021
标 准值的函数：
Figure 828311DEST_PATH_IMAGE057
；
其中
Figure 556095DEST_PATH_IMAGE044
为通信延迟的权重系数，目的在于适应要求多变的系统推断任务处理需 求，权衡提升推断结果正确率和降低整体通信时间延迟目标之间的关系。
实施例二
如图2所示，在上述实施例的基础上本发明实施例公开了一种基于深度学习模型的边缘智能协同推断方法，包括以下步骤：
步骤1：获取巡检设备和边缘设备的参数信息，以及所述巡检设备采集的监控图像数据的处理需求。
步骤2：基于所述参数信息和处理需求分别构建第一深度学习模型、第二深度学习模型、第四深度学习模型，其中，所述第四深度学习模型的网络层数以及每层的神经元个数大于所述第一深度学习模型且小于所述第二深度学习模型。
步骤3：以所述第二深度学习模型为主干网络，在主干网络的不同位置添加了分支网络，在中间层构建若干退出点，得到所述第二深度学习模型的第三分支模型。
步骤4：将所述第一深度学习模型和第四深度学习模型经过训练之后部署到所述巡检设备，将所述第三分支模型经过训练之后部署到所述边缘设备。
模型训练可参照深度学习模型的训练方法，属于现有技术，因此本发明实施例中此处不再赘述。
步骤5：基于所述第一深度学习模型和处理需求对所述监控图像数据进行任务推断，得到第一推断结果，判断所述第一推断结果的最大置信度值是否达到最佳置信度标准值。
步骤6：若所述第一推断结果的最大置信度值达到最佳置信度标准值，则将所述第一推断结果发送给控制中心，否则转到步骤7。
步骤7：若所述第一推断结果的最大置信度值没有达到最佳置信度标准值，则启动网络检查器获取当前环境的网络状态信息，判断当前网络状态是否满足最佳通信标准值；
步骤8：若是，则将所述监控图像数据发送给所述边缘设备；否则转到步骤10。
步骤9：所述第三分支模型进行任务推断，得到第二推断结果，将其发送给所述控制中心。
步骤10：若当前网络状态没有满足最佳通信标准值，则将所述监控图像数据输入到第四深度学习模型中进行任务推断。
步骤11：得到第四推断结果，并将其发送给所述控制中心。
需要说明的是，上述部分步骤的具体实施方式已在实施例一中进行了详细的说明，可参考，此处不再赘述。
本发明实施例的目的在于应对智能巡检集群在实际应用中存在的网络传输状况变换频繁的情况，因此构建了适用于巡检设备使用的第四深度学习模型，其相较于第二深度学习模型和第三分支模型的网络层数更少，但推理时间和准确率优于第一深度学习模型，劣于第三分支模型。
巡检设备端的网络检查器需要添加一个通信标准值，其是衡量当前巡检设备第一深度学习模型无法处理的数据是否具备传输到边缘设备进行处理的资格的重要依据。合适的通信标准值的选定是影响系统整体性能的核心要点，是兼顾系统整体对响应速度、准确性和自适应应对网络环境多样化要求的重要手段。
针对通信标准值设定，本发明实施例提出一种适用于计算不同模型结构协同推断策略的通信标准值的计算方式，其充分考虑到应用环境因素。通信标准值的设定影响系统推断结果正确率好坏和通信时间延迟高低，该计算方式的目标是找到最佳的通信标准值作为系统中网络状态检查器的被比较值，从而最大化系统的任务处理效率。
在一个优选地实施例中，通过下式确定所述最佳通信标准值，基于归一化后的推断结果正确率、巡检设备额外计算量和通信时间延迟作为求解函数求极大值，作为所述最佳通信标准值：
Figure 733261DEST_PATH_IMAGE058
；
其中，
Figure 267010DEST_PATH_IMAGE059
表示网络状态检查器的最佳通信标准值，
Figure 524816DEST_PATH_IMAGE060
表示在所述第四深度学 习模型上进行任务推断的推断结果正确率函数，
Figure 892344DEST_PATH_IMAGE061
表示所述巡检设备端的额外计 算量与当前网络状态和最佳通信标准值之间的关系，
Figure 868390DEST_PATH_IMAGE062
表示通信时间延迟与当前网 络状态和最佳通信标准值之间的关系，
Figure 64885DEST_PATH_IMAGE049
为采集的监控图像的总数量，
Figure 973935DEST_PATH_IMAGE063
是所述巡检设备 端的额外计算量的权重系数，
Figure 981206DEST_PATH_IMAGE064
是通信时间延迟的权重系数，
Figure 241286DEST_PATH_IMAGE066
表示所有监控图 像数据
Figure 320100DEST_PATH_IMAGE046
均使用所述第四深度学习模型进行推断任务的处理时间的总和，
Figure 700966DEST_PATH_IMAGE067
表示 所有监控图像数据
Figure 3772DEST_PATH_IMAGE046
均卸载到边缘设备端处理的通信时间；
Figure 626514DEST_PATH_IMAGE068
；
Figure 243440DEST_PATH_IMAGE069
；
其中，
Figure 127083DEST_PATH_IMAGE070
为系统最佳
Figure 991002DEST_PATH_IMAGE071
标准值，
Figure 163358DEST_PATH_IMAGE072
表示当前网络环境值，
Figure 380712DEST_PATH_IMAGE073
表示使 用所述第四深度学习模型对序列为
Figure 259807DEST_PATH_IMAGE074
的监控图像数据进行推断任务的准确率，
Figure 904415DEST_PATH_IMAGE075
表示所述巡检设备端第
Figure 564066DEST_PATH_IMAGE074
次在所述第一深度学习模型上进行推断任务的推断 结果，若
Figure 211210DEST_PATH_IMAGE076
则表示所述巡检设备端第
Figure 69445DEST_PATH_IMAGE074
次在所述第一深度学习模型上推断任务正 确，若
Figure 822637DEST_PATH_IMAGE077
则表示所述巡检设备端第
Figure 907268DEST_PATH_IMAGE074
次在所述第一深度学习模型上推断任务错误；
Figure 466425DEST_PATH_IMAGE078
表示所述巡检设备端第
Figure 382429DEST_PATH_IMAGE074
次在所述第四深度学习模型上进行推断任务的推断 结果，若
Figure 493473DEST_PATH_IMAGE079
则表示所述巡检设备端第
Figure 924454DEST_PATH_IMAGE074
次在所述第四深度学习模型上推断任务正 确，若
Figure 897089DEST_PATH_IMAGE080
则表示所述巡检设备端第
Figure 933179DEST_PATH_IMAGE074
次在所述第四深度学习模型上推断任务错误；
Figure 356070DEST_PATH_IMAGE081
表示所述边缘设备端第
Figure 631937DEST_PATH_IMAGE074
次在所述第三分支模型上进行推断任务的推断结果，若
Figure 736159DEST_PATH_IMAGE082
则表示所述边缘设备端第
Figure 423492DEST_PATH_IMAGE074
次在所述第三分支模型上推断任务正确，若
Figure 892651DEST_PATH_IMAGE083
则 表示所述边缘设备端第
Figure 235908DEST_PATH_IMAGE074
次在所述第三分支模型上推断任务错误；
Figure 674979DEST_PATH_IMAGE084
；
其中，其中，
Figure 607032DEST_PATH_IMAGE085
表示所述监控图像数据在所述第一深度学习模型 中输出的
Figure 106146DEST_PATH_IMAGE086
值与最佳
Figure 608803DEST_PATH_IMAGE086
标准值之间的关系，
Figure 54828DEST_PATH_IMAGE087
表示所述巡检设备所 处的当前网络环境值
Figure 716753DEST_PATH_IMAGE088
与最佳通信标准值
Figure 12868DEST_PATH_IMAGE089
之间的关系。
通信标准值选择目标如下：
（1）提高系统的推断结果正确率；
用
Figure 330717DEST_PATH_IMAGE090
表示序列为
Figure 642749DEST_PATH_IMAGE091
的图像推断任务的准确率，其形式如下式所示:
Figure 768968DEST_PATH_IMAGE092
由上可知，将系统的推断结果正确率
Figure 813148DEST_PATH_IMAGE054
定义如下
Figure 415030DEST_PATH_IMAGE093
；
（2）降低系统的通信时间延迟；
对于边端多模型协同推断任务而言，若当前网络中上行链路数据传输时间延迟明 显增加，巡检设备端会自适应的选择第四深度学习模型进行推断任务，此时该策略的优点 是显著减少数据传输时间和传输能耗，缺点是任务处理集中在巡检设备端，占用计算资源 （CPU资源、存储资源、耗电量）较多。系统的通信时间延迟计算显然存在于第一深度学习模 型输出
Figure 389808DEST_PATH_IMAGE094
值低于最佳
Figure 760747DEST_PATH_IMAGE094
标准值的情况，此时系统的通信时间延迟与当前网络状态和 通信标准值之间的关系
Figure 975828DEST_PATH_IMAGE095
如下式所示：
Figure 940373DEST_PATH_IMAGE096
。
Figure 328629DEST_PATH_IMAGE097
表示系统的当前输入数据在巡检设备端的第一深度学习模型 输出
Figure 183102DEST_PATH_IMAGE094
值与最佳
Figure 631401DEST_PATH_IMAGE094
标准值之间的关系，如果表达式值为真，函数值为1，第四深度学习 模型或第三分支模型有再次进行推断任务的可能性；若表达式值为假，函数值为0，第一深 度学习模型输出结果即最终结果。
Figure 145559DEST_PATH_IMAGE098
表示系统的当前巡检设备所处的网络环境值
Figure 947293DEST_PATH_IMAGE099
与通信标准值
Figure 558402DEST_PATH_IMAGE100
之间的关系，若表达式为真，函数值为1，当前任务传输至第三分支模型处理等到最终结 果；反之，若表达式为假，当前任务在巡检设备端的第四深度学习模型执行获得最终结果。
（3）减少巡检设备端的额外计算压力；
由（2）分析可知，巡检设备端承担的额外计算负担就是存在第一深度学习模型输 出
Figure 115286DEST_PATH_IMAGE094
值低于最佳
Figure 38111DEST_PATH_IMAGE094
标准值的情况和网络环境不佳状况时使用第四深度学习模型执行 推断任务所耗费的时间成本
Figure 33749DEST_PATH_IMAGE101
，此时系统中巡检设备端的额外计算压力与当前网络状 态和通信标准值之间的关系
Figure 109152DEST_PATH_IMAGE102
如下式所示：
Figure 836937DEST_PATH_IMAGE103
；
其中
Figure 122425DEST_PATH_IMAGE104
函数表达式与和
Figure 282273DEST_PATH_IMAGE105
函数相反，设计目的是为了更方便的区分系统总 体的通信时间延迟和巡检设备端的额外计算压力之间的互斥关系，即针对一次图像推断任 务，两者之间必有一个值为0。
由于系统的推断结果正确率
Figure 540079DEST_PATH_IMAGE106
函数、整体通信时间延迟
Figure 501082DEST_PATH_IMAGE107
函数、系统 巡检设备额外计算量
Figure 414811DEST_PATH_IMAGE108
函数的具有不同的计算尺度，所以三个函数需要分别进行 归一化处理之后才能进行联合计算。对于系统的推断结果正确率
Figure 221093DEST_PATH_IMAGE109
函数，只需要除以 系统处理图像的总数量
Figure 520356DEST_PATH_IMAGE049
即可完成；对于整体通信时间延迟
Figure 589944DEST_PATH_IMAGE107
函数，需要除以所有 图像数据
Figure 115603DEST_PATH_IMAGE049
均卸载到边缘设备处理的通信时间
Figure 600942DEST_PATH_IMAGE110
方可完成归一化；对于系统巡 检设备额外计算量
Figure 833340DEST_PATH_IMAGE108
函数，需要除以所有图像数据
Figure 401725DEST_PATH_IMAGE049
均使用第四深度学习模型再 次进行推断任务的处理时间总和
Figure 506691DEST_PATH_IMAGE111
方可完成归一化。
Figure 123617DEST_PATH_IMAGE112
Figure 272838DEST_PATH_IMAGE113
由于本方法中实现提升系统推断结果正确率和降低整体通信时间延迟、减少巡检 设备端的额外计算压力两个目标方向不一致，导致准确率
Figure 621911DEST_PATH_IMAGE106
函数对通信标准值的设定 也呈高标准需求，延迟
Figure 794267DEST_PATH_IMAGE107
函数和额外计算量
Figure 11621DEST_PATH_IMAGE108
函数通信标准值的设定也 呈高标准需求。因此将归一化后的准确率和计算量相加之后再减去通信延迟作为求解函数 求极大值求解系统最佳通信标准值：
Figure 218612DEST_PATH_IMAGE114
其中
Figure 987853DEST_PATH_IMAGE063
作为额外计算量的权重系数，
Figure 709822DEST_PATH_IMAGE115
作为通信时间延迟的权重系数，设计目的 是适应需求多变的系统推断任务处理需求，权衡提升推断结果正确率、降低整体通信时间 延迟、减少巡检设备端的额外计算压力三个目标之间的关系。
本发明实施例中采用无线网络方式传输数据，但是在无线网络传输环境中，巡检设备面临无法处理，即所述第一推断结果的最大置信度值没有达到最佳置信度标准值的情况，需要将将所述监控图像数据发送给所述边缘设备。若是直接将采集到的监控图像数据传输到边缘设备中，由边缘设备上部署的深度学习模型处理图像数据，系统会因为巡检设备的可移动性，其位置不断变化，网络信道的衰落导致出现移动监控设备（巡检设备）的高传输能耗，传输时间，数据的高暴露危险性等严重问题，从而造成巡检系统的监测实时性降低，监控中心无法对具体情况做出及时反应，增加大型设备的维修成本等问题。因此本发明实施例中采用在巡检设备中设计网络检查器，获取当前环境的网络状态信息，判断当前网络状态是否满足最佳通信标准值，若是，则将所述监控图像数据发送给所述边缘设备；否则将所述监控图像数据输入到第四深度学习模型中进行任务推断，得到第四推断结果，并将其发送给所述控制中心。第四深度学习模型的构建正是为了应对智能巡检集群在实际应用中存在的网络传输状况变换频繁的情况，其相较于第二深度学习模型和第三分支模型的网络层数更少，但推理时间和准确率优于第一深度学习模型，劣于第三分支模型。
在巡检设备端的网络检查器添加一个通信标准值，是衡量当前巡检设备第一深度学习模型无法处理的数据是否具备传输到边缘设备进行处理的资格的重要依据，兼顾了系统整体对响应速度、准确性和自适应应对网络环境多样化要求的重要手段。针对通信标准值设定，充分考虑到了应用环境因素。解决了因巡检设备的可移动性，网络信道的衰落导致出现移动监控设备（巡检设备）的高传输能耗，传输时间，数据的高暴露危险性等问题，提升了智能巡检集群的整体性能，提高巡检系统的监测实时性，降低维护成本。
实施例三
如图3所示，公开了一种基于深度学习模型的边缘智能协同推断系统，包括巡检设备、边缘设备和控制中心，所述巡检设备端部署有第一深度学习模型，所述边缘设备端部署有第三分支模型，其中，所述第三分支模型以第二深度学习模型为主干网络，在中间层构建若干退出点，得到所述第二深度学习模型的第三分支模型，所述第一深度学习模型和第二深度学习模型是基于所述巡检设备和边缘设备的参数信息以及所述巡检设备采集的监控图像数据的处理需求构建的，所述第一深度学习模型的网络层数以及每层的神经元个数少于所述第二深度学习模型，分别将所述第一深度学习模型和第三分支模型经过训练之后部署到所述巡检设备和边缘设备；
所述巡检设备端基于所述第一深度学习模型和处理需求对所述监控图像数据进行任务推断，得到第一推断结果，所述巡检设备还包括置信度值判定器，用于判断所述第一推断结果的最大置信度值是否达到最佳置信度标准值，若是，则所述巡检设备将所述第一推断结果发送给所述控制中心，否则将所述监控图像数据发送给所述边缘设备；
所述边缘设备端的第三分支模型根据接收的所述监控图像数据进行任务推断，得到第二推断结果，并将其发送给所述控制中心；
所述控制中心用于根据推断结果对系统内的设备进行相关的维护工作。
在一个优选地实施例中，所述边缘设备端的第三分支模型具体用于：从所述第三分支模型的输入层开始，依次通过每个所述退出点，当其中某一退出点的输出层输出的第三推断结果满足预设的退出条件时，则退出所述第三分支模型的输出结果，将所述第三推断结构作为所述第二推断结果。
在一个优选地实施例中，所述巡检设备还包括网络状态检查器，当所述置信度值判定器判断所述第一推断结果的最大置信度值没有达到最佳置信度标准值时，启动所述网络状态检查器，获取当前环境的网络状态信息，判断当前网络状态是否满足最佳通信标准值，若是，则所述巡检设备将所述监控图像数据发送给所述边缘设备；否则将所述监控图像数据输入到第四深度学习模型中进行任务推断，得到第四推断结果，并将其发送给所述控制中心；其中，所述第四深度学习模型的网络层数以及每层的神经元个数大于所述第一深度学习模型且小于所述第二深度学习模型，所述第四深度学习模型部署是基于所述参数信息和处理需求构建并经过训练之后部署到所述巡检设备的。
需要说明的是，本发明实施例一种基于深度学习模型的边缘智能协同推断系统是对应上述实施例一种基于深度学习模型的边缘智能协同推断方法，在所述一种基于深度学习模型的边缘智能协同推断系统中还包括若干单元，用于对应上述一种基于深度学习模型的边缘智能协同推断方法的相应步骤，实现相应的功能。由于上述实施例中已经对一种基于深度学习模型的边缘智能协同推断方法的步骤进行了详细的说明，故在此系统中不再赘述。
实施例四
公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现一种基于深度学习模型的边缘智能协同推断方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器（英文：Read-Only Memory ，简称：ROM）、随机存取器（英文：Random Access Memory，简称：RAM）、磁盘或光盘等。
以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于深度学习模型的边缘智能协同推断方法，其特征在于，包括：
获取巡检设备和边缘设备的参数信息，以及所述巡检设备采集的监控图像数据的处理需求；
基于所述参数信息和处理需求分别构建第一深度学习模型和第二深度学习模型，其中，所述第一深度学习模型的网络层数以及每层的神经元个数少于所述第二深度学习模型，以所述第二深度学习模型为主干网络，在中间层构建若干退出点，得到所述第二深度学习模型的第三分支模型，并分别将所述第一深度学习模型和第三分支模型经过训练之后部署到所述巡检设备和边缘设备；
基于所述第一深度学习模型和处理需求对所述监控图像数据进行任务推断，得到第一推断结果，判断所述第一推断结果的最大置信度值是否达到最佳置信度标准值，若是，将所述第一推断结果发送给控制中心，否则将所述监控图像数据发送给所述边缘设备，由所述第三分支模型进行任务推断，得到第二推断结果，将其发送给所述控制中心。
2.如权利要求1所述的一种基于深度学习模型的边缘智能协同推断方法，其特征在于，所述由所述第三分支模型进行任务推断，具体包括：
从所述第三分支模型的输入层开始，依次通过每个所述退出点，当其中某一退出点的输出层输出的第三推断结果满足预设的退出条件时，则退出所述第三分支模型的输出结果，将所述第三推断结果作为所述第二推断结果。
3.如权利要求2所述的一种基于深度学习模型的边缘智能协同推断方法，其特征在于，所述第三分支模型的每个分支网络退出点的损失函数都采用交叉熵损失函数计算，每个交叉熵损失函数分别乘以权重参数再相加进行联合优化作为所述第三分支模型的整个分支网络的优化目标：
Figure 857693DEST_PATH_IMAGE001
；
其中，
Figure 509254DEST_PATH_IMAGE002
表示退出点
Figure 695516DEST_PATH_IMAGE003
的加权系数,
Figure 887463DEST_PATH_IMAGE003
为所有退出点的总数量，
Figure 436256DEST_PATH_IMAGE004
表示单次推断任 务所产生的参数量，
Figure 430624DEST_PATH_IMAGE005
表示输入样本
Figure 494395DEST_PATH_IMAGE006
的标签，
Figure 427716DEST_PATH_IMAGE007
表示所述第三分支模型推断结果：
Figure 768698DEST_PATH_IMAGE008
，其中
Figure 293221DEST_PATH_IMAGE009
表示一个数据集中的不同的标签总数，
Figure 781971DEST_PATH_IMAGE010
表示 所述第三分支模型推断结果的归一化函数，
Figure 440354DEST_PATH_IMAGE011
表示所述第三分支模型输出结果：
Figure 494898DEST_PATH_IMAGE012
，
Figure 659163DEST_PATH_IMAGE013
表示退出点
Figure 572892DEST_PATH_IMAGE003
的推断结果；
Figure 379174DEST_PATH_IMAGE014
表示所述第三分支模型的损 失函数：
Figure 757066DEST_PATH_IMAGE015
，其中
Figure 515069DEST_PATH_IMAGE016
表示某一退出点的 样本输出信息熵：
Figure 978411DEST_PATH_IMAGE017
，
Figure 853963DEST_PATH_IMAGE016
的值与是否需要提前退出所述第三分 支模型的输出结果呈正相关关系。
4.如权利要求3的一种基于深度学习模型的边缘智能协同推断方法，其特征在于，通过下式确定所述最佳置信度标准值，将推断结果正确率和通信时间延迟归一化后相减求极大值，作为所述最佳置信度标准值：
Figure 758465DEST_PATH_IMAGE018
；
其中，
Figure 264533DEST_PATH_IMAGE019
为在所述第一深度学习模型上进行任务推断的推断结果正确率函数：
Figure 746330DEST_PATH_IMAGE020
，
Figure 550207DEST_PATH_IMAGE021
为采集的监控图像的总数量；
其中，
Figure 637111DEST_PATH_IMAGE022
为表示序列为
Figure 376397DEST_PATH_IMAGE023
的监控图像推断任务的准确率：
Figure 548753DEST_PATH_IMAGE024
，
Figure 641474DEST_PATH_IMAGE025
为所述第一推断结果的最大置信度值，
Figure 848464DEST_PATH_IMAGE026
为所述最佳 置信度标准值，
Figure 493072DEST_PATH_IMAGE027
表示所述巡检设备端第
Figure 838209DEST_PATH_IMAGE028
次推断任务正确与否，若
Figure 593676DEST_PATH_IMAGE029
则表示所述巡检设备端第
Figure 389593DEST_PATH_IMAGE028
次推断任务正确，若
Figure 346048DEST_PATH_IMAGE030
则表示所述巡检设 备端第
Figure 492996DEST_PATH_IMAGE028
次推断任务错误；
Figure 317732DEST_PATH_IMAGE031
表示所述边缘设备端第
Figure 233736DEST_PATH_IMAGE028
次推断任务正确与否，若
Figure 79201DEST_PATH_IMAGE032
则表示所述边缘设备端第
Figure 775761DEST_PATH_IMAGE028
次推断任务正确，若
Figure 76293DEST_PATH_IMAGE033
则表示所述边缘设 备端第
Figure 50065DEST_PATH_IMAGE028
次推断任务错误；
Figure 941797DEST_PATH_IMAGE034
为通信时间延迟函数：
Figure 63337DEST_PATH_IMAGE035
；
其中，函数
Figure 855975DEST_PATH_IMAGE036
为所述巡检设备和边缘设备之间是否需要数据传输的依据，所 述巡检设备端的推断
Figure 480991DEST_PATH_IMAGE037
值大于等于
Figure 74784DEST_PATH_IMAGE038
时，
Figure 418040DEST_PATH_IMAGE039
值置为0；所述巡检设备端的推断
Figure 998057DEST_PATH_IMAGE037
值小于
Figure 805476DEST_PATH_IMAGE038
时，
Figure 507853DEST_PATH_IMAGE039
值置为1；
Figure 525357DEST_PATH_IMAGE040
表示第
Figure 971381DEST_PATH_IMAGE028
次所述巡检设备端向边缘设备端进行数据传 输的时间；
Figure 367728DEST_PATH_IMAGE041
为通信延迟的权重系数，
Figure 178689DEST_PATH_IMAGE042
为所有图像数据
Figure 496538DEST_PATH_IMAGE043
均卸载到所述边缘设备端处理的通 信时间：
Figure 542991DEST_PATH_IMAGE044
。
5.如权利要求4所述的一种基于深度学习模型的边缘智能协同推断方法，其特征在于，所述否则将所述监控图像数据发送给所述边缘设备，之前还包括：
获取当前环境的网络状态信息，判断当前网络状态是否满足最佳通信标准值，若是，则将所述监控图像数据发送给所述边缘设备；否则将所述监控图像数据输入到第四深度学习模型中进行任务推断，得到第四推断结果，并将其发送给所述控制中心；其中，所述第四深度学习模型的网络层数以及每层的神经元个数大于所述第一深度学习模型且小于所述第二深度学习模型，所述第四深度学习模型部署是基于所述参数信息和处理需求构建并经过训练之后部署到所述巡检设备的。
6.如权利要求5所述的一种基于深度学习模型的边缘智能协同推断方法，其特征在于，通过下式确定所述最佳通信标准值，基于归一化后的推断结果正确率、巡检设备额外计算量和通信时间延迟作为求解函数求极大值，作为所述最佳通信标准值：
Figure 262685DEST_PATH_IMAGE045
；
其中，
Figure 732631DEST_PATH_IMAGE046
表示网络状态检查器的最佳通信标准值，
Figure 600093DEST_PATH_IMAGE047
表示在所述第四深度学习模 型上进行任务推断的推断结果正确率函数，
Figure 387920DEST_PATH_IMAGE048
表示所述巡检设备端的额外计算量 与当前网络状态和最佳通信标准值之间的关系，
Figure 899804DEST_PATH_IMAGE049
表示通信时间延迟与当前网络状 态和最佳通信标准值之间的关系，
Figure 114885DEST_PATH_IMAGE043
为采集的监控图像的总数量，
Figure 938484DEST_PATH_IMAGE050
是所述巡检设备端的 额外计算量的权重系数，
Figure 716953DEST_PATH_IMAGE051
是通信时间延迟的权重系数，
Figure 145661DEST_PATH_IMAGE053
表示所有监控图像数 据
Figure 593959DEST_PATH_IMAGE043
均使用所述第四深度学习模型进行推断任务的处理时间的总和，
Figure 373697DEST_PATH_IMAGE054
表示所有 监控图像数据
Figure 175431DEST_PATH_IMAGE043
均卸载到边缘设备端处理的通信时间；
Figure 520961DEST_PATH_IMAGE055
；
Figure 343424DEST_PATH_IMAGE056
；
其中，
Figure 33293DEST_PATH_IMAGE057
为系统最佳
Figure 966614DEST_PATH_IMAGE058
标准值，
Figure 901072DEST_PATH_IMAGE059
表示当前网络环境值，
Figure 832119DEST_PATH_IMAGE060
表示使用所 述第四深度学习模型对序列为
Figure 320869DEST_PATH_IMAGE061
的监控图像数据进行推断任务的准确率，
Figure 854619DEST_PATH_IMAGE062
表 示所述巡检设备端第
Figure 33796DEST_PATH_IMAGE061
次在所述第一深度学习模型上进行推断任务的推断结果，若
Figure 198061DEST_PATH_IMAGE063
则表示所述巡检设备端第
Figure 970845DEST_PATH_IMAGE061
次在所述第一深度学习模型上推断任务正确，若
Figure 245969DEST_PATH_IMAGE064
则表示所述巡检设备端第
Figure 561544DEST_PATH_IMAGE061
次在所述第一深度学习模型上推断任务错误；
Figure 427868DEST_PATH_IMAGE065
表示所述巡检设备端第
Figure 891211DEST_PATH_IMAGE061
次在所述第四深度学习模型上进行推断任务的推断 结果，若
Figure 389932DEST_PATH_IMAGE066
则表示所述巡检设备端第
Figure 622330DEST_PATH_IMAGE061
次在所述第四深度学习模型上推断任务正 确，若
Figure 925135DEST_PATH_IMAGE067
则表示所述巡检设备端第
Figure 547878DEST_PATH_IMAGE061
次在所述第四深度学习模型上推断任务错误；
Figure 164804DEST_PATH_IMAGE068
表示所述边缘设备端第
Figure 314026DEST_PATH_IMAGE061
次在所述第三分支模型上进行推断任务的推断结果，若
Figure 990995DEST_PATH_IMAGE069
则表示所述边缘设备端第
Figure 350301DEST_PATH_IMAGE061
次在所述第三分支模型上推断任务正确，若
Figure 302076DEST_PATH_IMAGE070
则 表示所述边缘设备端第
Figure 509067DEST_PATH_IMAGE061
次在所述第三分支模型上推断任务错误；
Figure 29041DEST_PATH_IMAGE071
；
其中，
Figure 688692DEST_PATH_IMAGE072
表示所述监控图像数据在所述第一深度学习模型中输出的
Figure 444159DEST_PATH_IMAGE073
值与最佳
Figure 194071DEST_PATH_IMAGE073
标准值之间的关系，
Figure 212843DEST_PATH_IMAGE074
表示所述巡检设备所处的当前 网络环境值
Figure 422107DEST_PATH_IMAGE075
与最佳通信标准值
Figure 918947DEST_PATH_IMAGE076
之间的关系；
Figure 772634DEST_PATH_IMAGE077
；
其中，
Figure 759045DEST_PATH_IMAGE078
表示使用第四深度学习模型执行推断任务所耗费的时间成本；
Figure 393288DEST_PATH_IMAGE079
Figure 880770DEST_PATH_IMAGE080
。
7.一种基于深度学习模型的边缘智能协同推断系统，包括巡检设备、边缘设备和控制中心，其特征在于，所述巡检设备端部署有第一深度学习模型，所述边缘设备端部署有第三分支模型，其中，所述第三分支模型以第二深度学习模型为主干网络，在中间层构建若干退出点，得到所述第二深度学习模型的第三分支模型，所述第一深度学习模型和第二深度学习模型是基于所述巡检设备和边缘设备的参数信息以及所述巡检设备采集的监控图像数据的处理需求构建的，所述第一深度学习模型的网络层数以及每层的神经元个数少于所述第二深度学习模型，分别将所述第一深度学习模型和第三分支模型经过训练之后部署到所述巡检设备和边缘设备；
所述巡检设备端基于所述第一深度学习模型和处理需求对所述监控图像数据进行任务推断，得到第一推断结果，所述巡检设备还包括置信度值判定器，用于判断所述第一推断结果的最大置信度值是否达到最佳置信度标准值，若是，则所述巡检设备将所述第一推断结果发送给所述控制中心，否则将所述监控图像数据发送给所述边缘设备；
所述边缘设备端的第三分支模型根据接收的所述监控图像数据进行任务推断，得到第二推断结果，并将其发送给所述控制中心；
所述控制中心用于根据推断结果对系统内的设备进行相关的维护工作。
8.如权利要求7所述的一种基于深度学习模型的边缘智能协同推断系统，其特征在于，所述边缘设备端的第三分支模型具体用于：从所述第三分支模型的输入层开始，依次通过每个所述退出点，当其中某一退出点的输出层输出的第三推断结果满足预设的退出条件时，则退出所述第三分支模型的输出结果，将所述第三推断结果作为所述第二推断结果。
9.如权利要求7或8所述的一种基于深度学习模型的边缘智能协同推断系统，其特征在于，所述巡检设备还包括网络状态检查器，当所述置信度值判定器判断所述第一推断结果的最大置信度值没有达到最佳置信度标准值时，启动所述网络状态检查器，获取当前环境的网络状态信息，判断当前网络状态是否满足最佳通信标准值，若是，则所述巡检设备将所述监控图像数据发送给所述边缘设备；否则将所述监控图像数据输入到第四深度学习模型中进行任务推断，得到第四推断结果，并将其发送给所述控制中心；其中，所述第四深度学习模型的网络层数以及每层的神经元个数大于所述第一深度学习模型且小于所述第二深度学习模型，所述第四深度学习模型部署是基于所述参数信息和处理需求构建并经过训练之后部署到所述巡检设备的。
CN202211488786.7A 2022-11-25 2022-11-25 一种基于深度学习模型的边缘智能协同推断方法及系统 Active CN115545198B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211488786.7A CN115545198B (zh) 2022-11-25 2022-11-25 一种基于深度学习模型的边缘智能协同推断方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211488786.7A CN115545198B (zh) 2022-11-25 2022-11-25 一种基于深度学习模型的边缘智能协同推断方法及系统

Publications (2)

Publication Number Publication Date
CN115545198A CN115545198A (zh) 2022-12-30
CN115545198B true CN115545198B (zh) 2023-05-26

Family

ID=84722477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211488786.7A Active CN115545198B (zh) 2022-11-25 2022-11-25 一种基于深度学习模型的边缘智能协同推断方法及系统

Country Status (1)

Country Link
CN (1) CN115545198B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117579625B (zh) * 2024-01-17 2024-04-09 中国矿业大学 一种用于双重预防机制的巡检任务预分发方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543829A (zh) * 2018-10-15 2019-03-29 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 在终端和云端上混合部署深度学习神经网络的方法和系统
CN110738309A (zh) * 2019-09-27 2020-01-31 华中科技大学 Ddnn的训练方法和基于ddnn的多视角目标识别方法和系统
CN111445026A (zh) * 2020-03-16 2020-07-24 东南大学 面向边缘智能应用的深度神经网络多路径推理加速方法
CN112069903A (zh) * 2020-08-07 2020-12-11 之江实验室 基于深度强化学习实现人脸识别端边卸载计算方法及装置
CN113067873A (zh) * 2021-03-19 2021-07-02 北京邮电大学 基于深度强化学习的边云协同优化方法
CN113534832A (zh) * 2021-08-03 2021-10-22 国网江苏省电力有限公司泰州供电分公司 一种基于边缘计算的无人机巡检跟踪配网线飞行方法
CN114494933A (zh) * 2021-12-07 2022-05-13 南昌湖光能电科技有限公司 基于边缘智能的水文监测站图像识别监测系统
CN114662661A (zh) * 2022-03-22 2022-06-24 东南大学 边缘计算下异构处理器加速多出口dnn推理的方法
CN114972863A (zh) * 2022-05-25 2022-08-30 苏州集联科物联科技有限公司 一种基于边缘智能终端的大型机械检测装置及其检测方法
CN115082813A (zh) * 2022-06-27 2022-09-20 北京智芯半导体科技有限公司 检测方法、无人机、检测系统及介质
CN115272981A (zh) * 2022-09-26 2022-11-01 山东大学 云边共学习输电巡检方法与系统
WO2022227105A1 (zh) * 2021-04-30 2022-11-03 广州中国科学院软件应用技术研究所 一种基于端云融合的协同控制系统及方法
WO2022240906A1 (en) * 2021-05-11 2022-11-17 Strong Force Vcn Portfolio 2019, Llc Systems, methods, kits, and apparatuses for edge-distributed storage and querying in value chain networks

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543829A (zh) * 2018-10-15 2019-03-29 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 在终端和云端上混合部署深度学习神经网络的方法和系统
CN110738309A (zh) * 2019-09-27 2020-01-31 华中科技大学 Ddnn的训练方法和基于ddnn的多视角目标识别方法和系统
CN111445026A (zh) * 2020-03-16 2020-07-24 东南大学 面向边缘智能应用的深度神经网络多路径推理加速方法
CN112069903A (zh) * 2020-08-07 2020-12-11 之江实验室 基于深度强化学习实现人脸识别端边卸载计算方法及装置
CN113067873A (zh) * 2021-03-19 2021-07-02 北京邮电大学 基于深度强化学习的边云协同优化方法
WO2022227105A1 (zh) * 2021-04-30 2022-11-03 广州中国科学院软件应用技术研究所 一种基于端云融合的协同控制系统及方法
WO2022240906A1 (en) * 2021-05-11 2022-11-17 Strong Force Vcn Portfolio 2019, Llc Systems, methods, kits, and apparatuses for edge-distributed storage and querying in value chain networks
CN113534832A (zh) * 2021-08-03 2021-10-22 国网江苏省电力有限公司泰州供电分公司 一种基于边缘计算的无人机巡检跟踪配网线飞行方法
CN114494933A (zh) * 2021-12-07 2022-05-13 南昌湖光能电科技有限公司 基于边缘智能的水文监测站图像识别监测系统
CN114662661A (zh) * 2022-03-22 2022-06-24 东南大学 边缘计算下异构处理器加速多出口dnn推理的方法
CN114972863A (zh) * 2022-05-25 2022-08-30 苏州集联科物联科技有限公司 一种基于边缘智能终端的大型机械检测装置及其检测方法
CN115082813A (zh) * 2022-06-27 2022-09-20 北京智芯半导体科技有限公司 检测方法、无人机、检测系统及介质
CN115272981A (zh) * 2022-09-26 2022-11-01 山东大学 云边共学习输电巡检方法与系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于边云智能协同的配电网信息物理系统;陈思等;《北京信息科技大学学报(自然科学版)》;20200215(第01期);全文 *
遥感边缘智能技术研究进展及挑战;孙显等;《中国图象图形学报》;20200916(第09期);全文 *

Also Published As

Publication number Publication date
CN115545198A (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
CN112181666A (zh) 一种基于边缘智能的设备评估和联邦学习重要性聚合方法、系统、设备和可读存储介质
Dao et al. Identification failure data for cluster heads aggregation in WSN based on improving classification of SVM
CN115099133B (zh) 一种基于tlmpa-bp的集群系统可靠性评估方法
CN115545198B (zh) 一种基于深度学习模型的边缘智能协同推断方法及系统
CN112966714A (zh) 一种边缘时序数据异常检测和网络可编程控制方法
CN112560981A (zh) 生成对抗模型的训练方法、装置、设备、程序和存储介质
CN117896384B (zh) 物联网通信方法、装置、设备及存储介质
CN113343123B (zh) 一种生成对抗多关系图网络的训练方法和检测方法
CN114925720A (zh) 基于时空混合特征提取网络的小样本调制信号识别方法
CN113033898A (zh) 基于k均值聚类与bi-lstm神经网络的电负荷预测方法及系统
CN114912549B (zh) 风险交易识别模型的训练方法、风险交易识别方法和装置
CN110728292A (zh) 一种多任务联合优化下的自适应特征选择算法
CN117034222A (zh) 用户账号处理方法、装置、电子设备、介质和程序产品
Liu et al. An improved YOLOv3 algorithm and intruder detection on transmission line
CN112968740B (zh) 一种基于机器学习的卫星频谱感知方法
CN118657784B (zh) 一种基于无人机采集光伏组件图像的脱焊检测方法
CN118473910B (zh) 基于边云协同的电力物联网故障检测方法及系统
CN117419427B (zh) 一种基于智慧车间的恒温恒湿风柜控制方法及系统
CN118364867B (zh) 基于服务器的数据处理方法、系统、装置、介质及产品
CN118200046B (zh) 一种电力物联网设备流量安全检测方法、装置及设备
CN116366359B (zh) 一种工业控制网络的智能协同自进化防御方法及系统
CN118643871A (zh) 光通信装置的神经网络自适应调制方法及系统
Shen et al. Improved Elman Neural Network Mechanical System Failure Prediction for Data Integration
CN118674052A (zh) 一种基于微小卫星群的分布式自主协同感知与博弈决策控制系统
CN116957083A (zh) 一种基于变加权云贝叶斯网络的空中目标威胁评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant