CN111245950A - 基于深度学习的工业物联网边缘资源智能调度系统及方法 - Google Patents

基于深度学习的工业物联网边缘资源智能调度系统及方法 Download PDF

Info

Publication number
CN111245950A
CN111245950A CN202010065168.6A CN202010065168A CN111245950A CN 111245950 A CN111245950 A CN 111245950A CN 202010065168 A CN202010065168 A CN 202010065168A CN 111245950 A CN111245950 A CN 111245950A
Authority
CN
China
Prior art keywords
data
task
deep learning
edge
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010065168.6A
Other languages
English (en)
Other versions
CN111245950B (zh
Inventor
亓晋
孟祥宇
李卓
郑嘉璇
孙雁飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202010065168.6A priority Critical patent/CN111245950B/zh
Publication of CN111245950A publication Critical patent/CN111245950A/zh
Application granted granted Critical
Publication of CN111245950B publication Critical patent/CN111245950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/502—Proximity

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明提出了一种基于深度学习的工业物联网边缘资源智能调度系统，包括数据采集模块，对工业过程的中间环节进行监测，将数据处理任务调度至处理能力富余的边缘服务器上；任务调度模块，根据AoT将任务调度到合适的边缘服务器上，送入深度学习网络层进行初步数据处理；边缘数据处理模块，对监测数据进行处理分析，将输出的中间数据上传至云服务器；云端深度学习网络训练模块，接收并利用预处理数据进行训练以确定DBN最优网络结构，并对权重进行调整获得最终模型。本发明能提高深度学习模型获取数据的精准性和及时性，利用有限的网络带宽和边缘节点的服务能力最大化深度学习任务的数量。

Description

基于深度学习的工业物联网边缘资源智能调度系统及方法
技术领域
本发明涉及一种基于深度学习的工业物联网边缘资源智能调度 系统及方法。
背景技术
随着“工业4.0”概念的提出，物联网等战略性新兴产业的发展 已经越来越为世界各国高度关注。目前，物联网与工业融合创新已 是大势所趋，工业大数据技术及应用已经成为提升制造业生产力、 竞争力、创新能力的关键要素。工业物联网被广泛应用于诸如医疗 保健、制造业、智能电网的管理，对实施智能制造战略具有十分重 要的推动作用。
深度学习正在成为物联网应用和系统的新兴技术。多层级的深 度置信网络(DBN)在大规模数据处理上有很好性能。而工业物联网 (Industrial Intemet of Things，IIoT)应用场景下处理的数据都是海量 的。因此深度置信网络(DBN)被看作在工业物联网中从嘈杂和复 杂的环境中可靠地挖掘真实世界的物联网数据的最佳解决方法。
在工业物联网的环境下，深度学习的计算任务大多是十分密集 的。物联网设备会生成大量数据并将数据传输到云以进行进一步处 理，这些数据包括多媒体信息，例如视频，图像和声音，或结构化 数据，例如温度，振动和光通量信息。
然而，以云计算模型为核心的集中式大数据处理，已难以高效 处理工业物联网设备所产生的数据，主要表现在负载、时延、安全、 能耗等方面。因此，提出边缘计算来将计算从集中式云服务器转移 到用户端附近的边缘节点。边缘节点可以在将大量数据传输到云中 的中央服务器之前对其进行预处理，以此优化云资源负载。
深度置信网络(DBN)分为许多层，通过每个网络层快速缩小 中间数据的大小，直到找到足够的特征。因此，深度置信网络的学 习模型与边缘计算的两层结构十分适合。
除了计算密集型特性之外，工业物联网深度学习的另一个关键 需求是及时的态势感知。应用依靠计算结果来感知周围环境，以便 及时做出正确的决策。陈旧的信息具有干扰甚至是对系统有害的。 然而传统的边缘任务调度策略是面向延迟的，每个计算任务都会独 立处理，并且其值不会随时间变化。因此，传统的面向延迟的边缘 调度策略不能满足保证计算结果实时性的需求。
发明内容
本发明所要解决的技术问题是，克服现有技术存在的工业物联 网大数据处理能力不足，提供一种基于深度学习的工业物联网边缘 资源智能调度系统及方法。
本发明提供一种基于深度学习的工业物联网边缘资源智能调度 系统，包括数据采集模块、任务调度模块、边缘数据处理模块和云 端深度学习网络培训模块；所述数据采集模块，用于对工业过程的 中间环节进行监测，在获得数据后第一时间通过任务调度模块将数 据处理任务调度至处理能力富余的边缘服务器上；
所述任务调度模块，用于根据数据采集模块采集数据任务的任务 年龄(AoT)，将任务调度到合适的边缘服务器上，作为输入送入部 署在边缘层的深度学习网络层以进行初步的数据处理；
所述边缘数据处理模块，用于对监测数据进行处理分析，利用输 入样例训练第一层受限玻尔兹曼机(RBM)单元，并将输出的中间数 据上传至云服务器；
所述云端深度学习网络训练模块，用于接收来自边缘层的预处 理数据，利用预处理数据进行训练以确定深度置信网络(DBN)最优 网络结构，并对权重进行调整获得最终模型。
本发明针对从复杂环境中可靠挖掘真实世界的物联网数据的困 难情况，将深度学习引入工业物联网边缘计算环境，以研究海量复 杂的IIoT数据，提高学习性能并减少网络流量。对此，本发明制定 了一个与不同深度学习模型兼容的弹性模型。并且，由于不同深度 学习模型的任务需求、中间数据大小以及预处理开销不同，本发明 采用了一种基于任务年龄的任务调度和计算卸载算法，在调度中保 证每个物联网深度学习服务的服务质量(QoS)，以增加时间维度的 考量，提高深度学习模型获取数据的精准性和及时性，并利用有限 的网络带宽和边缘节点的服务能力来最大化深度学习任务的数量。
本发明还提供了一种基于深度学习的工业物联网边缘资源智能 调度方法，包括以下步骤：
步骤1、由数据采集模块中各工业设备上的无线传感器将应变、 载荷、扭距、位移、加速度、压力、温度等监测数据实时向任务调 度模块上传；转至步骤2；
步骤2、任务调度模块将数据采集模块采集的监测数据的处理任 务部署到合适的边缘服务器；转至步骤3；
步骤3、边缘服务器对接收的监测数据进行处理分析，并进行预 测建模，输出具有特殊语义的中间数据，将中间数据输入至云服务 器；
步骤4、云端深度学习网络培训模块接收边缘服务器上传的中间 数据，利用中间数据进行模型训练以确定DBN最优网络结构，并对 权重进行调整获得最终模型。
本发明进一步优化的技术方案如下：
所述步骤2中，任务调度模块进行任务调度的具体方法如下：
步骤201、根据下式计算完成各任务引起的总AoT的变化量δn，
Figure BDA0002375756490000041
式中，
Figure BDA0002375756490000042
表示完成此任务后年龄的减少量，
Figure BDA0002375756490000043
表示由等待此任 务引起的年龄增加量；转至步骤202；
步骤202、根据完成任务后总AoT的变化量δn排序，调度首位 任务进行计算卸载；转至步骤203；
步骤203、为计算卸载找到每时隙处理的最优数据大小，使能量 约束下的处理时间最小化；转至步骤204；
步骤204、确定每个时隙内应分别在本地处理和卸载到边缘服务 器处理多少位数据。
所述步骤201中，对于除最后一个任务外的一组任务，
Figure BDA0002375756490000044
等于 Δnk，根据下式计算Δnk，
Δnk＝τn，k+1-τn，k，k∈K′n (2)
式中，τn，k、τn，k+1分别表示程序n中第k和k+1个任务的完成时 隙，K′n表示程序n中除最后一个任务外的任务集；
对于最后一个任务来说，
Figure BDA0002375756490000045
等于
Figure BDA0002375756490000046
因为完成 这个任务后AoT重置为零，其中，
Figure BDA0002375756490000047
表示应用程序n在 时隙
Figure BDA0002375756490000048
中的AoT；
根据下式计算等待任务引起的年龄增加量
Figure BDA0002375756490000049
Figure BDA0002375756490000051
式中，snk表示在应用程序n中处理任务k所需的时隙数量，N＇表 示具有未处理任务的应用程序的数量。
所述步骤203的具体方法如下：
用Enk表示分配给应用程序n中任务k的能量，并为每个任务分 配一个初始能量，它与任务长度的立方成正比，于是可以得到，
Figure BDA0002375756490000052
式中，Lnk表示应用程序n中任务k的长度，N表示程序集合， Kn表示程序n的任务集合，Emax表示设备处理所有任务所消耗的能 量上限；
设
Figure BDA0002375756490000053
为应用程序n中的任务k开始处理的时间，那么卸载问题 的计算公式如下所示，
Figure BDA0002375756490000054
Eloc(t)＝EcvcωDloc(t)＝γf2(t)ωDloc(t)＝α(Dloc(t))3 (5)
其中，α＝γω3/τ3，
Figure BDA0002375756490000055
其中，λ＝λ0/τm-1，
Figure BDA0002375756490000056
Figure BDA0002375756490000057
上式中，Dloc(t)表示本地执行的最优数据分配，Doff(t)表示边缘 服务器执行的最优数据分配，Eloc(t)表示本地计算的能耗，Ecyc表示 每个CPU周期的能耗，f2(t)表示设备在时隙t时的CPU频率，Eoff(t)表 示计算卸载的能耗，Poff(t)表示设备发送信号频率，h(t)表示本地设 备与MEC服务器在t时隙的信道增益，
Figure BDA0002375756490000061
表示应用程序n中处理任 务k所需要时隙数，ω、γ、τ、λ0、m分别表示在移动设备上计算一 位数据所需的CPU周期数、与芯片有关的常数、一个时隙长度、结 合带宽和噪声功率影响的能量系数、调制编码方案确定的单项阶数。
所述步骤204的具体方法如下：
假设时隙t内可以处理的数据量是固定的，用D(t)表示在时隙 t中处理的数据大小，于是单个时隙的能耗E(t)为，
Figure BDA0002375756490000062
根据下式计算本地执行和边缘服务器执行的最优数据分配即 Dloc(t)和Doff(t)，
Figure BDA0002375756490000063
Figure BDA0002375756490000064
式中，Dloc(t)和Doff(t)分别表示本地CPU和MEC服务器处理的数 据大小。
为了得到D(t)的值，本发明应用可行性测试来寻找在能量约束 下处理任务所需的最小时间间隔。首先将任务完成时间固定为一个 时隙，令D(t)＝Lnk，根据式(9)计算所需能量。如果获得的能量E′nk小 于能量限制(Enk)，那么D(t)的值是可行的。否则，将任务完成时 间增加一个时隙，并交互计算每个时隙中处理的数据大小，直到最 终的能耗满足能耗约束。即求出处理任务的最小时间间隔，且D(t)为 时间最小化下每时隙处理最优数据大小。
所述步骤3中，在任务调度模块将任务部署到合适的边缘服务 器后，在边缘服务器上，对监测数据进行处理分析后进行预测建模 和权值初始化。
所述权值初始化的具体方法如下：
步骤301、随机初始化{W，a，b}，其中W为权重，a是可见层的 偏置向量，b为隐藏层的偏置向量，随机初始化为较小的数值(可为 0)；转至步骤302；
步骤302、将X赋给显层v(0)，并根据下式计算X使隐层神经元 被开启的概率，
Figure BDA0002375756490000071
式中，
Figure BDA0002375756490000072
表示X使隐层神经元被开启的概率，h为 隐元，v为显元，σ表示偏置常数，式中的上标用于区别不同的向量， 下标用于区别同一向量中的不同维；转至步骤303；
步骤303、根据步骤302计算的概率分布
Figure BDA0002375756490000073
(Wj·v(0)+bj)是每一维的概率，p(h(0)|v(0))是概率分布)进行一步 Gibbs抽样，对隐藏层中的每个单元从{0，1}中抽取得到相应的值， 即h(0)～p(h(0)|v(0))；转至步骤304；
步骤304、用h(0)重构显层后，根据下式再次计算隐层神经元被 开启的概率，
Figure BDA0002375756490000074
转至步骤305；
步骤305、更新得到新的权重和偏置。
所述步骤4中，在经过边缘服务器的深度学习算法与处理后， 输出的具有特殊语义的中间数据将再次作为输入上传至云服务器， 由云端深度学习网络培训模块接收，重复步骤3的过程利用中间数 据迭代计算下一代RBM单元的W、a、b值，以及最后一个BP单元的 W和b值，最后利用训练数据集确定DBN最优网络结构，并对权重进 行调整，利用训练数据在此模型上进行训练，不断微调直至最终模 型。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
(1)将深度学习引入工业物联网的边缘计算环境，以从嘈杂和 复杂的环境中可靠地挖掘真实世界的工业物联网数据，并通过深度 学习模型来对海量的数据进行智能处理，提高工业物联网系统性能。
(2)优化网络性能并保护用户上传数据的隐私。边缘计算结构 减少了从物联网设备到云服务器的网络流量，因为边缘节点上传的 是精简的深度学习中间数据而不是输入数据；并且由于中间数据是 深度学习的独特语义，因此能够很好地保护边缘数据上传至云端过 程中的数据安全。
(3)引入一种新颖的新能指标AoT来评估任务的时间价值，使 得系统更能满足工业物联网环境下深度学习模型对任务及时性的要 求，并最大化边缘计算环境中的任务数量，来解决边缘节点的有限 服务能力问题。结合任务调度、计算卸载和能量消耗，以一个整数 非线性程序(INLP)解决任务年龄最小化问题，全面有效的对工业物 联网深度学习的任务进行调度。
附图说明
图1为本发明的系统原理图。
图2为本发明的方法流程图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：本实 施例在以本发明技术方案为前提下进行实施，给出了详细的实施方 式和具体的操作过程，但本发明的保护权限不限于下述的实施例。
本实施例提出了一种基于深度学习的工业物联网边缘资源智能 调度系统，包括数据采集模块、任务调度模块、边缘数据处理模块 和云端深度学习网络培训模块。各个模块的具体功能如下：
数据采集模块，以工业过程中各类设备的无线传感器等节点作为 物联网的数据感知设备，对工业过程的中间环节进行监测，在获得 数据后第一时间通过任务调度模块将数据处理任务调度至处理能力 富余的边缘服务器上。
任务调度模块，根据数据采集模块采集数据任务的AoT，通过基 于深度学习任务年龄的任务调度算法将任务调度到合适的边缘服务 器上，作为输入送入部署在边缘层的深度学习网络层以进行初步的 数据处理。
边缘数据处理模块，在边缘服务器上，运行无监督学习的机器学 习DBN深度学习算法对监测数据进行处理分析，利用输入样例训练 第一层RBM单元，并将输出的中间数据上传至云服务器。
云端深度学习网络训练模块，接收来自边缘层的预处理数据， 通过第一层的输出来训练第二层RBM模型，将RBM模型进行堆栈通 过增加层来改善模型性能以确定DBN最优网络结构，包括输入层的 节点个数、隐含层的节点个数、隐含层的层数等，并对权重进行调整，利用训练数据在此模型上进行训练，不断微调直至最终模型。
本实施例基于深度学习的工业物联网边缘资源智能调度方法，包 括以下步骤：
步骤1、根据系统需求，由数据采集模块中各工业设备上的无线 传感器将应变、载荷、扭距、位移、加速度、压力、温度等监测数 据实时向边缘服务器上传。
步骤2、监测数据上传由任务调度模块负责，任务调度模块将数 据采集模块采集的监测数据的处理任务部署到合适的边缘服务器。 任务调度遵循的算法原理为：
在边缘任务调度中，系统选择对周围环境了解最多、等待其他任 务时间最少的任务。对于计算卸载，系统需确定每个时隙中处理的 数据大小以及局部计算和计算卸载的精确部分，以使所选任务在计 算资源约束下的处理时间最小化。
那么，任务调度模块进行任务调度的具体方法如下：
步骤201、计算完成各任务引起的总AoT的变化量。
在任务调度中，用δn表示在完成应用程序n中一个任务后所有 应用程序的总AoT的变化量，用
Figure BDA0002375756490000101
表示完成此任务后年龄的减少量， 用
Figure BDA0002375756490000102
表示由等待此任务引起的年龄增加量，于是可以得出：
Figure BDA0002375756490000103
对于除最后一个任务外的一组任务，
Figure BDA0002375756490000104
等于Δnk，这是一个由 (2)式定义的因任务生成间隔时间所确定的常量。
Δnk＝τn，k+1-τn，k，k∈K′n (2)
式中，τn，k+1表示程序n中第k+1个任务的完成时隙，，τn，k表示 程序n中第k个任务的完成时隙，K′n表示程序n中除最后一个任务 外的所有任务集；
对于最后一个任务来说，
Figure BDA0002375756490000105
等于
Figure BDA0002375756490000106
因为完成 这个任务后AoT重置为零，其中
Figure BDA0002375756490000107
表示应用程序n在时 隙
Figure BDA0002375756490000108
中的AoT。
对于引用程序的年龄量的变化，用N＇表示具有未处理任务的应用 程序的数量，用snk表示在应用程序n中处理任务k所需的时隙数量， 于是等待处理应用程序n中任务k所造成的总年龄增量为snkN＇。因 此，根据下式能够计算等待任务引起的年龄增加量
Figure BDA0002375756490000109
Figure BDA00023757564900001010
式中，snk表示在应用程序n中处理任务k所需的时隙数量，N＇表 示具有未处理任务的应用程序的数量。
步骤202、根据完成任务后总AoT的变化量δn排序，调度首位 任务进行计算卸载。
步骤203、为计算卸载找到每时隙处理的最优数据大小，使能量 约束下的处理时间最小化。
用Enk表示分配给应用程序n中任务k的能量，并为每个任务分 配一个初始能量，它与任务长度的立方成正比，于是可以得到：
Figure BDA0002375756490000111
式中，Lnk表示应用程序n中任务k的长度，N表示程序集合， Kn表示程序n的任务集合，Emax表示设备处理所有任务所消耗的能 量上限。
设
Figure BDA0002375756490000112
为应用程序n中的任务k开始处理的时间。那么卸载问题 的计算公式如下：
Figure BDA0002375756490000113
Eloc(t)＝EcycωDloc(t)＝γf2(t)ωDloc(t)＝α(Dloc(t))3 (5)
其中，α＝γω3/τ3，
Figure BDA0002375756490000114
其中，入＝λ0/τm-1，
Figure BDA0002375756490000115
Figure BDA0002375756490000116
上式中，Dloc(t)表示本地执行的最优数据分配，Doff(t)表示边缘 服务器执行的最优数据分配，Eloc(t)表示本地计算的能耗，Ecyc表示 每个CPU周期的能耗，f2(t)表示设备在时隙t时的CPU频率，Eoff(t)表 示计算卸载的能耗，Poff(t)表示设备发送信号频率，h(t)表示本地设 备与MEC服务器在t时隙的信道增益，
Figure BDA0002375756490000121
表示应用程序n中处理任 务k所需要时隙数，ω表示在移动设备上计算一位数据所需的CPU 周期数，γ表示与芯片有关的常数，τ表示一个时隙长度，λ0表示结 合带宽和噪声功率影响的能量系数，m表示调制编码方案确定的单 项阶数。
步骤204、确定每个时隙内应分别在本地处理和卸载到边缘服务 器处理多少位数据。
假设时隙t内可以处理的数据量是固定的，那么为了找到一种 基于信道条件的能量消耗最小的卸载方案，用D(t)表示在时隙t中 处理的数据大小，于是单个时隙的能耗E(t)为：
Figure BDA0002375756490000122
然后利用拉格朗日方法，求出本地执行和边缘服务器执行的最 优数据分配即Dloc(t)和Doff(t)，两者由下式得出：
Figure BDA0002375756490000123
Figure BDA0002375756490000124
式中，Dloc(t)和Doff(t)分别表示本地CPU和MEC服务器处理的数 据大小。
为了得到D(t)的值，应用可行性测试来寻找在能量约束下处理任 务所需的最小时间间隔。首先将任务完成时间固定为一个时隙，令 D(t)＝Lnk，根据式(9)计算所需能量。如果获得的能量E′nk小于能量 限制(Enk)，那么D(t)的值是可行的。否则，将任务完成时间增加 一个时隙，并交互计算每个时隙中处理的数据大小，直到最终的能 耗满足能耗约束。即求出处理任务的最小时间间隔，且D(t)为时间 最小化下每时隙处理最优数据大小。
步骤3、边缘服务器对接收的监测数据进行处理分析，并进行预 测建模，输出具有特殊语义的中间数据，将中间数据输入至云服务 器。
在任务调度模块根据调度算法将计算任务部署到合适的边缘服 务器后，在边缘服务器上，运行深度学习算法对监测数据进行处理 分析，利用无监督学习的机器学习DBN进行预测建模，利用CD-k算 法(Contrastive Divergence，对比散度算法)进行权值初始化。 权值初始化的具体方法如下：
步骤301、随机初始化{W，a，b}，其中W为权重，a是可见层的 偏置向量，b为隐藏层的偏置向，随机初始化为较小的数值(可为0) 量；
步骤302、将X赋给显层v(0)，并根据下式计算X使隐层神经元 被开启的概率，
Figure BDA0002375756490000131
式中，
Figure BDA0002375756490000132
表示X使隐层神经元被开启的概率，h为 隐元，v为显元，σ表示偏置常数，式中的上标用于区别不同的向量， 下标用于区别同一向量中的不同维；
步骤303、根据步骤302计算的概率分布
Figure BDA0002375756490000133
(Wj·v(0)+bj)是每一维的概率，p(h(0)|v(0))是概率分布)进行一步 Gibbs抽样，对隐藏层中的每个单元从{0，1}中抽取得到相应的值， 即h(0)～p(h(0)|v(0))(p(h(0)|v(0))表示概率分布)；
步骤304、用h(0)重构显层后，根据下式再次计算隐层神经元被 开启的概率，
Figure BDA0002375756490000134
步骤305、更新得到新的权重和偏置。。
步骤4、云端深度学习网络培训模块接收边缘服务器上传的中间 数据，利用中间数据进行模型训练以确定DBN最优网络结构，并对 权重进行调整获得最终模型。
在经过边缘服务器的深度学习算法与处理后，输出的具有特殊 语义的中间数据将再次作为输入上传至云服务器，由云端深度学习 网络培训模块接收，重复步骤3的过程利用中间数据迭代计算下一 代RBM单元即RBM2和RBM3等单元的W、a、b值，以及最后一个BP单元的W和b值，直接采用随机初始化的值即可。最后利用训练数 据集确定DBN最优网络结构，包括输入层的节点个数、隐含层的节 点个数、隐含层的层数等，并对权重进行调整，利用训练数据在此 模型上进行训练，不断微调直至最终模型。
综上所述，边缘计算与工业物联网的DBN学习模型的结合，可 以提高工业物联网的大数据处理能力、降低云负载并减少网络流量。 另外，需要采用特殊的调度方法来满足学习网络对任务实时性的需 求。
以某中小机械制造企业为例，对本发明的系统及方法进行说明。
将某中小机械制造企业的工业设备安装无线传感器，以实时将 获取的应变、载荷、扭距、位移、加速度、压力、温度、影像等数 据向边缘服务器传输，根据调度算法将任务按最优数据大小向边缘 服务器卸载，最大化各边缘服务器的计算性能并保证任务的新鲜度。 边缘服务器上运行第一层RBM网络对上传的数据进行预处理，然后 将输出的具有特殊语义的中间数据向具备强大计算能力的云平台上 传。该企业在租用的云平台上部署更多层的RBM网络层利用中间数 据进行训练，将RBM模型进行堆栈通过增加层来改善模型性能，并 利用训练数据集确定DBN最优网络结构，不断微调至最终模型。定 期将训练好的权重文件部署到该企业附近的边缘服务器，应用一系 列界面集成接口调用嵌入前端，根据训练好的“黑箱”对各工业设 备上传数据给出即时反映，智能管控工业制造过程，实现监控、处理、警报等功能。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范 围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围 内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内， 因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (9)

1.基于深度学习的工业物联网边缘资源智能调度系统，其特征在于：包括数据采集模块、任务调度模块、边缘数据处理模块和云端深度学习网络培训模块；所述数据采集模块，用于对工业过程的中间环节进行监测，在获得数据后通过任务调度模块将数据处理任务调度至处理能力富余的边缘服务器上；
所述任务调度模块，用于根据数据采集模块采集数据任务的任务年龄，将任务调度到合适的边缘服务器上，作为输入送入部署在边缘层的深度学习网络层以进行初步的数据处理；
所述边缘数据处理模块，用于对监测数据进行处理分析，利用输入样例训练第一层受限玻尔兹曼机单元，并将输出的中间数据上传至云服务器；
所述云端深度学习网络训练模块，用于接收来自边缘层的预处理数据，利用预处理数据进行训练以确定深度置信网络最优网络结构，并对权重进行调整获得最终模型。
2.基于深度学习的工业物联网边缘资源智能调度方法，其特征在于，包括以下步骤：
步骤1、由数据采集模块中各工业设备上的无线传感器将监测数据实时向任务调度模块上传；转至步骤2；
步骤2、任务调度模块将数据采集模块采集的监测数据的处理任务部署到合适的边缘服务器；转至步骤3；
步骤3、边缘服务器对接收的监测数据进行处理分析，并进行预测建模，输出具有特殊语义的中间数据，将中间数据输入至云服务器；转至步骤4；
步骤4、云端深度学习网络培训模块接收边缘服务器上传的中间数据，利用中间数据进行模型训练以确定DBN最优网络结构，并对权重进行调整获得最终模型。
3.根据权利要求2所述基于深度学习的工业物联网边缘资源智能调度方法，其特征在于，所述步骤2中，任务调度模块进行任务调度的具体方法如下：
步骤201、根据下式计算完成各任务引起的总AoT的变化量δn，
Figure FDA0002375756480000021
式中，
Figure FDA0002375756480000022
表示完成此任务后年龄的减少量，
Figure FDA0002375756480000023
表示由等待此任务引起的年龄增加量；转至步骤202；
步骤202、根据完成任务后总AoT的变化量δn排序，调度首位任务进行计算卸载；转至步骤203；
步骤203、为计算卸载找到每时隙处理的最优数据大小，使能量约束下的处理时间最小化；转至步骤204；
步骤204、确定每个时隙内应分别在本地处理和卸载到边缘服务器处理多少位数据。
4.根据权利要求3所述基于深度学习的工业物联网边缘资源智能调度方法，其特征在于，所述步骤201中，对于除最后一个任务外的一组任务，
Figure FDA0002375756480000024
等于Δnk，根据下式计算Δnk，
Δnk＝τn，k+1-τn，k，k∈K＇n (2)
式中，τn，k、τn，k+1分别表示程序n中第k和k+1个任务的完成时隙，K＇n表示程序n中除最后一个任务外的任务集；
对于最后一个任务来说，
Figure FDA0002375756480000025
等于
Figure FDA0002375756480000026
其中，
Figure FDA0002375756480000027
表示应用程序n在时隙
Figure FDA0002375756480000028
中的AoT；
根据下式计算等待任务引起的年龄增加量
Figure FDA0002375756480000029
Figure FDA00023757564800000210
式中，snk表示在应用程序n中处理任务k所需的时隙数量，N＇表示具有未处理任务的应用程序的数量。
5.根据权利要求4所述基于深度学习的工业物联网边缘资源智能调度方法，其特征在于，所述步骤203的具体方法如下：
用Enk表示分配给应用程序n中任务k的能量，并为每个任务分配一个初始能量，它与任务长度的立方成正比，于是可以得到，
Figure FDA0002375756480000031
式中，Lnk表示应用程序n中任务k的长度，N表示程序集合，Kn表示程序n的任务集合，Emax表示设备处理所有任务所消耗的能量上限；
设
Figure FDA0002375756480000032
为应用程序n中的任务k开始处理的时间，那么卸载问题的计算公式如下所示，
Figure FDA0002375756480000033
Eloc(t)＝EcycωDloc(t)＝γf2(t)ωDloc(t)＝α(Dloc(t))3 (5)
其中，α＝γω3/τ3，
Figure FDA0002375756480000034
其中，λ＝λ0/τm-1，
Figure FDA0002375756480000035
Figure FDA0002375756480000036
上式中，Dloc(t)表示本地执行的最优数据分配，Doff(t)表示边缘服务器执行的最优数据分配，Eloc(t)表示本地计算的能耗，Ecyc表示每个CPU周期的能耗，f2(t)表示设备在时隙t时的CPU频率，Eoff(t)表示计算卸载的能耗，Poff(t)表示设备发送信号频率，h(t)表示本地设备与MEC服务器在t时隙的信道增益，
Figure FDA0002375756480000037
表示应用程序n中处理任务k所需要时隙数，ω、γ、τ、λ0、m分别表示在移动设备上计算一位数据所需的CPU周期数、与芯片有关的常数、一个时隙长度、结合带宽和噪声功率影响的能量系数、调制编码方案确定的单项阶数。
6.根据权利要求5述基于深度学习的工业物联网边缘资源智能调度方法，其特征在于，所述步骤204的具体方法如下：
假设时隙t内可以处理的数据量是固定的，用D(t)表示在时隙t中处理的数据大小，于是单个时隙的能耗E(t)为，
Figure FDA0002375756480000041
根据下式计算本地执行和边缘服务器执行的最优数据分配即Dloc(t)和Doff(t)，
Figure FDA0002375756480000042
Figure FDA0002375756480000043
式中，Dloc(t)和Doff(t)分别表示本地CPU和MEC服务器处理的数据大小。
7.根据权利要求6述基于深度学习的工业物联网边缘资源智能调度方法，其特征在于，所述步骤3中，在任务调度模块将任务部署到合适的边缘服务器后，在边缘服务器上，对监测数据进行处理分析后，进行预测建模和权值初始化。
8.根据权利要求7述基于深度学习的工业物联网边缘资源智能调度方法，其特征在于，所述权值初始化的具体方法如下：
步骤301、随机初始化{W，a，b}，其中W为权重，a是可见层的偏置向量，b为隐藏层的偏置向量；转至步骤302；
步骤302、将X赋给显层v(0)，并根据下式计算X使隐层神经元被开启的概率，
Figure FDA0002375756480000051
式中，
Figure FDA0002375756480000052
表示X使隐层神经元被开启的概率，h为隐元，v为显元，σ表示偏置常数；转至步骤303；
步骤303、根据步骤302计算的概率分布p(h(0)|v(0))进行一步Gibbs抽样，对隐藏层中的每个单元从{0,1}中抽取得到相应的值，即h(0)～p(h(0)|v(0))；转至步骤304；
步骤304、用h(0)重构显层后，根据下式再次计算隐层神经元被开启的概率，
Figure FDA0002375756480000053
转至步骤305；
步骤305、更新得到新的权重和偏置。
9.根据权利要求8述基于深度学习的工业物联网边缘资源智能调度方法，其特征在于，所述步骤4中，在经过边缘服务器的深度学习算法与处理后，输出的具有特殊语义的中间数据将再次作为输入上传至云服务器，由云端深度学习网络培训模块接收，重复步骤3的过程利用中间数据迭代计算下一代RBM单元的W、a、b值，以及最后一个BP单元的W和b值，最后利用训练数据集确定DBN最优网络结构，并对权重进行调整，利用训练数据在此模型上进行训练，不断微调直至最终模型。
CN202010065168.6A 2020-01-20 2020-01-20 基于深度学习的工业物联网边缘资源智能调度系统及方法 Active CN111245950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010065168.6A CN111245950B (zh) 2020-01-20 2020-01-20 基于深度学习的工业物联网边缘资源智能调度系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010065168.6A CN111245950B (zh) 2020-01-20 2020-01-20 基于深度学习的工业物联网边缘资源智能调度系统及方法

Publications (2)

Publication Number Publication Date
CN111245950A true CN111245950A (zh) 2020-06-05
CN111245950B CN111245950B (zh) 2023-03-10

Family

ID=70876224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010065168.6A Active CN111245950B (zh) 2020-01-20 2020-01-20 基于深度学习的工业物联网边缘资源智能调度系统及方法

Country Status (1)

Country Link
CN (1) CN111245950B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111953751A (zh) * 2020-07-30 2020-11-17 国网河南省电力公司信息通信公司 一种物联网场景下的dnn划分方法及装置
CN111970378A (zh) * 2020-08-28 2020-11-20 重庆邮电大学 一种基于信息年龄度量的边缘协作方法
CN112165716A (zh) * 2020-09-29 2021-01-01 重庆邮电大学 支持重传的无线网络信息年龄优化调度方法
CN112449007A (zh) * 2020-11-13 2021-03-05 江西师范大学 一种基于加权距离的工业物联网资源调度方法和系统
CN112468533A (zh) * 2020-10-20 2021-03-09 安徽网萌科技发展股份有限公司 一种面向农产品种植的边缘学习模型在线分割方法和系统
CN112492612A (zh) * 2020-11-23 2021-03-12 中国联合网络通信集团有限公司 资源分配方法和装置
CN112565404A (zh) * 2020-12-02 2021-03-26 中国联合网络通信集团有限公司 数据处理方法、边缘服务器、中心服务器和介质
CN112822033A (zh) * 2020-08-27 2021-05-18 贵州电网有限责任公司 一种基于云端协同分层自治的能源互联网数据处理方法
CN112990547A (zh) * 2021-02-08 2021-06-18 北京中电飞华通信有限公司 智能电网能量优化方法及装置
CN113205513A (zh) * 2021-05-27 2021-08-03 山东浪潮科学研究院有限公司 基于边缘计算的工业设备表面缺陷故障预警方法
CN113434034A (zh) * 2021-07-08 2021-09-24 北京华恒盛世科技有限公司 利用深度学习调整计算任务cpu频率的大型集群节能方法
CN113573324A (zh) * 2021-07-06 2021-10-29 河海大学 工业物联网中协作式任务卸载和资源分配的联合优化方法
CN113590307A (zh) * 2021-06-22 2021-11-02 国网河北省电力有限公司电力科学研究院 边缘计算节点优化配置方法、装置及云计算中心
CN113806077A (zh) * 2021-08-20 2021-12-17 广州云硕科技发展有限公司 基于人工智能的数据中心服务器调控方法及装置
CN114077491A (zh) * 2020-08-18 2022-02-22 中国科学院沈阳自动化研究所 一种工业智能制造边缘计算任务调度方法
CN114153889A (zh) * 2020-09-08 2022-03-08 大连理工大学 一种发电站监控系统、方法、可读介质及电子设备
CN114915665A (zh) * 2022-07-13 2022-08-16 香港中文大学（深圳） 一种基于分层策略的异构任务调度方法
CN115620582A (zh) * 2022-12-14 2023-01-17 北京东方国信科技股份有限公司 工业互联网教学实训系统、方法及电子设备
CN116909737A (zh) * 2023-07-14 2023-10-20 海南科技职业大学 基于深度学习的港口安全监控边缘计算任务卸载调度方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182112A (zh) * 2017-11-22 2018-06-19 南京航空航天大学 基于组合拍卖的以人为中心的感知网络的资源分配机制
CN110347500A (zh) * 2019-06-18 2019-10-18 东南大学 用于边缘计算环境中面向深度学习应用的任务卸载方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182112A (zh) * 2017-11-22 2018-06-19 南京航空航天大学 基于组合拍卖的以人为中心的感知网络的资源分配机制
CN110347500A (zh) * 2019-06-18 2019-10-18 东南大学 用于边缘计算环境中面向深度学习应用的任务卸载方法

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111953751A (zh) * 2020-07-30 2020-11-17 国网河南省电力公司信息通信公司 一种物联网场景下的dnn划分方法及装置
CN114077491B (zh) * 2020-08-18 2024-05-24 中国科学院沈阳自动化研究所 一种工业智能制造边缘计算任务调度方法
CN114077491A (zh) * 2020-08-18 2022-02-22 中国科学院沈阳自动化研究所 一种工业智能制造边缘计算任务调度方法
CN112822033A (zh) * 2020-08-27 2021-05-18 贵州电网有限责任公司 一种基于云端协同分层自治的能源互联网数据处理方法
CN112822033B (zh) * 2020-08-27 2022-10-21 贵州电网有限责任公司 一种基于云端协同分层自治的能源互联网数据处理方法
CN111970378A (zh) * 2020-08-28 2020-11-20 重庆邮电大学 一种基于信息年龄度量的边缘协作方法
CN111970378B (zh) * 2020-08-28 2022-08-30 重庆邮电大学 一种基于信息年龄度量的边缘协作方法
CN114153889A (zh) * 2020-09-08 2022-03-08 大连理工大学 一种发电站监控系统、方法、可读介质及电子设备
CN112165716A (zh) * 2020-09-29 2021-01-01 重庆邮电大学 支持重传的无线网络信息年龄优化调度方法
CN112468533A (zh) * 2020-10-20 2021-03-09 安徽网萌科技发展股份有限公司 一种面向农产品种植的边缘学习模型在线分割方法和系统
CN112449007A (zh) * 2020-11-13 2021-03-05 江西师范大学 一种基于加权距离的工业物联网资源调度方法和系统
CN112449007B (zh) * 2020-11-13 2022-06-28 江西师范大学 一种基于加权距离的工业物联网资源调度方法和系统
CN112492612B (zh) * 2020-11-23 2023-07-21 中国联合网络通信集团有限公司 资源分配方法和装置
CN112492612A (zh) * 2020-11-23 2021-03-12 中国联合网络通信集团有限公司 资源分配方法和装置
CN112565404A (zh) * 2020-12-02 2021-03-26 中国联合网络通信集团有限公司 数据处理方法、边缘服务器、中心服务器和介质
CN112990547A (zh) * 2021-02-08 2021-06-18 北京中电飞华通信有限公司 智能电网能量优化方法及装置
CN112990547B (zh) * 2021-02-08 2023-11-03 北京中电飞华通信有限公司 智能电网能量优化方法及装置
CN113205513A (zh) * 2021-05-27 2021-08-03 山东浪潮科学研究院有限公司 基于边缘计算的工业设备表面缺陷故障预警方法
CN113590307A (zh) * 2021-06-22 2021-11-02 国网河北省电力有限公司电力科学研究院 边缘计算节点优化配置方法、装置及云计算中心
CN113590307B (zh) * 2021-06-22 2024-05-28 国网河北省电力有限公司电力科学研究院 边缘计算节点优化配置方法、装置及云计算中心
CN113573324A (zh) * 2021-07-06 2021-10-29 河海大学 工业物联网中协作式任务卸载和资源分配的联合优化方法
CN113434034A (zh) * 2021-07-08 2021-09-24 北京华恒盛世科技有限公司 利用深度学习调整计算任务cpu频率的大型集群节能方法
CN113806077A (zh) * 2021-08-20 2021-12-17 广州云硕科技发展有限公司 基于人工智能的数据中心服务器调控方法及装置
CN114915665A (zh) * 2022-07-13 2022-08-16 香港中文大学（深圳） 一种基于分层策略的异构任务调度方法
CN114915665B (zh) * 2022-07-13 2022-10-21 香港中文大学（深圳） 一种基于分层策略的异构任务调度方法
CN115620582A (zh) * 2022-12-14 2023-01-17 北京东方国信科技股份有限公司 工业互联网教学实训系统、方法及电子设备
CN116909737A (zh) * 2023-07-14 2023-10-20 海南科技职业大学 基于深度学习的港口安全监控边缘计算任务卸载调度方法
CN116909737B (zh) * 2023-07-14 2024-02-13 海南科技职业大学 基于深度学习的港口安全监控边缘计算任务卸载调度方法

Also Published As

Publication number Publication date
CN111245950B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN111245950B (zh) 基于深度学习的工业物联网边缘资源智能调度系统及方法
CN110347500B (zh) 用于边缘计算环境中面向深度学习应用的任务卸载方法
Wang et al. Convergence of edge computing and deep learning: A comprehensive survey
Yu et al. Toward resource-efficient federated learning in mobile edge computing
Tak et al. Federated edge learning: Design issues and challenges
US20220414432A1 (en) Method and system for splitting and bit-width assignment of deep learning models for inference on distributed systems
CN114265631A (zh) 一种基于联邦元学习的移动边缘计算智能卸载方法及装置
CN112835715A (zh) 基于强化学习的无人机任务卸载策略的确定方法和装置
Jing et al. Deep learning-based cloud–edge collaboration framework for remaining useful life prediction of machinery
CN112988285A (zh) 任务卸载方法和装置、电子设备及存储介质
Gali et al. A Distributed Deep Meta Learning based Task Offloading Framework for Smart City Internet of Things with Edge-Cloud Computing.
CN115983497A (zh) 一种时序数据预测方法和装置、计算机设备、存储介质
Naveen et al. Memory optimization at edge for distributed convolution neural network
CN108073442B (zh) 基于深度模糊栈式自编码的仿真请求执行时间预测方法
Qu et al. Stochastic cumulative DNN inference with RL-aided adaptive IoT device-edge collaboration
US11943277B2 (en) Conversion system, method and program
CN112906745B (zh) 基于边缘协同的诚信智能网络训练方法
Chen et al. Mixed-Precision Quantization for Federated Learning on Resource-Constrained Heterogeneous Devices
CN111784029A (zh) 一种雾节点资源分配方法
Amaizu et al. Edge-enhanced QoS aware compression learning for sustainable data stream analytics
CN113360203B (zh) 一种电力物联网的任务卸载方法及装置
CN114077491B (zh) 一种工业智能制造边缘计算任务调度方法
CN113365335B (zh) 一种图像数据处理方法
CN117215777A (zh) 算力调度方法和装置
Globa et al. The Modified Approach to Internet of Things Data Transmission Based on a Combined Neural Network Autoencoder

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant