CN109491790B - 基于容器的工业物联网边缘计算资源分配方法及系统 - Google Patents

Abstract

本发明公开了基于容器的工业物联网边缘计算资源分配方法及系统，该方法如下：根据感知层采集的数据类型，将任务划分为n种类型，通过历史数据统计，得到任务之间先后到达边缘服务器集群上的概率关系；根据系统状态空间和决策空间，对实时任务分配计算资源，进行序列决策；根据基于强化学习的资源分配算法，系统根据当前的状态，从低、中、高三种资源分配策略中选择最合理的策略给当前任务分配资源；构建任务调度处理模型，创建容器，再把数据调度到容器上进行处理分析，任务完成之后再删除容器，完成分配。本发明在资源有限的情况下，对不同类型的数据计算资源分配，创建容器进行处理分析，提高资源使用效率和任务处理的总速率。本发明适用于工业物联网数据处理领域。

Description

基于容器的工业物联网边缘计算资源分配方法及系统

技术领域

本发明涉及工业物联网边缘计算领域，更具体的，涉及基于容器的工业物联网边缘计算资源分配方法及系统。

背景技术

当前，工业物联网的数据处理和分析主要依托于云计算技术，比如工业物联网云平台，但在实际操作中依然存在一些问题。比如把数据传输到遥远的云端进行处理分析时，存在网络时延或者中断问题，同时计算和存储都在云端，隐私和安全得不到保证。在这背景下，工业物联网边缘计算应运而生。边缘计算指的是在网络边缘结点来处理、分析数据，是一种计算和存储在物理位置上更靠近数据生成的方法。因此，在靠近物或数据源头，也就是靠近工业生产的网络边缘开发一个融合联接、计算、存储和应用安装等能力的工业物联网边缘计算平台，对上传数据中心的流量进行聚合和预处理，使得工业行业应用不受制于接入带宽和成本的限制，满足工业行业应用对实时性、可靠性和安全性等有严格的要求。

然而，现有的资源分配调度方法中，通常是先创建好虚拟机，然后再根据策略把任务调度到虚拟机上进行处理，因此要求每一台虚拟机都要具备处理所有任务的能力，造成了额外的资源开销，从而导致了资源利用率不高，同时也存在资源分配不灵活等问题。在工业物联网边缘云系统中，对于不同类型的数据采集器采集的数据，因大小不一，需要的计算资源多少也不一，在边缘节点资源有限的情况下，资源利用率不高、分配不合理，势必会影响资源的使用率和任务的处理效率，进而影响工业生产过程中各类信息的及时反馈。

发明内容

本发明为了解决工业物联网边缘资源分配不良、没有考虑到其他边缘计算节点，导致资源分配不均和利用率不高的问题，提供了一种基于容器的工业物联网边缘计算资源分配方法及系统，其能根据不同类型的数据及当前系统状态，计算各个资源配置，创建相应的容器提供服务，使得资源分配策略最优，总完成时间最少。

为实现上述本发明目的，采用的技术方案如下：基于容器的工业物联网边缘计算资源分配方法，该方法步骤如下：

步骤1：根据感知层采集的数据类型，将任务划分为n种类型，并通过历史数据统计，得到任务之间先后到达边缘服务器集群上的概率关系；

步骤2：根据系统状态空间和决策空间，对实时任务分配计算资源，并进行序列决策；

步骤3：根据基于强化学习的资源分配算法，系统根据当前的状态，从低、中、高三种资源分配策略中选择最合理的策略给当前任务分配资源；

步骤4：构建任务调度处理模型，创建容器，再把数据调度到容器上进行处理分析，任务完成之后再删除容器，回收资源，完成分配；

基于强化学习的资源分配算法的具体内容如下：

步骤11：根据系统状态空间β和决策空间Δ构建一个决策表Q，并初始化所有值为0；

步骤12：设置训练次数为m，从初始状态至结束状态即为完成一次训练；

步骤13：在每一次训练中，从初始状态开始，即S＝S₀，S为当前状态；S₀为初始状态；

步骤14：随机从决策空间Δ中随机选择一个决策A，得到奖赏R，并根据决策A和转移概率观测到下一个状态S′，并根据下面的公式计算Q(S,A)值：

Q(S,A)＝R+γ.∑p.max{Q(S′,A′)}

其中：S＝(n_c,n_m,T_i)表示当前状态；S′＝(n_c-C_A,n_m-m_A,T_j)表示下一个状态；C_A和m_A分别表示在决策A下分配给任务T_i的CPU核数和内存大小；p＝p_ij表示任务T_i的达到之后的下一个任务是T_j的概率；γ为自然数，取值范围为0≤γ<1；A′表示下一个状态的决策，n_m表达当前状态下服务器剩余的胡内存总数；n_c表示当前状态下服务器剩余的CPU总核数；R表示奖赏；Q(S,A)表示每个状态—决策对应的一个表项；

步骤15：令状态S′为当前状态，不断重复步骤14的过程，最后输出决策表Q；基于决策表Q分配资源。

优选地，所述步骤1，对任务进行定义：θ＝{T₁,T₂,…,T_n},θ表示任务集合；

所述任务之间先后到达边缘服务器集群上的概率关系表达式为：

其中：p_ij表示任务T_i达到之后的下一个任务是T_j的概率，i∈[0，1，…，n]，j∈[0,1,…,n]。

优选地，所述系统状态空间β由所有状态共同组成，而每一个状态由当任务到达时，边缘节点剩余可分配的CPU核数、内存大小以及当前任务类型组成；

系统状态空间表示为：β＝{(n_c,n_m,T_i)|0≤n_c≤C，0≤n_m≤M，n_c∈N，n_m∈N，T_i∈θ，}，每个属于系统状态空间的系统状态，表示为：S＝(n_c,n_m,T_i)；

其中：C表示边缘节点CPU总核数，M表示边缘节点内存总大小，N表示自然数集，并规定CPU最少的分配是1核，内存最少的分配是1GB。

优选地，所述决策空间Δ的表达式为：

Δ＝{A₀,A₁,A₂}

其中，A₀表示分配当前任务较低资源配置，如1核CPU和1G内存；A₁表示分配当前任务中等资源配置，如2核CPU和2GB内存；A₂表示分配当前任务高级资源配置，如3核CPU和3GB内存；每个决策A∈Δ。

优选地，所述奖赏R由奖赏函数计算所得，所述奖赏函数的表达式为：

其中：i∈[0,1,…,n],k∈[0,1，2]；R_ik表示任务T_i在决策A_k下得到的奖赏R；t_ik表示是任务T_i在决策A_k资源配置下任务的执行时间。

基于以上所述的基于容器的工业物联网边缘计算资源分配方法的系统，包括感知层、网络传输层、边缘服务器集群、Web应用层；

所述感知层包括各类传感器和数据采集器，作用是采集硬件设备和生产过程中的各类数据；

所述网络传输层包括以太网、无线网，用于传输感知层采集的数据和指令；

所述边缘服务器集群包括一个Master管理节点和多个边缘节点，实现资源的统一管理和调度；边缘服务器集群的作用是接收各数据采集器传输过来的数据，然后对数据进行计算、分析处理以及储存；

Web应用层用于提供实时监测、信息反馈以及控制管理。

本发明的有益效果如下：

1.本发明根据感知层采集的不同数据类型，将任务分为n种类型，并通过计算任务之间先后到达边缘服务器集群上的概率关系，方便后期就不同类型数据计算不同的资源，实现不同的资源分配。

2.本发明根据基于强化学习的资源分配算法，系统根据当前的状态，从低、中、高三种资源分配策略中选择最合理的策略给当前任务分配资源，从而使得整个序列任务的资源分配策略最优，所有任务总完成时间最小。

3.本发明根据不同数据类型的处理分析，制作该类型任务处理分析的轻量级脚本镜像，根据系统状态空间、决策空间进行资源分配，创建该类型镜像的容器，在将数据调度到容器中处理分析，任务完成便删除容器；在资源有限的情况下，为提高资源使用效率，同时兼顾任务处理的总速率。

附图说明

图1是本发明基于容器的工业物联网边缘计算资源分配方法的流程图。

图2是本发明基于强化学习的资源分配算法的结构图。

图3是本发明基于容器的工业物联网边缘系统的结构图。

具体实施方式

下面结合附图和具体实施方式对本发明做详细描述。

实施例1

为了解决云计算技术在实际操作中存在的一些问题，比如把数据传输到遥远的云端进行处理分析时，存在网络时延或者中断问题，同时计算和存储都在云端，隐私和安全得不到保证。同时为了减少额外的资源开销，提高资源利用率，解决资源分配不灵活等问题。本发明提出一种基于容器的工业物联网边缘计算资源分配方法及系统。

一种基于容器的工业物联网边缘计算资源分配方法，如图1所示，该方法步骤如下：

步骤1：根据感知层采集的数据类型，将任务划分为n种类型，并通过历史数据统计，得到任务之间先后到达边缘服务器集群上的概率关系；

步骤2：根据系统状态空间和决策空间，对实时任务分配计算资源，并进行序列决策；

步骤3：根据基于强化学习的资源分配算法，系统根据当前的状态，从低、中、高三种资源分配策略中选择最合理的策略给当前任务分配资源；

步骤4：构建任务调度处理模型，创建容器，再把数据调度到容器上进行处理分析，任务完成之后再删除容器，回收资源，完成分配；

如图2所示，本实施例所述的基于强化学习的资源分配算法，其能学习出一种实时任务资源分配策略，使得系统能根据当前的状态，从低、中、高三种资源分配策略中选择最合理的策略给当前任务分配资源，从而使得整个序列任务的资源分配策略最优，所有任务总完成时间最小。

强化学习本质上是解决决策的问题，它的核心思想是通过从环境中不断学习从而得到最大的回报，即学会自动决策。如图3所示，基于强化学习的资源分配算法中的强化学习与环境的关系，包含一个Agent，Agent不断地采取决策A，然后转入下一个系统状态S，并且获得一个奖赏R，奖赏R是环境对Agent选择的决策的反馈，反映该决策的优劣。在这样不断通过试错和与环境的不断交互获得知识强化Agent，从而改进行为策略。Agent的任务是要学会一个决策策略π：S→A，使得这些回报的累积和R₀+γR₁+γ²R₂+…+γⁿR_n(0≤γ<1)的期望最大化。在本发明中，Agent是Master节点上的资源分配决策体。

在本实施例中的基于强化学习的资源分配算法中，Agent的具体实现是通过构造一个决策表Q来表示其策略假设，其中每个状态—决策对均有一个表项Q(S,A)。

基于强化学习的资源分配算法的具体内容如下：

步骤11：根据系统状态空间β和决策空间Δ构建一个决策表Q，并初始化所有值为0；

步骤12：设置训练次数为m，从初始状态至结束状态即为完成一次训练；

步骤13：在每一次训练中，从初始状态开始，即S＝S₀，S是当前状态；S₀为初始状态；

步骤14：随机从决策空间Δ中随机选择一个决策A，得到奖赏R，并根据决策A和转移概率观测到下一个状态S′，并根据下面的公式计算Q(S,A)值：

Q(S,A)＝R+γ.∑p.max{Q(S′,A′)}

其中：S＝(n_c,n_m,T_i)表示当前状态；S′＝(n_c-C_A,n_m-m_A,T_j)表示下一个状态；C_A和m_A分别表示在决策A下分配给任务T_i的CPU核数和内存大小；p＝p_ij表示任务T_i的达到之后的下一个任务是T_j的概率；γ为自然数，取值范围为0≤γ<1；A′表示下一个状态的决策；n_m表达当前状态下服务器剩余的内存总数；n_c表示当前状态下服务器剩余的CPU总核数；R表示奖赏；Q(S,A)表示每个状态—决策对应的一个表项；

步骤15：令状态S′为当前状态，不断重复步骤14的过程，最后输出决策表Q；基于决策表Q分配资源。

在本实施例中，根据感知层不同的采集器采集到的不同数据类型，将任务划分为n种类型，定义为：θ＝{T₁,T₂,…,T_n}。

为了有效描述任务到达关联属性，通过历史数据统计可以得到任务之间先后到达边缘服务器集群上的概率关系，即概率矩阵

其中：p_ij表示任务T_i达到之后的下一个任务是T_j的概率，i∈[0，1，…，n]，j∈[0,1,…,n]。

本实施例将为实时任务分配计算资源的过程看作是一个序列决策过程，因此引入系统状态空间和决策空间。

所述系统状态空间β由所有状态共同组成，而每一个状态由当任务到达时，边缘节点剩余可分配的CPU核数、内存大小以及当前任务类型组成；

基于此，系统状态空间β表示为：β＝{(n_c，n_m，T_i)|0≤n_c≤C，0≤n_m≤M,n_c∈N，n_m∈N，T_i∈θ，}，每个属于系统状态空间的系统状态，表示为：S＝(n_c，n_m，T_i)。

其中：C表示边缘节点CPU总核数；M表示边缘节点内存总大小；N表示自然数集，并规定CPU最少的分配是1核，内存最少的分配是1GB。

系统会根据当前的系统状态空间Δ进行决策，决策空间Δ表示为：

Δ＝{A₀，A₁,A₂}

其中：A₀表示分配当前任务低等资源配置，如1核CPU和1G内存；A₁表示分配当前任务中等资源配置，如2核CPU和2GB内存；A₂表示分配当前任务高等资源配置，如3核CPU和3GB内存，每个决策A∈Δ。

在本实施例的基于强化学习的资源分配算法中，以最小化总任务完成时间为目标，所述奖赏R由奖赏函数计算所得。因此奖赏函数定义为：

其中：i∈[0,1,…,n],k∈[0,1，2]；R_ik表示任务T_i在决策A_k下得到的奖赏R；t_ik表示是任务T_i在决策A_k资源配置下任务的执行时间。

本实施所述任务调度处理模型定义为：对感知层采集的不同类型的数据处理分析，制作该类型任务处理分析的轻量级脚本镜像，即同一类任务；对应同一个脚本镜像；工业流水生产线上感知层采集的数据，经过网络传输层首先传输到Master节点上，按照先到先服务、到达立即服务的原则；Master节点首先获取边缘节点可用于分配的CPU核数和内存的大小，与该任务类型组成当前系统状态，再根据当前状态在决策表Q中找到对应的表项，选择决策A进行资源分配；其中A满足

；最后在边缘节点上启动该类型的镜像创建容器，再把数据调度到容器上进行处理分析，任务完成之后再删除容器，回收资源，完成资源分配。

如图3所示，基于容器的工业物联网边缘系统，包括感知层、网络传输层、边缘服务器集群、Web应用层；

所述感知层包括各类传感器和数据采集器，作用是采集硬件设备和生产过程中的各类数据；

所述网络传输层包括以太网、无线网，用于传输感知层采集的数据和指令；

所述边缘服务器集群包括一个Master管理节点和多个边缘节点，实现资源的统一管理和调度；边缘服务器集群的作用是接收各数据采集器传输过来的数据，然后对数据进行计算、分析处理以及储存；

Web应用层用于提供实时监测、信息反馈以及控制管理。

本实施例所述容器(Container)是轻量级的操作系统级虚拟化，是一个相对独立的运行环境，可以在一个资源隔离的进程中运行应用及其依赖项，运行应用程序所必需的组件都将打包成一个镜像并可以复用。相比虚拟机而言，容器的创建比虚拟机更加快捷、灵活，而且轻量级的容器脚本可以从性能和大小方面减少资源开销。

在工业物联网中，因为感知层采集的数据不同，服务器需要提供的功能也不同，每一类数据采集器采集的数据(任务)对应制作相应的脚本镜像，当需要服务时，通过该类镜像创建容器提供服务。容器像虚拟机一样也是运行在物理主机上的特别应用，需要分配计算资源，分配的计算资源越多，处理任务的能力越强。而在工业物联网边缘计算平台中，不止一个边缘节点，在资源有限的情况下，资源的统一分配和调度有利于提高资源的使用，因此需要使用集群管理技术把所有的边缘节点的资源集中统一管理。Kubernetes是Google开源的容器集群管理工具，在Docker技术的基础上，能为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.基于容器的工业物联网边缘计算资源分配方法，其特征在于：该方法步骤如下：

步骤1：感知层采集的数据，经过网络传输层首先传输到Master节点上，遵循先到先服务、到达立即服务的原则，根据感知层采集的数据类型，将任务划分为n种类型，并通过历史数据统计，得到任务之间先后到达边缘服务器集群上的概率关系；

步骤2：Master节点首先获取边缘节点可用于分配的CPU核数和内存的大小，与任务类型组成当前系统状态，根据基于强化学习的资源分配算法，根据当前系统状态，从低、中、高三种资源分配策略中选择最合理的策略给当前任务分配资源；

步骤3：构建任务调度处理模型，对感知层采集的不同类型的数据处理分析，制作对应类型任务处理分析的轻量级脚本镜像，即同一类任务，对应同一个脚本镜像；最后在边缘节点上启动对应类型的镜像创建容器；再把数据调度到容器上进行处理分析，任务完成之后再删除容器，回收资源，完成分配；

基于强化学习的资源分配算法的具体内容如下：

步骤11：根据系统状态空间β和决策空间Δ构建一个决策表Q，并初始化所有值为0；

步骤12：设置训练次数为m，从初始状态至结束状态即为完成一次训练；

步骤13：在每一次训练中，从初始状态开始，即S＝S₀，S为当前状态；S₀为初始状态；

步骤14：随机从决策空间Δ中随机选择一个决策A，得到奖赏R，并根据决策A和转移概率观测到下一个状态S′，并根据下面的公式计算Q(S,A)：

Q(S,A)＝R+γ.∑p.max{Q(S′,A′)}

其中：S＝(n_c,n_m,T_i)表示当前状态；S′＝(n_c-C_A,n_m-m_A,T_j)表示下一个状态；C_A和m_A分别表示在决策A下分配给任务T_i的CPU核数和内存大小；p＝p_ij表示任务T_i的达到之后的下一个任务是T_j的概率；γ为自然数，取值范围为0≤γ<1；A′表示下一个状态的决策；n_m表达当前状态下服务器剩余的内存总数；n_c表示当前状态下服务器剩余的CPU总核数；R表示奖赏；Q(S,A)表示每个状态—决策对应的一个表项；

步骤15：令状态S′为当前状态，不断重复步骤14的过程，最后输出决策表Q；基于决策表Q分配资源:根据当前状态在决策表Q中找到对应的表项，选择决策A进行资源分配；其中A满足

所述步骤1，对任务进行定义：θ＝{T₁，T₂,…,T_n}，θ表示任务集合；

所述任务之间先后到达边缘服务器集群上的概率关系表达式为：

其中：p_ij表示任务T_i达到之后的下一个任务是T_j的概率，i∈[0,1,…,n],j∈[0,1,…,n]。

2.根据权利要求1所述的基于容器的工业物联网边缘计算资源分配方法，其特征在于：所述系统状态空间β由所有状态共同组成，而每一个状态由当任务到达时，边缘节点剩余可分配的CPU核数、内存大小以及当前任务类型组成；

系统状态空间β表示为：β＝{(n_c,n_m,T_i)|0≤n_c≤C,0≤n_m≤M,n_c∈N,n_m∈N,T_i∈θ,}；

其中：C表示边缘节点CPU总核数；M表示边缘节点内存总大小；N表示自然数集，并规定CPU最少的分配是1核，内存最少的分配是1GB。

3.根据权利要求1所述的基于容器的工业物联网边缘计算资源分配方法，其特征在于：所述决策空间Δ的表达式为：

Δ＝{A₀,A_1,A₂}

其中，A₀表示分配当前任务低等资源配置：1核CPU和1G内存；A₁表示分配当前任务中等资源配置：2核CPU和2GB内存；A₂表示分配当前任务高等资源配置：3核CPU和3GB内存；每个决策A∈Δ。

4.根据权利要求1所述的基于容器的工业物联网边缘计算资源分配方法，其特征在于：所述奖赏R由奖赏函数计算所得，所述奖赏函数的表达式为：

其中：i∈[0,1,…,n],k∈[0,1,2]；R_ik表示任务T_i在决策A_k下得到的奖赏R，t_ik表示是任务T_i在决策A_k资源配置下任务的执行时间。

5.基于权利要求1～4任一项所述的基于容器的工业物联网边缘计算资源分配方法的系统，其特征在于：包括感知层、网络传输层、边缘服务器集群、Web应用层；

所述感知层包括各类传感器和数据采集器，作用是采集硬件设备和生产过程中的各类数据；

所述网络传输层包括以太网、无线网，用于传输感知层采集的数据和指令；

所述边缘服务器集群包括一个Master管理节点和多个边缘节点，实现资源的统一管理和调度；边缘服务器集群的作用是接收各数据采集器传输过来的数据，然后对数据进行计算、分析处理以及储存；

Web应用层用于提供实时监测、信息反馈以及控制管理。

Images