CN114040016B

CN114040016B - 卫星边缘智能代理的编排方法、系统、介质及计算设备

Info

Publication number: CN114040016B
Application number: CN202111288087.3A
Authority: CN
Inventors: 姜春晓; 殷柳国; 葛宁; 李朕
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2021-11-02
Filing date: 2021-11-02
Publication date: 2022-08-12
Anticipated expiration: 2041-11-02
Also published as: CN114040016A

Abstract

本发明涉及一种卫星边缘智能代理的编排方法、系统、介质及计算设备，其包括：计算所有服务实例的总延时，根据所述总延时得到代理迁移问题对应的优化问题；将所述优化问题解耦成若干子问题，由若干子问题转换形成低维MDP问题，求解解耦后的所述低维MDP问题，实现以最小延时为目的的智能代理按需迁移。本发明能实现高维状态空间向低维状态空间的转换，解决了天基边缘场景下的智能代理迁移问题。本发明可以在卫星通信技术领域中广泛应用。

Description

卫星边缘智能代理的编排方法、系统、介质及计算设备

技术领域

本发明涉及一种卫星通信技术领域，特别是关于一种卫星边缘智能代理的编排方法、系统、介质及计算设备。

背景技术

随着移动应用的快速普及，新兴的网络服务涌现在网络边缘并占据了大量的计算资源与带宽资源，尤其是虚拟现实(VR)、增强现实、人机交互游戏等新型产业。在这种趋势下，资源受限的回程网络难以承载上述业务的低延时需求，因此移动边缘计算(MEC)计算应时而生。该技术将算力从云中心下放至网络边缘，通过在基站部署智能代理的方式，实现在用户侧服务用户，保证移动用户的高QoS 需求。

虽然MEC提高了用户服务质量，但也引入了新问题，尤其是用户的移动性导致智能代理的迁移问题。考虑某用户接入基站后，由部署在基站处的智能代理为用户提供服务。当用户迁移至其他基站的服务范围内时，智能代理是否需实时迁移。若迁移代理，则需要中断服务，并将服务实例传输至目标基站，此过程产生服务中断延时；若不迁移代理，则需要由远程链路实时通信，此过程产生传输延时，上述过程如图1所示。因此，在无法预测用户移动性的前提下，如何制定代理的迁移策略，以最小化总延时成为目前探讨的核心问题。

发明内容

针对上述问题，本发明的目的是提供一种卫星边缘智能代理的编排方法、系统、介质及计算设备，其能实现高维状态空间向低维状态空间的转换，解决了天基边缘场景下的智能代理迁移问题。

为实现上述目的，一方面，本发明采取的技术方案为：一种卫星边缘智能代理的编排方法，其包括：计算所有服务实例的总延时，根据所述总延时得到代理迁移问题对应的优化问题；将所述优化问题解耦成若干子问题，由若干子问题转换形成低维MDP问题，求解解耦后的所述低维MDP问题，实现以最小延时为目的的智能代理按需迁移。

进一步，所述计算获得所述总延时，包括：在系统总周期内，计算各所述服务实例运行时所需的总计算延时；在系统总周期内，不迁移所述服务实例时，计算各所述服务实例所需的传输延时；当所述服务实例需要迁移时，计算所述服务实例在不同基站间迁移所产生的迁移延时；将所有所述服务实例的所述总计算延时、所述传输延时和所述迁移延时求和，得到所述总延时。

进一步，所述将所述优化问题解耦成若干子问题，采用两层解耦法将高维状态空间分解为若干个低维状态空间。

进一步，所述两层解耦法，包括：

第一层解耦采用变量解耦和直接解耦法：将所述优化问题拆解成两部分，第一部分对计算资源、带宽资源和功率资源采用变量解耦，将三个变量分别独立求解，得到优化后的子问题；第二部分对迁移决策变量采用直接解耦优化，直接解耦成若干整数规划问题；

第二层解耦采用对偶解耦法：将各所述整数规划问题经拉格朗日推导转化为二层主问题与服务层子问题；所述二层主问题用于优化拉格朗日乘子，再将所述二层主问题解耦成若干所述服务层子问题，所述服务层子问题解耦后优化每个服务实例的决策变量；

所述服务层子问题关于决策变量构成所述低维MDP问题。

进一步，所述求解解耦后的所述低维MDP问题，采用在所述服务层子问题、所述主问题和所述子问题之间互相迭代计算，实现从针对基站的优化化解到针对每个服务实例的优化，包括：

对迁移决策变量、计算资源、带宽资源和功率资源及拉格朗日乘子进行初始化；

对每个时隙进行迭代计算，包括：

外层循环：循环变量为第三个服务实例，如果满足迭代终止条件，则终止该外层循环；

第一个内循环：对所有基站遍历；

求解所述子问题中关于计算资源变量的凸优化问题；

继续执行第一个内循环，循环变量第一个服务实例；

求解所述子问题中关于功率资源变量的凸优化问题；

求解所述子问题中关于带宽资源变量的凸优化问题；

满足第一个内循环的迭代终止条件，则执跳出第一个内循环；

执行第二个内循环：循环变量第二个服务实例；

对基站内的每个服务执行新的MDP模型训练，求解所述服务层子问题并输出每个服务实例的迁移决策变量；

更新拉格朗日乘子；

若满足第二个内循环的迭代终止条件，则执跳出第二个内循环；

将迭代计算得到的迁移决策变量、计算资源、带宽资源和功率资源作为输出。

进一步，所述对基站内的每个服务执行新的MDP模型训练，包括：

将生成的决策变量、拉格朗日乘子作为输入，并用策略迭代的方法训练新的 MDP模型；

依据训练的结果，求解所述服务层子问题并输出每个服务实例的迁移决策变量。

进一步，确定所述低维MDP的状态空间、行动、转移概率和瞬时收益函数；

所述转移概率

其中f∈F_n ^t-1，

表示服务实例n在t时隙可行的迁移集合；

所述瞬时收益函数为：

其中，

表示迁移服务实例相比不迁移服务实例获得的增益；

为效用函数。

另一方面，本发明采取的技术方案为：一种卫星边缘智能代理的编排系统，其包括：优化问题确定模块和解耦转换模块；所述优化问题确定模块，计算所有服务实例的总延时，根据所述总延时得到代理迁移问题的优化问题；所述解耦转换模块，将所述优化问题解耦成若干子问题，由若干子问题转换形成低维MDP问题，求解解耦后的所述低维MDP问题，实现以最小延时为目的的智能代理按需迁移。

另一方面，本发明采取的技术方案为：一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行上述方法中的任一方法。

另一方面，本发明采取的技术方案为：一种计算设备，其包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。

本发明由于采取以上技术方案，其具有以下优点：

本发明基于直接解耦法及dual解耦法，设计了两层联合解耦算法，实现高维状态空间向低维状态空间的转换，并采用策略迭代的方法求解解耦后的MDP，从而解决天基边缘场景下的智能代理迁移问题。

附图说明

图1是现有技术中的智能代理迁移场景图；

图2是本发明一实施例中的降低高维状态空间的核心原理示意图；

图3是本发明一实施例中的解耦架构及各子问题关系图；

图4是本发明一实施例中的两层解耦算法与传统的持续迁移、不迁移、随机迁移性能对比结果图；

图5a是本发明一实施例中两层解耦算法与传统的持续迁移、不迁移、随机迁移的系数m变化结果图；

图5b是本发明一实施例中两层解耦算法与传统的持续迁移、不迁移、随机迁移的参数C₀的变化结果图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

现有的代理迁移模型大多基于马尔科夫决策过程(MDP)，且可被分为两类，一是针对单一代理搭建MDP模型，二是针对全网所有代理搭建MDP模型。显然，前者局限于单一代理，因此其优点是模型的状态空间较小，简单的动态规划算法 (如值迭代、策略迭代)或Q-learning算法即可求得MDP模型的解，但缺点是无法为各个代理合理分配基站的计算资源；而后者放眼于全网的智能代理，优点是可以决定每个代理占用基站的计算资源，更贴近实际情况，其缺点是模型的状态空间极大，难以直接用动态规划等算法求解。因此现有文献大多采用深度强化学习的方法，但该方法的理论可解释性较差，且性能好坏依赖于参数的选取，具有极大地随机性。因此，本发明提出两层解耦方法，将M^2N高维状态空间分解为N个 M²的低维状态空间，并采用策略迭代的方法求解解耦后的MDP问题，该问题的核心实现方案如图2所示。本发明在天基边缘通信场景下，通过两层解耦的方法大幅度降低MDP的状态空间，实现以最小延时为目的的智能代理按需迁移。

在本发明的一个实施例中，如图2所示，提供一种卫星边缘智能代理的编排方法、系统、介质及计算设备，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，为有效地解决天基边缘网络中的智能代理迁移问题，本实施例提出面向天基边缘网络的代理迁移模型及解耦方法，本发明的方法包括以下步骤：

1)计算所有服务实例的总延时，根据总延时得到代理迁移问题对应的优化问题P1；

2)将优化问题P1解耦成若干子问题，由若干子问题转换形成低维MDP问题，求解解耦后的低维MDP问题，实现以最小延时为目的的智能代理按需迁移。

在本实施例中，令T＝{1,2,…,T}表示系统总周期，令M＝{1,2,…,M}表示基站的集合，N＝{1,2,…,N}表示移动用户的集合，假设移动用户向基站卸载延时敏感的应用，并由基站处的智能代理为用户提供服务。本文假设每个智能代理都以一个服务实例(serviceinstance)的形式服务一个用户，因此智能代理的数量、服务实例的数量、移动用户的数量同为N。令三元组

表示第n个服务实例服务第n个用户时的属性，其中

表示t时段内迁移该服务实例时所需要的数据大小，

表示t时段内服务实例所需的CPU周期数(即该服务实例的总计算量)，

表示t时段内，远程传输时所需的通信数据量，且该数值显然与基站距离有关。定义决策变量为四元组{X,C,W,P}，其中

表示t时段的迁移决策，

表示服务实例n在第t时段的开始时刻决定迁移至基站m处。同理，

表示用户t时段的位置。由于用户的迁移具有随机性，因此

表示用户n在第t时段随机迁移至基站k。此外，

分别表示服务实例n在基站中所消耗的计算资源、带宽资源、功率资源。

上述步骤1)中，计算获得总延时，包括以下步骤：

1.1)在系统总周期T内，计算各服务实例n运行时所需的总计算延时

其中，

表示t时段内服务实例n所需的CPU周期数，

表示t时段内服务实例n在基站中所消耗的计算资源。

1.2)在系统总周期T内，不迁移服务实例n时，计算各服务实例n所需的传输延时

其中，

分别表示接入延时与回程链路的传输延时，具体公式如下：

其中，

表示远程传输时所需的通信数据量，

表示服务实例n在基站中所消耗的带宽资源，

表示t时段内服务实例n在基站中所消耗的功率资源，

表示信道增益，

表示白噪声功率，分母代表通信速率；因此，

表示用户与基站间的接入延时。

其中，

表示第n个服务实例所在的基站位置

与第n个用户所迁移的基站位置

之间的跳数，m₀为权重系数。

1.3)当服务实例n需要迁移时，计算服务实例n在不同基站间迁移所产生的迁移延时

其中，

表示基站

与基站

之间的传输速率，

表示迁移服务实例n时所需要的数据大小，t₀表示启动服务迁移所需消耗的准备时间。若没有发生迁移，则令

1.4)将所有服务实例的总计算延时、传输延时和迁移延时求和，得到总延时T_total；

根据总延时建立优化问题P₁为：

P₁:

其中，

为示性函数，

表示

ξ_n表示服务实例n的重要程度，本文假设

令

表示参数集合，该参数可由卫星调控。C₀、W₀、P₀分别表示基站的CPU资源、基站的带宽资源、基站的功率资源。

上述步骤2)中，传统的代理迁移问题基于优化模型直接转换为相应的高维 MDP问题，转换方法为定义

表示t时隙的状态，显然状态空间的大小为M^2N，该数值过大难以求解。在传统的服务代理迁移问题中，大多采用深度强化学习的方法直接求解该高维MDP问题，该方法理论可解释性差，且性能好坏严重依赖于深度神经网络的参数选取。为摆脱传统方法的缺点，本发明提出两层解耦法，将优化问题P₁解耦成多个优化子问题，由多个优化子问题转换为多个低维MDP问题，并得到大小为N×M²的状态空间，以替代M^2N。

其中，两层解耦法，如图3所示，具体为：

第一层解耦采用变量解耦和直接解耦法：将优化问题P₁拆解成两部分，第一部分对计算资源(C)、带宽资源(W)和功率资源(P)采用变量解耦，将三个变量分别独立求解，得到优化后的子问题P₂；第二部分对迁移决策变量采用直接解耦优化，直接解耦成若干整数规划问题P₃；

具体为：

首先将目标函数改写为下式：

将原始的优化问题P₁可拆解成两部分，第一部分只优化变量C,W,P，本实施例将只优化变量C,W,P的问题表述为下述子问题P₂：

P₂:

由于C,W,P是连续性变量，因此上述问题是一个凸优化问题。优化问题P₁拆解成的第二部分主要负责优化迁移决策变量X，以每个基站为单位，将问题对X 的优化问题直接解耦成下述的整数规划问题P₃：

P₃:

至此完成优化问题的第一层解耦。

第二层解耦采用对偶解耦法：将各整数规划问题P₃经拉格朗日推导转化为二层主问题P₄与服务层子问题P₅；二层主问题P₄用于优化拉格朗日乘子，而服务层子问题P₅解耦后优化每个服务实例的决策变量X；服务层子问题P₅关于决策变量 X构成低维MDP问题。

具体为：

将整数规划问题P₃的拉格朗日函数写成下式：

其中，

是包含拉格朗日乘子的新目标函数，K(λ,μ,η)＝1λ^TC₀+1μ^TP₀+1η^TW₀是不含决策变量X的部分。基于上述拉格朗日推导，将整数规划问题P₃进一步转化为二层主问题P₄与服务层子问题P₅。

P₄:

s.t.λ≥0,μ≥0,η≥0

其中，P₄是第二层解耦的主问题，旨在优化拉格朗日乘子λ,μ,η。

P₅:

s.t.X∈M

其中，P₅是第二层解耦的子问题，该子问题解耦后针对服务实例。至此第二层解耦完毕，该层解耦实现了从针对基站的优化化解到针对每个服务实例的优化。由上述解耦可知，整数规划问题P₃针对每个基站进行优化，而服务层子问题P₅针对每个服务实例进行优化，优化粒度更细。至此完成上述步骤2)中的解耦部分，并得到各解耦后的子问题。

上述步骤2)中，将得到优化的服务层子问题P₅转换为低维MDP问题，求解解耦后的低维MDP问题，采用在服务层子问题P₅、主问题P₄和子问题P₂之间互相迭代计算，实现从针对基站的优化化解到针对每个服务实例的优化，包括以下步骤：

(1)对迁移决策变量X、计算资源C、带宽资源W和功率资源P及拉格朗日乘子λ,μ,η进行初始化；

(2)对每个时隙t＝1,2,...,T进行迭代计算，包括以下步骤：

(2.1)执行外层循环：循环变量为第三个服务实例n₃，如果满足迭代终止条件，则终止该外层循环；

其中，迭代终止条件为：

若||P(n₃)-P(n₃-1)||<∈&||W(n₃)-W(n₃-1)||<∈&||C(n₃)-C(n₃- 1)||<∈&(X(n₃)＝＝X(n₃-1)成立，则终止外层循环；

(2.1.1)执行第一个内循环：对所有基站m＝1,2,...,M遍历；

(2.1.1.1)求解子问题P₂中关于计算资源变量C的凸优化问题；

(2.1.1.2)继续执行第一个内循环，循环变量第一个服务实例n₁；

(2.1.1.3)求解子问题P₂中关于功率资源变量P的凸优化问题；

(2.1.1.4)求解子问题P₂中关于带宽资源变量W的凸优化问题；

(2.1.1.5)满足第一个内循环的迭代终止条件，则执跳出第一个内循环；

其中，第一个内循环的迭代终止条件为：

如果|P(n₁)-P(n₁-1)<∈||&||W(n₁)-W(n₁-1)<∈||，则执跳出第一个内循环；

(2.1.2)执行第二个内循环：循环变量第二个服务实例n₂；

(2.1.2.1)对基站m内的每个服务k＝1,2,...,N_m执行新的MDP模型训练，求解服务层子问题P5并输出每个服务实例的迁移决策变量；

具体为：

将前述步骤生成的变量C、P、W，及拉格朗日乘子等数据作为输入，并用策略迭代的方法训练新的MDP模型；

依据训练的结果，求解服务层子问题P₅并输出每个服务实例的迁移决策变量 X。

(2.1.2.2)更新拉格朗日乘子：

更新拉格朗日乘子

更新拉格朗日乘子

更新拉格朗日乘子

(2.1.2.3)若满足第二个内循环的迭代终止条件，则执跳出第二个内循环；

其中，第二个内循环的迭代终止条件为：

如果

则跳出第二个内层循环；

(3)将迭代计算得到的迁移决策变量、计算资源、带宽资源和功率资源作为输出。

上述各实施例中，还包括以下步骤：依据服务层子问题P₅确定低维MDP的状态空间、行动、转移概率和瞬时收益函数。

由于在优化问题P₁中，将t时隙的状态定义为

其状态空间大小为M^2N，若M＝10，N＝20，则 M^2N＝10⁴⁰，该状态空间过于庞大，难以求解。在本实施例中，基于本实施例采用的双层解耦方法，针对服务层子问题P₅，针对服务实例n，定义t时隙的状态空间为

显然该状态的状态空间大小为M²。定义行动(action)为

每次的动作发生在t时隙的起始时刻，采取动作后的状态从

变为

当用户发生移动后，状态从

变为S^t。下面介绍用户移动性：

本实施例假设用户遵从随机游走模型，每个用户以相等的概率转移到相邻的基站内或保持当前基站位置不动，令

表示服务实例n在t时隙可行的迁移集合，其中

表示该服务实例的邻居基站集合。为了简化计算，假设转移概率

其中f∈F_n ^t-1。

MDP模型下的效用函数为：

其中，||P(n₁)-P(n₁-1)||<∈&||W(n₁)-W(n₁-1)||<∈表示服务实例n在t 时隙的效用函数，

表示service n在t时段的收益，∈表示迭代收敛阈值。因此定义MDP收益函数：

其中，

代表迁移服务实例相比不迁移服务实例获得的增益。

综上，本发明通过两层解耦法将庞大的高维状态空间解耦为大量低维状态空间，从而解决天基边缘场景下的智能代理迁移问题。

实施例：

在仿真实例中，基站及移动设备的仿真参数如表1所示：

表1参数设计

本实施例中提出的两层解耦方法依据上述仿真参数选取，并与传统的持续迁移、不迁移、随机迁移对比性能，性能对比结果如图4、图5a、图5b所示。由此可知，本发明基于传统的策略迭代，采用双层解耦方法，解决了天基边缘场景下的服务迁移问题，使得高维状态空间得以分解，打破了对深度强化学习算法的依赖，提高了算法求解的稳定性。

在本发明的一个实施例中，提供一种卫星边缘智能代理的编排系统，其包括：优化问题确定模块和解耦转换模块；

优化问题确定模块，计算所有服务实例的总延时，根据总延时得到代理迁移问题对应的优化问题P₁；

解耦转换模块，将优化问题P₁解耦成若干子问题，由若干子问题转换形成低维MDP问题，求解解耦后的低维MDP问题，实现以最小延时为目的的智能代理按需迁移。

本实施例提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。

本发明一实施例中提供一种计算设备结构，该计算设备可以是终端，其可以包括：处理器(processor)、通信接口(Communications Interface)、存储器(memory)、显示屏和输入装置。其中，处理器、通信接口、存储器通过通信总线完成相互间的通信。该处理器用于提供计算和控制能力。该存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统和计算机程序，该计算机程序被处理器执行时以实现一种编排方法；该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、管理商网络、NFC(近场通信)或其他技术实现。该显示屏可以是液晶显示屏或者电子墨水显示屏，该输入装置可以是显示屏上覆盖的触摸层，也可以是计算设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。处理器可以调用存储器中的逻辑指令，以执行如下方法：

计算所有服务实例的总延时，根据总延时得到代理迁移问题对应的优化问题 P₁；将优化问题P1解耦成若干子问题，由若干子问题转换形成低维MDP问题，求解解耦后的低维MDP问题，实现以最小延时为目的的智能代理按需迁移。

此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以理解，上述计算设备的结构，仅仅是与本申请方案相关的部分结构，并不构成对本申请方案所应用于其上的计算设备的限定，具体的计算设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在本发明的一个实施例中，提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：计算所有服务实例的总延时，根据总延时得到代理迁移问题对应的优化问题P₁；将优化问题P1解耦成若干子问题，由若干子问题转换形成低维MDP问题，求解解耦后的低维MDP问题，实现以最小延时为目的的智能代理按需迁移。

在本发明的一个实施例中，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储服务器指令，该计算机指令使计算机执行上述各实施例提供的方法，例如包括：计算所有服务实例的总延时，根据总延时得到代理迁移问题对应的优化问题P₁；将优化问题P₁解耦成若干子问题，由若干子问题转换形成低维MDP问题，求解解耦后的低维MDP问题，实现以最小延时为目的的智能代理按需迁移。

上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和 /或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/ 或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。