CN113256258A - 一种面向物联管理平台的微服务管理系统和调度方法 - Google Patents

Abstract

本发明公开了一种面向物联管理平台的微服务管理系统和调度方法，弹性伸缩组件旨在更高效地伸缩物联管理平台中的连接管理实例、运维实例以及数据处理实例，以满足业务层多样的动态化伸缩和部署需求。自动化运维组件用于在物联管理平台现有的海量并发设备接入和管理之上，增加了对设备拓扑和状态的感知，能快速、就近地将设备所需的升级固件等进行下发。本发明当业务层的微服务系统向物联管理平台提出设备管理及计算需求时，物理管理平台中的微服务系统能够自适应地结合业务层的约束限制，进行动态的子服务伸缩，在满足业务层的需求下，高效地利用物理管理平台资源，以支持海量设备管理和业务计算。

Description

一种面向物联管理平台的微服务管理系统和调度方法

技术领域

本发明涉及一种面向物联管理平台的微服务管理系统和调度方法，属于云计算和边缘计算技术领域。

背景技术

许多大型企业迫切地有面向海量并发设备接入和管理的需求，也有对复杂业务进行高效部署和计算的需求。因此，现有的工作已经在利用微服务的基础上，分别对这两个部分进行实现。也就是说，已在业务层和物联管理平台中分别构建了基于微服务的系统。

其中，业务层负责为企业提供各种复杂的业务计算；物联管理平台负责海量并发设备的接入和管理。而基于微服务的系统，本质上为，对一些复杂功能和服务进行子服务的拆分，并在其需要进行弹性伸缩时，自动地进行子服务实例的启动、扩容和管理。

然而，当业务层微服务系统和物联管理平台微服务系统需要进行协同工作的时候，会引入必要的交互和约束，给物联管理平台的弹性伸缩和自动化运维带来挑战，即：

业务层的微服务系统，其主要从业务逻辑功能的角度对业务进行拆分，每一个业务子服务的实例实现了一部分的业务逻辑功能。当每一个业务子服务均需要海量设备支撑的时候，这些业务子服务的并发实例，无形中会给物联管理平台的微服务系统带来压力。

例如，在电力物联网中，物联管理平台管理着海量设备所有的状态信息和管理信息，并对这些设备上报的采集数据、原始数据等进行简单处理后，交付业务层进行后续进一步地分析。也就是说，物联管理平台负责数据的经传；业务层的服务需要利用物联管理平台简单处理并输出的数据作为其输入，才能进行后续的处理。如果在业务层进行子服务的拆分，并启动大量实例与物联管理平台进行对接，那么物联管理平台所要维护并支持的连接功能实例也随之攀升。这其中，每一个业务层的实例均需要物联管理平台为其提供相应的设备对接和管理支持。虽然物联管理平台本身，已有基于微服务的动态伸缩，但其主要面向的场景是，当边缘设备数量扩容的时候，对设备进行简单的管理操作，如连接保持、固件维护和升级等。若业务层给予物联管理平台对接压力的时候，就要求了物联管理平台的微服务还能够结合业务的动态对接需求，启动相应的连接管理实例、运维实例以及简单数据处理实例等，以满足业务层需求。

因此，如何使物联管理平台，在满足现有业务层微服务系统动态需求变化的情况下，相应进行自身微服务系统的管理和调度，是本领域技术人员急需要解决的技术问题。

发明内容

目的：为了克服现有技术中存在的不足，本发明提供一种面向物联管理平台的微服务管理系统和调度方法。

技术方案：为解决上述技术问题，本发明采用的技术方案为：

一种面向物联管理平台的微服务管理系统，包括：弹性伸缩组件和自动化运维组件；

所述弹性伸缩组件用于获取业务层的伸缩需求、约束限制及当前物联管理平台的状态。

构建弹性部署优化模型。

求解弹性部署优化模型，获得决策所组成的向量。

根据决策所组成的向量对规则引擎实例与计算处理实例进行部署，将管理实例与计算实例对应。

所述自动化运维组件用于根据物联管理平台中设备管理功能模块内的设备影子和状态缓存信息，构建并维存边端设备的拓扑和状态，所述并维存边端设备的拓扑和状态，包含了对配置管理的抽象，有属性、事件、服务三个维度；当远程运维需要进行的时候，只需查询自动化运维中统一维护的信息，将具体操作，直接交付给就近的、在线的边缘物联代理即可。

一种面向物联管理平台的微服务管理系统的调度方法，包括如下步骤：

获取业务层的伸缩需求、约束限制及当前物联管理平台的状态。

构建弹性部署优化模型。

求解弹性部署优化模型，获得决策所组成的向量。

根据决策所组成的向量对规则引擎实例与计算处理实例进行部署，将管理实例与计算实例对应。

作为优选方案，还包括：根据物联管理平台中设备管理功能模块内的设备影子和状态缓存信息，构建并维存边端设备的拓扑和状态，所述并维存边端设备的拓扑和状态，包含了对配置管理的抽象，有属性、事件、服务三个维度；当远程运维需要进行的时候，只需查询自动化运维中统一维护的信息，将具体操作，直接交付给就近的、在线的边缘物联代理即可。

作为优选方案，所述弹性部署优化模型，计算公式如下：

min：f_t，1(I_t，Ψ_t)

f_t，2(I_t，ψ_t)≤F

其中，ψ_t为当前时刻t物联管理平台的状态，I_t为当前时刻t的物联管理平台决策所组成的向量，f_t，1为由ψ_t到I_t产生的资源开销，g_t(I_t)为约束限制，ξ_t为约束值，f_t，2为由状态ψ_t到I_t产生的部署时延，F为时延上限。

作为优选方案，所述

包括：

其中，

为业务层提出的约束限制；

为根据业务层子服务实例需求得到的物联管理平台约束限制。

作为优选方案，所述求解弹性部署优化模型，获得决策所组成的向量，包括如下步骤：

对I_t进行单步修正得到决策集合Θ{I_t}。

从决策集合Θ{I_t}中随机地挑选一个作为更新的第一部署I′_t。

在拓充域R(Θ{I_t})内对I′_t进行梯度求解并乘以更新的权重η，得到第二部署I′_t。

计算第一部署I′_t，第二部署I′_t对应的f_t，1的差值。

直到差值小于阈值τ，输出第二部署I′_t为决策所组成的向量。

作为优选方案，所述业务层通过中台微服务模块对复杂的业务功能进行子服务拆分和弹性伸缩；业务层包括：业务中台、中台微服务和数据中台。

作为优选方案，所述当前物联管理平台的状态包括：物联管理平台中设备的管理和计算现状ψ_t。

作为优选方案，在进行固件下发的时候给予边缘物联代理一定的权限，使之为终端设备提供缓存的固件，并在成功后将元信息上报至自动化运维组件；结合边缘物联代理连接的设备类型和边缘物联代理的存储条件进行固件的分配下发和权限下放。

有益效果：本发明提供的一种面向物联管理平台的微服务管理系统和调度方法，当业务层的微服务系统向物联管理平台提出设备管理及计算需求时，物理管理平台中的微服务系统能够自适应地结合业务层的约束限制，进行动态的子服务伸缩，在满足业务层的需求下，高效地利用物理管理平台资源，以支持海量设备管理和业务计算。

附图说明

图1为本发明的微服务管理系统架框示意图。

图2为本发明的微服务管理系统与物联管理平台、业务层的应用架构示意图。

图3为本发明的微服务管理系统调度方法示意图。

具体实施方式

下面结合具体实施例对本发明作更进一步的说明。

如图1所示，一种面向物联管理平台的微服务管理系统，包括：弹性伸缩组件和自动化运维组件。

弹性伸缩组件用于在物联管理平台现有的连接管理实例动态伸缩之上，增加了因业务层子服务实例拆分带来的额外的伸缩需求。不仅如此，弹性伸缩组件对于业务层所触发的一些北向管理指令，也进行了及时的响应。弹性伸缩组件旨在更高效地伸缩物联管理平台中的连接管理实例、运维实例(前两者简称为管理实例)以及数据处理实例(计算实例)，以满足业务层多样的动态化伸缩和部署需求。

自动化运维组件用于在物联管理平台现有的海量并发设备接入和管理之上，增加了对设备拓扑和状态的感知，能快速、就近地将设备所需的升级固件等进行下发。

如图2-3所示，一种面向物联管理平台的微服务管理系统的调度方法，包括如下步骤：

步骤(1)，面向物联管理平台的微服务管理系统中的弹性伸缩组件，在获取了业务层的伸缩需求和北向管理指令后，且在获取了当前物联管理平台的状态后，进行物联管理平台管理实例和计算实例的弹性部署。

步骤(2)，步骤(1)中提到的，弹性伸缩组件从业务层获取伸缩需求和北向管理指令，所述业务层通过中台微服务模块对复杂的业务功能进行子服务拆分和弹性伸缩。该业务层往往包含业务中台、中台微服务和数据中台。

一方面，业务层可以主动地通过物联管理平台提供的北向管理接口，向物联管理平台的微服务管理系统提出约束限制，如物联管理平台连接设备的最大并发数、运维的最大实例数及最大数据吞吐。这些约束限制的提出主要出于管理和监控的目的。那么，对于当前时隙t的，由业务层主动通过北向管理接口提出的约束限制可抽象为

其中：I_t表示当前时隙t的物联管理平台可进行决策所组成的向量。例如，物联管理平台中需要启动的管理实例和计算实例的数量，那么这些实例数量及其位置所构成的向量为I_t。g_t，1为一个多元函数，包含了多个维度，每一个维度均是业务层通过北向管理接口提出的一个约束限制，且该维度上的具体约束限制为ξ_t，1中对应维度上的值。由于业务层可以提出多个约束限制，因此是多维的关系，也即g_t，1与ξ_t，1呈偏序关系。

另一方面，业务层通过中台微服务模块对业务中台中的复杂业务进行基于微服务的拆分，拆分所得的每一个子服务实例均需要从业务层的数据中台中获取数据。因为业务层的数据中台中的数据来自于物联管理平台，实际上业务层每一个子服务实例都关联着物联管理平台中若干相关的计算实例(包括具体计算的计算处理实如Apache Flink，及规则引擎实例如Kafka，用于计算处理的规则制定，这里统称计算实例)，也就是物联管理平台中的，数据处理功能模块内的，计算处理组件所关联的计算实例。这些物联管理平台中的计算实例本质上，由面向物联管理平台的微服务管理系统所管理，并关联着物联管理平台中的设备管理功能模块内的各个组件及相关实例。例如，对于一个物联管理平台的计算实例来说，其需要1000个关联设备的原始数据并进行简单处理，那么物联管理平台除了开启这个计算实例外，还需开启相关的连接管理实例(如Zookeeper、MQTT等)、运维实例(如固件管理和升级，这两者统称为管理实例)，用于为这1000个设备的计算处理提供支持。那么，由这些业务层子服务实例需求引出的物联管理平台约束限制可以抽象为

其含义与由业务层主动通过北向管理接口提出的约束限制类似。这里需要说明的是，g_t，2虽可以表现为是关于实例部署I_t的函数(如一个计算实例需要配套产生至少5个连接实例，可记做：5*计算实例数<＝连接实例数；则g_t，2中的一个维度可为5*计算实例数/连接实例数，ξ_t，2对应维度上的限制值为1)，但实际上，该种联系需要物联管理平台自动地获取，并将其纳入到g_t，2的表达式中去。

这两类由业务层直接或者间接引出的，对物理管理平台的约束限制可以统一地表示为

那么，面向物联管理平台的微服务管理系统中的弹性伸缩组件，在动态地对其管理的子服务实例进行弹性伸缩时(子服务实例包括连接管理实例、运维实例和计算实例)，就需要考虑到这些约束限制，这也是传统的微服务系统所没有考虑的。

步骤(3)，步骤(1)中提到的，弹性伸缩组件从当前物联管理平台获取状态，所述状态包含，当前时刻t，物联管理平台中设备的管理和计算现状ψ_t。也就是，面向物联管理平台的微服务管理系统中的弹性伸缩组件，在动态调整子服务实例(包括管理实例和计算实例)之前，需要了解当前一共有多少设备联入物理管理平台，关联已开启了多少连接管理实例、运维实例和计算实例(这些因素往往现有的微服务系统并不考虑)，以及这些实例的部署位置和互相的管理关系。不仅如此，面向物联管理平台的微服务管理系统中的弹性伸缩组件，还需要了解整个物联管理平台服务器的可用资源及分布情况。利用当前可用资源，物联管理平台进行实例部署可产生的实际效果可以表示为f_t(I_t，ψ_t)。这里需要说明的是，虽然面向物联管理平台的微服务管理系统，决策的是一个新的实例部署I_t，但f_t本质上刻画的是由现状ψ_t到I_t产生的影响变化。例如，f_t，1可为由现状ψ_t到I_t产生的资源开销；f_t，2还可为由现状ψ_t到I_t产生的部署时延。

步骤(4)，步骤(1)中提到的，弹性伸缩组件进行物联管理平台管理实例和计算实例的弹性部署，所述弹性部署建立在以下优化问题的基础之上，优化问题为：

min：f_t，1(I_t，ψ_t)

f_t，2(I_t，ψ_t)≤F.

该问题的含义是，在部署时延可控，且满足所有业务层限制约束的情况下，尽可能节省物联管理平台微服务部署的资源开销。其中F表示该时隙内，完成子服务实例部署决策后，执行子服务实例部署的时延上限。这里一般假设资源开销f_t，1(I_t，ψ_t)不会超过整个物联管理平台所能提供的资源，否则就无法进行有效部署。

由于I_t中包含了实例部署的数量和位置，本质上是离散的决策，因此，所有I_t所构成的集合并非连续的凸集合，使得高效的求解变得困难。甚至在一般情况下，该问题为NP难问题。因此，本实施例提出基于梯度改进的求解方案。

具体而言，对于任何一个已有的部署I_t而言(初始时为ψ_t)，在其基础上可以进行单步修正所得到的决策集合定义为

在这里，单步修正的含义为，仅能改变I_t中的一个维度，且修正后的决策不会破坏原问题中定义的任何约束。那么，可以从这个决策集合

中随机地挑选一个作为更新的部署I′_t。也就是

如果直接使用I′_t的效果更好，那么可以替换已有的部署I_t(这是传统的局部搜索算法)。本实施例在此基础上，对I′_t的使用进行修改，具体如下：

这里需要说明的是，I_t的修改更新是建立在自身的基础之上。对于当前已有的新部署方案I′_t，可以通过梯度的计算获取更新的偏差，并将该偏差应用到对I_t的更新中去，其中η为更新的权重。然而，I′_t及其定义域离散，无法进行梯度求解，所以本实施例考虑的是

也就是，现在可以进行梯度求解的范围内进行梯度的获取，再将I′_t值代入，起到更新的效果。那么具体的，这里可以进行梯度求解的范围χ实质上就是

的拓充域

这里拓充的概念为，将

拓展成为最小的囊括

的凸集合。最后，由于求解的梯度未必是整数，所以计算所得的更新结果

为实数。继而本实施例对其进行各个维度的四舍五入，以达到取整的效果，最终获得I_t。在该过程中，圆整也会破坏原问题中既定的约束，本实施例中对其可以适当放宽，也即严格时延小于F的约束可以尽力满足，但不强求。无论如何，所得到的部署结果是可操作的。

本实施例不断迭代地进行该项更新，直到两次相邻的部署使f_t，1的变化小于阈值τ。接着本实施例将所得I_t具体部署到物联管理平台中。

步骤(5)，步骤(4)中提到的将I_t具体部署到物联管理平台中，对于所述决策中的计算实例部分，包括规则引擎实例的部署与计算处理实例的部署。该实例部署完成后，即在逻辑功能层面，直接完成与业务层的对接，能够使得设备上传的数据经由简单的处理分析后，交付业务层的数据中台。然而，如果没有物联管理平台中管理实例的相应变化，即连接实例与运维实例的弹性伸缩，是无法支持物理管理平台计算实例的运行。

步骤(6)，步骤(4)中提到的将I_t具体部署到物联管理平台中，对于所述决策中的连接实例和运维实例，按照函数g_t，2中指示的关联关系，将管理实例与计算实例对应，以完成整体部署。这里需要说明的是，在算法I_t圆整过程中不能破坏g_t，2的约束也正是因为，在管理实例部署的时候需要利用到该关系进行实例部署操作。

步骤(7)，本实施例额外对运维实例的运行机制进行些许改动，以支持更高效的运维管理业务(有面向物联管理平台的微服务管理系统中的自动化运维模块支持)。具体而言，传统上，当一个设备接入时，会触发物联管理平台中设备管理功能模块内的各个组件，其先后次序包括设备注册、设备影子、物模型、权限管理、状态缓存以及最后的远程运维。且该远程运维实例的功能为，按需进行固件的更新和修复。

然而，在该过程中，远程运维实例直接与边缘的物联代理甚至是终端的设备进行交互，每一个实例所维护的设备数目十分庞大，且需要大量的远程运维实例支持才能进行运维操作。不仅如此，若是需要进行固件更新，如果远程运维为每一个设备均进行固件下发，那么会带来严重的管理和传输开销。

因此，本实施例利用物联管理平台中设备管理功能模块内的设备影子和状态缓存信息，在物联管理平台微服务模块中的自动化运维组件内构建并维存边端设备的拓扑和状态(包含了对配置管理的抽象，有属性、事件、服务三个维度)。那么，当远程运维需要进行的时候，只需查询自动化运维中统一维护的信息，将诸如固件下发等具体操作，直接交付给就近的、在线的边缘物联代理即可。

这样带来的好处是，后续离线的或是新加入的终端设备无需再从物理管理平台进行固件获取，而是直接从就近在线的边缘物联代理处获取即可，节省了通信与传输开销。自动化运维在进行固件下发的时候会给予边缘物联代理一定的权限，使之可以为终端设备提供缓存的固件，并在成功后将元信息上报至自动化运维组件即可。自动化运维组件会结合边缘物联代理连接的设备类型和边缘物联代理的存储条件进行固件的分配下发和权限下放。那些未连接边缘物联代理的设备仍旧按照原先的远程运维方式进行。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种面向物联管理平台的微服务管理系统，其特征在于：包括：弹性伸缩组件，

所述弹性伸缩组件用于获取业务层的伸缩需求、约束限制及当前物联管理平台的状态；构建弹性部署优化模型；求解弹性部署优化模型，获得决策所组成的向量；根据决策所组成的向量对规则引擎实例与计算处理实例进行部署，将管理实例与计算实例对应。

2.根据权利要求1所述的一种面向物联管理平台的微服务管理系统和调度方法，其特征在于：还包括：自动化运维组件，所述自动化运维组件用于根据物联管理平台中设备管理功能模块内的设备影子和状态缓存信息，构建并维存边端设备的拓扑和状态，所述并维存边端设备的拓扑和状态，包含了对配置管理的抽象，有属性、事件、服务三个维度；当远程运维需要进行的时候，只需查询自动化运维中统一维护的信息，将具体操作，直接交付给就近的、在线的边缘物联代理即可。

3.一种面向物联管理平台的微服务管理系统的调度方法，其特征在于：包括如下步骤：

获取了业务层的伸缩需求、约束限制及当前物联管理平台的状态；

构建弹性部署优化模型；

求解弹性部署优化模型，获得决策所组成的向量；

根据决策所组成的向量对规则引擎实例与计算处理实例进行部署，将管理实例与计算实例对应。

4.根据权利要求3所述的调度方法，其特征在于：还包括：根据物联管理平台中设备管理功能模块内的设备影子和状态缓存信息，构建并维存边端设备的拓扑和状态，所述并维存边端设备的拓扑和状态，包含了对配置管理的抽象，有属性、事件、服务三个维度；当远程运维需要进行的时候，只需查询自动化运维中统一维护的信息，将具体操作，直接交付给就近的、在线的边缘物联代理即可。

5.根据权利要求3所述的调度方法，其特征在于：所述弹性部署优化模型，计算公式如下：

min：f_t，1(I_t，ψ_t)

f_t，2(I_t，ψ_t)≤F

其中，ψ_t为当前时刻t物联管理平台的状态，I_t为当前时刻t的物联管理平台决策所组成的向量，f_t，1为由ψ_t到I_t产生的资源开销，g_t(I_t)为约束限制，ξ_t为约束值，f_t，2为由状态ψ_t到I_t产生的部署时延，F为时延上限。

6.根据权利要求5所述的调度方法，其特征在于：所述

包括：

其中，

为业务层提出的约束限制；

为根据业务层子服务实例需求得到的物联管理平台约束限制。

7.根据权利要求3所述的调度方法，其特征在于：所述业务层通过中台微服务模块对复杂的业务功能进行子服务拆分和弹性伸缩；业务层包括：业务中台、中台微服务和数据中台。

8.根据权利要求3所述的调度方法，其特征在于：所述当前物联管理平台的状态包括：物联管理平台中设备的管理和计算现状ψ_t。

9.根据权利要求4所述的调度方法，其特征在于：在进行固件下发的时候给予边缘物联代理一定的权限，使之为终端设备提供缓存的固件，并在成功后将元信息上报至自动化运维组件；结合边缘物联代理连接的设备类型和边缘物联代理的存储条件进行固件的分配下发和权限下放。

Images