CN111736983A - 一种面向任务和资源感知的微服务部署方法 - Google Patents

Abstract

本发明公开了一种面向任务和资源感知的微服务部署方法，包括以下步骤：建立临机任务的任务流程，选择已有微服务流程中若干微服务和任务流程中的活动节点间建立委托关系，得到集群节点的任务感知能力；根据任务感知能力进行微服务的部署，若一个集群节点的资源满足部署一个完整的微服务流程，则将微服务流程完整的部署到一个集群节点上；否则按照基于委托关系的微服务为核心的最长关键路径顺次部署微服务流程中的前后微服务；剩余未部署的微服务在不考虑委托关系的情况下进行部署。本发明有效的保证微服务流程能够聚集在一个物理节点，提升了系统运行时为协作完成临机任务流程的各微服务之间的通信效率。

Description

一种面向任务和资源感知的微服务部署方法

技术领域

本发明属于节点任务部署技术领域，具体涉及一种面向任务和资源感知的微服务部署方法。

背景技术

在需要集成已有若干已建立的微服务流程，去处理临机发生的任务，以及部署由各微服务流程集成构成的一个大的系统时，由于不同软件供应商独立开发的微服务系统一般都各自独立部署，当出现微服务集群节点资源受限时，同系统的微服务被任意拆分到不同节点部署，破坏了原系统的完整性，降低了集成微服务系统运行时内部微服务之间的通信效率，并且不会考虑部署后协同完成任务的微服务之间的通信效率。

传统的部署技术无法适应微服务集群节点资源受限的情况，具体来说是微服务系统的部署没有从任务感知和资源感知两个方面实现有效的自动化部署，使得本属于一个任务的微服务不能部署在资源指标满足的同一个服务节点上，因此，在此基础上研究微服务面向任务和资源感知的部署成为迫切需要解决的问题。

发明内容

本发明针对现有技术中的不足，提供一种面向任务和资源感知的微服务部署方法，能够将微服务以任务为单元的组织形式高效、灵活地部署到不同资源条件的集群节点上，有效的保证微服务流程能够聚集在一个物理节点，完成通过委托关系建立的任务-微服务功能。

为实现上述目的，本发明采用以下技术方案：

一种面向任务和资源感知的微服务部署方法，包括以下步骤：

建立临机任务的任务流程，选择已有微服务流程中若干微服务和任务流程中的活动节点间建立委托关系，得到集群节点的任务感知能力，所述任务感知能力包括微服务集群系统节点的资源感知能力和委托关系；

根据任务感知能力进行微服务的部署，若一个集群节点的资源满足部署一个完整的微服务流程，则将微服务流程完整的部署到一个集群节点上；若一个集群节点的资源不满足部署一个完整的微服务流程，则根据任务感知原则，按照基于委托关系的微服务为核心的最长关键路径顺次部署微服务流程中的前后微服务；

剩余未部署的微服务在不考虑委托关系的情况下进行部署。

为优化上述技术方案，采取的具体措施还包括：

进一步地，上述建立临机任务的任务流程，选择已有微服务流程中若干微服务和任务流程中的活动节点间建立委托关系包括以下步骤：

构建基于任务-微服务委托关系的具有任务感知能力的分层过程模型；

建立分层过程模型中描述临机任务流程的系统网模型；

建立分层过程模型中描述多个微服务流程的子网模型；

在所述系统网模型和所述子网模型之间建立任务-微服务委托关系。

进一步地，上述根据任务感知能力进行微服务的部署，若一个集群节点的资源满足部署一个完整的微服务流程，则将微服务流程完整的部署到一个集群节点上具体包括以下步骤：

分别计算微服务集群节点和子网模型的资源指标，并将资源指标由大致小排序；

尝试将资源指标最大的子网模型部署到资源指标最大的微服务集群节点，若部署成功，生成对应的部署策略并继续尝试下一个子网模型；若部署失败，创建队列1、队列2和队列3，将部署失败的子网模型放入队列1中。

进一步地，上述分别计算微服务集群节点和子网模型的资源指标，并将资源指标由大致小排序包括以下步骤：

定义资源指标，所述资源指标用于描述子网模型对内存和CPU资源的占用情况以及微服务集群节点的内存和CPU资源的剩余情况，所述子网模型的资源指标计算公式为：

所述微服务集群节点的资源指标计算公式为：

其中，

为该子网模型要消耗的CPU资源与所有微服务集群节点的可用CPU单位总和的比值；

为所有子网模型的CPU单位总值与所有微服务集群节点的CPU单位总和的比值，即此次部署任务中CPU资源的重要程度；

为子网模型要消耗的内存资源与所有微服务集群节点的可用内存的比值；

为所有子网模型的内存与所有微服务集群节点的内存总和的比值，即此次部署任务中内存资源的重要程度；

为微服务集群节点可用的CPU资源与所有微服务集群节点的可用CPU单位总和的比值；

表示该微服务集群节点可用的内存资源与所有微服务集群节点的可用内存总和的比值。

进一步地，上述根据任务感知能力进行微服务的部署，若一个集群节点的资源不满足部署一个完整的微服务流程，则根据任务感知原则，按照基于委托关系的微服务为核心的最长关键路径顺次部署微服务流程中的前后微服务包括以下步骤：

通过微服务路径算法找出一个子网模型中包含具有委托关系的微服务最多的链路并标记为关键路径，计算关键链路能否部署在微服务集群节点上；

若能够部署则生成部署策略，分析子网模型剩余结构，若子网模型剩余结构中还包含具有委托关系的微服务，则将子网模型剩余结构放入队列2中，否则将子网模型剩余结构放入队列3中；

通过面向任务的微服务广度优先遍历算法处理队列2中的子网模型剩余结构，将具有同组委托关系的微服务部署在同一台微服务集群节点上，若能够部署则生成部署策略，否则将子网模型剩余结构放入队列3中。

进一步地，上述计算关键链路能否部署在微服务集群节点上包括以下步骤：

将具有委托关系的微服务赋予大于零的权重，将不具有委托关系的微服务权重置零；

比较子网模型中各链路的权重，然后按照权重由大到小将链路排序；

尝试将将权重最大的链路部署在同一台微服务集群节点上，若能够部署，记部署成功的链路为关键链路，若不能部署，将找到这条链路中具有委托关系的微服务的权重置零，递归寻找下一条关键路径。

进一步地，上述面向任务的微服务广度优先遍历算法处理的子网模型为有向图结构，广度遍历方向为前后双向均同时延伸一个微服务，每次延伸均尝试部署微服务，直到找到能部署的最大子网模型后停止。

进一步地，上述剩余未部署的微服务在不考虑委托关系的情况下进行部署包括以下步骤：

重新计算剩余未部署的子网模型和微服务集群节点队列中的物理机的资源指标并分别按照资源指标由大到小排序；

尝试将队列3中资源指标最大的子网模型部署到资源指标最大的微服务集群节点上，若能够部署则生成部署策略，否则返回无法部署结果。

本发明的有益效果是：

本发明提供的一种面向任务和资源感知的微服务部署方法通过建立临机任务的任务流程，选择已有微服务流程上若干微服务与任务流程上的活动任务节点间建立一种委托关系，进而根据委托关系将微服务高效、灵活地部署到微服务集群节点上，有效的保证微服务流程能够聚集在一个物理节点，提升了系统运行时为协作完成临机任务流程的各微服务之间的通信效率。

附图说明

图1为本发明的方法流程示意图。

图2是本发明的面向任务和资源感知的微服务部署算法流程示意图。

图3为本发明的任务执行过程示意图。

图4为本发明的分层过程模型结构示意图。

图5为本发明的实时情报系统关键路径示意图。

图6为本发明的最终部署结果示意图。

具体实施方式

现在结合附图1—6对本发明作进一步详细的说明。

需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

如图1所示，在本发明的其中一个实施例中，提供一种面向任务和资源感知的微服务部署方法，所述方法可以应用于微服务集群节点中，其解决的核心问题是：如何集成已有若干已建立的微服务流程，去处理临机发生的任务，并能够依据微服务集群系统的当前节点资源状态来部署该任务的微服务，从而建立任务和资源感知的微服务部署方法。在治安系统需要搜寻失踪人员或犯罪人员时，通常需要收集各个区域的实时监控数据，这些数据包括监控的中的人脸信息、人员全身图像信息和干扰信息(如周边环境)。对于人员密集的图像，需要经过图像处理机制，提取传递的图像特征，从而根据图像特征在搜索引擎中进行查询，查询数据汇总到信息汇集系统。最后，这些数据图像和人员身份信息会一并传递给人员搜寻系统，进行人工或智能的综合分析以及结果输出。

在本发明的其中一个实施例中，一种面向任务和资源感知的微服务部署方法，包括以下步骤：

步骤1：建立临机任务的任务流程，选择已有微服务流程中若干微服务和任务流程中的活动节点间建立委托关系，得到集群节点的任务感知能力，所述任务感知能力包括微服务集群系统节点的资源感知能力和委托关系；

在本实施例中，建立临机任务的任务流程，选择已有微服务流程中若干微服务和任务流程中的活动节点间建立委托关系包括以下步骤：

构建基于任务-微服务委托关系的具有任务感知能力的分层过程模型；

建立分层过程模型中描述临机任务流程的系统网模型；

建立分层过程模型中描述多个微服务流程的子网模型；

在所述系统网模型和所述子网模型之间建立任务-微服务委托关系。

在本发明的其中一个实施例中，确定包含集成约束的集成系统的系统执行过程(系统网模型)和各子系统的行为执行过程(子网模型)，在集成系统执行过程的关键任务和各子系统行为执行过程之间根据集成约束条件建立委托关系，生成分层过程模型。

首先确定集成系统执行过程，如图3所示，由四个任务活动——信息采集、信息处理、综合分析和输出结果构成的任务执行过程，其中信息处理、综合分析为关键活动。

其中三个子系统的行为执行过程分别包括以下时序步骤：

实时监控系统：1.区域监控服务。2.区域监控信息处理服务。3.监控信息区域

图像智能AI系统：1.图像采集。2.确定训练集规模。3.进行算法识别，算法识别有两种方式，分别是：深度学习算法识别和普通机器学习算法识别。4.图像情报处理。

信息汇聚系统：1.信息汇聚查询。2.多库分解查询代理。3.分别进行宾馆入住人员库、网咖用户库和民宿入住人员库的查询。4、查询信息综合。

接着确定各子系统行为执行过程，该系统由实时监控系统、图像智能AI系统、信息汇聚系统构成。人员搜寻系统首先进行信息采集过程；然后进行信息处理过程，过程中首先分别将1号区域监控服务b和2号区域监控服务b的信息发送给实时监控系统处理，然后获取的所有信息还会发送给图像智能AI系统进行深度算法识别；再接下来进行情报汇集过程，过程中情报分析系统将1号区域监控信息处理服务和2号区域监控信息处理服务信息汇集，将信息汇聚后存入信息汇集系统以便查询；最后进行结果判别并输出的过程。在集成系统执行过程的关键活动和各子系统行为执行过程之间根据集成约束条件建立委托关系。由四个活动信息采集、信息处理、综合分析、输出结果所组成的任务链过程用系统网表示，底层执行系统中 3个过程系统(实时监控系统、图像智能AI系统、信息汇聚系统)的构件行为用子网表示，在系统网和子网之间建立了协同集(用虚线箭头表示)，表示任务链执行过程的关键任务和各子系统行为执行过程之间根据集成约束条件建立的委托关系的形式化表示，建立分层过程模型，如图4所示。

步骤2：根据任务感知能力进行微服务的部署，若一个集群节点的资源满足部署一个完整的微服务流程，则将微服务流程完整的部署到一个集群节点上；若一个集群节点的资源不满足部署一个完整的微服务流程，则根据任务感知原则，按照基于委托关系的微服务为核心的最长关键路径顺次部署微服务流程中的前后微服务；

如图2所示，在本实施例中，根据任务感知能力进行微服务的部署，若一个集群节点的资源满足部署一个完整的微服务流程，则将微服务流程完整的部署到一个集群节点上具体包括以下步骤：

定义资源指标，所述资源指标用于描述子网模型对内存和CPU资源的占用情况以及微服务集群节点的内存和CPU资源的剩余情况，分别计算微服务集群节点和子网模型的资源指标，

子网模型的资源指标计算公式为：

微服务集群节点的资源指标计算公式为：

其中，

为该子网模型要消耗的CPU资源与所有微服务集群节点的可用CPU单位总和的比值；

为所有子网模型的CPU单位总值与所有微服务集群节点的CPU单位总和的比值，即此次部署任务中CPU资源的重要程度；

为子网模型要消耗的内存资源与所有微服务集群节点的可用内存的比值；

为所有子网模型的内存与所有微服务集群节点的内存总和的比值，即此次部署任务中内存资源的重要程度；

为微服务集群节点可用的CPU资源与所有微服务集群节点的可用CPU单位总和的比值；

表示该微服务集群节点可用的内存资源与所有微服务集群节点的可用内存总和的比值。并将资源指标由大致小排序；

尝试将资源指标最大的子网模型部署到资源指标最大的微服务集群节点，若部署成功，生成对应的部署策略并继续尝试下一个子网模型；若部署失败，创建队列1、队列2和队列3，将部署失败的子网模型放入队列1中。

根据任务感知能力进行微服务的部署，若一个集群节点的资源不满足部署一个完整的微服务流程，则根据任务感知原则，按照基于委托关系的微服务为核心的最长关键路径顺次部署微服务流程中的前后微服务包括以下步骤：

通过微服务路径算法找出一个子网模型中包含具有委托关系的微服务最多的链路并标记为关键路径，计算关键链路能否部署在微服务集群节点上，计算步骤为：

将具有委托关系的微服务赋予大于零的权重，将不具有委托关系的微服务权重置零；

比较子网模型中各链路的权重，然后按照权重由大到小将链路排序；

尝试将将权重最大的链路部署在同一台微服务集群节点上，若能够部署，记部署成功的链路为关键链路，若不能部署，将找到这条链路中具有委托关系的微服务的权重置零，递归寻找下一条关键路径。

若能够部署则生成部署策略，分析子网模型剩余结构，若子网模型剩余结构中还包含具有委托关系的微服务，则将子网模型剩余结构放入队列2中，否则将子网模型剩余结构放入队列3中；

通过面向任务的微服务广度优先遍历算法处理队列2中的子网模型剩余结构，将具有同组委托关系的微服务部署在同一台微服务集群节点上，面向任务的微服务广度优先遍历算法处理的子网模型为有向图结构，广度遍历方向为前后双向均同时延伸一个微服务，每次延伸均尝试部署微服务，直到找到能部署的最大子网模型后停止。

若能够部署则生成部署策略，否则将子网模型剩余结构放入队列3中。

在本发明的其中一个实施例中，模拟了在实际部署场景下，上述微服务系统部署到服务器集群的过程。表格1列出了已有服务器资源，表格2列出微服务所需资源：

表格1

表格2

利用部署算法判断三个微服务子网能否完整存入某个服务器中。经过计算资源与资源指标(实时监控系统资源指标：0.575；图像智能AI系统资源指标：0.398；信息汇集系统资源指标：0.267)，由大到小排序进行处理。实时情报系统无法被完整部署在一台服务器，进入队列1。图像智能AI微服务子网消耗CPU资源为2750milicpu，消耗RAM资源为1664M，优先被完整部署在服务器1中，部署之后，服务器1所剩资源为：1250millicpu，2336M。信息汇集微服务子网消耗CPU资源为2250milicpu，消耗RAM资源为1152M，可被完整部署在服务器3中，部署之后，服务器3所剩资源为：450milicpu、2248M。

接下来，找出实时情报微服务子网中包含具有委托关系的微服务数量最多的路径，为关键路径，判断能否部署。发现满足条件的路径有两条，如图5，顺序进行计算资源并尝试部署(图中每个齿轮表示一个微服务，标红微服务表示属于情报处理任务委托下的微服务，标蓝微服务表示属于综合分析任务委托下的微服务)。第一条微服务链消耗CPU资源为 2200milicpu，消耗RAM资源为896M，仍无法被部署到一台服务器上。第二条同上无法部署。将实时监控系统放入队列2中。

以1号区域监控服务b为起点，进行面向任务的微服务广度优先遍历，已部署在服务器 1的深度学习算法识别与1号区域监控服务b属于同一组委托关系，尝试部署在同一台服务器上。部署之后，服务器1所剩资源为：250millicpu，1824M。

以2号区域监控服务b为起点，进行面向任务的微服务广度优先遍历，因为已部署在服务器1的深度学习算法识别、1号区域监控服务b与2号区域监控服务b属于同一组委托关系，尝试部署在同一台服务器上。经计算202旅团情报服务只能单独被部署在服务器1上。部署之后，服务器1所剩资源为：0millicpu，1696M。然后，以1号区域监控信息处理服务为起点，进行面向任务的微服务广度优先遍历，因为与已部署在服务器3的查询信息综合属于同一组委托关系，尝试部署在同一台服务器上。经计算1号区域监控信息处理服务只能单独被部署在服务器3上。部署之后，服务器3所剩资源为：0millicpu，2120M。

步骤3：最后剩余的不具有委托关系的微服务，重新计算剩余未部署的子网模型和微服务集群节点队列中的物理机的资源指标并分别按照资源指标由大到小排序；

尝试将队列3中资源指标最大的子网模型部署到资源指标最大的微服务集群节点上，若能够部署则生成部署策略，否则返回无法部署结果。部署结果为图6所示。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (8)

1.一种面向任务和资源感知的微服务部署方法，其特征在于，包括以下步骤：

建立临机任务的任务流程，选择已有微服务流程中若干微服务和任务流程中的活动节点间建立委托关系，得到集群节点的任务感知能力，所述任务感知能力包括微服务集群系统节点的资源感知能力和委托关系；

根据任务感知能力进行微服务的部署，若一个集群节点的资源满足部署一个完整的微服务流程，则将微服务流程完整的部署到一个集群节点上；若一个集群节点的资源不满足部署一个完整的微服务流程，则根据任务感知原则，按照基于委托关系的微服务为核心的最长关键路径顺次部署微服务流程中的前后微服务；

剩余未部署的微服务在不考虑委托关系的情况下进行部署。

2.根据权利要求1所述的面向任务和资源感知的微服务部署方法，其特征在于，所述建立临机任务的任务流程，选择已有微服务流程中若干微服务和任务流程中的活动节点间建立委托关系包括以下步骤：

构建基于任务-微服务委托关系的具有任务感知能力的分层过程模型；

建立分层过程模型中描述临机任务流程的系统网模型；

建立分层过程模型中描述多个微服务流程的子网模型；

在所述系统网模型和所述子网模型之间建立任务-微服务委托关系。

3.根据权利要求2所述的面向任务和资源感知的微服务部署方法，其特征在于，所述根据任务感知能力进行微服务的部署，若一个集群节点的资源满足部署一个完整的微服务流程，则将微服务流程完整的部署到一个集群节点上具体包括以下步骤：

分别计算微服务集群节点和子网模型的资源指标，并将资源指标由大致小排序；

尝试将资源指标最大的子网模型部署到资源指标最大的微服务集群节点，若部署成功，生成对应的部署策略并继续尝试下一个子网模型；若部署失败，创建队列1、队列2和队列3，将部署失败的子网模型放入队列1中。

4.根据权利要求3所述的面向任务和资源感知的微服务部署方法，其特征在于，所述分别计算微服务集群节点和子网模型的资源指标，并将资源指标由大致小排序包括以下步骤：

定义资源指标，所述资源指标用于描述子网模型对内存和CPU资源的占用情况以及微服务集群节点的内存和CPU资源的剩余情况，所述子网模型的资源指标计算公式为：

所述微服务集群节点的资源指标计算公式为：

其中，

为该子网模型要消耗的CPU资源与所有微服务集群节点的可用CPU单位总和的比值；

为所有子网模型的CPU单位总值与所有微服务集群节点的CPU单位总和的比值，即此次部署任务中CPU资源的重要程度；

为子网模型要消耗的内存资源与所有微服务集群节点的可用内存的比值；

为所有子网模型的内存与所有微服务集群节点的内存总和的比值，即此次部署任务中内存资源的重要程度；

为微服务集群节点可用的CPU资源与所有微服务集群节点的可用CPU单位总和的比值；

表示该微服务集群节点可用的内存资源与所有微服务集群节点的可用内存总和的比值。

5.根据权利要求2所述的面向任务和资源感知的微服务部署方法，其特征在于，所述根据任务感知能力进行微服务的部署，若一个集群节点的资源不满足部署一个完整的微服务流程，则根据任务感知原则，按照基于委托关系的微服务为核心的最长关键路径顺次部署微服务流程中的前后微服务包括以下步骤：

通过微服务路径算法找出一个子网模型中包含具有委托关系的微服务最多的链路并标记为关键路径，计算关键链路能否部署在微服务集群节点上；

若能够部署则生成部署策略，分析子网模型剩余结构，若子网模型剩余结构中还包含具有委托关系的微服务，则将子网模型剩余结构放入队列2中，否则将子网模型剩余结构放入队列3中；

通过面向任务的微服务广度优先遍历算法处理队列2中的子网模型剩余结构，将具有同组委托关系的微服务部署在同一台微服务集群节点上，若能够部署则生成部署策略，否则将子网模型剩余结构放入队列3中。

6.根据权利要求5所述的面向任务和资源感知的微服务部署方法，其特征在于，所述计算关键链路能否部署在微服务集群节点上包括以下步骤：

将具有委托关系的微服务赋予大于零的权重，将不具有委托关系的微服务权重置零；

比较子网模型中各链路的权重，然后按照权重由大到小将链路排序；

尝试将将权重最大的链路部署在同一台微服务集群节点上，若能够部署，记部署成功的链路为关键链路，若不能部署，将找到这条链路中具有委托关系的微服务的权重置零，递归寻找下一条关键路径。

7.根据权利要求5所述的面向任务和资源感知的微服务部署方法，其特征在于，所述面向任务的微服务广度优先遍历算法处理的子网模型为有向图结构，广度遍历方向为前后双向均同时延伸一个微服务，每次延伸均尝试部署微服务，直到找到能部署的最大子网模型后停止。

8.根据权利要求5所述的面向任务和资源感知的微服务部署方法，其特征在于，所述剩余未部署的微服务在不考虑委托关系的情况下进行部署包括以下步骤：

重新计算剩余未部署的子网模型和微服务集群节点队列中的物理机的资源指标并分别按照资源指标由大到小排序；

尝试将队列3中资源指标最大的子网模型部署到资源指标最大的微服务集群节点上，若能够部署则生成部署策略，否则返回无法部署结果。

Images