CN111143054A - 一种异构国产cpu资源融合管理方法 - Google Patents

Abstract

本发明涉及一种异构国产CPU资源融合管理方法，属于计算机科学技术领域。本发明提出一种异构国产CPU资源融合管理方法，构建一套和硬件层有机结合的资源融合模型，为应用提供标准化的服务接口，屏蔽底层不同国产层之间的异构性以及硬件和操作系统之间的兼容问题，管理分布式系统中节点间的通信、节点资源和协调工作等，统一为上层应用提供服务，实现对异构CPU硬件设备的统一管控，提高资源利用率。

Description

一种异构国产CPU资源融合管理方法

技术领域

本发明属于计算机科学技术领域，具体涉及一种异构国产CPU资源融合管理方法。

背景技术

在国产CPU发展战略和自主政策的引导下，我国的CPU产业已经取得了巨大的突破，以飞腾、申威、龙芯等为首的国内厂商制造的CPU产品在性能上已经取得了长足的进步。国产CPU在架构和指令集的选择上存在不同，出现了多技术路线并行的局面。在当前国家和军队自主建设与转型的时期，国家和军队网络化资源环境中存在多国产CPU架构并存的问题。实现异构计算资源的统一管理，降低异构计算成本，提高资源利用率，为用户提供弹性可伸缩的异构资源环境，使得用户无需关注底层硬件，更加关注于业务发展的需求变得日益迫切。

为了解决国产化计算机单机性能较低难题，越来越多的方法倾向于利用云计算分布式架构，将多台国产化计算机组合成更大规模、更高性能的计算机集群，利用国产虚拟化技术，构建统一虚拟资源池，对外提供基础设施服务。但是当前，随着国家自主产业的发展，多种CPU架构的国产计算机应运而生，政府和军队采购了大量多CPU架构的国产主机。传统的利用单一CPU架构的容器虚拟化技术构建的虚拟资源池对外提供服务的方式已经不能满足需求。亟需研究一种对异构国产CPU资源融合管理方法，实现在应用层面对多种CPU架构的国产主机资源统一管控，提高资源利用率和运维效率。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何提出一种对异构国产CPU资源融合管理的方法，实现在应用层面对多种CPU架构的国产主机资源统一管控，提高资源利用率和运维效率。

(二)技术方案

为了解决上述技术问题，本发明提供了一种异构国产CPU资源融合管理方法，包括以下步骤：

步骤一、实现由服务器资源到虚拟计算资源的转换

步骤二实现虚拟计算资源融合模型的构建。

优选地，步骤一中，使用Docker容器技术实现不同CPU架构的服务器计算资源虚拟化，标准化封装应用程序所需的整个运行环境，实现分布式应用集群的自动化部署。

优选地，步骤一中，实现不同CPU架构的服务器计算资源虚拟化时运行容器的环境通过容器守护进程、驱动模块来实现；

容器守护进程是容器运行时系统中的后台进程，负责响应来自容器客户端的请求，然后将这些请求翻译成系统调用完成容器管理操作，该容器守护进程会在后台启动一个API服务，负责接收由容器客户端发送的请求，接收到的请求将通过容器守护进程内部的一个路由分发调度，再由具体的函数来执行请求；

驱动模块是实现系统调用的统一操作接口，提供了容器管理驱动、网络管理驱动、文件存储驱动，容器管理驱动是容器系统中用来管理容器的驱动，容器管理驱动通过守护进程提交的指令信息创建一份可以供Linux容器库解读的容器配置，Linux容器库根据这份配置，创建MOUNT、UTS、IPC、PID、NET这5个namespace以及相应的cgroups配置，从而创建出容器；网络管理驱动是对容器网络环境操作所进行的封装，提供了创建容器通信网络、容器网络命名空间、虚拟网卡、分配通信所需IP、服务访问端口和容器与宿主机之间的端口映射、设备hosts、resolv.conf、iptables；文件存储驱动是所有与容器镜像相关操作的最终执行者，在容器工作目录下维护一组与镜像层对应的目录，并记录下容器和镜像之间关系等元数据，从而将用户对镜像的操作映射为对这些目录文件及元数据的操作上。

优选地，步骤二中由底层向上构建虚拟计算资源融合模型，首先，利用资源监测与服务发现技术自动检测硬件设备资源使用状态，监测一种类型CPU架构的资源剩余量，实现搭建应用系统所需的各个容器的自动发现；然后，利用Service服务实现技术，将服务封装到容器的形式，通过与应用绑定，实现应用对各种服务的使用；最后，利用基于服务代理的实例通信技术进行上层应用与服务之间的通信，为应用提供所需的各种服务组件，最终做到应用系统层面的资源融合管理。

优选地，应用系统所需的各个容器包括应用系统中间件容器、应用系统数据库容器、应用系统的缓存容器。

优选地，步骤二中实现应用对数据库服务、中间件服务、缓存服务、计算、存储服务的使用。

优选地，步骤二具体包括：

步骤21、资源监测与服务发现步骤：

通过在容器中安装Agent代理，不断地向etcd发送存活信号，监控服务端从etcd读存活信号，服务发现实现方式是通过消息发布与订阅机制，监控代理节点在etcd中发布消息，监控服务端则使用Watch操作订阅监控代理节点注册的主题，一旦有容器注册，即相关主题有消息发布，就实时通知监控服务端，通过这种方式就实现容器的注册与发现，用户以及其他容器则可以访问已经注册过的容器，实现服务间的通信；

优选地，步骤二还包括：步骤22、Service服务实现步骤：

2.1服务实例镜像制作

首先制作服务实例，包括数据库服务、网络服务、中间件服务，具体步骤如下：

(1)启动运行空白的容器实例；

(2)将相应的服务组件程序装载到容器中编译运行和测试；

(3)将容器实例保存成镜像；

(4)将镜像打包上传和登记入库，容器服务镜像一旦制作上传成功，可以通过镜像服务查询并重复使用；

2.2服务与应用的绑定

通过将应用和服务绑定，实现应用能够访问所需服务；通过增加云控制器，实现应用与服务实例的绑定；

优选地，步骤二还包括：步骤23、基于服务代理的容器实例通信步骤。

优选地，步骤2.2中，通过增加云控制器，实现应用与服务实例的绑定具体为：

(1)启动服务网关，向云控制器发送心跳，作用是向云控制器结点发送一个注册请求，当云控制器接收到上述的请求后，它会向其数据库中插入一条该服务网关的信息，这样注册就生效了；

(2)服务网关查看云控制器的响应状态，若响应结果是成功，那么表示服务网关在云控制器中注册成功，至此服务网关和服务节点都已正常启动；

(3)每次在网关启动的时候需要向云控制器发送一个获取握手的命令，从而在云控制器结点中找到关于该网关负责服务的服务信息并返回；

(4)用户首先通过vmc create-service命令来创建服务实例，这条命令会被结点路由到云控制器结点中，由云控制器和服务网关通过HTTP请求进行类似注册操作的交互，使得服务节点中新建一个基础服务实例，然后用户在上传云应用时就将此基础服务实例和自己的应用进行绑定，为应用提供支持，当应用上传成功之后，用户通过vmc apps查看云应用的状态信息，包括应用和基础服务实例的绑定信息；

(5)当通过资源监测技术监测出容器运行故障或资源满负荷运行时，系会自动重新启动一个新的相同服务，返回步骤(1)。

(三)有益效果

本发明提出一种异构国产CPU资源融合管理方法，构建一套和硬件层有机结合的资源融合模型，为应用提供标准化的服务接口，屏蔽底层不同国产层之间的异构性以及硬件和操作系统之间的兼容问题，管理分布式系统中节点间的通信、节点资源和协调工作等，统一为上层应用提供服务，实现对异构CPU硬件设备的统一管控，提高资源利用率。

附图说明

图1为本发明基于容器的轻量级虚拟化软件栈架构示意图；

图2为本发明容器注册与发现机制原理图；

图3为本发明服务运行示意图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

本发明提供了一种异构国产CPU资源融合管理方法，包括以下步骤：

步骤一由服务器资源到虚拟计算资源的转换

不同的国产服务器设备采用的CPU架构不同，对虚拟化实现的方式不同。如国产飞腾FT1500A、兆芯ZX-C提供硬件辅助的虚拟化支持,可直接运行KVM虚拟化软件；龙芯3A2000采用软件实现虚拟化，需定制操作系统Loongnix-HKVM支持；申威1620生态封闭，需与神威睿思操作系统配合实现虚拟化。此外，运行在国产CPU上的虚拟机运行效率更低，计算虚拟化效率比物理机下降15％-20％，难以满足实际应用。Docker容器技术是基于内核层的虚拟化，无需硬件类型的支撑，同时省去了虚拟机系统的资源浪费，对于CPU虚拟化性能要求极低，可以更高效的利用国产化服务器的计算资源。

本步骤使用Docker容器技术实现不同CPU架构的服务器计算资源虚拟化，标准化封装应用程序所需的整个运行环境，实现分布式应用集群的快速、准确、自动化部署。轻量级容器使用了传统的Client-server架构模式(如图1)所示，容器运行时环境由容器守护进程、镜像维护、驱动模块组成。

容器守护进程是容器运行时系统中最核心的后台进程，负责响应来自容器客户端的请求，然后将这些请求翻译成系统调用完成容器管理操作，该进程会在后台启动一个API服务，负责接收由容器客户端发送的请求，接收到的请求将通过容器守护进程内部的一个路由分发调度，再由具体的函数来执行请求。

图管理组件负责维护已下载的镜像信息及它们之间的关系，图通过镜像层和每层的元数据来记录这些镜像的信息，用户发起的镜像管理操作最终都转换成了图对这些层和元数据的操作。

图数据库是基于SQLite的最简单版本的图形数据库，用于记录容器守护进程所维护所有容器节点以及它们之间的连接关系(边)，提供对节点增、删除、遍历、连接、所有的父子节点的查询等操作。

驱动模块是实现系统调用的统一操作接口，提供了容器管理驱动、网络管理驱动、文件存储驱动。容器管理驱动是容器系统中用来管理容器的驱动，容器管理驱动通过守护进程提交的指令信息创建一份可以供Linux容器库解读的容器配置，Linux容器库根据这份配置，创建MOUNT、UTS、IPC、PID、NET这5个namespace以及相应的cgroups配置，从而创建出容器。网络管理驱动是对容器网络环境操作所进行的封装，提供了创建容器通信网络、容器网络命名空间、虚拟网卡、分配通信所需IP、服务访问端口和容器与宿主机之间的端口映射、设备hosts、resolv.conf、iptables等。文件存储驱动是所有与容器镜像相关操作的最终执行者，在容器工作目录下维护一组与镜像层对应的目录，并记录下容器和镜像之间关系等元数据，从而将用户对镜像的操作映射为对这些目录文件及元数据的操作上，屏蔽不同文件存储实现对上层调用者的影响。

步骤二异构CPU虚拟计算资源融合模型的构建

由底层向上构建虚拟资源融合模型，首先，利用资源监测与服务发现技术自动检测硬件设备资源使用状态，监测某一类型CPU架构的资源剩余量，实现搭建应用系统所需的各个容器，如应用系统中间件容器、应用系统数据库容器、应用系统的缓存容器等的自动发现；然后，利用Service服务实现技术，将服务封装到容器的形式，通过与应用绑定，实现应用对各种服务如数据库服务、中间件服务、缓存服务、计算、存储服务等的使用。最后，利用基于服务代理的实例通信技术进行上层应用与服务之间的通信，为应用提供所需的各种服务组件，最终做到应用系统层面的资源融合管理，真正实现异构CPU计算资源的融合管理。

具体包括：

步骤21、资源监测与服务发现步骤：

资源监测是对服务器虚拟资源使用情况的监测，保证应用系统的正常运行。分布式系统中最常见的一个问题是处于相同的分布式集群中的服务或进程如何能发现对方并与对方建立连接，这也是服务发现要解决的问题。在底层系统中，也存在这样一个如何服务发现的问题，即新增加的应用所需环境的容器，如数据库容器、中间件容器、缓存容器如何才能被监控系统发现并添加到监控体系中。服务发现机制的本质是实时了解集群中是否有进程在监听IP或UDP端口，并通过服务的名称来进行查找和建立连接，保证应用迁移到新的CPU架构服务器中正常运行。

本发明通过在容器中安装Agent代理，不断地向etcd发送存活信号，监控服务端从etcd读存活信号，此项技术能够实现对容器状态及容器资源的监控，当容器运行出现故障或容器资源满负荷时，能够利用调度器重新启动新的容器，保证服务的正常运行。其中etcd是一个基于Raft算法的强一致性高可用的服务存储目录。

本发明的服务发现实现方式如下图(如图2)所示。通过消息发布与订阅机制，监控代理节点在etcd中发布消息，监控服务端则使用Watch操作订阅监控代理节点注册的主题，一旦有容器注册，即相关主题有消息发布，就会实时通知监控服务端。通过这种方式就实现了容器的注册与发现，用户以及其他容器则可以访问已经注册过的容器，实现服务间的通信。

步骤22、Service服务实现步骤：

服务层主要提供包括以下六种类型的服务：数据库服务，如：Redis、Mysql、Postgres等；基本计算、网络服务，中间件服务，如：东方通、金蝶、中创等；存储类服务，如：Vblob、Filesystem以及其他类型服务，如：Memcached分布式内存对象缓存服务、RabbitMQ消息队列等。服务层提供的服务为应用的运行提供支持。

2.1服务实例镜像制作

首先需要制作服务实例，包括上面提到的数据库服务、网络服务、中间件服务等，具体步骤如下所示：

(1)启动运行空白的容器实例；

(2)将相应的服务组件程序装载到容器中编译运行和测试；

(3)将容器实例保存成镜像；

(4)将镜像打包上传和登记入库。容器服务镜像一旦制作上传成功，可以通过镜像服务查询并重复使用。

2.2服务与应用的绑定

通过将应用和服务绑定，实现应用能够访问所需服务，示意图如下图(如图3)所示。

本发明通过增加云控制器模块，实现应用与服务实例的绑定，具体如下所示：

(1)启动服务网关，向云控制器发送心跳，作用是向云控制器结点发送一个注册请求。当云控制器接收到上述的请求后，它会向其数据库中插入一条该服务网关的信息，这样注册就生效了。

(2)服务网关会查看云控制器的响应状态，若响应结果是成功，那么表示服务网关在云控制器中注册成功。至此服务网关和服务节点都已正常启动，平台用户可以通过vmcservices命令来查看平台可以提供的全部基础服务。

(3)由于网关在工作过程中会用到一些服务配置和绑定的信息，而由于网关存储的信息都是在该结点上开辟内存来实现的，所以每次在网关启动的时候，都需要向云控制器发送一个获取握手的命令，从而在云控制器结点中找到关于该网关负责服务的服务信息并返回。

(4)用户首先需要通过vmc create-service命令来创建服务实例，这条命令会被结点路由到云控制器结点中，由云控制器和服务网关通过HTTP请求进行类似注册操作的交互，使得服务节点中新建一个基础服务实例。然后用户在上传云应用时就可以将此基础服务实例和自己的应用进行绑定，为应用提供支持。当应用上传成功之后，用户可以通过vmcapps查看云应用的状态信息，包括应用和基础服务实例的绑定信息。

(5)当通过步骤二的资源监测技术监测出容器运行故障或资源满负荷运行时，系统会自动重新启动一个新的相同服务，重复步骤(1)。

步骤23、基于服务代理的容器实例通信步骤：

在异构资源环境下的服务实例由于底层硬件架构不同，导致在一种架构如飞腾计算资源下新启动的服务难以与在其他架构如申威架构上运行的服务进行通信。本发明提出了基于服务代理的实例通信技术，提供一个强大的异步编程模型，可在服务实例之间完成高效可靠的异步通信。服务代理对象由服务(是消息发送和接收处理接口)、队列(存储发送和接收的消息)、约束(确定这个服务代理对象可以处理的消息规则)、消息类型(确定具体的消息结构)组成。同一硬件资源内的服务代理对象之间可以直接传递消息。如果要与其他硬件资源的服务代理对象传递消息，则必须在两种资源中分别创建路由来标识本资源外的服务代理对象。

在服务代理基础结构中，应用程序间的消息传递是“事务”和“异步”的。由于服务代理消息传递是事务性的，因此，如果某个事务回滚，则该事务中的所有服务代理操作都将回滚。在异步传递中，数据库引擎在应用程序继续运行时处理传递。为了提高伸缩性，服务代理提供了一些机制，当处理队列的程序需要进行一些必要的工作时，这些机制可以自动启动这些程序。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种异构国产CPU资源融合管理方法，其特征在于，包括以下步骤：

步骤一、实现由服务器资源到虚拟计算资源的转换

步骤二实现虚拟计算资源融合模型的构建。

2.如权利要求1所述的方法，其特征在于，步骤一中，使用Docker容器技术实现不同CPU架构的服务器计算资源虚拟化，标准化封装应用程序所需的整个运行环境，实现分布式应用集群的自动化部署。

3.如权利要求2所述的方法，其特征在于，步骤一中，实现不同CPU架构的服务器计算资源虚拟化时运行容器的环境通过容器守护进程、驱动模块来实现；

容器守护进程是容器运行时系统中的后台进程，负责响应来自容器客户端的请求，然后将这些请求翻译成系统调用完成容器管理操作，该容器守护进程会在后台启动一个API服务，负责接收由容器客户端发送的请求，接收到的请求将通过容器守护进程内部的一个路由分发调度，再由具体的函数来执行请求；

驱动模块是实现系统调用的统一操作接口，提供了容器管理驱动、网络管理驱动、文件存储驱动，容器管理驱动是容器系统中用来管理容器的驱动，容器管理驱动通过守护进程提交的指令信息创建一份可以供Linux容器库解读的容器配置，Linux容器库根据这份配置，创建MOUNT、UTS、IPC、PID、NET这5个namespace以及相应的cgroups配置，从而创建出容器；网络管理驱动是对容器网络环境操作所进行的封装，提供了创建容器通信网络、容器网络命名空间、虚拟网卡、分配通信所需IP、服务访问端口和容器与宿主机之间的端口映射、设备hosts、resolv.conf、iptables；文件存储驱动是所有与容器镜像相关操作的最终执行者，在容器工作目录下维护一组与镜像层对应的目录，并记录下容器和镜像之间关系等元数据，从而将用户对镜像的操作映射为对这些目录文件及元数据的操作上。

4.如权利要求2所述的方法，其特征在于，步骤二中由底层向上构建虚拟计算资源融合模型，首先，利用资源监测与服务发现技术自动检测硬件设备资源使用状态，监测一种类型CPU架构的资源剩余量，实现搭建应用系统所需的各个容器的自动发现；然后，利用Service服务实现技术，将服务封装到容器的形式，通过与应用绑定，实现应用对各种服务的使用；最后，利用基于服务代理的实例通信技术进行上层应用与服务之间的通信，为应用提供所需的各种服务组件，最终做到应用系统层面的资源融合管理。

5.如权利要求4所述的方法，其特征在于，应用系统所需的各个容器包括应用系统中间件容器、应用系统数据库容器、应用系统的缓存容器。

6.如权利要求4所述的方法，其特征在于，步骤二中实现应用对数据库服务、中间件服务、缓存服务、计算、存储服务的使用。

7.如权利要求4所述的方法，其特征在于，步骤二具体包括：

步骤21、资源监测与服务发现步骤：

通过在容器中安装Agent代理，不断地向etcd发送存活信号，监控服务端从etcd读存活信号，服务发现实现方式是通过消息发布与订阅机制，监控代理节点在etcd中发布消息，监控服务端则使用Watch操作订阅监控代理节点注册的主题，一旦有容器注册，即相关主题有消息发布，就实时通知监控服务端，通过这种方式就实现容器的注册与发现，用户以及其他容器则可以访问已经注册过的容器，实现服务间的通信。

8.如权利要求4所述的方法，其特征在于，步骤二还包括：步骤22、Service服务实现步骤：

2.1服务实例镜像制作

首先制作服务实例，包括数据库服务、网络服务、中间件服务，具体步骤如下：

(1)启动运行空白的容器实例；

(2)将相应的服务组件程序装载到容器中编译运行和测试；

(3)将容器实例保存成镜像；

(4)将镜像打包上传和登记入库，容器服务镜像一旦制作上传成功，可以通过镜像服务查询并重复使用；

2.2服务与应用的绑定

通过将应用和服务绑定，实现应用能够访问所需服务；通过增加云控制器，实现应用与服务实例的绑定。

9.如权利要求4所述的方法，其特征在于，步骤二还包括：步骤23、基于服务代理的容器实例通信步骤。

10.如权利要求4所述的方法，其特征在于，步骤2.2中，通过增加云控制器，实现应用与服务实例的绑定具体为：

(1)启动服务网关，向云控制器发送心跳，作用是向云控制器结点发送一个注册请求，当云控制器接收到上述的请求后，它会向其数据库中插入一条该服务网关的信息，这样注册就生效了；

(2)服务网关查看云控制器的响应状态，若响应结果是成功，那么表示服务网关在云控制器中注册成功，至此服务网关和服务节点都已正常启动；

(3)每次在网关启动的时候需要向云控制器发送一个获取握手的命令，从而在云控制器结点中找到关于该网关负责服务的服务信息并返回；

(4)用户首先通过vmc create-service命令来创建服务实例，这条命令会被结点路由到云控制器结点中，由云控制器和服务网关通过HTTP请求进行类似注册操作的交互，使得服务节点中新建一个基础服务实例，然后用户在上传云应用时就将此基础服务实例和自己的应用进行绑定，为应用提供支持，当应用上传成功之后，用户通过vmc apps 查看云应用的状态信息，包括应用和基础服务实例的绑定信息；

(5)当通过资源监测技术监测出容器运行故障或资源满负荷运行时，系会自动重新启动一个新的相同服务，返回步骤(1)。

Images