CN115328651A - 基于国产vpx服务器的轻量化微云系统 - Google Patents

Abstract

基于国产VPX服务器的轻量化微云系统。涉及国产信息系统领域。VPX服务器包括国产CPU，采用国产操作系统，在所述VPX服务器设有至少四个计算模块，所述计算模块采用3+N部署模式，其中所述的3个计算模块设立为管理节点，并形成集群部署模式，另所述N个计算模块设立为计算节点。所述管理节点运行的服务组件包括：接口服务器、控制器、调度器、计算代理、网络代理和元数据库，所述计算节点运行的服务组件包括：计算代理、网络代理和反向代理。本发明通过反向代理技术，降低了管理节点的负载，尤其是在计算节点较多的情况下，可靠性、稳定性高；更突显该技术的优势。

Description

基于国产VPX服务器的轻量化微云系统

技术领域

本发明涉及国产信息系统领域，尤其涉及基于国产VPX服务器的轻量化微云系统。

背景技术

随着信息技术的发展及应用环境的复杂化，基于国产VPX服务器构建的传统国产信息系统变得越来越庞大，软硬件之间、服务模块间、前后台之间紧耦合严重，烟囱式孤岛效应突显，导致国产信息系统存在可靠性不强、高可用机制不完善、资源利用率低、资源管理复杂、负载不均衡、迭代升级能力弱等问题，无法充分发挥国产VPX服务器的计算效能，满足不了国产信息系统适应多样化任务、协同联合的发展需求。

发明内容

本发明针对以上技术问题，提供了一种对资源进行统管，能合理进行服务调度，实现系统轻量化、高可用的运行，进而可以支撑国产信息系统的高效稳定、可靠运行的基于国产VPX服务器的轻量化微云系统。

本发明的技术方案是：VPX服务器包括国产CPU，采用国产操作系统，在所述VPX服务器设有至少四个计算模块，所述计算模块采用3+N部署模式，其中所述的3个计算模块设立为管理节点，并形成集群部署模式，另所述N个计算模块设立为计算节点。

所述管理节点运行的服务组件包括：接口服务器、控制器、调度器、计算代理、网络代理和元数据库，

所述计算节点运行的服务组件包括：计算代理、网络代理和反向代理；

在所述管理节点和计算节点上还共同运行有容器引擎和网络插件，此外，在所述管理节点上还包括：计算代理、网络代理和反向代理；

3个所述管理节点中的控制器和调度器均采用资源抢占机制实现集群部署模式；3个所述管理节点中的元数据库采用主从选举机制实现集群部署模式；

所述反向代理基于负载均衡机制分别连接3个所述管理节点中各自的接口服务器，实现请求的分发。

进一步地，运行于所述管理节点之上的所述元数据库采用采用“1主2从”集群部署模式，以Systemd方式分别运行3个管理节点之上，替代静态容器组启动方式，提升数据访问效率和元数据可靠性；容器引擎、网络插件、采集器和服务发现组件以“部署”或“守护进程集”类型形式即运行于管理节点又运行于计算节点，为微云环境中微应用提供网络、状态监控及服务注册发现等提供支撑。

进一步地，运行于所述管理节点之上的控制器、调度器、计算代理和网络代理采用本地IP地址配置接口服务器的访问入口，提升服务间访问效率，所述接口服务器采用配置集群地址的方式设置所述元数据库集群的访问入口，保障微云元数据访问的可靠性。采用内部集群IP方式暴露代替传统主从切换组件提供统一的微云管理访问入口。

进一步地，采用前置部署方式将所述反向代理以静态容器组方式部署于各所述计算节点之上，反向代理配置3个接口服务器访问地址，通过所述反向代理将运行于所述计算节点的计算代理请求按照负载策略分发至运行于各所述管理节点之上的接口服务器并由其并行处理请求，提升微云环境的整体负载水平。

进一步地，还包括数据存储访问模块，所述数据存储访问模块包括数据缓存服务、监视器和负载均衡器，

所述数据缓存服务和监视器运行于所述管理节点和/或计算节点之上；所述监视器采用1主2从模式运行，所述数据缓存服务与所述监视器一一对应，监视器周期性监视数据缓存服务的运行状态，主从数据缓存服务间基于快照机制实现数据同步；

所述负载均衡器运行于微云环境之上，以LB服务访问方式提供数据缓存服务访问入口。

进一步地，所述监视器通过配置发现并基于心跳检测机制周期性检查数据缓存服务所在计算模块及其他监视器的在线状态，基于选举算法选取主监视器，主监控器所在计算模块被标为主节点，主节点之上数据缓存服务升级为主数据缓存服务，其余计算模块、数据缓存服务、监视器被标记为“从”，形成“1主2从3监视器”部署模式。

进一步地，基于同步规则主数据缓存服务将在主节点产生数据快照发送给从数据缓存服务，以快照数据为基准，将之后增量的数据变更所对应命令同步给从数据缓存服务，从而保持主从数据缓存服务中数据一致性，实现数据冗余和可靠性。

进一步地，采用负载均衡器配置主从数据缓存服务对外入口地址，屏蔽入口地址管理复杂度，以轮循方式自动识别主数据缓存服务地址提供给客户端连接，保持主、从数据缓存服务切换对客户端访问的透明性。

进一步地，负载均衡器采用的“部署”类型为：以副本数量为3的方式部署于微云环境之上，并配置互斥策略，使得3个负载均衡器尽量分散运行于微云环境的3个计算节点之上，始终处于期望运行状态，保障其高可靠性。

进一步地，采用软LB服务访问方式为负载均衡器提供固定、唯一的IP地址，微应用或外部客户端通过访问该IP使用高效、可靠的数据存储服务。

本发明基于国产VPX服务器构建轻量化、分布式的微云环境，为微应用提供管理、调度及高可用等服务能力，支撑国产信息系统“云+端”应用模式，此外，基于微云环境提供高效的、高可用的数据存储、访问机制，保障数据一致性和服务访问的透明性，保障业务数据的高可靠性，保障国产信息系统稳定、可靠、高效运行。

本发明系统将国产硬件平台进行适配优化，具有以下几个显著效果：

第一，将国产VPX计算模块构建为微云环境，实现了资源统管；

第二，服务的高可用，至少3个管理节点的部署和设计，实现了任意计算模块发生故障时，微云环境是可用的。计算模块和服务发生故障时，服务可自动“迁移”到其他板卡上运行，进而实现了故障检测、迁移和恢复；

第三，数据的高可用，采用了物理和云化相结合的部署模式，通过三个“监视器（服务）”对所有的数据缓存服务进行状态的监控和检测，如果任一数据缓存服务发生故障，或该数据缓存服务所在的板卡发生故障，通过选主机制实现故障的迁移和恢复；

第四，提升了数据存储和访问的性能，通过云化LB服务，提供VIP（虚拟IP）入口，具体地说通过负载均衡服务来管理这三个入口，形成统一的一个入口，为客户端提供数据，实现“负载均衡”。

此外，本发明的3+N式及反向代理的架构设计，通过分布式算法，采用1主2从的冗余架构设计，在任意管理节点（板卡）出现问题时，进行选主操作，实现了管理节点仍可用。通过反向代理技术，降低了管理节点的负载，尤其是在计算节点较多的情况下，可靠性、稳定性高；更突显该技术的优势。

附图说明

图1是本发明中国产VPX服务器的结构示意图；

图2是本发明中微云环境部署的原理图；

图3是本发明中数据存储访问模块原理图；

图4是本发明数据存储访问模块中主监视器出现异常的示意图；

图5是本发明数据存储访问模块中监视器重新上线的示意图。

具体实施方式

本发明如图1-5所示：VPX服务器包括国产CPU，采用国产操作系统，在VPX服务器设有至少四个计算模块，计算模块采用3+N部署模式，其中3个计算模块设立为管理节点，并形成集群部署模式，另N个计算模块设立为计算节点。以图1中VPX服务器为例，含有8个计算模块，模块配置为CPU：2路龙芯3A4000处理器（飞腾、申威等国产芯片）、主频1.5GHz，内存：32G，硬盘：1TB，计算模块安装操作系统为中标麒麟服务器操作系统（或银河麒麟）。

管理节点运行的服务组件包括：接口服务器、控制器、调度器、计算代理、网络代理和元数据库，

计算节点运行的服务组件包括：计算代理、网络代理和反向代理；

在管理节点和计算节点上还共同运行有容器引擎和网络插件，此外，在管理节点上还包括：计算代理、网络代理和反向代理。

3个管理节点中的控制器和调度器均采用资源抢占机制实现集群部署模式；3个管理节点中的元数据库采用主从选举机制实现集群部署模式；

反向代理基于负载均衡机制分别连接3个管理节点中各自的接口服务器，实现请求的分发。

在图2中微云环境基于1台国产VPX服务器共计8个计算模块构建，采用“3+N”部署模式，3个计算模块作为管理节点使用，形成集群部署模式，5个计算模块作为计算节点使用，管理节点主要运行接口服务器、控制器、调度器、计算代理、网络代理和元数据库等服务组件，计算节点主要运行计算代理、网络代理和反向代理等服务组件，容器引擎、网络插件等部分服务组件作为基础组件在管理节点和计算节点之上同时运行，不影响微云环境部署模式。

其中接口服务器提供了微云环境中各种资源对象的增、删、改、查及Watch等Restful接口，成为微云环境中各个功能模块之间数据交互和通信的中心枢纽，是整个微云的数据总线和数据中心。

控制器作为微云环境的管理控制中心，负责微云环境内计算节点、容器副本、服务端点、命名空间、服务账号和资源配额等管理，当某个计算节点计划性停机或意外宕机，控制器能够及时发现此故障并执行自动化修复流程，确保微云环境始终处于预期的工作状态。

调度器负责微云环境上容器的调度，根据调度策略通过执行一系列预选和优选算法，最终为每个容器分配一个最佳的目标节点。

元数据库主要用于存储微云环境的基础信息，包含元数据、网络、资源对象、运行状态等。

计算代理用于接收并处理管理节点下发到本节点的任务，同时管理运行在本节点上微应用。

网络代理监听到服务或端点变化时，会在本机生成相应的转发规则，实现服务对象与后端容器的映射。

反向代理提供负载均衡功能，将计算代理请求分发至不同的接口服务器并行处理。

进一步地，运行于管理节点之上的所述元数据库采用采用“1主2从”集群部署模式，以Systemd方式分别运行3个管理节点之上，替代静态容器组启动方式，提升数据访问效率和元数据可靠性；容器引擎、网络插件、采集器和服务发现组件以“部署”或“守护进程集”类型形式即运行于管理节点又运行于计算节点，为微云环境中微应用提供网络、状态监控及服务注册发现等提供支撑。

微云环境中如果主管理节点所在计算模块发生故障，从管理节点通过选举机制，遵循半数原则获取半数选票以上的从管理节点升级为主管理节点，接续微云环境的管理功能，承担微云环境的管理和调度职责，保障微云环境的稳定运行。构建微云环境具体方法如下：

运行于管理节点之上的控制器和调度器采用静态容器组方式运行，创建3个运行实例，分别运行3个管理节点之上，形成“1主2从”集群部署模式。作为有状态服务采用资源锁抢占机制实现服务选主，保障其自身的可靠性，只有主服务对外提供服务，从控制器和从调度器处于等待状态，并没有真正运行自身逻辑。

运行于管理节点之上的接口服务器采用静态容器组形式运行，创建3个运行实例，分别运行3个管理节点之上。作为无状态服务，3个接口服务器实例无主从之分，能够同时接收并处理客户端请求，降低单个管理节点上接口服务器的负载水平，提升请求响应性能。

运行于管理节点之上的元数据库采用Systemd方式运行，替代静态容器组启动方式，分别运行3个管理节点之上，形成“1主2从”集群部署模式。主从元数据库服务采用Raft算法保持数据一致性，并对外提供服务，保障微云环境中元数据的可靠性；此外，通过优化元数据库启动时间，同时增加元数据库定时备份机制，进一步提供元数据库性能和稳定性。

进一步地，运行于管理节点之上的控制器、调度器、计算代理和网络代理采用本地IP地址配置接口服务器的访问入口，提升服务间访问效率，接口服务器采用配置集群地址的方式设置元数据库集群的访问入口，保障微云元数据访问的可靠性。采用内部集群IP方式暴露代替传统主从切换组件提供统一的微云管理访问入口。避免因计算模块间网络产生抖动或网络流量较高时心跳包延迟，导致主从切换组件产生脑裂现象，影响微云环境的稳定性。

进一步地，采用前置部署方式将反向代理以静态容器组方式部署于各计算节点之上，反向代理配置3个接口服务器访问地址，通过反向代理将运行于计算节点的计算代理请求按照负载策略分发至运行于各管理节点之上的接口服务器并由其并行处理请求，提升微云环境的整体负载水平。

同时，反向代理具备功能简洁、资源消耗较低等特性，有利于微云环境中计算节点数量的快速扩展；采用内部集群IP方式暴露代替传统主从切换组件提供统一的微云管理访问入口，避免因计算模块间网络产生抖动或网络流量较高时心跳包延迟，导致主从切换组件产生脑裂现象，影响微云环境的稳定性。

容器引擎、网络插件、采集器、服务发现等通用服务组件以“部署”或“守护进程集”类型形式即运行于管理节点又运行于计算节点，为微云环境中微应用提供网络、状态监控及服务注册发现等提供支撑。

国产信息系统的微应用以微云管理访问入口作为调用接口发送请求，根据调度策略进行微应用的创建、运行并保障其健康状态。

进一步地，还包括数据存储访问模块，数据存储访问模块包括数据缓存服务、监视器和负载均衡器，

数据缓存服务和监视器运行于所述管理节点和/或计算节点之上；监视器采用1主2从模式运行，数据缓存服务与所述监视器一一对应，监视器周期性监视数据缓存服务的运行状态，主从数据缓存服务间基于快照机制实现数据同步；负载均衡器运行于微云环境之上，以LB服务访问方式提供数据缓存服务访问入口。

进一步地，监视器通过配置发现并基于心跳检测机制周期性检查数据缓存服务所在计算模块及其他监视器的在线状态，基于选举算法选取主监视器，主监控器所在计算模块被标为主节点，主节点之上数据缓存服务升级为主数据缓存服务，其余计算模块、数据缓存服务、监视器被标记为“从”，形成“1主2从3监视器”部署模式。

进一步地，基于同步规则主数据缓存服务将在主节点（根据前述1主2从的技术措施，系统选举出的主监视器）产生数据快照发送给从数据缓存服务，以快照数据为基准，将之后增量的数据变更所对应命令同步给从数据缓存服务，从而保持主从数据缓存服务中数据一致性，实现数据冗余和可靠性。

进一步地，采用负载均衡器配置主从数据缓存服务对外入口地址，屏蔽入口地址管理复杂度，以轮循方式自动识别主数据缓存服务地址提供给客户端连接，保持主、从数据缓存服务切换对客户端访问的透明性。

进一步地，负载均衡器采用的“部署”类型为：以副本数量为3的方式部署于微云环境之上，并配置互斥策略，使得3个负载均衡器尽量分散运行于微云环境的3个计算节点之上，始终处于期望运行状态，保障其高可靠性。

进一步地，采用软LB服务访问方式为负载均衡器提供固定、唯一的IP地址，微应用或外部客户端通过访问该IP使用高效、可靠的数据存储服务。

在图3中基于国产硬件环境特性，为提升数据存储和同步性能，数据同步访问模块采用物理和微云环境相结合的部署模式，具体方法如下：在图3中基于国产硬件环境特性，为提升数据存储和同步性能，数据同步访问模块采用物理和微云环境相结合的部署模式，具体方法如下：

数据缓存服务和监视器以Systemd方式运行于VPX服务器中3个计算模块（N个中的任意三个）之上，监视器附着于数据缓存服务，3个监视器组成监控系统；

监测系统通过配置发现并基于心跳检测机制周期性检查数据缓存服务所在计算模块及其他监视器的在线状态，基于选举算法选取主监视器，主监控器所在计算模块被标为主节点，主节点之上数据缓存服务升级为主数据缓存服务，其余计算模块、数据缓存服务、监视器被标记为“从”，形成“1主2从3监视器”部署模式。

基于同步规则主数据缓存服务将在主节点产生数据快照发送给从数据缓存服务，以快照数据为基准，将之后增量的数据变更所对应命令同步给从数据缓存服务，从而保持主从数据缓存服务中数据一致性，实现数据冗余和可靠性。

采用负载均衡器配置主从数据缓存服务对外入口地址，屏蔽入口地址管理复杂度，以轮循方式自动识别主数据缓存服务地址提供给客户端连接，保持主从数据缓存服务切换对客户端访问的透明性。

负载均衡器采用“部署”类型以副本数量为3方式部署于微云环境之上，并配置互斥策略，使得3个负载均衡器尽量分散运行于微云环境的3个计算节点之上，始终处于期望运行状态，保障其高可靠性。

采用软LB服务访问方式为负载均衡器提供固定、唯一的IP地址，微应用或外部客户端通过访问该IP使用高效、可靠的数据存储服务。

图3中VIP表示为虚拟IP，图中三个数据缓存服务，有三个独立的入口。通过负载均匀服务来管理该三个入口，形成统一的入口，为客户端提供数据，实现负载均匀。

在图4中如果主监视器有效回复心跳检测时间超过设定的阈值且指定时间内超过半数监视器认定心跳检测超时成立，则主节点会被标记为下线状态，触发监视器选主机制，获得半数以上选票的监视器升级为主监视器，主监视器将其附着的从数据缓存服务切换成主服务，其他从监视器切换对应的数据同步对象至主数据缓存服务，实现数据缓存服务自动化故障转移。

在图5中当下线主节点重新上线，该节点上监视器默认进入从模式并将该节点上数据缓存服务设置为新主的从服务，并向主数据缓存服务发送同步请求，进行数据同步，不影响既有的主从服务关系。

本发明通过基于国产VPX服务器构建轻量化微云环境并提供数据存储及访问方法，一方面在使得国产信息系统在复杂度可控的前提下，提供可靠云服务能力，支撑国产信息系统“云+端”模式，使其具有良好的快速交付、迭代重构、容错恢复以及自主可控等特性；另一方面，提供微应用的业务数据快速存取、透明访问等功能，并保障数据的高可用性，从而提升国产VPX服务器使用效率和保障国产信息系统高效、稳定、可靠运行。

本发明并不局限于上述实施例，在本发明公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本发明的保护范围内。

Claims (10)

1.基于国产VPX服务器的轻量化微云系统，VPX服务器包括国产CPU，采用国产操作系统，在所述VPX服务器设有至少四个计算模块，其特征在于，所述计算模块采用3+N部署模式，其中所述的3个计算模块设立为管理节点，并形成集群部署模式，另所述N个计算模块设立为计算节点；

所述管理节点运行的服务组件包括：接口服务器、控制器、调度器、计算代理、网络代理和元数据库，

所述计算节点运行的服务组件包括：计算代理、网络代理和反向代理；

在所述管理节点和计算节点上还共同运行有容器引擎和网络插件，此外，在所述管理节点上还包括：计算代理、网络代理和反向代理；

3个所述管理节点中的控制器和调度器均采用资源抢占机制实现集群部署模式；3个所述管理节点中的元数据库采用主从选举机制实现集群部署模式；

所述反向代理基于负载均衡机制分别连接3个所述管理节点中各自的接口服务器，实现请求的分发。

2.根据权利要求1所述的基于国产VPX服务器的轻量化微云系统，其特征在于，运行于所述管理节点之上的所述元数据库采用采用“1主2从”集群部署模式，以Systemd方式分别运行3个管理节点之上，替代静态容器组启动方式，提升数据访问效率和元数据可靠性；容器引擎、网络插件、采集器和服务发现组件以“部署”或“守护进程集”类型形式即运行于管理节点又运行于计算节点，为微云环境中微应用提供网络、状态监控及服务注册发现等提供支撑。

3.根据权利要求1所述的基于国产VPX服务器的轻量化微云系统，其特征在于，运行于所述管理节点之上的控制器、调度器、计算代理和网络代理采用本地IP地址配置接口服务器的访问入口，提升服务间访问效率，所述接口服务器采用配置集群地址的方式设置所述元数据库集群的访问入口，保障微云元数据访问的可靠性；采用内部集群IP方式暴露代替传统主从切换组件提供统一的微云管理访问入口。

4.根据权利要求1所述的基于国产VPX服务器的轻量化微云系统，其特征在于，采用前置部署方式将所述反向代理以静态容器组方式部署于各所述计算节点之上，反向代理配置3个接口服务器访问地址，通过所述反向代理将运行于所述计算节点的计算代理请求按照负载策略分发至运行于各所述管理节点之上的接口服务器并由其并行处理请求，提升微云环境的整体负载水平。

5.根据权利要求1所述的基于国产VPX服务器的轻量化微云系统，其特征在于，还包括数据存储访问模块，所述数据存储访问模块包括数据缓存服务、监视器和负载均衡器，

所述数据缓存服务和监视器运行于所述管理节点和/或计算节点之上；所述监视器采用1主2从模式运行，所述数据缓存服务与所述监视器一一对应，监视器周期性监视数据缓存服务的运行状态，主从数据缓存服务间基于快照机制实现数据同步；

所述负载均衡器运行于微云环境之上，以LB服务访问方式提供数据缓存服务访问入口。

6.根据权利要求5所述的基于国产VPX服务器的轻量化微云系统，其特征在于，所述监视器通过配置发现并基于心跳检测机制周期性检查数据缓存服务所在计算模块及其他监视器的在线状态，基于选举算法选取主监视器，主监控器所在计算模块被标为主节点，主节点之上数据缓存服务升级为主数据缓存服务，其余计算模块、数据缓存服务、监视器被标记为“从”，形成“1主2从3监视器”部署模式。

7.根据权利要求5所述的基于国产VPX服务器的轻量化微云系统，其特征在于，基于同步规则主数据缓存服务将在主节点产生数据快照发送给从数据缓存服务，以快照数据为基准，将之后增量的数据变更所对应命令同步给从数据缓存服务，从而保持主从数据缓存服务中数据一致性，实现数据冗余和可靠性。

8.根据权利要求5所述的基于国产VPX服务器的轻量化微云系统，其特征在于，采用负载均衡器配置主从数据缓存服务对外入口地址，屏蔽入口地址管理复杂度，以轮循方式自动识别主数据缓存服务地址提供给客户端连接，保持主、从数据缓存服务切换对客户端访问的透明性。

9.根据权利要求5所述的基于国产VPX服务器的轻量化微云系统，其特征在于，负载均衡器采用的“部署”类型为：以副本数量为3的方式部署于微云环境之上，并配置互斥策略，使得3个负载均衡器尽量分散运行于微云环境的3个计算节点之上，始终处于期望运行状态，保障其高可靠性。

10.根据权利要求5所述的基于国产VPX服务器的轻量化微云系统，其特征在于，采用软LB服务访问方式为负载均衡器提供固定、唯一的IP地址，微应用或外部客户端通过访问该IP使用高效、可靠的数据存储服务。

Images