CN111290832B - 一种基于国产硬件平台的虚拟化系统优化方法 - Google Patents

Abstract

本发明公开了一种基于国产硬件平台的虚拟化系统优化方法，本发明包括采用分布式存储实现存储虚拟化，不设立单独的存储节点，将计算节点上的存储连接形成存储池；将物理服务器作为虚拟机使用，云管理平台将此物理服务器作为虚拟机进行管理。本发明针对分布式存储性能优化，提出CRUSH算法优化、传输路径优化、分层缓存优化三种方式，分别针对小文件均匀分布、最优读写路径选择、数据缓存设计实现存储的整体性能提升；本发明采用基于硬件虚拟化的方式，将物理服务器作为虚拟机使用，云管理平台将此服务器作为一个虚拟机进行管理，可以实现虚拟机的生命周期管理、迁移、快照等基本功能，实现虚拟化效率与物理机基本一致。

Description

一种基于国产硬件平台的虚拟化系统优化方法

技术领域

本发明涉及虚拟化系统技术领域，具体地说是一种基于国产硬件平台的虚拟化系统优化方法。

背景技术

在边缘应用场景下，一般具有空间有限、设备数量少、性能差等问题，为满足边缘端对计算能力的需求，需要在有限的空间中尽可能提升系统性能，但是当前国产硬件平台性能较差，其虚拟化能力相对较弱，需通过虚拟化系统优化技术，满足战术边缘场景下的大数据、AI计算等应用需求。国产硬件平台虚拟化包含计算虚拟化、存储虚拟化、网络虚拟化，其虚拟化能力主要体现在虚拟化效率和虚拟机运行速度两方面。目前，网络虚拟化已基本达到物理机的性能，所以计算虚拟化和存储虚拟化成为提升国产平台虚拟化性能的关键点。自主平台中计算虚拟化的损耗较高，虚拟化效率相对较低，严重影响虚拟机的性能；存储虚拟化采用分布式存储技术，其性能表现直接影响虚拟机的运行速度，但当前自主平台性能低于X86平台性能，需要进行重点优化。

超融合架构是软件定义的基础架构，物理资源被抽象成资源池、被共享使用，有统一的、简洁的管理界面，可以实现一体化管理，基础架构扩展和维护简单。将计算和存储进行深度融合，打造硬件设备和平台功能高度兼容的环境，硬件资源与平台服务进行适配和调优，为应用系统提供基础资源及运行环境的弹性扩展能力。

同时监控和管理飞腾、龙芯、申威等服务器，不同CPU架构的服务器都能通过统一的管理界面进行统一操作，通过封装标准REST API，开发可同时兼容三种国产CPU平台的API SDK，后台服务自动根据平台差异选择相应接口进行业务处理，不需要差异化管理，形成一体化的资源管理平台，实现异构设备资源的统一管理。

由于自主平台性能相对较低，为了保证资源的高效利用，必须采用轻量化设计理念，结合虚拟化效率优化技术，实现自主平台超融合一体化管理。超融合架构的关键是分布式存储，在自主平台中分布式存储的性能与X86相比还存在差距，需要采取更好的优化手段，提升分布式存储的性能，更好的为自主云平台服务。同时，为了保证业务应用的高可用性，需要通过虚拟机和容器的失效自动恢复，实现虚拟化系统的高可靠，保障虚拟化底层的持续可用。

发明内容

本发明的目的是针对以上不足，提供一种基于国产硬件平台的虚拟化系统优化方法。

本发明所采用技术方案是：

一种基于国产硬件平台的虚拟化系统优化方法，包括：

采用分布式存储实现存储虚拟化，不设立单独的存储节点，将计算节点上的存储连接形成存储池；

将物理服务器作为虚拟机使用，云管理平台将此物理服务器作为虚拟机进行管理。

作为进一步的优化，本发明所述分布式存储中通过基于CRUSH算法的文件存储方法实现对文件存储的均匀分布。

具体的，本发明所述基于CRUSH算法的文件存储方法包括如下步骤：

接收小文件的存储请求，调用CRUSH算法计算可用存储节点作为预存储节点；

将该文件的大小与限定值进行比较；

当该文件的大小大于限定值时，通过CRUSH算法选择权重最高的一个预存储节点作为存储节点； 当该文件的大小小于限定值时，通过温度因子计算可用的各存储节点的温度值，并选择其中温度值最低的预存储节点作为存储节点；

将该文件发送至所选择的存储节点进行保存。

作为进一步的优化，本发明所述分布式存储中基于蚁群加权算法的数据路径选择方法实现最优路径的选择，保证数据在最优路径上进行数据读写。

具体的，本发明所述数据路径选择方法包括如下步骤：

通过SPFA计算候选节点集合D中所有节点到目标节点t的最短路径和距离，并建立最短路径集合R；

从候选节点集合D中的每个节点D（q）释放蚂蚁ant（q），沿最短路径集合R中左右路径从节点D（q）行进到目标节点t，建立蚂蚁ant（q）路过的所有边的集合；

计算每条边的权值，每被一只蚂蚁ant（q）经过，该条边的权值增加1；

通过上述边的权值构建最小代价树，构建候选节点集合D到与目标将节点的最优路径结合。

作为进一步的优化，本发明所述分布式存储中，将物理服务器中的RAM和NVME在逻辑上虚拟为一个整体的缓存池，保证数据访问的本地优先和缓存优先；

通过QLog机制、读写分离、缓存分区、热缓存自动同步、基于SSD的自动分层技术措施来设计和使用全局缓存层。

作为进一步的优化，本发明硬件虚拟化的操作系统镜像加载方法包括如下步骤：

接收用户申请资源请求后，云管理平台根据需求选定物理服务器和系统镜像，并将选定的物理服务器开机启动；

物理服务器通过网络连接共享存储服务器中的引导服务，引导相应镜像加载启动。

作为进一步的优化，本发明通过在物理服务器中连接虚拟计算卡实现将物理服务器作为虚拟机使用，每台物理虚拟机都可作为管理节点，云管理平台将多个虚拟计算卡形成虚拟机池，供用户自由申请资源使用；

所述虚拟计算卡包括物理CPU、物理内存和虚拟化芯片，所述虚拟计算卡设置有多种规格，不同规则的虚拟计算卡之间的物理CPU和物理内存其中一种不同或均不相同。

本发明具有以下优点：

1、本发明针对分布式存储性能优化，提出CRUSH算法优化、传输路径优化、分层缓存优化三种方式，分别针对小文件均匀分布、最优读写路径选择、数据缓存设计实现存储的整体性能提升；

2、本发明采用基于硬件虚拟化的方式，将物理服务器作为虚拟机使用，其上运行的操作系统存储于云平台共享存储中，云管理平台将此服务器作为一个虚拟机进行管理，可以实现虚拟机的生命周期管理、迁移、快照等基本功能，实现虚拟化效率与物理机基本一致，满足陆军战术云平台的高性能要求。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

下面结合附图对本发明进一步说明：

图1为小文件存储方法流程示意图；

图2为硬件虚拟化的操作系统镜像加载时系统引导信息交互图；

图3为虚拟计算卡的架构示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。

需要理解的是，在本发明实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。在本发明实施例中的“多个”，是指两个或两个以上。

本发明实施例中的属于“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B这三种情况。另外，本文中字符“/”一般表示前后关联对象是一种“或”关系。

本发明提供一种基于国产硬件平台的虚拟化系统优化方法的实施例，具体针对国产硬件平台的存在的不足之处，从存储虚拟化和计算虚拟化两部分，包括如下步骤：

1、存储虚拟化优化方法

本实施例采用分布式存储实现存储虚拟化，不使用独立的存储节点，而是将计算节点上的存储连接起来形成一个存储池，提供共享、高可靠、高可用的存储特性。采用分布式存储作为共享存储，可实现云平台的多个集群特性，包括：热迁移、容错、容器副本等特性，分布式存储突破了虚拟化环境下存储性能瓶颈的制约，是一种软件定义存储的解决方案。

对分布式存储的进一步优化在于，在分布式存储中，需要保证各存储节点之间的均衡，通过基于CRUSH算法的文件存储方法实现对文件存储的均匀分布，如图1所示，具体的所述文件存储方法包括如下步骤：

接收小文件的存储请求，调用CRUSH算法计算可用存储节点作为预存储节点；

将该文件的大小与限定值进行比较；

当该文件的大小大于限定值时，通过CRUSH算法选择权重最高的一个预存储节点作为存储节点； 当该文件的大小小于限定值时，通过温度因子计算可用的各存储节点的温度值，并选择其中温度值最低的预存储节点作为存储节点；

将该文件发送至所选择的存储节点进行保存。

基于基于CRUSH算法的文件存储方法通过比较文件大小与small_limit值来决定是否请求降温模块获取集群温度表来计算温度隐私，大于small_limit值的文件不需要温度因子的参与，这是因为这些数据对象能够对weight值产生影响进而保证了数据的均匀分布。

结合纠删解码的基本原理，对于一个 (n, k) 系统 RS 码，解码重构计算可被视为一个矩阵运算如下：

简化该矩阵，只保留部分相关节点，源编码数据块从各个源节点传输到目标节点，再到目标节点上进行解码。这个过程展现了纠删解码中数据信息流的聚合趋势，但此处的聚合只是单纯的加和，例如源编码数据块

到

在中间节点 s1上汇合后，数据量翻倍，然后继续向目标节点 t 传输。而我们提出的聚合解码，是对源编码数据在中间节点上进行局部解码，得到的中间结果数据量远小于

到

的简单加和，达到信息聚合的效果。此处的信息聚合不止是单纯的加和，而是信息的融合。此处的中间节点也可视为中继节点，要求具有一定的解码计算能力。为了解决纠删码存储系统聚合解码路径选择中边权值相同的难点，提出基于蚁群的加权算法。

所述分布式存储中基于蚁群加权算法的数据路径选择方法实现最优路径的选择，保证数据在最优路径上进行数据读写。具体的，数据路径选择方法包括如下步骤：

通过SPFA计算候选节点集合D中所有节点到目标节点t的最短路径和距离，并建立最短路径集合R；

从候选节点集合D中的每个节点D（q）释放蚂蚁ant（q），沿最短路径集合R中左右路径从节点D（q）行进到目标节点t，建立蚂蚁ant（q）路过的所有边的集合；

计算每条边的权值，每被一只蚂蚁经过，该条边的权值增加1，权值最小，代表该边选作路径的代价越高

通过上述边的权值构建最小代价树，构建候选节点集合D到与目标将节点的最优路径结合。从根节点 t 开始，每次从节点集合 D 中选择距离当前树最近的节点加入，直到树中节点数达到 k + 1，完成所有节点最优化路径的生成，并根据当前节点选择最优路径实现数据读写。

对分布式存储的优化还在于，所述分布式存储中，将物理服务器中的RAM和NVME在逻辑上虚拟为一个整体的缓存池，并充分考虑高性能存储介质的特点，深入优化，保证数据访问的本地有限和缓存优先；通过QLog机制、读写分离、缓存分区、热缓存自动同步、基于SSD的自动分层技术措施来设计和使用全局缓存层。

2、计算虚拟化的优化

对计算虚拟化的一种优化方式在于，硬件虚拟化使用操作系统镜像与虚拟机镜像类似，全部存放于云中心共享存储中，由于物理服务器本地硬盘不保存操作系统镜像，需要将将共享存储中的镜像加载到本地运行。

系统分为云管理平台、物理服务器、共享存储服务器三大部分，当有用户需要申请资源时，云管理平台选定某一台或几台物理服务器，进行开机启动，物理服务器通过网络连接共享存储的引导服务，引导的镜像由管理平台确定，并从共享存储的镜像中选择，然后加载启动，启动成功后即可提供客户使用。镜像可做成模板的方式，这样可以减少空间占用。云管理平台、物理服务器和共享存储服务器之间的信息流交互如图2所示。

对计算虚拟化的优化的另一种方式在于，物理服务器实现引导后，就需要实现物理服务器的管理，将物理服务器作为虚拟机进行统一管理，同时考虑空间利用率问题。本发明主要特点是自研虚拟化芯片，并以芯片为基础形成虚拟计算卡，虚拟计算卡中包含物理CPU、内存、虚拟化芯片三大核心组件，然后将虚拟计算卡插入物理服务器的PCIE扩展槽中。物理服务器作为次级云管理平台，虚拟计算卡作为次级虚拟机，通过次级云管理平台，将多个虚拟计算卡形成虚拟机池，用户可以自由申请资源使用。多个物理服务器可以联合，形成一个更大的虚拟机池，每一台服务器都可作为管理节点，从而保证云管理平台的可靠性。

由于虚拟计算卡的CPU和内存都是物理设备，因此，每一块虚拟计算卡的CPU核数和内存大小是固定的，无法像虚拟机一样动态调整，但是可以设置多种虚拟计算卡，不用虚拟计算卡上设置的CPU规格和内存规格不同，当用户审请资源时，可以按照需求选择一个合适的虚拟计算卡，作为虚拟机运行相关的业务应用。

自研的虚拟化芯片是云管理平台与虚拟计算卡的桥梁，云管理平台通过虚拟化芯片定制的接口实现虚拟计算卡的管理，由于虚拟计算卡没有外设，虚拟化芯片为虚拟计算卡模拟外设，包括VirtlO-NIC、VirtlO-Blk、键盘、鼠标、显示器等，从而使云中心的所有镜像、系统、虚拟机和物理机之间完全兼容，从而实现和虚拟机一样的对外接口，使得管理平台不需要做任何的修改，犹如虚拟机一样实现管理。虚拟计算卡的架构如图3所示。

本实施例将物理服务器直接虚拟化成虚拟机，在CPU和内存方面没有损耗，可以达到与物理平台一样的性能，由于外设通过芯片模拟，性能会有一定损耗，但损耗相对软件模拟低很多，从而最大程度的利用了物理硬件的计算能力。另外，一台服务服务器中可以实现多个物理机管理，从而有效利用空间，在有限的空间下，最大程度的提高计算力。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (6)

1.一种基于国产硬件平台的虚拟化系统优化方法，其特征在于：包括：

采用分布式存储实现存储虚拟化，不设立单独的存储节点，将计算节点上的存储连接形成存储池；

将物理服务器作为虚拟机使用，云管理平台将此物理服务器作为虚拟机进行管理；

硬件虚拟化的操作系统镜像加载方法包括如下步骤：

接收用户申请资源请求后，云管理平台根据需求选定物理服务器和系统镜像，并将选定的物理服务器开机启动；

物理服务器通过网络连接共享存储服务器中的引导服务，引导相应镜像加载启动；

通过在物理服务器中连接虚拟计算卡实现将物理服务器作为虚拟机使用，每台物理虚拟机都可作为管理节点，云管理平台将多个虚拟计算卡形成虚拟机池，供用户自由申请资源使用，具体的，将虚拟计算卡插入物理服务器的PCIE扩展槽中，物理服务器作为次级云管理平台，虚拟计算卡作为次级虚拟机，通过次级云管理平台，将多个虚拟计算卡形成虚拟机池，用户自由申请资源使用，多个物理服务器联合形成一个更大的虚拟机池，每一台服务器都可作为管理节点，从而保证云管理平台的可靠性；

所述虚拟计算卡包括物理CPU、物理内存和虚拟化芯片，所述虚拟计算卡设置有多种规格，不同规则的虚拟计算卡之间的物理CPU和物理内存其中一种不同或均不相同；

自研的虚拟化芯片是云管理平台与虚拟计算卡的桥梁，云管理平台通过虚拟化芯片定制的接口实现虚拟计算卡的管理，虚拟化芯片为虚拟计算卡模拟外设，从而使云中心的所有镜像、系统、虚拟机和物理机之间完全兼容，从而实现和虚拟机一样的对外接口。

2.根据权利要求1所述的优化方法，其特征在于：所述分布式存储中通过基于CRUSH算法的文件存储方法实现对文件存储的均匀分布。

3.根据权利要求2所述的优化方法，其特征在于：所述基于CRUSH算法的文件存储方法包括如下步骤：

接收小文件的存储请求，调用CRUSH算法计算可用存储节点作为预存储节点；

将该文件的大小与限定值进行比较；

当该文件的大小大于限定值时，通过CRUSH算法选择权重最高的一个预存储节点作为存储节点； 当该文件的大小小于限定值时，通过温度因子计算可用的各存储节点的温度值，并选择其中温度值最低的预存储节点作为存储节点；

将该文件发送至所选择的存储节点进行保存。

4.根据权利要求1所述优化方法，其特征在于：所述分布式存储中基于蚁群加权算法的数据路径选择方法实现最优路径的选择，保证数据在最优路径上进行数据读写。

5.根据权利要求4所述的优化方法，其特征在于：所述数据路径选择方法包括如下步骤：

通过SPFA计算候选节点集合D中所有节点到目标节点t的最短路径和距离，并建立最短路径集合R；

从候选节点集合D中的每个节点D（q）释放蚂蚁ant（q），沿最短路径集合R中左右路径从节点D（q）行进到目标节点t，建立蚂蚁ant（q）路过的所有边的集合；

计算每条边的权值，每被一只蚂蚁ant（q）经过，该条边的权值增加1；

通过上述边的权值构建最小代价树，构建候选节点集合D到与目标将节点的最优路径结合。

6.根据权利要求1所述的优化方法，其特征在于：所述分布式存储中，将物理服务器中的RAM和NVME在逻辑上虚拟为一个整体的缓存池，保证数据访问的本地优先和缓存优先；

通过QLog机制、读写分离、缓存分区、热缓存自动同步、基于SSD的自动分层技术措施来设计和使用全局缓存层。

Images