CN112749003A - 系统优化的方法、设备及计算机可读存储介质 - Google Patents

Abstract

本申请提供了一种系统优化方法，该系统优化方法应用在操作系统中，该方法通过对多种应用的数据收集，观察不同业务类型的应用的系统特征在生命周期中的变化，实现针对每种业务类型的应用的性能瓶颈类型的感知；通过对系统特征的分类建模，识别OS上运行的业务行为，做到非侵入式感知业务类型。即使业务没有经过预先的训练学习，也可以基于现有模型通过资源使用、系统特征的相似性归类，对应用的性能瓶颈类型进行识别，进而根据应用的系统特征自动化地提供相应场景的优化方向和策略。

Description

系统优化的方法、设备及计算机可读存储介质

技术领域

本申请涉及计算机领域，具体的涉及一种系统优化的方法。

背景技术

操作系统(Operating System，OS)是管理计算机硬件与软件资源的系统软件，同时也是计算机系统的内核与基石。如图1所示为计算机系统的逻辑架构图，计算机系统包括硬件层、操作系统和应用层，操作系统用于管理硬件层中的各种硬件资源、为应用层中的应用程序(可简称为应用)提供资源。保证最佳的运行性能始终是操作系统的首要目标，实现这一目标的核心是让操作系统了解上层运行的应用的情况并执行系统优化，提高系统性能。

现有技术中操作系统根据应用的历史运行数据识别应用的操作，例如读写操作；并根据应用当前的操作对应的调整应用的参数配置，从而提高系统性能。然而面对成千上万的开放应用，操作系统很难提前针对所有的应用都做定制化的系统优化，系统性能很难得到有效发挥。

发明内容

本申请提供了一种系统优化方法，该方法能够识别运行在系统上的任一应用的业务类型，进而有针对性的进行系统优化。进一步的，通过先聚类后分类，还能够有针对的识别不同性能瓶颈类型下的应用的业务类型，提高识别操作系统上运行的应用的业务类型的准确性，更有方向性的进行系统优化。

第一方面，本申请提供了提供一种系统优化的方法，所述方法应用在操作系统中，所述操作系统上运行有一个或多个第一应用，所述方法包括：

采集第一系统特征数据，所述第一系统特征数据包括多个维度的系统特征数据，所述系统特征数据用于描述系统的资源使用情况或系统行为；

分别将每个维度的第一系统特征数据输入所述维度对应的聚类模型，得到所述应用的性能瓶颈类型，所述性能瓶颈类型用于描述制约应用的性能提升的指标，所述每个维度的聚类模型是以所述维度的第二系统特征数据为输入的聚类算法生成的模型，所述第二系统特征数据包括多个第二应用中每个第二应用运行时所采集到的系统特征数据；

确定所述性能瓶颈类型对应的分类模型，所述分类模型为以属于所述性能瓶颈类型的第二系统特征数据为输入，以所述第二应用的业务类型为输出训练得到的模型；也就说系统中存储有多个聚类模型，每个聚类模型有对应的分类模型。每个分类模型都是由该性能瓶颈类型下的数据训练得到的，训练得到的分类模型可以精确识别该性能瓶颈类型下的应用的业务类型。

将所述第一系统特征数据输入所述分类模型，得到所述第一应用的业务类型，所述业务类型用于描述所述第一应用的功能；

根据所述业务类型确定对应的系统优化策略以进行系统优化。

本申请中针对不同的业务类型设置了不同的优化策略，可以有针对性的进行系统优化。

在一种实现方式中，该方法还可以根据业务类型和性能瓶颈类型对应的性能瓶颈点的变化情况确定系统优化策略。

第二方面，本申请提供一种计算机系统，所述计算机系统包括处理器和存储器，所述存储器存储计算机指令，所述处理器调用所述计算机指令以执行如前述第一方面提供的方法。

第三方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中包括计算机指令，计算机指令被处理器调用以执行前述第一方面的的方法。

第四方面，本申请提供一种系统调优方法，该设备包括采集单元、业务类型感知单元、决策单元和执行单元，

所述采集单元用于采集第一系统特征数据，所述第一系统特征数据包括多个维度的系统特征数据，所述系统特征数据用于描述系统的资源使用情况或系统行为；

所述业务类型感知单元用于：

分别将每个维度的第一系统特征数据输入所述维度对应的聚类模型，得到所述应用的性能瓶颈类型，所述性能瓶颈类型用于描述制约应用的性能提升的指标，所述每个维度的聚类模型是以所述维度的第二系统特征数据为输入的聚类算法生成的模型，所述第二系统特征数据包括多个第二应用中每个第二应用运行时所采集到的系统特征数据；

确定所述性能瓶颈类型对应的分类模型，所述分类模型为以属于所述性能瓶颈类型的第二系统特征数据为输入，以所述第二应用的业务类型为输出训练得到的模型；

将所述第一系统特征数据输入所述分类模型，得到所述第一应用的业务类型，所述业务类型用于描述所述第一应用的功能；

所述决策单元用于根据所述业务类型确定对应的系统优化策略以进行系统优化。

第五方面，本申请提供了一种模型训练或生成方法，所述方法应用于训练设备，其特征在于，所述方法包括：

获得多个维度的第二系统特征数据，所述第二系统特征数据包括多个应用中每个应用运行时所采集到的系统特征数据，所述系统特征数据用于描述系统的资源使用情况或系统行为；

分别将每个维度的第二系统特征数据集输入聚类算法，得到所述多个维度中每个维度的聚类模型以及所述每个应用的性能瓶颈类型；

将属于同一性能瓶颈类型的应用的系统特征数据作为分类模型的输入，将所述属于同一性能瓶颈类型的应用的业务类型作为输出训练所述分类模型，得到训练后的分类模型。

在其中一种实现方式中，方法还包括：

采集原始系统特征数据，所述原始系统特征数据包括多个维度的系统特征数据；

根据所述分类模型的训练结果从所述原始系统特征数据中确定噪声维度的系统特征数据，所述噪声维度的系统特征数据为与所述业务类型无关的数据；

从所述噪声维度的系统特征数据中识别出生成所述聚类模型所使用的重要的系统特征数据；所述原始系统特征数据中除不重要的系统特征数据之外的数据为所述获得的多个维度的第二系统特征数据，所述不重要的系统特征数据为所述噪声维度的系统特征数据中除所述重要的系统特征数据之外的数据。

第六方面，本申请提供一种计算机系统，所述计算机系统包括处理器和存储器，所述存储器存储计算机指令，所述处理器调用所述计算机指令以执行前述第五方面及其任一种实现方式提供的方法。

第七方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中包括计算机指令，所述计算机指令被处理器调用以执行第五方面及其任一种实现方式提供的方法。

第八方面，本申请提供一种训练设备，该设备包括采集单元和训练单元，

所述采集单元用于：获得多个维度的第二系统特征数据，所述第二系统特征数据包括多个应用中每个应用运行时所采集到的系统特征数据，所述系统特征数据用于描述系统的资源使用情况或系统行为；

所述训练单元用于：分别将每个维度的第二系统特征数据集输入聚类算法，得到所述多个维度中每个维度的聚类模型以及所述每个应用的性能瓶颈类型；

将属于同一性能瓶颈类型的应用的系统特征数据作为分类模型的输入，将所述属于同一性能瓶颈类型的应用的业务类型作为输出训练所述分类模型，得到训练后的分类模型。

在一种实现方式中，所述设备还包括预处理单元，

所述采集单元还用于：采集原始系统特征数据，所述原始系统特征数据包括多个维度的系统特征数据；

所述预处理单元用于：所述根据所述分类模型的训练结果从所述原始系统特征数据中确定噪声系统特征数据，所述噪声系统特征数据为与所述业务类型无关的数据；

从所述噪声系统特征数据中识别出生成所述聚类模型所使用的重要的系统特征数据；所述原始系统特征数据中除不重要的系统特征数据之外的数据为所述获得的多个维度的第二系统特征数据，所述不重要的系统特征数据为所述噪声系统特征数据中除所述重要的系统特征数据之外的数据。

附图说明

图1为本申请实施例提供的计算机系统的结构示意图；

图2为本申请实施例提供的计算机系统的逻辑架构图；

图3为本申请实施例提供的系统调优方法的流程图；

图4为本申请实施例提供的系统调优方法的流程图；

图5为本申请实施例提供的计算机系统的逻辑架构图；

图6为本申请实施例提供的系统调优方法和模型训练或生成方法的流程图；

图7为本申请实施例提供的原始数据采集的示意图；

图8为本申请实施例提供的系统特征的筛选方法。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

本申请中的术语“第一”、“第二”用于区分同一类型的对象，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

图1为计算机系统100的结构示意图，计算机系统100包括处理器101、存储器102，还可以包括输入/输出系统103，还可以包括网络接口104。本领域技术人员可以理解，计算机系统100可以包括比图示更多或更少的部件，或者组合某些部件。这些部件可通过一根或多根总线105或信号线进行通信，总线可以分为地址总线、数据总线、控制总线等。

如本文所述，计算机系统100可包括用于实现本申请所述的方法的硬件和软件部件。处理器101可被配置为实施本申请所述一部分或全部方法，例如通过执行被存储在存储器102(例如，非易失性计算机可读存储器介质)上的程序指令。

处理器101可以是中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)或者CPU和NP的组合。处理器101还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic,GAL)或其任意组合。

存储器102，用于存储计算机程序，诸如图1所示的应用程序301和操作系统202；处理器101可调用存储器102存储的计算机程序，从而实现该计算机程序定义的功能。例如处理器101执行操作系统从而在计算机系统100上实现操作系统的各种功能。操作系统202可以为

或者其它操作系统，本申请实施例对此不作任何限制。

存储器102还存储有除计算机程序之外的其他数据，诸如操作系统202和应用程序301运行过程中产生的数据。存储器102可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memor，RAM)；存储器102也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；存储器102还可以包括上述种类的存储器的组合。图1中仅示出了一个存储器，当然，存储器102也可以根据需要，设置为多个存储设备。存储器102也可以是处理器101中的存储器，在此不做限制。

输入/输出系统103，例如基本输入输出系统(Basic Input/Output System，BIOS)，亦称为ROM BIOS、System BIOS、PC BIOS)是在通电引导阶段运行硬件初始化，以及为操作系统和程序提供运行时服务的固件。

网络接口104用于连接其他网络设备，包括无线连接和有线连接。具体可以为网卡(network interface card，NIC)或网络适配器等。

以上组件通过总线105连接。总线105可以是一条，也可以是多条。总线105包括高级微控制器总线(advance microcontroller bus architecture,AMBA)工业标准结构(industry standard architecture,ISA)总线，微通道结构(micro channelarchitecture,MCA)总线，扩展ISA(extended-ISA)总线，视频电子标准协会(videoelectronics standards association,VESA)局域总线，以及外围器件互联(peripheralcomponent interconnect,PCI)总线等。

进一步的，在一个实施例中，如图2所示，计算机系统100从逻辑上可以划分为应用层201、操作系统202和硬件层203。应用层201中包括一个或多个应用程序301(可以简称为应用)，操作系统202将硬件层203中的硬件资源提供给应用层201中的应用程序301使用。其中，硬件资源可以包括计算资源、存储资源和网络资源。操作系统202作为硬件层203和应用层201之间的软件中间件，是管理和控制硬件与软件资源的计算机程序。

现有技术中的系统优化方法是针对某一个具体的应用进行系统优化，具体是根据识别出的应用正在执行的操作调整应用的参数配置。例如采集网络流量数据通过分类算法识别业务类型。但是网络流量数据这种应用行为特征不能适用于识别任意一种应用的业务类型。并且不同的用户在操作系统上运行的应用是不同的，操作系统很难提前针对所有的应用都做定制化的系统优化，因此操作系统执行系统优化的方向也是不明确的，系统性能很难得到有效发挥。

虽然应用行为特征有局限性，但是根据应用在系统中的行为是可以将应用总结归类成有限的类型。例如speccpu(一个检测CPU性能的工具)和redis(一个数据库应用)的应用的类型不同，但都表现出CPU利用率较高的系统特征。在本申请实施例中，根据CPU利用率较高这一系统特征，可以判断出制约speccpu和redis两个应用的性能提升的瓶颈点位于CPU利用率，因此本申请实施例中可以将speccpu和redis归类为CPU密集型，表示制约这两个应用性能提升的因素为CPU使用情况。后续基于前面识别出的性能瓶颈类型对应的分类模型，对应用的业务类型进行精确归类。

在本申请实施例中，如图3和图4所示，操作系统可以根据采集到的系统特征数据，使用已生成的聚类模型识别出应用的性能瓶颈类型，并进一步的使用训练后的分类模型识别出在该性能瓶颈类型下应用的业务类型；再使用对应于应用的类型的系统优化策略对操作系统进行优化。其中性能瓶颈表示性能提升被制约，性能瓶颈类型用于描述制约或影响应用的性能提升的因素，该因素可以是应用对硬件资源的使用情况，硬件资源可以包括计算资源、输入输出(IO)资源、存储资源或带宽资源。可选的，如表1所示，性能瓶颈类型可以为CPU密集型、IO密集型、存储密集型或网络密集型中的任一类型。性能瓶颈类型还可以为上述四个类型中任意多个类型组合形成的一个类型，例如CPU/IO密集型，表示应用的性能瓶颈是CPU使用情况以及IO请求等待情况。

表1性能瓶颈类型的说明

性能瓶颈类型	说明
		CPU密集型	表示应用的性能瓶颈是CPU使用情况
IO密集型	表示应用的性能瓶颈是IO请求等待情况
		存储密集型	表示应用的性能瓶颈是存储空间使用情况
带宽密集型	表示应用的性能瓶颈是带宽使用情况

图5为图1和图2中的计算机系统100的具体的逻辑结构图，操作系统202可以具体包括中间件302、基础库303、运行环境304、内核305和虚拟化层306。硬件层203可包括多种硬件，例如处理器101和BIOS 103。中间件302用于为上层应用提供统一接口，为上层应用屏蔽底层细节。基础库303用于针对具体功能提供具体封装打包，基础库303中包括模型库和智能库，其中模型库中包括多个机器学习模型，例如本申请各个实施例中提到的聚类模型和分类模型，智能库中包括多个可用于系统优化的系统配置策略，每个系统配置策略对应于一类业务类型。内核305用于提供底层系统组件和服务，换句话说，内核305用于提供对硬件的抽象和对硬件的管理。编译器306用于将高级语言编译成芯片可执行的指令。

可编程探针用于采集所在位置处的系统特征，可编程探针的实质是一种可编程的采集数据的脚本。可编程探针的设置位置可以如图4中所示，设置在应用301、中间件302、虚拟化层306、BIOS 103和CPU 101中。具体的，可编程探针从应用301、中间件302、虚拟化层306、BIOS 103和CPU 101中采集系统特征数据，例如资源利用率、读写情况、带宽、平均指令周期数等。当然，可编程探针在计算机系统中的位置可以由开发者或用户自主设置。

基础库中包括的模型库中的聚类模型和分类模型的训练过程或生成过程可以在操作系统的软件包出厂前执行完毕。

运行环境304用于提供面对开发者和用户的运行环境。本申请实施例中的系统优化装置可以位于运行环境中。具体的，该系统优化装置400包括抽象感知模块401、决策模块402和执行模块403。

抽象感知模块401可以通过可编辑探针操作系统202各个层级、应用层201和硬件层203采集系统特征数据。并可以对采集到的系统特征数据进行整理；抽象感知模块401还可以调用基础库203中的聚类模型和分类模型，将系统特征数据输入聚类模型，得到系统的性能瓶颈类型；将属于同一个性能瓶颈类型下的系统特征数据输入性能瓶颈类型对应的分类模块，得到系统上运行的应用的业务类型；进一步的，将识别到的性能瓶颈类型和业务类型传递给决策模块。

决策模块402接收抽象感知模块401发送的性能瓶颈类型和业务类型，根据业务类型从基础库203中的智能库中查找该业务类型对应的系统配置策略。系统配置策略可以具体为一个配置项集合，该配置项集合中包括多个配置项的值，配置项可以为内核配置参数、BIOS参数、绑核或调整OS行为等。

执行模块403用于根据决策模块402确定的系统配置策略执行系统优化，即根据系统配置策略调整系统配置项的值。具体的，根据系统配置项集合将内核中的对应的参数的值调整为系统配置项集合中该参数的值；或者通过编译器307中的优化器FDO(Feedback-Directed Optimization)调整编译器307中的配置项的值。

在具体介绍本申请提供的系统优化方法之前，先介绍该系统优化方法所使用的聚类模型和分类模型的生成或训练过程。流程图可以参考图6所示。

可选的，模型的生成或训练过程的执行设备与系统优化方法的执行设备可以为相同的设备也可以为不同设备。

本申请实施例中提供了一种生成聚类模型的方法，该方法包括以下步骤：

步骤501：获得系统特征数据集；

系统特征数据集包括多个应用的系统特征数据，系统特征数据为描述计算机系统的资源使用情况或者描述系统行为的数据。对于每个应用的系统特征数据，该应用的系统特征数据为在该应用运行时采集到的N个维度的系统特征的值，其中N为正整数；每个维度的系统特征可以包括多种类型。维度可以包括以下的多个：CPU维度、IO维度、网络维度或存储维度，还可以包括任务维度、中断维度。因此，系统特征数据集可以按照维度划分成N类，每一类包括多个应用在同一维度下的系统特征数据。

可选的，系统特征数据集中每个应用的系统特征数据的维度可以为表2所示维度一列，每个应用的系统特征的具体类型可以如表2类型一列所示。

可选的，可在系统上运行不同业务类型的应用，并在应用运行时通过可编程探针采集系统中的数据，即N个维度的系统特征数据。其中应用可以为数据库、大数据、内存计算或网络服务器等业务类型的应用。具体的，系统特征数据可以为资源利用率、读写情况、带宽或平均指令周期数。

表2系统特征的维度、类型和代表含义

可选的，系统特征数据包括在应用运行过程中多个时刻的系统特征的值。例如对于应用A，应用A的系统特征数据可以为应用A在不同时刻下的表2中的各项系统特征的值。

可选的，在步骤501之前，对采集到的原始数据，进行预处理和降维，筛选出系统特征数据。

步骤502：通过聚类算法对系统特征数据集进行聚类，确定多个应用的性能瓶颈类型和聚类模型；

聚类算法可以将系统特征数据具有一定相似度的应用归为一类。将系统特征数据集输入聚类算法，获得多个应用的归类结果，归类结果中属于同一类的多个应用之间具有相似的系统特征。

分别将N个维度的系统特征数据输入对应的聚类算法，得到同一维度下系统特征数据的聚类结果以及N个聚类模型。将每个维度的系统特征数据输入聚类算法，分别得到每个维度的聚类结果以及每个维度的聚类模型。

例如系统特征数据集中包括应用1、应用2...应用20一共20个应用中每个应用的系统特征数据，每个应用的系统特征数据包括四个维度的系统特征数据：CPU维度、IO维度、网络维度和存储维度的系统特征数据。将上述四个维度的系统特征数据分别输入聚类算法，例如K-meas算法，需要注意的是，每次只向聚类算法中输入一个维度的系统特征数据，得到这个维度的聚类结果。假设CPU维度的系统特征为CPU使用率，IO维度的系统特征为IO使用率，网络维度的系统特征为带宽使用率，存储维度的系统特征为存储容量使用率。对于每一维度的聚类结果如表3所示。聚类结果表示应用1-5的性能瓶颈点为CPU使用率，应用6-20的性能瓶颈点为IO使用率。并且，得到四个维度中每个维度对应的聚类模型：CPU维度的聚类模型，IO维度的聚类模型，网络维度的聚类模型，存储维度的聚类模型。

可选的，在步骤502之前，通过轮廓系数和肘方法对重要的系统特征数据进行评估分析，得到聚类的分类个数。

表3四个维度的聚类结果

例如多个应用的CPU使用率均为较高，则可以将这些应用聚类成同一类，可认为该类别中的这些应用的性能瓶颈均为CPU使用率，则可以将这些应用归纳为CPU密集型。类似的，确定出多个应用中每个应用的性能瓶颈类型，如果聚类得到的一类应用中大部分应用的内存使用量较高，则确定该类应用的性能瓶颈类型为存储密集型；如果聚类得到的一类应用中大部分应用的占用带宽较大，则确定该应用的性能瓶颈类型为网络密集型。性能瓶颈类型可以为CPU密集型、IO密集型、存储密集型或带宽密集型中的任一类型。性能瓶颈类型还可以为上述四个类型中任意多个类型组合形成的一个类型，例如CPU/IO密集型，表示应用的性能瓶颈是CPU使用情况以及IO请求等待情况。例如聚类结果表示一个应用的CPU使用率和IO使用率都较高，则该应用的性能瓶颈类型为CPU/IO密集型。

如Mangodb应用的系统特征数据的聚类结果该应用所属的聚类类别中，CPU使用率、网络带宽使用率和内存使用率低，但io进程等待时间较长，说明mangodb是一种IO密集型应用，性能瓶颈点是IO方向；Spark应用的系统特征数据得出相同的聚类结果也反映出相同的性能瓶颈点；Ngnix应用的系统特征数据的聚类结果显示CPU使用率高，网络内存和IO占用率低，说明ngnix是一种CPU密集型应用，性能瓶颈点是CPU方向。

可选的，对于每一个维度下的具体类型的系统特征，采集该系统特征在不同时刻下的数值。因此还可以进一步得到不同时刻下一个应用的性能瓶颈点。例如表3中应用1-5的CPU使用率是应用1-5分别在时刻A时的CPU使用率，则聚类结果表示时刻A下应用1-5的性能瓶颈点为CPU使用率。在对应用的业务类型进行标记后，可得到不同业务类型的应用在不同时刻下的性能瓶颈点，即不同业务类型的应用在运行过程中的性能瓶颈点的变化情况。

本申请实施例提供了一种训练分类模型的方法，该方法包括以下步骤：

步骤601：构建有标签的系统特征数据集；

可以基于步骤501获得的系统特征数据集，为系统特征数据集中的每个系统特征数据打上业务类型的标签，得到有标签的系统特征数据集。可以预先根据经验设置几类业务类型，在获得系统特征数据集时，就可以将每个系统特征数据所属的应用归类到这些业务类型中的一个。业务类型可以为网络型、大数据型或数据库型等。

可选的，还可以对有标签的系统特征数据集进行标准化异常检测等预处理。

步骤602：以同一性能瓶颈类型下的多个应用的系统特征数据为输入，以多个应用各自的业务类型为输出，训练属于该性能瓶颈类型的应用的分类模型；

根据性能瓶颈类型对有标签的系统特征数据集进行分组，将具有相同的性能瓶颈类型的系统特征数据分为一组。依次针对每一组有标签的系统特征数据进行训练，并保持相应的分类模型。

例如一组性能瓶颈类型为CPU密集型的系统特征数据，属于CPU密集型的应用有多个，这多个应用可能具有不同的业务类型，则以这组系统特征数据作为分类器的为输入、以业务类型作为该分类器的输出，得到训练后的分类模型。

可选的，有多少个性能瓶颈类型，对应的训练出多少个分类模型。并将训练出的多个分类模型存储在操作系统中的基础库中的模型库。

可选的，可以进行多轮训练，并根据每轮训练反馈的精确度和权重，对输入的系统特征数据进行筛选，调整数据维度，实现对具体业务类型的感知训练，减少数据波动对分类结果的影响，建立鲁棒性强、精确度高的业务类别分类模型。

可选的，使用的分类模型可为支持向量机(support vector machines,SVM)、Xgboost、深度神经网络(Deep Neural Networks，DNN)等分类算法提供的模型。

本申请实施例提供了一种系统优化方法，该方法应用在计算机系统中，具体的应用在操作系统中，计算机系统上运行有一个或多个应用，该方法的流程图如图5所示，该方法包括：

步骤701：采集系统特征数据；

系统特征数据可用于描述计算机系统的资源使用情况或者描述系统行为。从多个维度上采集每个维度上的系统特征数据，这里的多个维度可以为以下中的任意多个：CPU、IO、网络或存储等维度。例如系统特征数据可以包括以下一种或多种：CPU使用情况、IO读写情况、存储空间使用情况或带宽使用情况。进一步的，系统特征数据还可以包括平均指令周期。

可选的，采集到的系统特征数据为仅一个应用运行时采集到的多个维度的系统特征数据。例如采集到应用A的CPU使用率、IO使用率、带宽使用率和存储空间使用率。

步骤702：将系统特征数据输入聚类模型，得到应用的性能瓶颈类型；

聚类模型是使用无监督聚类算法对系统特征数据进行聚类后得到的模型，用于生成聚类模型的系统特征数据是针对多个应用中每个应用运行在系统上时采集到的系统特征数据。无监督指的是没有给定人工的训练示例，自动对输入的数据进行分类或分群。聚类是一种无监督学习方法，把相似的对象通过静态分类的方法分成不同的组别，使每个子集的对象有一部分相似属性。聚类模型的输入是采集到的系统特征数据。

聚类模型有多个，每个聚类模型对应一个系统特征数据的维度。每个聚类模型可以对该聚类模型对应的维度下的系统特征数据进行聚类，确定应用的性能瓶颈类型。每个聚类模型为以多个维度中的一个维度下的多个应用的系统特征数据为输入的聚类算法输出的模型。

可选的，聚类模型是根据步骤601-602生成的聚类模型；

例如聚类模型包括CPU维度的聚类模型，IO维度的聚类模型，网络维度的聚类模型和存储维度的聚类模型。将应用的CPU使用率输入CPU维度的聚类模型，若该应用的CPU使用率所属的聚类结果为表3中的CPU维度下的类1即所属的聚类结果中大部分的CPU使用率较高(例如CPU使用率在90-99％范围内)，则表示该应用的性能瓶颈点为CPU使用率，该应用的性能瓶颈类型为CPU密集型。将应用的IO使用率输入IO维度的聚类模型，若该应用的IO使用率所属的聚类中大部分IO使用率的值较低(例如IO使用率在10-20％范围内)，则表示应用此时的性能瓶颈点不在IO维度。

步骤703：确定性能瓶颈类型对应的分类模型；

每个性能瓶颈类型对应一个分类模型，该分类模型可以进一步分析出系统上运行的应用的具体的业务类型。每个性能瓶颈类型的分类模型是以该性能瓶颈类型的多个应用的系统特征数据为输入、以这些应用各自的业务类型为输出训练得到的。

可选的，分类模型的训练方法可参考步骤601-602。

步骤704：将采集到的系统特征数据输入确定的分类模型，得到应用的业务类型；

应用的业务类型可以具体为：网络型、大数据型、内存计算型或数据库型等。

步骤705：根据业务类型确定对应的系统优化策略；

在基础库中的智能库中存储有多种业务类型中每种业务类型对应的系统优化策略，每个业务类型对应一种系统优化策略，每种业务类型对应的系统优化策略可以是预先设置好的对于多个系统配置项的值。

可选的，系统中存储有不同业务类型的应用在不同时刻下的性能瓶颈点，即不同业务类型的应用在运行过程中的性能瓶颈点的变化情况。

可选的，可根据业务类型和性能瓶颈点的变化情况确定对应的系统优化策略。

步骤706：根据系统优化策略调整系统配置。

根据系统优化策略中记录的配置项中的数值调整系统中该配置项的值。

例如，网络密集型的应用的业务类型为communication，对应的系统优化为优化网卡，具体的，开启多队列，网卡中断绑定到邻近的物理核上；CPU/存储密集型的应用，业务类型为in memory computing，对应的系统优化可以包括以下一种或多种：关闭内存预取操作；开启静态内存静态大页；进程绑numa；IO密集型、业务类型为大数据存储，对应的系统优化可以包括以下一种或多种：加大磁盘预读取数据的大小；优化磁盘的挂载选项(noatime和nobarrier)；调节脏页数据写回到磁盘的时间；

本申请实施例提供的系统优化方法可以实时识别出正在运行的应用的业务类型，进而能够对应的采取对应的系统优化策略。该方法首先根据应用的系统特征数据识别出应用的性能瓶颈类型，再根据识别出的性能瓶颈类型对应的分类模型，分析应用的业务类型。先聚类，再分类，性能瓶颈类型相同的应用具有相似的特征，使用同一性能瓶颈类型的系统特征数据训练出的分类模型，能更精准的识别出应用的业务类型。而如果是直接用系统特征数据训练分类模型，由于在不同时刻下同样的系统特征的数据可能差异很大，会导致不同时刻下分类模型对于同一个应用确定的业务类型是不同的，识别业务类型的准确度较低。

表4显示了应用本申请实施例提供的系统优化方法前与应用该方法后，以下几种应用的性能提升情况。

表4应用本方法前后几款应用的性能对比

本申请在自优化系统内基于预训练的业务特征分类模型，识别出当前系统运行应用的瓶颈点类型和业务类型.表4表明，通过自优化系统进行抽象识别、调整优化后的操作系统配置，在MangoDB(数据库应用)、SPECjbb(服务器业务测试工具，用于测试java业务应用服务器性能水平)、Hadoop(大数据应用)、Ngnix(网络服务器)等多种存储、计算、大数据、网络场景的应用类型上实现了相关方向的性能提升。本申请通过对大量系统特征的数据无监督、有监督学习建模，完成业务特征的一一对应关系构建，找到业务瓶颈与资源的关系，从而针对具体资源的优化实现对多种类型业务的性能提升。

为了保证训练得到的分类模型的准确度，就需要提供正确的训练数据，也就是说需要对采集的原始系统特征进行筛选。

本申请实施例提供了一种系统特征的筛选方法，流程图如图7所示，该方法包括：

步骤801：采集原始系统特征；

为了使得采集的原始系统特征的数据维度可以满足多场景多类别的业务画像的需求，本申请在数据采集上尽可能做到全场景的数据收集；

在本申请各个实施例中，如图6，采集的原始系统特征可以包括多个维度的系统特征，维度可以为以下的多种：CPU维度(CPU相关参数)、网络维度(网络控制器端口的相关参数)、IO维度(IO控制器的相关参数)、任务维度(任务相关参数)、系统性能相关参数或存储维度(存储容量相关参数)，具体采集的数据的原始维度可以参考上述表2基于对全局的软件和硬件资源的分析，找到系统运行涉及的资源，对每个资源采集多个维度的数据，既采集利用率相关的特征，还采集饱和度以及和性能相关的维度，实现360度全景数据采集。

步骤802：基于分类模型的训练结果识别噪声系统特征数据；

在训练分类模型或生成聚类模型时，基于模型反馈的参数权重和识别精度感知波动、不稳定的噪声特征并对系统特征的进行重新筛选。步骤801在数据采集上尽可能做到全场景的数据收集，但是并不是所有的系统特征都和业务类型有关，既对于同一个应用，同一个系统特征在不同时刻采集到的数据应该保持一致性，如果不一致，就将该维度视为噪声系统特征，噪声系统特征的系统特征和业务类型无关，会影响分类模型的精度。本申请利用有监督训练模型的分类结果来识别噪声系统特征，如果在最终的分类结果中发现某个应用被识别成两个以上的业务类型，则按照一定顺序，逐个排查出哪个的系统特征导致该应用被识别为多类，那么这一系统特征就是噪声维度。

可选的，在步骤802之前，得到本轮训练中反馈的分类模型的精确度和模型的权重信息。

可选的，在步骤802之后，从原始系统特征中删除噪声维度的系统特征。删除噪声维度的系统特征后的原始系统特征为步骤602中用于训练分类模型的系统特征。

步骤803：从噪声系统特征中识别重要的系统特征。

基于采集的原始系统特征，使用因子分析和卡方检验采集到的原始系统特征，得到原始系统特征中重要的系统特征。对于噪声维度的系统特征，不是简单的去除掉，而是检查噪声维度的系统特征中是否存在重要的系统特征。噪声维度中除重要的系统特征之外的特征可以称为不重要的系统特征。

噪声产生的原因有两种：一个是数据本身选择不合理，不能作为特征，这类是真正的噪声；还有一类是由于硬件或者负载压力改变造成的数据波动，体现为噪声，这类数据不能简单的划分为噪声。对于这类数据，先在最重要的场景下判断其是否为重要特征，如果为重要特征，可以进一步进行预处理(例如CPU利用率的均衡性处理)，如果不是重要特征，则可以去掉。

可选的，从原始系统特征中删除不重要的系统特征，删除不重要的系统特征后的原始系统特征为步骤502中输入聚类算法生成聚类模型的系统特征以及步骤602中用于训练分类模型的系统特征。

可选的，还可以包括步骤804：基于聚类结果的反馈对噪声系统特征中的重要的系统特征进行预处理；

造成重要特征变为噪声的主要原因是因为输入负载压力的改变或者硬件平台的改变导致这些值有了变化，成为了噪声。但是这些重要特征不能简单地去除，需要进行预处理，使其面临负载压力变化或者硬件平台改变时大小仍然维持基本不变，所以预处理的主要目的是通过一定方法消除这种负载压力或者硬件平台改变导致的重要特征的波动。

通过上述对原始系统特征的处理，可以减少数据波动对分类结果的影响，建立鲁棒性强、精确度高的业务分类模型和聚类模型。

下面举个具体的例子说明什么是噪声维度。

例如采集到的原始系统特征的维度中有CPU利用率这个维度，且这个维度在非监督的聚类中也起着关键的作用，用来识别业务是不是CPU密集型。在实际对应用的系统特征数据采集中，要考虑不同的业务负载情况，比如Ngnix，会考虑其服务器端开启不同进程的数目的情况，比如32个、128个。Ngnix的每个进程都会占用一个CPU核，且会导致该核的CPU利用率接近100％，因此该应用属于CPU密集型。由于一开始统计的是整个系统的CPU利用率(整个系统有128CPU核)，对于128个进程的场景，CPU利用率接近100％，但是对于32个进程的场景，CPU利用率不到30％。因此CPU利用率这个维度会导致32个进程(worker)的Ngnix被划分为非CPU密集型的应用，CPU利用率这个维度就是噪声维度。但该维度又不能简单的去掉，否则我们无法识别出CPU密集型的业务，所以需要对该维度进行预处理操作，使得32个worker的Ngnix仍然被识别为CPU密集型的业务，这里我们只统计运行Ngnix业务的CPU核的利用率来代替整个系统的CPU利用率即可矫正该噪声维度，实现正确的分类。

现有的技术通常利用一些AI的算法(例如Lasso)挑选出重要的维度，然后利用选出来的重要维度进行分类，这种方法对于固定业务类型的场景是没问题的，但是如果未来可能有新的业务类型的话，被过滤的当前是非重要的特征未来会变为重要特征，导致新的业务无法正确分类识别。本发明在数据维度的选择上考虑拓展性，仅过滤掉真正的非重要的噪声维度，对重要的噪声维度进行预处理操作去掉其噪声属性，尽可能的保留全景的采样数据，使得采样数据能支持未来更丰富的业务类型。

本申请实施例提供了一种系统优化设备，该设备包括采集单元、业务类型感知单元和决策单元。采集单元用于执行步骤701，业务类型感知单元用于执行步骤702-704，决策单元用于执行步骤705-706。，业务类型感知单元可以为图5中的抽象感知模块401，决策单元为图5中决策模块402模块。

本申请实施例提供了一种模型训练设备，该设备包括采集单元和训练单元，采集单元用于执行步骤501、801，训练单元用于执行步骤502、601和602，该设备还包括预处理单元，该预处理单元用于执行步骤802-804。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机指令，该计算机指令被处理器调用时执行本申请任意实施例提供的方法。

本申请实施例还提供一种计算机程序产品，计算机程序产品中包括计算机指令，该计算机指令被处理器调用时执行本申请任意实施例提供的方法。

本申请实施例还提供一种计算机系统，该计算机系统包括处理器和存储器，处理器调用存储在存储器中的计算机质量以执行本申请任一个实施例提供的方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (14)

1.一种系统优化方法，所述方法应用在操作系统中，所述操作系统上运行有一个或多个第一应用，其特征在于，包括：

采集第一系统特征数据，所述第一系统特征数据包括多个维度的系统特征数据，所述系统特征数据用于描述系统的资源使用情况或系统行为；

分别将每个维度的第一系统特征数据输入所述维度对应的聚类模型，得到所述应用的性能瓶颈类型，所述性能瓶颈类型用于描述制约应用的性能提升的指标，所述每个维度的聚类模型是以所述维度的第二系统特征数据为输入的聚类算法生成的模型，所述第二系统特征数据包括多个第二应用中每个第二应用运行时所采集到的系统特征数据；

确定所述性能瓶颈类型对应的分类模型，所述分类模型为以属于所述性能瓶颈类型的第二系统特征数据为输入，以所述第二应用的业务类型为输出训练得到的模型；

将所述第一系统特征数据输入所述分类模型，得到所述第一应用的业务类型，所述业务类型用于描述所述第一应用的功能；

根据所述业务类型确定对应的系统优化策略以进行系统优化。

2.根据权利要求1所述的方法，其特征在于，所述多个维度包括以下的一种或多种：

CPU资源维度、IO资源维度、网络资源维度或存储资源维度。

3.根据权利要求1所述的方法，其特征在于，所述性能瓶颈类型包括以下一种或多种：CPU密集型、IO密集型、网络密集型或存储密集型。

4.根据权利要求1所述的方法，其特征在于，所述计算机系统中存储有多个性能瓶颈类型中每个性能瓶颈类型的应用在运行周期内性能瓶颈点的变化情况。

5.根据权利要求4所述的方法，其特征在于，所述根据所述业务类型确定对应的系统优化策略，包括：

根据所述业务类型和所述性能瓶颈类型对应的性能瓶颈点的变化情况确定系统优化策略。

6.一种计算机系统，所述计算机系统包括处理器和存储器，所述存储器存储计算机指令，所述处理器调用所述计算机指令以执行如权利要求1-5任一项所述的方法。

7.一种计算机可读存储介质，所述计算机可读存储介质中包括计算机指令，所述计算机指令被处理器调用以执行如权利要求1-5任一项所述的方法。

8.一种系统调优设备，该设备包括采集单元、业务类型感知单元、决策单元和执行单元，所述采集单元用于采集第一系统特征数据，所述第一系统特征数据包括多个维度的系统特征数据，所述系统特征数据用于描述系统的资源使用情况或系统行为；

所述业务类型感知单元用于：

分别将每个维度的第一系统特征数据输入所述维度对应的聚类模型，得到所述应用的性能瓶颈类型，所述性能瓶颈类型用于描述制约应用的性能提升的指标，所述每个维度的聚类模型是以所述维度的第二系统特征数据为输入的聚类算法生成的模型，所述第二系统特征数据包括多个第二应用中每个第二应用运行时所采集到的系统特征数据；

确定所述性能瓶颈类型对应的分类模型，所述分类模型为以属于所述性能瓶颈类型的第二系统特征数据为输入，以所述第二应用的业务类型为输出训练得到的模型；

将所述第一系统特征数据输入所述分类模型，得到所述第一应用的业务类型，所述业务类型用于描述所述第一应用的功能；

所述决策单元用于根据所述业务类型确定对应的系统优化策略以进行系统优化。

9.一种模型训练或生成方法，所述方法应用于训练设备，其特征在于，所述方法包括：

获得多个维度的第二系统特征数据，所述第二系统特征数据包括多个应用中每个应用运行时所采集到的系统特征数据，所述系统特征数据用于描述系统的资源使用情况或系统行为；

分别将每个维度的第二系统特征数据集输入聚类算法，得到所述多个维度中每个维度的聚类模型以及所述每个应用的性能瓶颈类型；

将属于同一性能瓶颈类型的应用的系统特征数据作为分类模型的输入，将所述属于同一性能瓶颈类型的应用的业务类型作为输出训练所述分类模型，得到训练后的分类模型。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

采集原始系统特征数据，所述原始系统特征数据包括多个维度的系统特征数据；

根据所述分类模型的训练结果从所述原始系统特征数据中确定噪声维度的系统特征数据，所述噪声维度的系统特征数据为与所述业务类型无关的数据；

从所述噪声维度的系统特征数据中识别出生成所述聚类模型所使用的重要的系统特征数据；所述原始系统特征数据中除不重要的系统特征数据之外的数据为所述获得的多个维度的第二系统特征数据，所述不重要的系统特征数据为所述噪声维度的系统特征数据中除所述重要的系统特征数据之外的数据。

11.一种计算机系统，所述计算机系统包括处理器和存储器，所述存储器存储计算机指令，所述处理器调用所述计算机指令以执行如权利要求9-10任一项所述的方法。

12.一种计算机可读存储介质，所述计算机可读存储介质中包括计算机指令，所述计算机指令被处理器调用以执行如权利要求1-5任一项所述的方法。

13.一种训练设备，其特征在于，所述设备包括采集单元和训练单元，

所述采集单元用于：获得多个维度的第二系统特征数据，所述第二系统特征数据包括多个应用中每个应用运行时所采集到的系统特征数据，所述系统特征数据用于描述系统的资源使用情况或系统行为；

所述训练单元用于：分别将每个维度的第二系统特征数据集输入聚类算法，得到所述多个维度中每个维度的聚类模型以及所述每个应用的性能瓶颈类型；

将属于同一性能瓶颈类型的应用的系统特征数据作为分类模型的输入，将所述属于同一性能瓶颈类型的应用的业务类型作为输出训练所述分类模型，得到训练后的分类模型。

14.根据权利要求13所述的设备，其特征在于，所述设备还包括预处理单元，

所述采集单元还用于：采集原始系统特征数据，所述原始系统特征数据包括多个维度的系统特征数据；

所述预处理单元用于：所述根据所述分类模型的训练结果从所述原始系统特征数据中确定噪声系统特征数据，所述噪声系统特征数据为与所述业务类型无关的数据；

从所述噪声系统特征数据中识别出生成所述聚类模型所使用的重要的系统特征数据；所述原始系统特征数据中除不重要的系统特征数据之外的数据为所述获得的多个维度的第二系统特征数据，所述不重要的系统特征数据为所述噪声系统特征数据中除所述重要的系统特征数据之外的数据。

Images