CN106209426A - 一种基于d‑s证据理论的服务器负载状态评估分析方法和系统 - Google Patents

Abstract

本发明公开了一种基于D‑S证据理论的服务器负载状态评估分析方法，包括：采集服务器的状态值；标准化服务器的状态值；利用D‑S证据理论合成方法，对服务器的状态值进行数据融合分析；以及计算所述服务器的负载评分进而评估所述服务器的负载状态。本发明还公开了一种基于D‑S证据理论的服务器负载状态评估分析系统。本发明通过证据的积累逐步缩小假设集，计算多个证据对假设集的综合影响，从而能够有效地评估服务器的负载状态，为优化硬件资源配置提供技术性支撑。

Description

一种基于D-S证据理论的服务器负载状态评估分析方法和 系统

技术领域

本发明涉及服务器端安全应用领域。更具体地，本发明提供了一种基于D-S证据理论的服务器负载状态评估分析方法和系统。

背景技术

随着互联网技术的不断发展，企业开始更多地使用互联网来交付其关键业务应用，企业生产力的保证越来越多的依赖于企业IT架构的高可靠运行，尤其是企业数据中心关键业务应用的高可用性，所以企业越来越关注如何在最大节省IT成本的情况下维持关键应用的7×24小时工作，保证业务的连续性和用户的满意度。

而对于企业而言，其业务的完整快速的交付，其关键在于如何在用户和应用之间建立快速的访问通道，为用户提供优质的服务。众所周知，访问用户数量的增加，会给单位的服务器和链路带来越来越大的压力，如何有效的保证客户访问速度，实现访问流量在各链路和服务器上均衡分配，以及如何充分利用各链路和服务器资源，是目前企业网络改造的重要目标。

随着企业信息化建设不断地深化，信息化发展已具备相当的规模。信息化水平的持续提升对企业的精益化管理、精细化运营、全方位监测分析等工作将产生极大的促进作用。而信息化运维工作作为企业重要的基础性工作，在保障企业信息化持续发展的过程中将发挥至关重要的作用。大规模的网络访问数据为网络服务异常检测分析提供了数据基础，但是通过传统的数据仓库应用对这些海量数据进行分析，很难满足实际工作的需要。因此需要借助大数据技术，对海量数据进行实时采集并进行分析处理，发现数据中存在的关联关系和异常行为，进而保障信息网络和系统能够持续地对外提供正常服务。

发明内容

针对上述现有技术中存在的问题，本发明的目的在于提出一种基于D-S证据理论的服务器负载状态评估分析方法和系统。

本发明利用D-S证据理论合成方法对服务器状态值(包括CPU、内存、磁盘、网络并发数、服务器连接数、网络流量)进行数据融合分析，通过证据的积累逐步缩小假设集，计算多个证据对假设的综合影响，即多个证据作用下假设成立的综合信任程度。在实际大数据分析项目中，该方法得到了可靠的结果，能有效地评估服务器的负载状态。

为了实现上述目的，本发明采用的技术方案如下：

本发明提供一种基于D-S证据理论的服务器负载状态评估分析方法和系统，通过采集服务器的状态值，得到服务器的CPU、内存和磁盘的使用率，以及网络并发数、服务器连接数和网络流量等多维度特征信息，进而分析服务器的负载状态，为优化硬件资源配置提供技术性支撑。

根据本发明，一种基于D-S证据理论的服务器负载状态评估分析方法，包含以下步骤：

步骤一：采集服务器的状态值；

步骤二：标准化服务器的状态值；

步骤三：利用D-S证据理论合成方法，对服务器的状态值进行数据融合分析；

步骤四：计算服务器的负载评分进而评估服务器的负载状态。

根据本发明的一个方面，服务器的状态值包括CPU使用率、磁盘使用率、内存使用率、网络并发数、服务器连接数、网络流量。

根据本发明的又一个方面，CPU使用率、磁盘使用率和内存使用率的标准化通过众数均值平滑算法实现。

根据本发明的再一个方面，众数均值平滑算法包含以下步骤：

步骤1：均一化CPU、磁盘和内存的使用状态值；

步骤2：一天的时间刻度中等分CPU、磁盘和内存的使用状态范围；

步骤3：计算众数的均值E_m、众数的个数num、以及非众数均值

步骤4：利用连续单增S型sigmoid函数，获取众数的权重。

步骤5：根据式(1)，计算CPU、磁盘和内存的状态值。

$y=E_m\·\frac{1-e^{-\∂\·num}}{1+e^{-\∂\·num}}+\stackrel{\‾}{E_m}\·(1-\frac{1-e^{-\∂\·num}}{1+e^{-\∂\·num}})---\left(1\right)$

式(1)中，通过学习得到，或者可以预置。

根据本发明的再一个方面，服务器连接数为一定时间内服务器的总连接数。

根据本发明的再一个方面，网络并发数为单位时间内的网络并发数。

根据本发明的再一个方面，网络流量为上行速率与下行速率之和与总的传输时长的比值。

根据本发明的再一个方面，服务器使用的系统包括Aix、Linux以及Windows。

本发明还提供一种基于D-S证据理论的服务器负载状态评估分析系统，该系统用于实施上述方法。

如何利用收集到的数据有效的进行网络服务异常分析，保障信息系统安全科学稳定的运行，采用传统的基于关系型数据库进行分析几乎不可能实现。而通过以上公开的技术方案，可以综合大量网络数据包记录进行多角度自动异常检测，异常检测内容主要包括：服务器并发请求异常、服务器上下行流量异常、服务器(包括CPU、内存、磁盘)负载异常、终端到服务器跨地域以及跨业务域访问异常、应用系统访问量异常等，提前发现网络中存在的异常行为，将人为地隐患排查、异常预警等传统运维方式转变成自动地异常告警，将信息化运维工作变被动为主动。这将很好地促进信息化运维手段的变革，极大地提升信息化运维水平，保障信息系统安全可靠稳定地运行，对公司信息化的持续发展产生非常重要的作用。

附图说明

图1是本发明的一种基于D-S证据理论的服务器负载状态评估分析方法的流程图。

图2是本发明的一种基于D-S证据理论的服务器负载状态评估分析系统的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

根据本发明，通过采集各类服务器Tovili资源负载监控数据(包括CPU、内存、磁盘等)、以及网络流式数据，利用网络流式数据、服务器运行负载数据，并综合评估每台服务器资源配置的差异性，利用大数据平台的分布式处理能力，对分配到具体业务应用的服务器资源分配建立分析模型，从而评估当前服务器资源分配的合理性。通过对时间序列、业务应用资源消耗变化情况等多个因子建立相关预测模型，预测服务器负载未来的变化情况，进而提供资源分配优化建议。以往的数据融合都是对不同的维度数据进行简单的平均，或者根据经验给出对应的权重进行数据融合计算，这样做很明显忽略了各个数据之间的相关性，导致偏差较大的数据可能对结果产生较大影响，最终使结果发生根本性偏差。

如图1所示，示出了一种基于D-S证据理论的服务器负载状态评估分析方法，首先从D-S证据理论出发分析CPU、内存、磁盘、网络并发数、服务器连接数、网络流量等6个维度的依赖度关系，分析各维度对于服务器负载的权值关系，从而确定服务器负载情况，如超载、正常、空闲等情况。该方法将在以下进行详细描述。

在框101中，采集服务器的有关CPU、内存、磁盘、网络并发数、服务器连接数、网络流量等6个维度的状态值，并将6个维度的状态值分别存储。

在框102中，标准化CPU、内存、磁盘、网络并发数、服务器连接数、网络流量等6个维度的状态值。

从CPU、内存、文件存储系统、网络并发数、服务器连接数、网络流量(速率)等6个维度去分析服务器的负载状态。影响服务器负载因素可以分为内因和外因，内因包括CPU、内存、磁盘等硬件使用状态，外因包括服务器连接数、网络并发数、网络流量(速率)等网络使用状态。

采用众数均值平滑算法，计算每天的服务器硬件使用状态值。

上述众数均值平滑算法包括以下步骤：

步骤1：均一化服务器硬件使用状态值，即将以24小时的周期内的CPU使用率、磁盘使用率和内存使用率的使用状态值转换到[0，1]范围内。

步骤2：将硬件使用状态范围[0，1]等分10刻度，即[0，0.1)，[0.1，0.2)，......，[0.9，1]，统计每个刻度范围内硬件使用状态出现的频度，频度最多的范围为众数，其他的为非众数。

步骤3：计算众数均值E_m、众数个数num、以及非众数均值

步骤4：利用连续单增S型sigmoid函数，获取众数权重。

步骤5：根据式(1)，计算服务器硬件状态值。

$y=E_m\·\frac{1-e^{-\∂\·num}}{1+e^{-\∂\·num}}+\stackrel{\‾}{E_m}\·(1-\frac{1-e^{-\∂\·num}}{1+e^{-\∂\·num}})---\left(1\right)$

式(1)中，通过学习得到或者也可以通过预置。

下面，具体说明服务器连接数、网络并发数、网络流量(速率)的计算方法。

服务器连接数：处理后的数据中，每条数据记录对应一次连接，累加记录数即得到一天中该服务器的总的连接数。

网络并发数：即单位时间的网络并发数，包括以下步骤：

(1)每天创建一个大小为60*24-1的数组，统计值初始为0；分别表示从00:01—23:59(共计1439个分钟)。

(2)每一个连接从开始时间到结束时间所覆盖的所有(1)中创建的数组的下标，将统计值自增1。

(3)循环(2)，得到每个分钟的网络并发数。

(4)最后统计数组中的元素最大值。

网络流量(速率)：对上行速率和下行速率求和，再除以汇总的传输时长：

(∑total_flow_upper+∑total_flow_under)/∑trans_delay (2)

进一步地，对上述6个维度进行标准化的方法如下：

对于CPU、内存、文件存储系统，它们的取值范围在0％-100％之间，因此可以直接转为[0，1]之间的值。

对于服务器连接数、网络并发数、网络流量(速率)3个维度，它们的标准化方法相同，具体为：假设计算周期内的取值范围为(Emin，Emax)，需要转化的值为b，则b经过标准化后的值a为：a＝(b-Emin)/(Emax-Emin)。举例来说，假设要对服务器连接数进行标准化，计算周期为一个月，在该计算周期内，连接数中最大值为1000，连接数最小值为200，需要标准化的值为300，则300标准化之后的值为(300-200)/(1000-200)＝0.125。

在框S103中，利用D-S证据理论合成方法对CPU、内存、磁盘、网络并发数、服务器连接数、网络流量(速率)等6个维度进行数据融合分析。在计算服务器负载状态时，需要判断每个数据和其他数据之间的一致性。也就是说，考虑每个数据被其它数据所支持的程度，因此，每个维度中的多个数据应该具有不同的权重。如果一个数据被其他数据所支持，则该数据就应该比较可信，其权重也就较大，它对最终负载状态的影响也会较大；反之，如果一个数据与其他数据的冲突较大，则该数据的可信度较低，其权重也较低，它对最终的负载状态的影响也就较小。

两个数据E₁和E₂之间的信任程度可以通过式(3)得到，具体如下：

信任系数d₁₂用来描述数据之间的信任程度。d₁₂∈[0,1]，其值越大，确定性越好。当d₁₂＝0时，表示两数据E₁和E₂是完全冲突的；而当d₁₂＝1时，则表示两数据E₁和E₂是完全相同的。

假设待分析的数据集样本数为n，则利用式(3)计算出数据E_i和E_j之间的信任程度，并以信任矩阵的形式表示为：

$S={\left[\begin{array}{cccc}1& d_{12}& L& d_{1n}\\ d_{21}& 1& L& d_{2n}\\ M& M& & M\\ d_{n1}& d_{n2}& L& 1\end{array}\right]}_{n\×n}$

将信任矩阵的每行相加得到每个数据对数据E_i的支持度，如式(4)所示：

$Sup\left(m_i\right)=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{d}_{ji},(i,j=1,2,L,n)---\left(4\right)$

Sup(m_i)表示数据E_i被其他数据所支持的程度。如果一个数据与其他数据之间的信任程度较低，则认为它们之间的相互支持度也较低；相反，如果一个数据和其他数据之间的信任程度较高，则认为它们之间的相互支持度也较高。

通过式(5)，对各数据的支持度进行归一化处理，获得各数据的可信度，例如数据E_i的可信度为：

$Crd\left(m_i\right)=\frac{Sup\left(m_i\right)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left(m_i\right)},(i,j=1,2,L,n)---\left(5\right)$

可信度Crd(m_i)反映的是数据E_i的可信程度。一般来说，一个数据被其他数据所支持的程度越高，该数据的可信程度就越大，即该数据越可信；如果一个数据不被其他数据所支持，则认为该数据的可信度较低。

由式(5)可以看出，即可信度Crd(m_i)可以看作是数据E_i的权重。

在框S104中，对服务器负载进行评估。通过计算公式(5)得到的6个维度的权重系数为1*6矩阵，与6个维度的数据进行融合即可得到服务器负载评分(如下式所示)，进而对服务器的负载状态进行评估分析。

负载评分＝[权重参数]_1*6·[维度矩阵]_6*n

如图2所示，示出了一种基于D-S证据理论的服务器负载状态评估分析系统，该系统包括数据采集单元，用于采集服务器状态值；6*n矩阵相关性计算单元，用于计算各维度中数据之间的相关度；参数标准化处理单元，用于标准化6*6矩阵；列项求和计算单元，用于对6*6矩阵列项求和；参数标准化处理单元，用于对求和后的矩阵标准化；权重计算单元，用于计算服务器状态值的权重；融合计算单元，用于计算服务器负载评分；以及服务器负载状态评估单元，用于评估服务器负载状态。其中数据采集单元与6*n矩阵相关性计算单元以及融合计算单元连通，6*n矩阵相关性计算单元与参数标准化处理单元、列项求和计算单元、参数标准化处理单元以及权重计算单元顺次连通，权重计算单元也与融合计算单元连通，融合计算单元与负载状态评估单元连通。

根据本发明的一个实施例，对Aix服务器系统中CPU、内存、磁盘的使用率具体分析如下：

CPU使用率数据库包括下表中所示字段：

server_name	服务设备名
		Timestamp	时间戳
cpu_id	CPU的id
		cpu_busy	CPU繁忙使用率

CPU使用率(tivoli_smp_cpu)计算方法为：单位时间戳内，不同cpu_id下的cpu_busy相加除以cpu_id的个数。

内存使用率数据库包括下表中所示字段：

server_name	服务设备名
		Timestamp	时间戳
used_real_mem_pct	内存使用率

内存使用率(tivoli_unix_memory)计算方法为：单位时间戳内，可以从数据库中直接读取。

磁盘利用率数据库包含下表中所示字段：

磁盘利用率(tivoli_disk)计算方法为：单位时间戳内，总的磁盘已用大小除以总的磁盘大小。

根据本发明的再一个实施例，对Linux服务器系统中CPU、内存、磁盘的使用率具体分析如下：

CPU使用率数据库包括下表中所示字段：

CPU使用率(tivoli_klz_cpu)计算方法为：单位时间戳内，不同cpu_id下的cpu_busy相加除以cpu_id个数。

内存使用率数据库包括下表中所示字段：

server_name	服务设备名
		Timestamp	时间戳
memory_used_pc	内存使用率

内存使用率(tivoli_klz_vm_stats)计算方法为：单位时间戳内，可以从数据库中直接读取。

磁盘利用率数据库包含下表中所示字段：

磁盘利用率(tivoli_klz_disk)计算方法为：单位时间戳内，总的磁盘已用大小除以总的磁盘大小。

根据本发明的再一个实施例，对Windows服务器系统中CPU、内存、磁盘的使用率具体分析如下：

CPU使用率数据库包括下表中所示字段：

CPU使用率(tivoli_nt_processor)计算方法为：单位时间戳内，cpu_id下的CPU使用率加和求平均。

内存使用率数据库包括下表中所示字段：

server_name	服务设备名
		Timestamp	时间戳
available_usage_percentage	可用内存百分比

内存使用率(tivoli_nt_memory_64)计算方法为：单位时间戳内，(1-available_usage_percentage)加和求平均。

磁盘利用率数据库包含下表中所示字段：

server_name	服务设备名
		Timestamp	时间戳
per_used	磁盘使用百分比
		disk_name	单个磁盘名称

磁盘利用率(tivoli_nt_logical_disk)计算方法为：单位时间戳内，保留disk_name＝‘_Total’时per_used的值。

根据本发明的再一实施例，对影响服务器负载因素的服务器连接数、网络流量、网络并发数分析如下：

网络使用状态数据库包括下表中所示字段：

应当理解的是，本领域的技术人员可以通过网络使用状态数据库中相关连接数据计算得到网络使用状态数据，包括网络并发数、服务器连接数以及网络流量。

根据本发明的再一个实施例，根据上文中对使用不同系统的服务器采集并量化的6个维度的标准值，计算一天中服务器的CPU、内存、磁盘、服务器连接数、网络并发数和网络流量(速率)的一个综合值。

通过相似矩阵计算得到权重，具体包括以下步骤：

a.通过量化的6个维度作为行坐标，分析天数作为列坐标生成一个6*n矩阵。

b.归一化服务器连接数、网络并发数和网络流量(速率)3个维度，因为该3个维度不是一个量级。

c.采用众数均值平滑算法，计算每天的服务器的CPU、内存和磁盘的使用状态值，因为该3个维度数据分布不平均。

d.计算6*n矩阵间，两两行维度的余弦相似，得到一个6*6的矩阵，其中计算两两间相似目的是为了说明一个维度受另一维度的影响关系程度。

e.对6*6相似矩阵归一化。

f.对归一化的相似矩阵按列求和得到1*6矩阵。

g.归一化该求和矩阵，即得到一个1*6权重。

通过上面的计算公式得到的权重系数1*6矩阵，与六个维度的数据进行融合即可得到服务器的负载状态。

以上所述实施例仅表达了本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于D-S证据理论的服务器负载状态评估分析方法，其特征在于，所述方法包含以下步骤：

步骤一：采集服务器的状态值；

步骤二：标准化所述服务器的所述状态值；

步骤三：利用D-S证据理论合成方法，对所述服务器的所述状态值进行数据融合分析；

步骤四：计算所述服务器的负载评分进而评估所述服务器的负载状态。

2.根据权利要求1所述的方法，其特征在于，所述服务器的所述状态值包括CPU使用率、磁盘使用率、内存使用率、网络并发数、服务器连接数、网络流量。

3.根据权利要求2所述的方法，其特征在于，所述CPU使用率、所述磁盘使用率和所述内存使用率的标准化通过众数均值平滑算法实现。

4.根据权利要求3所述的方法，其特征在于，所述众数均值平滑算法包含以下步骤：

步骤1：均一化CPU、磁盘和内存的使用状态值；

步骤2：一天的时间刻度中等分所述CPU、所述磁盘和所述内存的使用状态范围；

步骤3：计算众数的均值E_m、众数的个数num、以及非众数均值

步骤4：利用连续单增S型sigmoid函数，获取所述众数的权重；

步骤5：根据式(1)，计算所述CPU、所述磁盘和所述内存的状态值；

$y=E_m\·\frac{1-e^{-\∂\·num}}{1+e^{-\∂\·num}}+\stackrel{\‾}{E_m}\·(1-\frac{1-e^{-\∂\·num}}{1+e^{-\∂\·num}})---\left(1\right)$

式(1)中，所述通过学习得到，或者可以预置。

5.根据权利要求2所述的方法，其特征在于，所述服务器连接数为一定时间内所述服务器的总连接数。

6.根据权利要求2所述的方法，其特征在于，所述网络并发数为单位时间内的网络并发数。

7.根据权利要求2所述的方法，其特征在于，所述网络流量为上行速率与下行速率之和与总的传输时长的比值。

8.根据权利要求1所述的方法，其特征在于，所述服务器使用的系统包括Aix、Linux以及Windows。

9.一种基于D-S证据理论的服务器负载状态评估分析系统，其特征在于，所述系统用于实施权利要求1至8所述的方法。