CN106845820A - 一种基于性能裕量的nfv系统可靠性测评方法 - Google Patents

Abstract

本发明公开了一种基于性能裕量的NFV系统可靠性测评方法，属于网络通信以及可靠性技术领域。本方法包括：确定系统关键性能参数；定义系统测试剖面；在准备好的测试场景下，实时采集关键性能参数数据；给定系统关键性能参数阈值；计算测试剖面下系统性能裕量可靠性。性能裕量是指关键性能参数值与其规定阈值之间的偏离程度，是较容易获取的、随时间变化的、可提取统计分布特征的有效可靠性数据。本发明解决了产品正常工作下无法获得足够的故障数据时，以性能裕量定义新的故障判据，根据选取不同的关键性能参数得到不同的性能裕量可靠度，从而完成对高可靠复杂通信系统的可靠性测评。

Description

一种基于性能裕量的NFV系统可靠性测评方法

技术领域

本发明属于网络通信以及可靠性技术领域，具体涉及一种基于性能裕量的NFV系统可靠性测评方法。

背景技术

NFV(Network Functions Virtualization，网络功能虚拟化)使通信系统中的网络设备功能不再依赖于专用硬件，资源可以充分灵活共享，实现新业务的快速开发和部署，并基于实际业务需求进行自动部署、弹性伸缩、故障隔离和自愈等，NFV通信系统基本架构如图1所示(参考文献[1]：Hawilo H,Shami A,Mirahmadi M,et al.“NFV:state of theart,challenges,and implementation in next generation mobile networks(vEPC).”IEEE Network,2014,28(6):18-26.)。针对这类复杂的高可靠系统，即便采用加速试验，也难以在有限的时间和费用约束下产生可靠性评估所需数量的故障，因此，传统的基于故障数据统计学推论的可靠性度量已不再适用。

在实际工作中，即便NFV系统由于多路径冗余使其基础设施长时间处于非故障状态，也并不能说明产品非常可靠。因为即使NFV功能能够实现，性能的下降同样会导致用户体验下降，服务水平降低，具有诱发故障的潜能。目前，人们越来越多地以产品性能下降的程度作为判断产品故障的依据，如果产品性能水平不达标，对于产品的服务也可定义为故障。因此，从产品的性能裕量角度来考察产品可靠性成为一条符合逻辑的思路，性能裕量可靠性测评也应运而生。

目前，性能裕量已用于部件寿命预测，基于部件关键性能参数的历史实验数据，建立性能裕量回归模型，进而预测部件贮存寿命(参考文献[2]：彭忠明,王玉明.“基于试验数据的性能裕量及其不确定性量化方法.”信息与电子工程08.6(2010):682-686.)。而本发明是基于性能裕量，对NFV系统性能裕量可靠度进行计算。

发明内容

本发明目的是为了解决在较短时间内无法获得足够的故障数据对高可靠的NFV系统进行可靠性评估的问题，提出了一种基于性能裕量的NFV系统可靠性测评方法。通过在给定任务剖面下，对系统关键性能参数数据的实时采集，从概率和统计的角度计算给出产品的性能裕量可靠度，即产品性能参数满足用户期望的概率。

本发明提供的一种基于性能裕量的可靠性测评方法，包括如下步骤：

步骤一：确定系统关键性能参数，设确定了m个性能参数P¹，P²,...,P^m，m为正整数；

步骤二：定义系统测试剖面；根据NFV系统的业务功能，确定测试的业务类型。结合以往的业务量统计数据，定义系统测试剖面，以对系统可靠性进行评估。

步骤三：关键性能参数数据实时采集；在准备好的测试场景下，同时启动负载压力工具和各性能参数采集工具，在设定时间内每隔△t时刻测量各性能参数值，记性能参数Pⁱ在第j次测量的性能参数测量值为i＝1,2,…,m。

步骤四：给定各关键性能参数的阈值；根据用户对不同性能参数的忍受极限，给定各性能参数Pⁱ的阈值i＝1,2,…,m。

步骤五：计算测试剖面下系统性能裕量可靠性，包括如下(1)～(6)子步骤；

(1)计算各性能参数Pⁱ在所有采样时刻的性能裕量，设性能参数Pⁱ在采样时刻t_j＝jΔt的性能裕量为j＝1,2,…,N，N为采样次数；

若当且仅当时产品发生故障，称Pⁱ为望小性能参数，则

若当且仅当时产品发生故障，称Pⁱ为望大性能参数，则

若当且仅当或时产品发生故障，称Pⁱ为望目性能参数，则其中，和分别为望目性能参数阈值范围的上界和下界；

(2)计算各参数Pⁱ性能裕量均值和标准差

(3)根据所得到的对各性能参数Pⁱ的性能裕量Mⁱ进行拟合，确定Mⁱ所服从的分布函数Fⁱ(x)，其中x代表性能裕量Mⁱ，i＝1,2,…,m；

(4)计算各性能参数Pⁱ的性能裕量可靠度Rⁱ＝1-Fⁱ(0)，i＝1,2,…,m；

(5)确定各性能参数Pⁱ的性能裕量可靠度的权重wⁱ，i＝1,2,…,m；

(6)计算测试剖面下系统性能裕量可靠度且

本发明的优点与积极效果在于：

(1)性能裕量是指在使用过程中，系统及其组成单元在外部条件和内部状态等各种不确定因素的综合影响下的关键性能参数值与其规定阈值之间的偏离程度，是较容易获取的、随时间变化的、可提取统计分布特征的有效可靠性数据。在受限于无充足的故障数据条件下，本发明以性能裕量定义新的故障判据，完成对高可靠复杂通信系统的可靠性测评。

(2)本发明给出了一整套基于性能裕量的NFV系统可靠性测评方法，包括如下内容：确定系统关键性能参数，定义系统测试剖面，关键性能参数数据实时采集，给定关键性能参数阈值，测试剖面下系统性能裕量可靠性计算。

附图说明

图1是NFV电信云通信系统基本架构图；

图2是本发明的基于性能裕量的可靠性测评方法的整体流程示意图；

图3是本发明实施例的虚拟服务器配置拓扑图；

图4是本发明实施例的性能裕量分布拟合图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明提出一种基于性能裕量的可靠性测评方法，整体步骤如图2所示。下面说明各步骤的实现。

步骤一：确定系统关键性能参数，设确定了m个性能参数P¹，P²,...,P^m,m为正整数。

以性能裕量定义故障判据来评估系统可靠性，具体表征在性能上，因此需要确定系统关键性能参数。确定性能参数集合{p(i)|i为不同的参数候选项索引，i＝1,2,...,n}，从NFV通信系统计算、存储、网络三个方面出发，导致影响用户体验的性能参数包括服务器CPU利用率、内存使用率、磁盘I/O、网络I/O；从NFV通信系统实现的功能出发，影响用户体验的性能参数包括连通、及时、完整、正确四个方面，可通过往返时延(RTT)、丢包率、误码率来表征。对不同的被测系统由于使用需求不同而具有不同的系统关键性能参数，并且应为能够监测到的性能指标。在构建好的性能参数集合中，利用故障及性能的历史统计数据，通过故障与性能的相关性分析，由此确认系统关键性能参数。

步骤二：定义系统测试剖面。

步骤2.1，确定测试业务类型。根据NFV系统的业务功能中确定系统负载的业务类型，如数据业务、视频业务、语音业务等；

步骤2.2，定义系统测试剖面。结合以往的业务量统计数据和未来可能增长变化情况，定义系统测试剖面一个示例如表1所示，对NFV系统进行性能裕量可靠性的评估。

表1语音业务剖面构建(示例)

步骤三：关键性能参数数据实时采集。

根据测试需求，完成软硬件的部署，设置物理机个数并分配不同的虚拟服务器类型，提供符合测试需求可使用的测试环境，并部署负载压力工具和相应的性能参数采集工具。在步骤二所述的测试剖面下，同时启动负载压力工具和各性能参数采集工具，记录T*时间内每隔△t时刻各性能参数测量值，记性能参数Pⁱ在第j次测量的性能参数测量值为

步骤四：给定关键性能参数阈值。根据用户对不同性能参数的忍受极限，给定m个性能参数阈值m为正整数。举例来说，在web应用中，用户期望体验到的网页单页面完全打开时间t≤4秒，这里“网页单页面完全打开时间”为性能参数，“4秒”为该参数对应的性能阈值，即由用户的忍受极限给出。

步骤五：测试剖面下系统性能裕量可靠性计算。具体包括如下步骤：

步骤5.1，计算各性能参数的性能裕量。性能裕量是指关键性能参数值与其阈值之间的偏离程度，根据步骤四得到各性能参数阈值计算各关键性能参数Pⁱ在所有采样时刻t_j＝jΔt,(j＝1,2,...,N)的性能裕量：

其中，表示性能参数Pⁱ在采样时刻t_j的性能裕量，N为采样次数；和分别为望目性能参数阈值范围的上界和下界。

步骤5.2，计算各参数性能裕量均值和标准差。根据步骤5.1计算所得的性能裕量计算各性能裕量均值：

标准差：

其中，和分别为性能参数Pⁱ的性能裕量均值和标准差。

步骤5.3，各参数性能裕量分布拟合。根据步骤5.1计算所得的性能裕量确定性能参数Pⁱ的性能裕量Mⁱ所服从的分布类型。

步骤5.4，计算各参数性能裕量可靠度。

性能裕量可靠度为裕量大于0的概率，根据步骤5.3所确定的性能裕量的分布，可计算相应的性能裕量可靠度Rⁱ＝P(Mⁱ＞0)＝1-P(Mⁱ≤0)，即

Rⁱ＝1-Fⁱ(0) (4)

其中，Fⁱ(x)为性能裕量所服从的分布函数。

步骤5.5，计算各参数性能裕量可靠度的权重wⁱ。

步骤5.6，计算测试剖面下系统性能裕量可靠度。根据步骤5.4和步骤5.5计算所得各性能参数性能裕量可靠度Rⁱ和wⁱ权重，可获得系统性能裕量可靠度为：

其中，

实施例：

本发明实施例通过某NFV系统来实现，以图3所示的虚拟服务器配置拓扑图为例阐述本发明方法。具体地说，资源COTS层提供3台物理机，分别配置12台虚拟服务器在3台物理机上，即物理机1上部署了VNF-A(Virtual Network Function)节点2个、VNF-B节点1个、VNF-C节点1个、VNF-D节点1个、VNF-E节点1个，共计6个虚拟节点；物理机2上部署了VNF-D节点1个、VNF-C节点1个，共计2个虚拟节点；物理机3上部署了VNF-A节点1个，VNF-B节点1个，VNF-D节点1个、VNF-E节点1个，共计4个虚拟节点。

步骤一：确定系统关键性能参数。

每秒发送成功率是一个全局统计量，反映了整个通信系统业务成功发送到成功接收的比率，随着业务量的增大，会存在信息无法成功到达的情形，是用户能直接体会到的性能指标，并且是能够监测到的性能指标，可以作为一个系统关键性能参数。

步骤二：定义系统测试剖面。

步骤2.1，确定测试业务类型。根据需要，系统负载选用语音业务，负载压力评估量化单位为caps。

步骤2.2，定义系统测试剖面，剖面具体参数如表3所示。

表2测试剖面参数

步骤三：关键性能参数数据实时采集。

在步骤二所述的测试剖面下，同时启动负载压力工具和性能参数采集工具，设置运行过程中每隔2秒记录一次发送成功率，即Δt＝2s。运行结束后可得到相应性能参数测量值j＝1,2,...,N，N＝1800。

步骤四：给定关键性能参数阈值。

由于NFV系统对可靠性有超高的要求，根据用户体验并结合历史数据，给定性能参数每秒发送成功率的阈值为99.00％。

步骤五：测试剖面下系统性能裕量可靠性计算。

步骤5.1，计算性能裕量。每秒发送成功率是望大型性能参数，应用公式(1)计算该性能参数性能裕量值。根据步骤三所采集的性能数据以及步骤四所给定的性能参数阈值，由公式(1)可得性能裕量j＝1,2,...,N，N＝1800。

步骤5.2，计算性能裕量均值和标准差。由公式(2)和公式(3)计算可得性能裕量的均值和标准差为

步骤5.3，每秒发送成功率的性能裕量M¹分布拟合。如图4所示，通过Minitab平台对性能裕量数据在95％的置信区间下进行分布拟合，图4所示给出四种拟合的分布类型：正态分布、指数分布、Weibull分布和Gamma分布，根据拟合结果确定最符合的分布类型。从图4中可以看出正态分布下数据点大致呈一条直线，并且P值＝0.028为最大，因此这里选择正态分布为性能裕量数据的分布类型。其中AD为Anderson-Darling test,用于检验假设分布，该值越小，越有可能符合某个分布；P值表示在原假设为真时所得到的观察结果或更为极端结果出现的概率。

步骤5.4，计算各关键性能参数裕量可靠度。根据步骤5.2计算所得的性能裕量均值和标准差，由公式(4)计算可得性能参数裕量可靠度R¹＝1-F¹(0)，其中，正态分布函数F¹(x)为：

换算为标准正态分布可得

步骤5.5，计算性能裕量可靠度的权重w¹。根据步骤5.2所得的性能裕量均值和标准差，计算可得性能裕量数据的变异系数进而可计算相应的性能裕量可靠度权重但由于实施例中只选定了一个系统关键性能参数，故这里权重值w¹＝1。

步骤5.6，计算测试剖面下系统性能裕量可靠度。根据步骤5.4和步骤5.5计算所得的性能参数裕量可靠度R¹和权重w¹，由公式(5)计算可得测试剖面下系统性能裕量可靠度

通过本发明方法，可在无法获得足够的故障数据时，完成对高可靠复杂通信系统的可靠性测评，根据计算得到的系统性能裕量可靠度。

Claims (3)

1.一种基于性能裕量的可靠性测评方法，其特征在于，实现步骤为：

步骤一：确定系统关键性能参数，设确定了m个性能参数P¹,P²,...,P^m，m为正整数；

步骤二：定义系统测试剖面；

根据NFV系统的业务功能，确定测试的业务类型，结合以往的业务量统计数据，定义系统测试剖面；

步骤三：关键性能参数数据实时采集；

在准备好的测试场景下，同时启动负载压力工具和各性能参数采集工具，在设定时间内每隔△t时刻测量各性能参数值，设性能参数Pⁱ在第j次测量的值为i＝1,2,…,m；

步骤四：给定各性能参数Pⁱ的阈值i＝1,2,…,m；

步骤五：计算测试剖面下系统性能裕量可靠性，具体实现为：

(1)计算各性能参数Pⁱ在所有采样时刻的性能裕量，设性能参数Pⁱ在采样时刻t_j＝jΔt的性能裕量为j＝1,2,…,N，N为采样次数；

(2)计算各性能参数Pⁱ的性能裕量均值和标准差

(3)根据所得到的对各性能参数Pⁱ的性能裕量Mⁱ进行拟合，确定Mⁱ所服从的分布函数Fⁱ(x)，其中x代表性能裕量Mⁱ，i＝1,2,…,m；

(4)计算各性能参数Pⁱ的性能裕量可靠度Rⁱ＝1-Fⁱ(0)，i＝1,2,…,m；

(5)确定各性能参数Pⁱ的性能裕量可靠度的权重wⁱ，i＝1,2,…,m；

(6)计算测试剖面下系统性能裕量可靠度且

2.根据权利要求1所述的一种基于性能裕量的可靠性测评方法，其特征在于，所述的步骤五中，各性能参数Pⁱ在所有采样时刻的性能裕量计算如下：

若当且仅当时产品发生故障，称Pⁱ为望小性能参数，则

若当且仅当时产品发生故障，称Pⁱ为望大性能参数，则

若当且仅当或时产品发生故障，称Pⁱ为望目性能参数，则

其中，和分别为望目性能参数阈值范围的上界和下界。

3.根据权利要求1或2所述的一种基于性能裕量的可靠性测评方法，其特征在于，所述的步骤五中，计算各性能参数Pⁱ的性能裕量可靠度的方法是：

性能裕量可靠度为裕量大于0的概率，根据所确定的性能裕量的分布，计算相应的性能裕量可靠度Rⁱ＝P(Mⁱ＞0)＝1-P(Mⁱ≤0)＝1-Fⁱ(0)。