CN104850727B - 基于云重心理论的分布式大数据系统风险评估方法 - Google Patents

Abstract

本发明公开一种基于云重心理论的分布式大数据系统风险评估方法，包括过程1：对风险等级进行划分，通过标准云生成器产生标准风险云；过程2：对虚拟机节点的相关信息进行采集，并进行数据预处理，获得Risk(P,T,A,R)风险描述向量和Risk_AHP‑RBF值；其中Risk(P,T,A,R)风险描述向量是指虚拟机性能指标P、虚拟机时间指标T、报警日志指标A和LSA风险识别指标R；过程3：对描述各属性的风险度向量进行归一化处理，使用风险度云逆向生成器产生数学风险云(也即4个属性风险云和一个综合风险云)；过程4：将各属性风险云综合分析得到综合风险云Risk_cloud；过程5：计算相似度并进行评价得出风险等级；过程6：以过程5的风险等级为依据，对当前汇聚云表示的风险等级进行评价。

Description

基于云重心理论的分布式大数据系统风险评估方法

技术领域

本发明属于云计算技术领域，涉及一种针对面向服务的云计算系统的风险评测研究，具体是一种基于云重心理论的分布式大数据系统风险评估方法。

背景技术

近年来，云计算技术发展迅猛，成为产业界、学术界、政府等各界关注的焦点。云计算的实质是一种动态的资源组合与服务技术，并通过大量虚拟化组件形成资源池来对计算任务进行分配，使用户可对云计算的服务按需获取。云计算也是并行计算、效用计算、网格计算和虚拟化技术综合运用的技术，按照服务类型主要划分为SaaS、PaaS、IaaS三种层次架构，各层次架构针对服务的资源类型与形式有所不同，但均以Web服务的形式为用户提供资源访问入口，因而向云计算系统的Web服务层提出了更高的要求。

伴随着云计算的广泛运用，以及网络计算机资源Web化和服务化的普及，云计算服务的安全问题及其重要性也越来越明显。系统是否安全可靠，关键在于衡量系统的异常行为是否可识别、服务行为是否可以预测、行为结果是否可以评估。这些重要的衡量参数都直接体现了云计算系统的风险度高低。所以如何准确评测地云计算系统服务层的风险度，是衡量云计算系统是否安全可靠和进行服务选择的关键因素之一。

目前，云计算系统的WebService服务安全大多采用WSDL安全策略。然而，这些都是静态的Web安全措施，并未针对云计算虚拟化、大规模、分布式的技术特点进行优化，二者之间存在较大的技术代沟。因而在云计算环境下，WebService将面临全新的的安全挑战。基于云计算环境的WebService是动态变化的，其所需要的安全措施会根据应用背景和服务性质的不同而有所区别。即使已有的WebService安全技术已经成熟，能够解决一部分安全问题，但面向云计算环境的WebService效果却不能令人满意。云计算的安全架构和安全策略对WebService系统服务层设计提出了较高的要求。因此，进行面向服务的云计算系统风险评测研究是十分必要的。

发明内容

因此，针对上述的问题，本发明提出一种基于云重心理论的分布式大数据系统风险评估方法，该方法采用单点风险预测值进行汇聚，并用逆向云发生器构建云模型，利用云模型的随机、模糊特性对不确定的云计算整体系统风险进行等级评估，提供等级化的可信度量指标，对系统的整体风险进行评价和判断。

为了对不确定的云计算风险安全进行等级评估，具体的，本发明的一种基于云重心理论的分布式大数据系统风险评估方法，包括以下过程：

过程1：对风险等级进行划分，通过标准云生成器(也可叫标准云正向生成器)产生标准风险云；其中，标准云生成器定义如下：假设在系统中预先设定了一系列风险云，每个风险云也叫做一个标准风险子云，有确定的概念来描述风险子云，和风险等级相对应；若风险值的取值范围为[0,10]，将这个取值区间分为n个子区间，其中第i个子区间表示为[R_mini,R_maxi]；针对虚拟机风险评价指标X，以指标X的样本值(x₁,x₂,x₃······x_n-1,x_n)为根据，使用聚类分析方法(例如分层聚类法或K-均值聚类法)把该指标划分为5类，每一类的中心值分别计为

过程2：为了满足风险评估需求，对虚拟机节点的相关信息进行采集，并进行数据预处理，获得Risk(P,T,A,R)风险描述向量(或称(P,T,A,R)指标属性)和Risk_AHP-RBF值；其中Risk(P,T,A,R)风险描述向量是指虚拟机性能指标P、虚拟机时间指标T、报警日志指标A和LSA风险识别指标R；

过程3：对描述各属性的风险度向量进行归一化处理，使用风险度云逆向生成器(也可称为风险属性逆向云发生器)产生数学风险云(也即4个属性风险云和一个综合风险云)；其中，风险度云逆向生成器的定义如下：令被评估的云计算系统有共有n个受监测虚拟机，对应Risk(P,T,A,R)四个风险描述向量和一个预测值属性Risk_AHP-RBF，总共为5组属性；将每一个虚拟机视为一个云滴，通过逆向云生成算法产生4个属性风险云和一个综合风险云；那么，产生数学风险云也即产生4个属性风险云和一个综合风险云；

过程4：将各属性风险云综合分析得到综合风险云Risk_cloud；

过程5：计算相似度并进行评价得出风险等级；

过程6：以过程5获得的风险等级为依据，对当前汇聚云表示的整体风险等级进行评价。

进一步的，所述过程3中的逆向云生成算法描述如下：

输入样本点X_i(x_i1,x_i2,…x_im),i＝1,2,,n；输出m个风险云(TPC₁,TPC₂,…,TPC_m)，其数字特征分别为(Ex₁,Ex₂,…,Ex_m,En₁,En₂,…,En_m,He₁,He₂,…,He_m),其中m＝5；具体实施过程如下：

1)计算风险隶属度为:

2)计算样本均值为：

3)计算每个属性云重心，包括(P,T,A,R)指标属性和Risk_AHP-RBF综合属性：

4)计算熵为：

5)计算熵的标准差为：

6)计算超熵为：

进一步的，因为各个属性所强调的重点不同，所以在评价不同的实体时，需要通过各属性风险云的数字特征值和对应的权重计算出新的综合风险云。具体的，所述过程4将各属性风险云综合分析得到综合风险云Risk_cloud的过程如下：通过下式计算出各属性的数字特征(E_x，En，He)，这个数字特征是对实体风险的综合反映，也即综合风险云Risk_cloud表示如下：

在公式中，m为属性个数，数值为5；λ_i为属性对应的权重；权重分布为：

(0.017381，0.081481，0.055619.0.07109，0.618)；

接着计算出相似度，选择与该实体综合风险云最相近的标准风险子云，实体的风险等级就是这个标准风险子云所对应的风险等级。

进一步的，过程5中计算相似度的具体过程如下：

首先，相似度定义如下：设Risk₁(Ex₁，En₁，He₁)、Risk₂(Ex₂，En₂，He₂)为两个风险云，使用风险逆向云发生器将Risk₁生成云滴(x_i,u_i)，如果x_i在云RISK₂中的隶属度为，那么称其均值就称为RISK₁与RISK₂的相似度，用δ表示；

那么，令输入为：风险云Risk₁(Ex₁,En₁,He₁)、Risk₂(Ex₂,En₂,He₂)，输出为相似度值δ；具体操作过程为：

1)在风险云RISK₁中生成正态随机数，该正态随机数的期望和方差分别为En₁和He² ₁，En_i’＝NORM(En,He²)；

2)在RISK₁中生成正态随机数，该正态随机数的期望和方差分别为Ex₁为期和，x_i＝NORM(Ex，En_i ^’2)；

3)计算

4)重复执行步骤2)和3)，直到产生n个为止；

5)计算得到相似度δ：

根据五个属性云的云综合得出结果。

在实际操作中，风险评估可通过以下几个步骤来实现，首先接收风险评估请求，对相关的数据进行采集和归一化预处理；通过上述方法步骤计算得出风险值大小；最后对当前汇聚云表示的整体风险等级进行评价。那么，所述过程6中，对当前汇聚云表示的整体风险等级进行评价，主要包括以下过程：

1)：对规则库中的信息进行读取，这些规则主要涉及风险因素系数设置规则、风险报警机制、风险等级评定规则等，接着计算风险因素的权重系数，具体方法是通过风险因素权重评定模块在规则库信息的指导下对各风险因素的权重进行评估，最后计算风险值的大小：

在公示中P_f为不利事件发生的概率；不利事件一旦发生所产生的后果用C_f表示；第i个风险因素等级评估值为F_i；λ_i为第i个风险因素权重。

2)：异常分析，就评估结果的正确性进行分析，如果结果与实际情况不一致，分析结果则被提交到规则生成器，结果存在异常则进行步骤3)，若无异常则进行步骤4)；

3)：由规则生成器生成新规则，异常分析结果则被提交到规则生成器，根据结果对规则库中相应规则进行修改和更新；

4)：对风险进行综合评估：参考计算得到的风险值和风险因数，对风险进行综合评估，再依据QoS约束条件对SLA服务进行选择。

其中，依据QoS约束条件对SLA服务进行选择，首先计算云计算系统虚拟机单点的风险预测值，同时获得P、T、A、R四个指标，并进行归一化处理；其次通过逆向云发生器产生多个节点的风险预测值和四个指标值进行汇聚，将多点的定量数据转换为定性结论；最后将汇聚云按照权重矩阵合成后，与标准分级云模型进行比较，判断当前QoS服务等级所处的状态。由此获得SLA的风险等级评估从而进行QoS约束选择。

本发明通过上述步骤，对云计算各虚拟机的风险预测值进行汇聚；用逆向云发生器构造风险评估云模型，利用云的随机和模糊特性对不确定的云计算系统整体风险安全进行等级评估；在此基础上对WebService风险进行服务隶属度划分，并在QoS约束下进行服务选择。其中，该方法采用逆向云发生器将各虚拟节点的风险预测值生成云滴后分别汇聚为五个指标云，再根据权重矩阵产生综合风险云，从而完成风险预测值到风险等级的定量转定性计算，实现对云计算系统的整体风险进行宏观评估。本发明采用上述方法，提高了风险评估性能，具有很好的实用意义。

附图说明

图1基于SLA约束的云计算服务选择架构图；

图2SLA风险定性云模型；

图3隶属云及其数字特征；

图4云模型数字特征；

图5逆向云发生器示意图；

图6基于云模型的云计算风险评估方案；

图7WebService安全隶属云图；

图8综合后的综合风险云与标准云对比图；

图9四个指标的隶属度云，(a)虚拟机性能指标P，(b)虚拟机时间指标T，(c)报警日志指标A，(d)LSA风险识别指标R；

图10风险约束方法和LRU方法在服务选择成功率的比较；

图11风险约束方法和MAIS方法在服务选择成功率的比较。

具体实施方式

现结合附图和具体实施方式对本发明进一步说明。

云计算是集群计算、并行计算、网格计算不断发展的新一代产物，融合了分布式计算的多种概念和技术。云计算环境典型呈现出大规模分布式、结构复杂化、架构多样化、运算动态化和服务虚拟化的特点，其中虚拟化技术是云计算的关键技术之一。虚拟化对面向服务(WebService)提供为主的云计算系统供应商提出了更高的安全和质量要求，而传统研究大多聚焦于信息系统风险评估和网络入侵检测等领域，缺乏针对云计算的深入探索，因此进行面向服务的云计算系统风险评测研究是十分必要的。

本发明提出了一种基于云重心理论的云计算系统整体风险评估方法。该方法采用单点风险预测值进行汇聚，并用逆向云发生器构建云模型，利用云模型的随机、模糊特性对不确定的云计算整体系统风险进行等级评估，提供等级化的可信度量指标，对系统的整体风险进行评价和判断。在此基础上，根据SLA等级定义进行QoS约束服务选择建模，实现了风险依赖下的云计算服务选择方法。经过对比试验，采用风险评估后的QoS约束的云计算服务选择性能和成功率均得到较好的提高。

目前，对于风险程度这一模糊性的概念一半是采用量化评测手段，用分布式监测的方式解决云计算虚拟资源池中个体风险状态的真实有效的反映。但对于云计算供应商而言，而别是大型的云计算供应商，往往部署大量计算资源，并同时分布在多个不同地域的数据中心，所有的异地资源都可以为全球范围的用户提供访问。例如，微软公司的数据中心全球共有20多处，涵盖数十万台物理计算节点，可提供接近百万数量的虚拟化节点资源。当用户访问如此庞大的云计算系统时，需要从数据中心到服务入口不同层面对供应商的系统风险状态进行评估，从而实现宏观层面的SLA服务区域选择，和微观层面的QoS约束服务选择。

SLA服务等级协议由具体的QoS来约束服务质量以实现面对客户的服务承诺。因此，对不确定的虚拟机个体风险度进行评测，以及对云计算数据中心为目标的整体风险等级进行评估至关重要。而SLA服务等级协议也经常用来保证web服务的服务质量。而在云计算这样的大型分布式系统环境下，SLA是用户和服务商签订的协议，多数是非量化、定性的、不确定性的、模糊的指标。而多数QoS是可量化、可测试的指标。参见图1，本发明采用云理论来解决定量信息和定性判断之间的互相转换问题，通过汇聚多个虚拟机的风险预测值，产生五个指标的云模型，然后用云逆向发生器进行由定量到定性的转化，实现对云计算系统整体的风险等级评估。

对不确定的云计算风险安全进行等级评估至关重要。下面首先阐述SLA协议下的云计算服务体系以及基于QoS的web服务模型，通过云重心理论对WebService进行服务隶属度划分，确定是否SLA违规，最终基于风险评估实现对云计算服务跨域web服务选择，并与传统的LRU(LeastRecentlyUsed)和MAIS方法进行比较，实验表明经过风险评估后的服务选择在成功率和效率方面均优于传统方法。

一、基于SLA的云计算服务风险评估

1.1云计算的SLA协议

云计算环境下，云计算服务供应商和服务使用者之间需签署或遵循对服务性能、质量、价格、可用性、安全等多种因素综合考量的服务协议。基于服务等级的协定SLA(ServiceLevelAgreement)是在云计算环境下，服务供应商向用户提供满足其使用需求的手段。SLA的实质是用户和服务提供者之间通过签订合同，对可计量的系统性能，所能达到事先定义的品质所提供的一种保障。若服务提供者没能实现所承诺的服务品质,用户可按合同规定获得经济赔偿。SLA给予用户购买供应商的服务时有相应保障，同时也为服务提供者提供了一种可评价的竞争依据。云计算系统的高复杂度和分布式特点，使得云计算供应商的SLA面临着巨大的挑战,尤其是在灵活性和扩展性方面对提出了更高的要求。SLA风险定性云模型参见图2所示。

在云计算环境中，用户和服务提供者之间的SLA协议包括多方面的约定，其中最核心的部分是Web服务的QoS约束。举例来说，用户购买云计算服务之前，需要与供应商在SLA中对Web服务的响应速度、可靠性、稳定性等进行定义。但是在具体应用SLA协议约束时，SLA的条件往往呈现出模糊的、不确定的定性描述。SLA条件的描述一般采用半形式化语言，只对服务提供者和用户之间的高层次需求进行了定义，不涉及具体的技术指标和数值化参数。然而对于服务提供者而言，他们无法知道如何发生SLA违约的行为，所以SLA中规定的QoS的约束条件一般由定量和定性元素组合构成，其中性能、时间等度量参数上一般都采用定量描述，而质量、风险、安全性等大多采用定性描述。因此，如何将定量描述统一转化为定性的描述非常重要。

1.2面向SLA的QoS服务策略

云计算服务提供大量的服务入口，同时供应商往往采用负载平衡实现多服务入口的单一映射，因此QoS约束是云计算服务服务选择应用的关键因素之一，文献(FengLIU,Zhen-mingLEI,Researchonuser-awareQoSbasedWebservicescomposition.TheJournalofChinaUniversitiesofPostsandTelecommunications,2009,16(5):125～130.)提出了一种包括执行时间、价格、信誉在内的五元QoS模型；文献(ZhangJing.WebServiceQoSinformationcollectingandhandlingsubsysteminsoftwarelibrary[Masterdissertation].PekingUniversity,Beijing,2006)归纳出一种Web服务的QoS描述模型；文献(S.Sioutas,E.Sakkopoulos,Ch.Makris,B.Vassiliadis,A.Tsakalidis,P.Triantafillou.DynamicWebServicediscoveryarchitecturebasedonanovelpeerbasedoverlaynetwork,JournalofSystemsandSoftware[J],2009,82(5):809～824.)描述了Web服务的QoS元模型、服务QoS属性，并采用具有QoS约束信息的服务发布和获取机制、服务QoS评价方法以及三维QoS模型来支持基于QoS的服务选择。针对不同应用领域提出的QoS模型，所关注不同的QoS属性也不同。本发明针对风险评测的研究，旨在以风险等级作为QoS约束模型的核心要素，为SLA下的QoS服务选择策略提供风险可控的服务。

云计算的服务层由一组服务接口集合构成，可以被定义为一个组合请求的抽象表示：ServiceC＝{S₁,…,S_n}，ServiceC是指所需的服务组合类。具体的服务可以被定义为抽象复合服务的实例化。抽象服务类中的每个ServiceC绑定到一个具体的服务S_j可以得到一个具体的复合服务，其中s_j∈S_j并且S_j＝{S_j1,…,S_ji}包涵i个不同的QoS值具有同等功能的服务。

QoS属性一般可以包括可信度、价格因素、区域约束、服务响应时间、丢包率等。其中价格、可信度、区域约束一般采用定性分级描述的方法，而服务响应时间采用定量描述的方法。在本发明中，除了传统的属性元素之外，引入风险评估等级，并将其用较大的权重描述QoS的属性，从而体现出云计算系统对外服务时，提供用户偏好性选择的风险参考因素。

在服务组合中，服务候选者有不同的QoS属性值。通常采用效用函数将QoS向量映射到单一的实际数值，以启用候选服务的排序和排列。在本发明中的QoS效用函数类似于:

服务S的第k个的QoS属性值的最大与最小聚合值计算如下：

同理

其中，代表用户的喜好，的第k个属性是所有候选服务的服务类S_j的最低值，类似的，是最大值，是S的第k个属性的最小值，类似的，是最大值。上述的QoS效用计算是简单的加权求和。其实际效果可以进一步优化。

全局QoS约束的服务选择，是一个多目标优化过程。对于一个给定的服务组合S的最佳选择，必须满足以下两个条件：

(1)对于全局QoS约束的一个给定向量CS＝{C₁,…,C_m}(0≤m≤r)，q(s)是组合服务聚合后的QoS值。

(2)在组合服务中寻求最大总体效用值U(s)。

然而，寻找最佳的构成需要列举候选服务的所有可能的组合，本质是一个NP问题，需要采用带约束的全局多目标优化算法进行快速选择，可考虑的传统方法有遗传算法、蚁群算法、混合整数规划等。

针对面向SLA的QoS服务策略，对QoS属性的定量评估，例如，虚拟机性能指标P，虚拟机时间指标T，报警日志指标A,LSA风险识别指标R，需要对QoS属性进行隶属度划分，确定SLA是否违规。这就需要将定性的QoS属性值进行定性识别和描述。

1.3面向SLA的云计算服务选择风险评估

云计算是基于互联网的计算，在互联网上提供可扩展性和按需服务的计算资源。WebService可以建立面向服务和分布式的云计算应用。根据SOA范式，复合应用程序被指定为一个抽象的服务集(称为服务类或任务)组成的抽象流程。在服务运行时，一个候选服务被选中并为每个服务类调用。因此WebService往往设计为松耦合的灵活结构，单个服务可重入且服务接口之间没有强依赖。QoS参数在服务选择上扮演了非常重要的，直接决定了用户的访问请求最终是否成功。QoS参数往往包含了关键的定量指标和定性指标，例如：虚拟机性能指标P，虚拟机时间指标T，报警日志指标A,LSA风险识别指标R。在预期的QoS级别上，SLA经常被用来作为用户和服务提供商之间的合同基础。QoSaware选择服务旨在有效地发现WebService候选人的最佳组合，在完成特定的SLA情况下来满足最终的端到端QoS约束。

云计算环境是高度动态的，Web服务层的QoS值会随着服务选择的变化而动态改变。不同的Web服务组合所涉及到的虚拟资源不同，相应的QoS中各主要参数也会随之改变。从更宏观的层面看，在不同的云计算数据中心(机房)，服务商的SLA服务等级协议也将随之不同。因此风险评估即可以作为QoS约束的服务选择条件，也可以作为跨域的SLA服务选择的参考。由于服务选择本身将带来云计算系统对虚拟化资源的重新调度，因此对于面向服务的云计算系统应用而言，风险评估过程要具备快速反应能力和自适应能力，这一点非常重要。主要考虑以下几点：

(1)现有的服务选择方法未考虑服务风险因素。云计算系统Web服务层的QoS，通常是采集各WebService节点的运行参数后加权计算而得。这些运行参数来自不同的操作系统、采用不同的编程语言实现、运行在不同虚拟化平台。很难将大量不同性质和量纲的数据统一表达一致的风险模型。在变幻莫测的云计算环境里，资源所在的位置、广域网络条件、服务响应时间等诸多不确定因素，时刻都在影响云计算服务的质量。因此，传统的QoS约束服务选择方法仅靠基本的定量数据和定性评级，很难为云计算系统提供有效的服务选择策略。

(2)在不同的云计算服务中心，WebService的SLA服务等级协议也不同，因此，面对不同的云计算服务，风险评估也会改变。针对跨域的云计算服务SLA评估也至关重要。

二、云模型及其相关理论

2.1云模型

现实生活中的有许多的现象是具有不确定性的。确定的和有规则的现象或事件，只能在特定的前提以及边界条件下才会发生，它只存在于较短的时间或局部。大多数的研究主要针对数据挖掘算法，而只有很少的研究是针对不确定性推理、定量定性转化以及知识表达等关键性的问题的，基本上是使用的是人工智能的研究结果。在人工智能研究中，不确定性分被划分为随机性和模糊性来进行研究。

为了处理这些模糊现象，美国著名科学家L.A.Zadeh于1965年提出模糊集的概念，解决了模糊性相关问题。在模糊集理论中，模糊事物的亦此亦彼性是用隶属度的概念来进行描述的。然而，隶属函数是一个精确的概念，用其来虽模糊集进行描述，实际上是把模糊的概念强行引入精确的数学领域，这样做的缺点是对概念进行定义和叙述定理以及证明定理的过程中是确定的，这就体现了传统模糊集理论的不彻底性。

李德毅院士专门针对这个问题，以传统模糊集理论和概率统计为基础，提出了一种定性定量的不确定性转换模型，即云模型，在云模型理论中，定性概念的随机性和模糊性被结合在了一起，从而使定量数值和定性概念之间能够自然转换。目前云模型已经成功的应用在数据挖掘、系统评估、智能控制等领域当中。

2.2云的概念及其数字特征

云是指某个定性概念和其数值表示之间的不确定性转换模型，实际上是定性和定量之间进行转换的不确定性模型。云所描述的是人类知识或事物中概念的随机性和模糊性两种不确定性。所谓随机性即事件发生的概率，边界的亦此亦彼性则通过模糊性来进行描述。

假设U是一个用精确数值表示的论域，可以使一维的、二维的也可以是多维的，U和定性概念相对应，在U中的任意一个元素x，都有一个有稳定倾向的随机数y＝μ_A(x)，被称作x对概念的隶属度，那么x在U上的分布就是云模型，简称云。云的数字特征以正态分布函数和正态隶属函数为基础，可通过期望E_x，熵E_n和超熵H_e3个参数来表示，如图3所示。

1)期望Ex

Ex反映了定性知识的信息中心值。它是所有的云滴在数域中的重心位置，是最能代表定性概念的值，该值100％的隶属于这个定性的概念。

2)熵En

En是定性概念模糊度的度量，反映了定性概念的不确定性。熵体现了随机性和模糊性的关联性。一般来说，熵越大，概念则越宏观，随机性和模糊性也越大，概念则表现得越模糊，确定性量化则越难。

3)超熵He

He是熵的熵，它是熵的不确定的度量，表明了熵En的离散程度。通常情况下，超熵越大，则隶属度的随机性越大，云滴的离散程度越大，云也就越厚。

当期望值Ex发生变化时，云的水平位置会发生移动。当Ex值越大，云越向坐标轴的右边移动，Ex值越小，云越向坐标轴的左边移动。当熵En发生变化时，会影响云的陡峭程度。当En值越大，云越扁平，En值越小，云越陡峭。超熵He由小变大时，云滴的隶属度变小，凝聚性变差，云滴变得离散，如图4所示，当He为0时，云模型变成普通的正态分布。

2.3云发生器

定量数据和定性概念之间都普遍存在着随机性和模糊性，要建立从定量表示的数值和定性描述的语言值之间的互换模型，就要通过云模型来统一刻画。正向云发生器就是将语言值描述的基本概念转换为其数值表示。逆向云发生器则将精确数值转换为恰当的定性语言值。正向云发生器和逆向云发生器是是云模型中两个最关键和最基本的算法。前者是一个前向、直接的过程，后者是一个逆向、间接的过程。为了实现定性和定量之间的转换，就需要将正向云发生器和逆向云发生器结合起来使用。

云发生器(CG，CloudGenerator)，即通过软件的方法或固化的硬件实现云的算法。正态分布是现实世界中最常见和较重要的分布类型，通常是用方差和均值来表示。对正态云的定义如下：

假设U是一个用精确数值所表示的定量论域，C是U上的一个定性概念，如果存在x属于U，并且x是C上的一次随机实现，如果x满足x～N(Ex,En'²),其中，En'²～N(En,He²),且x对C的隶属度满足

则x在论域U上得分布称为正态云。

2.4逆向云发生器

本研究中所使用的是逆向云发生器，主要对逆向云发生器的算法进行探讨。从定量概念转换为定性概念的转换模型是通过逆向云发生器来实现。它能够把一定数量的精确数据转换成通过Ex、En、He这3个数字特征表示的定性概念。即从云滴Drop(x_i,μ_i)推出云的数字特征的过程，逆向云发生器如图5所示，逆向云发生器算法如下所示：

输入：某个定量概念Xi及其确定度μ_i，i＝1,2,……n。

输出：用于描述某个定性概念的数字特征，Ex，En，He。

算法步骤：

(1)由已知云滴用云期望曲线方程拟合，从而得到

(2)将y>0.999的点剔除，剩下m个云滴；

(3)由求出En'；

(4)根据求出

(5)根据求出

三、隶属云风险评估模型

目前大多数所设计的风险预测方法，是根据虚拟机的数据采集结果进行分析并实现预测。风险预测值反应了虚拟机当前的风险状态以及下一刻走势，可为单个虚拟机节点的风险变化趋势提供参考。但进行更宏观层面的云计算系统风险等级评估，以及在SLA层面实施云计算数据中心的服务选择，虚拟机的单点风险预测已无法满足要求。因此本发明从云模型的构造原理出发，首先建立五个参考风险等级的隶属度云模型；然后将各虚拟机的风险预测值汇聚到风险评估中心，采用逆向云发生器构造云滴，实现五个指标云的构造并汇聚成评估云。

图6是本发明构造云计算系统的整体风险评估的流程框架。风险评估旨在通过采集的量化后风险值数据进行整体性宏观评估，从而获得云计算系统的全局风险等级的定性判定。

3.1构建隶属云的步骤

3.1.1模型要素定义

定义1：设U＝{(x₁,x₂,…,x_m)}是所研究的论域，T是与U相联系的风险描述值，x₁,x₂,…,x_m为各元素的风险评价属性，风险隶属云或称风险云是指风险隶属度C_T(x₁,x₂,…,x_m)在论域上的分布；风险云滴就是每一个元素与其隶属度的序对(x_i,C_T(x_i))，其中i＝1,2,…,m。

本发明针动辄数千台虚拟机节点的复杂云计算服务环境的风险域情况，根据云模型理论，通过将各虚拟机的风险预测值汇聚为风险等级云，客观地反映了整体系统风险的随机性、模糊性和不确定性。过程如下：

1)对风险等级进行划分，通过标准云生成器产生标准风险云；

2)为了满足风险评估需求，对虚拟机节点的相关信息进行采集，并进行数据预处理；如Risk(P,T,A,R)风险描述向量和Risk_AHP-RBF值。

3)对描述各属性的风险度向量进行归一化处理，使用风险度云逆向生成器产生数学风险云；

4)将各属性风险云综合分析得到综合风险云Risk_cloud；

5)计算相似度并进行评价得出风险等级；

6)以标准风险等级为依据，对当前汇聚云表示的整体风险等级进行评价。

3.1.2标准云生成器

定义2：假设在系统中预先设定了一系列风险云，每个风险云也叫做一个标准风险子云，有确定的概念来描述风险子云，和风险等级相对应。若风险值的取值范围为[0,10]，将这个取值区间分为n个子区间，其中第i个子区间表示为[R_mini,R_maxi]。

针对虚拟机风险评价指标X，以指标X的样本值(x₁,x₂,x₃······x_n-1,x_n)为根据，使用聚类分析方法把该指标划分为5类，每一类的中心值分别计为 分层聚类法和K-均值聚类法时比较常用的聚类方法，因为分层聚类法在大样本时会产生困难，而K均值聚类法则能够避免这种困难，聚类效率较高，因此使用该方法进行样本数据分类。

3.1.3属性逆向云发生器

定义3：被评估的云计算系统有共有n个受监测虚拟机，对应(P，T，A，R)4个属性和一个Risk_AHP-RBF预测值属性，总共为5组属性；如果将每一个虚拟机视为一个云滴，通过逆向云生成算法产生4个属性风险云和一个综合风险云，这就是风险逆向云发生器。因为不同的虚拟机节点承担的Web服务功能集合不同，其面向用户响应的重要性也有所不同，这里引入加权百分比概念反应不同虚拟机载体的权重。

定义4：某个虚拟机节点的权重等于其服务接口访问统计数量和总的服务访问数量之比，称为加权百分比，用θ来表示，即：

在公式中，N为总评价数；λ_i为每个属性的相对权重。四个分项指标(P，T，A，R)的权重矩阵为：

W_AHP＝(0.1861，0.2133，0.1456，0.4550)^T (7)

加入Risk_AHP-RBF后，本发明根据黄金分割点其对风险的指示重要度设定为0.618，原有的权重指标在原来基础上乘以0.4，可获得新的权重矩阵：

W_AHP-RBF＝(0.07109，0.081481，0.055619，0.017381，0.6 (8)

由于对各属性风险指标计算归一化到[0，1]区间。可直接计算得出不同虚拟机的服务接口权重。

其中，逆向云生成算法如下所示：

输入样本点X_i(x_i1，x_i2，…x_im)，i＝1，2，，n；输出m个风险云(TPC₁，TPC₂，…，TPC_m)，其数字特征分别为(Ex₁，Ex₂，…，Ex_m，En₁，En₂，…，En_m，He₁，He₂，…，He_m)，其中m＝5。具体实施过程如下：

1)计算风险隶属度为：

2)计算样本均值为：

3)计算每个属性云重心，包括(P，T，A，R)指标属性和RiskAHP-RBF综合属性：

4)计算熵为：

5)计算熵的标准差为：

6)计算超熵为：

3.1.4风险的综合评判

因为各个属性所强调的重点不同，所以在评价不同的实体时，需要通过各属性风险云的数字特征值和对应的权重计算出新的综合风险云，见下式：

在上述公式中，m为属性个数，数值为5；λ_i为属性对应的权重。权重分布为：

(0.017381，0.081481，0.055619，0.07109，0.618) (16)

通过公式15可以计算出各属性的数字特征(Ex，En，He)，这个数字特征是对实体风险的综合反映；接着计算出相似度，选择与该实体综合风险云最相近的标准风险子云，实体的风险等级就是这个标准风险子云所对应的风险等级。

定义5：设Risk₁(Ex₁,En₁,He₁)、Risk₂(Ex₂,En₂,He₂)为两个风险云，使用风险逆向云发生器将Risk₁生成云滴(x_i,u_i)，如果x_i在云RISK₂中的隶属度为，那么称其均值就称为RISK₁与RISK₂的相似度，用δ表示。那么风险云相似度计算如下：将风险云Risk1(Ex1,En1,He1)、Risk2(Ex2,En2,He2)输入系统，输出相似度值δ，具体操作过程为：

1)在风险云RISK₁中生成正态随机数，该正态随机数的期望和方差分别为En₁和He² ₁，En_i’＝NORM(En,He²)

2)在RISK₁中生成正态随机数，该正态随机数的期望和方差分别为Ex₁为期和，x_i＝NORM(Ex，En_i ^’2)

3)计算

4)步骤2)和3)重复进行，直到产生n个为止；

5)计算

根据五个属性云的云综合得出结果。

基于云模型的风险评估算法如下：

风险评估主要有以下几个步骤，如图6所示：

1)接收风险评估请求，对相关的数据进行采集和归一化预处理。

2)通过计算得出风险值大小。

3)对规则库中的信息进行读取，这些规则主要涉及风险因素系数设置规则、风险报警机制、风险等级评定规则等，接着计算风险因素的权重系数，具体方法是通过风险因素权重评定模块在规则库信息的指导下对各风险因素的权重进行评估，最后计算风险值的大小：

在公示中P_f为不利事件发生的概率；不利事件一旦发生所产生的后果用C_f表示；第i个风险因素等级评估值为F_i；λ_i为第i个风险因素权重。

4)异常分析，就评估结果的正确性进行分析，如果结果与实际情况不一致，分析结果则被提交到规则生成器，结果存在异常则进行步骤5)，若无异常则进行步骤6)。

5)由规则生成器生成新规则，异常分析结果则被提交到规则生成器，根据结果对规则库中相应规则进行修改和更新。

6)对风险进行综合评估：参考计算得到的风险值和风险因数，对风险进行综合评估，再依据QoS约束条件对SLA服务进行选择。

3.2QoS约束下带风险评估的云计算服务选择

基于SLA的云计算服务。首先计算云计算系统虚拟机单点的风险预测值，同时获得P、T、A、R四个指标，并进行归一化处理；其次通过逆向云发生器产生多个节点的风险预测值和四个指标值进行汇聚，将多点的定量数据转换为定性结论；最后将汇聚云按照权重矩阵合成后，与标准分级云模型进行比较，判断当前QoS服务等级所处的状态。由此获得SLA的风险等级评估从而进行QoS约束选择。

3.2.1SLA的不确定度计算

为了在选择服务的可靠性上减少QoS不确定性的影响，本发明采用云模型通过把定量的QoS值(日志)转化为定性的SLA概念(不确定性水平)来计算不确定性。根据不确定性的程度，持续良好的SLA的WebService可区别于那些SLA有巨大波动的服务。

因此，如何计算web服务的不确定性，如何分别SLA服务的稳定与否是一个非常重要的课题。在本发明中，采用云模型的向后云发生器算法来进行区分。向后云发生器算法如下：

输入：云计算系统的虚拟机为单位，构造n个云滴{x₁，x₂，…，x_n}。

输出：n个云滴的3个数字化特征Ex，En和He。

步骤如下：

1)根据x_i，计算样本均值并且样本方差

2)其QoS上web服务的预期值可通过计算；

3)其QoS上web服务的熵可通过计算；

4)最后，熵增可通过来获得。

假设有5个WebService访问，其中，S代表实际的LSA风险识别指标R，T代表评估的LSA风险识别指标R，从这些LSA风险识别指标R可以看出，作为定性的SLA值由5个云滴表示。即(s1,…,s5)或(t1,…,t5)。通过特征向量每个服务的定性QoS概念(不确定程度)可以被表示。然后这些服务S和T的特征向量，可以计算如下：NC_S＝{低风险,高风险,低风险，中度风险，中度风险}和NC_T＝{极低风险,低风险,低风险，中度风险，低风险}。由于良<优，服务S的风险识别指标R是小于服务T。这意味着服务T的SLA评估值是稳定良好的，而服务S的SLA评估值却有巨大波动。所以，不同于传统的方法，服务T要比服务S更适于挑选为服务组件。表1为WebServiceSLA风险评估比较实例：

表2WebServiceSLA风险评估比较实例

3.2.2服务选择

为了应用WebService的云模型，根据不同的服务环境，把参数λ和h设置为En和He的阙值。有巨大SLA评估值波动的服务和具有良好稳定的SLA评估值性能的web服务可分别通过条件En≤λ和He≤h加以区分。为了服务选择的可靠性，后者的条件较前者将成为优先的候选服务。这将保证选定的服务可以可靠地执行。此外，由于En>λ和He>h，每个服务类的冗余候选服务将会被修剪。通过这种方式，云模型可帮助减少服务选择的搜索空间并且缩短服务组合的计算时间。由于服务质量的不确定性计算的是独立于任何个别的服务要求，它并不需要在要求的时间线上进行。因此，为获得可靠地服务候选脱机使用云模型，以加快服务选择过程。

在QoS的不确定性计算之后，在每个服务类中，具有稳定良好的QoS性能的服务候选会被甄别出。然后需要设计服务选择算法在全局QoS约束下为每个类找到最合适的服务。由于只关注有稳定良好性能的服务，加快了甄选进程的速度，并可以选择可靠地服务。传统方法包括遗传算法和混合整数规划等，已实现了特定条件下QoS约束的服务选择多目标优化问题。为了提高服务选择的实时性，降低复杂算法导致的选择延迟问题，在这里采用快速选择算法实现基于风险评估控制的QoS选择，

受全局约束影响并在满足判定条件的分配约束为：

根据每次用户访问请求进行计算，用风险评估结果作为快速筛选的条件，就会得到候选服务名单的排序，并且这些候选服务都会被返回给服务组合引擎或服务代理。从而用户实现了高成功率的快速服务选择。

四、实验过程与结果

本发明采用WS-DREAM数据集配合KDD99来模拟云计算系统所面对的服务访问环境。系统中给每个虚拟机内置风险监测代理，根据目前大多数的AHP-RBF方法定时收集参数并计算四个风险指标值和一个综合指标数据。系统由10台物理节点组成，每台物理节点可虚拟5台配置相同的虚拟机，合计50个虚拟机节点。在实验中，把每个数据集随机分成10个服务类。熵和熵增的阈值设置为(λ＝3.8，h＝5.9)。QoS属性设置为3，QoS约束的数量设置为2。每服务类的候选服务数量从10到100不等。QoS按照WebSeCurity安全等级划分,所有的结果是平均报告。表2为风险水平分级：

表2风险水平分级

4.1整体风险评估的隶属度云

(1)对数据进行预处理

①确定风险评价属性：包括事件指标、性能指标、时间指标、风险识别指标、风险预测综合指标等；

②将各个属性的值归一化到[0,10]区间；

③风险区间的定义。对于WebService安全风险评价指标X，依据其的样本值(x₁,x₂,x₃······x_n-1,x_n)，采用聚类分析方法将评价指标X划分为5种类型，这5种类型的中心值分别记为分层聚类法和K-均值聚类法是比较常用的聚类方法，因为分层聚类法在大样本时会产生困难，而K均值聚类法则能够避免这种困难，聚类效率较高，因此使用该方法进行样本数据分类。获得五个等级对应的聚类中心如表3所示:

表3云计算系统风险值聚类中心

根据聚类中心值结合判断经验，将风险区间划分为：[0,1.5](极低风险)，[1.5,3.5](低风险)，[3.5,6.5](中度风险)，[6.5,8.5](高风险)，[8.5,10](极高)。

(2)风险评估等级的计算

①将标准风险子云分为极低、低、中度、高和极高风险云(对应SRisk₁(0.26，0.5，0.12)、SRisk₂(2.26，0.67，0.14)、SRisk₃(5.08，1.33，0.25)、SRisk₄(7.84，0.67，0.23)和SRisk₅(9.7，0.5，0.18)，

以分类后的样本数据为依据，采用逆向云算法计算得出五类概念的云数字特征，如表4所示：

表4云计算系统风险云数字特征

根据云数字特征，利用正向云算法，得到各类概念的隶属云函数，如图7所示：

②使用算法2把预处理后的数据生成属性云。

③在综合评价云RISK(5.5,1,0.4)中合并入属性云，综合评价云与标准风险云对比如图8所示。

④低风险的风险值区间为[3.5,6.5]，以风险云滴的分布位置为依据，低风险及其以上等级的云滴占总云滴的的比例达到了90％，计算出风险值为6.2。

4.2独立指标的分析

另外对四个风险指标(虚拟机性能指标P，虚拟机时间指标T，报警日志指标A,LSA风险识别指标R等)进行了SLA隶属云风险匹配，具体分布如图9所示，其中图9(a)为虚拟机性能指标P，图9(b)为虚拟机时间指标T，图9(c)为报警日志指标A，图9(d)为LSA风险识别指标R。

实验结果表明，离散程度越大，SLA等级协议风险评估的不确定性越大，经过加权均值计算之后的4个QoS综合属性值，(虚拟机性能指标P，虚拟机时间指标T，报警日志指标A,LSA风险识别指标R等)，其中虚拟机性能指标离散程度最大，风险评估的不确定性最大，SLA风险等级最不容易划分。其中LSA风险识别指标R的离散程度最小，风险评估的不确定性最小，SLA风险等级最容易划分。

4.3服务选择的比较结果

本发明基于公开的QoS服务测试数据集WS-DREAM测试，该数据集包含约150万在24个国家和地区的150名服务使用者的Web服务调用的记录。三个QoS属性值(即响应时间，响应数据大小和失效概率)收集于150个服务使用者的10,258个Web服务。第二个数据集是一个随机生成的数据集(命名的RG)，也包含10,000个网页服务的三个QoS属性值。在实验中，把每个数据集随机分成10个服务类。熵和熵增的阈值设置为(λ＝3.8，h＝5.9)。QoS属性设置为3，QoS约束的数量设置为2。每服务类的候选服务数量从10到100不等。

为风险评估等级设定门限值，定位高风险服务阈值即取消该服务选择，转为其他区域的符合条件服务，由于QoS(风险等级,可信度,价格,区域约束,服务响应时间,错误率)中，风险等级作为优先约束条件，可将QoS的约束多目标优化问题进行简化，去除大量的不符合风险控制的服务区域，实现快速服务选择。

图10的比较采用云计算服务商常用的LRU最近访问调度原则进行服务选择对比。在遇到访问点特别繁忙的时候，尤其是遭受DDos攻击的时候，LRU方法明显会引起较大的访问失败率。横轴表示每轮测试发起100个连续请求至1000个连续请求。和MAIS方法进行对比，该方法被广泛用于服务选择的基准测试比较。但因为计算过于复杂，不适合用于实际云计算应用场景下的快速服务选择。仅作为测试结果如图11所示。

经过比较，发现风险约束方法的引入，不管是在服务选择的成功率还是速度上，都相比传统方法有明显的优势。其原因在于风险评估本身就包含了云计算系统节点的负载、服务响应能力、风险程度等信息，尤其是风险识别指标和风险预测综合指标在DDos环境下更能真实的反应系统所处的安全威胁状态。以此作为QoS服务选择的约束条件以及SLA跨域服务选择的基础，可为系统更好的进行稳定高质量服务提供核心参照依据。

在本发明中，采用云理论对不确定性的评估进行度量，提出了基于云理论的(P,T,A,R)独立属性的隶属度划分方法，和综合属性Risk_AHP-RBF云模型构造法。通过建立样本云模型，与实际的云进行比较，获得云计算系统整体风险等级的判断。最后根据云模型理论，将入侵检测数据进行QoS的隶属度风险划分，并利用方法进行WebService的QoS约束选择，可提高评估性能。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (5)

1.一种基于云重心理论的分布式大数据系统风险评估方法，包括以下过程：

过程1：对风险等级进行划分，通过标准云生成器产生标准风险云；其中，标准云生成器定义如下：假设在系统中预先设定了一系列风险云，每个风险云也叫做一个标准风险子云，有确定的概念来描述风险子云，和风险等级相对应；若风险值的取值范围为[0,10]，将这个取值区间分为n个子区间，其中第i个子区间表示为[R_mini,R_maxi]；针对虚拟机风险评价指标X，以指标X的样本值(x₁,x₂,x₃……x_n-1,x_n)为根据，使用聚类分析方法把该指标划分为5类，每一类的中心值分别计为

过程2：对虚拟机节点的相关信息进行采集，并进行数据预处理，获得Risk(P,T,A,R)风险描述向量和Risk_AHP-RBF值；其中Risk(P,T,A,R)风险描述向量是指虚拟机性能指标P、虚拟机时间指标T、报警日志指标A和LSA风险识别指标R，Risk_AHP-RBF值是预测值属性；

过程3：对描述各属性的风险度向量进行归一化处理，使用风险度云逆向生成器产生数学风险云；其中，风险度云逆向生成器的定义如下：令被评估的云计算系统有共有n个受监测虚拟机，对应Risk(P,T,A,R)四个风险描述向量和一个预测值属性Risk_AHP-RBF，总共为5组属性；将每一个虚拟机视为一个云滴，通过逆向云生成算法产生4个属性风险云和一个综合风险云；那么，产生数学风险云也即产生4个属性风险云和一个综合风险云；

过程4：将各属性风险云综合分析得到综合风险云Risk_cloud；

过程5：计算相似度并进行评价得出风险等级；

过程6：以过程5获得的风险等级为依据，对当前汇聚云表示的整体风险等级进行评价。

2.根据权利要求1所述的分布式大数据系统风险评估方法，其特征在于：所述过程3中的逆向云生成算法描述如下：

输入样本点X_i(x_i1,x_i2,…x_im),i＝1,2,…,n；输出m个风险云(TPC₁,TPC₂,…,TPC_m)，其数字特征分别为(Ex₁,Ex₂,…,Ex_m,En₁,En₂,…,En_m,He₁,He₂,…,He_m),其中m＝5；具体实施过程如下：

计算风险隶属度为:

计算样本均值为：

计算每个属性云重心，包括(P,T,A,R)指标属性和Risk_AHP-RBF综合属性：

计算熵为：

计算熵的标准差为：

计算超熵为：

3.根据权利要求1所述的分布式大数据系统风险评估方法，其特征在于：所述过程4将各属性风险云综合分析得到综合风险云Risk_cloud的过程如下：

通过下式计算出各属性的数字特征(Ex,En,He)，这个数字特征是对实体风险的综合反映，也即综合风险云Risk_cloud表示如下：

其中，m为属性个数，数值为5；λ_i为属性对应的权重；权重分布为：(0.017381，0.081481，0.055619，0.07109，0.618)。

4.根据权利要求1所述的分布式大数据系统风险评估方法，其特征在于：所述过程6中，对当前汇聚云表示的整体风险等级进行评价，主要包括以下过程：

1)：对规则库中的信息进行读取，这些规则涉及风险因素系数设置规则、风险报警机制、风险等级评定规则，接着计算风险因素的权重系数，具体方法是在规则库中的信息的指导下对各风险因素的权重进行评估，最后计算风险值的大小：

在公示中P_f为不利事件发生的概率；不利事件一旦发生所产生的后果用C_f表示；第i个风险因素等级评估值为F_i；λ_i为第i个风险因素权重；

2)：异常分析，就评估结果的正确性进行分析，如果结果与实际情况不一致，分析结果则被提交到规则生成器，结果存在异常则进行步骤3)，若无异常则进行步骤4)；

3)：由规则生成器生成新规则，异常分析结果则被提交到规则生成器，根据结果对规则库中相应规则进行修改和更新；

4)：对风险进行综合评估：参考计算得到的风险值和风险因数，对风险进行综合评估，再依据QoS约束条件对SLA服务进行选择。

5.根据权利要求4所述的分布式大数据系统风险评估方法，其特征在于：步骤4)中，依据QoS约束条件对SLA服务进行选择，具体包括如下过程：首先计算云计算系统虚拟机单点的风险预测值，同时获得P、T、A、R四个指标，并进行归一化处理；其次通过逆向云发生器产生多个节点的风险预测值和四个指标值进行汇聚，将多点的定量数据转换为定性结论；最后将汇聚云按照 权重矩阵合成后，与标准分级云模型进行比较，判断当前QoS服务等级所处的状态，由此获得SLA的风险等级评估从而进行QoS约束选择。