CN102467684B - 基于改进雷达图的综合性能评估系统和方法 - Google Patents

Abstract

本发明涉及一种基于改进雷达图的综合性能评估系统和方法。其利用综合性能评估模型构建模块通过可视化界面构建综合性能评估模型；利用判断矩阵构造模块对用户输入评估模型中的各指标两两之间的比较重要性参数进行设置，建立比较判断矩阵并进行一致性检验；利用权值计算模块实现层次分析法，计算各指标相对于系统综合性能总目标的权值；利用测试数据处理模块将测试数据进行收集、解析、标准化处理后交给评估结果生成模块进行系统综合性能的计算并进行可视化输出。本发明解决了传统雷达图面积和周长不唯一的问题，使得评估结果更准确、更客观，应用更灵活方便。

Description

基于改进雷达图的综合性能评估系统和方法

技术领域

本发明属于信息处理技术领域，具体涉及一种基于改进雷达图的综合性能评估系统和方法。

背景技术

考量各种系统的质量涉及到多个质量特性，如功能、性能、可靠等等，每个质量特性又包含多个质量子特性，各子特性的描述方式也不尽相同，有定量描述和定性描述，如何从不同侧面对系统的整体作出评估是目前急需解决的问题，而解决这类问题的办法就是对问题进行多指标综合评估。

雷达图因其简洁、精确、可操作性强等特点而倍受关注，是一种能够用定量指标较好地反映出定性问题的模型工具。雷达图中每个数据都有一个独立的单一数值轴，坐标轴呈辐射状分布在中心点周围，把同一数据序列的值在不同坐标轴上的点用折线连接起来所形成的多边形就是雷达图，用来比较若干个数据序列指标的总体情况。

利用雷达图进行综合评估的基本思想是：

首先，根据需要确定评估对象的评估指标及相关评估数据；

然后，以评估值的最大值为半径画圆，并以评估指标数N等分圆周，从圆心出发画N条坐标轴，每条坐标轴表示一个评估指标；

最后，将每个测评指标的评分结果标注在相应的坐标轴上，并把各轴上的点连成一个封闭的多边形。

为了使评估结果更具综合性和客观性，在绘制雷达图时，首先将各评估指标的数据进行标准化处理，以消除定量评估结果在各评估指标间的数量差异，并且取评估的平均值为参考，直观比较被测评对象哪些方面较好，哪些方面较差。

图形评估法的最大特点是直观。雷达图法是典型的图形评估方法，传统的雷达图法用于综合评估，只给出各评估对象的雷达图，由评估者对照各类典型的雷达图，给出综合评估的评估结果。当参加评估的对象较多时，该方法很难给出综合评估的排序结果。传统的雷达图法最为致命的缺陷在于雷达图面积和周长的“不唯一性”。对于同一个评价对象，采用相同的指标体系，如果在绘制雷达图时，指标的排列顺序不同，雷达图的形状就不同，从而，雷达图的面积和周长就不同。基于此，根据评价函数所得到的量化评价结果也就不同，有时可能 会得出完全相反的结论，造成评价结构不准确的缺陷。本发明对传统的雷达图法进行改进，提出一种基于改进雷达图法的综合性能评估系统和方法。

发明内容

为了克服现有技术的缺陷，本发明的目的之一在于提出一种可以更准确、更客观的对不同系统的综合性能进行评价的基于改进雷达图法的综合性能评估系统。

为此，本发明通过以下技术方案来实现：

一种基于改进雷达图的综合性能评估系统，其改进之处在于，该系统包括下述各模块：

综合性能评估模型构建模块，用于从模型库中调取所需模型，然后通过可视化界面构建综合性能评估模型，并对模型的合法性进行验证；

判断矩阵构造模块，用于对用户输入综合性能评估模型中的各指标两两之间的比较重要性参数进行设置，进而建立比较判断矩阵，并进行一致性检验；

权值计算模块，利用层次分析法计算各指标相对于系统综合性能总目标的权重值；

测试数据处理模块，用于提供测试数据收集、解析、规格化等功能，将各测试工具所得的测试数据进行标准化处理后提交给评估结果生成模块；

评估结果生成模块，包括雷达图显示模块和结果计算模块，所述雷达图显示模块根据测试数据处理模块发来的测试数据绘制成综合性能评估雷达图并上传至服务器端进行可视化输出：所述结果计算模块根据服务器端显示的雷达图进行雷达图的特征向量提取，并以特征向量为基础构造评估向量，根据评估向量构造评估函数，再根据评估函数计算出各评估对象的评估值，最后通过对评估值进行综合性能排序得出对比评估结构。

本发明的另一目的在于提供一种可以更准确客观的评价系统综合性能的基于改进雷达图的综合性能评估方法。该方法是一种图形数值相结合的评估方法，通过层次分析法确定各评估指标的权值，进而确定雷达图中各评估指标的扇形面积，以评估指标测评结果数据为半径在其扇形区域内画弧，得到最终雷达图，解决了雷达图面积和周长的“不唯一性”；通过提取雷达图的特征向量，采用特定综合评估函数，用评估函数值的大小对应评估对象的综合评估结果，从而实现雷达图法的数值定量评估。

一种基于改进雷达图的综合性能评估方法，其改进之处在于：包括以下步骤：

1)建立被测系统的综合性能评估模型(本步骤通过综合性能评估模型构建模块来完成)：从模型库中调取所需模型，然后通过可视化界面构建综合性能评估模型；

2)确定各评估指标相对被测系统综合性能的权重值(本步骤通过判断矩阵构造模块和 权值计算模块来完成)；

假设有n项评估指标，得到一个nxn的矩阵，应用层次分析法来确定各评估指标相对被测系统综合性能的权重值，具体分为以下步骤：

A)根据这n项评估指标，相对上一项评估指标的重要性，选择两两进行对比，建立一个比较判断矩阵E。如下面矩阵中第一行，为第一项评估指标分别与后面评估指标比较重要性得到的结果。同理，下面的第i行都是第i项评估指标与其它评估指标的比较判断结果。也就是说，矩阵中的元素u_ij为第i项评估指标与第j项评估指标的比较结果。该矩阵具有以下特点：

■u_ij＝1

■u_ij＝1/u_ji

■u_ij＝u_ik/u_kj

$E=\left(\begin{array}{cccc}{u}_{11}& u_{12}& ...& u_{1b}\\ u_{21}& u_{22}& ...& u_{2b}\\ ...& ...& ...& ...\\ u_{b1}& u_{b2}& u_{b3}& u_{\mathrm{bb}}\end{array}\right)$

B)利用几何平均法，将每行元素相乘，并做开n次方的处理，得到一个值

$\stackrel{\‾}{a_i}=\sqrt[n]{\underset{j=1}{\overset{n}{\mathrm{\Π}}}{u}_{\mathrm{ij}}},(i=\mathrm{1,2}....n)$

排列 可以得到一个向量 对其进行归一化处理，即得权重值w_i

$w_i=\frac{\stackrel{\‾}{a_i}}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\stackrel{\‾}{a_j}},(i=\mathrm{1,2}...n)$

可得权重系数向量A＝(w₁，w₂，...，w_n)^T

上式中w_i从左至右依次就是利用层次分析法得到的各评估指标相对上一层评估指标所占的权重值。

C)进行一致性检验，用于验证步骤B中所得权重值的质量，在这里需要两个公式进行检验：

①求取最大特征值λ_max

${\mathrm{\λ}}_{\max }=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\frac{{\left(\mathrm{TA}\right)}_i}{w_i}$

n为比较判断矩阵的阶数，也就是参加比较的元素的个数。式中

$\mathrm{TA}=E\×A=\left(\begin{array}{c}{\left(\mathrm{TA}\right)}_1\\ {\left(\mathrm{TA}\right)}_2\\ .\\ .\\ .\\ .\\ .\\ .\\ {\left(\mathrm{TA}\right)}_n\end{array}\right)=\left(\begin{array}{cccc}{u}_{11}& u_{12}& ...& u_{1n}\\ u_{21}& u_{22}& ...& u_{2n}\\ .& .& & .\\ .& .& ...& .\\ .& .& & .\\ u_{n1}& u_{n2}& ...& u_{\mathrm{nn}}\end{array}\right)\×\left(\begin{array}{c}{w}_1\\ w_2\\ .\\ .\\ .\\ w_n\end{array}\right)$

②将最大特征值代入下式进行一致性检验

$\mathrm{CR}=\frac{\mathrm{CI}}{\mathrm{RI}}=\frac{\frac{1}{n-1}({\mathrm{\λ}}_{\max }-n)}{\mathrm{RI}}$

其中，CR为判断矩阵的随机一致性比率，

CI为判断矩阵的一致性指标，

RI为判断矩阵的平均随机一致性指标，其中n＝1，2，...，11时的数值可由下表给出，CR和CI可由计算得到。

层次分析法平均随机一致性指标值

N	1	2	3	4	5	6	7	8	9	10	11
												RI	0	0	0.58	0.90	1.12	1.24	1.32	1.41	1.46	1.49	1.51

通常认为，当CR≤0.1时，矩阵具有满意的一致性，说明权重值的分配是合理的。

D)层次总排序

步骤B)只是完成了一组下层指标针对上层指标的权重的确定，还需要利用层次总排序和总排序的一致性检验来取得最终各项指标对系统综合性能这个总目标的权重。

①将步骤B)中得到的权重系数向量A按照由上至下的顺序合成为总排序的权重系数向量：

步骤B)中计算得到的向量A是层次单排序取得的，总排序系数是自上而下，将单层重要性系数进行合成。

假设已经计算出第k-1层上n_k-1个元素相对于总目标的权重系数向量 第k层上n_k个元素对第k-1层上第j个元素的权重系数向量设为 其中不受元素j支配的元素的相对权重系数为零。令 这是n_k×n_k-1的矩阵，表示k层上元素对k-1层上各元素的相对权重系数，那么第k层上元素对总目标的合成权重系数为：

$W^{\left(k\right)}={(w_1^{\left(k\right)},w_2^{\left(k\right)},...,w_{n_k}^{\left(k\right)})}^T=p^k{W}^{(k-1)}$

并且通常有W^(k)＝p^(k)p^(k-1)…W⁽¹⁾。W⁽¹⁾为第一层上元素对总目标的相对权重系数向量，也就是单层排序的权重系数向量。

②按照步骤C)中一致性检验的方法对总排序的权重系数向量进行一致性验证，得到总排序的随机一致性比率：

总排序的一致性检验也是从上到下逐层进行。若已求得以k-1层上元素j为准则的一致性指标 平均一致性指标 以及一致性比例 j＝1，2，…，n_k-1，则k层的综合指标C.I.^{( k)}、R.I.^(k)、C.R.^(k)应为：

${C.I.}^{\left(k\right)}=({C.I.}_1^{\left(k\right)},...,{C.I.}_{n_{k-1}}^{\left(k\right)})W^{(k-1)}$

${R.I.}^{\left(k\right)}=({R.I.}_1^{\left(k\right)},...,{R.I.}_{n_{k-1}}^{\left(k\right)})W^{(k-1)}$

${C.R.}^{\left(k\right)}=\frac{{C.I.}^{\left(k\right)}}{{R.I.}^{\left(k\right)}}$

当C.R.^{( k)}＜0.1时，认为递阶层次结构在k层水平以上的所有判断具有整体满意的一致性。

一般的，如果A层n个因素的排序系数(相对重要程度)已知为W＝(w₁，w₂，...，w_n)^T，若B层次某些因素对于上层次A的某个因素A_j，单排序的一致性指标为C.I._j，相应的平均随机一致性指标为R.I._j则B层次总排序随机一致性比率为

$C.R.\frac{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{w}_j{C.I.}_j}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{w}_j{R.I.}_j}$

到这里为止，完成了各个指标相对于总目标系统综合性能权重的确定。

3)对被测系统综合性能评估指标测试结果进行标准化处理(本步骤通过测试数据处理模块完成)：

采用公式X_j＝(x_j-x_jmin)/(x_jmax-x_jmin)计算每个评估指标的标准数据，其中，X_j为第j个评估指标标准化后的数据，x_j为第j个评估指标的度量数据，x_jmin为第j个评估指标的最小度量值，x_jmax为第j个评估指标的最大度量值，经过上述公式处理后，度量数据被规范到[0，1]之间。

4)绘制综合性能评估雷达图(该步骤通过评估结果生成模块中的雷达图显示模块完成)：

以1为半径画圆，根据各评估指标权重按比例分配扇形，得到被测系统的综合性能评估模型图，从圆心出发，以各评估指标度量数据为半径在其区域画圆弧，得到被测系统的综合性能评估雷达图；

5)提取雷达图的面积和周长作为雷达图的特征向量(步骤5-8均通过评估结构生成模块中的结果计算模块完成)：

为了达到在评估过程中简化问题的目的，通常所提取的雷达图的特征向量的维数小于系统基础指标的个数，即有m＜n。为了反映评估对象的运作状况及其各项指标的均衡发展情况，将雷达图的面积和周长作为雷达图的特征向量，即u＝(u1，u2)，其中，u为雷达图的特征向量，u1为雷达图的面积， u2为雷达图的周长， n为评估指标个数，r_i为第i个评估指标的测试评估值，ρ_i为层次分析法确定的第i个评估指标的权重。

6)以特征向量为基础，构造雷达图评估向量；

为了反映评估活动的基本特性，保证评估过程的稳定性即评估结果不会因评估指标的微小变化而发生大幅度变化，由评估向量定义评估函数时，评估函数必须满足以下条件：

■正则性：f(0，0，…，0)＝0

■单调性：若v_j≤v_j‘，则f(v₁，v₂，…，v_m)≤f(v₁‘，v₂‘，…，v_m‘)

■连续性： $\underset{v_j\→v_{\mathrm{jo}}}{\lim }f(v_1,v_2,...,v_m)=f(v_{1o},v_{2o},...,v_{\mathrm{mo}})$

构造雷达图的评估向量通过下式获得：

v＝(v₁，v₂)

其中，v为雷达图的评估向量，v₁＝s/s_max，v₂＝s/π(1/2π)²＝4πs/l²，s为雷达图面积；当进行单系统评估时，s_max为根据需求指标绘制的雷达图面积；当进行多系统对比时，s_max＝max{s₁}。显然，在评估向量中，v₁为雷达图面积的归一化系数，反映了雷达图面积的相对大小，其数值越大，说明该评估对象的实力越强；相反，越弱。v₂为第i个对象雷达图面积与具有相同周长的圆面积的比值，反映了评估对象的协调发展程度，其值越大，说明评估对象的发展越协调；相反，越不协调。

7)根据评估向量构造评估函数；

评估函数的构造方法多种多样，本发明通过取各评估向量的几何平均数来构造评估函数，即：

8)根据评估函数计算各评估对象的评估值：

至此，就可以根据单一评估对象的评估值得出其与需求符合的程度，或者根据各评估对象的评估值进行综合性能排序得出最终对比评估结果。

本发明与现有技术相比，具有下述有益效果：

现有的综合评估方法主要分为图形评估和数值定量评估两大类，本申请与之相比，由于采用了图形与数值相结合的评估方法，吸取了二者的优点，既可以进行直观对比分析，又可以进行定量综合评估；同时，又对传统雷达图进行了改进，有效解决了传统雷达图面积和周长不唯一的问题，提供系统综合性能可视化的定量评估，使得评估结果更准确、更客观，应用更灵活方便。

附图说明

图1是本发明评估系统的结构框图；

图2是传统的雷达图；

图3是改变指标排列顺序后的传统雷达图；

图4是通过本发明的评估方法绘制成的雷达图。

具体实施方式

下面结合附图对本发明所述的基于改进雷达图的综合性能评估系统和方法作进一步详细的说明。

如图1所示，本发明所述的评估系统包括综合性能评估模型构建模块、判断矩阵构造模块、权值计算模块、测试数据处理模块以及评估结果生成模块。

首先利用综合性能评估模型构建模块从模型库中调取所需模型，然后通过可视化界面构建综合性能评估模型；然后利用判断矩阵构造模块，对用户输入综合性能评估模型中的各评估指标两两之间的比较重要性参数进行设置，进而建立比较判断矩阵，并进行一致性检验；利用权值计算模块，实现层次分析法，计算各指标相对于系统综合性能总目标的权值；利用测试数据处理模块，将各测试工具(该测试工具采用本领域技术人员公知的测试工具，可以在市场上购得，也可以通过测试人员手动测量得到测试数据)所得的测试数据进行收集、解析、标准化处理后提交给评估结果生成模块，进行系统综合性能的计算，并进行可视化输出。

评估结果生成模块包括雷达图显示模块和结果计算模块。雷达图显示模块根据测试数据处理模块发来的测试数据绘制成综合性能评估雷达图并上传至服务器端进行可视化输出；结果计算模块根据服务器端显示的雷达图进行雷达图的特征向量提取，并以特征向量为基础构造评估向量，根据评估向量构造评估函数，再根据评估函数计算出各评估对象的评估值，最后通过对评估值进行综合性能排序得出对比评估结构。

假设，要对电力系统的综合性能进行评估，被测系统的综合性能评估指标主要从功能性、 效率、安全性、可靠性四个方面进行，采用传统的雷达图进行综合评估主要步骤：

首先，根据需要确定评估对象的评估指标及相关评估数据，如评估指标为“功能性、效率、安全性、可靠性”，评估数据经过标准化后为(0.8，0.5，0.3，0.4)；

然后，以评估值的最大值(如1)为半径画圆，并以评估指标数N(如N＝4)等分圆周，从圆心出发画N条坐标轴，每条坐标轴表示一个评估指标；

最后，将每个测评指标的评分结果标注在相应的坐标轴上，并把各轴上的点连成一个封闭的多边形。如图2所示为绘制的雷达图，以面积作为综合评估值，最终计算结果为0.495。

当指标的排列顺序发生变化时，雷达图的形状也发生改变，从而，雷达图的面积和周长就不同。以此为基础，根据评价函数所得到的量化评价结果也就不同，有时，可能会得出完全相反的结论。如图3所示，当指标顺序变为“功能性、可靠性、效率、安全性”时，综合评估值变为0.455。

显然，由于指标顺序发生变化，综合评估值也发生改变，这将对评价结果的准确性产生影响。

采用本发明的改进雷达图进行综合性能评估方法的主要步骤包括：

1)根据被测电力系统的评估指标建立综合性能评估模型，如“功能性、效率、安全性、可靠性”；

2)利用层次分析法确定各评估指标相对被测软件综合性能的权重，假设结果为(0.4，0.1，0.2，0.3)，即功能性在整个综合性能评估中权重最大；

3)被测软件综合性能评估指标测试结果的标准化，将度量数据规范到[0，1]之间，经过处理后，假设结果为(0.8，0.5，0.3，0.4)；

4)绘制改进的综合性能评估雷达图，以1为半径画圆，根据各指标权重按比例分配扇形，得到被测软件的综合性能评估模型图。从圆心出发，以各指标度量数据为半径在其区域画圆弧，得到被测软件的改进雷达图。评估对象雷达图图形的大小反映了评估对象状况的好坏，可进行评估对象的诊断和控制。根据评估对象的雷达图可将系统粗分为积极发展型、消极收缩型和正常运作型。显然，对复杂的评估对象，通常其基础指标较多，此时一个各项指标均衡发展的评估对象的雷达图应接近于圆形；；

5)提取雷达图的特征向量，如将雷达图的面积和周长作为雷达图的特征量；

6)以特征向量为基础，构造评估向量，该向量反映了评估对象的协调发展程度，其值越大，说明评估对象的发展越协调；相反，越不协调；

7)根据评估向量构造评估函数，如可以取各评估变量的几何平均数；

8)根据评估函数计算各评估对象的评估值。

最终绘制的改进雷达图如图4所示。

显然，本发明以评估指标测评结果数据为半径在其扇形区域内画弧，得到最终雷达图，解决了雷达图面积和周长的“不唯一性”问题；并通过层次分析法确定各评估指标的权值，进而确定雷达图中各评估指标的扇形面积，解决传统雷达图指标加权问题。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于改进雷达图的综合性能评估系统，其特征在于，该系统包括：

综合性能评估模型构建模块，用于从模型库中调取所需模型，然后通过可视化界面构建综合性能评估模型；

判断矩阵构造模块，用于对用户输入综合性能评估模型中的各指标两两之间的比较重要性参数进行设置，进而建立比较判断矩阵，并进行一致性检验；

权值计算模块，利用层次分析法计算各指标相对于系统综合性能总目标的权重值，具体方法如下：

A)根据各项评估指标中每项评估指标相对上一项评估指标的重要性，选择两两评估指标进行对比，建立一个比较判断矩阵E，该矩阵具有以下特点：

■u_ii＝l

■u_ij＝l/u_ji

■u_ij＝u_ik/u_kj

$E=\left(\begin{array}{cccc}{u}_{11}& u_{12}& ...& u_{1b}\\ u_{21}& u_{22}& ...& u_{2b}\\ ...& ...& ...& ...\\ u_{b1}& u_{b2}& u_{b3}& u_{bb}\end{array}\right)$

上式矩阵E中的第一行为第一项评估指标分别与后面的评估指标比较重要性得到的结果，第i行是第i项评估指标与其它评估指标的比较结果，矩阵中的元素u_ij为第i项评估指标与第j项评估指标的比较结果；

B)利用几何平均法，将每行元素相乘，并做开n次方的处理，得到一个值

$\stackrel{\‾}{a_i}=\sqrt[n]{\underset{j=1}{\overset{n}{\Π}}{u}_{ij}},(i=1,\mathrm{2....}n)$

排列得到一个向量对其进行归一化处理，即得权重值w_i

$w_i=\frac{\stackrel{\‾}{a_i}}{\underset{j=1}{\overset{n}{\Σ}}\stackrel{\‾}{a_j}},(i=1,2...n)$

得到权重系数向量A＝(w₁,w₂,…,w_n)^T

上式中w_i从左至右依次就是利用层次分析法得到的各评估指标相对上一层评估指标所占的权重值；

C)进行一致性检验，用于验证步骤B中所得权重值的质量：

①求取最大特征值λ_max

${\mathrm{\λ}}_{\max }=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}\frac{{\left(TA\right)}_i}{w_i}$

n为比较判断矩阵的阶数，即参加比较的元素的个数，式中

$TA=E\×A=\left(\begin{array}{c}{\left(TA\right)}_1\\ {\left(TA\right)}_2\\ .\\ .\\ .\\ .\\ .\\ .\\ {\left(TA\right)}_n\end{array}\right)=\left(\begin{array}{cccc}{u}_{11}& u_{12}& \mathrm{...}& u_{1n}\\ u_{21}& u_{22}& \mathrm{...}& u_{2n}\\ .& .& & .\\ .& .& \mathrm{...}& .\\ .& .& & .\\ u_{n1}& u_{n2}& \mathrm{...}& u_{nn}\end{array}\right)\×\left(\begin{array}{c}{w}_1\\ w_2\\ .\\ .\\ .\\ w_n\end{array}\right)$

②将最大特征值代入下式进行一致性检验

$CR=\frac{CI}{RI}=\frac{\frac{1}{n-1}({\mathrm{\λ}}_{max}-n)}{RI}$

其中，CR为判断矩阵的随机一致性比率，

CI为判断矩阵的一致性指标，

RI为判断矩阵的平均随机一致性指标；

D)利用层次总排序和总排序的一致性验证来取得最终各项指标对系统性能这个总目标的权重：

①将步骤B中得到的权重系数向量A按照由上至下的顺序合成为总排序的权重系数向量：

②按照步骤C中一致性检验的方法对总排序的权重系数向量进行一致性验证，得到总排序的随机一致性比率；

测试数据处理模块，用于提供测试数据收集、解析和规格化的功能，将各测试工具所收集的测试数据进行标准化处理后提交给评估结果生成模块；

评估结果生成模块，包括雷达图显示模块和结果计算模块，所述雷达图显示模块根据测试数据处理模块发来的测试数据绘制成综合性能评估雷达图并上传至服务器端进行可视化输出；所述结果计算模块根据服务器端显示的雷达图进行雷达图的特征向量提取，并以特征向量为基础构造评估向量，根据评估向量构造评估函数，再根据评估函数计算出各评估对象的评估值，最后通过对评估值进行综合性能排序得出对比评估结果。

2.一种基于改进雷达图的综合性能评估方法，其特征在于：包括以下步骤：

1)建立被测系统的综合性能评估模型：

从模型库中调取所需模型，然后通过可视化界面构建综合性能评估模型；

2)确定各评估指标相对被测系统综合性能的权重值，具体方法如下：

A)根据各项评估指标中每项评估指标相对上一项评估指标的重要性，选择两两评估指标进行对比，建立一个比较判断矩阵E，该矩阵具有以下特点：

■u_ii＝l

■u_ij＝l/u_ji

■u_ij＝u_ik/u_kj

$E=\left(\begin{array}{cccc}{u}_{11}& u_{12}& ...& u_{1b}\\ u_{21}& u_{22}& ...& u_{2b}\\ ...& ...& ...& ...\\ u_{b1}& u_{b2}& u_{b3}& u_{bb}\end{array}\right)$

上式矩阵E中的第一行为第一项评估指标分别与后面的评估指标比较重要性得到的结果，第i行是第i项评估指标与其它评估指标的比较结果，矩阵中的元素u_ij为第i项评估指标与第j项评估指标的比较结果；

B)利用几何平均法，将每行元素相乘，并做开n次方的处理，得到一个值

$\stackrel{\‾}{a_i}=\sqrt[n]{\underset{j=1}{\overset{n}{\Π}}{u}_{ij}},(i=1,\mathrm{2....}n)$

排列得到一个向量对其进行归一化处理，即得权重值w_i

$w_i=\frac{\stackrel{\‾}{a_i}}{\underset{j=1}{\overset{n}{\Σ}}\stackrel{\‾}{a_j}},(i=1,2...n)$

得到权重系数向量A＝(w₁,w₂,…,w_n)^T

上式中w_i从左至右依次就是利用层次分析法得到的各评估指标相对上一层评估指标所占的权重值；

C)进行一致性检验，用于验证步骤B中所得权重值的质量：

①求取最大特征值λ_max

${\mathrm{\λ}}_{\max }=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}\frac{{\left(TA\right)}_i}{w_i}$

n为比较判断矩阵的阶数，即参加比较的元素的个数，式中

$TA=E\×A=\left(\begin{array}{c}{\left(TA\right)}_1\\ {\left(TA\right)}_2\\ .\\ .\\ .\\ .\\ .\\ .\\ {\left(TA\right)}_n\end{array}\right)=\left(\begin{array}{cccc}{u}_{11}& u_{12}& \mathrm{...}& u_{1n}\\ u_{21}& u_{22}& \mathrm{...}& u_{2n}\\ .& .& & .\\ .& .& \mathrm{...}& .\\ .& .& & .\\ u_{n1}& u_{n2}& \mathrm{...}& u_{nn}\end{array}\right)\×\left(\begin{array}{c}{w}_1\\ w_2\\ .\\ .\\ .\\ w_n\end{array}\right)$

②将最大特征值代入下式进行一致性检验

$CR=\frac{CI}{RI}=\frac{\frac{1}{n-1}({\mathrm{\λ}}_{max}-n)}{RI}$

其中，CR为判断矩阵的随机一致性比率，

CI为判断矩阵的一致性指标，

RI为判断矩阵的平均随机一致性指标；

D)利用层次总排序和总排序的一致性验证来取得最终各项指标对系统性能这个总目标的权重：

①将步骤B中得到的权重系数向量A按照由上至下的顺序合成为总排序的权重系数向量：

②按照步骤C中一致性检验的方法对总排序的权重系数向量进行一致性验证，得到总排序的随机一致性比率；

3)被测系统综合性能评估指标测试结果进行标准化处理；

4)绘制综合性能评估雷达图：

以1为半径画圆，根据各评估指标权重按比例分配扇形，得到被测系统的综合性能评估模型图，从圆心出发，以各评估指标度量数据为半径在其区域画圆弧，得到被测系统的综合性能评估雷达图；

5)提取雷达图的面积和周长作为雷达图的特征向量：

6)以特征向量为基础，构造雷达图评估向量；

7)取各评估向量的几何平均数，构造评估函数；

8)根据评估函数计算各评估对象的评估值：

根据单一评估对象的评估值得出其与需求符合的程度，或者根据各评估对象的评估值进行综合性能排序得出最终对比评估结果。

3.根据权利要求2所述的基于改进雷达图的综合性能评估方法，其特征在于：所述步骤3)中标准化处理的具体方法如下：

采用公式X_j＝(x_j-x_jmin)/(x_jmax-x_jmin)计算每个评估指标的标准数据，其中，X_j为第j个评估指标标准化后的数据，x_j为第j个评估指标的度量数据，x_jmin为第j个评估指标的最小度量值，x_jmax为第j个评估指标的最大度量值，经过上述公式处理后，度量数据被规范到[0,1]之间。

4.根据权利要求3所述的基于改进雷达图的综合性能评估方法，其特征在于：所述步骤5)中提取雷达图的特征向量通过下式获得：

u＝(u1,u2)

其中，u为雷达图的特征向量，u1为雷达图的面积，u2为雷达图的周长，n为评估指标个数，r_i为第i个评估指标的测试评估值，ρ_i为层次分析法确定的第i个评估指标的权重。

5.根据权利要求4所述的基于改进雷达图的综合性能评估方法，其特征在于：所述步骤6)中构造雷达图的评估向量通过下式获得：

v＝(v₁,v₂)

其中，v为雷达图的评估向量，v₁＝s/s_max，v₂＝s/π(l/2π)²＝4πs/l^2，，s为雷达图面积；当进行单系统评估时，s_max为根据需求指标绘制的雷达图面积；当进行多系统对比时，s_max＝max{s_i}。

6.根据权利要求5所述的基于改进雷达图的综合性能评估方法，其特征在于：所述步骤7)中通过取各评估向量的几何平均数来构造评估函数，即：

$f(v_1,v_2)=\sqrt{v_1{v}_2}.$