CN115509877A - 一种信息系统性能效率的评估方法 - Google Patents

一种信息系统性能效率的评估方法 Download PDF

Info

Publication number
CN115509877A
CN115509877A CN202211207573.2A CN202211207573A CN115509877A CN 115509877 A CN115509877 A CN 115509877A CN 202211207573 A CN202211207573 A CN 202211207573A CN 115509877 A CN115509877 A CN 115509877A
Authority
CN
China
Prior art keywords
evaluation
performance efficiency
data
index
information system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211207573.2A
Other languages
English (en)
Inventor
黄文财
钟远生
朱晓鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Product Quality Supervision And Inspection Institute Guangzhou Electric Safety Inspection Institute Of State Bureau Of Quality And Technical Supervision Guangdong Provincial Test And Certification Institute Hua'an Laboratory
Original Assignee
Guangdong Product Quality Supervision And Inspection Institute Guangzhou Electric Safety Inspection Institute Of State Bureau Of Quality And Technical Supervision Guangdong Provincial Test And Certification Institute Hua'an Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Product Quality Supervision And Inspection Institute Guangzhou Electric Safety Inspection Institute Of State Bureau Of Quality And Technical Supervision Guangdong Provincial Test And Certification Institute Hua'an Laboratory filed Critical Guangdong Product Quality Supervision And Inspection Institute Guangzhou Electric Safety Inspection Institute Of State Bureau Of Quality And Technical Supervision Guangdong Provincial Test And Certification Institute Hua'an Laboratory
Priority to CN202211207573.2A priority Critical patent/CN115509877A/zh
Publication of CN115509877A publication Critical patent/CN115509877A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/323—Visualisation of programs or trace data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3495—Performance evaluation by tracing or monitoring for systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/865—Monitoring of software

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种信息系统性能效率的评估方法。评估方法包括步骤1：建立信息系统性能效率的评估指标体系；步骤2：评估指标体系中的各评估指标主客观权重的计算；步骤3：使用皮尔逊相关系数法，计算主客观权重之间满足协同性的程度；根据满足协同性的程度，选择协同型组合赋权或离散型组合赋权，以求取评估权重的最优解；步骤4：信息系统性能效率评估模型构建：结合所求取的评估权重，建立信息系统性能效率评估指标的直观和模糊双维度评估模型。本发明能够为信息系统的性能效率评估提供更科学的途径，以提升信息系统性能效率评估在常态化测试中的应用。

Description

一种信息系统性能效率的评估方法
技术领域
本发明涉及一种信息系统性能效率的评估方法。
背景技术
信息系统性能效率测试是指采用性能效率测试工具(如LoadRunner、JMeter等)最大限度模拟信息系统正常、异常以及峰值负载状态，测试平均响应时间、处理器平均占用率、用户访问量等性能效率指标，分析并评估指标，判断信息系统满足性能效率程度。
在国家标准GB/T25000.10-2016《系统与软件工程系统与软件质量要求和评价(SQuaRE)第10部分:系统与软件质量模型》中，性能效率被划分为评估软件质量八大特性之一，2021年，性能效率测试被单独撰写成国家标准——GB/T39788-2021《系统与软件工程性能测试方法》，标准文件详细描述了大型信息系统性能效率质量测度指标、测试过程和需求模型，信息系统性能效率测试重要性不明而喻。基于信息系统性能效率测试的评估结果，评估信息系统的执行效率、资源占用、系统容量等系统能力；分析评估信息中指标的异常状态，定位性能效率的时间特性、资源利用性、容量等系统瓶颈，为改善信息系统性能效率提供依据；根据评估信息多次试验，调整，验证信息系统的较优秀配置，实现信息系统的调优。因此，评估信息系统性能效率具有重要意义。
但目前信息系统性能效率评估方面还存在以下诸多问题：(1)评估模型简单，现有的信息系统性能效率测试模型过分依赖于专家的专业知识和经验，或对客观的测试数据简单地线性加权，模型简单，评估结果不够合理、科学；(2)展示信息系统评估结果单一，缺乏从直观、模糊等多维角度描述评估结果，可能导致评估信息表达不完整。这些缺陷限制了信息系统性能效率评估在常态化测试中的应用。
发明内容
针对现有技术的以上缺陷或改进需求，本发明的主要目的是提供一种信息系统性能效率的评估方法，为信息系统的性能效率评估提供更科学的途径，以提升信息系统性能效率评估在常态化测试中的应用。
本发明的主要目的是通过以下技术措施实现的。
一种信息系统性能效率的评估方法，其包括：
步骤1：建立信息系统性能效率的评估指标体系；
1.1)信息系统性能效率的评估指标集的确定；
1.2)评估指标集中的评估数据的规范化：正向规范化逆向数据、顶峰数据和区间数据，使指标数据的数据性质统一规范为指标值越大性能越优；
1.3)评估指标集中的评估数据的标准化：经数据的离散化、模型化模型的优化后，采用改进的功效系数法将评估数据标准化到同一数量级；
步骤2：评估指标体系中的各评估指标主客观权重的计算；
步骤3：使用皮尔逊相关系数法，计算主客观权重之间满足协同性的程度；根据满足协同性的程度，选择协同型组合赋权或离散型组合赋权，以求取评估权重的最优解；
步骤4：信息系统性能效率评估模型构建：结合所求取的评估权重，建立信息系统性能效率评估指标的直观和模糊双维度评估模型；4.1)采用数值展示、权重占比展示、评估对比展示对评估结果进行直接展示，以直观、客观地反映信息系统性能效率的综合评估结果；4.2)运用云模型理论，以自然语言描述性能效率评估数值转换的综合定性评估，模糊展示性能效率的综合评估结果。
在一些实施方式中，步骤4.1具体包括如下：
4.1.1)数值展示：采用线性加权综合法，结合所求取最优解的评估权重系，对测试结果的量化数据线性加权组合成直观反映性能效率综合评估结果的评估数值；
4.1.2)权重占比展示：运用饼状图、环形图这类型的占比可视化图形，直观表示指标权重大小及占总体的比例；
4.1.3)评估对比展示：使用雷达图、柱状图和指标卡这类型的对比可视化图形，直观对比多指标评估数据，突出多指标评估数据间的异常值，以定位系统性能瓶颈和实现系统性能调优。
在一些实施方式中，步骤4.2具体包括如下：
4.2.1)模糊评估集的构建：根据信息系统所满足性能效率的程度，构建自然语言描述性能效率综合评分的模糊评语集，并按照评语集划分指标的评价值为多个等级区间，再采用云特征计算公式求出等级区间的云模型特征值；
4.2.2)标准模型的绘制：基于等级区间云模型特征值的期望值、熵和超熵，采用正向云发生器从定性概念映射到特征云滴，基于特征云滴的坐标值，绘制出信息系统性能效率的标准模型以作为评价的衡量尺度；
4.2.3)模糊评估结果的生成：采用逆向云发生器计算评估数据，结合最后组合赋权的权重，转换为云模型；基于熵和超熵确定评估的模糊性和稳定性，基于期望值与标准模型对比，结合模糊评估集，以自然语言描述性能效率评估数值转换的综合定性评估，生成评估结果。
在一些实施方式中，步骤4.2.1)中所构建的模糊评估集如下：
Figure BDA0003873383270000041
其中，Ex为期望值，En为熵，He为超熵。
在一些实施方式中，步骤1.1)具体包括如下：
1.1.1)以时间特性、资源利用性、容量以及性能效率的依从性为一级指标，并将至少部分一级指标进行细化为多个具有代表性的二级指标；
其中，时间特性的二级指标包括平均响应时间、响应时间的充分性、平均周转时间、周转时间的充分性和平均吞吐量；资源利用性的二级指标包括处理器平均占用率、内存平均占用率、I/O设备平均占用率、带宽占用率；容量的二级指标包括事务处理容量、用户访问量、用户访问增长的充分性；
1.1.2)特定评估指标的补充：以度量信息系统的处理能力和稳定性为目的，在时间特性这个一级评估指标下补充单位时间内完成定义事务的事务成功率和由于超时或系统内部错误而导致事务失败的超时错误率这两个二级指标。
在一些实施方式中，步骤1.2)评估数据的规范化具体包括如下：
1.2.1)针对平均响应时间、响应时间的充分性、平均周转时间和超时错误率这类逆向数据采用倒数一致化方法，使其完成正向规范化；
1.2.2)针对I/O设备平均占用率和带宽占用率这类顶峰数据进行设置最佳占用率为顶峰值，并采用二元函数法推导、分解和计算，使其完成正向规范化；
1.2.3)针对处理器平均占用率和内存平均占用率这类区间数据进行选取最佳区间作为顶峰区间，并采用离散化方程下降区间数据，使其完成正向规范化。
在一些实施方式中，步骤1.3评估数据的标准化具体包括如下：
1.3.1)基于预期目标点离散化评估指标数据到固定标准化区域；
1.3.2)将固定标准化区域映射到不同档次，并一一对应不同的功效系数值[Gmin，Gh，Gy，Gmax]；
1.3.3)设置标准值，结合不同档次的功效系数值，基于预期目标点，采用改进的功效系数法计算评估数据的分数，使得不同指标评估数据转化到同一数量级，克服量纲、数量级等特征不一致的问题；其中，改进的功效系数值的计算公式如下：
Figure BDA0003873383270000061
式中，y为待标准化的指标数据，[Imin，Ih，Iy，Imax]为规范化后的指标数据。
在一些实施方式中，步骤2具体包括如下：
2.1)对复杂的性能效率评估指标进行层次化、结构化，采用层次分析法，构造包含目标层、准则层、指标层的递阶层次指标结构，以获取主观评估权重；
2.2)采用熵权法客观计算经过标准化处理的历史评估数据的概率、推算指标的信息熵和信息效用值，归一化后获取客观评估权重；
2.3)基于性能效率的评估指标的数量众多，采用三标度法对所获取的主观评估权重进行优化，以减少判断数值和简化计算过程。
在一些实施方式中，步骤3具体包括如下：
3.1)构建权重矩阵，运用协方差方法计算权重矩阵中权重总体的误差，基于协方差结果的正负值表示权重之间的正负相关性；
3.2)使用皮尔逊相关系数法，计算主客观权重之间满足协同性的程度；
3.3)根据权重间协同性的结果，选择最优组合赋权的方式以求取评估权重；
若主客观权重之间协同性较强，则采用乘法融合归一算法创建协同型组合赋权计算；
若主客观权重之间协同性较弱，则采用CRITIC法的对比性和冲突性构建离散型组合赋权计算。
在一些实施方式中，步骤3.3)中，当协同性相关系数在[0.7，1]范围内时，采用乘法融合归一算法创建协同型组合赋权计算；否则，采用CRITIC法的对比性和冲突性构建离散型组合赋权计算。
本发明具备以下有益效果：
本发明构建以时间特性、资源利用性、容量以及性能效率的依从性等为基础的信息系统性能效率评估指标，正向规范化和采用改进的功效系数法标准化指标数据；计算主客观权重，采用乘法融合归一算法创建协同型组合赋权，基于CRITIC法的对比性和冲突性构建离散型组合赋权，根据皮尔逊相关系数法计算协同性，选择最优组合赋权；采用数值、权重占比、评估对比等直观展示评估结果，运用云模型理论，模糊展示性能效率的综合评估，完成直观和模糊双维度展示评估结果；随着信息化规模的快速推进，大数据化、多元化、高并发信息系统的出现对性能效率的评估有了更高的要求，本发明为信息系统的性能效率评估提供更科学的途径，将有助于增强信息系统性能效率评估的应用和推广。
为了更清楚地说明本发明的目的、技术方案和优点，下面结合附图和具体实施方式对本发明作进一步的详细说明。
附图说明
图1是本发明评估方法实施例的流程图；
图2是本发明实施例中评估指标集的框架图；
图3是本发明实施例中性能效率评估指标划分成层次化的示意图；
图4是本发明实施例中权重占比展示的示意图；其中，4-1为平均响应时间，4-2为响应时间的充分性，4-3为平均周转时间，4-4为周转时间的充分性，4-5为平均吞吐量，4-6为事务成功率，4-7为超时错误率，4-8为处理器平均占用率，4-9为内存平均占用率，4-10为I/O设备平均占用率，4-11为带宽占用率，4-12为事务处理容量，4-13为用户访问量，4-14为用户访问量的充分性，4-15为性能效率的依从性；
图5是本发明实施例中评估对比展示的示意图；其中，5-1表示时间特性，5-2表示性能效率的依从性，5-3表示容量，5-4表示资源利用性；
图6是本发明实施例中绘制的标准模型的示意图；其中，6-1表示极低性能(很差)，6-2表示低性能(差)，6-3表示适中性能(合格)，6-4表示高性能(优秀)；
图7是本发明实施例中评估数据的云模型和标准模型的对比图；其中，7-1表示极低性能(很差)，7-2表示低性能(差)，7-3表示适中性能(合格)，7-4表示高性能(优秀)，7-5表示评估数据的云模型。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本发明所提供的信息系统性能效率的评估方法包括以下步骤：
步骤1：建立信息系统性能效率的评估指标体系；
1.1)信息系统性能效率的评估指标集的确定；为了强化指标代表性、权威性和易获性，采用国家标准、行业标准、企业标准等标准文件为基础，进行评估指标集的确定。
1.1.1)基于国家标准GB/T25000.51-2016，以时间特性、资源利用性、容量以及性能效率的依从性为一级指标，并将至少部分一级指标进行细化为多个具有代表性的二级指标；如图2所示，基于国家标准文件GB/T25000.23-2019和GB/T39788-2021进行确定二级指标如下：
时间特性的二级指标包括平均响应时间、响应时间的充分性、平均周转时间、周转时间的充分性和平均吞吐量；
资源利用性的二级指标包括处理器平均占用率、内存平均占用率、I/O设备平均占用率、带宽占用率；
容量的二级指标包括事务处理容量、用户访问量、用户访问增长的充分性；
1.1.2)特定评估指标的补充：以度量信息系统的处理能力和稳定性为目的，在时间特性这个一级评估指标下补充单位时间内完成定义事务的事务成功率和由于超时或系统内部错误而导致事务失败的超时错误率这两个二级指标；
具体的，对于事务成功率，采用多次测量，剔除异常数据后，平均取值，其计算公式如下所示：
Figure BDA0003873383270000091
其中Ts表示成功事务的数量，Tf失败事务的数量，n1表示测试的次数。
超时错误率的计算公式为：
Figure BDA0003873383270000101
其中Eover表示超时错误的数量，Tsum表示总的事务数量，n2表示测试的次数。
1.2)评估指标集中的评估数据的规范化：运用性能测试工具(如LoadRunner、JMeter等)获取各个评估指标的测试数据，针对测试数据存在指标值越大性能增长具有差异的特性，正向规范化逆向数据、顶峰数据和区间数据，使指标数据的数据性质统一规范为指标值越大性能越优，克服评估指标增长性质不一而造成计算困难的问题；具体展开如下：
1.2.1)针对平均响应时间、响应时间的充分性、平均周转时间和超时错误率这类逆向数据(具备指标数据越小越满足性能效率的要求)采用倒数一致化方法，使其完成正向规范化；
1.2.2)针对I/O设备平均占用率和带宽占用率这类顶峰数据(具备指标数据过小造成资源利用浪费，过高导致性能效率下降的顶峰数据类型特点)进行设置最佳占用率为顶峰值，并采用二元函数法推导、分解和计算，使其完成正向规范化；例如I/O设备平均占用率的顶峰为35％，带宽占用率的峰值为30％，计算结果为：
Figure BDA0003873383270000102
其中Mmax表示指标值与顶峰值的最大距离，计算如下：
Mmax＝Max{|Di-Dbest|} (公式4)
其中，顶峰数据类型指标序列第i个数据为Di，顶峰值为Dbest，规范化后的最大值为N。
1.2.3)针对处理器平均占用率和内存平均占用率这类区间数据(具备固定区间内系统的资源被充分利用且性能效率效果最佳)进行选取最佳区间作为顶峰区间，并采用离散化方程下降区间数据，使其完成正向规范化。例如处理器平均占用率在65％到70％的时候，处理器资源被充分利用且性能效率效果最佳；选取最佳区间并作为顶峰区间[Lpeak，Hpeak]，其计算公式为：
Figure BDA0003873383270000111
其中Mn为：Mn＝max{Lpeak-min{Di},max{Di}-Hpeak}
其中N为规范化后的最大值，Di为区间数据类型指标序列第i个数据。
1.3)评估指标集中的评估数据的标准化：经数据的离散化、模型化模型的优化后，采用改进的功效系数法将评估数据标准化到同一数量级。
具体的，规范化的数据仍需克服量纲、数量级等特征不一致的问题，采用改进的功效系数法，经数据的离散化，模型的优化后，标准化数据到同一数量级，以便后期综合评估的计算；具体展开如下：
1.3.1)离散化评估指标数据到固定标准化区域；
考虑到不同样本数据规范化结果不具备可比性，根据各类型标准文件，选择固定且满足性能需求程度的指标数值为约束临界值[Lmin，Lmax]，选择预期目标的合格点Lh和优秀点Ly为离散点，离散化评估数据到固定标准化区域，例如平均响应时间的约束临界值[Lmin，Lmax]＝[1.5，12]，表示平均响应时间在1.5秒为最佳性能效率，在12秒时为不可接受临界值，其预期目标的合格点Lh和优秀点Ly分别为8秒和3秒，其中，[Lmin，Ly，Lh，Lmax]＝[1.5，3，8，12]经过倒数一致化方法规范化后结果为[Imin，Ih，Iy，Imax]＝[1/12，1/8，1/3，1/1.5]。
1.3.2)将固定标准化区域映射到不同档次，并一一对应不同的功效系数值[Gmin，Gh，Gy，Gmax]，如平均响应时间的功效系数值[Gmin，Gh，Gy，Gmax]＝[0.2，0.7，0.9，1]。
1.3.3)设置标准值，结合不同档次的功效系数值，基于预期目标点，采用改进的功效系数法计算评估数据的分数。
传统功效系数法直接采用线性映射方式归一化指标数据，缺乏对不同层次的分数的约束，不能体现性能效率合格、优秀等层次的分数，在传统功效系数法基础上，设置预期目标点(合格点、优秀点)和约束临界值(如表1所示)，离散化性能效率指标数据为不同的固定标准化区域，映射到不同档次，并一一对应不同的功效系数值，结合标准值，改进功效系数法用来计算不同档次评估指标数据的分数，适应多预期目标；其中，改进后的功效系数值的计算公式如下述公式6所示，使得不同指标评估数据转化到同一数量级，克服量纲、数量级等特征不一致的问题；如测试的平均响应时间为2秒，采用倒数一致化方法规范化后为1/2，其小于约束点(Imax＝1)但大于优秀点(Iy＝1/3)，其功效系数为0.9，通过下述公式6计算：(1/2-1/3)/(1/1.5-1/3)*(1-0.9)+0.9，结果为0.95；特别的，如表2所示，经规范化的数据Data，采用改进的功效系数法获得标准化的结果Bdata。
Figure BDA0003873383270000121
式中，y为待标准化的评估指标数据，[Imin，Ih，Iy，Imax]为规范化后的指标数据。
表1指标的预期目标点及功效系数值对应表
Figure BDA0003873383270000131
表2功效系数法标准化案例
Figure BDA0003873383270000132
步骤2：评估指标体系中的各评估指标主客观权重的计算，为了提高权重的合理性，采用层次分析法获取主观评估权重；为了强化评估权重的科学性和严谨性，采用熵权法计算客观数据评估权重。具体展开如下：
2.1)利用层次分析法获取主观评估权重；
为了对复杂的性能效率评估指标层次化、结构化，如时间特性、资源利用性、容量以及性能效率的依从性等划分成层次化结构；
采用层次分析法，构造包含目标层、准则层、指标层的递阶层次指标结构(如图3所示)，综合考虑专家专业知识和经验，主观构建判断矩阵，经一致性校验后获取主观评估权重(如下述公式7)，提高权重的合理性。
Figure BDA0003873383270000141
其中，Matij为判断矩阵第i行j列的值。
2.2)采用熵权法客观计算经过标准化处理的历史评估数据的概率、推算指标的信息熵和信息效用值，归一化后获取客观评估权重；
为了避免权重计算主观偏好过强的情形，利用数据的方差变异程度越小，信息熵会越大，代表对应的权重值越小原理，采用熵权法客观计算经过标准化处理的历史评估数据的概率Pij、推算指标的信息熵Ei和信息效用值，归一化后取的指标的权重，客观计算评估权重，提高评估权重的科学性和严谨性。客观数据评估权重的计算公式为：
Figure BDA0003873383270000142
其中，DWi是指第i个指标的权重，Ei是指标i的信息熵；Ei的计算公式为：
Figure BDA0003873383270000143
式中n3表示权重的个数。
2.3)采用三标度法对所获取的主观评估权重进行优化。
基于性能效率评估指标数量众多，上述构建判断矩阵存在随意性和计算量较大的问题，采用三标度法对所获取的主观评估权重进行优化，减少判断数值，简化计算过程，克服复杂的计算导致一致性校验结果偏差的问题；最后求得的主客观评估权重如下表3所示。
表3主客观评估权重
Figure BDA0003873383270000151
步骤3：使用皮尔逊相关系数法，计算主客观权重之间满足协同性的程度；根据满足协同性的程度，选择协同型组合赋权或离散型组合赋权，以求取评估权重的最优解。
展开来说，性能效率指标性质不一，主客观权重赋值存在差异，为了度量权重间的协同性是否一致，构建权重矩阵，运用协方差方法表示权重之间的正负相关性；使用皮尔逊相关系数法，计算权重之间满足协同性的程度，校验主客观权重变化趋势一致性。具体如下：
3.1)构建权重矩阵，运用协方差方法计算权重矩阵中权重总体的误差，基于协方差结果的正负值表示权重之间的正负相关性；
采用长方阵列排列的实数集合存放主观评估权重和客观数据评估权重等主客观权重，构建权重矩阵U＝[W1，W2，...，Wn]＝[[SW1，SW2，...，SWn]，[DW1，DW2，...，DWn]，...，[XW1，XW2，...，XWn]]，便于权重之间有效的数值分析。
为了度量主客观权重之间相关性，采用协方差方法计算权重矩阵中权重总体的误差，协方差正负值表示权重之间的正负相关性，结果为正值表示权重间是正相关，为负值表示权重间是负相关。协方差公式如下：
Figure BDA0003873383270000161
其中xi，xj分别表示权重矩阵U中第i行和第j行的权重，xik表示权重矩阵U中第i行第k个权重值，xjk表示权重矩阵U中第j行第k个权重值。
3.2)使用皮尔逊相关系数法，计算主客观权重之间满足协同性的程度；
为了度量权重之间的关联程度，使用皮尔逊相关系数法，用代表权重相关性的协方差除以权重的标准差计算系数，并采用系数的数值大小表示权重满足协同性的程度，校验主客观权重变化趋势一致性。
其中，皮尔逊相关系数Pearson数值越接近1，表示权重之间协同性越强，变化趋势越一致。皮尔逊相关系数法的计算公式如下：
Figure BDA0003873383270000162
3.3)根据权重间协同性的结果，选择最优组合赋权以求取评估权重；
为了综合主客观评估权重的合理性、科学性和严谨性，采用组合赋权方式有机结合主客观权重；设置协同型组合赋权和离散型组合赋权，根据权重间协同性的校验结果，选择最优组合赋权。具体如下：
若主客观权重之间协同性较强，即协同性相关系数在[0.7，1]范围内时，权重重要性程度相近，则采用乘法融合归一算法创建协同型组合赋权计算；计算赋权方法组合权重积与组合权重积和值的比值关系，均匀分配主客观权重。
其中，针对A个主客观权重赋权方法，第i个指标经乘法融合归一算法计算的组合权重TWi为：
Figure BDA0003873383270000171
其中第i个指标使用第a个赋权方法得到的组合权重积为
Figure BDA0003873383270000172
对各指标用第a种赋权方法得到的组合权重积相加的结果为
Figure BDA0003873383270000173
若主客观权重之间协同性较弱，即协同性相关系数不在[0.7，1]范围时，权重差异较大，则采用CRITIC法的对比性和冲突性构建离散型组合赋权计算，公式如下：
ZWi＝α1W1+α2W2+…+αnWn (公式13)
其中，权重系数满足约束条件为：
α1+α2+...+αn＝1 (公式14)
采用CRITIC法，基于权重数据的对比性和冲突性度量权重间取值的差距和冲突程度，采用标准差计算权重间取值差距的大小，其中标准差越大，取值差距越大，最后计算权重系数，计算过程为：
I、计算权重数据的对比性和冲突性，权重的冲突性表示为如下公式：
Figure BDA0003873383270000181
式中，rkj是指标t和j之间的相关系数。
II、设置信息量为中间值，有机结合对比性和冲突性，综合衡量权重的相对重要性，其中，信息量越大，权重的重要性越大，信息量计算公式如下：
Figure BDA0003873383270000182
式中，ηj表示对比性量化数值。
III、计算权重系数，根据权重数据的对比性和冲突性，采用CRITIC法计算权重系数如下：
Figure BDA0003873383270000183
其中，权重的重要性越大，其权重系数越大。
使用皮尔逊相关系数法，运用公式11计算表3中主客观权重之间满足协同性的程度，获得皮尔逊相关系数Pearson＝0.565，权重之间满足协同性较弱；由于协同性相关系数不在[0.7，1]范围，选择离散型组合赋权求解最终评估权重，确保性能效率指标权重组合的最优化；根据公式17，计算主观评估权重系数＝0.425，客观评估权重系数＝0.575；再根据公式13，所求的最优组合权重为ZW＝[0.091，0.084，0.081，0.078，0.075，0.071，0.069，0.065，0.068，0.060，0.064，0.057，0.053，0.046，0.038]。
步骤4：信息系统性能效率评估模型构建：结合所求取的评估权重，建立信息系统性能效率评估指标的直观和模糊双维度评估模型；
展开来说，选取国内某大型工业机器人制造企业CRM信息管理系统为例，采用数值展示、权重占比展示、评估对比展示对评估结果进行直接展示，以直观、客观地反映信息系统性能效率的综合评估结果；运用云模型理论，以自然语言描述性能效率评估数值转换的综合定性评估，模糊展示性能效率的综合评估结果。具体如下：
4.1)采用数值展示、权重占比展示、评估对比展示对评估结果进行直接展示，以直观、客观地反映信息系统性能效率的综合评估结果；
为了直观、客观反映综合评估结果，采用线性加权综合法计算综合评估数值，运用占比可视化图，直观表示指标权重部分与整体的关系；使用对比可视化图形，直观对比多指标数据，突出多指标数据间的异常值，以便定位系统性能瓶颈。
4.1.1)数值展示：考虑到一、二级指标之间相互独立，采用线性加权综合法，结合最优组合赋权计算的权重，对测试结果的量化数据，进行线性加权组合成评估数值，通过将一、二级指标数据构造为单个数值目标的评价函数，直观、客观反映综合评估结果，其线性加权组合成评估数值公式为：
Figure BDA0003873383270000191
其中，SWi表示最优组合赋权计算的第i个指标的权重，Xi为第i个指标的测试数值。
4.1.2)权重占比展示：性能效率指标众多，为了直观展示单一指标权重在综合评价中的相对重要程度，运用饼状图、环形图等占比可视化图形，直观表示指标数值大小及占总体的比例，如图4所示，通过使用饼状图直观展示指标占总体权重的比例，显示部分与整体的关系。
4.1.3)评估对比展示：性能效率指标层次分明，为了展示同一层级间的大小关系，使用雷达图、柱状图、指标卡等对比可视化图形，直观对比多指标数据，突出多指标数据间的异常值，以便定位系统性能瓶颈，实现系统性能调优，如图5所示，采用雷达图直观对比时间特性、资源利用性、容量以及性能效率的依从性等评估结果，由图5可知，该信息系统时间特性性能效果最好，系统的容量的效果较差，应增加容量提高信息系统性能。
4.2)运用云模型理论，以自然语言描述性能效率评估数值转换的综合定性评估，模糊展示性能效率的综合评估结果；
为了从众多的指标体系中综合定性评价性能效率，采用云模型理论，以自然语言描述性能效率评估数值转换的综合定性评估；先构建模糊评估集，再采用正向云发生器绘制性能效率的标准模型作为评价的衡量尺度，结合最优组合赋权权重转换为云模型，对比标准模型，生成评估结果。
4.2.1)模糊评语集的构建；根据系统满足性能效率的程度，构建描述性能效率综合评分的模糊评语集，并按照评语集划分指标的评价值为多个等级区间，再采用云特征计算公式求出等级区间的云模型特征值，其中云特征计算公式为：
Figure BDA0003873383270000201
式中，Ex为期望值，Mmax、Mmin分别为最大、最小边界，k为熵En和超熵He之间的线性关系值。
构建的模糊评语集如下表4所示：
表4模糊评语集数据
Figure BDA0003873383270000202
Figure BDA0003873383270000211
4.2.2)基于等级区间云模型特征值的期望、熵和超熵，采用正向云发生器从定性概念映射到特征云滴，包括特征云滴的定量值及其隶属度，其计算公式为：
Figure BDA0003873383270000212
根据特征云滴的坐标值(x，y(x))，绘制出性能效率的标准模型(如图6所示)，作为评价的衡量尺度。
4.2.3)模糊评估结果的生成：通过公式21计算(Exi，Eni，Hei)的结果如下表5所示，5次测量CRM信息管理系统的指标数据，运用公式21计算这5次测量结果，转化为云模型特征参数(如表5的数据处理结果)。
Figure BDA0003873383270000221
其中，
Figure BDA0003873383270000222
S分别是5次测量数据平均数、方差。
表5CRM信息管理系统性能效率数据
Figure BDA0003873383270000223
结合最优组合赋权的权重，转换整体目标的评估结果为云模型，其特征参数(Yx，Yn，Yh)＝(0.833，0.022，0.005)，由下述公式22计算表5中(Exi，Eni，Hei)和最优组合赋权的权重可得。
Figure BDA0003873383270000224
将特征参数(Yx，Yn，Yh)绘制成云模型，与标准模型比较，比较结果如图7所示，评估数据的云模型显正态分布，趋于稳定；基于期望值与标准模型对比可知，该评估数据评语集为U3，评估等级为适中性能(合格)，基本满足信息系统的性能效率要求，出现性能瓶颈概率小，信息系统不容易崩溃，再结合直观展示中系统容量的效果较差、应增加容量提高系统性能的评估，可知容量是拉低该CRM系统性能的重要因素。基于上述评估，达到从直观和模糊双维度评估信息系统的性能效率的效果。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进，均应包含在本发明的保护范围之内。

Claims (10)

1.一种信息系统性能效率的评估方法，其特征在于，包括：
步骤1：建立信息系统性能效率的评估指标体系；1.1)信息系统性能效率的评估指标集的确定；1.2)评估指标集中的评估数据的规范化：正向规范化逆向数据、顶峰数据和区间数据，使指标数据的数据性质统一规范为指标值越大性能越优；1.3)评估指标集中的评估数据的标准化：经数据的离散化、模型化模型的优化后，采用改进的功效系数法将评估数据标准化到同一数量级；
步骤2：评估指标体系中的各评估指标主客观权重的计算；
步骤3：使用皮尔逊相关系数法，计算主客观权重之间满足协同性的程度；根据满足协同性的程度，选择协同型组合赋权或离散型组合赋权，以求取评估权重的最优解；
步骤4：信息系统性能效率评估模型构建：结合所求取的评估权重，建立信息系统性能效率评估指标的直观和模糊双维度评估模型；4.1)采用数值展示、权重占比展示、评估对比展示对评估结果进行直接展示，以直观、客观地反映信息系统性能效率的综合评估结果；4.2)运用云模型理论，以自然语言描述性能效率评估数值转换的综合定性评估，模糊展示性能效率的综合评估结果。
2.如权利要求1所述的信息系统性能效率的评估方法，其特征在于：步骤4.1具体包括如下：
4.1.1)数值展示：采用线性加权综合法，结合所求取最优解的评估权重系，对测试结果的量化数据线性加权组合成直观反映性能效率综合评估结果的评估数值；
4.1.2)权重占比展示：运用饼状图、环形图这类型的占比可视化图形，直观表示指标权重大小及占总体的比例；
4.1.3)评估对比展示：使用雷达图、柱状图和指标卡这类型的对比可视化图形，直观对比多指标评估数据，突出多指标评估数据间的异常值，以定位系统性能瓶颈和实现系统性能调优。
3.如权利要求1所述的信息系统性能效率的评估方法，其特征在于：步骤4.2具体包括如下：
4.2.1)模糊评估集的构建：根据信息系统所满足性能效率的程度，构建自然语言描述性能效率综合评分的模糊评语集，并按照评语集划分指标的评价值为多个等级区间，再采用云特征计算公式求出等级区间的云模型特征值；
4.2.2)标准模型的绘制：基于等级区间云模型特征值的期望值、熵和超熵，采用正向云发生器从定性概念映射到特征云滴，基于特征云滴的坐标值，绘制出信息系统性能效率的标准模型以作为评价的衡量尺度；
4.2.3)模糊评估结果的生成：采用逆向云发生器计算评估数据，结合最后组合赋权的权重，转换为云模型；基于熵和超熵确定评估的模糊性和稳定性，基于期望值与标准模型对比，结合模糊评估集，以自然语言描述性能效率评估数值转换的综合定性评估，生成评估结果。
4.如权利要求3所述的信息系统性能效率的评估方法，其特征在于：步骤4.2.1)中所构建的模糊评估集如下：
Figure FDA0003873383260000021
Figure FDA0003873383260000031
其中，Ex为期望值，En为熵，He为超熵。
5.如权利要求1所述的信息系统性能效率的评估方法，其特征在于：步骤1.1)具体包括如下：
1.1.1)以时间特性、资源利用性、容量以及性能效率的依从性为一级指标，并将至少部分一级指标进行细化为多个具有代表性的二级指标；
其中，时间特性的二级指标包括平均响应时间、响应时间的充分性、平均周转时间、周转时间的充分性和平均吞吐量；资源利用性的二级指标包括处理器平均占用率、内存平均占用率、I/O设备平均占用率、带宽占用率；容量的二级指标包括事务处理容量、用户访问量、用户访问增长的充分性；
1.1.2)特定评估指标的补充：以度量信息系统的处理能力和稳定性为目的，在时间特性这个一级评估指标下补充单位时间内完成定义事务的事务成功率和由于超时或系统内部错误而导致事务失败的超时错误率这两个二级指标。
6.如权利要求5所述的信息系统性能效率的评估方法，其特征在于：步骤1.2)评估数据的规范化具体包括如下：
1.2.1)针对平均响应时间、响应时间的充分性、平均周转时间和超时错误率这类逆向数据采用倒数一致化方法，使其完成正向规范化；
1.2.2)针对I/O设备平均占用率和带宽占用率这类顶峰数据进行设置最佳占用率为顶峰值，并采用二元函数法推导、分解和计算，使其完成正向规范化；
1.2.3)针对处理器平均占用率和内存平均占用率这类区间数据进行选取最佳区间作为顶峰区间，并采用离散化方程下降区间数据，使其完成正向规范化。
7.如权利要求1所述的信息系统性能效率的评估方法，其特征在于：步骤1.3评估数据的标准化具体包括如下：
1.3.1)基于预期目标点离散化评估指标数据到固定标准化区域；
1.3.2)将固定标准化区域映射到不同档次，并一一对应不同的功效系数值[Gmin，Gh，Gy，Gmax]；
1.3.3)设置标准值，结合不同档次的功效系数值，基于预期目标点，采用改进的功效系数法计算评估数据的分数，使得不同指标评估数据转化到同一数量级，克服量纲、数量级等特征不一致的问题；其中，改进的功效系数值的计算公式如下：
Figure FDA0003873383260000041
式中，y为待标准化的指标数据，[Imin，Ih，Iy，Imax]为规范化后的指标数据。
8.如权利要求1所述的信息系统性能效率的评估方法，其特征在于：步骤2具体包括如下：
2.1)对复杂的性能效率评估指标进行层次化、结构化，采用层次分析法，构造包含目标层、准则层、指标层的递阶层次指标结构，以获取主观评估权重；
2.2)采用熵权法客观计算经过标准化处理的历史评估数据的概率、推算指标的信息熵和信息效用值，归一化后获取客观评估权重；
2.3)基于性能效率的评估指标的数量众多，采用三标度法对所获取的主观评估权重进行优化，以减少判断数值和简化计算过程。
9.如权利要求1所述的信息系统性能效率的评估方法，其特征在于：步骤3具体包括如下：
3.1)构建权重矩阵，运用协方差方法计算权重矩阵中权重总体的误差，基于协方差结果的正负值表示权重之间的正负相关性；
3.2)使用皮尔逊相关系数法，计算主客观权重之间满足协同性的程度；
3.3)根据权重间协同性的结果，选择最优组合赋权的方式以求取评估权重；
若主客观权重之间协同性较强，则采用乘法融合归一算法创建协同型组合赋权计算；
若主客观权重之间协同性较弱，则采用CRITIC法的对比性和冲突性构建离散型组合赋权计算。
10.如权利要求9所述的信息系统性能效率的评估方法，其特征在于：步骤3.3)中，当协同性相关系数在[0.7，1]范围内时，采用乘法融合归一算法创建协同型组合赋权计算；否则，采用CRITIC法的对比性和冲突性构建离散型组合赋权计算。
CN202211207573.2A 2022-09-30 2022-09-30 一种信息系统性能效率的评估方法 Pending CN115509877A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211207573.2A CN115509877A (zh) 2022-09-30 2022-09-30 一种信息系统性能效率的评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211207573.2A CN115509877A (zh) 2022-09-30 2022-09-30 一种信息系统性能效率的评估方法

Publications (1)

Publication Number Publication Date
CN115509877A true CN115509877A (zh) 2022-12-23

Family

ID=84508225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211207573.2A Pending CN115509877A (zh) 2022-09-30 2022-09-30 一种信息系统性能效率的评估方法

Country Status (1)

Country Link
CN (1) CN115509877A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116738152A (zh) * 2023-08-14 2023-09-12 南京邮电大学 地下流体管道泄漏损伤分布式振动监测评估系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116738152A (zh) * 2023-08-14 2023-09-12 南京邮电大学 地下流体管道泄漏损伤分布式振动监测评估系统及方法
CN116738152B (zh) * 2023-08-14 2023-10-27 南京邮电大学 地下流体管道泄漏损伤分布式振动监测评估系统及方法

Similar Documents

Publication Publication Date Title
Shepperd Software project economics: a roadmap
CN102496069B (zh) 基于模糊层次分析法的电缆多状态安全运行评估方法
WO2019153487A1 (zh) 系统性能的度量方法、装置、存储介质和服务器
CN105719048A (zh) 一种基于主成分分析法及熵权法的中压配电网运行状态模糊综合评价方法
CN102467684A (zh) 基于改进雷达图的综合性能评估系统和方法
CN109409628A (zh) 基于计量大数据聚类模型的采集终端生产厂商评价方法
CN116150897A (zh) 一种基于数字孪生的机床主轴性能测评方法及系统
CN112182720A (zh) 一种基于建筑能源管理应用场景的建筑能耗模型评价方法
CN111882198A (zh) 一种项目绩效评价方法及系统
CN109389282A (zh) 一种基于高斯混合模型的电能表生产厂商评价方法
CN114139940A (zh) 一种基于组合赋权-云模型的广义需求侧资源网荷互动水平评估方法
CN115509877A (zh) 一种信息系统性能效率的评估方法
CN108898273A (zh) 一种基于形态分析的用户侧负荷特征聚类评价方法
CN104809235A (zh) 一种节目评价系统及方法
Somu et al. Evaluation of building energy demand forecast models using multi-attribute decision making approach
CN113469570A (zh) 信息质量评价模型构建方法、装置、设备及存储介质
CN113393094A (zh) 能源系统评估方法、装置、设备及存储介质
Zong et al. Embedded software fault prediction based on back propagation neural network
CN102708298B (zh) 一种车载通信系统电磁兼容指标分配方法
CN112256681A (zh) 一种空管数字化指标应用系统及方法
CN116402528A (zh) 电力数据处理系统
CN115564410A (zh) 一种继电保护设备的状态监测方法及装置
CN115511230A (zh) 一种电能替代潜力分析预测方法
CN109389281A (zh) 一种基于高斯混合模型的采集终端生产厂商评价方法
CN114091908A (zh) 计及多模式储能站的配电网综合评价方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination