CN112817842B - 不完美排错srgm决策方法、系统、介质、设备及应用 - Google Patents

不完美排错srgm决策方法、系统、介质、设备及应用 Download PDF

Info

Publication number
CN112817842B
CN112817842B CN202110090910.3A CN202110090910A CN112817842B CN 112817842 B CN112817842 B CN 112817842B CN 202110090910 A CN202110090910 A CN 202110090910A CN 112817842 B CN112817842 B CN 112817842B
Authority
CN
China
Prior art keywords
model
srgm
decision
performance
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110090910.3A
Other languages
English (en)
Other versions
CN112817842A (zh
Inventor
张策
王金勇
徐早辉
江文倩
孙源
白睿
孙智超
王建远
盛晟
范苗苗
李文毓
温雅菲
宋雯
刘凯卫
吕为工
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology Weihai
Original Assignee
Harbin Institute of Technology Weihai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology Weihai filed Critical Harbin Institute of Technology Weihai
Priority to CN202110090910.3A priority Critical patent/CN112817842B/zh
Publication of CN112817842A publication Critical patent/CN112817842A/zh
Application granted granted Critical
Publication of CN112817842B publication Critical patent/CN112817842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3664—Environments for testing or debugging software
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明属于软件测试技术领域，公开了一种不完美排错SRGM决策方法、系统、介质、设备及应用，包括：对实际测试过程与SRGM的研究本质一致性进行分析，建立分类视角下的SRGM归类集合；从矩阵分析的角度形式化描述SRGM评价与选择问题，获得加权标准化决策矩阵；建立基于明考斯基距离的双最优化排序方法，对模型的性能进行综合评价，给出SRGMs间的性能偏序关系；验证和阐释模型性能之间的排序，并进行参数敏感性分析。本发明通过在真实的失效数据集上进行实验和分析，检验所提出方法的有效性，为定量决策模型提供了有力支持。实验表明，本发明提出的双最优化排序方法MMIMMD可以较好地对模型进行多维度评估。

Description

不完美排错SRGM决策方法、系统、介质、设备及应用
技术领域
本发明属于软件测试技术领域，尤其涉及一种不完美排错SRGM决策方法、系统、介质、设备及应用。
背景技术
目前，软件失效由软件中的故障所引发，软件中故障的数量以及被检测与修复的故障数量等均与软件可靠性紧密相关。为了定量化地提高软件系统的可靠性，软件可靠性增长模型SRGM(Software Reliability Growth Model)得到了深入的研究，考虑多种实际测试环境与运行因素的模型先后被提出。SRGM利用数学手段研究故障数量与可靠性之间的定量关系，其通常通过建立测试过程中故障的检测、修复、引入数量与测试时间和测试工作量之间的微分方程，来构造复杂的测试模型，通过求解得到t时刻累积检测到的故障数量m(t)来求得t时刻的软件可靠性。
以测试过程为例，测试人员按照预定的测试策略采用某种测试方法对软件中的故障进行检测、定位、识别、修复等操作，这其中包含多个环节，并且会受到多种动态随机因素的影响，从而会对可靠性的提高带来多重影响。由于研究人员对测试过程认知上的差异，基于对故障检测至修复过程的不同假设，目前所建立的可靠性模型有数百种，但至今并不存在一种模型能够适应全部研究中的实验场景，这为模型的性能的评价和决策带来了困难。
真实测试过程与SRGM本质的一致。整体上，软件测试过程可以分为故障检测过程FDP(Fault Detection Process)和故障改正过程FCP(Fault Correction Process)，FDP主要是通过测试发现软件内固有的缺陷所引起的故障，而FCP则是通过分析与调试修改排除故障的活动，二者并不相同但紧密相关。图5绘制了真实的软件测试过程。
由图5可以看出，真实的测试流程是执行测试策略、发现故障、分析原因、排错、检查，之后再执行测试策略的周期性过程。随着测试的不断执行，故障不断地被检测和修复，从而使得软件可靠性得以逐渐提升。以研究的视角来看，科研人员自然希望能够定量地评定该过程结束时系统的可靠性。为此，需要从数学定量分析的角度对测试过程进行建模，得到主要变量之间的数值关系，为可靠性的增长找到研究的突破口。
相比于完美排错，不完美排错是针对更加真实的测试过程的可靠性研究，不完美排错包含了多种测试过程中的实际因素。在不完美排错情况下，软件测试过程中选择可靠性模型来指导测试过程时应考虑实际测试环境的特点。当前研究中，由于各个模型所做的假设有所不同，所以可以得到多种类型的可靠性模型。因此，在选择可靠性模型时，首先需要选择出与实际工程特征相接近的可靠性模型作为预选集合。
对于给定的可靠性模型以及用户选择或输入的数据所决定的可靠性模型使用环境，采用相对合适的方法来决策出最优的SRGM，整体决策示意图如图6所示。其中第一个输入，即失效数据集表示真实的测试环境，是用于评测不同模型的验证数据；第二个输入，即SRGMs表示待评测的可靠性模型；第三个输入，即评价标准主要是模型在数据集上进行拟合与预测的指标值；第四个输入，即选择条件是工程实际的特征，可作为用以遴选可靠性模型预选集合的标准。
当前研究人员的主要观点是，提出能够拟合与预测现有失效数据集的模型，其侧重于建立模型，进而在失效数据集上进行验证。在对模型与历史数据的拟合评价上，MSE,MEOP,Variation,RMS-PE,TS和BMMRE常用来作为度量的选择，这些数值越小表明拟合效果越好；R-square越接近于1，表明拟合效果越好；RE作为模型对未来数据预测的评价标准，RE越趋近于0，表明预测效果越好。相比之下，工程实际中的主要观点是侧重于选择合适的模型，并能够指导软件的测试过程，进而合理地进行资源分配，确保实现预期的目标。因此，在工程开发中选择合适的SRGM具有重要的现实意义。
迄今为止，已有数百个可靠性模型被提出，但事实上，在目前已提出的SRGM中，不存在任何一个模型能够普遍适用于任何环境，即某个特定的SRGM只能在有限的几个数据集上表现出优异的性能，或者在某个指定的数据集上不同模型间的性能差异很大。因此，这为评价与选择SRGM带来了现实上的困难。特别地，现有文献明确指出，并不存在一个能够适用于所有失效数据集和评测标准的模型，这使得评测SRGM的性能优劣与选择合适的SRGM成为当前研究中的一个亟待解决的问题。造成该问题的原因包括如下几个方面：
(1)众多SRGMs的提出均是基于对测试过程的不同假设来建立数学方程实施研究，因而各个模型的差异性较大；
(2)失效数据集记录了测试时间内时间与检测、修复的故障数量等的关系，但尚难对待测对象自身的更多特征以及整个测试策略进行描述；
(3)评测标准较多，涵盖拟合、预测和惩罚等多个方面，模型容易存在“顾此失彼”的现象；
(4)模型缺少对真实测试过程的考虑。
在当前SRGM评价与选择机制上，已有研究进行了相关探索，SharmaK基于欧几里得(Euclidean)距离进行SRGM的最优选择，通过计算模型与理想解之间的最短距离来确定最优者。但其缺少对更多评测性能标准的考虑，尤其是对预测RE标准。现有文献从决策软件发布角度提出了在工程实际中选择SRGM的方法，其通过评价模型预测软件中剩余故障的准确性来进行SRGM的选择与评判。现有文献从MSE拟合标准和自定义的预测指标(相对平衡RE)对SRGM进行评价，并给出了具体的SRGM选择执行流程。以及其他文献均对SRGM的评价与决策进行了不同角度的研究，使得可靠性模型性能排序问题成为研究的热点，受到广泛的关注。
整体而言，当前已有研究的不足如下：单纯通过孤立地比较SRGMs的拟合性能来作为评判的依据；在拟合与预测标准上，未考虑到不同标准重要性的不同；仅从全局角度实施，没有考虑到测试过程中由于测试环境和测试策略的改变而引发的各种实际问题。同时，科研人员对基于失效数据集FDS(Failure Data Set)的SRGM研究具有被动型、滞后性和片面性。这是由于软件公司对FDS的发布不具备及时性，并且由于多种因素的限制，发布的信息往往有限(通常只带有测试时间t、失效故障数量，以及测试工作量TE(Testing Effort)等)，其他更多的测试信息不会被发布。
由此可见，研究人员只能通过建立数学模型来揣测(拟合与预测)测试过程；相比之下，(公司中)决策人员通过对测试过程中多种信息的搜集可以更为主动和及时地评价、选择和应用已有的SRGMs。
考虑到大型软件系统测试过程中的实际情况，在选择SRGM时应满足如下的基本事实：
(1)模型的假设与真实的测试过程较为接近，因为偏离实际的假设毫无意义；
(2)模型中的参数不宜过多，因为测试中往往是基于有限的数据来进行参数拟合，参数过多会导致拟合结果失真；
(3)模型的复杂度不宜过高，因为复杂的模型在工程上难以求解。
通过上述分析，现有技术存在的问题及缺陷为：
(1)在目前已提出的SRGM中，不存在任何一个模型能够普遍适用于任何环境，即某个特定的SRGM只能在有限的几个数据集上表现出优异的性能，或者在某个指定的数据集上不同模型间的性能差异很大。
(2)众多SRGMs的提出均是基于对测试过程的不同假设来建立数学方程实施研究，因而各个模型的差异性较大。
(3)失效数据集记录了测试时间内时间与检测、修复的故障数量等的关系，但尚难对待测对象自身的更多特征以及整个测试策略进行描述。
(4)评测标准较多，涵盖拟合、预测和惩罚等多个方面，模型容易存在“顾此失彼”的现象；同时，模型缺少对真实测试过程的考虑。
(5)单纯通过孤立地比较SRGMs的拟合性能来作为评判的依据；在拟合与预测标准上，未考虑到不同标准重要性的不同；仅从全局角度实施，没有考虑到测试过程中由于测试环境和测试策略的改变而引发的各种实际问题。同时，科研人员对基于失效数据集FDS的SRGM研究具有被动型、滞后性和片面性。
解决以上问题及缺陷的难度为：
虽然在可靠性建模上已经有为数众多的模型被提出，但是在对模型性能的全面评价上相关有价值的研发方法与应用却较为鲜见。本发明对以SRGM为代表的可靠性模型的性能指标进行量化处理，抽象得出决策矩阵，提出基于最优化距离的评价方法，为解决模型的综合评价与决策进行了富有创见的探索，为困恼面对实际应用环境下选择可行的可靠性模型提供了一种选择，是具有较高的解决问题难度上的实践。
解决以上问题及缺陷的意义为：
准确评价软件可靠性模型已成为可靠性研究中的难题，尤其是面对具体的应用环境如何选择合适的SRGM至关重要。本发明提供了一种可供参考的模型评价与决策方法，由于考虑到了不完美排错等实际情况，使得在解决问题上具有较高的现实意义和较好的实际应用价值。
发明内容
针对现有技术存在的问题，本发明提供了一种不完美排错SRGM决策方法、系统、介质、设备及应用。
本发明是这样实现的，一种不完美排错SRGM决策方法，所述不完美排错SRGM决策方法包括以下步骤：
步骤一，对实际测试过程与SRGM的研究本质一致性进行分析，建立分类视角下的SRGM归类集合；
步骤二，从矩阵分析的角度形式化描述SRGM评价与选择问题，获得加权标准化决策矩阵；
步骤三，基于模型评价的指标，提出考虑成本受限下基于距离的可靠性模型最优化模型，建立基于明考斯基距离的双最优化排序方法，对模型的性能进行综合评价，给出SRGMs间的性能偏序关系；
步骤四，在四个实际计算机应用系统测试过程中记录与公开发表的失效数据集上进行实验，验证和阐释模型性能之间的排序，并进行参数敏感性分析，为模型决策提供定量化的参考。
进一步，步骤一中，所述SRGM评价问题形式化描述，包括：
设有K个SRGM模型，构成一个集合M,M＝{Mi|1≤i≤K}＝{M1,M2,...,MK}，其中每个模型Mi由拟合与预测两大类指标构成。
定义：评测指标：模型Mi有N个拟合指标Fi＝{fij|1≤j≤N},1≤i≤K，L个预测指标Qi＝{qik|1≤k≤L},1≤i≤K，这些评测指标由K个模型在指定失效数据集上进行参数拟合后进行计算得到。
K个SRGM模型的拟合标准值和预测标准值构成的评测决策矩阵D如下：
其中，D是包含N+L个属性、K个方案的决策矩阵，且需要对决策矩阵D中的元素进行标准化处理。
进一步，所述对决策矩阵D中的元素进行标准化处理，包括：
(1)评测标准
对于数值越大拟合性能越好的标准，以及数值越小拟合标准性能越好的标准，将所述标准值变换为[0,1]区间内正向增长的无量纲数值，即：
(2)标准化矩阵
对无量纲数值表达式得到的评测数据进行标准化处理：
至此，可以得到标准化矩阵R：
其中，N+L个属性的权重向量ω＝(ω1,ω2,…,ωN,ωN+1,…,ωN+L)，将标准化矩阵R的每列与其对应的权重相乘，可得到加权标准化决策矩阵V：
定义：结果集决策结果以排序的形式给出，形成集合/>其中/>表明模型/>优于/>
进一步，步骤三中，所述考虑双最优距离的SRGM决策，包括：
SDSM是SRGM决策支持模型，用以对不同的可靠性模型进行决策，同时基于加权标准化决策矩阵表达式的描述，可将K个模型抽象为K个节点：N1,N2,...,NK。为了评测K个模型的性能差异，SDSM可以采用基于距离的决策方法。
其中，N0节点表示理想解节点，由于其是基于某种标准构造的用于衡量K个节点性能的节点，因此这里被标记为虚拟节点N0。
采用如下明考斯基距离MD函数用以度量不同模型间的差异：
其中，i＝(xi1,xi2,…,xip)和j＝(xj1,xj2,…,xjp)是两个p维的数据对象，k是一个正整数表示k重度量距离。
进一步，所述MD满足如下基本性质：d(i,j)≥0,d(i,i)＝0，d(i,j)＝d(j,i),d(i,j)≤d(i,k)+d(k,j)，这使得MD可以用来度量不同节点间的差异，还可以得到：
(1)当k＝1时，d称为曼哈坦距离：d1(i,j)＝(|xi1-xj1|+|xi2-xj2|+...+|xip-xjp|)；
(2)当k＝2时，d称为欧几里德距：
其中，考虑N+L个评测属性，令k＝N+L，表示N+L维的距离度量。
进一步，步骤三中，所述双最优化排序方法，用来度量不同模型间的差异，如下式所示：
其中，D(Nm,Nn)表示Nm和Nn两个节点间的k重度量距离；Np和Nq分别表示正向最优节点和负向最差节点，分别由评测标准中最优值和最差值的k维数据构成，即Np＝(x1p,x2p,...,xkp)，Nq＝(x1q,x2q,...,xkq)，其中xip＝max{xij|1≤j≤k},1≤i≤K,xiq＝min{xij|1≤j≤k},1≤i≤K。显然D(Ni,Np)越小则表示节点Ni距离正向最优节点Np越近，评测模型性能的指标趋向较好；D(Ni,Nq)越大则表示节点Ni距离负向最差节点Np越远，评测模型性能的指标趋向较差。
进一步，所述D(Ni,Np)和D(Ni,Nq)均采用明考斯基距离公式来计算：
其中，C(t)、D(Ni,Np)和D(Ni,Nq)均包含t时刻累积检测的故障数量表达式m(t)，如前所述，m(t)是可靠性模型研究的关键。
进一步，所述不完美排错SRGM决策方法在应用中，首先要遴选所作假设与工程测试实际较为接近的模型作为初步预选的n个SRGMs来构成预选集合，在现有的部分数据集上进行n个模型的拟合与预测，获得基础评测数据，进而基于MMIMMD进行模型的排序，并最终进行选择。
本发明的另一目的在于提供一种实施所述不完美排错SRGM决策方法的不完美排错SRGM决策系统，所述不完美排错SRGM决策想包括：
归类集合模块，用于对实际测试过程与SRGM的研究本质一致性进行分析，建立分类视角下的SRGM归类集合；
加权标准化决策矩阵获取模块，用于从矩阵分析的角度形式化描述SRGM评价与选择问题，获得加权标准化决策矩阵；
性能偏序关系得出模块，用于基于模型评价的指标，提出考虑成本受限下基于距离的可靠性模型最优化模型，建立基于明考斯基距离的双最优化排序方法，对模型的性能进行综合评价，给出SRGMs间的性能偏序关系；
参数敏感性分析模块，用于在四个实际计算机应用系统测试过程中记录与公开发表的失效数据集上进行实验，验证和阐释模型性能之间的排序，并进行参数敏感性分析，为模型决策提供定量化的参考。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
对实际测试过程与SRGM的研究本质一致性进行分析，建立分类视角下的SRGM归类集合；
从矩阵分析的角度形式化描述SRGM评价与选择问题，获得加权标准化决策矩阵；
基于模型评价的指标，提出考虑成本受限下基于距离的可靠性模型最优化模型，建立基于明考斯基距离的双最优化排序方法，对模型的性能进行综合评价，给出SRGMs间的性能偏序关系；
在四个实际计算机应用系统测试过程中记录与公开发表的失效数据集上进行实验，验证和阐释模型性能之间的排序，并进行参数敏感性分析，为模型决策提供定量化的参考。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
对实际测试过程与SRGM的研究本质一致性进行分析，建立分类视角下的SRGM归类集合；
从矩阵分析的角度形式化描述SRGM评价与选择问题，获得加权标准化决策矩阵；
基于模型评价的指标，提出考虑成本受限下基于距离的可靠性模型最优化模型，建立基于明考斯基距离的双最优化排序方法，对模型的性能进行综合评价，给出SRGMs间的性能偏序关系；
在四个实际计算机应用系统测试过程中记录与公开发表的失效数据集上进行实验，验证和阐释模型性能之间的排序，并进行参数敏感性分析，为模型决策提供定量化的参考。
本发明的另一目的在于提供一种软件测试终端，所述软件测试终端用于实现所述的不完美排错SRGM决策方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的不完美排错SRGM决策方法，在前期工作中提出了统一的不完美排错相关的SRGM，研究了不完美排错环境下的软件最优发布问题ORP(Optimal Release Problem)，并分析了不同SRGMs与TEFs性能存在差异的原因。在此之上，这里研究SRGM的选择应用与决策问题，主要面向考虑实际排错过程的工程中如何选择SRGM这一实际问题。
模型性能往往会因测试环境的不同表现出显著的差异，这使得测试中选择合适的SRGM成为重要的研究问题。从矩阵分析的角度，本发明对SRGM性能评估与选择问题进行形式化描述，提出成本受限下的双最优化排序方法框架模型，建立基于明考斯基距离的SRGM决策机制，并给出SRGMs间的性能偏序关系。实验表明：
(1)由于对测试过程抽象上的差异，不同模型的建模具有很大不同，使得模型的性能表现出较大差异，这为模型间综合性能的度量与决策带来根本上的区分；
(2)权重的设置会对模型的整体性能产生影响，但这并不是决定模型预测性能的最关键因素；
(3)由于多维空间的复杂特性，普通的评测方法无法完整地评估一个计算模型的拟合程度，而本发明提出的双最优化排序方法MMIMMD可以较好地对模型进行多维度评估。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的不完美排错SRGM决策方法流程图。
图2是本发明实施例提供的基于距离的SRGM决策示意图。
图3(a)是本发明实施例提供的模型在DS1上的拟合效果示意图。
图3(b)是本发明实施例提供的模型在DS2上的拟合效果示意图。
图3(c)是本发明实施例提供的模型在DS3上的拟合效果示意图。
图3(d)是本发明实施例提供的模型在DS4上的拟合效果示意图。
图4(a)是本发明实施例提供的模型在DS1上的RE曲线示意图。
图4(b)是本发明实施例提供的模型在DS2上的RE曲线示意图。
图4(c)是本发明实施例提供的模型在DS3上的RE曲线示意图。
图4(d)是本发明实施例提供的模型在DS4上的RE曲线示意图。
图5是本发明实施例提供的真实软件测试过程描述示意图。
图6是本发明实施例提供的RGM决策示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种不完美排错SRGM决策方法、系统、介质、设备及应用，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的不完美排错SRGM决策方法包括以下步骤：
S101，对实际测试过程与SRGM的研究本质一致性进行分析，建立分类视角下的SRGM归类集合；
S102，从矩阵分析的角度形式化描述SRGM评价与选择问题，获得加权标准化决策矩阵；
S103，基于模型评价的指标，提出考虑成本受限下基于距离的可靠性模型最优化模型，建立基于明考斯基距离的双最优化排序方法，对模型的性能进行综合评价，给出SRGMs间的性能偏序关系；
S104，在四个实际计算机应用系统测试过程中记录与公开发表的失效数据集上进行实验，验证和阐释模型性能之间的排序，并进行参数敏感性分析，为模型决策提供定量化的参考。
本发明提供的不完美排错SRGM决策方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的不完美排错SRGM决策方法仅仅是一个具体实施例而已。
下面结合实施例对本发明的技术方案作进一步的描述。
1、目前，已提出了大量可靠性模型，但迄今为止尚未有在全部FDS上均表现良好的模型。此外，在大型复杂软件的开发过程中，需要在测试阶段选定合适的可靠性模型来指引测试良好进行，这使得在工程应用中选择合适的模型成为亟待解决问题。首先，对实际测试过程与SRGM的研究本质一致性进行分析，建立分类视角下的SRGM归类集合。从矩阵分析的角度形式化描述SRGM评价与选择问题，获得加权标准化决策矩阵。考虑模型评价的指标，提出考虑成本受限下基于距离的可靠性模型最优化模型，建立基于明考斯基距离的双最优化排序方法，对模型的性能进行综合评价，给出SRGMs间的性能偏序关系。最后，在4个实际计算机应用系统测试过程中记录与公开发表的失效数据集上进行实验，验证和阐释模型性能之间的排序，并进行参数敏感性分析，为模型决策提供定量化的参考。
本发明在前期工作中提出了统一的不完美排错相关的SRGM，研究了不完美排错环境下的软件最优发布问题ORP(Optimal Release Problem)，并分析了不同SRGMs与TEFs性能存在差异的原因。在此之上，这里研究SRGM的选择应用与决策问题，主要面向考虑实际排错过程的工程中如何选择SRGM这一实际问题。
模型性能往往会因测试环境的不同表现出显著的差异，这使得测试中选择合适的SRGM成为重要的研究问题。从矩阵分析的角度，本发明对SRGM性能评估与选择问题进行形式化描述，提出成本受限下的双最优化排序方法框架模型，建立基于明考斯基距离的SRGM决策机制，并给出SRGMs间的性能偏序关系。
2、不完美排错下软件可靠性模型决策
2.1SRGM评价问题形式化描述
设有K个SRGM模型，构成一个集合M,M＝{Mi|1≤i≤K}＝{M1,M2,...,MK}，其中每个模型Mi由拟合与预测两大类指标构成。
定义：评测指标：模型Mi有N个拟合指标Fi＝{fij|1≤j≤N},1≤i≤K，L个预测指标Qi＝{qik|1≤k≤L},1≤i≤K，这些评测指标由K个模型在指定失效数据集上进行参数拟合后进行计算得到。
K个SRGM模型的拟合标准值和预测标准值构成的评测决策矩阵D如下：
D是包含N+L个属性、K个方案的决策矩阵，为便于计算，以及更加清晰地呈现模型间的数值差异，需要对决策矩阵D中的元素进行标准化处理。
(1)评测标准
对于数值越大拟合性能越好的标准，以及数值越小拟合标准性能越好的标准，将这些标准值变换为[0,1]区间内正向增长的无量纲数值，即：
(2)标准化矩阵
对式(2)得到的评测数据进行标准化处理，如式(3)所示：
至此，可以得到标准化矩阵R，如式(4)所示：
N+L个属性的权重向量ω＝(ω1,ω2,…,ωN,ωN+1,…,ωN+L)，将标准化矩阵R的每列与其对应的权重相乘，可得到加权标准化决策矩阵V，如式(5)所示：
定义：结果集决策结果以排序的形式给出，形成集合/>其中/>表明模型/>优于/>
2.3考虑双最优距离的SRGM决策
SDSM是SRGM决策支持模型，用以对不同的可靠性模型进行决策，同时基于式(5)的描述，可将K个模型抽象为K个节点:N1,N2,...,NK。为了评测K个模型的性能差异，SDSM可以采用基于距离的决策方法，如图2所示。
其中，N0节点表示理想解节点，由于其是基于某种标准构造的用于衡量K个节点性能的节点，因此这里被标记为虚拟节点N0。
这里本发明采用下面的明考斯基距离MD(Minkowski Distance)函数用以度量不同模型(即对象)间的差异，如式(6)所示：
其中i＝(xi1,xi2,…,xip)和j＝(xj1,xj2,…,xjp)是两个p维的数据对象，k是一个正整数表示k重度量距离。显然，MD满足如下基本性质：d(i,j)≥0,d(i,i)＝0，d(i,j)＝d(j,i),d(i,j)≤d(i,k)+d(k,j)，这使得MD可以用来度量不同节点间的差异。更进一步，本发明可以得到：
(1)当k＝1时,d称为曼哈坦距离(Manhattan Distance):d1(i,j)＝(|xi1-xj1|+|xi2-xj2|+...+|xip-xjp|)
(2)当k＝2时,d称为欧几里德距离(Euclidean Distance):
这里，本发明考虑N+L个评测属性，自然令k＝N+L，表示N+L维的距离度量。
通常，在度量某节点的性能时，是通过计算该节点与图2中最优评测标准构成的虚拟节点之间的距离来实施，但这种评测方法不一定保证有效。这是因为，在多维空间中，每个模型的标准所占有的权重并不一样，这使得此多维空间不具备传统二维与三维空间的对称性，从而导致距离最优评测标准构成的虚拟节点最近的节点不一定距离最差标准构成的虚拟节点距离最远。为此，本发明提出了下面的双最优化排序方法MMIMMD(MeasuringMethod Incorporating Maximum and Minimum Distance)，用以度量不同模型(即对象)间的差异，如式(7)所示：
D(Nm,Nn)表示Nm和Nn两个节点间的k重度量距离；Np和Nq分别表示正向最优节点和负向最差节点，分别由评测标准中最优值和最差值的k维数据构成，即Np＝(x1p,x2p,...,xkp)，Nq＝(x1q,x2q,...,xkq)，其中xip＝max{xij|1≤j≤k},1≤i≤K,xiq＝min{xij|1≤j≤k},1≤i≤K。显然D(Ni,Np)越小则表示节点Ni距离正向最优节点Np越近，评测模型性能的指标趋向较好；D(Ni,Nq)越大则表示节点Ni距离负向最差节点Np越远，评测模型性能的指标趋向较差。D(Ni,Np)和D(Ni,Nq)均采用明考斯基距离公式来计算，如式(8)和式(9)所示。
C(t)、D(Ni,Np)和D(Ni,Nq)均包含t时刻累积检测的故障数量表达式m(t)，如前所述，m(t)是可靠性模型研究的关键。
在应用中，首先要遴选所作假设与工程测试实际较为接近的模型作为初步预选的n个SRGMs来构成预选集合，在现有的部分数据集上进行n个模型的拟合与预测，获得基础评测数据，进而基于MMIMMD进行模型的排序，并最终进行选择。
3、数值算例评价
基于前述设计与分析，对选定的SRGMs基于给定失效数据集上的拟合与预测结果值，采用上节的MMIMMD评价算法进行实例验证。
3.1 SRGM实例与数据集
这里，本发明选取了8个典型的不完美排错SRGMs进行实验和评价分析，如表1所示。
表1参与比较的不完美排错SRGM
可靠性模型的验证集由公开发布的真实失效数据集来完成，这里选择4个实际计算机应用系统测试过程中记录的失效数据集DS1-DS4来进行实验，这4个数据集已被广泛用来验证SRGM的性能。
3.2 SRGM性能评价基准值
将表1中的模型在此4个数据集上进行参数拟合，基于拟合的参数数值得到模型的m(t)表达式，继而计算出模型在多个拟合评测标准上的数值，如表2所示。
表2模型在4个数据集上拟合评价标准数值
/>
从表2可以基本看出SRGM7、SRGM3和SRGM4总体上在4个失效数据集上拥有较好的拟合标准数值，优于其他模型。为了更加直观地呈现模型性能，图3展示了模型的拟合曲线，表现出了模型与真实的失效数据集的接近程度；图4展示了模型的预测曲线，表现出了模型对未来失效数据的预测能力，其中横坐标是以周为单位的标准预测RE曲线，曲线越接近于横坐标0曲线表明其预测性能越优。
从图3可以看出，在不同的失效数据集上，部分模型曲线与真实的失效数据曲线发生较大程度重合，表明拟合性能较好，另一部分模型则发生较大偏离，表明拟合性能并不理想。例如，在DS1上，SRGM1和SRGM6出现了明显偏差；在DS2上，SRGM1和SRGM4出现了明显偏差，SRGM6偏差相对较小。
可以看出，不同模型的RE曲线或正偏向或负偏向趋近于0标准曲线，难以区分模型间的RE曲线性能，也导致难以对模型的整体综合性能进行区分。在DS3和DS4上，模型都是在第16周之前发生较大幅度的震动并逐渐收敛，但相互之间的性能并不容易直接区分。在DS1和DS2上，除了几个模型出现较大幅度的预测偏差外，其余模型的预测性能也同样难以区分。
综上对模型的拟合与预测性能的直观观察，并不能直接得出模型性能之间的优劣。因此，为了有效区分模型的性能，需要采用更为量化的方法进行度量。
3.3实验数据处理与结果分析
3.3.1模型拟合与预测性能数据预处理
为了得到标准化矩阵和便于后续计算的模型的排序，需要对表2中的原始拟合标准数值进行归一化处理，形成[0,1]区间内的数值。按照本发明第2节中的数据处理方法进行转换，得到如表3所示的[0,1]区间内的标准化数值。
表3模型在4个数据集上拟合评价标准数值--转换为[0,1]之间的单元数值
至此，已经得到了模型基于拟合标准数值进行处理，得到的在[0,1]区间内以正向增长为优的数值。可以看出，8个模型在每个拟合指标上的数值大小已较为清晰，但依然难以直接判断模型间的性能优劣。
如前所述，模型的预测性能通过RE曲线进行展现，本发明以x轴作为RE曲线的回归线，对其拟合程度做MSE,MEOP,Variation,RMS-PE,BMMR,TS,R-square7个维度的评估，其中原函数拟合权重与RE曲线拟合权重相同。RE曲线越趋近于x轴，表明预测性能越好。基于此数据，同样将其转化为[0,1]区间内以正向增长为优的数值，如表4所示。
表4模型RE曲线性能量化值
/>
综上，经过上述数据预处理过程，本发明得到了模型在拟合与预测两个方面的标准归一化性能数值。
3.3.2实验结果与分析
1.权重设置
目前对可靠性模型的评测主要从拟合与预测两个方面进行，二者的重要性基本相同，因此，这里将拟合与预测权重均设置为0.5。在拟合标准上，相比于MEOP，TS，RMS-PE和BMMRE这几个标准，MSE,R-Square和Variation三个标准更被广泛地用来衡量模型的拟合性能，为此，这里将后三者权重设定为前四者的两倍，以示区别。RE预测指标权重设置与拟合权重相同。
ωMSEωMEOPωVariationωRMS-PEωBMMREωTSωR-square＝(0.2，0.1，0.2，0.1，0.1，0.1，0.2)
表5拟合与预测权重设置
2.带权重的最优节点距离与最差节点距离对比
表6中给出了不同数据下模型距离最优节点远近和距离最差节点远近所进行的两种排序，前者的排序是按照距离越近性能越好，后者的排序是按照距离越远性能越好。
表6模型在4个数据集上拟合评价标准数值
从表6可以看出，会出现距离最优结点最近的模型，其距离最差节点却并非最远，因此，单纯通过简单的模型优劣计算方法来评判模型性能会导致较大的偏差。
3.模型性能比较及权重的敏感性分析
接下里，采用本发明提出的双最优化排序方法MMIMMD计算模型的排序，同时为了进行对比，本发明也实现了基于简单加权法与基于欧几里得(Euclidean)距离的模型性能排序。其中，简单加权法是依据加权平均值的大小进行排序；欧几里得距离方法则是计算各个模型与理想解之间的最短距离来排序，理想解即为由每个标准上的最优值所构成的一个虚拟解。表7给出了三种方法下的排序结果。
表7三种决策方法比较
为了观察不同拟合标准权重对模型性能排序的影响，本发明取消了表7中7个拟合标准的权重数值，得到表8所示的结果。
表8
从表8可以看出，权重的设置会对模型的预测性能产生影响(例如M-4模型在DS1上和M-8模型在DS2上，当无权重设置时双最优距离评估较好，有权重设置时双最优距离评估较差)，但这并不是决定模型预测性能的最关键因素，因此这也证明了当前文献中多采用此标准的合理性。
4、小结
(1)由于对测试过程抽象上的差异，不同模型的建模具有很大不同，使得模型的性能表现出较大差异，这为模型间综合性能的度量与决策带来根本上的区分；
(2)权重的设置会对模型的整体性能产生影响，但这并不是决定模型预测性能的最关键因素；
(3)由于多维空间的复杂特性，普通的评测方法无法完整地评估一个计算模型的拟合程度，而本发明提出的双最优化排序方法MMIMMD可以较好地对模型进行多维度评估。
3.4讨论
1.关于权重设置
这里对拟合与预测在权重上的设置，只是用来区分不同属性的重要性，以便于阐述问题，并不会改变本发明所提出方法的适用性。对于刻画拟合性能的多个指标属性，以及除了RE以外更多的评价预测性能的指标属性，它们在实际应用中的属性权重完全可以根据实际需要采用有关方法进行设置。例如，当认为拟合更加重要时，可利用特征向量法、最小加权法或信息熵等方法来确定具体的拟合指标权重。
2.关于真实工程环境下的决策
在大型复杂软件测试过程中，选择合适的可靠性模型作为指导以用于提高可靠性，仍面临更多的考验。例如，需要明晰整体测试策略，掌握测试过程的消耗情况(涉及到对测试工作量TE变化的观测)，确定故障检测数量的基本走势(以SRGM为例，至少包括指数型和S型两大类模型)，据此再进行分类选择，这均会加重模型选择的难度。本发明对此进行了初步探索，后续更多更为具体和深入的研究亟需加强。
3.关于计算复杂性
能够建模趋近真实测试过程的可靠性模型会包含大量的参数，通常具有较为复杂的表达式结构，例如可能是带有指数、积分或者多重求和的非线性结构。同时，观测模型更多的性能指标也会引发巨大的计算量，甚至超出人工能力范畴。针对以上情况，需要借助具备复杂模型分析与数理处理的数值软件来完成，软件通常会进行近似计算处理，而这将成为一种普遍的现象。
4、结果
针对当前可靠性模型数量多以及难以实施有效决策的问题，本发明提出了具体的SRGMs选择方法，依据模型在拟合与预测两个方面的性能，建立基于明考斯基距离的双最优化排序模型，定量化地对模型性能进行标准归一化处理，建立模型间的偏序关系，从而实施有效决策。通过在公开发表的真实的失效数据集上进行实验和分析，检验所提出方法的有效性，为定量决策模型提供了有力支持。
模型性能评价可以归属到多属性决策问题的范畴，对于偏好上的差异将直接影响到决策结果。因此，通常要设定一系列的决策条件并考虑模型的使用场景，选择合适的方法进行决策。后续研究中，要区分测试环境与运行环境的差异性，依据用户的输入条件，充分利用模型性能的多类描述信息进行决策，采用不确定多属性决策方法(特别是随机多属性、模糊多属性和粗糙多属性等方法)进行决策，不断丰富研究内容。
证明部分(具体实施例/实验/仿真/能够证明本发明创造性的正面实验数据等)
所提出的方法在4个来自于真实的工程案例发布的失效数据集上进行了实验，将多个可靠性模型进行了性能评价与排序，验证了本发明的应用，取得了较好的效果。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种不完美排错SRGM决策方法，其特征在于，所述不完美排错SRGM决策方法包括：
对实际测试过程与SRGM的研究本质一致性进行分析，建立分类视角下的SRGM归类集合；
从矩阵分析的角度形式化描述SRGM评价与选择问题，获得加权标准化决策矩阵；
基于模型评价的指标，提出考虑成本受限下基于距离的可靠性模型最优化模型，建立基于明考斯基距离的双最优化排序方法，对模型的性能进行综合评价，给出SRGMs间的性能偏序关系；
在四个实际计算机应用系统测试过程中记录与公开发表的失效数据集上进行实验，验证和阐释模型性能之间的排序，并进行参数敏感性分析，为模型决策提供定量化的参考；
所述双最优化排序方法，用来度量不同模型间的差异，如下式所示：
其中，D(Nm,Nn)表示Nm和Nn两个节点间的k重度量距离；Np和Nq分别表示正向最优节点和负向最差节点，分别由评测标准中最优值和最差值的k维数据构成，即Np＝(x1p,x2p,...,xkp)，Nq＝(x1q,x2q,...,xkq)，其中xip＝max{xij|1≤j≤k},1≤i≤K,xiq＝min{xij|1≤j≤k},1≤i≤K；D(Ni,Np)越小则表示节点Ni距离正向最优节点Np越近，评测模型性能的指标趋向较好；D(Ni,Nq)越大则表示节点Ni距离负向最差节点Np越远，评测模型性能的指标趋向较差；
所述D(Ni,Np)和D(Ni,Nq)均采用明考斯基距离公式计算：
其中，C(t)、D(Ni,Np)和D(Ni,Nq)均包含t时刻累积检测的故障数量表达式m(t)，m(t)是可靠性模型研究的关键；
所述不完美排错SRGM决策方法在应用中，首先要遴选所作假设与工程测试实际较为接近的模型作为初步预选的n个SRGMs来构成预选集合，在现有的部分数据集上进行n个模型的拟合与预测，获得基础评测数据，进而基于MMIMMD进行模型的排序，并最终进行选择。
2.如权利要求1所述的不完美排错SRGM决策方法，其特征在于，所述SRGM评价问题形式化描述，包括：设有K个SRGM模型，构成一个集合M,M＝{Mi|1≤i≤K}＝{M1,M2,...,MK}，其中每个模型Mi由拟合与预测两大类指标构成；
定义：评测指标：模型Mi有N个拟合指标Fi＝{fij|1≤j≤N},1≤i≤K，L个预测指标Qi＝{qik|1≤k≤L},1≤i≤K，这些评测指标由K个模型在指定失效数据集上进行参数拟合后进行计算得到；
K个SRGM模型的拟合标准值和预测标准值构成的评测决策矩阵D如下：
其中，D是包含N+L个属性、K个方案的决策矩阵，且需要对决策矩阵D中的元素进行标准化处理。
3.如权利要求2所述的不完美排错SRGM决策方法，其特征在于，所述对决策矩阵D中的元素进行标准化处理，包括：
(1)评测标准
对于数值越大拟合性能越好的标准，以及数值越小拟合标准性能越好的标准，将所述标准值变换为[0,1]区间内正向增长的无量纲数值，即：
(2)标准化矩阵
对无量纲数值表达式得到的评测数据进行标准化处理：
至此，得到标准化矩阵R：
其中，N+L个属性的权重向量ω＝(ω1,ω2,…,ωN,ωN+1,…,ωN+L)，将标准化矩阵R的每列与其对应的权重相乘，可得到加权标准化决策矩阵V：
定义：结果集决策结果以排序的形式给出，形成集合/>其中/>表明模型/>优于/>
4.如权利要求1所述的不完美排错SRGM决策方法，其特征在于，考虑双最优距离的SRGM决策，包括：SDSM是SRGM决策支持模型，用以对不同的可靠性模型进行决策，同时基于加权标准化决策矩阵表达式的描述，可将K个模型抽象为K个节点：N1,N2,...,NK；为了评测K个模型的性能差异，SDSM采用基于距离的决策方法；
其中，N0节点表示理想解节点，由于其是基于某种标准构造的用于衡量K个节点性能的节点，因此这里被标记为虚拟节点N0；
采用如下所述明考斯基距离MD函数用以度量不同模型间的差异：
其中，i＝(xi1,xi2,…,xip)和j＝(xj1,xj2,…,xjp)是两个p维的数据对象，k是一个正整数表示k重度量距离。
5.如权利要求4所述的不完美排错SRGM决策方法，其特征在于，所述MD满足如下基本性质：
d(i,j)≥0,d(i,i)＝0，d(i,j)＝d(j,i),d(i,j)≤d(i,k)+d(k,j)，这使得MD用来度量不同节点间的差异，还得到：
(1)当k＝1时，d称为曼哈坦距离：d1(i,j)＝(|xi1-xj1|+|xi2-xj2|+...+|xip-xjp|)；
(2)当k＝2时，d称为欧几里德距：
其中，考虑N+L个评测属性，令k＝N+L，表示N+L维的距离度量。
6.一种实施权利要求1～5任意一项所述不完美排错SRGM决策方法的不完美排错SRGM决策系统，其特征在于，所述不完美排错SRGM决策想包括：
归类集合模块，用于对实际测试过程与SRGM的研究本质一致性进行分析，建立分类视角下的SRGM归类集合；
加权标准化决策矩阵获取模块，用于从矩阵分析的角度形式化描述SRGM评价与选择问题，获得加权标准化决策矩阵；
性能偏序关系得出模块，用于基于模型评价的指标，提出考虑成本受限下基于距离的可靠性模型最优化模型，建立基于明考斯基距离的双最优化排序方法，对模型的性能进行综合评价，给出SRGMs间的性能偏序关系；
参数敏感性分析模块，用于在四个实际计算机应用系统测试过程中记录与公开发表的失效数据集上进行实验，验证和阐释模型性能之间的排序，并进行参数敏感性分析，为模型决策提供定量化的参考。
7.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～5任意一项所述不完美排错SRGM决策方法。
8.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1～5任意一项所述不完美排错SRGM决策方法。
9.一种软件测试终端，其特征在于，所述软件测试终端用于实现权利要求1～5任意一项所述的不完美排错SRGM决策方法。
CN202110090910.3A 2021-01-22 2021-01-22 不完美排错srgm决策方法、系统、介质、设备及应用 Active CN112817842B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110090910.3A CN112817842B (zh) 2021-01-22 2021-01-22 不完美排错srgm决策方法、系统、介质、设备及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110090910.3A CN112817842B (zh) 2021-01-22 2021-01-22 不完美排错srgm决策方法、系统、介质、设备及应用

Publications (2)

Publication Number Publication Date
CN112817842A CN112817842A (zh) 2021-05-18
CN112817842B true CN112817842B (zh) 2023-09-15

Family

ID=75858964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110090910.3A Active CN112817842B (zh) 2021-01-22 2021-01-22 不完美排错srgm决策方法、系统、介质、设备及应用

Country Status (1)

Country Link
CN (1) CN112817842B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113515456B (zh) * 2021-07-19 2022-09-06 广州银汉科技有限公司 基于IDE的服务器lua调试系统
CN115203059B (zh) * 2022-09-09 2022-12-09 中国西安卫星测控中心 一种航天测控软件可靠性的评估方法和评估系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160011776A (ko) * 2014-07-22 2016-02-02 성균관대학교산학협력단 다중 의사 결정 문제 해결을 위한 계층적 분석 기법, 회색수 및 엔트로피 기반의 해법 연산 방법
CN111538655A (zh) * 2020-04-09 2020-08-14 哈尔滨工业大学（威海） 软件故障检测方法、系统、存储介质、计算机程序、终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10814448B2 (en) * 2018-08-28 2020-10-27 Dalian University Of Technology Comprehensive performance evaluation method for CNC machine tools based on improved pull-off grade method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160011776A (ko) * 2014-07-22 2016-02-02 성균관대학교산학협력단 다중 의사 결정 문제 해결을 위한 계층적 분석 기법, 회색수 및 엔트로피 기반의 해법 연산 방법
CN111538655A (zh) * 2020-04-09 2020-08-14 哈尔滨工业大学（威海） 软件故障检测方法、系统、存储介质、计算机程序、终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SRGM下失效数据集效用与验证分析;张策;伊文敏;白睿;盛晟;徐早辉;高天翼;王瞰宇;苏嘉尧;;计算机工程与科学(第06期);全文 *
可靠性模型中故障检测率研究述评;张策;刘宏伟;白睿;王瞰宇;王金勇;吕为工;孟凡超;;软件学报(第09期);全文 *

Also Published As

Publication number Publication date
CN112817842A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN104392390B (zh) 一种基于topsis模型的智能变电站二次设备评估方法
CN112817842B (zh) 不完美排错srgm决策方法、系统、介质、设备及应用
TW541448B (en) Rotating equipment diagnostic system and adaptive controller
KR20200092447A (ko) 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템 및 방법
CN107168995B (zh) 一种数据处理方法及服务器
US20230033680A1 (en) Communication Network Performance and Fault Analysis Using Learning Models with Model Interpretation
Adams et al. Explainable concept drift in process mining
CN105975797A (zh) 一种基于模糊数据处理的产品早期故障根原因识别方法
CN114331238B (zh) 智能模型算法优选方法、系统、存储介质及计算机设备
CN114139589A (zh) 故障诊断方法、装置、设备与计算机可读存储介质
Gonçalves et al. Characterizing scholar popularity: a case study in the computer science research community
CN115129019A (zh) 生产线故障分析模型的训练方法及生产线故障分析方法
CN115757103A (zh) 基于树结构的神经网络测试用例生成方法
CN114519519A (zh) 基于gbdt算法与逻辑回归模型的企业违约风险评估方法设备及介质
CN114358569A (zh) 基于多级模型融合的企业核心竞争力评估方法及存储介质
CN111652403A (zh) 一种基于反馈修正的工作平台任务工作量预测方法
CN113742248A (zh) 一种基于项目测量数据进行组织过程预测的方法及系统
CN111507534A (zh) 基于学生学习数据的知识点掌握情况的预测分析算法
CN111553581A (zh) 一种基于熵值的装备维修性评价模型
CN111242425A (zh) 电力数据处理方法和装置
WO2020230324A1 (ja) 学習装置、学習方法および学習プログラム
CN115184055A (zh) 一种分级测试性优化的测试集确定方法及系统
CN113033845B (zh) 一种电力传输资源共建共享的建设方法及装置
CN115409317A (zh) 基于特征选择和机器学习的台区线损检测方法及装置
CN113642029A (zh) 一种度量数据样本与模型决策边界相关性的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant