CN111679960B - 一种可靠性、弹性、脆性的系统状态评估方法 - Google Patents

Abstract

本发明公开了一种可靠性、弹性、脆性的系统状态评估方法，包括如下具体地步骤：步骤1：定义可靠性、弹性、脆性的系统状态评价指标；步骤2：生成测试用例并进行系统测试，保存所有测试用例和测试数据；步骤3：对所有测试用例和测试数据进行数据处理；步骤4：获取系统在所有影响因素组合的作用下的系统状态评估。本发明适用于对系统在不同影响因素的作用下的性能状态和系统运行时下一阶段可能出现的问题进行预测，可以帮助系统设计和维护人员发现对于系统安全的起决定作用的薄弱环节、安全阈值以及外界干扰因素，以便及时对系统可能出现的问题进行提前预防和维护，提出应对措施，减少系统因故障而不能工作的经济损失，具有较高的实际应用价值。

Description

一种可靠性、弹性、脆性的系统状态评估方法

技术领域

本发明涉及软件测试、故障预测技术领域，更具体的说是涉及一种可靠性、弹性、脆性的系统状态评估方法。

背景技术

传统的系统状态划分一般将系统分为正常和故障两种状态，人们通常将系统能在一定时间内、在一定条件下无故障地执行指定功能的能力称为可靠性。但是对于复杂的系统来说，系统状态可能不止两种，由于系统结构功能的复杂性和系统自身的容错性，在系统受到外界干扰或内部单元故障时，并不会导致系统的完全宕机，而是会出现性能降级但仍持续运行的状态。同时，系统的恢复过程也不是瞬间完成的，往往需要一段时间才能恢复到原状态，为了表示系统在出现故障降级运行后又逐渐恢复的过程，人们引入系统弹性这一性能状态评价指标，系统弹性这一概念最早实是在生态系统中提出的，后在水资源系统、交通网络、电力和基础设施系统中均有应用。但是，并不是所有系统都能从性能降级中恢复或在指定的时间内恢复，系统可能对某些影响因素极为敏感，一些小的扰动就可能导致系统崩溃甚至灾难性后果，因此人们引入系统脆性这一性能状态评价指标，用来评价系统故障后无法正常恢复的状态。系统在运行过程中可能会受内部或外部影响因素的干扰，使系统的性能状态发生改变，可靠性、弹性和脆性等指标被用于评估系统性能状态，然而现有方法通常只对可靠性弹性和脆性三者之一或者是分别进行分析评估，没有对可靠性弹性脆性状态进行综合评估的。将系统受干扰后满足工作要求的状态定义为可靠状态，将系统受干扰后不满足工作要求但可恢复到满足工作要求的状态定义为弹性状态，将系统受干扰后不满足工作要求且不可恢复到满足工作要求的状态定义为脆性状态，同时地进行可靠性、弹性和脆性的综合分析和评估。

若想实现对系统状态的准确掌控，有必要同时进行系统的可靠性弹性脆性的综合评估，而评估所需的数据则可以通过测试获取。现有的系统状态测试评估方法主要包括随机测试、利用启发式算法的测试、性能测试与评估、系统关键组件评估、故障注入等。近年来基于启发式算法的测试越来越多的被应用于软件测试中，启发式算法包括遗传算法、蚁群算法、模拟退火、粒子群优化算法等，这种方法不仅可以自动快速的生成测试用例，还可以优化测试用例的覆盖率，使得测试结果能更准确地反映系统状态。但由于启发式算法普遍存在的容易陷入局部最优的问题，可能导致测试结果无法完全的覆盖状态空间。

因此，如何提供一种全面评价系统性能，提高系统分析与评价效率的可靠性、弹性、脆性的系统状态评估方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种可靠性、弹性、脆性的系统状态评估方法，适用于对系统在不同影响因素的作用下的性能状态和系统运行时下一阶段可能出现的问题进行预测，可以帮助系统设计和维护人员发现对于系统安全的起决定作用的薄弱环节、安全阈值以及外界干扰因素，以便及时对系统可能出现的问题进行提前预防和维护，提出应对措施，减少系统因故障而不能工作的经济损失，具有较高的实际应用价值。

为了实现上述目的，本发明提供如下技术方案：

一种可靠性、弹性、脆性的系统状态评估方法，包括如下具体地步骤：

步骤1：根据系统定义可靠性、弹性、脆性的系统状态评价指标；

步骤2：生成测试用例并进行系统测试，保存所有测试用例和测试数据；

步骤3：对所有测试用例和测试数据进行数据处理；

步骤4：获取系统在所有影响因素组合的作用下的系统状态评估。

优选的，在上述的一种可靠性、弹性、脆性的系统状态评估方法中，所述步骤1中，具体步骤包括：

步骤11：获取影响系统状态的影响因素和所述影响因素的取值范围；

进一步，根据人为经验获取能够影响系统状态的m个因素{P₁,P₂,…,P_m}，这些因素可以是系统内部自身影响因素，也可以是外界干扰因素；根据系统实际运行环境和系统自身确定这些因素各自的取值范围：P₁∈[p_1min，p_1max]，P₂∈[p_2min，p_2max]，…，P_m∈[p_mmin，p_mmax]。

步骤12：获取反映系统状态的性能参数和系统正常工作阈值；

获取系统性能参数F，假设当F＝F₀时，系统处于最佳工作状态，系统受到干扰或影响时，性能参数产生波动，φ是系统正常工作所能承受的最大波动，那么F₀±φ即为系统正常工作阈值，当系统性能参数F∈[F₀-φ，F₀+φ]时，认为系统满足工作要求或正常工作，当系统性能参数

时，认为系统不满足工作要求。

步骤13：根据系统能够承受的最长恢复时间，定义系统的可靠性、弹性和脆性的系统状态评价指标；

假设影响因素对系统作用开始的时刻为t_s，作用结束的时刻为t_d，该结束时刻对应的系统性能参数F＝F_d，根据系统的实际情况确定系统所能承受的最大恢复时间t，t_r为从t_d开始经过规定的t时刻后所处的时刻，该时刻的系统性能参数F＝F_r；如果F_d∈[F₀-φ，F₀+φ]，则认为系统在该影响因素组合条件{P₁,P₂,…,P_m}下是可靠的；如果

且F_r∈[F₀-φ，F₀+φ]，则认为系统在该影响因素组合条件{P₁,P₂,…,P_m}下是弹性的；如果

且

则认为系统在该影响因素组合条件{P₁,P₂,…,P_m}下是脆性的。

优选的，在上述的一种可靠性、弹性、脆性的系统状态评估方法中，所述步骤2中，具体步骤包括：

步骤21：利用小生境粒子群优化算法为系统生成多种影响因素组合的测试用例，根据系统特点确定适应度函数，优化生成的测试用例；

进一步，根据系统特征及优化方向确定适应度函数，再根据步骤1确定的影响因素个数和影响因素范围确定算法中的相关参数——粒子维度和粒子运动范围；其中影响因素的个数m对应粒子的维度，影响因素的取值范围[p_min，p_max]对应粒子位置的取值范围，其它一些算法参数如粒子个数、粒子速度范围和最大迭代次数等则需要根据具体系统的情况确定取值；

初始化粒子群，根据粒子的位置生成测试用例，每一个粒子都可以视为一组测试用例，测试用例即为包含所有影响因素的一个序列C{P₁,P₂,…,P_m}；

根据后续系统测试结果计算适应度，更新粒子位置和速度，生成新测试用例。

步骤22：将测试用例输入到系统中，进行系统测试，获取系统实时性能参数；

进一步，针对仿真系统和实物系统，测试用例的施加方式和输出的获取方式是不同的；对于模拟仿真系统，可以通过加载配置文件、编写自动化脚本和利用输入端口等方式将测试用例输入到模拟仿真系统中，从输出端口获取系统的实时性能参数。对于实物系统，可以通过环境模拟试验和信号加载等方式将测试用例施加到实物系统中，通过传感器等设备获取系统的实时性能参数。

步骤23：将系统测试过程中的系统性能参数记录下来，根据性能参数计算适应度函数，小生境粒子群优化算法根据适应度函数迭代下一组测试用例，重复步骤21-23，直到满足设定的迭代次数或最优位置与规定最优位置的差值在规定范围内。

进一步，将系统关键性能参数代入适应度计算公式中，计算出每组测试用例的适应度，小生境粒子群优化算法根据适应度生成新的测试用例，最终生成N个测试用例，C₁{P₁,P₂,…,P_m}，C₂{P₁,P₂,…,P_m}，…,C_N{P₁,P₂,…,P_m}。

优选的，在上述的一种可靠性、弹性、脆性的系统状态评估方法中，所述步骤3中，具体步骤包括：

步骤31：去除重复的测试用例及测试数据，根据系统性能参数将系统所处的状态进行分类，分为可靠性、弹性、脆性三类，将对应的影响因素组合打上标签；

进一步，去除重复的测试用例及测试数据具体指：如果两测试用例C₁{P₁,P₂,…,P_m}、C₂{P₁,P₂,…,P_m}中的P₁,P₂,…,P_m取值都对应相等，且他们的测试结果F_d与F_r也都对应相等，那么可以只保留其中一组测试用例及测试结果。经过去除重复操作后剩下的n(N≥n)个测试用例为C₁{P₁,P₂,…,P_m}，C₂{P₁,P₂,…,P_m}，…,C_n{P₁,P₂,…,P_m}。

进一步，判断每组测试用例C{P₁,P₂,…,P_m}作用于系统后，系统的关键性能参数F_d和F_r是否在[F₀-φ，F₀+φ]范围内，如果F_d∈[F₀-φ，F₀+φ]，则认为系统在该影响因素组合条件下是可靠的；如果

且F_r∈[F₀-φ，F₀+φ]，则认为系统在该影响因素组合条件下是弹性的；如果

且

则认为系统在该影响因素组合条件下是脆性的。根据分类结果将对应的影响因素组合打上对应标签。

步骤32：将去除重复后的测试用例进行标准化处理，使各影响因素的取值均分布在[0，1]区间内。

进一步，将去除重复后的影响因素组合C₁{P₁,P₂,…,P_m}，C₂{P₁,P₂,…,P_m}，…,C_n{P₁,P₂,…,P_m}进行标准化处理，标准化处理公式为：

其中P_n表示经过标准化处理后的影响因素值，P表示当前影响因素的取值，P_min表示该影响因素取值范围的最小值，P_max表示该影响因素取值范围的最大值。

得到处理后得影响因素组合：C₁{P_n1,P_n2,…,P_nm}，C₂{P_n1,P_n2,…,P_nm}，…,C_n{P_n1,P_n2,…,P_nm}。

优选的，在上述的一种可靠性、弹性、脆性的系统状态评估方法中，所述步骤4中，具体步骤包括：

步骤41：搭建神经网络，将处理后的影响因素组合数据分为训练集和测试集输入神经网络，不断调整网络超参数，得到训练好的神经网络；

搭建神经网络，构建模型；设置训练集与测试集比例，开始训练；评估模型准确率，不断调整网络超参数，得到训练好的神经网络。

步骤42：将测试用例没有覆盖到的影响因素组合数据标准化处理后输入到神经网络，得到不同影响因素组合情况下系统所处状态的预测；

进一步，根据各影响因素的取值范围，生成所有可能取值的影响因素组合，从中减去根据小生境粒子群优化算法生成的影响因素组合(测试用例)，即得到测试用例没有覆盖到的影响因素组合数据C_n+1{P₁,P₂,…,P_m}，C_n+2{P₁,P₂,…,P_m}，…,C_k{P₁,P₂,…,P_m}。

将测试用例没有覆盖到的影响因素组合输入训练好的神经网络中，得到预测的该影响因素组合条件下，系统的状态是可靠性的、弹性的还是脆性的。

结合系统测试和神经网络预测的状态结果，即可完全覆盖状态空间。

步骤43：根据可靠性、弹性和脆性状态数据占整个状态空间的比例，计算出系统在指定影响因素范围内的可靠性、弹性和脆性值。

进一步，通过基于启发式算法的测试与基于深度学习的预测获取到完全覆盖状态空间的系统状态数据，这些数据将系统在影响因素的作用下状态分为可靠性、弹性和脆性状态，根据各个状态占整个状态空间的比例，即可计算出系统在指定影响因素范围内的可靠性、弹性和脆性值，三者之和为1，可靠性、弹性和脆性值计算公式如下：

其中，R,E,V分别代表可靠性、弹性和脆性值，N_r，N_e，N_v分别代表整个状态空间中可靠性、弹性和脆性状态的个数，N代表整个状态空间中所有状态的个数。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种可靠性、弹性、脆性的系统状态评估方法，完成对智能化的可靠性弹性脆性综合分析方法的构建，将经过小生境粒子群优化算法生成的影响因素组合及其作用于系统的结果作为训练与测试数据输入到神经网络中，再利用训练好的神经网络预测出没有经过测试的影响因素组合作用于系统，系统可能出现的状态，即可完成对所有组影响因素组合系统的可靠性、弹性和脆性状态的评估。本发明适用于对系统在不同影响因素的作用下的性能状态和系统运行时下一阶段可能出现的问题进行预测，可以帮助系统设计和维护人员发现对于系统安全的起决定作用的薄弱环节、安全阈值以及外界干扰因素，以便及时对系统可能出现的问题进行提前预防和维护，提出应对措施，减少系统因故障而不能工作的经济损失，具有较高的实际应用价值。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明的流程图；

图2附图为本发明的系统可靠状态下示意图；

图3附图为本发明的系统弹性状态下示意图；

图4附图为本发明的系统脆性状态下示意图；

图5附图为本发明的小生境粒子群优化算法整个迭代和系统测试过程流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种可靠性、弹性、脆性的系统状态评估方法，适用于对系统在不同影响因素的作用下的性能状态和系统运行时下一阶段可能出现的问题进行预测，可以帮助系统设计和维护人员发现对于系统安全的起决定作用的薄弱环节、安全阈值以及外界干扰因素，以便及时对系统可能出现的问题进行提前预防和维护，提出应对措施，减少系统因故障而不能工作的经济损失，具有较高的实际应用价值。

如图1所示，一种可靠性、弹性、脆性的系统状态评估方法，包括如下具体地步骤：

步骤1：根据系统定义系统的可靠性、弹性、脆性的系统状态评价指标；

步骤2：生成测试用例并进行系统测试，保存所有测试用例和测试数据；

步骤3：对所有测试用例和测试数据进行数据处理；

步骤4：获取系统在所有影响因素组合的作用下的系统状态评估。

在本发明图1所示的实施例中，步骤1中，具体步骤包括：

步骤11：获取影响系统状态的影响因素和所述影响因素的取值范围；

这里的影响因素是指能对系统状态产生影响的因素，包括系统内部因素和外界干扰因素，其中内部因素包括硬件故障、软件故障和结构异常等，外部因素包括环境因素、运行模式和外部攻击等，影响因素可以是一种影响因素或多种影响因素的组合，最终确定出能够影响系统状态的m(m≥1)个因素{P₁,P₂,…,P_m}，根据系统实际情况，确定各个影响因素的取值范围：P₁∈[p_1min，p_1max]，P₂∈[p_2min，p_2max]，…，P_m∈[p_mmin，p_mmax]。

步骤12：获取反映系统状态的性能参数和系统正常工作阈值；

根据经验或实验观察确定系统性能参数F，该参数需要能够反应系统当前状态是否满足要求，可以是一个或多个，假设当前系统有一个性能参数F，当F＝F₀时，系统处于最佳工作状态，当系统受到影响因素的干扰或影响时，性能参数产生波动，φ是系统正常工作所能承受的最大波动，那么F₀±φ即为系统正常工作阈值，当系统性能参数F∈[F₀-φ，F₀+φ]时，认为系统满足工作要求或正常工作，当系统性能参数

时，认为系统不满足工作要求。

步骤13：根据系统能够承受的最长恢复时间，定义系统的可靠性、弹性和脆性的系统状态评价指标；

系统受到影响因素(外界因素或者自身内部因素){P₁,P₂,…,P_m}的干扰，系统性能参数F可能会发生改变，对应的系统状态可能会从正常工作状态变为非正常工作状态，此时系统需要在一定时间范围内恢复到正常的工作状态，否则将影响系统的持续效能，这个时间就是系统能够承受的最长恢复时间t，可以根据系统的特点、平均故障时间和具体工作需求确定这一时间。

假设影响因素对系统作用开始的时刻为t_s，作用结束的时刻为t_d，该结束时刻对应的系统性能参数F＝F_d，根据系统的实际情况确定系统所能承受的最大恢复时间t，t_r为从t_d开始经过规定的t时刻后所处的时刻，该时刻的系统性能参数F＝F_r。

如图2所示，如果F_d∈[F₀-φ，F₀+φ]，则认为系统在该影响因素组合条件{P₁,P₂,…,P_m}下始终满足工作要求，系统是可靠的；如图3所示，如果

且F_r∈[F₀-φ，F₀+φ]，则认为系统在该影响因素组合条件{P₁,P₂,…,P_m}作用下不满足工作要求，但在最大恢复时间t内可以恢复到正常工作状态，系统是弹性的；如图4所示，如果

且

则认为系统在该影响因素组合条件{P₁,P₂,…,P_m}作用下不满足工作要求且不可恢复，系统是脆性的。图2-4中，“t_s”即影响因素作用于系统初始时刻；“t_d”即影响因素作用于系统结束时刻；“t”即系统能够承受的最长恢复时间；“t_r”即系统最长恢复时间结束的时刻；“F₀”即系统最佳状态性能参数值；“F₀-φ”和“F₀+φ”即系统正常工作阈值；“F_d”即影响因素作用于系统结束时刻系统的性能参数值；“F_r”即系统最长恢复时间结束的时刻系统的性能参数值。

在本发明图1所示的实施例中，步骤2中，具体步骤包括：

步骤21：利用小生境粒子群优化算法为系统生成多种影响因素组合的测试用例，根据系统特点确定适应度函数，优化生成的测试用例；

具体步骤包括：其做法如下：

S211：根据系统特征及优化方向确定适应度函数，在一种实施方案中，将适应度函数分别确定为：f₁＝(F_d-F₀)²-φ²和f₂＝(F_r-F₀)²-φ²，分别代表影响因素对系统作用结束时系统性能距离系统正常工作阈值最近的测试用例和到达最大恢复时间时系统性能距离系统正常工作阈值最近的测试用例，这样可以确定正常工作阈值边界附近的系统状态，提高算法生成的测试用例的覆盖率。

S212：再根据步骤一获取的影响因素个数和影响因素范围确定算法中的相关参数——粒子维度和粒子运动范围；其中影响因素的个数m对应粒子的维度，影响因素的取值范围[p_min，p_max]对应粒子位置的取值范围，其它一些算法参数如粒子个数、粒子速度范围和最大迭代次数等则需要根据具体系统的情况确定取值；

S213：初始化粒子群，根据粒子的位置生成测试用例，每一个粒子都可以视为一组测试用例，测试用例即为包含所有影响因素的一个序列C{P₁,P₂,…,P_m}；

S214：根据后续系统测试结果计算适应度，更新粒子位置和速度，生成新测试用例。

步骤22：将测试用例输入到系统中，进行系统测试，获取系统实时性能参数；

针对仿真系统和实物系统，测试用例的施加方式和输出的获取方式是不同的；对于模拟仿真系统或软件系统，可以通过修改配置文件、编写自动化脚本或从输入端口输入影响变量值等方式将影响因素组合引入到模拟仿真系统中，进行系统测试，从输出端口输出实时性能参数。对于实物系统，可以通过环境模拟试验和信号加载等方式将测试用例施加到实物系统中，开展系统测试，通过传感器等设备获取系统的实时性能参数。在一种实施方案中，采用飞行仿真软件JSBSim和FlightGear进行联合仿真，模拟飞机在巡航过程中，风向和风速这两个影响因素对飞机巡航高度的影响，这里确定的影响因素为风向和风速，确定的系统性能参数为飞机巡航高度，通过编写自动测试脚本，将改进后的粒子群优化算法生成的风向和风速组合测试用例输入到飞行动力学模型JSBSim中进行测试，利用可视化飞行仿真软件FlightGear实时显示测试过程，通过UDP网络协议获取系统测试的中的飞机实时高度信息，同时将所有测试数据保存到CSV文件中。

步骤23：将系统测试过程中的系统性能参数记录下来，根据性能参数计算适应度函数，小生境粒子群优化算法根据适应度函数迭代下一组测试用例，重复步骤21-23，直到满足设定的迭代次数或最优位置与规定最优位置的差值在规定范围内。

系统关键性能参数，是F_d和F_r，即记录每组不同取值的影响因素组合C{P₁,P₂,…,P_m}作用于系统后，系统在t_d时刻的性能参数F_d，在t_r时刻的性能参数F_r。

然后将系统关键性能参数代入适应度计算公式中，计算出每种影响因素组合的测试用例的适应度，再回到小生境粒子群优化算法中，更新粒子历史最优值和局部最优值，从而更新每个粒子的位置和速度，生成新的测试用例，将新测试用例进行输入系统进行测试，计算适应度，再利用小生境粒子群优化算法更新迭代出新的测试用例，直到迭代次数满足步骤三中确定的最大迭代次数或最优位置与规定最优位置的差值在规定范围内，即可终止生成测试用例和系统测试，从步骤21到步骤23小生境粒子群优化算法整个迭代和系统测试过程如图5所示。最终利用小生境粒子群优化算法生成N个测试用例，C₁{P₁,P₂,…,P_m}，C₂{P₁,P₂,…,P_m}，…,C_N{P₁,P₂,…,P_m}。

在本发明图1所示的实施例中，步骤3中，具体步骤包括：

步骤31：去除重复的测试用例及测试数据，根据系统性能参数将系统所处的状态进行分类，分为可靠性、弹性、脆性三类，将对应的影响因素组合打上标签；

重复的测试用例及测试结果，是指如果两测试用例C₁{P₁,P₂,…,P_m}、C₂{P₁,P₂,…,P_m}中的P₁,P₂,…,P_m取值都对应相等，且他们的测试结果F_d与F_r也都对应相等，那么可以只保留其中一组影响因素组合及测试结果。经过去除重复操作后n(N≥n)个测试用例为C₁{P₁,P₂,…,P_m}，C₂{P₁,P₂,…,P_m}，…,C_n{P₁,P₂,…,P_m}。

判断每组测试用例C{P₁,P₂,…,P_m}作用于系统后，系统的关键性能参数F_d和F_r是否在[F₀-φ，F₀+φ]范围内，如果F_d∈[F₀-φ，F₀+φ]，则认为系统在该影响因素组合条件下是可靠的，对应的影响因素组合C{P₁,P₂,…,P_m}标签可以设为0；如果

且F_r∈[F₀-φ，F₀+φ]，则认为系统在该影响因素组合条件下是弹性的，对应的影响因素组合C{P₁,P₂,…,P_m}标签可以设为1；如果

且

则认为系统在该影响因素组合条件下是脆性的，对应的影响因素组合C{P₁,P₂,…,P_m}标签可以设为2。

步骤32：将去除重复后的测试用例进行标准化处理，使各影响因素的取值均分布在[0，1]区间内；

将去除重复后的影响因素组合C₁{P₁,P₂,…,P_m}，C₂{P₁,P₂,…,P_m}，…,C_n{P₁,P₂,…,P_m}进行标准化处理，标准化处理公式为：

其中P_n表示经过标准化处理后的影响因素值，P表示当前影响因素的取值，P_min表示该影响因素取值范围的最小值，P_max表示该影响因素取值范围的最大值。

得到处理后得影响因素组合：C₁{P_n1,P_n2,…,P_nm}，C₂{P_n1,P_n2,…,P_nm}，…,C_n{P_n1,P_n2,…,P_nm}。

在本发明图1所示的实施例中，步骤4中，具体步骤包括：

步骤41：搭建神经网络，将处理后的影响因素组合数据分为训练集和测试集输入神经网络，不断调整网络超参数，得到训练好的神经网络；

具体步骤如下：

S411：搭建神经网络，构建模型；在一种实施方式中，采用多层感知器网络(MLP)结构，输出层神经元个数为3，使用softmax激活函数；

S412：设置训练集与测试集比例，设置损失函数，开始训练，进行深度学习；

S413：评估模型准确率，不断调整网络超参数，直到模型准确率满足预期要求。

步骤42：将测试用例没有覆盖到的影响因素组合数据标准化处理后输入到神经网络，得到不同影响因素组合情况下系统所处状态的预测；

具体步骤如下：

S421：根据各影响因素的取值范围，生成所有可能取值的影响因素组合，从中减去根据去除重复的影响因素组合(测试用例)，即得到测试用例没有覆盖到的影响因素组合数据C_n+1{P₁,P₂,…,P_m}，C_n+2{P₁,P₂,…,P_m}，…,C_k{P₁,P₂,…,P_m}。

S422：将测试用例没有覆盖到的影响因素组合标准化处理后得到影响因素组合数据C_n+1{P_n1,P_n2,…,P_nm}，C_n+2{P_n1,P_n2,…,P_nm}，…,C_k{P_n1,P_n2,…,P_nm}，输入训练好的神经网络中，得到预测的该影响因素组合条件下系统的状态是可靠性的、弹性的还是脆性的。

S423：结合系统测试和神经网络预测的状态结果，即可得到所有影响因素取值范围内系统所处可靠性、弹性和脆性状态的情况。将系统在影响因素的作用下状态分为可靠性、弹性和脆性状态，根据占系统的可靠性、弹性和脆性状态占整个状态空间的比例，即可计算出系统在指定影响因素范围内的可靠性、弹性和脆性值，三者之和为1。

步骤43：根据可靠性、弹性和脆性状态数据占整个状态空间的比例，计算出系统在指定影响因素范围内的可靠性、弹性和脆性值。

通过基于启发式算法的测试与基于深度学习的预测获取到完全覆盖状态空间的系统状态数据，这些数据将系统在影响因素的作用下状态分为可靠性、弹性和脆性状态，根据各个状态占整个状态空间的比例，即可计算出系统在指定影响因素范围内的可靠性、弹性和脆性值，三者之和为1，可靠性、弹性和脆性值计算公式如下：

其中，R,E,V分别代表可靠性、弹性和脆性值，N_r，N_e，N_v分别代表整个状态空间中可靠性、弹性和脆性状态的个数，N代表整个状态空间中所有状态的个数。

本发明与现有技术相比的优点在于：现有的系统性能状态分析评估方法很少将可靠性、弹性和脆性全部作为指标进行系统状态的分析评估，本发明将系统受干扰后满足工作要求的状态定义为可靠状态，将系统受干扰后不满足工作要求但可恢复到满足工作要求的状态定义为弹性状态，将系统受干扰后不满足工作要求且不可恢复到满足工作要求的状态定义为脆性状态，同时地进行可靠性、弹性和脆性的综合分析和评估。其次现有的可靠性、弹性和脆性分析评估方法往往只研究某单一影响因素对于系统可靠性弹性和脆性状态的影响，而本发明则可以研究多个影响因素的组合对于系统可靠性、弹性和脆性状态的影响。最后，现有的可靠性、弹性和脆性分析评估方法通常需要将影响因素的取值不断从大到小改变逐一进行系统测试，本发明不需要将所有的影响因素取值作用于系统进行测试，仅通过智能化的有限次测试结果，通过深度学习即可预测其他取值的影响因素组合作用于系统可能产生的后果，进而得到系统在所有影响因素组合下的可靠性、弹性和脆性状态。综合以上特点，本发明可以全面反映不同影响因素作用下系统状态的变化，提高系统测试效率，减轻工作量，节约时间和经济成本。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (3)

1.一种可靠性、弹性、脆性的系统状态评估方法，其特征在于，包括如下具体地步骤：

步骤1：定义系统可靠性、弹性、脆性的系统状态评价指标；所述步骤1中，具体步骤包括：

步骤11：获取影响系统状态的影响因素和所述影响因素的取值范围；

步骤12：获取反映系统状态的性能参数和系统正常工作阈值；

步骤13：根据系统能够承受的最长恢复时间，定义系统的可靠性、弹性和脆性的系统状态评价指标；

步骤2：生成测试用例并进行系统测试，保存所有测试用例和测试数据；

步骤3：对所有测试用例和测试数据进行数据处理；

步骤4：获取系统在所有影响因素组合的作用下的系统状态评估；所述步骤4中，具体步骤包括：

步骤41：搭建神经网络，将处理后的影响因素组合数据分为训练集和测试集输入神经网络，不断调整网络超参数，得到训练好的神经网络；

步骤42：将测试用例没有覆盖到的影响因素组合数据标准化处理后输入到神经网络，得到不同影响因素组合情况下系统所处状态的预测；

步骤43：根据可靠性、弹性和脆性状态数据占整个状态空间的比例，计算出系统在指定影响因素范围内的可靠性、弹性和脆性。

2.根据权利要求1所述的一种可靠性、弹性、脆性的系统状态评估方法，其特征在于，所述步骤2中，具体步骤包括：

步骤21：利用小生境粒子群优化算法为系统生成多种影响因素组合的测试用例，根据系统特点确定适应度函数，优化生成的测试用例；

步骤22：将测试用例输入到系统中，进行系统测试，获取系统实时性能参数；

步骤23：将系统测试过程中的性能参数记录下来，根据性能参数计算适应度函数，小生境粒子群优化算法根据适应度函数迭代下一组测试用例，重复步骤21-23，直到满足设定的迭代次数或最优位置与规定最优位置的差值在规定范围内。

3.根据权利要求1所述的一种可靠性、弹性、脆性的系统状态评估方法，其特征在于，所述步骤3中，具体步骤包括：

步骤31：去除重复的测试用例及测试数据，根据系统性能参数将系统所处的状态进行分类，分为可靠性、弹性、脆性三类，将对应的影响因素组合打上标签；

步骤32：将去除重复后的测试用例进行标准化处理，使各影响因素的取值均分布在[0，1]区间内。

Images