CN114492068A - 故障处理测试方法、系统、设备及介质、程序产品 - Google Patents

Abstract

本申请提供了一种故障处理测试方法，该方法能够根据应急预案通过决策支持系统生成场景画像，并根据场景画像生成故障环境，推荐多种故障处理措施，并对这些措施按照优先级进行排序，按照顺序依次将这些措施应用在故障环境中，并对故障处理过程进行监控，根据执行情况生成测试报告，实现对于故障处理措施的测试，对应急预案进行更新，实现自动搭建故障环境，并且能够在该环境下对于多种处理措施进行测试，自动更新应急预案，使应急预案更符合实际需求。

Description

故障处理测试方法、系统、设备及介质、程序产品

技术领域

本申请涉及计算机技术领域，尤其涉及一种故障处理测试方法、系统、设备、计算机可读存储介质、计算机程序产品。

背景技术

故障处理措施的测试是指对于生产中可能产生的故障进行模拟，测试不同的处理措施在该故障下的处理效果，目的是验证对于该可能产生的故障的处理措施的有效性。

通常情况下，银行系统无法根据应急预案自动生成故障环境，通常需要人工进行搭建，而人工搭建的环境通常较为简单，并且，对于故障处理措施仅采用重启处理，尽管重启可以解决很多情况下的问题，但是无法解决所有问题，导致部分故障无法进行处理。进一步地，单纯的重启无法推动故障处理预案的修改，无法使应急预案即时进行更新。

因此，业界亟需一种提供多种处理措施的故障处理的测试方法。

发明内容

本申请提供了一种故障处理的测试方法，该方法能够根据应急预案通过决策支持系统生成故障环境，对不同故障环境下的多种处理措施进行测试，从而获得故障处理措施的测试结果，并据此更新应急预案。本申请还提供了该方法对应的系统、设备、计算机可读存储介质、计算机程序产品。

第一方面，本申请提供了一种故障处理测试方法，该方法应用于测试平台，该方法包括：

根据应急预案，通过决策支持系统生成画像信息，分析所述画像信息，获取故障处理的环境；

根据所述环境，推荐故障处理措施，所述故障处理措施包括按照优先级排序的多个故障处理措施；

按照所述多个故障处理措施的顺序，在所述环境下依次执行所述多个故障处理措施，并对故障处理的过程进行监控；

所述多个故障处理措施执行完毕后，根据所述故障处理的过程生成故障处理措施的测试报告，所述测试报告包括所述多个故障处理措施的执行情况；

根据所述测试报告，更新所述应急预案。

在一些可能的实现方式中，该方法还包括：

手动修正所述画像信息。

在一些可能的实现方式中，该方法还包括：

手动添加故障处理措施。

在一些可能的实现方式中，所述故障处理措施包括：

流控、重启、隔离、压测中的至少一种。

在一些可能的实现方式中，该方法还包括：

当监测到故障处理过程中出现异常时，进行报警。

在一些可能的实现方式中，该方法还包括：

当监测到故障处理过程中出现异常时，对所述故障处理过程进行回退，执行下一优先级的故障处理措施。

第二方面，本申请提供了一种故障处理测试系统，该系统包括：

获取单元，用于根据应急预案，通过决策支持系统生成画像信息，分析所述画像信息，获取故障处理的环境；

推荐单元，用于根据所述环境，推荐故障处理措施，所述故障处理措施包括按照优先级排序的多个故障处理措施；

执行单元，用于按照所述多个故障处理措施的顺序，在所述环境下依次执行所述多个故障处理措施，并对故障处理的过程进行监控；

生成单元，用于所述多个故障处理措施执行完毕后，根据所述故障处理的过程生成故障处理措施的测试报告，所述测试报告包括所述多个故障处理措施的执行情况；

更新单元，用于根据所述测试报告，更新所述应急预案。

在一些可能的实现方式中，该系统还包括：

修正单元，用于手动修正所述画像信息。

在一些可能的实现方式中，该系统还包括：

添加单元，用于手动添加故障处理措施。

在一些可能的实现方式中，所述故障处理措施包括：

流控、重启、隔离、压测中的至少一种。

在一些可能的实现方式中，该系统还包括：

报警单元，用于当监测到故障处理过程中出现异常时，进行报警。

在一些可能的实现方式中，该系统还包括：

回退单元，用于当监测到故障处理过程中出现异常时，对所述故障处理过程进行回退，执行下一优先级的故障处理措施。

第三方面，本申请提供一种设备，设备包括处理器和存储器。处理器、存储器进行相互的通信。处理器用于执行存储器中存储的指令，以使得设备执行如第一方面或第一方面的任一种实现方式中的故障处理测试方法。

第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，指令指示设备执行上述第一方面或第一方面的任一种实现方式所述的故障处理测试方法。

第五方面，本申请提供了一种包含指令的计算机程序产品，当其在设备上运行时，使得设备执行上述第一方面或第一方面的任一种实现方式所述的故障处理测试方法。

本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例提供了一种故障处理测试方法，该方法能够根据应急预案通过决策支持系统生成场景画像，并根据场景画像生成故障环境，推荐多种故障处理措施，并对这些措施按照优先级进行排序，按照顺序依次将这些措施应用在故障环境中，并对故障处理过程进行监控，根据执行情况生成测试报告，实现对于故障处理措施的测试，对应急预案进行更新。通过决策支持系统能够自动搭建故障环境，使环境贴合实际需求，并且能够在该环境下对于多种处理措施进行测试，进一步地，通过一定的优先级排序，使多个处理措施能够依次进行测试，并对处理过程进行监控，生成测试报告，据此自动更新应急预案，减少了人工更新的审批流程，从而实现对于故障处理的测试，使应急预案更符合实际需求。

附图说明

为了更清楚地说明本申请实施例的技术方法，下面将对实施例中所需使用的附图作以简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种故障处理测试方法的流程示意图；

图2为本申请实施例提供的一种故障处理测试方法中测试措施管理模块的示意图；

图3为本申请实施例提供的一种故障处理测试方法中测试措施管理模块的示意图；

图4为本申请实施例提供的一种故障处理测试方法中测试策略的示意图；

图5为本申请实施例提供的一种故障处理测试方法中系统故障处理测试的示意图；

图6为本申请实施例提供的一种故障处理测试方法中系统故障处理测试的示意图；

图7为本申请实施例提供的一种故障处理测试方法中系统故障处理测试的示意图；

图8为本申请实施例提供的一种故障处理测试方法中系统故障处理措施的示意图；

图9为本申请实施例提供的一种故障处理测试方法中测试报告的示意图；

图10为本申请实施例提供的一种故障处理测试方法中测试情况统计的示意图；

图11为本申请实施例提供的一种故障处理测试方法中基础模块的示意图；

图12为本申请实施例提供的一种故障处理测试系统的结构示意图。

具体实施方式

下面将结合本申请中的附图，对本申请提供的实施例中的方案进行描述。

本申请实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

首先对本申请实施例中所涉及到的一些技术术语进行介绍。

应急演练是指在日常生产生活中对可能发生故障的场景进行实战化演练，目的是验证应急预案的有效性，并且寻找系统中没有预料到的可能存在的问题，从而避免意外事故的产生。

故障处理测试是指在应急演练中，在可能发生故障的场景下，对于不同故障处理措施进行测试，获得不同处理措施在该故障环境下的处理效果，从而确定优选的故障处理措施。

银行中的应急预案通常为电子文档格式，工作人员根据应急预案手动搭建故障处理场景，基于脚本进行故障处理措施测试。而随着银行的运维系统的数量与复杂度的不断增加，工作人员的测试压力较大。

并且，由于应急预案中故障处理场景的撰写较为模糊，为了保障测试的成功率，通常情况下工作人员仅进行重启操作的测试。

如此，应急预案中的故障处理中实施的措施不能覆盖所有能够用于故障处理的措施，从而无法对于应急预案进行有效核验。

并且由于应急预案需要工作人员手动搭建环境，故障处理措施的测试结果需要用户手动记录，并进行手动更新，因此根据测试结果对于应急预案的修改需要人工进行多次确认以保证准确度，但是多次人工确认时间较长，修改难以推动，从而导致应急预案失去有效性，应急时间较长，效率较低。

有鉴于此，本申请提供一种故障处理测试方法，该方法应用于测试平台，其中，测试平台可以为软件，该软件可以集中或者分布式地部署在计算机集群中。该测试平台也可以是硬件，该硬件用于使航运业务交易双方进行交易。

该方法根据应急预案，通过决策支持系统生成画像信息，分析画像信息获取故障环境，根据故障环境推荐故障处理措施，其中故障处理措施包括多个按优先级排序的故障处理措施，然后按照顺序，依次执行多个故障处理措施，进行故障处理，并对故障处理过程进行监控，执行完毕后生成测试报告，根据测试报告更新应急预案。

为了便于理解本申请的技术方案，下面结合图1对本申请提供的故障处理测试方法进行介绍。

参见图1所示的故障处理测试方法的流程图，该方法的具体步骤如下所示。

S102：测试平台根据应急预案，通过决策支持系统生成画像信息，分析画像信息，获取故障处理的环境。

决策支持系统是基于计算机，用来通过对信息的收集、分析来支持业务或组织决策活动的信息系统。该系统是通过计算机、数据库、多媒体、网络、类人工智能等技术提供辅助决策手段和工具，将决策这种人脑行为转变为决策计算和思维的结合行为赋予给计算机。

在本实施例中，通过决策支持系统读取应急预案，将应急预案中的信息生成画像信息，然后分析画像信息，获取需要进行故障处理的环境。

在一些可能的实现方式中，可以根据对于画像信息的分析，获得需要进行故障处理的环境为三个月内举办大型促销活动，可能导致服务器繁忙。

可选地，当决策支持系统通过读取应急预案生成的画像信息不够完善时，可以手动修正画像信息。

S104：测试平台根据环境，推荐故障处理措施。

其中，故障处理措施包括按照优先级排序的多个故障处理措施。故障处理措施可以为流控、重启、隔离、压测等。

可选地，当故障处理环境为三个月内举办大型促销活动时，测试平台推荐隔离和压测作为故障处理措施，如图2所示。测试措施管理模块包括测试管理库、画像信息、监控情况与推荐测试措施。其中测试措施库包括通用措施与个性化措施，具体地，通用措施包括流控、调整日志级别、重启、隔离；个性化措施包括大促、调账、压测。画像信息包括是否集群；是否网联相关；运行时间；近三月是否大促；仅两周测试失败措施；本年度未测试措施；是否账务相关……等内容。监控情况包括业务量情况、系统资源情况等。推荐测试措施包括流控、重启、隔离、压测。在一些可能的实施方式中，可能手动添加测试措施。右下角按键指示进入推荐测试措施编排。

进一步地，也可以手动添加故障处理措施，以提高故障测试的覆盖率。

推荐故障处理措施后，还可以对故障处理措施的优先级进行排序。可以对亟需进行测试的处理措施赋予较高的权重，而对于近期进行过测试或者并不亟需测试的处理措施赋予较低的权重，并据此按照优先级进行排序，如图3所示。测试措施管理模块能够进行自动编排，具体包括测试措施预计耗时；重要批量时间；是否涉及大促；业务低峰时段；业务低峰期等信息。用户可以手动确定优先级依次进行测试。进一步地，用户可以对于推荐措施进行调整。

可选地，也可以根据故障处理措施与故障处理环境的匹配度分配优先级，例如对于需要数据流量较大的环境下，将流控作为故障处理措施赋予较高的优先级。

如何分配不同的权重可以由工作人员预先进行设置，并且，工作人员也可以手动修改不同故障处理措施的优先级，使系统更加贴近实际情况。

在一些可能的实现方式中，需要将用户设置的故障处理措施转化为计算机能够识别的方案，具体如图4所示。

S106：测试平台按照多个故障处理措施的顺序，在该环境下依次执行多个故障处理措施，并对故障处理的过程进行监控。

在执行多个故障处理措施的过程中，需要对故障处理的过程进行监控。当监测到故障处理的过程中出现异常时，故障处理过程回退，回退至未执行该措施之前，继续执行下一优先级的故障处理措施。可选地，当监测到故障处理的过程中出现异常时，进行报警。如此，能够保障整个测试过程安全、持续地进行。

例如，当执行某一故障处理措施的过程中，成功率呈下降趋势，下降的加速度为0.5％每秒，且持续10秒，超过安全阈值(安全阈值可以为加速度为0.5％每秒，且持续9秒)，则判断状态异常，监控业务指标情况告警，触发回退流程。进一步地，可以通知工作人员，必要时允许工作人员手动介入。如图5、图6、图7所示。

参见图5所示的系统故障处理测试，包括回退进度、业务指标和系统指标，业务指标包括成功率降低率以及对应持续时间、增长总量和平均响应时间增长以及对应持续时间、增长总量等指标，系统指标包括CPU增长率以及对应持续时间、增长总量等。可选地，可以手动进行强制停止并回退。图6和图7与图5类似。

S108：多个故障处理措施执行完毕后，测试平台根据故障处理的过程生成故障处理措施的测试报告。

其中，测试报告包括所述多个故障处理措施的执行情况。

在多个故障处理措施执行完毕后，测试平台获取故障处理多个故障处理措施的测试情况，如图8所示。系统故障处理措施包括生产问题检核措施、通用问题检核措施、特色问题检核措施等，以及通用措施案例详情、反馈情况详情。

进一步地，根据该测试情况生成测试报告，如图9所示。该测试报告可以用于对该测试情况进行审计分析。系统故障处理测试报告包括参演机器以及测试措施等。

可选地，可以根据该测试报告对于整个测试平台的测试情况统计，如图10所示，2020年全行测试情况包括措施进度以及测试措施成功率统计等。

S110：测试平台根据测试报告，更新应急预案。

测试平台根据测试报告，将测试结果反馈至应急预案中，实现对应急预案的更新，提高应急预案的有效性。并且能够实现对于测试处理全生命周期的管控。

在一些可能的实现方式中，该测试平台包括基础模块，用户可以根据基础模块对测试的基础内容进行设置。如图11所示，基础模块可以包括回退规则管理模块、准入规则管理模块、测试策略规则管理模块、画像管理模块、操作管理模块、措施管理模块、测试对象管理模块等。

综上所述，本申请提供了一种故障处理测试方法，能够根据应急预案，通过决策支持系统生成画像信息，并分析画像信息，获取故障处理的环境，从而利用决策支持系统自动生成环境，避免人工搭建的场景不符合应急预案中的实际需求。根据环境推荐故障处理措施，并按照一定的顺序依次执行这些措施，能够测试多种措施的处理效果，避免简单的只对重启措施的效果进行测试，提高了测试措施的覆盖面。对执行过程进行监控，能够保障测试的安全正常运行，并据此生成测试报告，能够获取多个处理措施的测试结果，进而根据测试报告自动更新应急预案，提高应急预案的有效性。

与上述方法实施例相对应的，本申请还提供了一种故障处理测试系统，参见图12，该系统1200包括：获取单元1202、推荐单元1204、执行单元1206、生成单元1208和更新单元1210。

获取单元，用于根据应急预案，通过决策支持系统生成画像信息，分析所述画像信息，获取故障处理的环境；

推荐单元，用于根据所述环境，推荐故障处理措施，所述故障处理措施包括按照优先级排序的多个故障处理措施；

执行单元，用于按照所述多个故障处理措施的顺序，在所述环境下依次执行所述多个故障处理措施，并对故障处理的过程进行监控；

生成单元，用于所述多个故障处理措施执行完毕后，根据所述故障处理的过程生成故障处理措施的测试报告，所述测试报告包括所述多个故障处理措施的执行情况；

更新单元，用于根据所述测试报告，更新所述应急预案。

在一些可能的实现方式中，该系统还包括：

修正单元，用于手动修正所述画像信息。

在一些可能的实现方式中，该系统还包括：

添加单元，用于手动添加故障处理措施。

在一些可能的实现方式中，所述故障处理措施包括：

流控、重启、隔离、压测中的至少一种。

在一些可能的实现方式中，该系统还包括：

报警单元，用于当监测到故障处理过程中出现异常时，进行报警。

在一些可能的实现方式中，该系统还包括：

回退单元，用于当监测到故障处理过程中出现异常时，对所述故障处理过程进行回退，执行下一优先级的故障处理措施。

本申请提供一种设备，用于实现故障处理测试方法。该设备包括处理器和存储器。处理器、存储器进行相互的通信。该处理器用于执行存储器中存储的指令，以使得设备执行故障处理测试方法。

本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在设备上运行时，使得设备执行上述故障处理测试方法。

本申请提供了一种包含指令的计算机程序产品，当其在设备上运行时，使得设备执行上述故障处理测试方法。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，训练设备，或者网络设备等)执行本申请各个实施例所述的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

Claims (10)

1.一种故障处理测试方法，其特征在于，所述方法应用于测试平台，所述方法包括：

根据应急预案，通过决策支持系统生成画像信息，分析所述画像信息，获取故障处理的环境；

根据所述环境，推荐故障处理措施，所述故障处理措施包括按照优先级排序的多个故障处理措施；

按照所述多个故障处理措施的顺序，在所述环境下依次执行所述多个故障处理措施，并对故障处理的过程进行监控；

所述多个故障处理措施执行完毕后，根据所述故障处理的过程生成故障处理措施的测试报告，所述测试报告包括所述多个故障处理措施的执行情况；

根据所述测试报告，更新所述应急预案。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

手动修正所述画像信息。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

手动添加故障处理措施。

4.根据权利要求1所述的方法，其特征在于，所述故障处理措施包括：

流控、重启、隔离、压测中的至少一种。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当监测到故障处理过程中出现异常时，进行报警。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当监测到故障处理过程中出现异常时，对所述故障处理过程进行回退，执行下一优先级的故障处理措施。

7.一种故障处理测试系统，其特征在于，所述故障处理测试系统包括：

获取单元，用于根据应急预案，通过决策支持系统生成画像信息，分析所述画像信息，获取故障处理的环境；

推荐单元，用于根据所述环境，推荐故障处理措施，所述故障处理措施包括按照优先级排序的多个故障处理措施；

执行单元，用于按照所述多个故障处理措施的顺序，在所述环境下依次执行所述多个故障处理措施，并对故障处理的过程进行监控；

生成单元，用于所述多个故障处理措施执行完毕后，根据所述故障处理的过程生成故障处理措施的测试报告，所述测试报告包括所述多个故障处理措施的执行情况；

更新单元，用于根据所述测试报告，更新所述应急预案。

8.一种设备，其特征在于，所述设备包括处理器和存储器；

所述处理器用于执行所述存储器中存储的指令，以使得所述设备执行如权利要求1至6中任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，包括指令，所述指令指示设备执行如权利要求1至6中任一项所述的方法。

10.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得计算机执行如权利要求1至6中任一项所述的方法。

Images