CN113487186A - 客户端故障演练方法、装置、计算机系统、可读存储介质 - Google Patents

Abstract

本公开提供了一种客户端故障演练方法、装置、计算机系统、存储介质，包括：向待测客户端注入预设故障；在模拟线上环境中运行待测客户端，根据预设的触发机制持续触发预设故障；监测待测客户端的多项运行指标，并获取异常运行指标。该方法可降低客户端系统上线后的风险，提高从开发到运维整个团队应对故障的能力，提高客户端稳定性及健壮性，以及时解决客户端可能存在的故障问题，减少意外问题发生的可能性，降低问题发生时带来的影响。

Description

客户端故障演练方法、装置、计算机系统、可读存储介质

技术领域

本公开涉及金融科技领域，更具体地，涉及一种客户端故障演练方法、装置、计算机系统、可读存储介质。

背景技术

为了保证客户端投产上线后的稳定性，需在设计、开发等阶段对客户端进行很多的测试及验证工作。但随着客户端体系的庞杂，市场上移动设备型号多样，导致客户端在正式投产后仍会遇到很多故障和风险，影响用户体验。

发明内容

有鉴于此，本公开提供了一种客户端故障演练方法、装置、计算机系统、可读存储介质。

本公开的一个方面提供了一种客户端故障演练方法，包括：向待测客户端注入预设故障；在模拟线上环境中运行所述待测客户端，根据预设的触发机制持续触发所述预设故障；监测所述待测客户端的多项运行指标，并获取异常运行指标。

根据本公开的实施例，所述监测所述待测客户端的多项运行指标，并获取异常运行指标包括：监测所述待测客户端的多项运行指标的运行数据；当监测到待测客户端的所述运行数据发生变化时，将偏离正常数据范围的运行数据对应的运行指标记录为所述异常运行指标。

根据本公开的实施例，其中，执行所述方法之前，还包括：获取多种类型的所述预设故障，包括：获取线上生产环境中和/或测试过程中发现的不同类型的故障问题，将所述故障问题作为所述预设故障；基于所述预设故障，生成对应的故障脚本和故障配置。

根据本公开的实施例，所述向待测客户端注入预设故障包括：将从所述待测客户端的第一业务获取的所述预设故障注入到所述待测客户端的第二业务中，以对所述第二业务进行故障演练；和/或将从一个所述待测客户端中获取的所述预设故障注入另一个所述待测客户端中，以对另一个所述待测客户端进行故障演练。

根据本公开的实施例，所述向待测客户端注入预设故障还包括：给所述待测客户端添加所述故障配置，并执行所述故障脚本。

根据本公开的实施例，所述向待测客户端注入预设故障包括：给所述待测客户端的业务层、中间层、系统层分别注入对应类型的预设故障。

根据本公开的实施例，在模拟线上环境中运行所述待测客户端，根据预设的触发机制持续触发所述预设故障包括：针对注入所述待测客户端的每一所述预设故障，分别进行故障触发测试；在对所述预设故障测试的过程中，分别对所述待测客户端不同的待测功能进行故障触发测试。

根据本公开的实施例，还包括：给各所述预设故障划分优先等级；根据优先等级，依次执行各所述预设故障的触发测试。

根据本公开的实施例，包括：依据发生所述预设故障引发的后果的严重程度确定所述优先等级，后果越严重，所述优先等级越高；和/或根据各所述预设故障的发生频率确定所述优先等级，所述发生频率越高，所述优先等级越高。

根据本公开的实施例，还包括：当获取到异常运行指标后，上传所述异常运行指标的数据；根据所述模拟线上环境与真实线上环境的数据量差异，将所述异常运行指标的数据放大，以触发报警，进行问题上报。

根据本公开的实施例，还包括：记录问题发生、发现、上报、响应上报、问题定位、问题处理、问题修复的时间。

根据本公开的实施例，所述多项运行指标包括稳定性指标、性能指标、功能指标、体验指标；其中，所述稳定性指标至少包括所述待测客户端的Crash率、ANR率，性能指标至少包括运行所述待测客户端的CPU占用率、帧率、OOM、卡顿、内存泄漏，功能指标至少包括各类业务功能成功率、异常埋点，体验指标至少包括APP启动时间、页面响应时间、白屏率。

本公开的另一方面提供了一种客户端故障演练装置，包括：故障注入模块，用于向待测客户端注入预设故障；环境模拟模块，用于在模拟线上环境中运行所述待测客户端，根据预设的触发机制持续触发所述预设故障；指标监测模块，用于监测所述待测客户端的多项运行指标，并获取异常运行指标。

根据本公开的实施例，所述指标监测模块包括：数据监测单元，用于监测所述待测客户端的多项运行指标的运行数据；异常监控单元，用于当监测到待测客户端的所述运行数据发生变化时，将偏离正常数据范围的运行数据对应的运行指标记录为所述异常运行指标。

根据本公开的实施例，还包括：故障获取模块，用于获取多种类型的所述预设故障，包括：故障生成单元，用于获取线上生产环境中和/或在测试过程中发现的不同类型的故障问题，将所述故障问题作为所述预设故障；配置生成单元，用于基于真实的故障场景，分别生成对应的故障脚本和故障配置。

根据本公开的实施例，所述故障注入模块包括：第一故障注入单元，用于将从所述待测客户端的第一业务获取的所述预设故障注入到所述待测客户端的第二业务中，以对所述第二业务进行故障演练；和/或第二故障注入单元，用于将从一个所述待测客户端中获取的所述预设故障注入另一个所述待测客户端中，以对另一个所述待测客户端进行故障演练。

根据本公开的实施例，所述故障注入模块还包括：配置添加单元，用于给所述待测客户端添加所述故障配置，并执行所述故障脚本。

根据本公开的实施例，其中，所述故障注入模块包括：第三故障注入单元，用于给所述待测客户端的业务层、中间层、系统层分别注入对应类型的预设故障。

根据本公开的实施例，其中，环境模拟模块包括：第一故障触发单元，用于针对注入所述待测客户端的每一所述预设故障，分别进行故障触发测试；第二故障触发单元，用于在对所述预设故障测试的过程中，分别对所述待测客户端不同的待测功能进行故障触发测试。

根据本公开的实施例，还包括：等级划分模块，用于给各所述预设故障划分优先等级；执行控制模块，用于根据优先等级，依次执行各所述预设故障的触发测试。

根据本公开的实施例，包括：所述等级划分模块依据发生所述预设故障引发的后果的严重程度确定所述优先等级，后果越严重，所述优先等级越高；和/或所述等级划分模块根据各所述预设故障的发生频率确定所述优先等级，所述发生频率越高，所述优先等级越高。

根据本公开的实施例，还包括：问题上报模块，用于当获取到异常运行指标后，上传所述异常运行指标的数据；

数据放大模块，用于根据所述模拟线上环境与真实线上环境的数据量差异，将所述异常运行指标的数据放大，以触发报警，进行问题上报。

根据本公开的实施例，还包括：问题追踪模块，用于记录问题发生、发现、上报、响应上报、问题定位、问题处理、问题修复的时间。

本公开另一方面提供了一种计算机系统，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现第一方面中任一项所述的方法。

本公开另一方面提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现第一方面中任一项所述的方法。

根据本公开的实施例，实现了对客户端稳定性及健壮性测试方案，以可控成本模拟线上通用故障，以持续性的演练测试和递归的方式来暴露问题，减少意外问题发生的可能性，降低问题发生时带来的影响，不断推动系统、工具、流程、人员能力的不断提升。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了可以应用本公开的客户端故障演练方法和装置的示例性系统架构；

图2示意性示出了根据本公开实施例的客户端故障演练方法的流程图；

图3示意性示出了根据本公开实施例的运行指标的示意图；

图4示意性示出了根据本公开实施例的故障类型的结构示意图；

图5示意性示出了根据本公开实施例的故障设置的流程图；

图6示意性示出了根据本公开实施例的故障优先级执行的示意图；

图7示意性示出了根据本公开实施例的故障优先级划分方法的示意图；

图8示意性示出了根据本公开实施例的客户端故障演练方法步骤S203的流程图；

图9示意性示出了根据本公开另一实施例的客户端故障演练及监控方法的流程图；

图10示意性示出了根据本公开实施例的客户端故障测试装置的结构示意图；

图11示意性示出了根据本公开实施例的指标监测模块的结构示意图；

图12示意性示出了根据本公开实施例的故障获取模块的结构示意图；

图13示意性示出了根据本公开实施例的故障等级划分及执行控制模块的结构示意图；

图14示意性示出了根据本公开另一实施例的客户端故障测试装置的结构示意图；

图15示意性示出了根据本公开实施例的适于实现机器人的计算机系统1500的框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

本公开的实施例提供了一种客户端故障演练方法、装置、计算机系统及存储介质。该方法旨在解决客户端上线后处理线上故障，以应对客户端在生产环境中各种混乱状况，可基于该方法沉淀通用的故障测试模式，以持续性的演练测试和回归方式运营来暴露问题，不断推动测试系统、运营流程、开发人员解决问题的能力的不断提升。。

图1示意性示出了根据本公开实施例的可以应用客户端故障演练方法、装置的示例性系统架构100。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送客户端的数据等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的客户端故障演练方法一般可以由服务器105执行。相应地，本公开实施例所提供的客户端故障测试装置一般可以设置于服务器105中。本公开实施例所提供的客户端故障演练方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的客户端故障测试装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。或者，本公开实施例所提供的客户端故障演练方法也可以由终端设备101、102、或103执行，或者也可以由不同于终端设备101、102、或103的其他终端设备执行。相应地，本公开实施例所提供的客户端故障测试装置也可以设置于终端设备101、102、或103中，或设置于不同于终端设备101、102、或103的其他终端设备中。

例如，待测客户端可以原本存储在终端设备101、102、或103中的任意一个(例如，终端设备101，但不限于此)之中，或者存储在外部存储设备上并可以导入到终端设备101中。然后，终端设备101可以在本地执行本公开实施例所提供的客户端故障演练方法，或者由其他终端设备、服务器、或服务器集群来执行本公开实施例所提供的客户端故障演练方法。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2示意性示出了根据本公开实施例的客户端故障演练方法的流程图。

如图2所示，该方法包括操作S201～S203。

在操作S201，向待测客户端注入预设故障。

在操作S202，在模拟线上环境中运行所述待测客户端，根据预设的触发机制持续触发所述预设故障。

在操作S203，监测所述待测客户端的多项运行指标，并获取异常运行指标。

本公开实施例提供了一种应用于客户端的混沌演练方法，在模拟的线上环境中测试客户端，测量面对不同的预设故障时客户端是否存在缺陷，以使客户端的缺陷能被及时发现，从而避免在客户端上线后出现未被发现的故障，不影响用户的正常使用。

图3示意性示出了根据本公开实施例的运行指标的示意图。

如图3所示，示出了表示客户端的多种类型的运行指标。建立围绕客户端的稳定状态的多重运行指标，可对客户端的稳定性、健壮性进行全面、客观的评价。对于测试而言，当客户端的各项运行指标均稳定在正常范围内时，表示该客户端的稳定性较高，当客户端的一项或多项运行指标不达标时，表示该客户端的稳定性存在缺陷。图3中将客户端的多项运行指标包括稳定性指标、性能指标、功能指标、体验指标；其中，所述稳定性指标至少包括所述待测客户端的Crash率、ANR率，性能指标至少包括运行所述待测客户端的CPU占用率、帧率、OOM、卡顿、内存泄漏，功能指标至少包括各类业务功能成功率、异常埋点，体验指标至少包括APP启动时间、页面响应时间、白屏率。可以理解的，上述各类运行指标仅为示意性举例，并不仅限于此。

图4示意性示出了根据本公开实施例的故障类型的结构示意图。

如图4所示，示出了在针对客户端较为全面的故障类型，分为业务层、中间层、系统层中包括的三种大类的故障，其中，所述业务层对应类型的预设故障至少包括页面异常、消息传递异常、点击无效、功能异常、卡顿、耗电、崩溃、闪退；中间层包括网络层、数据层等，对应类型的预设故障至少包括跳转拦截、配置异常、JS异常、容器异常、请求失败、请求超时、请求异常、请求不可访问、数据库读失败、数据库写失败、缓存读失败、缓存写失败；系统层对应类型的预设故障至少包括系统API异常、CPU过高、内存过高、磁盘空间满、线程池满。对于不同的故障类型，设置不同的评价指标，以实现对各故障类型。可以理解的，上述各类故障类型仅为示意性举例，并不仅限于此。

为了实施本公开实施例提供的客户端故障测试装置的方法，执行所述方法之前，还包括预设上述各种故障类型的故障。

图5示意性示出了根据本公开实施例的故障设置的流程图。

如图5所示，故障设置包括操作S501～S502。

在操作S501，获取多种类型的所述预设故障。

在本公开实施例中，参阅图4，可以设置一般的较为全面覆盖的各种故障类型，但为了避免一些未覆盖到的故障，故障可以从真实的生产环境中获取、平时在测试过程中发现的问题，例如，在A的业务中出现的故障，可以运用到B业务的故障演练中，A客户端出现的故障问题，可以运用到B客户端的故障演练中。

在本公开实施例中，除了将普通的预设故障输入到待测客户端中进行故障演练，还可以包括：

将从所述待测客户端的第一业务获取的所述预设故障注入到所述待测客户端的第二业务中，以对所述第二业务进行故障演练；和/或

将从一个所述待测客户端中获取的所述预设故障注入另一个所述待测客户端中，以对另一个所述待测客户端进行故障演练。

根据上述方法，可以将对待测客户端的演练中发现的故障实时的用于该待测客户端的其他功能的故障演练，还可以将其他客户端中出现过的故障应用于该待测客户端的故障演练，从多方面获取预设故障，从而提高对待测客户端故障演练的全面性，进而提高待测客户端的稳定性。

在操作S502，基于所述预设故障，生成对应的故障脚本和故障配置。

将故障生成故障脚本，并生成对应的故障配置，可以将各类故障均沉淀下来，作为用于测试各种客户端的预设故障，从而使对客户端的测试更加全面。

根据操作S502，在操作S201中，向所述待测客户端注入预设故障为：给所述待测客户端添加所述故障配置，并执行所述故障脚本。自动反复去触发模拟线上环境中的所述待测客户端的预设故障，以验证该待测客户端是否存在导致该预设故障的问题。

操作S201具体可以包括：给所述待测客户端的业务层、中间层、系统层的各功能节点分别输入对应类型的预设故障。在本公开实施例中，针对待测客户端的不同层的不同待测功能，分别进项对应类型的故障演练，针对性强，更容易发现待测客户端各项待测功能的故障问题，可提高演练效率。在本公开实施例中，操作S202，在模拟线上环境中运行所述待测客户端，根据预设的触发机制持续触发所述预设故障可以包括：

针对注入所述待测客户端的每一所述预设故障，分别进行故障触发测试；

在对所述预设故障测试的过程中，分别对所述待测客户端不同的待测功能进行故障触发测试。

同一预设故障的故障演练可用于测试待测客户端不同的待测功能，一次完成一个预设故障的演练，依次执行，从而实现对该待测客户端全方位的故障演练。

鉴于待测试的故障类型、具体评价指标繁多，在全面覆盖各类故障类型的测试的前提下，还需考虑各种故障的优先等级，优先解决优先级高的故障类型。

图6示意性示出了根据本公开实施例的故障优先级执行的示意图。

如图6所示，故障优先级划分方法具体包括操作S601～602。

在操作S601，给各所述预设故障划分优先等级。

在操作S602，根据优先等级，依次执行各所述预设故障的触发测试。

根据优先等级依次对各类预设故障进行测试，可优先解决故障引发的问题更严重、出现次数更频繁的问题，可以保证故障测试的效率，以便开发人员及时解决问题，提升客户端的稳定性。

图7示意性示出了根据本公开实施例的故障优先级划分方法的示意图。

如图7所示，故障优先级划分方法主要包括操作S701～S702。

在操作S701，依据发生所述预设故障引发的后果的严重程度确定所述优先等级，后果越严重，所述优先等级越高；和/或

在操作S702，根据各所述预设故障的发生频率确定所述优先等级，所述发生频率越高，所述优先等级越高。

图8示意性示出了根据本公开实施例的客户端故障演练方法步骤S203的流程图。

如图8所示，客户端故障演练方法步骤S203，，所述监测所述待测客户端的多项运行指标，并获取异常运行指标，具体实施包括操作S801～S802。

在操作S801，监测所述待测客户端的多项运行指标的运行数据。

在操作S802，当监测到待测客户端的所述运行数据发生变化时，将偏离正常数据范围的运行数据对应的运行指标记录为所述异常运行指标。

根据本公开的实施例，客户端的测试在模拟线上环境中运行，通过在真机实验室安装该测试客户端来隔离线上环境，通过自动化去不断的触发这些故障场景。客户端因故障注入导致客户端的各类稳态指标发生变化，当获取到异常运行指标后，监控平台将这些异常运行指标数据上报到服务端后，对相关数据加以放大(因为真机实验室测试的测试机数量和线上海量的测试机数量有一定差距，因此需要放大数据才能触发监控平台报警)，使之能达到故障或问题的告警门限，触发线上问题。注意测试环境上报的监控数据是被打上了特殊的tag标记，与真实数据区分，避免影响真实的线上数据。

需要注意的是，因为测试会对客户端的实际功能的使用产生一定的影响，为了避免测试对真实用户体验代理伤害，最好能降其影响面控制到一定的范围内，例如，将测试环境与真实线上环境隔离。

图9示意性示出了根据本公开另一实施例的客户端故障演练及监控方法的流程图。

如图9所示，本公开另一实施例提供的客户端故障演练及监控方法包括操作S901～905。

在操作S901，向待测客户端注入预设故障。

在操作S902，在模拟线上环境中运行所述待测客户端，根据预设的触发机制持续触发所述预设故障。

在操作S903，监测所述待测客户端的多项运行指标，并获取异常运行指标。

在操作S904，当获取到异常运行指标之后，触发报警系统，进行问题上报。

在操作S905，记录问题发生、发现、上报、响应上报、问题定位、问题处理、问题修复的时间。

根据本公开的实施例，当监测到异常运行指标后，及时进行问题上报，使开发人员能及时解决问题，提升客户端的稳定性，该方法将监控系统、告警系统、问题处理响应系统进行打通，采集了这些关键节点的数据，并且记录问题发生、上报、发现、响应、定位、处理、恢复的时间，用于测试后的总结分析，还可对解决问题的效率进行度量，提高研发团队解决问题的能力。

根据本公开实施例提供的客户端故障演练方法，实现了对客户端稳定性及健壮性测试方案，以可控成本在线上重放通用故障，以持续性的演练测试和回归方式运营来暴露问题，减少意外问题发生的可能性，降低问题发生时带来的影响，不断推动系统、工具、流程、人员能力的不断提升。

图10示意性示出了根据本公开实施例的客户端故障测试装置的结构示意图。

如图10所示，本公开提供的一种客户端故障测试装置1000，包括：故障注入模块1010，环境模拟模块1020，指标监测模块1030。

故障注入模块1010，用于向待测客户端注入预设故障。

环境模拟模块1020，用于在模拟线上环境中运行所述待测客户端，根据预设的触发机制持续触发所述预设故障。

指标监测模块1030，用于监测所述待测客户端的多项运行指标，并获取异常运行指标。

在本公开实施例中，环境模拟模块1020模拟的线上环境中测试客户端，以模拟客户端在真实的线上活动中是否存在缺陷，以使客户端的缺陷能被及时发现，从而避免在客户端上线后出现未被发现的故障，不影响用户的正常使用。该装置沉淀通用的故障模式，以可控成本在线上重放，以持续性的演练测试和回归方式运营来暴露问题，不断推动系统、工具、流程、人员能力的不断提升。

图11示意性示出了根据本公开实施例的指标监测模块的结构示意图。

如图11所示，所述指标监测模块1030包括：数据监测单元1110，异常监控单元1120。

数据监测单元1110，用于监测所述待测客户端的多项运行指标的运行数据。

数据监控单元1120，用于当监测到待测客户端的所述运行数据发生变化时，将偏离正常数据范围的运行数据对应的运行指标记录为所。

客户端的测试在模拟线上环境中运行，通过在真机实验室安装该测试客户端来隔离线上环境，通过自动化去不断的触发这些故障场景。客户端因故障注入导致客户端的各类稳态指标发生变化，数据监测单元1120识别异常运行指标的数据，并将这些指标数据上报到服务端，触发线上问题。

图12示意性示出了根据本公开实施例的故障获取模块的结构示意图。

如图12所示，客户端故障测试装置1000，还包括：故障获取模块1210，用于获取多种类型的所述预设故障。

故障获取模块1210包括：故障生成单元1211，用于获取线上生产环境中和/或在测试过程中发现的不同类型的故障问题，将所述故障问题作为所述预设故障。

配置生成单元1212，用于基于真实的故障场景，分别生成对应的故障脚本和故障配置。

所述故障注入模块1010可以包括：

第一故障注入单元1011，用于将从所述待测客户端的第一业务获取的所述预设故障注入到所述待测客户端的第二业务中，以对所述第二业务进行故障演练；和/或

第二故障注入单元1012，用于将从一个所述待测客户端中获取的所述预设故障注入另一个所述待测客户端中，以对另一个所述待测客户端进行故障演练。

所述故障注入模块1010还可以包括：配置添加单元1013。

配置添加单元1013，用于给所述待测客户端添加所述故障配置，并执行所述故障脚本。

所述故障注入模块1010还可以包括：第三故障注入单元1014。

第三故障注入单元1014，用于给所述待测客户端的业务层、中间层、系统层分别注入对应类型的预设故障。

此外，环境模拟模块1020可以包括：第一故障触发单元1021，第二故障触发单元1022。

第一故障触发单元1021，用于针对注入所述待测客户端的每一所述预设故障，分别进行故障触发测试。

第二故障触发单元1022，用于在对所述预设故障测试的过程中，分别对所述待测客户端不同的待测功能进行故障触发测试。

图13示意性示出了根据本公开实施例的故障等级划分及执行控制模块的结构示意图。

如图13所示，客户端故障测试装置1000，还包括：等级划分模块1310，执行控制模块1320。

等级划分模块1310，用于给各所述预设故障划分优先等级。

执行控制模块1320，用于根据优先等级，依次执行各所述预设故障的触发测试。

其中，所述等级划分模块1310依据发生所述预设故障引发的后果的严重程度确定所述优先等级，后果越严重，所述优先等级越高；和/或

所述等级划分模块1310根据各所述预设故障的发生频率确定所述优先等级，所述发生频率越高，所述优先等级越高。

图14示意性示出了根据本公开另一实施例的客户端故障测试装置的结构示意图。

如图14所示，本公开另一实施例的客户端故障测试装置1400包括：故障注入模块1410，环境模拟模块1420，指标监测模块1430，问题上报模块1440，问题追踪模块1450。

故障注入模块1410，用于向待测客户端注入预设故障。

环境模拟模块1420，用于在模拟线上环境中运行所述待测客户端，根据预设的触发机制持续触发所述预设故障。

指标监测模块1430，用于监测所述待测客户端的多项运行指标，并获取异常运行指标。

问题上报模块1440，用于用于当获取到异常运行指标后，上传所述异常运行指标的数据。

数据放大模块1450，用于根据所述模拟线上环境与真实线上环境的数据量差异，将所述异常运行指标的数据放大，以触发报警，进行问题上报。

问题追踪模块1460，用于记录问题发生、发现、上报、响应上报、问题定位、问题处理、问题修复的时间。

根据本公开的实施例，故障注入模块1410、环境模拟模块1420、指标监测模块1430用于执行如图2所示的客户端故障演练方法的各个步骤，实施对客户端的故障测试，当监测到异常运行指标后，问题上报模块1440及时进行问题上报，使开发人员能及时解决问题，从而提升客户端的稳定性，问题追踪模块1450将监控系统、告警系统、问题处理响应系统进行打通，采集了这些关键节点的数据，并且记录问题发生、上报、发现、响应、定位、处理、恢复的时间，用于测试后的总结分析，还可对解决问题的效率进行度量，从而提高研发团队解决问题的能力。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，故障注入模块1010、环境模拟模块1020、指标监测模块1030中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本公开的实施例，故障注入模块1010、环境模拟模块1020、指标监测模块1030中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，故障注入模块1010、环境模拟模块1020、指标监测模块1030中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

需要说明的是，本公开的实施例中客户端故障测试装置部分与本公开的实施例中客户端故障演练方法部分是相对应的，客户端故障测试装置部分的描述具体参考客户端故障演练方法部分，在此不再赘述。

图15示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的框图。图15示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图15所示，根据本公开实施例的计算机系统1500包括处理器1501，其可以根据存储在只读存储器(ROM)1502中的程序或者从存储部分1508加载到随机访问存储器(RAM)1503中的程序而执行各种适当的动作和处理。处理器1501例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1501还可以包括用于缓存用途的板载存储器。处理器1501可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 1503中，存储有系统1500操作所需的各种程序和数据。处理器1501、ROM1502以及RAM1503通过总线1504彼此相连。处理器1501通过执行ROM 1502和/或RAM 1503中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 1502和RAM 1503以外的一个或多个存储器中。处理器1501也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，系统1500还可以包括输入/输出(I/O)接口1505，输入/输出(I/O)接口1505也连接至总线1504。系统1500还可以包括连接至I/O接口1505的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1507；包括硬盘等的存储部分1508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1509。通信部分1509经由诸如因特网的网络执行通信处理。驱动器1510也根据需要连接至I/O接口1505。可拆卸介质1511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1510上，以便于从其上读出的计算机程序根据需要被安装入存储部分1508。

根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1509从网络上被下载和安装，和/或从可拆卸介质1511被安装。在该计算机程序被处理器1501执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 1502和/或RAM 1503和/或ROM 1502和RAM 1503以外的一个或多个存储器。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (25)

1.一种客户端故障演练方法，包括：

向待测客户端注入预设故障；

在模拟线上环境中运行所述待测客户端，根据预设的触发机制持续触发所述预设故障；

监测所述待测客户端的多项运行指标，并获取异常运行指标。

2.根据权利要求1所述的方法，所述监测所述待测客户端的多项运行指标，并获取异常运行指标包括：

监测所述待测客户端的多项运行指标的运行数据；

当监测到待测客户端的所述运行数据发生变化时，将偏离正常数据范围的运行数据对应的运行指标记录为所述异常运行指标。

3.根据权利要求1所述的方法，其中，执行所述方法之前，还包括：

获取多种类型的所述预设故障，包括：

获取线上生产环境中和/或测试过程中发现的不同类型的故障问题，将所述故障问题作为所述预设故障；

基于所述预设故障，生成对应的故障脚本和故障配置。

4.根据权利要求3所述的方法，所述向待测客户端注入预设故障包括：

将从所述待测客户端的第一业务获取的所述预设故障注入到所述待测客户端的第二业务中，以对所述第二业务进行故障演练；和/或

将从一个所述待测客户端中获取的所述预设故障注入另一个所述待测客户端中，以对另一个所述待测客户端进行故障演练。

5.根据权利要求4所述的方法，所述向待测客户端注入预设故障还包括：

给所述待测客户端添加所述故障配置，并执行所述故障脚本。

6.根据权利要求1所述的方法，其中，所述向待测客户端注入预设故障包括：

给所述待测客户端的业务层、中间层、系统层分别注入对应类型的预设故障。

7.根据权利要求1所述的方法，其中，在模拟线上环境中运行所述待测客户端，根据预设的触发机制持续触发所述预设故障包括：

针对注入所述待测客户端的每一所述预设故障，分别进行故障触发测试；

在对所述预设故障测试的过程中，分别对所述待测客户端不同的待测功能进行故障触发测试。

8.根据权利要求7所述的方法，还包括：

给各所述预设故障划分优先等级；

根据优先等级，依次执行各所述预设故障的触发测试。

9.根据权利要求8所述的方法，包括：

依据发生所述预设故障引发的后果的严重程度确定所述优先等级，后果越严重，所述优先等级越高；和/或

根据各所述预设故障的发生频率确定所述优先等级，所述发生频率越高，所述优先等级越高。

10.根据权利要求1所述的方法，还包括：

当获取到异常运行指标后，上传所述异常运行指标的数据；

根据所述模拟线上环境与真实线上环境的数据量差异，将所述异常运行指标的数据放大，以触发报警，进行问题上报。

11.根据权利要求10所述的方法，还包括：

记录问题发生、发现、上报、响应上报、问题定位、问题处理、问题修复的时间。

12.根据权利要求1所述的方法，所述多项运行指标包括稳定性指标、性能指标、功能指标、体验指标；其中，所述稳定性指标至少包括所述待测客户端的Crash率、ANR率，性能指标至少包括运行所述待测客户端的CPU占用率、帧率、OOM、卡顿、内存泄漏，功能指标至少包括各类业务功能成功率、异常埋点，体验指标至少包括APP启动时间、页面响应时间、白屏率。

13.一种客户端故障演练装置，包括：

故障注入模块，用于向待测客户端注入预设故障；

环境模拟模块，用于在模拟线上环境中运行所述待测客户端，根据预设的触发机制持续触发所述预设故障；

指标监测模块，用于监测所述待测客户端的多项运行指标，并获取异常运行指标。

14.根据权利要求13所述的装置，所述指标监测模块包括：

数据监测单元，用于监测所述待测客户端的多项运行指标的运行数据；

异常监控单元，用于当监测到待测客户端的所述运行数据发生变化时，将偏离正常数据范围的运行数据对应的运行指标记录为所述异常运行指标。

15.根据权利要求13所述的装置，还包括：

故障获取模块，用于获取多种类型的所述预设故障，包括：

故障生成单元，用于获取线上生产环境中和/或在测试过程中发现的不同类型的故障问题，将所述故障问题作为所述预设故障；

配置生成单元，用于基于真实的故障场景，分别生成对应的故障脚本和故障配置。

16.根据权利要求15所述的装置，所述故障注入模块包括：

第一故障注入单元，用于将从所述待测客户端的第一业务获取的所述预设故障注入到所述待测客户端的第二业务中，以对所述第二业务进行故障演练；和/或

第二故障注入单元，用于将从一个所述待测客户端中获取的所述预设故障注入另一个所述待测客户端中，以对另一个所述待测客户端进行故障演练。

17.根据权利要求16所述的装置，所述故障注入模块还包括：

配置添加单元，用于给所述待测客户端添加所述故障配置，并执行所述故障脚本。

18.根据权利要求13所述的装置，其中，所述故障注入模块包括：

第三故障注入单元，用于给所述待测客户端的业务层、中间层、系统层分别注入对应类型的预设故障。

19.根据权利要求13所述的装置，其中，环境模拟模块包括：

第一故障触发单元，用于针对注入所述待测客户端的每一所述预设故障，分别进行故障触发测试；

第二故障触发单元，用于在对所述预设故障测试的过程中，分别对所述待测客户端不同的待测功能进行故障触发测试。

20.根据权利要求13所述的装置，还包括：

等级划分模块，用于给各所述预设故障划分优先等级；

执行控制模块，用于根据优先等级，依次执行各所述预设故障的触发测试。

21.根据权利要求20所述的装置，包括：

所述等级划分模块依据发生所述预设故障引发的后果的严重程度确定所述优先等级，后果越严重，所述优先等级越高；和/或

所述等级划分模块根据各所述预设故障的发生频率确定所述优先等级，所述发生频率越高，所述优先等级越高。

22.根据权利要求13所述的装置，还包括：

问题上报模块，用于当获取到异常运行指标后，上传所述异常运行指标的数据；

数据放大模块，用于根据所述模拟线上环境与真实线上环境的数据量差异，将所述异常运行指标的数据放大，以触发报警，进行问题上报。

23.根据权利要求22所述的装置，还包括：

问题追踪模块，用于记录问题发生、发现、上报、响应上报、问题定位、问题处理、问题修复的时间。

24.一种计算机系统，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至12中任一项所述的方法。

25.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求1至12中任一项所述的方法。

Images