CN113220594B - 自动化测试方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供一种自动化测试方法、装置、设备及存储介质，该方法包括：向商业银行的被测系统发送测试报文，以使被测系统根据测试报文生成对应的返回报文；若无法与被测系统正常通讯并从被测系统获取到预期的返回报文，则确定测试结果为通讯级错误；若获取到预期的返回报文，则根据返回报文确定对应的处理结果；若处理结果为正确，则确定测试结果为应用级正确；若处理结果为错误，则确定测试结果为应用级错误；若处理结果指示需进行复核或远程授权，则确定测试结果为需要授权；在对被测系统进行测试的过程中，若检测到测试程序处理异常，则确定测试结果为内部错误；输出测试结果对应的标志和描述信息，从而提高测试效率。

Description

自动化测试方法、装置、设备及存储介质

技术领域

本申请涉及测试技术，尤其涉及一种自动化测试方法、装置、设备及存储介质。

背景技术

随着数字化转型的深入推进，商业银行的产品迭代不断加快。同时，商业银行的业务性质要求其应用系统有极高的稳定性和可靠性。为了满足既快又稳的要求，自动化测试成为必不可少的环节。

在测试时，可以通过截取返回报文关键参数的方式确定测试是否通过。但是，这种方案需要被测系统的接口有固定字段返回对错信息，且最终结果仅能表示是测试通过还是未通过，对出现的错误无进一步归类的能力，无法避免错误分析需要的大量工作，导致整体测试效率低下，无法满足商业银行的自动化测试需求。

发明内容

本申请提供一种自动化测试方法、装置、设备及存储介质，用以提高商业银行的自动化测试效率。

第一方面，本申请提供一种自动化测试方法，包括：

向商业银行的被测系统发送测试报文，以使所述被测系统根据所述测试报文生成对应的返回报文；

若无法与所述被测系统正常通讯并从所述被测系统获取到预期的返回报文，则确定测试结果为通讯级错误；

若获取到预期的返回报文，则根据所述返回报文确定对应的处理结果；

若处理结果为正确，则确定测试结果为应用级正确；若处理结果为错误，则确定测试结果为应用级错误；若处理结果指示需进行复核或远程授权，则确定测试结果为需要授权；

在对被测系统进行测试的过程中，若检测到测试程序处理异常，则确定测试结果为内部错误；

输出测试结果对应的标志和描述信息。

可选的，向商业银行的被测系统发送测试报文，以使所述被测系统根据所述测试报文生成对应的返回报文，包括：

根据测试案例，生成多个流程对应的测试报文；其中，所述测试案例用于测试交易过程中的多个流程，多个流程包括发起流程、授权流程、处理流程；

将所述发起流程对应的测试报文发送给所述被测系统，以使所述被测系统根据所述发起流程对应的测试报文生成对应的返回报文；

相应的，所述方法还包括：

在获取到所述发起流程对应的返回报文后，若根据所述返回报文确定所述发起流程的测试结果为需要授权，则向所述被测系统发送授权流程对应的测试报文，以使所述被测系统根据所述授权流程对应的测试报文生成对应的返回报文；

若所述授权流程对应的返回报文指示授权成功，则确定所述授权流程对应的测试结果为应用级正确；

向所述被测系统发送处理流程对应的测试报文，以使所述被测系统根据所述处理流程对应的测试报文生成对应的返回报文；

根据所述处理流程对应的返回报文，确定所述处理流程对应的测试结果。

可选的，所述描述信息包括下述至少一项：错误码、错误信息、返回信息；输出测试结果对应的标志和描述信息，包括：

当测试结果为内部错误时，输出测试结果对应的标志，错误码、错误信息、返回信息均为空；

当测试结果为通讯级错误时，输出测试结果对应的标志以及返回信息，所述返回信息包含从所述被测系统获取到的所有信息，错误码、错误信息均为空；

当测试结果为应用级正确或需要授权时，输出测试结果对应的标志以及返回信息，所述返回信息包括获取到的返回报文，错误码、错误信息均为空；

当测试结果为应用级错误时，根据返回报文确定错误码和/或错误信息，并输出测试结果对应的标志、错误码、错误信息以及返回信息，所述返回信息包括获取到的返回报文。

可选的，所述方法还包括：

构建错误码库，所述错误码库用于存储错误码与错误信息之间的对应关系；

相应的，根据返回报文确定错误码和/或错误信息，包括：

若所述返回报文包含规范的错误码，则根据从所述返回报文提取到的错误码，从所述错误码库中查找对应的错误信息；

若所述返回报文不包含规范的错误码，且所述返回报文包含错误信息，则根据从返回报文提取到的错误信息，通过第一正则表达式确定对应的错误码；

若所述返回报文不包含错误码和错误信息，则根据所述返回报文与第二正则表达式确定对应的错误码。

可选的，所述方法还包括：

在所述错误码库中，为非缺陷错误对应的错误码增加标志位，设置有标志位的错误码形成非缺陷知识库；

相应的，在根据返回报文确定错误码和/或错误信息之后，还包括：

根据错误码库确定所述错误码是否属于非缺陷知识库；

在显示测试结果对应的标志信息、错误码、错误信息以及返回信息的同时，显示所述错误码是否属于非缺陷。

可选的，所述非缺陷错误包括被测系统配置错误、被测系统铺底数据异常，分别对应于第一非缺陷错误码和第二非缺陷错误码；所述方法还包括：

每隔预设时间，统计出现所述第一非缺陷错误码或第二非缺陷错误码的次数是否超过预设阈值；

若出现所述第一非缺陷错误码的次数超过预设阈值，则重新配置所述被测系统；

若出现所述第二非缺陷错误码的次数超过预设阈值，则检测并更新所述被测系统的铺底数据。

可选的，若无法与所述被测系统正常通讯并从所述被测系统获取到预期的返回报文，则确定测试结果为通讯级错误，包括：

根据所述被测系统的服务类型和/或测试报文对应的交易类型，确定预期返回报文的格式；

若无法与所述被测系统正常通讯，则确定测试结果为通讯级错误；

若与所述被测系统正常通讯并从所述被测系统获取到返回报文，则判断获取到的返回报文的格式是否与所述预期返回报文的格式一致；

若不一致，则确定测试结果为通讯级错误。

可选的，若获取到预期的返回报文，则根据所述返回报文确定对应的处理结果，包括：

若获取到预期的返回报文，则从所述返回报文的特定字段中读取对应的处理结果；

相应的，所述方法还包括：

若无法从所述特定字段读取对应的处理结果，则判断与所述被测系统之间的通讯类型是否为预设通讯类型；

若为预设通讯类型，则检测对应的通讯码是否为预设通讯码；

若为预设通讯码，则确定测试结果为通讯级错误。

可选的，所述方法还包括：

统计发送测试报文和获取到对应的返回报文之间的时间差；

若所述时间差大于预设时间，则向测试人员发送提醒信息。

第二方面，本申请提供一种自动化测试装置，包括：

发送模块，用于向商业银行的被测系统发送测试报文，以使所述被测系统根据所述测试报文生成对应的返回报文；

处理模块，用于若无法与所述被测系统正常通讯并从所述被测系统获取到预期的返回报文，则确定测试结果为通讯级错误；若获取到预期的返回报文，则根据所述返回报文确定对应的处理结果；若处理结果为正确，则确定测试结果为应用级正确；若处理结果为错误，则确定测试结果为应用级错误；若处理结果指示需进行复核或远程授权，则确定测试结果为需要授权；在对被测系统进行测试的过程中，若检测到测试程序处理异常，则确定测试结果为内部错误；

输出模块，用于输出测试结果对应的标志和描述信息。

第三方面，本申请提供一种电子设备，包括：存储器和至少一个处理器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行第一方面任一项所述的方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面任一项所述的方法。

第五方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面任一项所述的方法。

本申请提供的自动化测试方法、装置、设备及存储介质，通过向商业银行的被测系统发送测试报文，以使所述被测系统根据所述测试报文生成对应的返回报文，若无法与所述被测系统正常通讯并从所述被测系统获取到预期的返回报文，则确定测试结果为通讯级错误，若获取到预期的返回报文，则根据所述返回报文确定对应的处理结果，若处理结果为正确，则确定测试结果为应用级正确，若处理结果为错误，则确定测试结果为应用级错误，若处理结果指示需进行复核或远程授权，则确定测试结果为需要授权，在对被测系统进行测试的过程中，若检测到测试程序处理异常，则确定测试结果为内部错误，并输出测试结果对应的标志和描述信息，从而将不同系统、不同通讯方式、不同报文协议的接口测试结果标准化为统一的数据模型，对出现的测试错误提供了进一步归类的能力，降低人工分析工作量，辅助测试人员高效实施大规模、多系统的接口自动化测试结果分析处理，提高整体测试效率，满足商业银行场景下的自动化测试需求。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请实施例提供的一种应用场景示意图；

图2为本申请实施例提供的一种自动化测试方法的流程示意图；

图3为本申请实施例提供的另一种自动化测试方法的流程示意图；

图4为本申请实施例提供的一种交易流程对应的错误归类示意图；

图5为本申请实施例提供的一种自动化测试装置的结构示意图；

图6为本申请实施例提供的一种电子设备的结构框图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

随着商业银行自动化测试的深入开展，自动化测试案例的规模呈现“爆炸式”增长。自动化测试的使用场景不断丰富，自动化测试资产的使用频度也大幅提高。

在这一发展进程中，自动化测试的设计理念不断完善，新的技术不断应用，使得自动化测试资产的积累代价和维护代价不断降低。随之而来的，自动化测试资产的数量不断增长。以某商业银行为例，某年某月的全量自动化测试资产(脚本、案例)约3800条。在两年之后的某月，全量自动化测试资产已超过10万条，增长超26倍。其中，对执行资源消耗较大的界面自动化测试资产，从1300余条，快速增长至超39000余条，增长超30倍。

同时，产品迭代的速度不断提高，敏捷模式逐步成为主流，敏捷研发模式大幅提升，特别是在面客类应用系统中，敏捷已成为主流。在敏捷研发模式的迭代周期内，对自动化测试的回归需求显著增加。此外，随着DevOps(Development和Operations，过程、方法与系统)工具链也不断建设完善，自动化测试能力逐步从测试部门输出至开发部门，在每日构建、制品晋级、版本发布等流程中已成为必须的环节。因此，自动化测试资产的使用频度明显提升。

统计显示，某商业银行某年某月运行的自动化测试不足2万条次，至两年后的某月，单月运行数量已超过97万条次，两年增长超47倍。

随着自动化测试执行能力的不断提升，导致对测试执行的需求不断提升，自动化测试执行结果数据指数级增加，随之而来的大量结果分析处理工作将成为自动化测试的开展的瓶颈，亟需配套高效的自动化测试方法，同时，对自动化测试平台的结果分析能力提出了较高的要求。

图1为本申请实施例提供的一种应用场景示意图。如图1所示，测试人员可以编写测试案例输入到测试平台中，所述测试平台根据测试案例生成对应的测试报文发送给给被测系统，并从被测系统获取返回报文。

其中，所述被测系统可以为商业银行的任意系统，例如交易平台，交易平台能够对接现场的ATM机等终端设备。在实际应用时，交易平台与ATM机进行交互，实现交易功能。可选的，在测试过程中，测试平台可以模拟ATM机的操作，向交易平台发起测试报文，并获取测试平台的返回报文，从而根据反馈结果确定交易平台的测试结果。

对于自动化测试的结果判断，可以选择如下的几种方案进行处理：

1、人工对返回报文进行检查分析；

2、针对单个接口测试脚本编写结果检查脚本；

3、对同类接口的测试，截取返回报文某关键参数进行检查。

但是，人工分析依赖测试人员经验，且效率低下。针对单个接口测试脚本编写结果检查脚本的方法会增加测试脚本编写和维护的难度，无法适应成规模的接口测试。截取返回报文某关键参数进行检查的方法，需系统的接口有固定字段返回应用级对错信息，且仅能判断交易应用级对错，对错误无进一步归类的能力，无法避免错误分析需要的大量工作。

针对上述问题，本申请实施例提出了一种应用于商业银行的自动化测试方法，考虑到商业银行的组织级的自动化测试平台所管理的接口自动化测试案例往往数量庞大、隶属于不同的系统，且接口的通讯方式多样，报文的种类各不相同，因此，本申请实施例在组织级层面，将接口自动化测试的结果模型化，基于通讯级、应用级、系统级的错误类型分析接口自动化测试的结果，对出现的错误提供了进一步归类的能力，降低人工分析工作量，提高整体测试效率，提升“执行错误”与真实缺陷的逼近程度，辅助测试人员高效实施大规模、多系统的接口自动化测试结果分析处理，使得结果分析处理不再是接口自动化测试组织级开展的瓶颈，满足商业银行场景下的自动化测试需求。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图2为本申请实施例提供的一种自动化测试方法的流程示意图。本申请实施例提供的方法的执行主体可以为测试平台。如图2所示，所述方法包括：

步骤201、向商业银行的被测系统发送测试报文，以使所述被测系统根据所述测试报文生成对应的返回报文。

其中，所述测试报文可以是根据测试案例生成的。在向被测系统发送对应的测试报文后，被测系统可以对所述测试报文进行处理，得到返回报文，并将返回报文发送给所述测试平台。

步骤202、若无法与所述被测系统正常通讯并从所述被测系统获取到预期的返回报文，则确定测试结果为通讯级错误；若获取到预期的返回报文，则根据所述返回报文确定对应的处理结果；若处理结果为正确，则确定测试结果为应用级正确；若处理结果为错误，则确定测试结果为应用级错误；若处理结果指示需进行复核或远程授权，则确定测试结果为需要授权；在对被测系统进行测试的过程中，若检测到测试程序处理异常，则确定测试结果为内部错误。

具体的，在平台执行接口测试的过程中，若出现任何程序内部异常，则测试结果为内部错误。程序内部异常捕获的具体实现方法可以参见现有技术，本实施例中不再赘述。

若程序执行正常，还需要正常通讯并拿到预期的返回报文，否则就认为属于通讯级错误。如果能够正常通讯，但是不能拿到预期的返回报文，也认为属于通讯级错误。

在能够拿到正常的返回报文的情况下，一般统筹设计良好的系统，会在返回报文公有域特定字段返回应用级处理是否正确，若应用级处理错误，则还会在返回报文公有域特定字段返回错误码和错误信息。

在金融系统中，为保证安全，重要金融交易一般会涉及双人复核或者远程授权的过程，此时应用级处理结果为“需要授权”。

步骤203、输出测试结果对应的标志和描述信息。

其中，所述描述信息可以包括下述至少一项：错误码、错误信息、返回信息。其中，错误码用于表示错误对应的编码，错误信息用于表示发生错误的原因、场景等。错误信息和错误码可以是通过返回报文确定的，例如可以通过解析返回报文的特定字段来获取。返回信息可以包括从被测系统获取到的任意信息，例如包括返回报文。

可选的，本步骤中，当测试结果为内部错误时，输出测试结果对应的标志，错误码、错误信息、返回信息均为空；当测试结果为通讯级错误时，输出测试结果对应的标志以及返回信息，所述返回信息包含从所述被测系统获取到的所有信息，错误码、错误信息均为空；当测试结果为应用级正确或需要授权时，输出测试结果对应的标志以及返回信息，所述返回信息包括获取到的返回报文，错误码、错误信息均为空；当测试结果为应用级错误时，根据返回报文确定错误码和/或错误信息，并输出测试结果对应的标志、错误码、错误信息以及返回信息，所述返回信息包括获取到的返回报文。

通过不同类型的错误对应不同的展示方法，能够有效帮助测试人员了解具体的错误类型及描述信息，提升分析处理结果的效率。

测试结果对应的标志可以根据实际需要来设置。

可选的，在平台执行接口测试的过程中，若出现任何程序内部异常，则测试结果为内部错误，结果标志为I，此时错误码、错误信息和返回信息均为空。

若无法正常通讯并拿到预期的返回报文，则认为在通讯级发生异常，测试结果为通讯级错误，结果标志为U，此时错误码、错误信息均为空，通讯异常的任何返回信息存储在返回信息中。

若应用级处理正确，则结果标志为N，此时错误码、错误信息均为空，返回信息存储返回报文。

若应用级处理错误，则结果标志为E，错误码、错误信息存储返回报文提取的相应信息，返回信息存储返回报文。

若应用级处理结果为需要授权，则结果标志为A，错误码、错误信息均为空，返回信息存储返回报文。

本实施例中，接口测试结果的数据模型可以包括结果标志、错误码、错误信息和返回信息等。在接口测试的过程和结果中，可以从通讯级到应用级提取数据模型。

本实施例提供的应用于商业银行的自动化测试方法，通过向商业银行的被测系统发送测试报文，以使所述被测系统根据所述测试报文生成对应的返回报文，若无法与所述被测系统正常通讯并从所述被测系统获取到预期的返回报文，则确定测试结果为通讯级错误，若获取到预期的返回报文，则根据所述返回报文确定对应的处理结果，若处理结果为正确，则确定测试结果为应用级正确，若处理结果为错误，则确定测试结果为应用级错误，若处理结果指示需进行复核或远程授权，则确定测试结果为需要授权，在对被测系统进行测试的过程中，若检测到测试程序处理异常，则确定测试结果为内部错误，并输出测试结果对应的标志和描述信息，从而将不同系统、不同通讯方式、不同报文协议的接口测试结果标准化为统一的数据模型，对出现的测试错误提供了进一步归类的能力，降低人工分析工作量，辅助测试人员高效实施大规模、多系统的接口自动化测试结果分析处理，提高整体测试效率，满足商业银行场景下的自动化测试需求。

在本申请实施例提供的方案中，对上述错误的出现时机不作限制。例如，内部错误可能在判断通讯级、应用级错误之前出现，也可能在之后出现。图3为本申请实施例提供的另一种自动化测试方法的流程示意图。

如图3所示，测试平台首先组装上送报文，然后，判断程序处理是否正常，从而确定是否出现内部错误。判断程序处理是否正常的具体实现方式可以参见现有的任意方式，此处不作限制，只要是程序运行本身产生的错误，都可以归为内部错误，标志为I。

若处理正常，则与被测系统通讯。具体地，向被测系统发送报文，等待被测系统返回，返回后接收报文。在与被测系统通讯的过程中，可以判断是否正常通讯，判断是否正常通讯的具体实现方式也可以参见现有的任意方式，如果检测到无法正常通讯，则说明是通讯级错误。

若检测到通讯正常并能够拿到对应的报文，进一步判断是否为预期的报文，可以通过判断报文格式等方式确定是否为预期的报文，若属于预期的报文，则判断通讯级正确，若不属于预期的报文，则认为是通讯级错误，标志为U。

拆解返回报文后，再次判断程序处理是否正常，若不正常，则为内部错误。若正常，则判断是否需要授权，若是，则测试结果为需要授权，标志为A。若不需要授权，则判断应用级是否正确，得到应用级正确或应用级错误的结果，对应的标志分别为N和E。

通过图3所示的方式，可以基于一套完整的测试流程来对测试过程中的错误进行检测和归类，进一步提高处理效率。

在上述实施例提供的技术方案的基础上，可选的是，若无法与所述被测系统正常通讯并从所述被测系统获取到预期的返回报文，则确定测试结果为通讯级错误，可以包括：

根据所述被测系统的服务类型和/或测试报文对应的交易类型，确定预期返回报文的格式；若无法与所述被测系统正常通讯，则确定测试结果为通讯级错误；若与所述被测系统正常通讯并从所述被测系统获取到返回报文，则判断获取到的返回报文的格式是否与所述预期返回报文的格式一致；若不一致，则确定测试结果为通讯级错误。

其中，预期的返回报文可以是指是格式符合一定要求的返回报文，例如，xml、Jason格式等。可选的，可以根据被测系统的服务类型和测试报文对应的交易类型，确定对应的报文格式。每种交易对应的报文格式可以不同，不同的被测系统对应的报文格式也可以不同。被测系统的服务类型、测试报文对应的交易类型与预期的报文格式之间的对应关系可以根据实际需要来设置，也可以由测试人员输入。

通过交易类型确定对应的报文格式，并基于报文格式确定测试结果是否为通讯级错误，能够快速地识别出通讯错误导致的报文格式错误，提高检测的准确性和效率。

可选的，若获取到预期的返回报文，则根据所述返回报文确定对应的处理结果，包括：若获取到预期的返回报文，则从所述返回报文的特定字段中读取对应的处理结果。

相应的，所述方法还包括：若无法从所述特定字段读取对应的处理结果，则判断与所述被测系统之间的通讯类型是否为预设通讯类型；若为预设通讯类型，则检测对应的通讯码是否为预设通讯码；若为预设通讯码，则确定测试结果为通讯级错误。

具体的，在http通讯、webservice通讯中，若不能通过特定字段检测到应用级处理结果时，后退至通讯级结果判断，判断通讯码是否满足要求。有可能存在返回了预期的报文，但是通讯码不正确的情况，这种情况依然认为属于通讯级错误。

通过在无法确定应用级结果时，退回至通讯级进行判断，能够有效提高测试结果的归类能力，准确判断错误原因，提高测试效果。

在上述实施例提供的技术方案的基础上，可选的是，向商业银行的被测系统发送测试报文，以使所述被测系统根据所述测试报文生成对应的返回报文，可以包括：

根据测试案例，生成多个流程对应的测试报文；其中，所述测试案例用于测试交易过程中的多个流程，多个流程包括发起流程、授权流程、处理流程；将所述发起流程对应的测试报文发送给所述被测系统，以使所述被测系统根据所述发起流程对应的测试报文生成对应的返回报文。

相应的，所述方法还包括：在获取到所述发起流程对应的返回报文后，若根据所述返回报文确定所述发起流程的测试结果为需要授权，则向所述被测系统发送授权流程对应的测试报文，以使所述被测系统根据所述授权流程对应的测试报文生成对应的返回报文；若所述授权流程对应的返回报文指示授权成功，则确定所述授权流程对应的测试结果为应用级正确；向所述被测系统发送处理流程对应的测试报文，以使所述被测系统根据所述处理流程对应的测试报文生成对应的返回报文；根据所述处理流程对应的返回报文，确定所述处理流程对应的测试结果。

图4为本申请实施例提供的一种交易流程对应的错误归类示意图。如图4所示，当测试案例包括发起、授权、处理多个流程时，每个流程分别进行报文测试。其中，发起可以用于表示发起交易操作，授权表示对交易操作进行授权，处理是指在授权完成后的具体处理过程。

具体的，可以先将发起流程对应的测试报文发送给所述被测系统，所述被测系统根据所述发起流程对应的测试报文生成对应的返回报文。在获取到所述发起流程对应的返回报文后，测试结果为需要授权，标志为A，该标志并不能表示处理结果是正确还是错误的，因为目前还处于未授权阶段，信息还没有被完全处理。再将授权流程对应的测试报文发送给被测系统，若所述授权流程对应的返回报文指示授权成功，则确定所述授权流程对应的测试结果为应用级正确，标志为N。最后向所述被测系统发送处理流程对应的测试报文，并根据对应的返回报文，确定所述处理流程对应的测试结果，结果可能是应用级正确或应用级错误，即N或E。

通过针对交易过程中不同类型的多个流程设计对应的测试方式，能够快速、准确地实现商业银行的交易流程的测试，满足商业银行的业务需求。

在本申请实施例中，当测试结果为应用级错误时，可以根据返回报文确定错误码和/或错误信息，并输出测试结果对应的错误码和错误信息。可选的，还可以构建错误码库，所述错误码库用于存储错误码与错误信息之间的对应关系。不同的被测系统可以对应不同的错误码库。

相应的，根据返回报文确定错误码和/或错误信息，可以包括：若所述返回报文包含规范的错误码，则根据从所述返回报文提取到的错误码，从所述错误码库中查找对应的错误信息；若所述返回报文不包含规范的错误码，且所述返回报文包含错误信息，则根据从返回报文提取到的错误信息，通过第一正则表达式确定对应的错误码；若所述返回报文不包含错误码和错误信息，则根据所述返回报文与第二正则表达式确定对应的错误码。

其中，所述错误码库以系统名区分被测系统，并对结果标志为E的接口测试结果细分错误码，分别设置错误描述、匹配方式和匹配表达式。匹配方式分为三种：

(1)、精确匹配：该匹配方式适用于统筹设计良好的系统，项目组能够较好的归类业务错误、分配错误码，并在系统接口设计中在公有域有固定字段返回错误码和错误信息，此类系统直接采用错误码库中的错误码与测试结果模型中的错误码匹配。

具体地，在测试过程中，若返回报文中包含规范的错误码，则根据从所述返回报文提取到的错误码，从所述错误码库中查找对应的错误信息，并输出对应的错误码和错误信息。例如，错误码E0001，对应的错误信息为用户卡号错误。

其中，错误码是否规范可以格式来确定，例如满足某些格式要求才是规范的错误码，或者，可以通过与错误码库进行匹配来确定，若能从错误码库中查找到，则认为是规范的错误码。

(2)、错误信息模糊匹配：该匹配方式适用于能够从固定字段输出错误信息，但没有固定字段返回错误码或者错误码定义不规范(如错误码是中文信息)的系统，此类系统错误码和错误信息由测试人员自行定义，每类错误码需对应设计匹配表达式，即一条正则表达式，若接口测试结果模型中的错误信息能匹配该正则表达式则归为该类错误。

具体地，在测试过程中，若返回报文不包含规范的错误码，且所述返回报文包含错误信息，则根据从返回报文提取到的错误信息，通过第一正则表达式确定对应的错误码。

其中，第一正则表达式的具体表现方式可以根据实际需要来设计，将错误信息与所述第一正则表达式进行匹配，可以得到对应的错误码。

(3)、返回报文模糊匹配：该匹配方式适用于接口设计不规范、无固定字段返回错误信息的系统，此类系统错误码和错误信息由测试人员自行定义，每类错误码需对应设计匹配表达式，即一条正则表达式，若接口测试结果模型中的返回信息能匹配该正则表达式则归为该类错误；

具体地，在测试过程中，若返回报文不包含错误码和错误信息，则根据所述返回报文与第二正则表达式确定对应的错误码。

其中，第二正则表达式的具体表现方式可以根据实际需要来设计，将返回报文与所述第二正则表达式进行匹配，可以得到对应的错误码。

基于组织级平台的接口测试结果模型数据，为各系统量身定制错误码库，对大规模接口回归测试的结果进一步分类、分析，使得测试人员可以灵活自主的为所测系统定制错误归类识别方案，在商业银行系统种类繁多、接口设计标准化程度不一的场景下，解决了接口测试结果的错误识别问题，提高结果的一致性，满足不同系统的测试需求。

可选的，还可以在所述错误码库中，为非缺陷错误对应的错误码增加标志位，设置有标志位的错误码形成非缺陷知识库。

相应的，当测试结果为应用级错误时，在根据返回报文确定错误码和/或错误信息之后，还可以根据错误码库确定所述错误码是否属于非缺陷知识库；在显示测试结果对应的标志信息、错误码、错误信息以及返回信息的同时，显示所述错误码是否属于非缺陷。

具体地，在实际接口测试中，由于被测系统配置错误、被测系统铺底数据异常等问题而出现的错误并非本次测试结果中需重点关注的内容，对于该类错误，将错误码库中的对应错误条目增加标志位，即纳入非缺陷知识库。

本申请实施例中，错误码库中不仅可以包含错误码和错误信息的对应关系，还可以对非缺陷的错误码增加标志位，标识其属于非缺陷。在测试过程中，获取到错误码后，直接根据错误码，查找错误码表，即可确定是否属于非缺陷。

通过为被测系统量身定制非缺陷知识库，使得测试人员可以预设部分不关注的错误类型，以获取重点更加突出的错误分析结果，辅助测试人员更加高效的完成测试活动，大大降低测试结果的人工分析工作量。

可选的，所述非缺陷错误包括被测系统配置错误、被测系统铺底数据异常，分别对应于第一非缺陷错误码和第二非缺陷错误码；所述方法还包括：

每隔预设时间，统计出现所述第一非缺陷错误码或第二非缺陷错误码的次数是否超过预设阈值；

若出现所述第一非缺陷错误码的次数超过预设阈值，则重新配置所述被测系统；

若出现所述第二非缺陷错误码的次数超过预设阈值，则检测并更新所述被测系统的铺底数据。

具体的，被测系统配置错误可以是指被测系统的某些配置参数出现了问题，若确定属于配置错误，则对应的错误码可以为第一非缺陷错误码。若在一定周期内，若统计发现第一非缺陷错误码出现的次数较多，则可以对被测系统重新进行配置，以减少配置问题带来的错误，提高测试效率。

被测系统铺底数据异常，可以是指被测系统的铺底数据存在问题导致测试发生错误，对应的错误码可以为第二非缺陷错误码。在一定周期内，若统计发现第二非缺陷错误码出现的次数较多，则可以对被测系统的铺底数据进行处理，以减少铺底数据异常带来的错误，提高测试效率。

在实际测试过程中，可以基于本申请实施例提供的接口测试结果模型数据和组织级的错误码库、非缺陷知识库，对测试结果进行分类分析，分类分析后输出概要表，如表1所示。

表1概要表

结果类型	结果标志	说明	数量
				执行正确	N	交易执行正确	100
执行正确	A	交易需要授权	1
				执行错误	E	交易执行错误，疑似缺陷，需进一步分析	57
执行错误非缺陷	E	交易执行错误，但依据知识库确认为非缺陷	2
				执行错误非缺陷	I	发生内部错误，由测试平台排查解决	0
执行错误非缺陷	U	发生通讯错误，需排查被测系统可用性等问题	1

执行错误的交易进一步处理为错误明细表，如表2所示。

表2错误明细表

系统	结果类型	错误码	错误信息	交易码	数量
						A	执行错误	E0001	卡号错误	A0001、A0002、A0003	3
A	执行错误非缺陷	E0002	用户未签到	A0003、A0004	54
						B	执行错误	E0001	输入数据不能为空	B0001	5

在上述各实施例提供的技术方案的基础上，可选的，还可以统计发送测试报文和获取到对应的返回报文之间的时间差；若所述时间差大于预设时间，则向测试人员发送提醒信息。

具体的，本申请实施例中的测试人员，可以是指开发人员或者测试人员。若发送测试报文与获取返回报文之间的时间差过长，则可以对测试人员进行提醒，提醒的方式包括但不限于邮件、短信、电话、即时消息等。

通过根据测试报文与返回报文的时间差对测试人员进行测试，能够使测试人员及时获知测试过程中的报文返回情况并采取相应措施，提高测试效果。

图5为本申请实施例提供的一种自动化测试装置的结构示意图。如图5所示，所述装置包括：

发送模块501，用于向商业银行的被测系统发送测试报文，以使所述被测系统根据所述测试报文生成对应的返回报文；

处理模块502，用于若无法与所述被测系统正常通讯并从所述被测系统获取到预期的返回报文，则确定测试结果为通讯级错误；若获取到预期的返回报文，则根据所述返回报文确定对应的处理结果；若处理结果为正确，则确定测试结果为应用级正确；若处理结果为错误，则确定测试结果为应用级错误；若处理结果指示需进行复核或远程授权，则确定测试结果为需要授权；在对被测系统进行测试的过程中，若检测到测试程序处理异常，则确定测试结果为内部错误；

输出模块503，用于输出测试结果对应的标志和描述信息。

可选的，所述发送模块501具体用于：

根据测试案例，生成多个流程对应的测试报文；其中，所述测试案例用于测试交易过程中的多个流程，多个流程包括发起流程、授权流程、处理流程；

将所述发起流程对应的测试报文发送给所述被测系统，以使所述被测系统根据所述发起流程对应的测试报文生成对应的返回报文；

在获取到所述发起流程对应的返回报文后，若根据所述返回报文确定所述发起流程的测试结果为需要授权，则向所述被测系统发送授权流程对应的测试报文，以使所述被测系统根据所述授权流程对应的测试报文生成对应的返回报文；

若所述授权流程对应的返回报文指示授权成功，则确定所述授权流程对应的测试结果为应用级正确；

向所述被测系统发送处理流程对应的测试报文，以使所述被测系统根据所述处理流程对应的测试报文生成对应的返回报文；

根据所述处理流程对应的返回报文，确定所述处理流程对应的测试结果。

可选的，所述描述信息包括下述至少一项：错误码、错误信息、返回信息；所述输出模块503具体用于：

当测试结果为内部错误时，输出测试结果对应的标志，错误码、错误信息、返回信息均为空；

当测试结果为通讯级错误时，输出测试结果对应的标志以及返回信息，所述返回信息包含从所述被测系统获取到的所有信息，错误码、错误信息均为空；

当测试结果为应用级正确或需要授权时，输出测试结果对应的标志以及返回信息，所述返回信息包括获取到的返回报文，错误码、错误信息均为空；

当测试结果为应用级错误时，根据返回报文确定错误码和/或错误信息，并输出测试结果对应的标志、错误码、错误信息以及返回信息，所述返回信息包括获取到的返回报文。

可选的，所述输出模块503还用于：

构建错误码库，所述错误码库用于存储错误码与错误信息之间的对应关系；

相应的，所述输出模块在根据返回报文确定错误码和/或错误信息时，具体用于：

若所述返回报文包含规范的错误码，则根据从所述返回报文提取到的错误码，从所述错误码库中查找对应的错误信息；

若所述返回报文不包含规范的错误码，且所述返回报文包含错误信息，则根据从返回报文提取到的错误信息，通过第一正则表达式确定对应的错误码；

若所述返回报文不包含错误码和错误信息，则根据所述返回报文与第二正则表达式确定对应的错误码。

可选的，所述输出模块503还用于：

在所述错误码库中，为非缺陷错误对应的错误码增加标志位，设置有标志位的错误码形成非缺陷知识库；

在根据返回报文确定错误码和/或错误信息之后，根据错误码库确定所述错误码是否属于非缺陷知识库；

在显示测试结果对应的标志信息、错误码、错误信息以及返回信息的同时，显示所述错误码是否属于非缺陷。

可选的，所述非缺陷错误包括被测系统配置错误、被测系统铺底数据异常，分别对应于第一非缺陷错误码和第二非缺陷错误码；所述输出模块503还用于：

每隔预设时间，统计出现所述第一非缺陷错误码或第二非缺陷错误码的次数是否超过预设阈值；

若出现所述第一非缺陷错误码的次数超过预设阈值，则重新配置所述被测系统；

若出现所述第二非缺陷错误码的次数超过预设阈值，则检测并更新所述被测系统的铺底数据。

可选的，所述处理模块502在若无法与所述被测系统正常通讯并从所述被测系统获取到预期的返回报文，则确定测试结果为通讯级错误时，具体用于：

根据所述被测系统的服务类型和/或测试报文对应的交易类型，确定预期返回报文的格式；

若无法与所述被测系统正常通讯，则确定测试结果为通讯级错误；

若与所述被测系统正常通讯并从所述被测系统获取到返回报文，则判断获取到的返回报文的格式是否与所述预期返回报文的格式一致；

若不一致，则确定测试结果为通讯级错误。

可选的，所述处理模块502在若获取到预期的返回报文，则根据所述返回报文确定对应的处理结果时，具体用于：

若获取到预期的返回报文，则从所述返回报文的特定字段中读取对应的处理结果；

相应的，所述处理模块还用于：

若无法从所述特定字段读取对应的处理结果，则判断与所述被测系统之间的通讯类型是否为预设通讯类型；

若为预设通讯类型，则检测对应的通讯码是否为预设通讯码；

若为预设通讯码，则确定测试结果为通讯级错误。

可选的，所述输出模块503还用于：

统计发送测试报文和获取到对应的返回报文之间的时间差；

若所述时间差大于预设时间，则向测试人员发送提醒信息。

前述任一实施例提供的自动化测试装置，用于执行前述任一方法实施例的技术方案，其实现原理和技术效果类似，在此不再赘述。

图6为本申请实施例提供的一种电子设备的结构框图。如图6所示，所述电子设备包括：存储器601和至少一个处理器602；

所述存储器601存储计算机执行指令；

所述至少一个处理器602执行所述存储器601存储的计算机执行指令，使得所述至少一个处理器602执行前述任一实施例所述的方法。

可选地，存储器601既可以是独立的，也可以跟处理器602集成在一起。

本实施例提供的电子设备的实现原理和技术效果可以参见前述各实施例，此处不再赘述。

本申请实施例一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现前述任一实施例所述的方法。

本申请实施例一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现前述任一实施例所述的方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本发明各个实施例所述方法的部分步骤。

应理解，上述处理器可以是中央处理单元(Central Processing Unit，简称CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。

Claims (8)

1.一种自动化测试方法，其特征在于，所述方法包括：

向商业银行的被测系统发送测试报文，以使所述被测系统根据所述测试报文生成对应的返回报文；

若无法与所述被测系统正常通讯并从所述被测系统获取到预期的返回报文，则确定测试结果为通讯级错误；

若获取到预期的返回报文，则根据所述返回报文确定对应的处理结果；

若处理结果为正确，则确定测试结果为应用级正确；若处理结果为错误，则确定测试结果为应用级错误；若处理结果指示需进行复核或远程授权，则确定测试结果为需要授权；

在对被测系统进行测试的过程中，若检测到测试程序处理异常，则确定测试结果为内部错误；

输出测试结果对应的标志和描述信息；

其中，所述描述信息包括下述至少一项：错误码、错误信息、返回信息；输出测试结果对应的标志和描述信息，包括：

当测试结果为内部错误时，输出测试结果对应的标志，错误码、错误信息、返回信息均为空；

当测试结果为通讯级错误时，输出测试结果对应的标志以及返回信息，所述返回信息包含从所述被测系统获取到的所有信息，错误码、错误信息均为空；

当测试结果为应用级正确或需要授权时，输出测试结果对应的标志以及返回信息，所述返回信息包括获取到的返回报文，错误码、错误信息均为空；

当测试结果为应用级错误时，根据返回报文确定错误码和/或错误信息，并输出测试结果对应的标志、错误码、错误信息以及返回信息，所述返回信息包括获取到的返回报文；

所述方法还包括：构建错误码库，所述错误码库用于存储错误码与错误信息之间的对应关系；相应的，根据返回报文确定错误码和/或错误信息，包括：

若所述返回报文包含规范的错误码，则根据从所述返回报文提取到的错误码，从所述错误码库中查找对应的错误信息；

若所述返回报文不包含规范的错误码，且所述返回报文包含错误信息，则根据从返回报文提取到的错误信息，通过第一正则表达式确定对应的错误码；

若所述返回报文不包含错误码和错误信息，则根据所述返回报文与第二正则表达式确定对应的错误码；

所述方法还包括：在所述错误码库中，为非缺陷错误对应的错误码增加标志位，设置有标志位的错误码形成非缺陷知识库；相应的，在根据返回报文确定错误码和/或错误信息之后，还包括：

根据错误码库确定所述错误码是否属于非缺陷知识库；

在显示测试结果对应的标志信息、错误码、错误信息以及返回信息的同时，显示所述错误码是否属于非缺陷；

其中，所述非缺陷错误包括被测系统配置错误、被测系统铺底数据异常，分别对应于第一非缺陷错误码和第二非缺陷错误码；所述方法还包括：

每隔预设时间，统计出现所述第一非缺陷错误码或第二非缺陷错误码的次数是否超过预设阈值；

若出现所述第一非缺陷错误码的次数超过预设阈值，则重新配置所述被测系统；

若出现所述第二非缺陷错误码的次数超过预设阈值，则检测并更新所述被测系统的铺底数据。

2.根据权利要求1所述的方法，其特征在于，向商业银行的被测系统发送测试报文，以使所述被测系统根据所述测试报文生成对应的返回报文，包括：

根据测试案例，生成多个流程对应的测试报文；其中，所述测试案例用于测试交易过程中的多个流程，多个流程包括发起流程、授权流程、处理流程；

将所述发起流程对应的测试报文发送给所述被测系统，以使所述被测系统根据所述发起流程对应的测试报文生成对应的返回报文；

相应的，所述方法还包括：

在获取到所述发起流程对应的返回报文后，若根据所述返回报文确定所述发起流程的测试结果为需要授权，则向所述被测系统发送授权流程对应的测试报文，以使所述被测系统根据所述授权流程对应的测试报文生成对应的返回报文；

若所述授权流程对应的返回报文指示授权成功，则确定所述授权流程对应的测试结果为应用级正确；

向所述被测系统发送处理流程对应的测试报文，以使所述被测系统根据所述处理流程对应的测试报文生成对应的返回报文；

根据所述处理流程对应的返回报文，确定所述处理流程对应的测试结果。

3.根据权利要求1所述的方法，其特征在于，若无法与所述被测系统正常通讯并从所述被测系统获取到预期的返回报文，则确定测试结果为通讯级错误，包括：

根据所述被测系统的服务类型和/或测试报文对应的交易类型，确定预期返回报文的格式；

若无法与所述被测系统正常通讯，则确定测试结果为通讯级错误；

若与所述被测系统正常通讯并从所述被测系统获取到返回报文，则判断获取到的返回报文的格式是否与所述预期返回报文的格式一致；

若不一致，则确定测试结果为通讯级错误。

4.根据权利要求3所述的方法，其特征在于，若获取到预期的返回报文，则根据所述返回报文确定对应的处理结果，包括：

若获取到预期的返回报文，则从所述返回报文的特定字段中读取对应的处理结果；

相应的，所述方法还包括：

若无法从所述特定字段读取对应的处理结果，则判断与所述被测系统之间的通讯类型是否为预设通讯类型；

若为预设通讯类型，则检测对应的通讯码是否为预设通讯码；

若为预设通讯码，则确定测试结果为通讯级错误。

5.根据权利要求1-4任一项所述的方法，其特征在于，还包括：

统计发送测试报文和获取到对应的返回报文之间的时间差；

若所述时间差大于预设时间，则向测试人员发送提醒信息。

6.一种自动化测试装置，其特征在于，包括：

发送模块，用于向商业银行的被测系统发送测试报文，以使所述被测系统根据所述测试报文生成对应的返回报文；

处理模块，用于若无法与所述被测系统正常通讯并从所述被测系统获取到预期的返回报文，则确定测试结果为通讯级错误；若获取到预期的返回报文，则根据所述返回报文确定对应的处理结果；若处理结果为正确，则确定测试结果为应用级正确；若处理结果为错误，则确定测试结果为应用级错误；若处理结果指示需进行复核或远程授权，则确定测试结果为需要授权；在对被测系统进行测试的过程中，若检测到测试程序处理异常，则确定测试结果为内部错误；

输出模块，用于输出测试结果对应的标志和描述信息；

其中，所述描述信息包括下述至少一项：错误码、错误信息、返回信息；所述输出模块具体用于：

当测试结果为内部错误时，输出测试结果对应的标志，错误码、错误信息、返回信息均为空；

当测试结果为通讯级错误时，输出测试结果对应的标志以及返回信息，所述返回信息包含从所述被测系统获取到的所有信息，错误码、错误信息均为空；

当测试结果为应用级正确或需要授权时，输出测试结果对应的标志以及返回信息，所述返回信息包括获取到的返回报文，错误码、错误信息均为空；

当测试结果为应用级错误时，根据返回报文确定错误码和/或错误信息，并输出测试结果对应的标志、错误码、错误信息以及返回信息，所述返回信息包括获取到的返回报文；

所述输出模块还用于：构建错误码库，所述错误码库用于存储错误码与错误信息之间的对应关系；相应的，所述输出模块在根据返回报文确定错误码和/或错误信息时，具体用于：

若所述返回报文包含规范的错误码，则根据从所述返回报文提取到的错误码，从所述错误码库中查找对应的错误信息；

若所述返回报文不包含规范的错误码，且所述返回报文包含错误信息，则根据从返回报文提取到的错误信息，通过第一正则表达式确定对应的错误码；

若所述返回报文不包含错误码和错误信息，则根据所述返回报文与第二正则表达式确定对应的错误码；

所述输出模块还用于：

在所述错误码库中，为非缺陷错误对应的错误码增加标志位，设置有标志位的错误码形成非缺陷知识库；

在根据返回报文确定错误码和/或错误信息之后，根据错误码库确定所述错误码是否属于非缺陷知识库；

在显示测试结果对应的标志信息、错误码、错误信息以及返回信息的同时，显示所述错误码是否属于非缺陷；

其中，所述非缺陷错误包括被测系统配置错误、被测系统铺底数据异常，分别对应于第一非缺陷错误码和第二非缺陷错误码；所述输出模块还用于：

每隔预设时间，统计出现所述第一非缺陷错误码或第二非缺陷错误码的次数是否超过预设阈值；

若出现所述第一非缺陷错误码的次数超过预设阈值，则重新配置所述被测系统；

若出现所述第二非缺陷错误码的次数超过预设阈值，则检测并更新所述被测系统的铺底数据。

7.一种电子设备，其特征在于，包括：存储器和至少一个处理器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至5中任一项所述的方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至5中任一项所述的方法。