CN113568829A - 一种外场测试方法及装置、存储介质 - Google Patents

Abstract

本申请实施例提供了一种外场测试方法及装置、存储介质，包括：利用预设log分析模板，对外场测试的日志文件log信息进行匹配分析，得到外场测试的问题类型；预设log分析模板为根据预设问题场景的分析思路和异常告警信息编写的log分析模板；生成问题类型对应的测试报告，以提示进行对比复测和/或开发分析。

Description

一种外场测试方法及装置、存储介质

技术领域

本申请涉及软件测试领域，尤其涉及一种外场测试方法及装置、存储介质。

背景技术

移动终端调制器/解调器(MOdulator/DEModulator，Modem)承载着从用户软件层到无线通信网络层之间的传递作用，作为与无线通信网络交互的核心元件，Modem通讯功能的完善程度、性能表现的高低、以及压力工作的稳定性都直接影响着用户的使用体验。因此在研发测试过程中，不但要有基本的软件功能测试和实验室协议测试，更要注重模拟移动终端在外场真实无线通信网络中进行多方面、大数量的用例测试。

目前，测试人员在进行Modem外场测试的过程中，先在目标网络下构造测试场景进行外场测试，在出现测试异常时，测试人员进行初步筛查并定位问题组件，之后转发给开发分析，若分析结果为环境原因，还需测试人员进行对比复测。

然而，测试人员按照经验进行初步筛查，会导致问题定位精度低和定位速度慢；且从出现测试异常到进行对比复测的时间周期长，会降低问题复现的概率。

发明内容

本申请实施例提供一种外场测试方法及装置、存储介质，能够提高问题定位精度和定位速度，提高对比复测时的问题复现概率。

本申请的技术方案是这样实现的：

第一方面，本申请实施例提出一种外场测试方法，所述方法包括：

利用预设log分析模板，对外场测试的日志文件log信息进行匹配分析，得到所述外场测试的问题类型；所述预设log分析模板为根据预设问题场景的分析思路和异常告警信息编写的log分析模板；

生成所述问题类型对应的测试报告，以提示进行对比复测和/或开发分析。

第二方面，本申请实施例提出一种外场测试装置，所述装置包括：

log分析单元，用于利用预设log分析模板，对外场测试的日志文件log信息进行匹配分析，得到所述外场测试的问题类型；所述预设log分析模板为根据预设问题场景的分析思路和异常告警信息编写的log分析模板；

报告生成单元，用于生成所述问题类型对应的测试报告，以提示进行对比复测和/或开发分析。

第三方面，本申请实施例提出一种终端，所述终端包括：处理器、存储器及通信总线；所述处理器执行存储器存储的运行程序时实现如上述任一项所述的方法。

第四方面，本申请实施例提出一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一项所述的方法。

本申请实施例提供了一种外场测试方法及装置、存储介质，该方法包括：利用预设log分析模板，对外场测试的日志文件log信息进行匹配分析，得到外场测试的问题类型；预设log分析模板为根据预设问题场景的分析思路和异常告警信息编写的log分析模板；生成问题类型对应的测试报告，以提示进行对比复测和/或开发分析。采用上述实现方案，根据预设问题场景的分析思路和异常告警信息编写预设log分析模板，之后，直接利用预设log分析模板对外场测试的log信息进行匹配分析，能够快速且准确的定位出外场测试的问题类型，生成问题类型对应的测试报告之后，测试人员能够及时进行对比复测和/或传输至开发分析，能够缩短从出现测试异常到对比复测的时间周期长，进而提高问题复现的概率。

附图说明

图1为一种外场测试中进行问题分析的流程图；

图2为本申请实施例提供的一种外场测试方法的流程图；

图3为本申请实施例提供的一种示例性的基于电话呼通失败的分析思路制作的log分析模板的流程示意图；

图4为本申请实施例提供的一种外场测试装置的结构示意图一；

图5为本申请实施例提供的一种外场测试装置的结构示意图二。

具体实施方式

应当理解，此处描述的具体实施例仅仅用以解释本申请。并不用于限定本申请。

针对终端Modem外场测试场景，如图1所示，若在外场测试过程中发现终端异常，则保存终端的日志文件log信息，然后传回实验室，测试人员进行初步筛查终端被叫失败的原因，并回传log信息至开发分析，具体的，首先转无线资源控制(Radio Resource Control，RRC)分析，若分析出建链失败、失败原因为接入失败，则转物理层(Physical，PHY)过程组进行分析，若分析出接入失败时终端未接收到Msg(信息)2，则转PHY解调组进行分析，若分析出Decode(解码)误码，则转PHY信号组进行分析，若分析出信号异常，信噪比(Signal-to-Noise Ratio，SNR)低，则判断出可能是网络问题或者外场环境问题导致的、或者需要增加测试维度信息时，需要测试人员进行对比复测，再次去问题现场复现，并对复现场景中的log信息分析。

然而，在外场测试时，测试人员不一定具备对应组件研发人员的分析问题的能力，即使发现问题，也不一定能及时定位出问题组件；进而导致问题无法及时传递到对应的开发组件，可能在不同开发组件之间进行多次转手。由于外场测试环境复杂多变，不同时间进行复测时，环境变化会导致问题无法复现，如果复测时需要增加测试维度信息，再次复测也会导致问题无法复现。且外场环境远比实验室环境复杂，Modem芯片的一些问题不一定在业务上体现出来，是隐藏起来的，如果业务正常，则该问题可能被遗漏。

为解决上述问题，本申请实施例提供一种外场测试方法，如图2所示，该方法可以包括：

S101、利用预设log分析模板，对外场测试的日志文件log信息进行匹配分析，得到外场测试的问题类型；预设log分析模板为根据预设问题场景的分析思路和异常告警信息编写的log分析模板。

本申请实施例提供的一种外场测试方法适用于终端的Modem芯片进行外场测试的场景中。

本申请实施例中，终端可以为任何具备通信和存储功能的设备，例如：平板电脑、手机、个人计算机(Personal Computer，PC)、笔记本电脑、可穿戴设备等设备。

本申请实施例中，预先根据预设问题场景的分析思路和异常告警信息编写预设log分析模板；其中，预设log分析模板可以考虑使用python语言编写，具体的预设log分析模板的编写语言可以根据实际情况进行选择，本申请实施例不做具体的限定。在外场测试完成之后，提取外场测试的log信息，外场测试装置可利用预设log分析模板，对log信息进行匹配分析，得到外场测试的问题类型。

需要说明的是，问题类型包括终端自身的问题和外场环境问题，具体的可以根据实际情况进行分析确定，本申请实施例不做具体的限定。

需要说明的是，由于预设log分析模板中包括预设问题场景的分析思路和异常告警信息这两个部分，则利用预设log分析模板对外场测试的log信息进行的匹配分析也同样包括两种方式。

在一种可选的实施例中，在外场测试过程中，若存在异常测试结果时，提取异常测试结果对应的问题log信息，此时，按照预设问题场景的分析思路，对问题log信息进行分析，得到问题log信息对应的分析结果数据，并根据分析结果数据确定问题类型。

示例性的，如外场呼通率测试场景，由于信号弱导致接入失败，从而电话呼通失败的问题场景。该问题场景的分析思路为：1、终端收到paging(寻呼)；2、发起建链，建链失败；3、随机接入导致建链失败；4、没有收到Msg2；5、终端检测到Msg2的下行控制信息(DownlinkControl Information，DCI)；6、decode误码且重传也是误码；7、检测前后5ms环境中的SNR低；则分析结果为环境信号弱导致的译码误码，需要安排对比复测，按照该思路使用python软件制作log分析模板，如图3所示，具体包括：

1、在终端接入失败时，判断是否接收到Msg2；

2、若接收到Msg2，则检测Msg4的接收；

3、在检测Msg4接收的过程中，若检测出decode误码，则判断SNR值；

4、若SNR值高于预设阈值，则判断出为终端问题；

5、若SNR值低于预设阈值，则判断出信号差导致误码，为外场环境问题；

6、在检测Msg4接收的过程中，若没有检测到Msg4的DCI，则判断SNR值；

7、若SNR值高于预设阈值，则检测Msg3的发送情况，并执行16；

8、若SNR值低于预设阈值，则判断出信号差导致误码，为外场环境问题；

9、若未接收到Msg2，则检测Msg2的接收；

10、在检测Msg2接收的过程中，若检测出decode误码，则判断SNR值；

11、若SNR值高于预设阈值，则判断出为终端问题；

12、若SNR值低于预设阈值，则判断出信号差导致误码，为外场环境问题；

13、在检测Msg2接收的过程中，若没有检测到Msg2的DCI，则判断SNR值；

14、若SNR值高于预设阈值，则检测Msg1的发送情况，并执行16；

15、若SNR值低于预设阈值，则判断出信号差导致误码，为外场环境问题；

16、分析发送功率情况；

17、根据发送功率情况判断是否发送异常；

18、若发送异常，则为终端问题；

19、若发送正常，则为终端问题。

在另一种可选的实施例中，无论是否出现异常外场测试结果，在外场测试完之后，将log信息和异常告警信息进行匹配，若在log信息中匹配到异常告警信息，则根据异常告警信息确定问题类型。

本申请实施例中，异常告警信息的数量为一个或者多个，异常告警信息可以以字符串的形式进行存储，在log信息中匹配字符串，在匹配到其中的一个或者多个字符串时，表征在log信息中匹配到一个或者多个异常告警信息，此时，能够根据一个或者多个异常告警信息确定出问题类型为终端类型。

可以理解的是，在预设log分析模板中增加异常告警信息，即使测试结果没有异常，但是log信息中匹配到该异常告警信息，仍然能够判断出存在的一些隐藏问题，进而提高问题定位的精度。

基于上述两种可选的实施例可知，若在外场测试时出现异常测试结果，则分别基于预设问题场景的分析思路对异常测试结果对应的问题log信息进行分析、基于异常告警信息对整个外场测试的log信息进行匹配；若未出现异常外场测试结果，则只需基于异常告警信息对整个外场测试的log信息进行匹配，定位隐藏问题。

S102、生成问题类型对应的测试报告，以提示进行对比复测和/或开发分析。

在得到外场测试的问题类型之后，就要生成问题类型对应的测试报告，测试人员可以基于测试报告进行对比复测和/或传输log信息至对应的开发组进行分析了。

需要说明的是，针对问题类型为终端问题的场景，由于终端Modem是有多个开发组共同开发的，因此在定位出终端问题之后，仍需进一步确定出具体的处理该终端问题的开发组，并将log信息传输至对应的开发组进行分析。

在一种可选的实施例中，针对出现外场测试异常的情况，若问题类型为外场环境问题，则生成第一测试报告；第一测试报告用于提示重新进行外场测试；若问题类型为终端问题，则根据分析结果定位终端问题组件和终端问题组件对应的第一开发组，并生成第二测试报告；第二测试报告用于提示将问题log信息传输至第一开发组进行分析。

示例性的，参考图3，在判断出为终端问题之后，还根据分析结果定位传输问题log信息的开发组，具体的，

4、若SNR值高于预设阈值，则判断出为终端问题，以及发送问题log信息至解调组进行开发分析；

11、若SNR值高于预设阈值，则判断出为终端问题，以及发送问题log信息至解调组进行开发分析；

18、若发送异常，则为终端问题，以及发送问题log信息至前端组进行开发分析；

19、若发送正常，则为终端问题，以及发送问题log信息至上行组进行开发分析。

在另一种可选的实施例中，针对出现外场测试异常和/或外场测试正常的情况，若问题类型为外场环境问题，则生成第一测试报告；第一测试报告用于提示重新进行外场测试；若问题类型为终端问题，则确定异常告警信息对应的第二开发组，并生成第三测试报告，第三测试报告用于提示将log信息传输至第二开发组进行分析。

基于上述两种可选的实施例，若确定出问题类型为外场环境问题，则直接启动对比复测，无需研发确认后再去对比分析，提高了复测的实效性。若确定出问题类型为终端问题，则可直接定位到问题组件，可直接将该问题传递到对应的开发组进行分析，减少了问题在不同组件之间的流动，提高了问题定位的效率。

可以理解的是，根据预设问题场景的分析思路和异常告警信息编写预设log分析模板，之后，直接利用预设log分析模板对外场测试的log信息进行匹配分析，能够快速且准确的定位出外场测试的问题类型，生成问题类型对应的测试报告之后，测试人员能够及时进行对比复测和/或传输至开发分析，能够缩短从出现测试异常到对比复测的时间周期长，进而提高问题复现的概率。

本申请实施例提供一种外场测试装置1。如图4所示，该装置1包括：

log分析单元10，用于利用预设log分析模板，对外场测试的日志文件log信息进行匹配分析，得到所述外场测试的问题类型；所述预设log分析模板为根据预设问题场景的分析思路和异常告警信息编写的log分析模板；

报告生成单元11，用于生成所述问题类型对应的测试报告，以提示进行对比复测和/或开发分析。

可选的，所述装置还包括：提取单元和确定单元；

所述提取单元，用于若存在异常测试结果，则提取所述异常测试结果对应的问题log信息；

所述log分析单元10，还用于按照所述预设问题场景的分析思路，对所述问题log信息进行分析，得到所述问题log信息对应的分析结果数据；

所述确定单元，用于根据所述分析结果数据确定所述问题类型。

可选的，所述装置还包括：定位单元；

所述报告生成单元11，还用于若所述问题类型为外场环境问题，则生成第一测试报告；所述第一测试报告用于提示重新进行外场测试；

所述定位单元，用于若所述问题类型为终端问题，则根据所述分析结果定位分析所述终端问题的第一开发组，并生成第二测试报告；所述第二测试报告用于提示将所述问题log信息传输至所述第一开发组进行分析。

可选的，所述log分析单元10，还用于将所述log信息和所述异常告警信息进行匹配；

所述确定单元，还用于若在所述log信息中匹配到所述异常告警信息，则根据所述异常告警信息确定所述问题类型。

可选的，所述报告生成单元11，还用于若所述问题类型为外场环境问题，则生成第一测试报告；所述第一测试报告用于提示重新进行外场测试；

所述确定单元，还用于若所述问题类型为终端问题，则确定所述异常告警信息对应的第二开发组，并生成第三测试报告，所述第三测试报告用于提示将所述log信息传输至所述第二开发组进行分析。

本申请实施例提供的一种外场测试装置，利用预设log分析模板，对外场测试的日志文件log信息进行匹配分析，得到外场测试的问题类型；预设log分析模板为根据预设问题场景的分析思路和异常告警信息编写的log分析模板；生成问题类型对应的测试报告，以提示进行对比复测和/或开发分析。由此可见，本实施例提出的外场测试装置，根据预设问题场景的分析思路和异常告警信息编写预设log分析模板，之后，直接利用预设log分析模板对外场测试的log信息进行匹配分析，能够快速且准确的定位出外场测试的问题类型，生成问题类型对应的测试报告之后，测试人员能够及时进行对比复测和/或传输至开发分析，能够缩短从出现测试异常到对比复测的时间周期长，进而提高问题复现的概率。

图5为本申请实施例提供的一种外场测试装置1的组成结构示意图二，在实际应用中，基于上述实施例的同一公开构思下，如图5所示，本实施例的装置1包括：处理器12、存储器13及通信总线14。

在具体的实施例的过程中，上述log分析单元10、报告生成单元11、提取单元、确定单元和定位单元可由位于装置1上的处理器12实现，上述处理器12可以为特定用途集成电路(ASIC，Application Specific Integrated Circuit)、数字信号处理器(DSP，DigitalSignal Processor)、数字信号处理图像处理装置(DSPD，Digital Signal ProcessingDevice)、可编程逻辑图像处理装置(PLD，Programmable Logic Device)、现场可编程门阵列(FPGA，Field Programmable Gate Array)、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本实施例不作具体限定。

在本申请实施例中，上述通信总线14用于实现处理器12和存储器13之间的连接通信；上述处理器12执行存储器13中存储的运行程序时实现如下的外场测试方法：

利用预设log分析模板，对外场测试的日志文件log信息进行匹配分析，得到所述外场测试的问题类型；所述预设log分析模板为根据预设问题场景的分析思路和异常告警信息编写的log分析模板；生成所述问题类型对应的测试报告，以提示进行对比复测和/或开发分析。

进一步地，上述处理器12，还用于若存在异常测试结果，则提取所述异常测试结果对应的问题log信息；按照所述预设问题场景的分析思路，对所述问题log信息进行分析，得到所述问题log信息对应的分析结果数据；根据所述分析结果数据确定所述问题类型。

进一步地，上述处理器12，还用于若所述问题类型为外场环境问题，则生成第一测试报告；所述第一测试报告用于提示重新进行外场测试；若所述问题类型为终端问题，则根据所述分析结果定位分析所述终端问题的第一开发组，并生成第二测试报告；所述第二测试报告用于提示将所述问题log信息传输至所述第一开发组进行分析。

进一步地，上述处理器12，还用于将所述log信息和所述异常告警信息进行匹配；若在所述log信息中匹配到所述异常告警信息，则根据所述异常告警信息确定所述问题类型。

进一步地，上述处理器12，还用于若所述问题类型为外场环境问题，则生成第一测试报告；所述第一测试报告用于提示重新进行外场测试；若所述问题类型为终端问题，则确定所述异常告警信息对应的第二开发组，并生成第三测试报告，所述第三测试报告用于提示将所述log信息传输至所述第二开发组进行分析。

本申请实施例提供一种存储介质，其上存储有计算机程序，上述计算机可读存储介质存储有一个或者多个程序，上述一个或者多个程序可被一个或者多个处理器执行，应用于外场测试装置中，该计算机程序实现如上述的外场测试方法。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台图像显示设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本公开各个实施例所述的方法。

以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (12)

1.一种外场测试方法，其特征在于，所述方法包括：

利用预设log分析模板，对外场测试的日志文件log信息进行匹配分析，得到所述外场测试的问题类型；所述预设log分析模板为根据预设问题场景的分析思路和异常告警信息编写的log分析模板；

生成所述问题类型对应的测试报告，以提示进行对比复测和/或开发分析。

2.根据权利要求1所述的方法，其特征在于，所述利用预设log分析模板，对外场测试的日志文件log信息进行匹配分析，得到所述外场测试的问题类型，包括：

若存在异常测试结果，则提取所述异常测试结果对应的问题log信息；业务异常

按照所述预设问题场景的分析思路，对所述问题log信息进行分析，得到所述问题log信息对应的分析结果数据；

根据所述分析结果数据确定所述问题类型。

3.根据权利要求2所述的方法，其特征在于，所述生成所述问题类型对应的测试报告，包括：

若所述问题类型为外场环境问题，则生成第一测试报告；所述第一测试报告用于提示重新进行外场测试；

若所述问题类型为终端问题，则根据所述分析结果定位所述终端问题对应的第一开发组，并生成第二测试报告；所述第二测试报告用于提示将所述问题log信息传输至所述第一开发组进行分析。

4.根据权利要求1或2所述的方法，所述利用预设log分析模板，对外场测试的日志文件log信息进行匹配分析，得到所述外场测试的问题类型，包括：

将所述log信息和所述异常告警信息进行匹配；

若在所述log信息中匹配到所述异常告警信息，则根据所述异常告警信息确定所述问题类型。

5.根据权利要求4所述的方法，其特征在于，所述生成所述问题类型对应的测试报告，包括：

若所述问题类型为外场环境问题，则生成第一测试报告；所述第一测试报告用于提示重新进行外场测试；

若所述问题类型为终端问题，则确定所述异常告警信息对应的第二开发组，并生成第三测试报告，所述第三测试报告用于提示将所述log信息传输至所述第二开发组进行分析。

6.一种外场测试装置，其特征在于，所述装置包括：

log分析单元，用于利用预设log分析模板，对外场测试的日志文件log信息进行匹配分析，得到所述外场测试的问题类型；所述预设log分析模板为根据预设问题场景的分析思路和异常告警信息编写的log分析模板；

报告生成单元，用于生成所述问题类型对应的测试报告，以提示进行对比复测和/或开发分析。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：提取单元和确定单元；

所述提取单元，用于若存在异常测试结果，则提取所述异常测试结果对应的问题log信息；

所述log分析单元，还用于按照所述预设问题场景的分析思路，对所述问题log信息进行分析，得到所述问题log信息对应的分析结果数据；

所述确定单元，用于根据所述分析结果数据确定所述问题类型。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：定位单元；

所述报告生成单元，还用于若所述问题类型为外场环境问题，则生成第一测试报告；所述第一测试报告用于提示重新进行外场测试；

所述定位单元，用于若所述问题类型为终端问题，则根据所述分析结果定位分析所述终端问题的第一开发组，并生成第二测试报告；所述第二测试报告用于提示将所述问题log信息传输至所述第一开发组进行分析。

9.根据权利要求6或7所述的装置，其特征在于，

所述log分析单元，还用于将所述log信息和所述异常告警信息进行匹配；

所述确定单元，还用于若在所述log信息中匹配到所述异常告警信息，则根据所述异常告警信息确定所述问题类型。

10.根据权利要求9所述的装置，其特征在于，

所述报告生成单元，还用于若所述问题类型为外场环境问题，则生成第一测试报告；所述第一测试报告用于提示重新进行外场测试；

所述确定单元，还用于若所述问题类型为终端问题，则确定所述异常告警信息对应的第二开发组，并生成第三测试报告，所述第三测试报告用于提示将所述log信息传输至所述第二开发组进行分析。

11.一种外场测试装置，其特征在于，所述装置包括：处理器、存储器及通信总线；所述处理器执行存储器存储的运行程序时实现如权利要求1-5任一项所述的方法。

12.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-5任一项所述的方法。

Images