CN111723015A - 一种软件测试方法、装置及电子设备 - Google Patents

Abstract

本发明提供了一种软件测试方法、装置及电子设备，通过本发明依据软件上传信息多次灵活的调整待进行软件测试的终端数量，从而能够根据实际场景对终端数量进行调整，在出现由于软件测试占用资源过大、新版本软件有问题等情况下导致软件测试异常时，使用较少终端进行测试，减少该软件不能正常使用的范围，在软件测试正常时，使用较多终端进行测试，保证有足够的终端进行软件测试。进一步，本发明依据软件上传信息灵活进行软件测试的终端数量的调整，使得软件测试灵活性和可靠性较好。

Description

一种软件测试方法、装置及电子设备

技术领域

本发明涉及软件测试领域，更具体的说，涉及一种软件测试方法、装置及电子设备。

背景技术

预发布系统用来执行新版本软件的测试，在进行新版本软件的测试时，预发布系统会推送新版本软件给用户的终端，以使用户的终端上的目标软件更新至新版本。在现有软件测试过程中，预发布系统直接对所有选定的用户的终端上的目标软件进行软件更新，技术人员根据其他数据获取软件获取到的所有终端上该软件的软件上传信息，对软件进行修正后，预发布系统再次执行上述的软件测试，直至新版本软件测试通过。

对于上述这种软件测试方式，会导致较多的用户的终端上该软件不能正常使用，甚至是用户的终端不能正常使用。

发明内容

有鉴于此，本发明提供一种软件测试方法、装置及电子设备，以解决现有技术中，在新版本软件有问题的情况下，会导致较多的用户的终端上该软件不能正常使用，甚至是用户的终端不能正常使用的问题。

为解决上述技术问题，本发明采用了如下技术方案：

一种软件测试方法，应用于预发布系统，所述软件测试方法包括：

确定待进行软件测试的终端集合；所述终端集合包括从所有待进行软件测试的终端中选取出的至少部分终端；

控制所述终端集合中未进行目标软件更新操作的终端执行目标软件更新操作；

获取所述终端集合中的每一所述终端运行更新后的目标软件时的软件上传信息；

确定出与所述软件上传信息对应的对所述终端集合内的终端进行调整的终端调整方式，按照所述终端调整方式对所述终端集合内的终端进行调整；所述终端调整方式至少包括终端数量调整方式；

返回执行所述确定待进行软件测试的终端集合的步骤，并顺序执行，直至所述终端集合中包括所有待进行软件测试的终端、且获取到所述终端集合中每一所述终端运行所述更新后的目标软件时的软件上传信息。

可选地，控制所述终端集合中未进行目标软件更新操作的终端执行目标软件更新操作，包括：

推送目标软件的软件待更新信息至所述终端集合中的未进行所述目标软件更新操作的目标终端；

在接收到所述目标终端反馈的更新指令后，发送所述目标软件的软件更新数据至所述目标终端，以使所述目标终端依据所述目标软件的软件更新数据进行所述目标软件的更新操作。

可选地，确定待进行软件测试的终端集合，包括：

按照终端启动目标软件的启动顺序，筛选出符合预设测试总数量的预设占比的终端，并组成待进行软件测试的终端集合；所述所有待进行软件测试的终端的数量为所述预设测试总数量。

可选地，所述终端集合包括的终端的终端标识包括：原有或新增；所述软件上传信息包括所述终端集合对应的第一软件崩溃率、所述终端标识为新增的终端对应的第二软件崩溃率、所述终端集合对应的第一用户反馈率以及所述终端标识为新增的终端对应的第二用户反馈率；

确定出与所述软件上传信息对应、且用于对所述终端集合内的终端进行调整的终端调整方式，并对所述终端集合执行与所述终端调整方式对应的终端调整操作，包括：

对所述第一软件崩溃率以及所述第一用户反馈率进行加权求和计算，得到全部用户受影响率，对所述第二软件崩溃率以及所述第二用户反馈率进行加权求和计算，得到新增用户受影响率；

在所述全部用户受影响率小于第一测试递增阈值、且所述新增用户受影响率小于第二测试递增阈值的情况下，判断所述终端集合中的终端数量是否达到阈值；

若未达到，获取新增终端；

将所述新增终端添加到所述终端集合中，并将所述新增终端的终端标识设置为新增，将所述终端集合中除所述新增终端之外的其他终端的终端标识设置为原有。

可选地，在所述全部用户受影响率小于第一测试递增阈值、且所述新增用户受影响率小于第二测试递增阈值的情况下，判断所述终端集合中的终端数量是否达到阈值，包括：

在所述全部用户受影响率大于预警阈值的情况下，输出警示信息至目标终端；

在所述全部用户受影响率小于第一测试递增阈值且大于所述预设阈值、所述新增用户受影响率小于第二测试递增阈值的情况下，判断所述终端集合中的终端数量是否达到阈值。

可选地，获取新增终端，包括：

按照预设占比调整规则，对所述预设占比进行调整，得到调整后的预设占比；

按照终端启动所述目标软件的启动顺序，筛选出符合所述测试总数量的调整后的预设占比、且非所述终端集合中已有的终端，并作为新增终端。

可选地，确定出与所述软件上传信息对应、且用于对所述终端集合内的终端进行调整的终端调整方式，并对所述终端集合执行与所述终端调整方式对应的终端调整操作，还包括：

在所述全部用户受影响率不小于第一测试递增阈值、或所述新增用户受影响率不小于第二测试递增阈值的情况下，停止对所述终端集合中的终端数量的调整。

一种软件测试装置，应用于预发布系统，所述软件测试装置包括：

集合确定模块，用于确定待进行软件测试的终端集合；所述终端集合包括从所有待进行软件测试的终端中选取出的至少部分终端；

软件更新模块，用于控制所述终端集合中未进行目标软件更新操作的终端执行目标软件更新操作；

信息获取模块，用于获取所述终端集合中的每一所述终端运行更新后的目标软件时的软件上传信息；

终端调整模块，用于确定出与所述软件上传信息对应的对所述终端集合内的终端进行调整的终端调整方式，按照所述终端调整方式对所述终端集合内的终端进行调整；所述终端调整方式至少包括终端数量调整方式；

判断模块，用于所述终端集合中是否包括所有待进行软件测试的终端、且获取到所述终端集合中每一所述终端运行所述更新后的目标软件时的软件上传信息；

所述集合确定模块，还用于在所述判断模块判断出所述终端集合中未包括所有待进行软件测试的终端、或所述终端集合中包括所有待进行软件测试的终端但未获取到所述终端集合中每一所述终端运行所述更新后的目标软件时的软件上传信息，确定待进行软件测试的终端集合。

可选地，所述软件更新模块具体用于：

推送目标软件的软件待更新信息至所述终端集合中的未进行所述目标软件更新操作的目标终端；

在接收到所述目标终端反馈的更新指令后，发送所述目标软件的软件更新数据至所述目标终端，以使所述目标终端依据所述目标软件的软件更新数据进行所述目标软件的更新操作。

一种电子设备，包括：存储器和处理器；

其中，所述存储器用于存储程序；

处理器调用程序并用于：

确定待进行软件测试的终端集合；所述终端集合包括从所有待进行软件测试的终端中选取出的至少部分终端；

控制所述终端集合中未进行目标软件更新操作的终端执行目标软件更新操作；

获取所述终端集合中的每一所述终端运行更新后的目标软件时的软件上传信息；

确定出与所述软件上传信息对应的对所述终端集合内的终端进行调整的终端调整方式，按照所述终端调整方式对所述终端集合内的终端进行调整；所述终端调整方式至少包括终端数量调整方式；

返回执行所述确定待进行软件测试的终端集合的步骤，并顺序执行，直至所述终端集合中包括所有待进行软件测试的终端、且获取到所述终端集合中每一所述终端运行所述更新后的目标软件时的软件上传信息。

相较于现有技术，本发明具有以下有益效果：

本发明提供了一种软件测试方法、装置及电子设备，在进行软件测试时，先选取出部分终端进行软件测试，依据每一终端执行软件测试过程中的软件上传信息确定出用于对所述终端集合内的终端进行调整的终端调整方式，终端调整方式包括终端数量调整方式，即能够对终端集合中的终端数量进行调整，也即对待进行软件测试的终端数量进行调整。通过本发明依据软件上传信息多次灵活的调整待进行软件测试的终端数量，从而能够根据实际场景对终端数量进行调整，在出现由于软件测试占用资源过大、新版本软件有问题等情况下导致软件测试异常时，使用较少终端进行测试，减少该软件不能正常使用的范围，在软件测试正常时，使用较多终端进行测试，保证有足够的终端进行软件测试。进一步，本发明依据软件上传信息灵活进行软件测试的终端数量的调整，使得软件测试灵活性和可靠性较好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种软件测试方法的方法流程图；

图2为本发明实施例提供的另一种软件测试方法的方法流程图；

图3为本发明实施例提供的再一种软件测试方法的方法流程图；

图4为本发明实施例提供的一种软件测试装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

预发布系统用来执行新版本软件的测试，在进行新版本软件的测试时，预发布系统会推送新版本软件给用户的终端，以使用户的终端上的目标软件更新至新版本。在现有软件测试过程中，预发布系统直接对所有选定的用户的终端上的目标软件进行软件更新，技术人员根据其他数据获取软件获取到的所有终端上该软件的软件上传信息，对软件进行修正后，预发布系统再次执行上述的软件测试，直至新版本软件测试通过。

对于上述这种软件测试方式，在软件测试占用资源过大，如网络资源或内存等资源时，可能会出现资源占用过大，软件测试程序执行异常、用户不能安装新版本软件等软件测试异常现象，此外，还可能会出现新版本软件有问题(如存在漏洞等)导致的软件测试异常，此时会导致较多的用户的终端上该软件不能正常使用，甚至是用户的终端不能正常使用，用户体验也会较差。

为了解决上述的较多的用户的终端上该软件不能正常使用，甚至是用户的终端不能正常使用，用户体验也会较差的问题，本发明实施例中逐步进行软件测试，首先选取出部分终端进行软件测试，然后依据这部分终端的软件上传信息对待进行软件测试的终端的数量进行调整，不断重复上述步骤，直至对所有的终端进行软件测试完毕。通过本发明，能够根据实际场景对终端数量进行调整，在出现由于软件测试占用资源过大、新版本软件有问题等情况下导致软件测试异常时，使用较少终端进行测试，减少该软件不能正常使用的范围，减少用户体验不好的数量。在软件测试正常时，使用较多终端进行测试，保证有足够的终端进行软件测试。进一步，本发明依据软件上传信息灵活进行软件测试的终端数量的调整，使得软件测试灵活性和可靠性较好。

具体的，软件测试方法应用于预发布系统，参照图1，软件测试方法可以包括：

S11、确定待进行软件测试的终端集合。

在实际应用中，首先需要确定所有待进行软件测试的终端的数量，本实施例中的终端可以是手机、电脑等设备，该终端需安装有待进行软件测试的软件，如购物软件、聊天软件等等。本实施例中，待进行软件测试的终端的数量可以是技术人员指定的，如5万等。

本实施例中为了降低由于软件异常对软件测试带来的影响，采用逐步测试的方式，首先选取出部分终端进行测试，这部分终端组成终端集合，即所述终端集合包括从所有待进行软件测试的终端中选取出的至少部分终端。

本发明的一种实现方式中，步骤S11可以包括：

按照终端启动目标软件的启动顺序，筛选出符合预设测试总数量的预设占比的终端，并组成待进行软件测试的终端集合。

本实施例中，首先设定了预设测试总数量，即所述所有待进行软件测试的终端的数量，如上述的5万，然后设定首次测试的终端的数量，如预设测试总数量的10％，也就是说，可以选取5万*10％，即0.5万的终端进行测试。本实施例中的10％即为预设占比，由于需要进行逐步软件测试，所以这个预设占比是可以调整的，后续这个预设占比需要不断调大。如在第二次，选取5万*20％，此后，预设占比依次可以是30％，50％，80％，90％，100％。在确定待进行软件测试的终端集合时，首先确定预设占比，然后在选取与该预设占比对应的数量的终端组成该终端集合。

软件测试选取的终端可以不限制其终端属性，如类型、终端所在地区等，如可以是所有机型，如IOS系统和安卓系统的终端均可，位于全国任意地区的终端均可。但是在实际应用中，若发现仅在某一类型的终端、或者某一地区出现软件故障的概率较大，则可以限定终端属性，如在某种机型、地区进行软件测试，此外，还可以限定机型系统版本号、设备号，用户ID号等，即可以从机型、地区、机型系统版本号、设备号，用户ID号等方面选取待进行软件测试的终端。

在确定了需要进行软件测试的终端属性之后，由于符合上述的终端属性的终端较多，在选取哪些终端进行优先测试时，可以依据用户的终端打开该待进行软件测试的目标软件的顺序，实质上是用户打开该目标软件的顺序，筛选出排名符合预设测试总数量的预设占比的终端，并组成终端集合。

S12、控制所述终端集合中未进行目标软件更新操作的终端执行目标软件更新操作。

用户的终端在打开目标软件之后，若该终端的目标软件已经升级需要进行测试的新版本，这不需要对目标软件进行再次更新操作，若终端的目标软件没有升级需要进行测试的新版本，此时需要控制终端上的目标软件升级到该新版本。

具体的，参照图2，步骤S12可以包括：

S21、推送目标软件的软件待更新信息至所述终端集合中的未进行所述目标软件更新操作的目标终端。

在实际应用中，若终端的目标软件没有升级需要进行测试的新版本，则该终端称为目标终端，当目标终端的用户打开该目标软件时，目标软件的界面上就会显示该软件是否升级到最新版本，即软件待更新信息，此外，还至少会有个“升级”按钮，当用户点击了升级按钮之后，预发布系统就可以接收到目标终端反馈的更新指令。

S22、在接收到所述目标终端反馈的更新指令后，发送所述目标软件的软件更新数据至所述目标终端，以使所述目标终端依据所述目标软件的软件更新数据进行所述目标软件的更新操作。

在接收到所述目标终端反馈的更新指令后，预发布系统就会推送目标软件的软件更新数据至目标终端，本实施例中的软件更新数据可以是目标软件需要更新部分的数据，对于不需要更新的部分，不需要发送给目标终端，目标终端接收到软件更新数据之后，就可以使用软件更新数据进行软件的更新，从而是软件升级到最新版本。

S13、获取所述终端集合中的每一所述终端运行更新后的目标软件时的软件上传信息。

本实施例中的软件上传信息包括所述终端集合对应的第一软件崩溃率、所述终端标识为新增的终端对应的第二软件崩溃率、所述终端集合对应的第一用户反馈率以及所述终端标识为新增的终端对应的第二用户反馈率。

其中，软件崩溃率是由日志收集系统获取的，日志收集系统主要获取用户的应用崩溃信息、设备机型、设备号、应用版本号等信息。日志收集系统可以通过获取的信息来计算软件崩溃率。本实施例中，软件崩溃率＝所有终端的崩溃数/所有终端的软件启动次数。

用户反馈率是由用户反馈系统获取的，用户反馈系统可以获取到用户在软件中主动上传的用户反馈信息，如用户上传的截图、视频，用户反馈的描述信息，用户填写的手机号等。用户反馈系统可以通过用户反馈信息计算得到用户反馈率。用户反馈率＝用户反馈数/软件测试终端的总数量。

在计算软件崩溃率和用户反馈率时，需要结合终端的终端标识、且在每次测试时需要考虑新增用户的情况，所以本实施例中预先设定了终端标识有两种，分别为原有或新增。在将终端添加到终端集合中时，就会设置终端的终端标识。在设置终端标识时，需要考虑终端是在第几次时添加到终端集合中，若是在第一次添加到终端集合时，终端的终端标识均设置成“新增”，若是该终端在终端集合中已存在时，终端的终端标识设置为“原有”。

本实施例中，获取终端集合中的每一所述终端运行更新后的目标软件时的软件上传信息的具体过程是：

通过上述的日志收集系统获取到每一终端上的目标软件运行时的日志信息，主要包括上述的应用崩溃信息、设备机型、设备号、应用版本号等信息，然后针对整个终端集合，计算得到一个软件崩溃率，即为第一软件崩溃率，针对新增终端，也即新增用户，计算得到一个软件崩溃率，即为第二软件崩溃率。

需要说明的是，在第一次配置终端集合时，并没有新增用户，此时仅有第一软件崩溃率，但是在第二次或以后配置终端集合时，有新增用户，此时不仅有第一软件崩溃率，还有第二软件崩溃率。

通过上述的用户反馈系统获取用户反馈信息，如上述的用户上传的截图、视频，用户反馈的描述信息，用户填写的手机号等。然后针对整个终端集合，计算得到一个用户反馈率，即为第一用户反馈率，针对新增终端，也即新增用户，计算得到一个用户反馈率，即为第二用户反馈率。

需要说明的是，在第一次配置终端集合时，并没有新增用户，此时仅有第一用户反馈率，但是在第二次或以后配置终端集合时，有新增用户，此时不仅有第一用户反馈率，还有第二用户反馈率。

本实施例中，建立了日志收集系统与预发布系统、用户反馈系统与预发布系之间的通信连接，进而日志收集系统就可以将上述的第一软件崩溃率和第二软件崩溃率发送至预发布系统，用户反馈系统将上述的第一用户反馈率和第二用户反馈率发送至预发布系统。预发布系统根据第一软件崩溃率、第二软件崩溃率、第一用户反馈率和第二用户反馈率来决定后续执行软件测试的终端的数量。

需要说明的是，现有技术中，日志收集系统、预发布系统与用户反馈系统三者之间并无通信，三个系统是独立存在的，这样、预发布系统仅进行新版本软件测试操作，用户反馈和崩溃信息不能及时同步到预发布系统，导致预发布版本不能时刻掌握已放量的版本的动态，且在软件测试异常时，全部终端进行测试这种方式，对用户造成的影响面较大。本实施例中，建立了日志收集系统与预发布系统、用户反馈系统与预发布系之间的通信连接，预发布系统可以实时获取到软件测试的反馈信息(第一软件崩溃率、第二软件崩溃率、第一用户反馈率和第二用户反馈率)，进而根据反馈信息来进行逐步放量和自动停量操作，在软件测试正常时，逐步放量，在软件测试异常时，自动停量，降低软件测试异常对用户的影响面。

S14、确定出与所述软件上传信息对应的对所述终端集合内的终端进行调整的终端调整方式，按照所述终端调整方式对所述终端集合内的终端进行调整。

本实施例中，所述终端调整方式至少包括终端数量调整方式。终端数量调整方式是对终端集合内的终端的个数进行调整，如增加终端的数量，此外，终端调整方式还可以包括终端标识的调整，如在第一次加入终端集合，终端的终端标识均设置成“新增”，若是该终端在终端集合中已存在时，终端的终端标识设置为“原有”。其中，终端标识包括的新增或原有，可以是新增或原有文字表示，也可以用新增或原有对应的数字标识表示，如新增的数字标识是1，原有的数字标识为0。

本发明的另一实现方式中，参照图3，步骤S14可以包括：

S31、对所述第一软件崩溃率以及所述第一用户反馈率进行加权求和计算，得到全部用户受影响率，对所述第二软件崩溃率以及所述第二用户反馈率进行加权求和计算，得到新增用户受影响率。

在实际应用中，预先设定软件崩溃率和用户反馈率的权重值，软件崩溃率代表了软件的崩溃程度，对新版本软件的调整的影响大于用户反馈，所欲设定软件崩溃率的权重值大于用户反馈率的权重值，如设定软件崩溃率和用户反馈率的权重值分别为0.9和0.1。需要说明的是，第一软件崩溃率和第二软件崩溃率的权重值同软件崩溃率的权重值，第一用户反馈率和第二用户反馈率的权重值同用户反馈率的权重值。

对于整个终端集合和终端集合中的新增用户，分开计算，具体的，对所述第一软件崩溃率以及所述第一用户反馈率进行加权求和计算，得到全部用户受影响率，对所述第二软件崩溃率以及所述第二用户反馈率进行加权求和计算，得到新增用户受影响率。

S32、判断全部用户受影响率是否小于第一测试递增阈值、且所述新增用户受影响率是否小于第二测试递增阈值；若是，执行步骤S33。若否，执行步骤S35。

本实施例中，预先设定了第一测试递增阈值和第二测试递增阈值，如第一测试递增阈值为1％，第二测试递增阈值也为1％。

在全部用户受影响率小于第一测试递增阈值且新增用户受影响率小于第二测试递增阈值的情况下，说明当前的软件测试对用户的影响程度较小，可以继续进行下一步的软件测试，即加大软件测试的终端的数量。

S33、判断所述终端集合中的终端数量是否达到阈值；若否，执行步骤S34；若是，则结束。

在实际应用中，会预先设定所有待进行软件测试的终端的数量，如上述的5万，在未达到5万时，可以补充进行软件测试的新的终端，但是在达到5万时，说明软件测试的终端已经足够，不需要在额外补充新的终端。

本发明的另一实现方式中，在所述全部用户受影响率小于第一测试递增阈值、且所述新增用户受影响率小于第二测试递增阈值的情况下，判断所述终端集合中的终端数量是否达到阈值，包括：

在所述全部用户受影响率大于预警阈值的情况下，输出警示信息至目标终端；在所述全部用户受影响率小于第一测试递增阈值且大于所述预设阈值、所述新增用户受影响率小于第二测试递增阈值的情况下，判断所述终端集合中的终端数量是否达到阈值。

具体的，本实施例中，又预先设定了一个新的参数，称为预警阈值，该预警阈值表征可以继续进行后续的软件测试，但是软件测试会存在一定的异常，在实际应用中，预警阈值可以是0.1％。即在全部用户受影响率大于预警阈值的情况下，就输出警示信息，如邮件或短信输出软件测试存在一定异常。并且在在所述全部用户受影响率小于第一测试递增阈值且大于所述预设阈值、所述新增用户受影响率小于第二测试递增阈值的情况下，判断所述终端集合中的终端数量是否达到阈值。

S34、获取新增终端，将所述新增终端添加到所述终端集合中，并将所述新增终端的终端标识设置为新增，将所述终端集合中除所述新增终端之外的其他终端的终端标识设置为原有。

在实际应用中，新增终端的确定过程可以是：

1)按照预设占比调整规则，对所述预设占比进行调整，得到调整后的预设占比。

上述介绍了，预设占比依次可以是10％，20％，30％，50％，80％，90％，100％。所以可以根据终端调整的次数来相应的相同预设占比的数值，如从第一次调整到第二次，则将预设占比从10％调整为20％。如从第三次调整到第四次，则将预设占比从30％调整为50％。

2)按照终端启动所述目标软件的启动顺序，筛选出符合所述测试总数量的调整后的预设占比、且非所述终端集合中已有的终端，并作为新增终端。

新增终端的确定方式和上述的终端的确定方式相同，都是按照目标软件的启动顺序来筛选出未存在与上述的终端集合中的终端。

在确定出新增终端之后，需要更改终端的终端标识，将新增终端的终端标识设置为新增，将原有终端的终端标识设置为原有。举例来说，终端集合中已有的终端数量为0.5万个，新增终端的数量为1万个，则将这1万个终端的终端标识设置为新增，将原有的0.5万个终端的终端标识设置为原有。

S35、在所述全部用户受影响率不小于第一测试递增阈值、或所述新增用户受影响率不小于第二测试递增阈值的情况下，停止对所述终端集合中的终端数量的调整。

本实施例中，在所述全部用户受影响率不小于第一测试递增阈值、或所述新增用户受影响率不小于第二测试递增阈值的情况下，说明从整个终端集合来说，用户受影响率较低，但是新增用户的受影响率较大，也即此时新终端的软件测试异常，则停止对所述终端集合中的终端数量的调整，即停止放量。待对软件的漏洞bug调整之后，在重新进行软件测试。

S15、判断终端集合中是否包括所有待进行软件测试的终端、且获取到所述终端集合中每一所述终端运行所述更新后的目标软件时的软件上传信息；若是，则结束，若否，则返回步骤S11。

本实施例中，判断终端集合中是否包括所有待进行软件测试的终端、且获取到所述终端集合中每一所述终端运行所述更新后的目标软件时的软件上传信息，是为了确定是否对所有待进行软件测试的终端均执行了软件测试，若是，则说明整个软件测试过程结束，若否，则在上述的终端集合中新增了终端之后，在重新执行上述的步骤，直到对所有待进行软件测试的终端均执行了软件测试时停止。

需要说明的是，在整个软件测试结束之后，若是测试人员认为当前已测试的终端的数量较少，则需增加新的终端进行测试，此时仍返回到获取新增终端的步骤，然后顺序执行，直到测试的终端的数量满足用户需求。

本实施例中，在进行软件测试时，先选取出部分终端进行软件测试，依据每一终端执行软件测试过程中的软件上传信息确定出用于对所述终端集合内的终端进行调整的终端调整方式，终端调整方式包括终端数量调整方式，即能够对终端集合中的终端数量进行调整，也即对待进行软件测试的终端数量进行调整。通过本发明依据软件上传信息多次灵活的调整待进行软件测试的终端数量，从而能够根据实际场景对终端数量进行调整，通过本发明能有效的观测和观察预发布版本对用户的影响，有效降低问题版本对用户的影响。进而在出现由于软件测试占用资源过大、新版本软件有问题等情况下导致软件测试异常时，使用较少终端进行测试，减少该软件不能正常使用的范围，在软件测试正常时，使用较多终端进行测试，保证有足够的终端进行软件测试。进一步，本发明依据软件上传信息灵活进行软件测试的终端数量的调整，使得软件测试灵活性和可靠性较好。

为了便于技术人员理解本发明，现给出下述四个案例进行解释说明。

A、例如应用版本1放量5％约1000个用户，但应用反馈问题信息的用户有10个，那么可以理解为此次放量影响为1％，达到了停止放量的阈值，专利系统自动停止放量。

B、例如应用版本2放量5％约1000个oppo手机用户，但应用反馈问题信息的用户有1个，那么可以理解为此次放量影响为千分之一，专利系统自动发布邮件预警，放量继续。

C、例如应用版本3放量5％约1000个湖南地区用户，专利系统没有收到应用问题反馈的信息，放量持续扩大为10％约2000个湖南地区用户，此时专利系统收到应用问题反馈的信息15个，那么可以理解此次放量影响为0.75％，增量用户影响为1.5％，专利系统自动停止放量

D、例如应用版本4放量5％约1000个山东地区的用户，专利系统没有收应用问题反馈信息，放量持续扩大到10％约2000个山东地区的用户，专利系统同样没有收到应用问题反馈信息，放量持续到20％约4000个山东用户，专利系统收到1个应用反馈信息，持续放量到50％山东地区用户，专利系统没收到应用反馈的信息，放量到100％山东地区用户，此轮预发布版本结束。

上述实施例中出现了三个参数，分别为第一测试递增阈值、预设阈值和第二测试递增阈值，对于这三个阈值中的任一阈值，都可以通过下述三种方式确定。

1)人工确定。

2)使用预发布系统使用的默认阈值。

3)依据预设计算规则，对所述软件历史崩溃率和所述用户历史反馈率进行计算，得到阈值。

本实施例中，会获取多次历史软件测试过程中，终端集合对应的软件历史崩溃率和用户历史反馈率，然后使用预设计算规则计算得到阈值，其中，预设计算规则是一种数学计算公式，所述第一测试递增阈值、所述第二测试递增阈值和所述预警阈值对应的预设计算规则不同。

本实施例中，给出了阈值的多种确定方式，进而就可以在不同的应用场景下选择相应的确定方式确定阈值。

可选的，在上述软件测试方法的实施例的基础上，本发明的另一实施例提供了一种软件测试装置，参照图4，软件测试装置可以包括：

集合确定模块11，用于确定待进行软件测试的终端集合；所述终端集合包括从所有待进行软件测试的终端中选取出的至少部分终端；

软件更新模块12，用于控制所述终端集合中未进行目标软件更新操作的终端执行目标软件更新操作；

信息获取模块13，用于获取所述终端集合中的每一所述终端运行更新后的目标软件时的软件上传信息；

终端调整模块14，用于确定出与所述软件上传信息对应的对所述终端集合内的终端进行调整的终端调整方式，按照所述终端调整方式对所述终端集合内的终端进行调整；所述终端调整方式至少包括终端数量调整方式；

判断模块15，用于所述终端集合中是否包括所有待进行软件测试的终端、且获取到所述终端集合中每一所述终端运行所述更新后的目标软件时的软件上传信息；

所述集合确定模块11，还用于在所述判断模块判断出所述终端集合中未包括所有待进行软件测试的终端、或所述终端集合中包括所有待进行软件测试的终端但未获取到所述终端集合中每一所述终端运行所述更新后的目标软件时的软件上传信息，确定待进行软件测试的终端集合。

进一步，所述软件更新模块具体用于：

推送目标软件的软件待更新信息至所述终端集合中的未进行所述目标软件更新操作的目标终端；

在接收到所述目标终端反馈的更新指令后，发送所述目标软件的软件更新数据至所述目标终端，以使所述目标终端依据所述目标软件的软件更新数据进行所述目标软件的更新操作。

进一步，集合确定模块11具体用于：

按照终端启动目标软件的启动顺序，筛选出符合预设测试总数量的预设占比的终端，并组成待进行软件测试的终端集合；所述所有待进行软件测试的终端的数量为所述预设测试总数量。

进一步，所述终端集合包括的终端的终端标识包括：原有或新增；所述软件上传信息包括所述终端集合对应的第一软件崩溃率、所述终端标识为新增的终端对应的第二软件崩溃率、所述终端集合对应的第一用户反馈率以及所述终端标识为新增的终端对应的第二用户反馈率；

终端调整模块14包括：

计算子模块，用于对所述第一软件崩溃率以及所述第一用户反馈率进行加权求和计算，得到全部用户受影响率，对所述第二软件崩溃率以及所述第二用户反馈率进行加权求和计算，得到新增用户受影响率；

判断子模块，用于在所述全部用户受影响率小于第一测试递增阈值、且所述新增用户受影响率小于第二测试递增阈值的情况下，判断所述终端集合中的终端数量是否达到阈值；

终端添加子模块，用于若未达到，获取新增终端，将所述新增终端添加到所述终端集合中，并将所述新增终端的终端标识设置为新增，将所述终端集合中除所述新增终端之外的其他终端的终端标识设置为原有。

进一步，判断子模块具体用于：

在所述全部用户受影响率大于预警阈值的情况下，输出警示信息至目标终端；

在所述全部用户受影响率小于第一测试递增阈值且大于所述预设阈值、所述新增用户受影响率小于第二测试递增阈值的情况下，判断所述终端集合中的终端数量是否达到阈值。

进一步，终端添加子模块获取新增终端时，具体用于：

按照预设占比调整规则，对所述预设占比进行调整，得到调整后的预设占比，按照终端启动所述目标软件的启动顺序，筛选出符合所述测试总数量的调整后的预设占比、且非所述终端集合中已有的终端，并作为新增终端。

进一步，终端调整模块14还包括：

停止调整子模块，用于在所述判断子模块判断出所述全部用户受影响率不小于第一测试递增阈值、或所述新增用户受影响率不小于第二测试递增阈值的情况下，停止对所述终端集合中的终端数量的调整。

本实施例中，在进行软件测试时，先选取出部分终端进行软件测试，依据每一终端执行软件测试过程中的软件上传信息确定出用于对所述终端集合内的终端进行调整的终端调整方式，终端调整方式包括终端数量调整方式，即能够对终端集合中的终端数量进行调整，也即对待进行软件测试的终端数量进行调整。通过本发明依据软件上传信息多次灵活的调整待进行软件测试的终端数量，从而能够根据实际场景对终端数量进行调整，通过本发明能有效的观测和观察预发布版本对用户的影响，有效降低问题版本对用户的影响。进而在出现由于软件测试占用资源过大、新版本软件有问题等情况下导致软件测试异常时，使用较少终端进行测试，减少该软件不能正常使用的范围，在软件测试正常时，使用较多终端进行测试，保证有足够的终端进行软件测试。进一步，本发明依据软件上传信息灵活进行软件测试的终端数量的调整，使得软件测试灵活性和可靠性较好。

需要说明的是，本实施例中的各个模块和子模块的工作过程，请参照上述实施例中的相应说明，在此不再赘述。

可选地，在上述软件测试方法及装置的实施例的基础上，本发明的另一实施例提供了一种电子设备，包括：存储器和处理器；

其中，所述存储器用于存储程序；

处理器调用程序并用于：

确定待进行软件测试的终端集合；所述终端集合包括从所有待进行软件测试的终端中选取出的至少部分终端；

控制所述终端集合中未进行目标软件更新操作的终端执行目标软件更新操作；

获取所述终端集合中的每一所述终端运行更新后的目标软件时的软件上传信息；

确定出与所述软件上传信息对应的对所述终端集合内的终端进行调整的终端调整方式，按照所述终端调整方式对所述终端集合内的终端进行调整；所述终端调整方式至少包括终端数量调整方式；

返回执行所述确定待进行软件测试的终端集合的步骤，并顺序执行，直至所述终端集合中包括所有待进行软件测试的终端、且获取到所述终端集合中每一所述终端运行所述更新后的目标软件时的软件上传信息。

本实施例中，在进行软件测试时，先选取出部分终端进行软件测试，依据每一终端执行软件测试过程中的软件上传信息确定出用于对所述终端集合内的终端进行调整的终端调整方式，终端调整方式包括终端数量调整方式，即能够对终端集合中的终端数量进行调整，也即对待进行软件测试的终端数量进行调整。通过本发明依据软件上传信息多次灵活的调整待进行软件测试的终端数量，从而能够根据实际场景对终端数量进行调整，通过本发明能有效的观测和观察预发布版本对用户的影响，有效降低问题版本对用户的影响。进而在出现由于软件测试占用资源过大、新版本软件有问题等情况下导致软件测试异常时，使用较少终端进行测试，减少该软件不能正常使用的范围，在软件测试正常时，使用较多终端进行测试，保证有足够的终端进行软件测试。进一步，本发明依据软件上传信息灵活进行软件测试的终端数量的调整，使得软件测试灵活性和可靠性较好。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种软件测试方法，其特征在于，应用于预发布系统，所述软件测试方法包括：

确定待进行软件测试的终端集合；所述终端集合包括从所有待进行软件测试的终端中选取出的至少部分终端；

控制所述终端集合中未进行目标软件更新操作的终端执行目标软件更新操作；

获取所述终端集合中的每一所述终端运行更新后的目标软件时的软件上传信息；

确定出与所述软件上传信息对应的对所述终端集合内的终端进行调整的终端调整方式，按照所述终端调整方式对所述终端集合内的终端进行调整；所述终端调整方式至少包括终端数量调整方式；

返回执行所述确定待进行软件测试的终端集合的步骤，并顺序执行，直至所述终端集合中包括所有待进行软件测试的终端、且获取到所述终端集合中每一所述终端运行所述更新后的目标软件时的软件上传信息。

2.根据权利要求1所述的软件测试方法，其特征在于，控制所述终端集合中未进行目标软件更新操作的终端执行目标软件更新操作，包括：

推送目标软件的软件待更新信息至所述终端集合中的未进行所述目标软件更新操作的目标终端；

在接收到所述目标终端反馈的更新指令后，发送所述目标软件的软件更新数据至所述目标终端，以使所述目标终端依据所述目标软件的软件更新数据进行所述目标软件的更新操作。

3.根据权利要求1所述的软件测试方法，其特征在于，确定待进行软件测试的终端集合，包括：

按照终端启动目标软件的启动顺序，筛选出符合预设测试总数量的预设占比的终端，并组成待进行软件测试的终端集合；所述所有待进行软件测试的终端的数量为所述预设测试总数量。

4.根据权利要求3所述的软件测试方法，其特征在于，所述终端集合包括的终端的终端标识包括：原有或新增；所述软件上传信息包括所述终端集合对应的第一软件崩溃率、所述终端标识为新增的终端对应的第二软件崩溃率、所述终端集合对应的第一用户反馈率以及所述终端标识为新增的终端对应的第二用户反馈率；

确定出与所述软件上传信息对应、且用于对所述终端集合内的终端进行调整的终端调整方式，并对所述终端集合执行与所述终端调整方式对应的终端调整操作，包括：

对所述第一软件崩溃率以及所述第一用户反馈率进行加权求和计算，得到全部用户受影响率，对所述第二软件崩溃率以及所述第二用户反馈率进行加权求和计算，得到新增用户受影响率；

在所述全部用户受影响率小于第一测试递增阈值、且所述新增用户受影响率小于第二测试递增阈值的情况下，判断所述终端集合中的终端数量是否达到阈值；

若未达到，获取新增终端；

将所述新增终端添加到所述终端集合中，并将所述新增终端的终端标识设置为新增，将所述终端集合中除所述新增终端之外的其他终端的终端标识设置为原有。

5.根据权利要求4所述的软件测试方法，其特征在于，在所述全部用户受影响率小于第一测试递增阈值、且所述新增用户受影响率小于第二测试递增阈值的情况下，判断所述终端集合中的终端数量是否达到阈值，包括：

在所述全部用户受影响率大于预警阈值的情况下，输出警示信息至目标终端；

在所述全部用户受影响率小于第一测试递增阈值且大于所述预设阈值、所述新增用户受影响率小于第二测试递增阈值的情况下，判断所述终端集合中的终端数量是否达到阈值。

6.根据权利要求4所述的软件测试方法，其特征在于，获取新增终端，包括：

按照预设占比调整规则，对所述预设占比进行调整，得到调整后的预设占比；

按照终端启动所述目标软件的启动顺序，筛选出符合所述测试总数量的调整后的预设占比、且非所述终端集合中已有的终端，并作为新增终端。

7.根据权利要求4所述的软件测试方法，其特征在于，确定出与所述软件上传信息对应、且用于对所述终端集合内的终端进行调整的终端调整方式，并对所述终端集合执行与所述终端调整方式对应的终端调整操作，还包括：

在所述全部用户受影响率不小于第一测试递增阈值、或所述新增用户受影响率不小于第二测试递增阈值的情况下，停止对所述终端集合中的终端数量的调整。

8.一种软件测试装置，其特征在于，应用于预发布系统，所述软件测试装置包括：

集合确定模块，用于确定待进行软件测试的终端集合；所述终端集合包括从所有待进行软件测试的终端中选取出的至少部分终端；

软件更新模块，用于控制所述终端集合中未进行目标软件更新操作的终端执行目标软件更新操作；

信息获取模块，用于获取所述终端集合中的每一所述终端运行更新后的目标软件时的软件上传信息；

终端调整模块，用于确定出与所述软件上传信息对应的对所述终端集合内的终端进行调整的终端调整方式，按照所述终端调整方式对所述终端集合内的终端进行调整；所述终端调整方式至少包括终端数量调整方式；

判断模块，用于所述终端集合中是否包括所有待进行软件测试的终端、且获取到所述终端集合中每一所述终端运行所述更新后的目标软件时的软件上传信息；

所述集合确定模块，还用于在所述判断模块判断出所述终端集合中未包括所有待进行软件测试的终端、或所述终端集合中包括所有待进行软件测试的终端但未获取到所述终端集合中每一所述终端运行所述更新后的目标软件时的软件上传信息，确定待进行软件测试的终端集合。

9.根据权利要求8所述的软件测试装置，其特征在于，所述软件更新模块具体用于：

推送目标软件的软件待更新信息至所述终端集合中的未进行所述目标软件更新操作的目标终端；

在接收到所述目标终端反馈的更新指令后，发送所述目标软件的软件更新数据至所述目标终端，以使所述目标终端依据所述目标软件的软件更新数据进行所述目标软件的更新操作。

10.一种电子设备，其特征在于，包括：存储器和处理器；

其中，所述存储器用于存储程序；

处理器调用程序并用于：

确定待进行软件测试的终端集合；所述终端集合包括从所有待进行软件测试的终端中选取出的至少部分终端；

控制所述终端集合中未进行目标软件更新操作的终端执行目标软件更新操作；

获取所述终端集合中的每一所述终端运行更新后的目标软件时的软件上传信息；

确定出与所述软件上传信息对应的对所述终端集合内的终端进行调整的终端调整方式，按照所述终端调整方式对所述终端集合内的终端进行调整；所述终端调整方式至少包括终端数量调整方式；

返回执行所述确定待进行软件测试的终端集合的步骤，并顺序执行，直至所述终端集合中包括所有待进行软件测试的终端、且获取到所述终端集合中每一所述终端运行所述更新后的目标软件时的软件上传信息。

Images