CN109800150A - 一种灰度测试方法、服务器及计算机可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种灰度测试方法、服务器及计算机可读存储介质，应用于软件测试技术领域。其中，该方法包括：从预先注册的至少一个测试邮箱中选取用于对目标应用进行灰度测试的至少一个目标测试邮箱；分别爬取所述至少一个目标测试邮箱中每一个目标测试邮箱的目标测试邀请链接，并监测所述每一个目标测试邮箱的目标测试邀请链接的状态，将每一个目标测试邮箱的目标测试邀请链接的状态和所述目标应用的测试信息进行关联存储；根据所述每一个目标测试邮箱的目标测试邀请链接的状态，分别向所述测试信息对应的至少一个测试终端发送目标测试邀请链接。采用本申请，有助于提升对应用的灰度测试效率。

Description

一种灰度测试方法、服务器及计算机可读存储介质

技术领域

本申请涉及软件测试技术领域，尤其涉及一种灰度测试方法、服务器及计算机可读存储介质。

背景技术

目前iOS的官方灰度测试方案TestFlight在进行灰度测试时，需要先收集参加灰度测试的用户的邮箱，通过手动将参加灰度测试的用户的邮箱地址添加至iOS后台，以使iOS后台给这些用户邮箱发送邀请链接。在发送邀请链接之后，依赖用户到自己的邮箱里去点击邀请链接，打开链接后跳转到系统Safari浏览器，再跳转到苹果的应用市场下载Testflight，下载完后再通过输入参与体验测试的Code，参与App的体验测试。可见，整个灰度测试方案流程比较繁琐，导致测试效率较低。

发明内容

本申请实施例提供一种灰度测试方法、服务器及计算机可读存储介质，有助于提升对应用的灰度测试效率。

第一方面，本申请实施例提供了一种灰度测试方法，包括：

从预先注册的至少一个测试邮箱中选取用于对目标应用进行灰度测试的至少一个目标测试邮箱，并将所述至少一个目标测试邮箱的地址上传至应用发布平台，以使所述应用发布平台向所述至少一个目标测试邮箱分别发送所述灰度测试对应的目标测试邀请链接；

分别爬取所述至少一个目标测试邮箱中每一个目标测试邮箱的目标测试邀请链接，并监测所述每一个目标测试邮箱的目标测试邀请链接的状态，将所述每一个目标测试邮箱的目标测试邀请链接的状态和所述目标应用的测试信息进行关联存储；其中，所述状态包括未发送邀请状态、已发送邀请状态或已接受邀请状态，所述测试信息包括所述目标应用的名称、版本号、目标测试邮箱的地址以及测试终端的标识中的任一项或多项；

根据所述每一个目标测试邮箱的目标测试邀请链接的状态，分别向所述测试信息对应的至少一个测试终端发送目标测试邀请链接，所述测试终端与发送的目标测试邀请链接一一对应。

可选的，所述从预先注册的至少一个测试邮箱中选取用于对目标应用进行灰度测试的至少一个目标测试邮箱，包括：

确定所述目标应用的应用类型，并从多个邮箱集合中确定出与所述目标应用的应用类型对应的目标邮箱集合，所述邮箱集合与应用类型一一对应，每一邮箱集合中的测试邮箱用于该邮箱集合对应的应用类型的应用进行灰度测试；

从所述目标邮箱集合中选取至少一个测试邮箱，并将选取的所述至少一个测试邮箱作为所述至少一个目标测试邮箱。

可选的，所述方法还包括：

根据各应用类型的应用的历史灰度测试信息确定所述各应用类型的应用的测试频率，所述历史灰度测试信息包括历史灰度测试的时间、次数以及版本号中的任一项或多项；

根据所述各应用类型的应用的测试频率，分别预置得到所述各应用类型对应的邮箱集合，以得到所述多个邮箱集合；

其中，所述多个邮箱集合中第一应用类型对应的邮箱集合包括的测试邮箱的数目大于第二应用类型对应的邮箱集合包括的测试邮箱的数目，所述第一应用类型的应用的测试频率高于所述第二应用类型的应用的测试频率。

可选的，所述从预先注册的至少一个测试邮箱中选取用于对目标应用进行灰度测试的至少一个目标测试邮箱，包括：

获取预先注册的至少一个测试邮箱中各个测试邮箱的负载信息，所述负载信息包括参与灰度测试的进程数量；

按照所述各个测试邮箱参与灰度测试的进程数量由低到高的顺序，从所述各个测试邮箱中选取出所述至少一个目标测试邮箱。

可选的，所述根据所述每一个目标测试邮箱的目标测试邀请链接的状态，分别向所述测试信息对应的至少一个测试终端发送目标测试邀请链接，包括：

确定所述至少一个目标测试邮箱对应的所有目标测试邀请链接中，状态处于未发送邀请状态的目标测试邀请链接，并将所述处于未发送邀请状态的目标测试邀请链接发送给所述测试信息对应的第一测试终端，所述第一测试终端与所述处于未发送邀请状态的目标测试邀请链接一一对应；

检测所述所有目标测试邀请链接中是否存在状态处于已发送邀请状态的时长超过预设时间阈值的目标测试邀请链接；

如果存在超过所述预设时间阈值的目标测试邀请链接，将所述超过所述预设时间阈值的目标测试邀请链接发送给所述测试信息对应的第二测试终端，所述第二测试终端与所述超过所述预设时间阈值的目标测试邀请链接一一对应。

可选的，所述方法还包括：

当所述至少一个目标测试邮箱对应的所有目标测试邀请链接的状态均为已接受邀请状态时，删除所述所有目标测试邀请链接和所述测试信息。

可选的，所述方法还包括：

当任一目标测试邮箱对应的所有测试邀请链接的状态均为已接受邀请状态时，从所述应用发布平台删除该目标测试邮箱的地址。

第二方面，本申请实施例提供了一种服务器，该服务器包括用于执行上述第一方面的方法的单元。

第三方面，本申请实施例提供了另一种服务器，包括处理器、用户接口、通信接口和存储器，所述处理器、用户接口、通信接口和存储器相互连接，其中，所述存储器用于存储支持服务器执行上述方法的计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。

本申请实施例能够通过预先注册邮箱，使得在对应用进行灰度测试时，能够通过从该预先注册的邮箱中选取至少一个目标测试邮箱，以通过该至少一个目标测试邮箱获取测试邀请链接，进而通过监测测试邀请链接的状态，将测试邀请链接的状态和应用的测试信息进行关联存储，以实现根据该测试邀请链接的状态和测试信息，向测试终端发送测试邀请链接，从而实现对该应用的灰度测试，这就提升了对应用的灰度测试效率，且能够实现多个应用共享测试邮箱，提升了测试邮箱的利用率。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种灰度测试方法的流程示意图；

图2是本申请实施例提供的另一种灰度测试方法的流程示意图；

图3是本申请实施例提供的一种服务器的结构示意图；

图4是本申请实施例提供的另一种服务器的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的技术方案可应用于服务器，如灰度平台中，用于对应用进行灰度测试。本申请涉及的终端如测试终端可以是手机、平板电脑、个人计算机等，本申请不做限定。

目前经常存在终端应用的版本更新需要发布新版本的应用，或者发布新应用的情况。在正式发布之前，一般会对该新版本的应用或新应用进行灰度测试(以下简称对应用进行灰度测试)，即经过一个测试阶段，先经过部分用户(测试终端)对应用进行灰度测试之后，再向所有用户正式发布。在本申请中，可通过预先注册一批用于灰度测试的邮箱，使得在对应用进行灰度测试时，能够通过从该预先注册的邮箱中选取用于测试的测试邮箱，以从该测试邮箱快速获取测试邀请链接，进而根据测试邀请链接的状态和应用的测试信息，向测试终端发送测试邀请链接，以实现对该应用的灰度测试，由此提升了对应用的灰度测试效率，且能够实现多个应用共享测试邮箱，提升了测试邮箱的利用率。以下分别详细说明。

请参见图1，图1是本申请实施例提供的一种灰度测试方法的流程示意图。具体的，本实施例的方法可应用于上述的服务器如灰度平台中，下面以灰度平台为例进行说明。如图1所示，该灰度测试方法可以包括以下步骤：

101、从预先注册的至少一个测试邮箱中选取用于对目标应用进行灰度测试的至少一个目标测试邮箱，并将该至少一个目标测试邮箱的地址上传至应用发布平台，以使该应用发布平台向该至少一个目标测试邮箱分别发送该灰度测试对应的目标测试邀请链接。

具体的，可预先注册一个或多个邮箱或通过其他方式选取该一个或多个邮箱，作为进行灰度测试过程中的测试邮箱以供后续测试使用，并可在灰度平台存储该一个或多个邮箱即测试邮箱的信息。该测试邮箱的信息可包括邮箱地址、名称等等。可选的，该一个或多个测试邮箱可以是预先通过手工注册的，或者可以是借用第三方工具批量注册的，等等，此处不一一列举。

可选的，不同的测试邮箱可以用于不同应用的灰度测试；或者，不同的测试邮箱可以用于不同类型的应用的灰度测试；或者，同一测试邮箱也可用于不同的应用的灰度测试，并可同时用于不同的应用的灰度测试。灰度平台可对这些测试邮箱进行管理，为不同应用分配测试邮箱。从而可实现实时、动态的为不同应用分配测试邮箱。

例如，一种可能的实施方式中，灰度平台可通过确定该目标应用的应用类型，并从预置的多个邮箱集合(邮箱分组)中确定出与该目标应用的应用类型对应的目标邮箱集合，进而从该目标邮箱集合中选取至少一个邮箱，并将选取的该至少一个邮箱作为该至少一个目标测试邮箱。其中，该邮箱集合与应用类型一一对应，每一邮箱集合可包括一个或多个测试邮箱，每一邮箱集合中的测试邮箱用于该邮箱集合对应的应用类型的应用的灰度测试。也就是说，在获取得到该至少一个测试邮箱之后，还可对该至少一个测试邮箱进行分组，以得到多个邮箱集合，并将邮箱集合与应用类型进行关联，即不同分组的测试邮箱可以用于不同应用类型的应用的灰度测试，使得在选取对应用进行测试的目标测试邮箱时，能够根据该应用的应用类型来从对应的邮箱集合中快速选择该目标测试邮箱。其中，每个分组的测试邮箱即每个邮箱集合的测试邮箱的数目可以相同，也可以不同。例如，可以根据划分的应用类型的数目和该至少一个测试邮箱的数目为不同类型的应用平均分配测试邮箱，即每个邮箱集合中的测试邮箱的数目相同；又如，可以根据不同应用类型下的应用的数目，进行邮箱分组，一应用类型下的应用的数目越多，该应用类型对应的邮箱集合包括的测试邮箱的数目越多。从而能够结合应用类型来为应用快速选取进行测试的目标测试邮箱，提升了邮箱选取效率。

又如，另一种可能的实施方式中，灰度平台可通过获取预先注册的至少一个测试邮箱中各个测试邮箱的负载信息，进而根据该各个测试邮箱负载信息，从该各个测试邮箱中选取出该至少一个目标测试邮箱。其中，该负载信息包括参与灰度测试的进程数量、邮箱容量大小等等。也就是说，在选取对应用进行测试的目标测试邮箱时，灰度平台能够根据该至少一个测试邮箱的负载信息来选择该目标测试邮箱。例如，灰度平台可按照各个测试邮箱参与灰度测试的进程数量由低到高的顺序，从该各个测试邮箱中选取出目标测试邮箱，即选取参与灰度测试的进程数较少的测试邮箱作为目标测试邮箱；又如，灰度平台可分别计算每一测试邮箱参与灰度测试的进程数量与该测试邮箱的邮箱容量之间的比值，按照该比例由低到高的顺序，从所述各个测试邮箱中选取出目标测试邮箱，即选取该比值较小的测试邮箱作为目标测试邮箱。从而能够结合邮箱负载来为应用选取进行测试的目标测试邮箱，实现了邮箱资源的均衡化利用，避免部分邮箱空置导致的资源浪费。

又如，又一种可能的实施方式中，在选取对应用进行测试的目标测试邮箱时，灰度平台可以从预先注册的所有测试邮箱中随机选择测试邮箱作为当前灰度测试的应用的目标测试邮箱。

灰度平台从预先注册的测试邮箱中选取出目标测试邮箱之后，即可将该选取的目标测试邮箱的地址上传应用发布平台如iOS系统的iTunes Connect，由iTunes Connect向这些测试邮箱发送进行体验邀请链接，以获取得到对该目标应用进行灰度测试的测试邀请链接，即目标测试邀请链接。其中，该目标测试邮箱(的地址)可以与目标测试邀请链接一一对应。

102、分别爬取该至少一个目标测试邮箱中每一个目标测试邮箱的目标测试邀请链接，并监测该每一个目标测试邮箱的目标测试邀请链接的状态。

其中，该状态可包括未发送邀请状态、已发送邀请状态或已接受邀请状态等等。该未发送邀请状态可以是指未将邮箱地址上传该应用发布平台的状态或将邮箱地址上传该应用发布平台但未接收到该应用发布平台发送的目标测试邀请链接的状态或接收到该应用发布平台发送的目标测试邀请链接但未发送给测试终端的状态；该已发送邀请状态可以是指接收到该目标测试邀请链接且已发送给测试终端的状态；该已接受邀请状态可以为测试终端已接受目标测试邀请链接的邀请(如使用了该目标测试邀请链接包括的测试码)的状态。可选的，链接的状态可以是用一个或多个字段来标识，或者通过文字记录，或者用其他方式标识，本申请不做限定。

在将目标测试邮箱的地址上传之后，灰度平台可按照预设的规则检测这些目标测试邮箱中是否存在目标测试邀请链接，比如按照预设的时间间隔去爬取，或者按照预置的爬取时间列表中的时间点去爬取，等等。直到从这些目标测试邮箱中爬取该目标测试邀请链接之后，向对应的测试终端发送该目标测试邀请链接，具体可在爬取出所有目标测试邮箱中的目标测试邀请链接之后再分别向各测试终端发送目标测试邀请链接，或者可爬取出一目标测试邮箱中的目标测试邀请链接，立即向一测试终端发送该目标测试邀请链接，等等。并可监测并记录各目标测试邀请链接的状态，即对各目标测试邮箱的目标测试邀请链接的状态进行标记。

103、将每一个目标测试邮箱的目标测试邀请链接的状态和该目标应用的测试信息进行关联存储。

其中，该测试信息可包括该目标应用的名称、版本号、目标测试邮箱的地址、目标测试邀请链接以及测试终端的标识中的任一项或多项。例如，该测试信息可包括该目标应用的名称、版本号和目标测试邮箱的地址。也即，可通过将链接状态和待测试的目标应用的信息进行绑定，以实现多个应用共享测试邮箱，从而提升测试邮箱的利用率。

104、根据该每一个目标测试邮箱的目标测试邀请链接的状态，分别向该测试信息对应的至少一个测试终端发送目标测试邀请链接。

其中，该测试终端可以与发送的目标测试邀请链接一一对应。也即，对于每一个目标测试邀请链接，可以发送给一个测试终端。可选的，该测试信息对应的至少一个测试终端可以是指用于该目标应用此次灰度测试的测试终端。该至少一个测试终端可预先选取得到，并可将该至少一个测试终端的标识和该目标应用的测试信息(如该目标应用的名称、版本号等)进行绑定，以便于标记该至少一个测试终端是用于该目标应用此次测试使用。进一步可选的，该至少一个测试终端的数量可以大于或等于该至少一个目标测试邮箱(或目标测试邀请链接)的数量。

可选的，灰度平台在向测试终端发送目标测试邀请链接时，可确定该至少一个目标测试邮箱对应的所有目标测试邀请链接中，状态处于未发送邀请状态的目标测试邀请链接，并将该处于未发送邀请状态的目标测试邀请链接发送给该测试信息对应的第一测试终端，该第一测试终端与处于未发送邀请状态的目标测试邀请链接一一对应。也就是说，目标测试邮箱在获取到目标测试邀请链接之后，即可将该目标测试邀请链接发送给测试终端，当确定某一目标测试邀请链接已经使用，该链接的状态为“已接受邀请状态”。进一步可选的，灰度平台还可检测该所有目标测试邀请链接中是否存在状态处于已发送邀请状态的时长超过预设时间阈值的目标测试邀请链接；如果存在超过该预设时间阈值的目标测试邀请链接，则可以将该超过该预设时间阈值的目标测试邀请链接发送给该测试信息对应的第二测试终端，该第二测试终端与该超过该预设时间阈值的目标测试邀请链接一一对应。也就是说，上述的至少一个测试终端可包括该第一终端以及该第二测试终端，该第一测试终端的数目可以和该至少一个目标测试邮箱的数目相同，使得该至少一个目标测试邮箱在获取到目标测试链接之后，能够发送给第一测试终端；如果发送给第一测试终端之后，检测到长时间(如2天)该第一测试终端的用户仍未接受邀请，则可重新向该第一测试终端发送该目标测试邀请链接，或者向新的测试终端即第二测试终端发送该目标测试邀请链接，以提升邀请链接的使用率和测试转化率，从而进一步提升测试效率。

进一步可选的，当该至少一个目标测试邮箱对应的所有目标测试邀请链接的状态均为已接受邀请状态时，灰度平台可删除该所有目标测试邀请链接和记录的该所有目标测试邀请链接的状态，以及删除该测试信息。或者，当任一目标测试邮箱的目标测试邀请链接的状态为已接受邀请状态时，灰度平台可以删除该目标测试邀请链接及其状态，直至所有的目标测试邀请链接的状态均被标记为已接受邀请状态时，删除该测试信息。从而释放内存，以节省存储资源。

进一步可选的，当任一目标测试邮箱对应的所有测试邀请链接的状态均为已接受邀请状态时，灰度平台还可从该应用发布平台删除(移除)该目标测试邮箱的地址。

举例来说，当邮箱信息如上述的目标测试邮箱的地址录入到系统中，即上传iTunes Connect时，目标测试邮箱对应的目标测试邀请链接的状态为“未发送邀请状态”；录入邮箱后，定时的爬虫程序会主动登录目标测试邮箱，如果发现某个目标测试邮箱里有测试邀请链接即目标测试邀请链接，可以将其发送给测试终端，并可标记为“已发送邀请”状态；同时定时爬虫程序可以去主动模拟访问这个目标测试邀请链接，查看用户是否已经参与了邀请，如果参与了邀请(即使用了该目标测试邀请链接的测试码)，则可以将状态更新为“已接受邀请状态”。可选的，对于一个邮箱仅同时用于一个灰度测试的场景下，另外一个定时爬虫任务可以将“已接受邀请状态”的邮箱的地址从iTunes Connect上移除，并可删除该邮箱对应的邀请链接(邮件)及其状态信息，这样就可以形成一个闭环的流程，达到邮箱的重复使用。或者，对于一个邮箱同时用于多个灰度测试的场景下，另外一个定时爬虫任务可以删除该“已接收邀请状态”对应的邀请链接及其状态，当该邮箱的所有邀请链接均被标记为“已接受邀请状态”时，可以将该邮箱从iTunes Connect上移除。

测试终端的用户接收到推送消息之后，即可输出提示消息，提示用户是否参与该目标应用的测试体验。当用户点击参与，即可跳转到Testflight进行参与体验，以完成对该目标应用的灰度测试。

在本实施例中，灰度平台能够通过预先注册邮箱，使得在对应用进行灰度测试时，能够通过从该预先注册的邮箱中选取至少一个目标测试邮箱，以通过该至少一个目标测试邮箱获取测试邀请链接，进而通过监测测试邀请链接的状态，将测试邀请链接的状态和应用的测试信息进行关联存储，以实现根据该测试邀请链接的状态和测试信息，向测试终端发送测试邀请链接，从而实现对该应用的灰度测试，这就提升了对应用的灰度测试效率，且能够实现多个应用共享测试邮箱，提升了测试邮箱的利用率。

请参见图2，图2是本申请实施例提供的另一种灰度测试方法的流程示意图。具体的，如图2所示，该灰度测试方法可以包括以下步骤：

201、根据各应用类型的应用的历史灰度测试信息确定该各应用类型的应用的测试频率。

其中，该历史灰度测试信息可包括历史灰度测试的时间、次数以及版本号中的任一项或多项。

可选的，一应用类型的应用的测试频率可以是指该应用类型下的各应用的平均测试频率或平均测试次数等等，比如为该应用类型下的各应用的总测试次数与该各应用的数目之间比值；又如为预设的历史时间窗如前6个月内该应用类型下的各应用的总测试次数与该各应用的数目之间的比值；又如为预设的历史时间窗内如前6个月内该应用类型下的各应用的总测试次数与该历史时间窗之间的比值，等等，此处不一一列举。

202、根据该各应用类型的应用的测试频率，分别预置得到该各应用类型对应的邮箱集合，以得到多个邮箱集合。

其中，第一应用类型对应的邮箱集合包括的测试邮箱的数目多于(大于)第二应用类型对应的邮箱集合包括的测试邮箱的数目，该第一应用类型的应用的测试频率高于该第二应用类型的应用的测试频率。也就是说，在根据各应用类型的应用的测试频率来对邮箱进行分组时，测试频率越高，对应分组的邮箱集合的测试邮箱的数目可以越多，以确保测试邮箱充足，提升测试邮箱的利用率。

203、确定目标应用的应用类型，并从该多个邮箱集合中确定出与该目标应用的应用类型对应的目标邮箱集合。

其中，该邮箱集合可以与应用类型一一对应，每一邮箱集合中的测试邮箱可用于该邮箱集合对应的应用类型的应用的灰度测试。

204、从该目标邮箱集合中选取至少一个测试邮箱，并将选取的该至少一个测试邮箱作为至少一个目标测试邮箱。

在本实施例中，可根据不同类型的应用进行灰度测试的频率来对测试邮箱进行分组，得到多个邮箱集合，并将邮箱集合与应用类型进行关联，也就是说，不同邮箱集合的测试邮箱可以用于不同类型的应用的灰度测试。使得灰度平台在进行对目标应用的灰度测试时，能够根据该目标应用的类型快速从对应的邮箱集合中选取使用的测试邮箱以进行测试。

进一步可选的，还可预先设置得到一个备用邮箱集合，该备用邮箱集合包括一个或多个邮箱。如果该目标集合中的数目不足，还可从该备用邮箱集合中选取邮箱作为该目标测试邮箱。

205、将该至少一个目标测试邮箱的地址上传至应用发布平台，以使该应用发布平台向该至少一个目标测试邮箱分别发送该灰度测试对应的目标测试邀请链接。

206、分别爬取该至少一个目标测试邮箱中每一个目标测试邮箱的目标测试邀请链接，并监测每一个目标测试邮箱的目标测试邀请链接的状态，将每一个目标测试邮箱的目标测试邀请链接的状态和该目标应用的测试信息进行关联存储。

其中，该状态包括未发送邀请状态、已发送邀请状态或已接受邀请状态等等，该测试信息可包括该目标应用的名称、版本号、目标测试邮箱的地址以及测试终端的标识中的任一项或多项。通过将应用名称、版本号、测试邮箱地址、邀请链接的标记状态进行绑定，使得同一邮箱同一时段内能够同时用于不同的应用的灰度测试，这就进一步提升了测试邮箱的利用率。

207、确定该至少一个目标测试邮箱对应的所有目标测试邀请链接中，状态处于未发送邀请状态的目标测试邀请链接，并将该处于未发送邀请状态的目标测试邀请链接发送给该测试信息对应的第一测试终端。

其中，该第一测试终端可以与与处于未发送邀请状态的目标测试邀请链接一一对应。

208、检测该所有目标测试邀请链接中是否存在状态处于已发送邀请状态的时长超过预设时间阈值的目标测试邀请链接。

209、如果存在超过该预设时间阈值的目标测试邀请链接，将该超过该预设时间阈值的目标测试邀请链接发送给该测试信息对应的第二测试终端。

其中，该第二测试终端可以与该超过该预设时间阈值的目标测试邀请链接一一对应。

具体的，该步骤205-209的描述可参照上述图1所示实施例的相关描述，此处不赘述。

由于灰度平台的建设目的就是为了让用户参与应用(APP)的体验测试，让用户使用应用的体验版本，以从用户的使用情况来采集新版本是否存在缺陷。由此，在选取该至少一个测试终端时，可选的，可根据用户的对该目标应用或同类型的应用的历史体验数据确定出预设时间范围内的活跃用户，如近三个月内使用该目标应用(测试前的版本)或使用该目标应用的相同应用类型的应用的日均时长超过预设时长阈值的用户，将该用户作为测试用户，即将该用户对应的终端作为测试终端。和/或，可选的，还可结合测试的该目标应用的使用区域范围，选取该使用区域范围(如某一城市)内的活跃用户对应的终端作为测试终端。和/或，可选的，还可以结合该目标应用的测试(体验)版本新增功能的类型来选取对应用户维度标签的用户作为测试用户，比如这期版本主要增加的是理财方面的功能，则可以通过后端用户的画像数据，根据每个用户维度标签，选择出用户维度标签为理财的用户作为测试用户，等等。在选取出测试用户之后，即可向这些用户对应的终端即测试终端主动推送包括上述的目标测试邀请链接的体验消息。从而有助于提升用户参与应用灰度测试的转化率，进而提升灰度测试的效率。可选的，该第一测试终端和第二测试终端即可以为上述的测试终端。

测试终端接收到目标测试邀请链接或包括该目标测试邀请链接的推送消息之后，测试终端可输出提示消息，以提示用户是否参与该目标应用的体验，或者检测到用户打开该目标应用时，输出该用于提示用户是否参与体验的提示消息。如果用户点击参与即接收到用户点击参与的指令时，则可跳转到Testflight进行参与APP体验。其中，Testflight为是苹果官方参与体验测试的官方APP，所有参与体验用户需要到这个APP里去下载待测试的目标应用。可选的，当用户接收到目标测试邀请链接的信息并点击参与体验之后，可跳转到针对该目标应用的一个参与体验的说明界面，该说明界面里可显示包括该目标应用本次更新的内容、跳转到Testfligh的体验按钮和用户是否已经安装Testflight等内容。当用户再次点击体验按钮时，则可直接跳转到系统浏览器Safari打开该目标测试邀请链接，同时Safari浏览器可自动更新用户是否已经安装Testflight进行跳转逻辑：如果用户已经安装Testflight，则可跳转到苹果的Testflight APP，同时可弹出需要输入体验码code的界面，此时用户可以返回Safari浏览器界面拷贝体验码并输入，以下载该目标应用进行体验。如果用户没安装Testflight，Safari可输出引导消息以引导用户去安装Testfight，安装后弹出需要输入体验码code的界面，此时用户可以返回Safari浏览器界面拷贝体验码并输入，下载该目标应用进行体验。综上，本申请的灰度测试方案可减少用户的配合参与，优化用户参与灰度测试的体验，提高用户参与应用灰度测试的转化率。仅需要用户最后一步点击参与，跳转到Testflight，输入体验码，进行体验的目标应用的安装，即可实现灰度测试，这就极大的提高了用户的参与体验。

在本实施例中，灰度平台能够通过预先注册邮箱，根据不同类型的应用进行灰度测试的频率来对测试邮箱进行分组以得到多个邮箱集合，并将邮箱集合与应用类型进行关联，使得灰度平台在进行对目标应用的灰度测试时，能够根据该目标应用的类型快速从对应的邮箱集合中选取使用的测试邮箱，以通过该选取的测试邮箱获取测试邀请链接，进而通过监测测试邀请链接的状态，将测试邀请链接的状态和应用的测试信息进行关联存储，以实现根据该测试邀请链接的状态和测试信息，向测试终端发送测试邀请链接，从而实现对该应用的灰度测试，这就提升了对应用的灰度测试效率，且能够实现多个应用共享测试邮箱，提升了测试邮箱的利用率，并且有助于减少用户在整个灰度体验测试中的配合，提高了用户体验度，进而提高了用户参与应用体验测试的转化率。

上述方法实施例都是对本申请的灰度测试方法的举例说明，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

请参见图3，图3是本申请实施例提供的一种服务器的结构示意图。本申请实施例的服务器包括用于执行上述灰度测试方法的单元。具体的，本实施例的服务器300可包括：处理单元301和通信单元302。其中，

处理单元301，用于从预先注册的至少一个测试邮箱中选取用于对目标应用进行灰度测试的至少一个目标测试邮箱；

通信单元302，用于将所述至少一个目标测试邮箱的地址上传至应用发布平台，以使所述应用发布平台向所述至少一个目标测试邮箱分别发送所述灰度测试对应的目标测试邀请链接；

所述处理单元301，还用于分别爬取所述至少一个目标测试邮箱中每一个目标测试邮箱的目标测试邀请链接，并监测所述每一个目标测试邮箱的目标测试邀请链接的状态，将所述每一个目标测试邮箱的目标测试邀请链接的状态和所述目标应用的测试信息进行关联存储；其中，所述状态包括未发送邀请状态、已发送邀请状态或已接受邀请状态，所述测试信息包括所述目标应用的名称、版本号、目标测试邮箱的地址以及测试终端的标识中的任一项或多项；

所述通信单元302，还用于根据所述每一个目标测试邮箱的目标测试邀请链接的状态，分别向所述测试信息对应的至少一个测试终端发送目标测试邀请链接，所述测试终端与发送的目标测试邀请链接一一对应。

可选的，所述处理单元301，可具体用于确定所述目标应用的应用类型，并从多个邮箱集合中确定出与所述目标应用的应用类型对应的目标邮箱集合，所述邮箱集合与应用类型一一对应，每一邮箱集合中的测试邮箱用于该邮箱集合对应的应用类型的应用进行灰度测试；从所述目标邮箱集合中选取至少一个测试邮箱，并将选取的所述至少一个测试邮箱作为所述至少一个目标测试邮箱。

进一步可选的，所述装置还包括：预置单元303；

所述预置单元303，用于根据各应用类型的应用的历史灰度测试信息确定所述各应用类型的应用的测试频率，所述历史灰度测试信息包括历史灰度测试的时间、次数以及版本号中的任一项或多项；根据所述各应用类型的应用的测试频率，分别预置得到所述各应用类型对应的邮箱集合，以得到所述多个邮箱集合；

其中，所述多个邮箱集合中第一应用类型对应的邮箱集合包括的测试邮箱的数目大于第二应用类型对应的邮箱集合包括的测试邮箱的数目，所述第一应用类型的应用的测试频率高于所述第二应用类型的应用的测试频率。

可选的，所述处理单元301，可具体用于获取预先注册的至少一个测试邮箱中各个测试邮箱的负载信息，所述负载信息包括参与灰度测试的进程数量；按照所述各个测试邮箱参与灰度测试的进程数量由低到高的顺序，从所述各个测试邮箱中选取出所述至少一个目标测试邮箱。

可选的，所述通信单元302，可具体用于确定所述至少一个目标测试邮箱对应的所有目标测试邀请链接中，状态处于未发送邀请状态的目标测试邀请链接，并将所述处于未发送邀请状态的目标测试邀请链接发送给所述测试信息对应的第一测试终端，所述第一测试终端与所述处于未发送邀请状态的目标测试邀请链接一一对应；

所述处理单元301，还可用于检测所述所有目标测试邀请链接中是否存在状态处于已发送邀请状态的时长超过预设时间阈值的目标测试邀请链接；

所述通信单元302，还可具体用于当存在超过所述预设时间阈值的目标测试邀请链接时，将所述超过所述预设时间阈值的目标测试邀请链接发送给所述测试信息对应的第二测试终端，所述第二测试终端与所述超过所述预设时间阈值的目标测试邀请链接一一对应。

可选的，处理单元301，还可用于当所述至少一个目标测试邮箱对应的所有目标测试邀请链接的状态均为已接受邀请状态时，删除所述所有目标测试邀请链接和所述测试信息。

可选的，处理单元301，还可用于当任一目标测试邮箱对应的所有测试邀请链接的状态均为已接受邀请状态时，从所述应用发布平台删除该目标测试邮箱的地址。

具体的，该服务器可通过上述单元实现上述图1至图2所示实施例中的灰度测试方法中的部分或全部步骤。应理解，本申请实施例是对应方法实施例的装置实施例，对方法实施例的描述，也适用于本申请实施例。

在本实施例中，灰度平台能够通过预先注册邮箱，使得在对应用进行灰度测试时，能够通过从该预先注册的邮箱中选取至少一个目标测试邮箱，以通过该至少一个目标测试邮箱获取测试邀请链接，进而通过监测测试邀请链接的状态，将测试邀请链接的状态和应用的测试信息进行关联存储，以实现根据该测试邀请链接的状态和测试信息，向测试终端发送测试邀请链接，从而实现对该应用的灰度测试，这就提升了对应用的灰度测试效率，且能够实现多个应用共享测试邮箱，提升了测试邮箱的利用率。

请参见图4，图4是本申请实施例提供的另一种服务器的结构示意图。该服务器用于执行上述的方法。如图4所示，本实施例中的服务器400可以包括：一个或多个处理器401、存储器402和通信接口403。可选的，该服务器还可包括一个或多个用户接口404。上述处理器401、通信接口403、用户接口404和存储器402可通过总线405连接，或者可以通过其他方式连接，图4中以总线方式进行示例说明。其中，存储器402可用于存储计算机程序，所述计算机程序包括程序指令，处理器401用于执行存储器402存储的程序指令。其中，处理器401可用于调用所述程序指令执行上述图1至图2中的部分或全部步骤。

例如，处理器401可用于调用所述程序指令执行以下步骤：从预先注册的至少一个测试邮箱中选取用于对目标应用进行灰度测试的至少一个目标测试邮箱，并将所述至少一个目标测试邮箱的地址上传至应用发布平台，以使所述应用发布平台向所述至少一个目标测试邮箱分别发送所述灰度测试对应的目标测试邀请链接；分别爬取所述至少一个目标测试邮箱中每一个目标测试邮箱的目标测试邀请链接，并监测所述每一个目标测试邮箱的目标测试邀请链接的状态，将所述每一个目标测试邮箱的目标测试邀请链接的状态和所述目标应用的测试信息进行关联存储；其中，所述状态包括未发送邀请状态、已发送邀请状态或已接受邀请状态，所述测试信息包括所述目标应用的名称、版本号、目标测试邮箱的地址以及测试终端的标识中的任一项或多项；根据所述每一个目标测试邮箱的目标测试邀请链接的状态，调用通信接口403分别向所述测试信息对应的至少一个测试终端发送目标测试邀请链接，所述测试终端与发送的目标测试邀请链接一一对应。

可选的，处理器401在执行所述从预先注册的至少一个测试邮箱中选取用于对目标应用进行灰度测试的至少一个目标测试邮箱时，可具体执行以下步骤：

确定所述目标应用的应用类型，并从多个邮箱集合中确定出与所述目标应用的应用类型对应的目标邮箱集合，所述邮箱集合与应用类型一一对应，每一邮箱集合中的测试邮箱用于该邮箱集合对应的应用类型的应用进行灰度测试；

从所述目标邮箱集合中选取至少一个测试邮箱，并将选取的所述至少一个测试邮箱作为所述至少一个目标测试邮箱。

可选的，处理器401还可执行以下步骤：

根据各应用类型的应用的历史灰度测试信息确定所述各应用类型的应用的测试频率，所述历史灰度测试信息包括历史灰度测试的时间、次数以及版本号中的任一项或多项；

根据所述各应用类型的应用的测试频率，分别预置得到所述各应用类型对应的邮箱集合，以得到所述多个邮箱集合；

其中，所述多个邮箱集合中第一应用类型对应的邮箱集合包括的测试邮箱的数目大于第二应用类型对应的邮箱集合包括的测试邮箱的数目，所述第一应用类型的应用的测试频率高于所述第二应用类型的应用的测试频率。

可选的，处理器401在执行所述从预先注册的至少一个测试邮箱中选取用于对目标应用进行灰度测试的至少一个目标测试邮箱时，可具体执行以下步骤：

获取预先注册的至少一个测试邮箱中各个测试邮箱的负载信息，所述负载信息包括参与灰度测试的进程数量；

按照所述各个测试邮箱参与灰度测试的进程数量由低到高的顺序，从所述各个测试邮箱中选取出所述至少一个目标测试邮箱。

可选的，处理器401在执行所述根据所述每一个目标测试邮箱的目标测试邀请链接的状态，调用通信接口403分别向所述测试信息对应的至少一个测试终端发送目标测试邀请链接时，可具体执行以下步骤：

确定所述至少一个目标测试邮箱对应的所有目标测试邀请链接中，状态处于未发送邀请状态的目标测试邀请链接，并调用通信接口403将所述处于未发送邀请状态的目标测试邀请链接发送给所述测试信息对应的第一测试终端，所述第一测试终端与所述处于未发送邀请状态的目标测试邀请链接一一对应；

检测所述所有目标测试邀请链接中是否存在状态处于已发送邀请状态的时长超过预设时间阈值的目标测试邀请链接；

如果存在超过所述预设时间阈值的目标测试邀请链接，调用通信接口403将所述超过所述预设时间阈值的目标测试邀请链接发送给所述测试信息对应的第二测试终端，所述第二测试终端与所述超过所述预设时间阈值的目标测试邀请链接一一对应。

可选的，处理器401还可执行以下步骤：

当所述至少一个目标测试邮箱对应的所有目标测试邀请链接的状态均为已接受邀请状态时，删除所述所有目标测试邀请链接和所述测试信息。

可选的，处理器401还可执行以下步骤：

当任一目标测试邮箱对应的所有测试邀请链接的状态均为已接受邀请状态时，从所述应用发布平台删除该目标测试邮箱的地址。

其中，所述处理器401可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

通信接口403可包括接收器和发射器，用于与其他设备如测试终端进行通信。

用户接口404可包括输入设备和输出设备，输入设备可以包括触控板、麦克风等，输出设备可以包括显示器(LCD等)、扬声器等。

存储器402可以包括只读存储器和随机存取存储器，并向处理器401提供指令和数据。存储器402的一部分还可以包括非易失性随机存取存储器。例如，存储器402还可以存储上述的函数指针和函数的对应关系等等。

具体实现中，本申请实施例中所描述的处理器401等可执行上述图1至图2所示的方法实施例中所描述的实现方式，也可执行本申请实施例图3所描述的各单元的实现方式，此处不赘述。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现图1至图2所对应实施例中描述的灰度测试方法中的部分或全部步骤，也可实现本申请图3或图4所示实施例的服务器的功能，此处不赘述。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的部分或全部步骤。

所述计算机可读存储介质可以是前述任一实施例所述的服务器的内部存储单元，例如服务器的硬盘或内存。所述计算机可读存储介质也可以是所述服务器的外部存储设备，例如所述服务器上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。

在本申请中，术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

以上所述，仅为本申请的部分实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种灰度测试方法，其特征在于，包括：

从预先注册的至少一个测试邮箱中选取用于对目标应用进行灰度测试的至少一个目标测试邮箱，并将所述至少一个目标测试邮箱的地址上传至应用发布平台，以使所述应用发布平台向所述至少一个目标测试邮箱分别发送所述灰度测试对应的目标测试邀请链接；

分别爬取所述至少一个目标测试邮箱中每一个目标测试邮箱的目标测试邀请链接，并监测所述每一个目标测试邮箱的目标测试邀请链接的状态，将所述每一个目标测试邮箱的目标测试邀请链接的状态和所述目标应用的测试信息进行关联存储；其中，所述状态包括未发送邀请状态、已发送邀请状态或已接受邀请状态，所述测试信息包括所述目标应用的名称、版本号、目标测试邮箱的地址以及测试终端的标识中的任一项或多项；

根据所述每一个目标测试邮箱的目标测试邀请链接的状态，分别向所述测试信息对应的至少一个测试终端发送目标测试邀请链接，所述测试终端与发送的目标测试邀请链接一一对应。

2.根据权利要求1所述的方法，其特征在于，所述从预先注册的至少一个测试邮箱中选取用于对目标应用进行灰度测试的至少一个目标测试邮箱，包括：

确定所述目标应用的应用类型，并从多个邮箱集合中确定出与所述目标应用的应用类型对应的目标邮箱集合，所述邮箱集合与应用类型一一对应，每一邮箱集合中的测试邮箱用于该邮箱集合对应的应用类型的应用进行灰度测试；

从所述目标邮箱集合中选取至少一个测试邮箱，并将选取的所述至少一个测试邮箱作为所述至少一个目标测试邮箱。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

根据各应用类型的应用的历史灰度测试信息确定所述各应用类型的应用的测试频率，所述历史灰度测试信息包括历史灰度测试的时间、次数以及版本号中的任一项或多项；

根据所述各应用类型的应用的测试频率，分别预置得到所述各应用类型对应的邮箱集合，以得到所述多个邮箱集合；

其中，所述多个邮箱集合中第一应用类型对应的邮箱集合包括的测试邮箱的数目大于第二应用类型对应的邮箱集合包括的测试邮箱的数目，所述第一应用类型的应用的测试频率高于所述第二应用类型的应用的测试频率。

4.根据权利要求1所述的方法，其特征在于，所述从预先注册的至少一个测试邮箱中选取用于对目标应用进行灰度测试的至少一个目标测试邮箱，包括：

获取预先注册的至少一个测试邮箱中各个测试邮箱的负载信息，所述负载信息包括参与灰度测试的进程数量；

按照所述各个测试邮箱参与灰度测试的进程数量由低到高的顺序，从所述各个测试邮箱中选取出所述至少一个目标测试邮箱。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述每一个目标测试邮箱的目标测试邀请链接的状态，分别向所述测试信息对应的至少一个测试终端发送目标测试邀请链接，包括：

确定所述至少一个目标测试邮箱对应的所有目标测试邀请链接中，状态处于未发送邀请状态的目标测试邀请链接，并将所述处于未发送邀请状态的目标测试邀请链接发送给所述测试信息对应的第一测试终端，所述第一测试终端与所述处于未发送邀请状态的目标测试邀请链接一一对应；

检测所述所有目标测试邀请链接中是否存在状态处于已发送邀请状态的时长超过预设时间阈值的目标测试邀请链接；

如果存在超过所述预设时间阈值的目标测试邀请链接，将所述超过所述预设时间阈值的目标测试邀请链接发送给所述测试信息对应的第二测试终端，所述第二测试终端与所述超过所述预设时间阈值的目标测试邀请链接一一对应。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述至少一个目标测试邮箱对应的所有目标测试邀请链接的状态均为已接受邀请状态时，删除所述所有目标测试邀请链接和所述测试信息。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当任一目标测试邮箱对应的所有测试邀请链接的状态均为已接受邀请状态时，从所述应用发布平台删除该目标测试邮箱的地址。

8.一种服务器，其特征在于，包括用于执行如权利要求1-7任一项权利要求所述的方法的单元。

9.一种服务器，其特征在于，包括处理器、通信接口和存储器，所述处理器、所述通信接口和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。