CN106612198B - 一种业务质量测试指标的测试方法及装置 - Google Patents

Abstract

本发明提供了一种业务质量测试指标的测试方法及装置，其中，应用于测试终端侧的测试方法包括：采集影响预定业务质量测试对应的测试指标的一个或多个第一影响参数；将采集的第一影响参数发送至云测试平台，以使云测试平台中预先建立的预测模型根据第一影响参数预测预定业务质量测试所需的预测流量消耗值；接收云测试平台发送的预测流量消耗值；启动预定业务质量测试的过程，监测测试过程中的实际流量消耗值，与预测流量消耗值进行比较，确定预定业务质量测试过程是否完成。本发明提供的上述技术方案可自动控制测试过程的停止，不需人工介入。

Description

一种业务质量测试指标的测试方法及装置

技术领域

本发明涉及移动业务领域，尤其涉及一种业务质量测试指标的测试方法及装置。

背景技术

目前随着运营商对用户体验感知的评估重视程度的增加，会使用各种活动吸引更多的测试用户、友好用户等协助运营商参加用户体验测试。但是随着4G的普及，瞬时网络速率大大提高，在智能终端上执行这些测试将给用户带来大量的电量和流量的消耗。

例如，在视频测试过程中，关键测试指标可能主要是首次播放时延(即从用户点击开始播放到视频真正第一次开始播放的时间)，而由于用户(或者测试终端)不清楚测试指标，将很可能将等待整个视频下载并播放完成时才停止；再比如，在网页浏览测试中，关键测试指标为首屏展现时延，而一般用户会等待这个网页完全加载完毕(涉及的所有图片、声音和广告等)时才结束等。

为了减少测试流量，通常可以采用人工介入的方法，人工监控测试过程，当发现必要的测试指标已经获取完毕时，人为控制测试过程的停止，但是这样将无法实现大量的自动化测试，且由于各种业务和网络测试类型不同，对应关键指标和计算方法大相径庭，目前还暂无一种通用的在关键测试指标已经采集完毕后快速控制终端停止以减少测试流量的技术。

发明内容

本发明实施例所要解决的技术问题在于，提供一种业务质量测试指标的测试方法及装置，能够解决没有一种通用的在关键测试指标已经采集完毕后快速控制终端停止以减少测试流量的技术问题。

为了解决上述技术问题，本发明采用如下技术方案：

依据本发明实施例的一个方面，提供了一种业务质量测试指标的测试方法，应用于测试终端侧，所述测试方法包括：

采集影响预定业务质量测试对应的测试指标的一个或多个第一影响参数；

将采集的所述第一影响参数发送至云测试平台，以使所述云测试平台中预先建立的预测模型根据所述第一影响参数预测所述预定业务质量测试所需的预测流量消耗值；

接收所述云测试平台发送的所述预测流量消耗值；

启动所述预定业务质量测试的过程，监测测试过程中的实际流量消耗值，与所述预测流量消耗值进行比较，确定所述预定业务质量测试过程是否完成。

进一步的，所述监测测试过程中的实际流量消耗值，与所述预测流量消耗值进行比较，确定所述预定业务质量测试过程是否完成的步骤包括：

当监测测试过程中的实际流量消耗值等于或大于所述预测流量消耗值时，确定所述预定业务质量测试过程完成。

进一步的，所述监测测试过程中的实际流量消耗值，与所述预测流量消耗值进行比较，确定所述预定业务质量测试过程是否完成的步骤包括：

当监测测试过程中的实际流量消耗值等于或大于所述预测流量消耗值与一补偿阈值之和时，确定所述预定业务质量测试过程完成。

进一步的，当确定所述预定业务质量测试过程完成时，所述测试方法还包括：

触发所述预定业务质量测试的停止指令。

进一步的，在所述采集影响预定业务质量测试对应的测试指标的一个或多个第一影响参数的步骤之前，所述测试方法还包括：

在预定环境中完成所述预定业务质量测试的过程，且在完成所述预定业务质量测试的过程中，向所述云测试平台发送对所述预定业务质量测试时采集的、影响所述预定业务质量测试对应的测试指标的多组一个或多个第二影响参数和与每组所述第二影响参数对应的、完成所述预定业务质量测试时的流量消耗记录，以使所述云测试平台根据多组所述第二影响参数和每组所述第二影响参数对应的所述流量消耗记录建立所述预测模型。

依据本发明实施例的另一个方面，提供了一种业务质量测试指标的测试方法，应用于云测试平台侧，所述测试方法包括：

接收第一测试终端对预定业务质量测试采集的、影响所述预定业务质量测试对应的测试指标的一个或多个第一影响参数；

根据所述第一影响参数，由预先建立的预测模型预测所述预定业务质量测试所需的预测流量消耗值；

将所述预测流量消耗值发送至所述第一测试终端，以使所述第一测试终端对所述预测流量消耗值与所述预定业务质量测试过程中监测的实际流量消耗值进行比较，确定所述预定业务质量测试过程是否完成。

进一步的，在所述接收由第一测试终端发送的影响所述预定业务质量测试对应的测试指标的一个或多个第一影响参数的步骤之前，所述测试方法还包括：

接收第二测试终端对所述预定业务质量测试时采集的、影响所述预定业务质量测试对应的测试指标的多组一个或多个第二影响参数和每组所述第二影响参数对应的、所述第二测试终端完成所述预定业务质量测试时的流量消耗记录；

根据多组所述第二影响参数和每组所述第二影响参数对应的所述流量消耗记录，建立所述预测模型。

进一步的，所述根据多组所述第二影响参数和每组所述第二影响参数对应的所述流量消耗记录，建立所述预测模型，具体包括：

利用聚类分析法，将多组所述第二影响参数和每组所述第二影响参数对应的所述流量消耗记录进行分类，其中，每个分类类别中具有至少一组所述第二影响参数以及该组第二影响参数对应的流量消耗记录；

确定每个分类类别中所包含的所有流量消耗记录的均值；

将所述均值确定为该分类类别对应的类别预测流量消耗值。

进一步的，所述根据所述第一影响参数，由预先建立的预测模型预测所述预定业务质量测试所需的预测流量消耗值，具体包括：

确定所述第一影响参数在所述预测模型中所属的分类类别；

将所述第一影响参数所属的分类类别对应的类别预测流量消耗值作为所述预测模型预测的所述预定业务质量测试所需的预测流量消耗值。

依据本发明实施例的另一个方面，提供了一种业务质量测试指标的测试装置，应用于测试终端侧，所述测试装置包括：

采集模块，用于采集影响预定业务质量测试对应的测试指标的一个或多个第一影响参数；

第一发送模块，用于将采集的所述第一影响参数发送至云测试平台，以使所述云测试平台中预先建立的预测模型根据所述第一影响参数预测所述预定业务质量测试所需的预测流量消耗值；

接收模块，用于接收所述云测试平台发送的所述预测流量消耗值；

监测模块，用于启动所述预定业务质量测试的过程，监测测试过程中的实际流量消耗值，与所述预测流量消耗值进行比较，确定所述预定业务质量测试过程是否完成。

进一步的，所述监测模块包括：

第一确定单元，用于当监测测试过程中的实际流量消耗值等于或大于所述预测流量消耗值时，确定所述预定业务质量测试过程完成。

进一步的，所述监测模块包括：

第二确定单元，用于当监测测试过程中的实际流量消耗值等于或大于所述预测流量消耗值与一补偿阈值之和时，确定所述预定业务质量测试过程完成。

进一步的，所述测试装置还包括：

触发模块，用于当确定所述预定业务质量测试过程完成时，触发所述预定业务质量测试的停止指令。

进一步的，所述测试装置还包括：

第二发送模块，用于在预定环境中完成所述预定业务质量测试的过程，且在完成所述预定业务质量测试的过程中，向所述云测试平台发送对所述预定业务质量测试时采集的、影响所述预定业务质量测试对应的测试指标的多组一个或多个第二影响参数和与每组所述第二影响参数对应的、完成所述预定业务质量测试时的流量消耗记录，以使所述云测试平台根据多组所述第二影响参数和每组所述第二影响参数对应的所述流量消耗记录建立所述预测模型。

依据本发明实施例的另一个方面，提供了一种业务质量测试指标的测试装置，应用于云测试平台侧，所述测试装置包括：

第一接收模块，用于接收第一测试终端对预定业务质量测试采集的、影响所述预定业务质量测试对应的测试指标的一个或多个第一影响参数；

预测模块，用于根据所述第一影响参数，由预先建立的预测模型预测所述预定业务质量测试所需的预测流量消耗值；

第三发送模块，用于将所述预测流量消耗值发送至所述第一测试终端，以使所述第一测试终端对所述预测流量消耗值与所述预定业务质量测试过程中监测的实际流量消耗值进行比较，确定所述预定业务质量测试过程是否完成。

进一步的，所述测试装置还包括：

第二接收模块，用于接收第二测试终端对所述预定业务质量测试时采集的、影响所述预定业务质量测试对应的测试指标的多组一个或多个第二影响参数和每组所述第二影响参数对应的、所述第二测试终端完成所述预定业务质量测试时的流量消耗记录；

模型建立模块，用于根据多组所述第二影响参数和每组所述第二影响参数对应的所述流量消耗记录，建立所述预测模型。

进一步的，所述模型建立模块包括：

分类单元，用于利用聚类分析法，将多组所述第二影响参数和每组所述第二影响参数对应的所述流量消耗记录进行分类，其中，每个分类类别中具有至少一组所述第二影响参数以及该组第二影响参数对应的流量消耗记录；

均值确定单元，用于确定每个分类类别中所包含的所有流量消耗记录的均值；

第三确定单元，用于将所述均值确定为该分类类别对应的类别预测流量消耗值。

进一步的，所述预测模块包括：

第四确定单元，用于确定所述第一影响参数在所述预测模型中所属的分类类别；

预测单元，用于将所述第一影响参数所属的分类类别对应的类别预测流量消耗值作为所述预测模型预测的所述预定业务质量测试所需的预测流量消耗值。

本发明的有益效果是：

上述技术方案，通过预先在云测试平台建立预测模型，由预测模型预测每次测试过程中业务质量测试所需的流量消耗值，并将预测的流量消耗值发送至测试终端，以使测试终端根据预测的流量消耗值和测试过程中监测的实际流量消耗值，控制测试过程的停止。该技术方案能够自动控制测试过程的停止，不需人工介入，有利于实现大量的自动化测试，同时可减少整体测试时间和测试流量消耗值，提高测试效率，此外，该技术方案具有一定的通用性，可适用于多种业务质量测试指标的测试过程。

附图说明

图1表示本发明第一实施例提供的业务质量测试指标的测试方法的流程示意图之一；

图2表示本发明第一实施例提供的业务质量测试指标的测试方法的流程示意图之二；

图3表示本发明第二实施例提供的业务质量测试指标的测试方法的流程示意图；

图4表示本发明第二实施例提供的预测模型建立方法的流程示意图之一；

图5表示本发明第二实施例提供的预测模型建立方法的流程示意图之二；

图6表示本发明第二实施例提供的预测流量消耗值的预测方法的流程示意图；

图7表示本发明第三实施例提供的测试终端的逻辑构架示意图；

图8表示本发明第三实施例提供的云测试平台的逻辑构架示意图；

图9表示本发明第四实施例提供的业务质量测试指标的测试装置的框图示意图之一；

图10表示本发明第四实施例提供的业务质量测试指标的测试装置的框图示意图之二；

图11表示本发明第五实施例提供的业务质量测试指标的测试装置的框图示意图之一；

图12表示本发明第五实施例提供的业务质量测试指标的测试装置的框图示意图之二。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

第一实施例

本发明实施例提供了一种业务质量测试指标的测试方法，应用于测试终端侧，参见图1，该测试方法包括：

S101、采集影响预定业务质量测试对应的测试指标的一个或多个第一影响参数。

其中，业务质量测试的种类具有多种，例如，视频测试、网页浏览测试等，而上述预定业务质量测试指多种业务质量测试中的一种，可以是视频测试，也可以是网页浏览测试，还可以是其他种类的测试。预定业务质量测试对应的测试指标为该业务质量测试时需采集的关键指标，例如，对于视频测试而言，关键指标为视频首次播放缓冲时延，对于网页浏览测试而言，关键指标为首屏展现时延。

上述第一影响参数为所有可能影响业务质量测试对应的测试指标的影响因素，例如，影响视频测试的关键指标—视频首次播放缓冲时延的影响因素包括但不限于：播放视频源地址、视频清晰度类型和码率、客户端播放器名称、客户端视频缓冲大小、测试网络类型(无线网络/2G网络/3G网络/LTE网络)等。

S102、将采集的第一影响参数发送至云测试平台，以使云测试平台中预先建立的预测模型根据第一影响参数预测预定业务质量测试所需的预测流量消耗值。

也就是，在云测试平台中预先建立有与预定业务质量测试对应的预测模型，该预测模块可根据第一影响参数预测预定业务质量测试所需的预测流量消耗值。其中，一个预测模型对应一种业务质量测试。

S103、接收云测试平台发送的预测流量消耗值。

当云测试平台中的预测模型完成预测时，将预测结果下发至测试终端。

S104、启动预定业务质量测试的过程，监测测试过程中的实际流量消耗值，与预测流量消耗值进行比较，确定预定业务质量测试过程是否完成。

测试开始时，测试终端可采用实时或定时的监测方式，监测测试过程中的实际流量消耗值，同时与预测模型预测的流量消耗值进行比较，当预测的流量消耗值与实际流量消耗值之间满足预设关系时，确定测试完成，若测试完成即可停止测试过程。

综上所述，本发明实施例提供的上述技术方案，通过预先在云测试平台建立预测模型，由预测模型预测每次测试过程中业务质量测试所需的流量消耗值，并将预测的流量消耗值发送至测试终端，以使测试终端根据预测的流量消耗值和测试过程中监测的实际流量消耗值，控制测试过程的停止。该技术方案具有一定的通用性，可适用于多种业务质量测试指标的测试过程，且能够自动控制测试过程的停止，可减少整体测试时间和测试流量消耗值，提高测试效率。

具体的，在S104中确定预定业务质量测试过程是否完成的方式可以通过对监测过程中的实际流量消耗值与预测流量消耗值直接进行比较，确定预定业务质量测试过程是否完成，即当监测测试过程中的实际流量消耗值等于或大于预测流量消耗值时，确定预定业务质量测试过程完成；也可以对监测测试过程中的实际流量消耗值与预测流量消耗值与一补偿阈值之和进行比较，确定预定业务质量测试过程是否完成，即当监测测试过程中的实际流量消耗值等于或大于预测流量消耗值与一补偿阈值之和时，确定预定业务质量测试过程完成。其中，补偿阈值为根据以往经验而设定的一个数值，可以是一真实流量值，也可以是一百分比，例如，Y2表示监测测试过程中的实际流量消耗值，Y1表示预测模型预测的预测流量消耗值，m表示补偿阈值，那么当Y2≥Y1(100+m)％时，确定已完成测试，当然可以理解的是补偿阈值还可以是其他形式，具体情况可根据实际需要选择，这里不进行限制，其中，增加补偿阈值的目的在于为了克服预测模型存在预测误差，导致还未完成指标测试即停止测试过程的问题。

具体的，参见图2，当确定预定业务质量测试过程完成时，该测试方法还包括：

S105、触发预定业务质量测试的停止指令。

也就是，当确定测试过程完成时，通过停止指令控制测试过程的停止，以即时减少测试流量的消耗。

具体的，预先建立在云测试平台中的预测模型需要经过一定量的数据训练才可进行业务质量测试，在未进行一定量的数据训练之前，预测模型没有预测能力。用于预测模型进行数据训练的数据为影响业务质量测试对应的测试指标的影响参数以及每次测试完成时所记录的流量消耗值，这些数据的获取可以通过将一个或多个测试终端的历史测试过程中所获取的相应的数据发送至云测试平台以供训练预测模型，也就是一个或多个测试终端在预定环境中完成预定业务质量测试的过程，且在完成预定业务质量测试的过程中，向云测试平台发送对预定业务质量测试时采集的、影响预定业务质量测试对应的测试指标的多组一个或多个第二影响参数和与每组第二影响参数对应的、第二测试终端完成预定业务质量测试时的流量消耗记录，以使云测试平台根据多组第二影响参数和每组第二影响参数对应的流量消耗记录建立预测模型。

综上所述，本发明实施例提供的上述技术方案，通过建立预测模型预测业务质量测试所需的流量消耗值，具有一定的通用性，可适用于多种业务质量测试指标的测试过程，且该技术方案能够自动控制测试过程的停止，不需人工介入，有利于实现大量的自动化测试，同时可减少整体测试时间和测试流量消耗值，提高测试效率。

第二实施例

本发明实施例提供了一种业务质量测试指标的测试方法，应用于云测试平台侧，参见图3，该测试方法包括：

S301、接收第一测试终端对预定业务质量测试采集的、影响预定业务质量测试对应的测试指标的一个或多个第一影响参数。

其中，业务质量测试的种类具有多种，例如，视频测试、网页浏览测试等，而上述预定业务质量测试指多种业务质量测试中的一种，可以是视频测试，也可以是网页浏览测试，还可以是其他种类的测试。预定业务质量测试对应的测试指标为该业务质量测试时需采集的关键指标，例如，对于视频测试而言，关键指标为视频首次播放缓冲时延，对于网页浏览测试而言，关键指标为首屏展现时延。

上述第一影响参数为所有可能影响业务质量测试对应的测试指标的影响因素，例如，影响视频测试的关键指标—视频首次播放缓冲时延的影响因素包括但不限于：播放视频源地址、视频清晰度类型和码率、客户端播放器名称、客户端视频缓冲大小、测试网络类型(无线网络/2G网络/3G网络/LTE网络)等。

S302、根据第一影响参数，由预先建立的预测模型预测预定业务质量测试所需的预测流量消耗值。

也就是，在云测试平台中预先建立有与预定业务质量测试对应的预测模型，该预测模块可根据第一影响参数预测预定业务质量测试所需的预测流量消耗值。其中，一个预测模型对应一种业务质量测试。

S303、将预测流量消耗值发送至第一测试终端，以使第一测试终端根据预测流量消耗值与预定业务质量测试过程中监测的实际流量消耗值，确定预定业务质量测试过程是否完成。

也就是，当云测试平台中的预测模型完成预测时，将预测结果下发至测试终端，在测试终端开始测试时，测试终端可采用实时或定时的监测方式，监测测试过程中的实际流量消耗值，同时与预测模型预测的流量消耗值进行比较，当预测的流量消耗值与实际流量消耗值之间满足预设关系时，确定测试完成，若测试完成即可停止测试过程。

综上所述，本发明实施例提供的上述技术方案，通过预先在云测试平台建立预测模型，由预测模型预测每次测试过程中业务质量测试所需的流量消耗值，并将预测的流量消耗值发送至测试终端，以使测试终端根据预测的流量消耗值和测试过程中监测的实际流量消耗值，控制测试过程的停止。该技术方案具有一定的通用性，可适用于多种业务质量测试指标的测试过程，且能够自动控制测试过程的停止，可减少整体测试时间和测试流量消耗值，提高测试效率。

具体的，预先建立在云测试平台中的预测模型需要经过一定量的数据训练才可进行业务质量测试，在未进行一定量的数据训练之前，预测模型没有预测能力。用于预测模型进行数据训练的数据为影响业务质量测试对应的测试指标的影响参数以及每次测试完成时所记录的流量消耗值，这些数据的获取可以通过将一个或多个测试终端的历史测试过程中所获取的相应的数据发送至云测试平台以供训练预测模型，参见图4，其具体实现方式包括：

S401、接收第二测试终端对预定业务质量测试时采集的、影响预定业务质量测试对应的测试指标的多组一个或多个第二影响参数和每组第二影响参数对应的、第二测试终端完成预定业务质量测试时的流量消耗记录。

需要说明的是，这里所述的第二测试终端指一个或多个测试终端。

S402、根据多组第二影响参数和每组第二影响参数对应的流量消耗记录，建立预测模型。

其中，具体如何根据多组第二影响参数和每组第二影响参数对应的流量消耗记录，建立预测模型的实现方式参见图5，该实现方式具体包括：

S4021、利用聚类分析法，将多组第二影响参数和每组第二影响参数对应的流量消耗记录进行分类，其中，每个分类类别中具有至少一组第二影响参数以及该组第二影响参数对应的流量消耗记录。

其中，聚类分析指将物理或抽象对象的集合分组为由类似的对象组成的多个类的分析过程，聚类分析的目标就是在相似的基础上收集数据来分类。因此，在本发明实施例中可以利用聚类分析法将多组第二影响参数和每组第二影响参数对应的流量消耗记录进行分类。

S4022、确定每个分类类别中所包含的所有流量消耗记录的均值。

其中，每个分类类别中均包含至少一个历史中的流量消耗记录值，对于包含多个流量消耗记录值的分类类别，该分类类别所包含的所有流量消耗记录的均值为多个流量消耗记录值之和再除以流量消耗记录值的个数后得到的数值，若一个分类类别中只有一个流量消耗记录值，则将该流量消耗记录值记为均值。

S4023、将上述S4022中的均值确定为该分类类别对应的类别预测流量消耗值。

也就是，当进行业务质量测试时，预测模型判断接收到的影响参数属于预先已分好的哪个分类类别，确定所属的分类类别后，将该分类类别对应的类别预测流量消耗值作为对该业务质量测试预测的流量消耗值下发至测试终端。

进一步的，S302中根据第一影响参数，由预先建立的预测模型预测预定业务质量测试所需的预测流量消耗值，参见图6，具体包括：

S3021、确定第一影响参数在预测模型中所属的分类类别。

S3022、将第一影响参数所属的分类类别对应的类别预测流量消耗值作为预测模型预测的预定业务质量测试所需的预测流量消耗值。

综上所述，本发明实施例提供的上述技术方案通过建立的预测模型预测业务质量测试所需的流量消耗值，有一定的通用性，可适用于多种业务质量测试指标的测试过程，且该技术方案能够自动控制测试过程的停止，不需人工介入，有利于实现大量的自动化测试，同时可减少整体测试时间和测试流量消耗值，提高测试效率。

第三实施例

为进一步理解上述第一实施例和第二实施例所述的技术方案，本发明实施例以一具体示例进行进一步的解释说明。

本示例以视频测试中的视频首次播放缓冲时延指标的测试为例。

视频首次播放缓冲时延指用户在进行视频测试时，从点击视频开始到视频第一次开始播放之间的时间差。其中影响视频首次播放缓冲时延的影响因素包括但不限于：播放视频源地址、视频清晰度类型和码率、客户端播放器名称、客户端视频缓冲大小、测试网络类型(无线网络/2G网络/3G网络/LTE网络)等。对于播放视频源地址对视频首次播放缓冲时延的影响可举例说明：例如，当前测试网络环境为中国移动网络，而播放视频源地址属于中国联通，这样则会增大视频首次播放缓冲时延，若测试网络和播放视频源地址属于同一运营商，则可减小视频首次播放缓冲时延；对于视频清晰度类型和码率对视频首次播放缓冲时延的影响为视频清晰度越高，视频码率越高，则视频缓冲所需时间越长，反之，视频缓冲时间则较小；对于客户端播放器名称和客户端视频缓冲大小对视频首次播放缓冲时延的影响为不同的客户端对视频缓冲的能力不同，有的缓冲速度快，可减小视频首次播放缓冲时延，有的缓冲速慢，则会增大视频首次播放缓冲时延；对于测试网络类型对视频首次播放缓冲时延的影响为网络速度越快的测试网络，越可以尽快完成视频缓冲，减小视频首次播放缓冲时延，反之，则会增大视频首次播放缓冲时延。

下面从预测模型的建立和通过预测模型进行视频首次播放缓冲时延指标预测进行详细说明。

一、预测模型的建立

1)测试数据采集

在测试终端(或安装在测试终端中的测试工具)中插入一个“业务质量指标通用引擎插件”，该插件在测试过程中以定时采样的方式(例如每200ms为一个采样区间)，自动监测在测试过程中测试终端应用的流量消耗记录值(流量消耗记录值可通过商用终端操作系统的API(Application Programming Interface，应用程序编程接口)直接采集)，形成类似如下的记录：例如，T0＝101KB，T1＝203KB，…Tn＝4.21MB，Tn+1＝4.46MB…；直至本次测试完全完成以后，从测试终端(或测试工具)侧获取到视频首次播放缓冲时延计算值的真实时刻Tm；插件将分析并得到这样的事件区间，使得满足：Tk<Tm<Tk+1，并记录下本次测试视频首次播放缓冲时延的实际记录时刻为Tk+1，该时刻对应的流量消耗记录值为Y；在测试终端(或测试工具)的配合下，引擎插件将采集到的本次测试的模型关联参数(即影响参数)：x(X1，X2，X3，…Xn)，其中X1＝播放视频源地址、X2＝视频清晰度类型和码率、X3＝客户端播放器名称、X4＝客户端视频缓冲大小、…Xn＝测试网络类型(无线网络/2G网络/3G网络/LTE网络)等，从而形成了一组多维变量{Y，X1，X2，X3，...Xn}，并将采集的该组多维变量上传到云测试平台进行模型训练。

2)测试模型数据训练

在云测试平台建立一个“业务质量测试指标的流量消耗值”预测模型，用于预测测试任务执行过程中每一个业务质量测试指标在当前环境下可能的流量消耗值。

云测试平台在接收到业务质量指标通用引擎插件上传的大量多维变量{Y，X1，X2，X3，...Xn}集合数据后，采用聚类分析方法建立该预测模型，对大量多维变量进行分类处理，并分别计算出每个分类类别中Y的均值和方差。

二、测试过程

在真实测试开始前，也就是在触发视频播放按钮前(在测试工具软件中已选择进行视频首次播放时延指标的测试)，引擎插件自动登录一次云测试平台，将采集到的测试场景中的影响参数发送到云测试平台，云测试平台通过预测模型预测视频首次播放时延的流量消耗值Y1并下发给引擎插件。

测试开始以后，也就是在触发视频播放按钮后，引擎插件实时监测测试终端应用消耗的业务流量Y2，当发现Y2>Y(100+m)％以后，将自动触发回调函数，通知测试工具本次测试指标已经具备了可计算条件，可停止本次测试。

其中，实现上述技术方案的一种测试终端的逻辑构架可参见图7。

图7中的测试应用流量监测模块701的作用为通过采样机制，实时采集测试过程已消耗的流量值。

预测模型参数采集模块702的作用为采集与本次测试相关的影响参数x。

测试指标查询模块703的作用为向云测试平台发起查询，输入参数为x，使云测试平台返回测试指标可计算时所需的流量消耗值Y。

阈值补偿模块704的作用为为了克服预测模型存在预测误差，导致还未完成指标测试即停止测试过程的问题，产生一补偿阈值，以在监测到实际流量消耗值达到或大于Y(100+m)％停止测试过程。

测试指标回调触发模块705的作用为在测试过程中，当发现本次测试已经消耗的流量值达到或大于Y，或达到或大于Y(100+m)％时，使引擎插件触发回调事件通知测试终端(或测试工具)结束测试。

其中，实现上述技术方案的一种云测试平台的逻辑构架可参见图8。

图8中的预测模型参数采集模块801的作用为收集参与测试的各个测试终端的历史测试数据，该数据按照前面所述为一组多维变量{Y，x1，x2，x3，...xn}。

预测模型训练模块802的作用为通过定期采集到的各种多维变量进行模型训练和模型更新。

测试指标预测值查询模块803的作用为提供查询服务以供引擎插件查询指定测试场景下对应影响参数x的预测流量消耗值Y。

具体的，在本明实施例中的预测模型可基于高斯混合模型对历史测试数据进行训练学习得到，其中，高斯混合模型就是用高斯概率密度函数(正态分布曲线)精确地量化事物，将一个事物分解为若干的基于高斯概率密度函数(正态分布曲线)形成的模型。

预测模型除了可基于高斯混合模型进行训练和学习，还可基于高斯混合模型进行业务质量测试所需的流量消耗值的预测，对于预测模型如何基于高斯混合模型预测流量消耗值介绍一种较为简单且易于理解的方法。

首先介绍一下单位高斯模型，假设多维变量x服从高斯分布时，它的概率密度函数为：

其中，x是维度为多维的列向量，u是模型期望，Σ是模型方差。在实际应用中u通常用样本均值来代替，Σ通常用样本方差来代替。由于每个分类类别都有自己的u和Σ，把x代入(1)式中，分别计算x属于每个分类类别的概率，并将x归属为计算的概率值最大的分类类别中，然后将该分类类别对应的均值Y作为流量消耗预测值下发至测试终端。

需要说明的是，上述预测方法仅是一种较为简单，易于理解的计算方法，并不说明预测方法仅限于此，为提高预测精度可采用现有技术中一些可实现的较为复杂的计算方法，对于具体的可实现的计算方法，本发明实施例对此不进行限定。

为了进一步提高预测模型的预测精度，在采集到多组的样本数据以后，可通过最大期望算法(Expectation Maximization Algorithm，简称EM算法)找出服从某种分布Pr(x；θ)，然后找到一组参数θ，使得生成这些数据点的概率最大。通常通过log-likelihood(对数似然函数)的方法即公式(2)来计算：

在这里，将训练样本中分类后的完成测试的实际流量消耗值作为变量Y，这个数据点的分类标签Y是已知的，那么求解模型参数直接利用MaximumLikelihood(最大似然函数)就可以了。EM算法的基本思路是：随机初始化一组参数θ(0)，根据后验概率Pr(Y|X；θ)来更新Y的期望E(Y)，然后用E(Y)代替Y求出新的模型参数θ(1)。如此迭代直到θ趋于稳定。

综上所述，在预测过程中，将测试终端的当前环境变量x＝(x1，x2，x3，…xn)带入到训练好的混合高斯模型中即可计算出在哪一个分类类别下的概率最高，便可以预测出当前环境下本次测试过程最可能流量消耗值。而随着大量测试任务的进行，还需要对该预测模型进行反馈优化。主要的方法是：

1.在测试终端执行任务的过程中，采集当前环境的影响参数和完成测试时的实际流量消耗值。

2.将采集的当前环境的影响参数和完成测试时的实际流量消耗值反馈给云测试平台，云测试平台通过收集大量的测试终端的测试数据，将这些测试数据通过一定的模型训练方法更新到预测模型中，以提升模型预测的准确度。其中，更新的方法可以将这些测试数据更新到对应所属分类类别的均值和协方差矩阵中。

第四实施例

本发明实施例提供了一种业务质量测试指标的测试装置，应用于测试终端侧，参见图9，该测试装置包括：

采集模块901，用于采集影响预定业务质量测试对应的测试指标的一个或多个第一影响参数。

其中，业务质量测试的种类具有多种，例如，视频测试、网页浏览测试等，而上述预定业务质量测试指多种业务质量测试中的一种，可以是视频测试，也可以是网页浏览测试，还可以是其他种类的测试。预定业务质量测试对应的测试指标为该业务质量测试时需采集的关键指标，例如，对于视频测试而言，关键指标为视频首次播放缓冲时延，对于网页浏览测试而言，关键指标为首屏展现时延。

上述采集模块901采集的第一影响参数为所有可能影响业务质量测试对应的测试指标的影响因素，例如，影响视频测试的关键指标—视频首次播放缓冲时延的影响因素包括但不限于：播放视频源地址、视频清晰度类型和码率、客户端播放器名称、客户端视频缓冲大小、测试网络类型(无线网络/2G网络/3G网络/LTE网络)等。

第一发送模块902，用于将采集的第一影响参数发送至云测试平台，以使云测试平台中预先建立的预测模型根据第一影响参数预测预定业务质量测试所需的预测流量消耗值。

也就是，在云测试平台中预先建立有与预定业务质量测试对应的预测模型，该预测模块可根据第一发送模块902发送的第一影响参数预测预定业务质量测试所需的预测流量消耗值。其中，一个预测模型对应一种业务质量测试。

接收模块903，用于接收云测试平台发送的预测流量消耗值。

当云测试平台中的预测模型完成预测时，将预测结果下发至测试终端，有测试终端中的接收模块903进行接收。

监测模块904，用于启动预定业务质量测试的过程，监测测试过程中的实际流量消耗值，与预测流量消耗值进行比较，确定预定业务质量测试过程是否完成。

测试开始时，监测模块904可采用实时或定时的监测方式，监测测试过程中的实际流量消耗值，同时与预测模型预测的流量消耗值进行比较，当预测的流量消耗值与实际流量消耗值之间满足预设关系时，确定测试完成，若测试完成即可停止测试过程。

综上所述，本发明实施例提供的上述测试装置，通过预先在云测试平台建立预测模型，由预测模型预测每次测试过程中业务质量测试所需的流量消耗值，并将预测的流量消耗值发送至测试终端，以使测试终端中的测试装置能够根据预测的流量消耗值和测试过程中监测的实际流量消耗值，控制测试过程的停止。该测试装置具有一定的通用性，可适用于多种业务质量测试指标的测试过程，且能够自动控制测试过程的停止，可减少整体测试时间和测试流量消耗值，提高测试效率。

进一步的，上述监测模块904包括：

第一确定单元，用于当监测测试过程中的实际流量消耗值等于或大于预测流量消耗值时，确定预定业务质量测试过程完成。

进一步的，上述监测模块904包括：

第二确定单元，用于当监测测试过程中的实际流量消耗值等于或大于预测流量消耗值与一补偿阈值之和时，确定预定业务质量测试过程完成。

其中，补偿阈值为根据以往经验而设定的一个数值，可以是一真实流量值，也可以是一百分比，例如，Y2表示监测测试过程中的实际流量消耗值，Y1表示预测模型预测的预测流量消耗值，m表示补偿阈值，那么当Y2≥Y1(100+m)％时，确定已完成测试，当然可以理解的是补偿阈值还可以是其他形式，具体情况可根据实际需要选择，这里不进行限制，其中，增加补偿阈值的目的在于为了克服预测模型存在预测误差，导致还未完成测试指标即停止测试过程的问题。

进一步的，该测试装置还包括：

触发模块905，用于当确定预定业务质量测试过程完成时，触发预定业务质量测试的停止指令。

也就是，当确定测试过程完成时，通过停止指令控制测试过程的停止，以即时减少测试流量的消耗。

进一步的，参见图10，该测试装置还包括：

第二发送模块906，用于在预定环境中完成预定业务质量测试的过程，且在完成预定业务质量测试的过程中，向云测试平台发送对预定业务质量测试时采集的、影响预定业务质量测试对应的测试指标的多组一个或多个第二影响参数和与每组第二影响参数对应的、第二测试终端完成预定业务质量测试时的流量消耗记录，以使云测试平台根据多组第二影响参数和每组第二影响参数对应的流量消耗记录建立预测模型。

预先建立在云测试平台中的预测模型需要经过一定量的数据训练才可进行业务质量测试，在未进行一定量的数据训练之前，预测模型没有预测能力。用于预测模型进行数据训练的数据为影响业务质量测试对应的测试指标的影响参数以及每次测试完成时所记录的流量消耗值，这些数据的获取可以通过将一个或多个测试终端的历史测试过程中所获取的相应的数据发送至云测试平台以供训练预测模型。

综上所述，本发明实施例提供的上述测试终端，通过建立的预测模型预测业务质量测试所需的流量消耗值，具有一定的通用性，可适用于多种业务质量测试指标的测试过程，且该测试终端能够自动控制测试过程的停止，不需人工介入，有利于实现大量的自动化测试，同时可减少整体测试时间和测试流量消耗值，提高测试效率。

需要说明的是，该测试装置是与上述第一实施例中的业务质量测试指标的测试方法对应的测试装置，上述第一实施例中的所有实施例均适用于该测试装置的实施例，且能达到相同的技术效果。

第五实施例

本发明实施例提供了一种业务质量测试指标的测试装置，应用于云测试平台侧，参见图11，该测试装置包括：

第一接收模块1101，用于接收第一测试终端对预定业务质量测试采集的、影响预定业务质量测试对应的测试指标的一个或多个第一影响参数。

其中，业务质量测试的种类具有多种，例如，视频测试、网页浏览测试等，而上述预定业务质量测试指多种业务质量测试中的一种，可以是视频测试，也可以是网页浏览测试，还可以是其他种类的测试。预定业务质量测试对应的测试指标为该业务质量测试时需采集的关键指标，例如，对于视频测试而言，关键指标为视频首次播放缓冲时延，对于网页浏览测试而言，关键指标为首屏展现时延。

上述第一影响参数为所有可能影响业务质量测试对应的测试指标的影响因素，例如，影响视频测试的关键指标—视频首次播放缓冲时延的影响因素包括但不限于：播放视频源地址、视频清晰度类型和码率、客户端播放器名称、客户端视频缓冲大小、测试网络类型(无线网络/2G网络/3G网络/LTE网络)等。

预测模块1102，用于根据第一影响参数，由预先建立的预测模型预测预定业务质量测试所需的预测流量消耗值。

也就是，在云测试平台中预先建立有与预定业务质量测试对应的预测模型，该预测模块1102可根据第一影响参数预测预定业务质量测试所需的预测流量消耗值。其中，一个预测模型对应一种业务质量测试。

第三发送模块1103，用于将预测流量消耗值发送至第一测试终端，以使第一测试终端根据预测流量消耗值与预定业务质量测试过程中监测的实际流量消耗值，确定预定业务质量测试过程是否完成。

也就是，当云测试平台中的预测模型完成预测时，第三发送模块1103将预测结果下发至测试终端，在测试终端开始测试时，测试终端可采用实时或定时的监测方式，监测测试过程中的实际流量消耗值，同时与预测模型预测的流量消耗值进行比较，当预测的流量消耗值与实际流量消耗值之间满足预设关系时，确定测试完成，若测试完成即可停止测试过程。

综上所述，本发明实施例提供的上述测试装置，通过预先在云测试平台建立预测模型，由预测模型预测每次测试过程中业务质量测试所需的流量消耗值，并将预测的流量消耗值发送至测试终端，以使测试终端中的测试装置能够根据预测的流量消耗值和测试过程中监测的实际流量消耗值，控制测试过程的停止。该测试装置具有一定的通用性，可适用于多种业务质量测试指标的测试过程，且能够自动控制测试过程的停止，可减少整体测试时间和测试流量消耗值，提高测试效率。

进一步的，参见图12，该测试装置还包括：

第二接收模块1104，用于接收第二测试终端对预定业务质量测试时采集的、影响预定业务质量测试对应的测试指标的多组一个或多个第二影响参数和每组第二影响参数对应的、第二测试终端完成预定业务质量测试时的流量消耗记录。

预先建立在云测试平台中的预测模型需要经过一定量的数据训练才可进行业务质量测试，在未进行一定量的数据训练之前，预测模型没有预测能力。用于预测模型进行数据训练的数据为影响业务质量测试对应的测试指标的影响参数以及每次测试完成时所记录的流量消耗值，这些数据的获取可以通过第二接收模块1104接收一个或多个测试终端在历史测试过程中所获取的相应的数据以供训练预测模型。

需要说明的是，这里所述的第二测试终端指一个或多个测试终端。

模型建立模块1105，用于根据多组第二影响参数和每组第二影响参数对应的流量消耗记录，建立预测模型。

进一步的，模型建立模块1105包括：

分类单元，用于利用聚类分析法，将多组第二影响参数和每组第二影响参数对应的流量消耗记录进行分类，其中，每个分类类别中具有至少一组第二影响参数以及该组第二影响参数对应的流量消耗记录。

其中，聚类分析指将物理或抽象对象的集合分组为由类似的对象组成的多个类的分析过程，聚类分析的目标就是在相似的基础上收集数据来分类。因此，在本发明实施例中，分类单元可以利用聚类分析法将多组第二影响参数和每组第二影响参数对应的流量消耗记录进行分类。

均值确定单元，用于确定每个分类类别中所包含的所有流量消耗记录的均值。

其中，每个分类类别中均包含至少一个历史中的流量消耗记录值，对于包含多个流量消耗记录值的分类类别，该分类类别所包含的所有流量消耗记录的均值为多个流量消耗记录值之和再除以流量消耗记录值的个数后得到的数值，若一个分类类别中只有一个流量消耗记录值，则均值确定单元将该流量消耗记录值记为均值。

第三确定单元，用于将均值确定为该分类类别对应的类别预测流量消耗值。

也就是，当进行业务质量测试时，预测模型判断接收到的影响参数属于预先已分好的哪个分类类别，确定所属的分类类别后，第三确定单元将该分类类别对应的类别预测流量消耗值作为对该业务质量测试预测的流量消耗值下发至测试终端。

进一步的，该预测模块1102包括：

第四确定单元，用于确定第一影响参数在预测模型中所属的分类类别。

预测单元，用于将第一影响参数所属的分类类别对应的类别预测流量消耗值作为预测模型预测的预定业务质量测试所需的预测流量消耗值。

综上所述，本发明实施例提供的上述测试装置通过建立的预测模型预测业务质量测试所需的流量消耗值，具有有一定的通用性，可适用于多种业务质量测试指标的测试过程，且该测试装置能够自动控制测试过程的停止，不需人工介入，有利于实现大量的自动化测试，同时可减少整体测试时间和测试流量消耗值，提高测试效率。

需要说明的是，该测试装置是与上述第二实施例中的业务质量测试指标的测试方法对应的测试装置，上述第二实施例中的所有实施例均适用于该测试装置的实施例，且能达到相同的技术效果。

以上所述的是本发明的优选实施方式，应当指出对于本技术领域的普通人员来说，在不脱离本发明所述的原理前提下还可以作出若干改进和润饰，这些改进和润饰也在本发明的保护范围内。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

Claims (18)

1.一种业务质量测试指标的测试方法，应用于测试终端侧，其特征在于，所述测试方法包括：

采集影响预定业务质量测试对应的测试指标的一个或多个第一影响参数；

将采集的所述第一影响参数发送至云测试平台，以使所述云测试平台中预先建立的预测模型根据所述第一影响参数预测所述预定业务质量测试所需的预测流量消耗值；

接收所述云测试平台发送的所述预测流量消耗值；

启动所述预定业务质量测试的过程，监测测试过程中的实际流量消耗值，与所述预测流量消耗值进行比较，确定所述预定业务质量测试过程是否完成。

2.根据权利要求1所述的测试方法，其特征在于，所述监测测试过程中的实际流量消耗值，与所述预测流量消耗值进行比较，确定所述预定业务质量测试过程是否完成的步骤包括：

当监测测试过程中的实际流量消耗值等于或大于所述预测流量消耗值时，确定所述预定业务质量测试过程完成。

3.根据权利要求1所述的测试方法，其特征在于，所述监测测试过程中的实际流量消耗值，与所述预测流量消耗值进行比较，确定所述预定业务质量测试过程是否完成的步骤包括：

当监测测试过程中的实际流量消耗值等于或大于所述预测流量消耗值与一补偿阈值之和时，确定所述预定业务质量测试过程完成。

4.根据权利要求1～3任一项所述的测试方法，其特征在于，当确定所述预定业务质量测试过程完成时，所述测试方法还包括：

触发所述预定业务质量测试的停止指令。

5.根据权利要求1所述的测试方法，其特征在于，在所述采集影响预定业务质量测试对应的测试指标的一个或多个第一影响参数的步骤之前，所述测试方法还包括：

在预定环境中完成所述预定业务质量测试的过程，且在完成所述预定业务质量测试的过程中，向所述云测试平台发送对所述预定业务质量测试时采集的、影响所述预定业务质量测试对应的测试指标的多组一个或多个第二影响参数和与每组所述第二影响参数对应的、完成所述预定业务质量测试时的流量消耗记录，以使所述云测试平台根据多组所述第二影响参数和每组所述第二影响参数对应的所述流量消耗记录建立所述预测模型。

6.一种业务质量测试指标的测试方法，应用于云测试平台侧，其特征在于，所述测试方法包括：

接收第一测试终端对预定业务质量测试采集的、影响所述预定业务质量测试对应的测试指标的一个或多个第一影响参数；

根据所述第一影响参数，由预先建立的预测模型预测所述预定业务质量测试所需的预测流量消耗值；

将所述预测流量消耗值发送至所述第一测试终端，以使所述第一测试终端对所述预测流量消耗值与所述预定业务质量测试过程中监测的实际流量消耗值进行比较，确定所述预定业务质量测试过程是否完成。

7.根据权利要求6所述的测试方法，其特征在于，在所述接收由第一测试终端发送的影响所述预定业务质量测试对应的测试指标的一个或多个第一影响参数的步骤之前，所述测试方法还包括：

接收第二测试终端对所述预定业务质量测试时采集的、影响所述预定业务质量测试对应的测试指标的多组一个或多个第二影响参数和每组所述第二影响参数对应的、所述第二测试终端完成所述预定业务质量测试时的流量消耗记录；

根据多组所述第二影响参数和每组所述第二影响参数对应的所述流量消耗记录，建立所述预测模型。

8.根据权利要求7所述的测试方法，其特征在于，所述根据多组所述第二影响参数和每组所述第二影响参数对应的所述流量消耗记录，建立所述预测模型，具体包括：

利用聚类分析法，将多组所述第二影响参数和每组所述第二影响参数对应的所述流量消耗记录进行分类，其中，每个分类类别中具有至少一组所述第二影响参数以及该组第二影响参数对应的流量消耗记录；

确定每个分类类别中所包含的所有流量消耗记录的均值；

将所述均值确定为该分类类别对应的类别预测流量消耗值。

9.根据权利要求8所述的测试方法，其特征在于，所述根据所述第一影响参数，由预先建立的预测模型预测所述预定业务质量测试所需的预测流量消耗值，具体包括：

确定所述第一影响参数在所述预测模型中所属的分类类别；

将所述第一影响参数所属的分类类别对应的类别预测流量消耗值作为所述预测模型预测的所述预定业务质量测试所需的预测流量消耗值。

10.一种业务质量测试指标的测试装置，应用于测试终端侧，其特征在于，所述测试装置包括：

采集模块，用于采集影响预定业务质量测试对应的测试指标的一个或多个第一影响参数；

第一发送模块，用于将采集的所述第一影响参数发送至云测试平台，以使所述云测试平台中预先建立的预测模型根据所述第一影响参数预测所述预定业务质量测试所需的预测流量消耗值；

接收模块，用于接收所述云测试平台发送的所述预测流量消耗值；

监测模块，用于启动所述预定业务质量测试的过程，监测测试过程中的实际流量消耗值，与所述预测流量消耗值进行比较，确定所述预定业务质量测试过程是否完成。

11.根据权利要求10所述的测试装置，其特征在于，所述监测模块包括：

第一确定单元，用于当监测测试过程中的实际流量消耗值等于或大于所述预测流量消耗值时，确定所述预定业务质量测试过程完成。

12.根据权利要求10所述的测试装置，其特征在于，所述监测模块包括：

第二确定单元，用于当监测测试过程中的实际流量消耗值等于或大于所述预测流量消耗值与一补偿阈值之和时，确定所述预定业务质量测试过程完成。

13.根据权利要求10～12任一项所述的测试装置，其特征在于，所述测试装置还包括：

触发模块，用于当确定所述预定业务质量测试过程完成时，触发所述预定业务质量测试的停止指令。

14.根据权利要求10所述的测试装置，其特征在于，所述测试装置还包括：

第二发送模块，用于在预定环境中完成所述预定业务质量测试的过程，且在完成所述预定业务质量测试的过程中，向所述云测试平台发送对所述预定业务质量测试时采集的、影响所述预定业务质量测试对应的测试指标的多组一个或多个第二影响参数和与每组所述第二影响参数对应的、完成所述预定业务质量测试时的流量消耗记录，以使所述云测试平台根据多组所述第二影响参数和每组所述第二影响参数对应的所述流量消耗记录建立所述预测模型。

15.一种业务质量测试指标的测试装置，应用于云测试平台侧，其特征在于，所述测试装置包括：

第一接收模块，用于接收第一测试终端对预定业务质量测试采集的、影响所述预定业务质量测试对应的测试指标的一个或多个第一影响参数；

预测模块，用于根据所述第一影响参数，由预先建立的预测模型预测所述预定业务质量测试所需的预测流量消耗值；

第三发送模块，用于将所述预测流量消耗值发送至所述第一测试终端，以使所述第一测试终端对所述预测流量消耗值与所述预定业务质量测试过程中监测的实际流量消耗值进行比较，确定所述预定业务质量测试过程是否完成。

16.根据权利要求15所述的测试装置，其特征在于，所述测试装置还包括：

第二接收模块，用于接收第二测试终端对所述预定业务质量测试时采集的、影响所述预定业务质量测试对应的测试指标的多组一个或多个第二影响参数和每组所述第二影响参数对应的、所述第二测试终端完成所述预定业务质量测试时的流量消耗记录；

模型建立模块，用于根据多组所述第二影响参数和每组所述第二影响参数对应的所述流量消耗记录，建立所述预测模型。

17.根据权利要求16所述的测试装置，其特征在于，所述模型建立模块包括：

分类单元，用于利用聚类分析法，将多组所述第二影响参数和每组所述第二影响参数对应的所述流量消耗记录进行分类，其中，每个分类类别中具有至少一组所述第二影响参数以及该组第二影响参数对应的流量消耗记录；

均值确定单元，用于确定每个分类类别中所包含的所有流量消耗记录的均值；

第三确定单元，用于将所述均值确定为该分类类别对应的类别预测流量消耗值。

18.根据权利要求17所述的测试装置，其特征在于，所述预测模块包括：

第四确定单元，用于确定所述第一影响参数在所述预测模型中所属的分类类别；

预测单元，用于将所述第一影响参数所属的分类类别对应的类别预测流量消耗值作为所述预测模型预测的所述预定业务质量测试所需的预测流量消耗值。