CN103246597B - 一种参数的测试方法和设备 - Google Patents

Abstract

本发明公开了一种参数的测试方法和设备，该方法包括：确定测试目标以及所述测试目标对应的测试参数，并根据客户端标识将客户端分成多个测试组；为每个测试组配置所述测试参数的参数值，且每个测试组所配置的参数值不同；利用所述测试参数的参数值对该参数值所对应的测试组内的客户端进行测试，并获取所述多个测试组的测试效果；确定所述多个测试组的测试效果中最优的测试组所使用的参数值为所述测试参数的目标参数值。本发明实施例中，可同时支持多组参数值的测试，通过统计回归方法找出效果最好的一组参数值，从而快速获得效果最好的测试参数的参数值，节省测试时间，继而实现广告效果最大化的目标。

Description

一种参数的测试方法和设备

技术领域

本发明涉及计算机技术领域，尤其是涉及一种参数的测试方法和设备。

背景技术

A/B测试用于确定两个元素或版本（A和B）中哪个版本更好，以选择最好的版本使用，提高转换率；在A/B测试过程中，为了优化广告效果，对于同一个测试参数，可设置多个不同的参数值来测试效果，从而找出效果最好的参数值；其中，效果可以是点击率、购买量或安装量等。

现有技术中，针对A/B测试的过程，其处理流程包括：

步骤1、确定测试目标和测试参数。

步骤2、利用测试参数的一个参数值进行测试，并统计测试参数的该参数值的效果以及与目标的差距。

步骤3、基于与目标的差距，修正测试参数的参数值，并利用修正后的测试参数的参数值进行测试，以及继续统计修正后的测试参数的参数值的效果。

以此类推，后续不再赘述。

在实现本发明的过程中，发明人发现现有技术中至少存在以下问题：

每次只能对测试参数的一个参数值统计其效果，对测试参数的参数值进行修改后，继续统计修改后的参数值的效果；由于在统计测试参数的每个参数值的效果时，其时间周期长，因此上述方式无法快速达成目标。此外，当后一次的效果比前一次要差时，需要回到前一次测试中重新调整测试参数进行测试，从而进一步导致测试时间很长。

发明内容

本发明实施例提供一种参数的测试方法和设备，以快速获得效果最好的测试参数的参数值，节省测试时间。

为了达到上述目的，本发明实施例提供一种参数的测试方法，包括：

确定测试目标以及所述测试目标对应的测试参数，并根据客户端标识将客户端分成多个测试组；

为每个测试组配置所述测试参数的参数值，且每个测试组所配置的参数值不同；

利用所述测试参数的参数值对该参数值所对应的测试组内的客户端进行测试，并获取所述多个测试组的测试效果；

确定所述多个测试组的测试效果中最优的测试组所使用的参数值为所述测试参数的目标参数值。

在所述测试目标对应的测试参数为多个测试参数时，所述方法进一步包括：依次选择所述多个测试参数中的一个测试参数为当前测试参数，并利用其他测试参数以及所述当前测试参数的参数值对该参数值所对应的测试组内的客户端进行测试；其中，其他测试参数的参数值相同。

所述其他测试参数的参数值相同，具体为：

如果所述其他测试参数已经确定有目标参数值，则所述其他测试参数的参数值为该目标参数值；

如果所述其他测试参数还未确定有目标参数值，则所述其他测试参数的参数值为根据实际情况选择。

所述客户端标识包括：客户端的即时通信号码、客户端浏览器的cookie id、客户端的IP地址。

对测试组内的客户端进行测试的测试周期以天或者星期为单位。

本发明实施例提供一种参数的测试设备，包括：

第一确定模块，用于确定测试目标以及所述测试目标对应的测试参数；

划分模块，用于根据客户端标识将客户端分成多个测试组；

配置模块，用于为每个测试组配置所述测试参数的参数值，且每个测试组所配置的参数值不同；

测试模块，用于利用所述测试参数的参数值对该参数值所对应的测试组内的客户端进行测试，并获取所述多个测试组的测试效果；

第二确定模块，用于确定所述多个测试组的测试效果中最优的测试组所使用的参数值为所述测试参数的目标参数值。

在所述测试目标对应的测试参数为多个测试参数时，所述测试模块，进一步用于依次选择所述多个测试参数中的一个测试参数为当前测试参数，并利用其他测试参数以及所述当前测试参数的参数值对该参数值所对应的测试组内的客户端进行测试；其中，其他测试参数的参数值相同。

所述其他测试参数的参数值相同，具体为：

如果所述其他测试参数已经确定有目标参数值，则所述其他测试参数的参数值为该目标参数值；

如果所述其他测试参数还未确定有目标参数值，则所述其他测试参数的参数值为根据实际情况选择。

所述客户端标识包括：客户端的即时通信号码、客户端浏览器的cookie id、客户端的IP地址。

对测试组内的客户端进行测试的测试周期以天或者星期为单位。

与现有技术相比，本发明实施例至少具有以下优点：

本发明实施例中，可同时支持多组参数值的测试，通过统计回归方法找出效果最好的一组参数值，从而快速获得效果最好的测试参数的参数值，节省测试时间，继而实现广告效果最大化的目标。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种参数的测试方法流程示意图；

图2是本发明实施例二提供的一种参数的测试设备结构示意图。

具体实施方式

下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明实施例一提供一种参数的测试方法，用于在A/B测试过程中，由测试设备确定最优的测试参数，如图1所示，该方法包括以下步骤：

步骤101，确定测试目标以及测试目标对应的测试参数。

需要注意的是，每个测试目标均有其对应的一个或多个测试参数；例如，当确定测试目标（A/B测试的目标）为优化广告效果时，由于优化点击率可以提升广告效果，因此测试目标对应的测试参数可以为点击率。

步骤102，根据客户端标识将客户端分成多个测试组。

本发明实施例中，该客户端标识包括但不限于：客户端的即时通信号码（如QQ号码）、客户端浏览器的cookie id（标识）、客户端的IP地址等。需要注意的是，客户端标识并不局限于此，所有能够区分客户端的标识均在本发明实施例保护范围之内，在此不再赘述。

例如，在将客户端分成多个测试组时，可以利用QQ号码的最后一位（或倒数第二位等）进行分组，将所有客户端按照QQ号码的最后一位分成从0到9的10个测试组，即将QQ号码的最后一位为0的客户端分成测试组1，将QQ号码的最后一位为1的客户端分成测试组2，以此类推，将QQ号码的最后一位为9的客户端分成测试组10。

对于cookie id、客户端的IP地址等其他客户端标识，其分成多个测试组的方式与客户端的即时通信号码的方式类似，在此不再详加说明。

需要注意的是，从统计回归（即任何一连串的重复活动，其结果通常都会接近平均值或者中间值）的意义上说，由于每个测试组所覆盖的客户端都是相同的，因此每个测试组对于同一个测试参数的测试结果是相同的，即可以按照上述方式将客户端分成多个测试组。

步骤103，为每个测试组配置测试参数的参数值，且每个测试组所配置的参数值不同。

以测试参数为测试参数a为例，则可以将测试参数a的不同参数值配置给不同的测试组；例如，测试参数a的不同参数值分别为a1、a2、...a10时，则基于上述的测试组1-测试组10，可以将参数值a1配置给测试组1，将参数值a2配置给测试组2，以此类推，将参数值a10配置给测试组10。

需要说明的是，为了更好的为每个测试组配置测试参数的参数值，在一种优选的实施方式中，还可以根据测试参数的参数值（参数值的取值数量）以及客户端标识将客户端分成多个测试组；例如，在实际应用中，测试参数a对应有5个参数值时，则在将客户端分成多个测试组时，可以将QQ号码的最后一位为0和1的客户端分成测试组1，以此类推，将QQ号码的最后一位为8和9的客户端分成测试组10。

步骤104，利用测试参数的参数值对该参数值所对应的测试组内的客户端进行测试，并获取多个测试组的测试效果。对测试组内的客户端进行测试的测试周期可以以天或者星期为单位（即A/B测试的周期是天或者星期）。

例如，基于上述的配置方式，可以利用参数值a1对测试组1内的客户端进行测试，利用参数值a2对测试组2内的客户端进行测试，以此类推，利用参数值a10对测试组10内的客户端进行测试，相关的测试方式本发明实施例中不再赘述。进一步的，针对每个测试组内客户端的测试过程，可以得到该测试组的测试效果；而基于所有测试组内客户端的测试过程，可以得到上述多个测试组的测试效果，获得测试效果的方式本发明实施例中不再赘述。

步骤105，确定多个测试组的测试效果中最优的测试组所使用的参数值为测试参数的目标参数值。

本发明实施例中，对于不同的测试组，其配置有测试参数的不同参数值后，即可以从多个测试组的测试效果中获得测试优化的目标，即测试效果中最优的测试组所使用的参数值。

需要注意的是，上述过程为针对测试目标对应的测试参数为一个的处理，在测试目标对应的测试参数为多个测试参数时，该方法进一步包括：依次选择多个测试参数中的一个测试参数为当前测试参数（一个测试参数的处理与上述过程相同），并利用其他测试参数以及当前测试参数的参数值对该参数值所对应的测试组内的客户端进行测试；其中，其他测试参数的参数值相同，其具体为：如果其他测试参数已经确定有目标参数值，则其他测试参数的参数值为该目标参数值；如果其他测试参数还未确定有目标参数值，则其他测试参数的参数值为根据实际情况选择（即为经验值）。

为了方便描述，以测试参数为测试参数a（其对应有参数值a1、a2、a3）、测试参数b（其对应有参数值b1、b2、b3）、测试参数c（其对应有参数值c1、c2、c3）、测试参数d（其对应有参数值d1、d2、d3）为例。

首先选择测试参数a为当前测试参数，将测试参数a的不同参数值分别配置给不同的测试组（以测试组1、测试组2、测试组3为例），并利用参数值a1对测试组1内的客户端进行测试，利用参数值a2对测试组2内的客户端进行测试，利用参数值a3对测试组3内的客户端进行测试；在上述测试过程中，由于测试参数b、测试参数c、测试参数d还未确定有目标参数值，因此可根据实际经验选择，以选择b1、c1、d1为例；基于此，利用参数值a1、b1、c1、d1对测试组1内的客户端进行测试，利用参数值a2、b1、c1、d1对测试组2内的客户端进行测试，利用参数值a3、b1、c1、d1对测试组3内的客户端进行测试；经过上述处理后，可确定测试参数a的目标参数值（以a3为例）。

其次选择测试参数b为当前测试参数，将测试参数b的不同参数值分别配置给不同的测试组，并利用参数值b1对测试组1内的客户端进行测试，利用参数值b2对测试组2内的客户端进行测试，利用参数值b3对测试组3内的客户端进行测试；在上述测试过程中，测试参数a已经确定有目标参数值a3，测试参数c、测试参数d还未确定有目标参数值，根据实际经验选择c1、d1；基于此，利用参数值a3、b1、c1、d1对测试组1内的客户端进行测试，利用参数值a3、b2、c1、d1对测试组2内的客户端进行测试，利用参数值a3、b3、c1、d1对测试组3内的客户端进行测试；经过上述处理后，可确定测试参数b的目标参数值（以b3为例）。

其次选择测试参数c为当前测试参数，将测试参数c的不同参数值分别配置给不同的测试组，并利用参数值c1对测试组1内的客户端进行测试，利用参数值c2对测试组2内的客户端进行测试，利用参数值c3对测试组3内的客户端进行测试；在上述测试过程中，测试参数a已经确定有目标参数值a3，测试参数b已经确定有目标参数值b3，测试参数d还未确定有目标参数值，根据实际经验选择d1；基于此，利用参数值a3、b3、c1、d1对测试组1内的客户端进行测试，利用参数值a3、b3、c2、d1对测试组2内的客户端进行测试，利用参数值a3、b3、c3、d1对测试组3内的客户端进行测试；经过上述处理后，可确定测试参数c的目标参数值（以c3为例）。

最后选择测试参数d为当前测试参数，将测试参数d的不同参数值分别配置给不同的测试组，并利用参数值d1对测试组1内的客户端进行测试，利用参数值d2对测试组2内的客户端进行测试，利用参数值d3对测试组3内的客户端进行测试；在上述测试过程中，测试参数a已经确定有目标参数值a3，测试参数b已经确定有目标参数值b3，测试参数c已经确定有目标参数值c3；基于此，利用参数值a3、b3、c3、d1对测试组1内的客户端进行测试，利用参数值a3、b3、c3、d2对测试组2内的客户端进行测试，利用参数值a3、b3、c3、d3对测试组3内的客户端进行测试；经过上述处理后，可确定测试参数d的目标参数值（以d3为例）。

经过上述过程的处理后，即可以得到测试目标对应的最优测试参数组为（a3、b3、c3、d3）；之后，利用最优测试参数组（a3、b3、c3、d3）对测试目标进行相应的处理，本发明实施例中对此不再赘述。

综上所述，本发明实施例中，可同时支持多组参数值的测试，通过统计回归方法找出效果最好的一组参数值，从而快速获得效果最好的测试参数的参数值，节省测试时间，继而实现广告效果最大化的目标。

实施例二

基于与上述方法同样的发明构思，本发明实施例中还提供了一种参数的测试设备，如图2所示，该设备包括：

第一确定模块21，用于确定测试目标以及所述测试目标对应的测试参数；

划分模块22，用于根据客户端标识将客户端分成多个测试组；

配置模块23，用于为每个测试组配置所述测试参数的参数值，且每个测试组所配置的参数值不同；

测试模块24，用于利用所述测试参数的参数值对该参数值所对应的测试组内的客户端进行测试，并获取所述多个测试组的测试效果；

第二确定模块25，用于确定所述多个测试组的测试效果中最优的测试组所使用的参数值为所述测试参数的目标参数值。

在所述测试目标对应的测试参数为多个测试参数时，所述测试模块24，进一步用于依次选择所述多个测试参数中的一个测试参数为当前测试参数，并利用其他测试参数以及所述当前测试参数的参数值对该参数值所对应的测试组内的客户端进行测试；其中，其他测试参数的参数值相同。

所述其他测试参数的参数值相同，具体为：如果所述其他测试参数已经确定有目标参数值，则所述其他测试参数的参数值为该目标参数值；如果所述其他测试参数还未确定有目标参数值，则所述其他测试参数的参数值为根据实际情况选择。

本发明实施例中，所述客户端标识包括：客户端的即时通信号码、客户端浏览器的cookie id、客户端的IP地址。

本发明实施例中，对测试组内的客户端进行测试的测试周期以天或者星期为单位。

其中，本发明装置的各个模块可以集成于一体，也可以分离部署。上述模块可以合并为一个模块，也可以进一步拆分成多个子模块。

综上所述，本发明实施例中，可同时支持多组参数值的测试，通过统计回归方法找出效果最好的一组参数值，从而快速获得效果最好的测试参数的参数值，节省测试时间，继而实现广告效果最大化的目标。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (8)

1.一种参数的测试方法，其特征在于，包括：

确定测试目标以及所述测试目标对应的测试参数，并根据客户端标识将客户端分成多个测试组，为每个测试组配置所述测试参数的参数值，且每个测试组所配置的参数值不同；

利用所述测试参数的参数值对该参数值所对应的测试组内的客户端进行测试，并获取所述多个测试组的测试效果；

确定所述多个测试组的测试效果中最优的测试组所使用的参数值为所述测试参数的目标参数值；

所述根据客户端标识将客户端分成多个测试组，包括：

根据所述测试参数的参数值的取值数量以及所述客户端标识将所述客户端分成多个测试组；

在所述测试目标对应的测试参数为多个测试参数时，所述方法进一步包括：

依次选择所述多个测试参数中的一个测试参数为当前测试参数，并利用其他测试参数的参数值、以及所述当前测试参数的参数值，对所述当前测试参数的参数值所对应的测试组内的客户端进行测试；其中，所述其他测试参数的参数值相同；

所述测试效果包括点击率、购买量和安装量至少之一。

2.如权利要求1所述的方法，其特征在于，所述其他测试参数的参数值相同，具体为：

如果所述其他测试参数已经确定有目标参数值，则所述其他测试参数的参数值为该目标参数值；

如果所述其他测试参数还未确定有目标参数值，则所述其他测试参数的参数值为经验值。

3.如权利要求1-2任一项所述的方法，其特征在于，所述客户端标识包括：客户端的即时通信号码、客户端浏览器的cookie id、客户端的IP地址。

4.如权利要求1-2任一项所述的方法，其特征在于，对测试组内的客户端进行测试的测试周期以天或者星期为单位。

5.一种参数的测试设备，其特征在于，包括：

第一确定模块，用于确定测试目标以及所述测试目标对应的测试参数；

划分模块，用于根据客户端标识将客户端分成多个测试组；

配置模块，用于为每个测试组配置所述测试参数的参数值，且每个测试组所配置的参数值不同；

测试模块，用于利用所述测试参数的参数值对该参数值所对应的测试组内的客户端进行测试，并获取所述多个测试组的测试效果；

第二确定模块，用于确定所述多个测试组的测试效果中最优的测试组所使用的参数值为所述测试参数的目标参数值；

所述测试设备，用于根据所述测试参数的参数值的取值数量以及所述客户端标识将所述客户端分成多个测试组；

在所述测试目标对应的测试参数为多个测试参数时，

所述测试模块，进一步用于依次选择所述多个测试参数中的一个测试参数为当前测试参数，并利用其他测试参数的参数值、以及所述当前测试参数的参数值，对所述测试参数的参数值所对应的测试组内的客户端进行测试；其中，所述其他测试参数的参数值相同，所述测试效果包括点击率、购买量和安装量至少之一。

6.如权利要求5所述的设备，其特征在于，所述其他测试参数的参数值相同，具体为：

如果所述其他测试参数已经确定有目标参数值，则所述其他测试参数的参数值为该目标参数值；

如果所述其他测试参数还未确定有目标参数值，则所述其他测试参数的参数值为经验值。

7.如权利要求5-6任一项所述的设备，其特征在于，所述客户端标识包括：客户端的即时通信号码、客户端浏览器的cookie id、客户端的IP地址。

8.如权利要求5-6任一项所述的设备，其特征在于，对测试组内的客户端进行测试的测试周期以天或者星期为单位。