CN107526750B

CN107526750B - 一种差异设置效果的确定方法及装置

Info

Publication number: CN107526750B
Application number: CN201610460940.8A
Authority: CN
Inventors: 黄凯明; 黄立辉; 刘奎龙
Original assignee: Alibaba Group Holding Ltd
Current assignee: Alibaba China Network Technology Co Ltd
Priority date: 2016-06-22
Filing date: 2016-06-22
Publication date: 2020-12-04
Anticipated expiration: 2036-06-22
Also published as: CN107526750A

Abstract

本申请公开了一种差异设置效果的确定方法及装置，可将各定向参数划分为包括至少一个对照组和至少一个实验组的多个参数组，并对所划分的至少一个实验组中的定向参数的保留价值信息进行差异设置，以及对比差异设置的各实验组中的各定向参数与对照组中的各定向参数在设定实验时段内的投放效果数据的差异，以确定差异设置所带来的效果，其中，对任意两个不同的实验组及每一实验组中的任意两个不同的定向参数的保留价值信息所进行的差异设置可相同或不同。从而解决了现有的差异设置效果确定方式存在的准确性较低以及灵活性较低等的问题。

Description

一种差异设置效果的确定方法及装置

技术领域

本申请涉及互联网技术领域，尤其涉及一种差异设置效果的确定方法及装置。

背景技术

目前，越来越多的信息投放方选择在搜索引擎上进行信息的投放，以拓展网站流量、提高网站知名度。但是，由于信息投放方的数量较多，为了获得理想的投放位置，各信息投放方之间必须进行流量的竞拍。其中，流量的竞拍离不开信息评级的排序，而信息评级的排序是由信息的相关性和保留价值信息(即bid，信息投放方所能够提供的出价或竞价)的乘积决定的。由于信息的相关性很难在短时间内获得明显的提升，因而，改变信息评级的排序主要依靠的是调整保留价值信息，因此，如何获得合理的保留价值信息是信息投放方亟需解决的问题。

具体地，目前，信息投放方主要可通过以下两种方式确定对保留价值信息进行调整所带来的差异设置效果，以获得最合理的保留价值信息：

第一种，时间上的同期对比，即，通过比较差异设置前后一段时间(如一周等)的效果数据(如点击次数、消费金额以及收益金额等)，以确定差异设置的效果。例如，信息投放方在2015年12月4日进行定向参数(即，关键词、兴趣、话题、地理区域或用户特征等与设定的用户定位方式相关的、用于定位目标用户的参数)的保留价值信息的差异设置，并在一周后获取差异设置前一周(2015年11月27日～2015年12月3日)和后一周(2015年12月4日～2015年12月10日)的投放效果数据，并对比这两个投放效果数据，以实现对差异设置效果的确定。

但是，由于这种差异设置效果的确定方式是基于时间上的比较，因而对时段的依赖性较强，很容易受到季节和市场因素的影响。例如，在“双11”期间，各商家都会进行全球性的促销活动，使得“双11”期间的投放效果数据远远异于平时的投放效果数据，如果差异设置的时间点发生在“双11”期间，则由于进行前后对比的数据可能会因为包含“双11”的数据而产生波动，因而很容易降低差异设置效果确定的准确性；同样，由于在某些月份或季节，有些商品对象的效果数据会自然地发生较大的波动，如果在这些时间段进行差异设置，也可能会对最终的差异设置效果的确定产生较大的影响，使得差异设置效果确定的准确性较低。

第二种，借助搜索引擎提供的差异设置效果确定工具；具体地，可利用差异设置效果确定工具建立一个实验组与一个对照组，并对实验组中的各定向参数的保留价值信息进行差异设置，以及，在设定的实验时段后，对比对照组与实验组中各定向参数的投放效果数据，以实现对差异设置效果的确定。例如，在Google adwords系统的Campaign experiments(广告系列实验)上进行相应的差异设置，并根据Google adwords系统反馈的报表对差异设置的效果进行确定。

但是，这种差异设置效果的确定方式通常只能设置两个参数组(分别为一个对照组和一个实验组)，且对每个参数组中的各定向参数的保留价值信息只能设置为统一提升或降低设定比例，因而，使得无法根据用户实际需求实现个性化的差异设置，导致差异设置效果的确定方式会存在灵活性较低的问题。

综上所述，现有的差异设置效果确定方式存在准确性较低以及灵活性较低等的问题。

发明内容

本申请实施例提供了一种差异设置效果的确定方法，用以解决现有的差异设置效果的确定方式存在的准确性较低以及灵活性较低等的问题。

本实施例提供给一种差异设置效果的确定方法，包括：

确定信息投放方进行信息投放时使用到的各定向参数，并将确定的各定向参数划分为包括至少一个对照组和至少一个实验组的多个参数组；

对所划分的参数组中的一个或多个实验组中的定向参数的保留价值信息进行差异设置；其中，对任意两个不同的实验组中的定向参数的保留价值信息、以及每一实验组中的任意两个不同的定向参数的保留价值信息所进行的差异设置相同或不同；

针对每一进行差异设置的实验组，根据提取到的该实验组中的各定向参数以及任一对照组中的各定向参数在设定实验时段内的投放效果数据，确定对该实验组中的定向参数的保留价值信息进行差异设置所带来的效果。

相应地，本实施例还提供了一种差异设置效果的确定装置，包括：

划分模块，用于确定信息投放方进行信息投放时使用到的各定向参数，并将确定的各定向参数划分为包括至少一个对照组和至少一个实验组的多个参数组；

设置模块，用于对所划分的参数组中的一个或多个实验组中的定向参数的保留价值信息进行差异设置；其中，对任意两个不同的实验组中的定向参数的保留价值信息、以及每一实验组中的任意两个不同的定向参数的保留价值信息所进行的差异设置相同或不同；

确定模块，用于针对每一进行差异设置的实验组，根据提取到的该实验组中的各定向参数以及任一对照组中的各定向参数在设定实验时段内的投放效果数据，确定对该实验组中的定向参数的保留价值信息进行差异设置所带来的效果。

本申请有益效果如下：

本申请实施例提供了一种差异设置效果的确定方法及确定装置，首先可将信息投放方进行信息投放时使用到的各定向参数划分为包括至少一个对照组和至少一个实验组的多个参数组，再对所划分的参数组中的一个或多个实验组中的定向参数的保留价值信息进行差异设置，并对比进行了差异设置的各实验组中的各定向参数与任一对照组中的各定向参数在设定实验时段内的投放效果数据的差异，以确定对实验组中的定向参数的保留价值信息进行差异设置所带来的效果；其中，对任意两个不同的实验组中的定向参数的保留价值信息、以及每一实验组中的任意两个不同的定向参数的保留价值信息所进行的差异设置相同或不同。由于参与对比的投放效果数据是对照组和实验组的在设定实验时段内的投放效果数据，二者之间的差异不会受到时段、季节以及市场因素的影响，从而能够保证确定结果的准确性。另外，由于对任意两个不同的实验组中的定向参数的保留价值信息、以及每一实验组中的任意两个不同的定向参数的保留价值信息所进行的差异设置可相同或不同，从而能够实现个性化的差异设置，解决了现有的差异设置的效果确定方式存在的准确性较低以及灵活性较低等的问题。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1所示为本申请实施例一中的差异设置效果的确定方法的流程示意图；

图2a所示为本申请实施例一中的信息投放方所属的账户结构的结构示意图；

图2b所示为本申请实施例一中的标准化后的账户结构的第一种可能的结构示意图；

图2c所示为本申请实施例一中的标准化后的账户结构的第二种可能的结构示意图；

图3所示为本申请实施例一中的差异设置效果的确定装置的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

实施例一：

为了解决现有的差异设置效果的确定方式存在的准确性较低以及灵活性较低等的问题，本申请实施例一提供了一种差异设置效果的确定方法，如图1所示，其为本实施例一中所述的差异设置效果的确定方法的流程示意图。具体地，由图1所示，所述方法可包括以下步骤：

步骤101：确定信息投放方进行信息投放时使用到的各定向参数，并将确定的各定向参数划分为包括至少一个对照组和至少一个实验组的多个参数组。

可选地，所述定向参数可为与设定的用户定位方式(即定向，其中，定向是指搜索引擎允许信息投放方定位目标群体的不同方式，如，若为关键词定向，即是指按照用户搜索的关键词来寻找受众群体，例如，定向的关键词为“wedding dress”即是指寻找搜索过“wedding dress”的网络用户等)相关的、用于定位目标用户的参数。

例如，若信息投放方所采用的用户定位方式为关键词定位，则定向参数可为关键词；若信息投放方所采用的用户定位方式为兴趣定位，则定向参数可为兴趣；若信息投放方所采用的用户定位方式为话题定位，则定向参数可为话题；若信息投放方所采用的用户定位方式为地理区域定位，则定向参数可为地理区域；若信息投放方所采用的用户定位方式为用户特征定位，则定向参数可为用户特征等。

也就是说，由于定位方式的多样性，定向参数也可为多种，如可包括关键词、兴趣、话题、地理区域以及用户特征中的任意一种或多种。当然，也可为其它的用于定位目标用户的参数，对此不作任何限定。

可选地，将确定的各定向参数划分为包括至少一个对照组和至少一个实验组的多个参数组，可包括：

将确定的各定向参数随机划分为包括至少一个对照组(即参照组)和至少一个实验组的多个参数组；或者，

按照至少一种类别划分方式(即分组方式)，对各定向参数进行类别划分，以确定各定向参数的与相应类别相对应的类别值；根据各定向参数的类别值，对所述信息投放方所属的账户结构进行标准化，使得各定向参数按照设定的类别分层方式在标准化后的账户结构中排列；以及，基于所述标准化后的账户结构，将各定向参数划分为包括至少一个对照组和至少一个实验组的多个参数组。

也就是说，对定向参数的划分方式有两种：

一种可为随机划分方式(即，全局随机划分)，即不考虑各个定向参数的与相应类别相对应的类别值，直接将各定向参数随机划分为多个参数组。

例如，以各定向参数为关键词为例，假设信息投放方在进行信息投放时使用到的关键词的数量为10000个，且需要将各关键词划分为四个参数组(如对照组1、对照组2、实验组1、实验组2)，则可随机将该10000个关键词划分至上述四个参数组中，如可随机划分2500个关键词至对照组1、随机划分2500个关键词至对照组2、随机划分2500个关键词至实验组1以及随机划分2500个关键词至实验组2等。需要说明的是，这种划分方式通常仅能够使得所划分的参数组中的任意两个参数组中的定向参数的数量保持相同或相近，但无法保证所划分的参数组中的任意两个参数组在设定的关键词类别上分布均匀。

再有，需要说明的是，这种划分方式通常可适用于定向参数的数量较多的场景，如适用于定向参数的数量为1万、10万、100万等的场景中。

另一种可为依据各个定向参数的与相应类别相对应的类别值进行划分的方式(即，分层随机划分)；即，可在确定各定向参数的与相应类别相对应的类别值后，根据各定向参数的类别值，对信息投放方所属的账户结构进行标准化，并基于标准化后的账户结构，将各定向参数划分为包括至少一个对照组和至少一个实验组的多个参数组。

例如，仍以各定向参数为关键词为例，假设信息投放方在进行信息投放时使用到的关键词的数量为1000个，且需要将各关键词划分为四个参数组(如对照组1、对照组2、实验组1、实验组2)，则可通过以下方式进行参数组的划分：

第一步、按照国家、语言、类目等类别划分方式(还可为关键词的匹配类型、对应的宽泛等级等等类别划分方式)，确定各关键词的与相应类别相对应的类别值。

其中，各关键词的与相应类别相对应的类别值可包括与类别“国家”相对应的类别值“中国”、与类别“国家”相对应的类别值“USA”、与类别“语言”相对应的类别值“中文”、与类别“语言”相对应的类别值“English”、与类别“类目”相对应的类别值“男装”、与类别“类目”相对应的类别值“Women’s Clothing”等，对此不作任何限定。

第二步、根据各关键词的类别值，对所述信息投放方所属的账户结构进行标准化，使得各关键词按照设定的类别分层方式在标准化后的账户结构中排列。

假设，本实施例中所述的信息投放方所属的账户结构可如图2a所示(其为目前常用的adwords的账户结构)，即信息投放方所属的账户结构一共可分为四层，分别为信息投放账户(Account)、信息投放系列(Campaign)、信息投放组(Adgroup)和关键词(keyword)，则可根据各关键词的类别值(如中国、USA、中文、English、女装、男装、Women’s Clothing、Men’s Clothing等)，对所述信息投放方所属的账户结构进行标准化。

进一步地，假设标准化后的账户结构可如图2b或者图2c所示。由图2b以及图2c可知，所述标准化后的账户结构中的信息投放账户可以“国家”作为划分规则，以区分不同的国家(如“中国”或者“USA”)；信息投放系列可以“语言”作为划分规则，以区分不同的语言(如“中文”或者“English”)；信息投放组可以“关键词所属的类目”作为划分规则，以区分不同的关键词类目(如“男装”、“女装”、“Women’s Clothing”、“Men’s Clothing”等)，对此不再赘述。

由上述图2b以及图2c可知，标准化后的账户结构可使得各关键词按照设定的类别分层方式在标准化后的账户结构中排列，如按照信息投放的国家、语言以及类目在标准化后的账户结构中排列等。

第三步、基于标准化后的账户结构，在最小分层(如图2b以及图2c中所示的类目)上将各定向参数划分为包括至少一个对照组和至少一个实验组的多个参数组。

假设，以图2b所示的标准化后的账户结构为例，由于在图2b所示的标准化后的账户结构中，类目“男装”包括的关键词的个数为关键词总个数(即1000)的10％(即100个)、类目“女装”包括的关键词的个数为关键词总个数的20％(即200个)、类目“Men’s Clothing”包括的关键词的个数为关键词总个数的30％(即300个)、类目“Women’s Clothing”包括的关键词的个数为关键词总个数的40％(即400个)，因而，在进行不同参数组的划分时，可使得四个参数组中的每一参数组中来自“男装”的关键词的个数占该参数组中的所有关键词的个数的10％(假设每一参数组中的关键词的个数均为250，则每一参数组中来自“男装”的关键词的个数为25个)、来自“女装”的关键词的个数占该参数组中的所有关键词的个数的20％(假设每一参数组中的关键词的个数均为250，则每一参数组中来自“女装”的关键词的个数为50个)、来自“Men’s Clothing”的关键词的个数占该参数组中的所有关键词的个数的30％(假设每一参数组中的关键词的个数均为250，则每一参数组中来自“Men’sClothing”的关键词的个数为75个)、来自“Women’s Clothing”的关键词个数占该参数组中的所有关键词的个数的40％(假设每一参数组中的关键词的个数均为250，则每一参数组中来自“Women’s Clothing”的关键词的个数为100个)。因此，这种划分方式可使得所划分的任意两个参数组中的定向参数能够在类目、语言或国家等设定类别上分布均匀。

需要说明的是，这种划分方式通常可适用于定向参数的数量较少的场景，如定向参数的数量为100、1000等，对此不作赘述。

另外，需要说明的是，若定向参数为地理区域、话题、兴趣或者用户特征等其它的参数，则标准化后的信息投放账户结构可与图2b以及图2c中所示的信息投放账户稍有不同，如，假设定向参数为地理区域、话题或者兴趣等参数，则此时，标准化后的信息投放账户结构的最小分层上的类别可为地理区域(placement)、话题(topic)或兴趣爱好(interests)等，对此不作任何限定。

另外，需要说明的是，本实施例中，所划分的参数组的个数、以及各参数组的定向参数数量之间的比例并不是固定的，可根据用户(如信息投放方)的实际需求进行调整(例如，所划分的参数组的个数可根据用户的实际需求从2个调整为3个甚至更多个等；另外，假设所划分的参数组的个数为3个，如可为参数组A、参数组B以及参数组C，且，参数组A、参数组B以及参数组C中的定向参数的数量分别为a、b以及c，则a、b以及c之间的比例可调，如a:b:c可为5:3:2或4:3:3等)。

也就是说，本实施例中，所划分的参数组不再仅包括一个实验组和一个对照组，而是可包括多个实验组、或多个对照组，且，各参数组的定向参数数量之间的比例还可根据实际情况灵活设定，从而相对于现有的参数组划分方式而言，提高了参数组划分的灵活性，进而提高了差异设置的灵活性。

步骤102：对所划分的参数组中的一个或多个实验组中的定向参数的保留价值信息进行差异设置；其中，对任意两个不同的实验组中的定向参数的保留价值信息、以及每一实验组中的任意两个不同的定向参数的保留价值信息所进行的差异设置相同或不同。

需要说明的是，所述差异设置可包括对定向参数的保留价值信息进行提升或降低，如将某一定向参数的保留价值信息提升一定的比例，或者将某一定向参数的保留价值信息降低一定的比例等。

例如，假设所划分的参数组中仅包括一个实验组A，且所述实验组A中包括10个定向参数，如a1，a2，a3，……，a10，则可从实验组A中选择一个或多个定向参数，如选择a1，a2以及a6三个定向参数，并将选择的各定向参数中的部分定向参数的保留价值信息设置为提升，将选择的各定向参数中的剩余定向参数的保留价值信息设置为降低等；例如，可将a1的保留价值信息提升20％，将a2的保留价值信息提升1％，以及将a6的保留价值信息降低15％等。

或者，假设所划分的参数组中可包括三个实验组，分别为实验组A、实验组B以及实验组C，且每一个实验组中可包括10个定向参数，如实验组A中包括a1，a2，a3，……，a10等10个定向参数；实验组B中包括b1，b2，b3，……，b10等10个定向参数；实验组C中包括c1，c2，c3，……，c10等10个定向参数；则可首先从三个实验组中选择一个或多个需要进行差异设置的实验组，如可选择实验组A以及实验组C。并且，针对实验组A，从该实验组A中选择一个或多个定向参数，如选择a1，a2以及a6三个定向参数，针对实验组C，从该实验组C中选择一个或多个定向参数，如选择c1，c2以及c3三个定向参数，并将从实验组A中选择出的各定向参数的保留价值信息设置为提升，将从实验组C中选择出的各定向参数的保留价值信息设置为降低等；例如，可将a1的保留价值信息提升12％、将a2的保留价值信息提升10％，将a6的保留价值信息提升5％，以及将c1的保留价值信息降低10％、将c2的保留价值信息降低5％、将c3的保留价值信息降低20％等。

另外，也可在从三个实验组中选择出一个或多个需要进行差异设置的实验组之后，如可在选择出实验组A以及实验组C之后，再针对实验组A，从该实验组A中选择一个或多个定向参数，如选择a1，a2以及a6三个定向参数，针对实验组C，从该实验组C中选择一个或多个定向参数，如选择c1，c2以及c3三个定向参数，并将从实验组A中选择出的各定向参数中的部分定向参数的保留价值信息设置为提升、将从实验组A中选择出的各定向参数中的剩余定向参数的保留价值信息设置为降低，以及将从实验组C中选择出的各定向参数中的部分定向参数的保留价值信息设置为降低、将从实验组C中选择出的各定向参数中的剩余定向参数的保留价值信息设置为提升等；例如，可将a1的保留价值信息提升12％、将a2的保留价值信息降低1.5％、将a6的保留价值信息降低15％，以及c1的保留价值信息降低40％、将c2的保留价值信息提升5.5％、将c3的保留价值信息提升0.3％等，对此不作赘述。

由上述内容可知，在本实施例中，可对同一实验组中的不同定向参数进行互不相同的差异设置，当设置有多个实验组时，还可对不同实验组中的定向参数进行互不相同的差异设置，从而相比于现有技术中仅能设置一个实验组，且实验组中的各定向参数的差异设置均相同的方式而言，差异设置的灵活性更高，使得后续可一次性对多种差异设置带来的效果进行确定，以提高确定的效率，对此不作赘述。

优选地，为了提高最终确定的差异设置效果的准确性，在对所划分的参数组中的一个或多个实验组中的定向参数的保留价值信息进行差异设置之前，所述方法还可包括：

提取各定向参数在设定历史时段内的历史投放效果数据，并根据所述历史投放效果数据，确定所划分的参数组中的任意两个参数组在设定的效果维度上分布均匀。

具体地，所述历史投放效果数据可为各定向参数在设定历史时段内的、与所述信息投放方所投放的信息相关的投放效果数据，即，可为用户基于各定向参数浏览、点击、或收藏所述信息投放方所投放的信息的次数，或者，用户基于各定向参数购买或加购(加入购物车)所述信息投放方所投放的信息所对应的商品对象的次数等等。

也就是说，所述历史投放效果数据可包括点击次数、浏览次数、收藏次数、购买次数以及加购次数中的任意一种或多种。当然，还可包括关注次数、消费金额、收益金额等其它的投放效果数据，对此不作任何限定。

需要说明的是，所述设定历史时段可根据实际需求灵活设置，如可设置为一周、一个月、三个月等，对此也不作任何限定。

也就是说，在完成定向参数的划分之后，为了提高差异设置效果确定的准确性，还可检验所划分的参数组中的任意两个参数组中的定向参数在设定历史时段内的历史投放效果数据之间的差异性是否不小于设定阈值(即是否均匀)。

其中，所述设定阈值可根据信息投放方的实际需求来灵活设定，只要能够保证所划分的参数组的均匀性可满足实验要求即可。另外，需要说明的是，为了提高确定的准确性以及划分的均匀性，通常可将所述设定阈值设置的尽量小，对此不作赘述。

可选地，确定所划分的参数组中的任意两个参数组在设定的效果维度上分布均匀，可包括：

基于均值检验、T值检验、皮尔逊相似度检验以及F值检验中的任意一种或多种，确定所划分的参数组中的任意两个参数组在设定的效果维度上分布均匀。

其中，需要说明的是，由于所述历史投放效果数据通常可包括点击次数、浏览次数、收藏次数、购买次数以及加购次数中的任意一种或多种，因而，所述设定的效果维度也可为点击次数维度、浏览次数维度、收藏次数维度、购买次数维度或加购次数维度等，当然，还可为点击率维度、购买率维度等等，对此不作任何限定。

例如，假设采用的检验方式可为均值检验方式、设定历史时段可为n周、设定的效果维度可为购买率维度，则可通过以下公式1～2来确定所划分的参数组中的任意两个参数组在设定的效果维度上分布均匀：

其中，n表示所述设定历史时段所占用的总周数，m表示所划分的参数组的总个数；i表示第i个参数组，如，当m的取值为4时，i的取值可为0、1、2、3等；j表示第j周，如，当n的取值为4时，j的取值可为0、1、2、3等；

uv_i,j表示在第j周由第i个参数组中的定向参数引入的总用户数，如，在第j周通过第i个参数组中的定向参数浏览过信息投放方所投放的信息的总用户数；

表示在第j周由第i个参数组中的定向参数引入的、发生过购买行为的总用户数，如，在第j周通过第i个参数组中的定向参数浏览过信息投放方所投放的信息、且购买了信息投放方所投放的信息对应的商品对象的总用户数；

表示在第j周由第i个参数组中的定向参数引入的购买率，如，在第j周通过第i个参数组中的定向参数购买了信息投放方所投放的信息对应的商品对象的购买率；θ₁为设定的第一阈值，其取值可根据实际情况灵活设置。

类似地，假设采用的检验方式可为T值检验方式、设定的实验时段仍为n周、设定的效果维度仍为购买率维度，则可通过以下公式3～5来确定所划分的参数组中的任意两个参数组在设定的效果维度上分布均匀：

表示在第j周由第i个参数组中的定向参数引入的购买率，如，在第j周通过第i个参数组中的定向参数购买了信息投放方所投放的信息对应的商品对象的购买率；

θ₂为设定的第二阈值，其取值可根据实际情况灵活设置。

另外，需要说明的是，还可根据皮尔逊相似度检验或F值检验来确定所划分的参数组中的任意两个参数组在设定的效果维度上分布均匀，此处不再赘述。

步骤103：针对每一进行差异设置的实验组，根据提取到的该实验组中的各定向参数以及任一对照组中的各定向参数在设定实验时段内的投放效果数据，确定对该实验组中的定向参数的保留价值信息进行差异设置所带来的效果。

其中，各定向参数在设定实验时段内的投放效果数据(相对于前述历史投放效果数据而言，可将该投放效果数据称作为当前投放效果数据)可为各定向参数在设定实验时段内的、与所述信息投放方所投放的信息相关的投放效果数据，即，可为用户基于各定向参数浏览、点击、或收藏所述信息投放方所投放的信息的次数，或者，用户基于各定向参数购买或加购所述信息投放方所投放的信息所对应的商品对象的次数等，对此不作任何限定。

再有，需要说明的是，所述设定实验时段可根据实际需求灵活设置，如可设置为一周、一个月、三个月等，对此不作赘述。

可选地，针对每一进行差异设置的实验组，根据提取到的该实验组中的各定向参数以及任一对照组中的各定向参数在设定实验时段内的投放效果数据，确定对该实验组中的定向参数的保留价值信息进行差异设置所带来的效果，可包括：

针对每一进行差异设置的实验组，根据提取到的该实验组中各定向参数在设定实验时段内的投放效果数据，确定所述设定实验时段内，该实验组在设定的效果维度上所带来的总投放效果；

根据提取到的任一对照组中各定向参数在设定实验时段内的投放效果数据，确定所述设定实验时段内，该任一对照组在所述设定的效果维度上所带来的总投放效果；

根据该实验组在设定的效果维度上所带来的总投放效果以及该任一对照组在所述设定的效果维度上所带来的总投放效果之间的差异，确定该实验组中的定向参数的保留价值信息进行差异设置所带来的效果。

需要说明的是，由于所述设定的效果维度可为点击次数维度、浏览次数维度、收藏次数维度、购买次数维度、加购次数维度、点击率维度、或者购买率维度等，因而，每一实验组或对照组在设定的效果维度上所带来的总投放效果可为相应的点击次数、浏览次数、收藏次数、购买次数、加购次数、点击率、或者购买率等，对此不作任何限定。

可选地，针对每一进行差异设置的实验组，可根据总投放效果的定义，计算所述设定实验时段内，该实验组在设定的效果维度上所带来的总投放效果。

例如，以设定的效果维度为购买率维度、相应的总投放效果为购买率为例，可采用求均值的方式(如以下公式6)来根据该实验组中各定向参数在设定实验时段内的投放效果数据，计算所述设定实验时段内，该实验组在该设定的效果维度上所带来的总投放效果：

其中，N表示该实验组中的定向参数的个数；uv_k表示该实验组中的第k个定向参数所引入的总用户数，如，通过第k个定向参数浏览过信息投放方所投放的信息的总用户数；

表示该实验组中的第k个定向参数所引入的、发生过购买行为的总用户数，如，通过第k个定向参数浏览过信息投放方所投放的信息、且购买了信息投放方所投放的信息对应的商品对象的总用户数；S表示该实验组在购买率维度上的总投放效果，即实际带来的购买率。

具体地，假设任一进行差异设置的实验组A包括3个定向参数，如a1、a2以及a3，若在设定实验时段内通过定向参数a1浏览到信息投放方所投放的信息的浏览次数为10次、通过定向参数a2浏览到该信息的浏览次数为20次、以及通过定向参数a3浏览到该信息的浏览次数为50次，且通过定向参数a1购买该信息所对应的商品对象的次数为5次、通过定向参数a2购买该信息所对应的商品对象的次数为10次、以及通过定向参数a3购买该信息所对应的商品对象的次数为25次，则可确定在所述设定时段内，该实验组A在购买率维度上所实际带来的购买率为1/2；以及，假设没有进行差异设置的对照组B中包括3个定向参数，如b1、b2以及b3，且若在设定实验时段内通过定向参数b1、b2以及b3浏览到该信息的浏览次数分别为15次、10次以及20次，通过定向参数b1、b2以及b3购买该信息对应的商品对象的次数为5次、5次、以及5次，则可确定在所述设定时段内，该对照组B在购买率维度上所实际带来的购买率为1/3；则可根据该实验组在设定的效果维度上所带来的总投放效果(即1/2)以及该对照组在所述设定的效果维度上所带来的总投放效果(即1/3)之间的差异(即1/6)确定对该实验组A中的定向参数的保留价值信息进行差异设置所带来的效果，如提升了信息投放方所投放的信息的购买率、和/或购买率提升了1/6等。

类似地，计算任一对照组在所述设定的效果维度上所带来的总投放效果的方式可与计算每一对照组在设定的效果维度上所带来的总投放效果的方式相同，此处不再赘述。

进一步地，为了使得最终确定的差异设置效果更为准确，在确定对该实验组中的定向参数的保留价值信息进行差异设置所带来的效果之前，所述方法还可包括：

根据提取到的各对照组中各定向参数在设定实验时段内的投放效果数据，确定任意两个对照组在设定的效果维度上分布均匀。

其中，需要说明的是，确定任意两个对照组在设定效果维度上分布均匀的方法与判断任意两个参数组在设定效果维度上分布均匀的方法可相同，对此不作赘述。

另外，需要说明的是，如果根据提取到的各对照组中各定向参数在设定实验时段内的投放效果数据，确定任意两个对照组在设定的效果维度上分布不均匀，则可说明在设定实验时段内，有一些定向参数的投放效果数据发生了变化，且这些变化并不是由差异设置引起的，如可以是环境因素等引起的，因而，可能会使得最终的确定结果并不准确。因此，若根据提取到的各对照组中各定向参数在设定实验时段内的投放效果数据，确定任意两个对照组在设定的效果维度上分布不均匀，则可认为步骤101所划分的多个参数组实际上在设定的效果维度上并不均匀，即，所确定得到的差异设置效果并不准确，需重新进行参数组的划分，对此不作赘述。

本申请实施例一提供了一种差异设置效果的确定方法，首先可将信息投放方进行信息投放时使用到的各定向参数划分为包括至少一个对照组和至少一个实验组的多个参数组，再对所划分的参数组中的一个或多个实验组中的定向参数的保留价值信息进行差异设置，并对比进行了差异设置的各实验组中的各定向参数与任一对照组中的各定向参数在设定实验时段内的投放效果数据的差异，以确定对实验组中的定向参数的保留价值信息进行差异设置所带来的效果；其中，对任意两个不同的实验组中的定向参数的保留价值信息、以及每一实验组中的任意两个不同的定向参数的保留价值信息所进行的差异设置相同或不同。由于参与对比的投放效果数据是对照组和实验组的在设定实验时段内的投放效果数据，二者之间的差异不会受到时段、季节以及市场因素的影响，从而能够保证确定结果的准确性。另外，由于对任意两个不同的实验组中的定向参数的保留价值信息、以及每一实验组中的任意两个不同的定向参数的保留价值信息所进行的差异设置可相同或不同，从而能够实现个性化的差异设置，解决了现有的差异设置的效果确定方式存在的准确性较低以及灵活性较低等的问题。

另外，由于本实施例中，能够提取到的投放效果数据(历史投放效果数据以及当前投放效果数据)可包括站内数据以及站外数据，且参数组的划分方式通常是由用户(如信息投放方)根据实际需求灵活控制的，因此，在后续进行在设定实验时段内的投放效果数据的统计与对比时，会比较容易对接引流和网站的效果数据，对此不作赘述。

实施例二：

基于与本申请实施例一相同的发明构思，本申请实施例二提供了一种差异设置效果的确定装置，如图3所示，其为本实施例二中所述的差异设置效果的确定装置的结构示意图。具体的，由图3所示，所述装置可包括：

划分模块31，可用于确定信息投放方进行信息投放时使用到的各定向参数，并将确定的各定向参数划分为包括至少一个对照组和至少一个实验组的多个参数组；

设置模块32，可用于对所划分的参数组中的一个或多个实验组中的定向参数的保留价值信息进行差异设置；其中，对任意两个不同的实验组中的定向参数的保留价值信息、以及每一实验组中的任意两个不同的定向参数的保留价值信息所进行的差异设置相同或不同；

确定模块33，可用于针对每一进行差异设置的实验组，根据提取到的该实验组中的各定向参数以及任一对照组中的各定向参数在设定实验时段内的投放效果数据，确定对该实验组中的定向参数的保留价值信息进行差异设置所带来的效果。

进一步地，所述划分模块31，可具体用于将确定的各定向参数随机划分为包括至少一个对照组和至少一个实验组的多个参数组；或者，按照至少一种类别划分方式，对各定向参数进行类别划分，以确定各定向参数的与相应类别相对应的类别值；根据各定向参数的类别值，对所述信息投放方所属的账户结构进行标准化，使得各定向参数按照设定的类别分层方式在标准化后的账户结构中排列；以及，基于所述标准化后的账户结构，将各定向参数划分为包括至少一个对照组和至少一个实验组的多个参数组。

进一步地，所划分的参数组的个数、以及各参数组的定向参数数量之间的比例可调。

具体地，所述差异设置包括对定向参数的保留价值信息进行提升或降低。

所述确定模块33，可具体用于针对每一进行差异设置的实验组，根据提取到的该实验组中的各定向参数在设定实验时段内的投放效果数据，确定所述设定实验时段内，该实验组在设定的效果维度上所带来的总投放效果；并根据提取到的任一对照组中的各定向参数在设定实验时段内的投放效果数据，确定所述设定实验时段内，该任一对照组在所述设定的效果维度上所带来的总投放效果；以及，根据该实验组在设定的效果维度上所带来的总投放效果以及该任一对照组在所述设定的效果维度上所带来的总投放效果之间的差异，确定该实验组中的定向参数的保留价值信息进行差异设置所带来的效果。

进一步地，所述装置还可包括：

第一均匀性确定模块34，可用于在对所划分的参数组中的一个或多个实验组中的定向参数的保留价值信息进行差异设置之前，提取各定向参数在设定历史时段内的历史投放效果数据，并根据所述历史投放效果数据，确定所划分的参数组中的任意两个参数组在设定的效果维度上分布均匀。

进一步地，所述装置还可包括：

第二均匀性确定模块35，可用于在确定对该实验组中的定向参数的保留价值信息进行差异设置所带来的效果之前，根据各对照组中的各定向参数在设定实验时段内的投放效果数据，确定任意两个对照组在设定的效果维度上分布均匀。

本领域技术人员应明白，本申请的实施例可提供为方法、装置(设备)、或计算机程序商品对象。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产的形式。

本申请是参照根据本申请实施例的方法、装置(设备)和计算机程序商品对象的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims

1.一种差异设置效果的确定方法，其特征在于，包括：

2.如权利要求1所述的确定方法，其特征在于，将确定的各定向参数划分为包括至少一个对照组和至少一个实验组的多个参数组，包括：

将确定的各定向参数随机划分为包括至少一个对照组和至少一个实验组的多个参数组；或者，

按照至少一种类别划分方式，对各定向参数进行类别划分，以确定各定向参数的与相应类别相对应的类别值；根据各定向参数的类别值，对所述信息投放方所属的账户结构进行标准化，使得各定向参数按照设定的类别分层方式在标准化后的账户结构中排列；以及，基于所述标准化后的账户结构，将各定向参数划分为包括至少一个对照组和至少一个实验组的多个参数组。

3.如权利要求1所述的确定方法，其特征在于，所划分的参数组的个数、以及各参数组的定向参数数量之间的比例可调。

4.如权利要求1所述的确定方法，其特征在于，所述差异设置包括对定向参数的保留价值信息进行提升或降低。

5.如权利要求1所述的确定方法，其特征在于，针对每一进行差异设置的实验组，根据提取到的该实验组中的各定向参数以及任一对照组中的各定向参数在设定实验时段内的投放效果数据，确定对该实验组中的定向参数的保留价值信息进行差异设置所带来的效果，包括：

针对每一进行差异设置的实验组，根据提取到的该实验组中的各定向参数在设定实验时段内的投放效果数据，确定所述设定实验时段内，该实验组在设定的效果维度上所带来的总投放效果；

根据提取到的任一对照组中的各定向参数在设定实验时段内的投放效果数据，确定所述设定实验时段内，该任一对照组在所述设定的效果维度上所带来的总投放效果；

6.如权利要求1所述的确定方法，其特征在于，在对所划分的参数组中的一个或多个实验组中的定向参数的保留价值信息进行差异设置之前，所述方法还包括：

7.如权利要求1所述的确定方法，其特征在于，在确定对该实验组中的定向参数的保留价值信息进行差异设置所带来的效果之前，所述确定方法还包括：

根据各对照组中的各定向参数在设定实验时段内的投放效果数据，确定任意两个对照组在设定的效果维度上分布均匀。

8.一种差异设置效果的确定装置，其特征在于，包括：

9.如权利要求8所述的确定装置，其特征在于，

所述划分模块，具体用于将确定的各定向参数随机划分为包括至少一个对照组和至少一个实验组的多个参数组；或者，按照至少一种类别划分方式，对各定向参数进行类别划分，以确定各定向参数的与相应类别相对应的类别值；根据各定向参数的类别值，对所述信息投放方所属的账户结构进行标准化，使得各定向参数按照设定的类别分层方式在标准化后的账户结构中排列；以及，基于所述标准化后的账户结构，将各定向参数划分为包括至少一个对照组和至少一个实验组的多个参数组。

10.如权利要求8所述的确定装置，其特征在于，所划分的参数组的个数、以及各参数组的定向参数数量之间的比例可调。

11.如权利要求8所述的确定装置，其特征在于，所述差异设置包括对定向参数的保留价值信息进行提升或降低。

12.如权利要求8所述的确定装置，其特征在于，

所述确定模块，具体用于针对每一进行差异设置的实验组，根据提取到的该实验组中的各定向参数在设定实验时段内的投放效果数据，确定所述设定实验时段内，该实验组在设定的效果维度上所带来的总投放效果；并根据提取到的任一对照组中的各定向参数在设定实验时段内的投放效果数据，确定所述设定实验时段内，该任一对照组在所述设定的效果维度上所带来的总投放效果；以及，根据该实验组在设定的效果维度上所带来的总投放效果以及该任一对照组在所述设定的效果维度上所带来的总投放效果之间的差异，确定该实验组中的定向参数的保留价值信息进行差异设置所带来的效果。

13.如权利要求8所述的确定装置，其特征在于，所述装置还包括：

第一均匀性确定模块，用于在对所划分的参数组中的一个或多个实验组中的定向参数的保留价值信息进行差异设置之前，提取各定向参数在设定历史时段内的历史投放效果数据，并根据所述历史投放效果数据，确定所划分的参数组中的任意两个参数组在设定的效果维度上分布均匀。

14.如权利要求8所述的确定装置，其特征在于，所述装置还包括：

第二均匀性确定模块，用于在确定对该实验组中的定向参数的保留价值信息进行差异设置所带来的效果之前，根据各对照组中的各定向参数在设定实验时段内的投放效果数据，确定任意两个对照组在设定的效果维度上分布均匀。