CN106502881A

CN106502881A - 一种商品排序规则的测试方法和装置

Info

Publication number: CN106502881A
Application number: CN201610835545.3A
Authority: CN
Inventors: 苏伟伟; 黄培浩; 张轩
Original assignee: Beijing Sankuai Online Technology Co Ltd
Current assignee: Beijing Sankuai Online Technology Co Ltd
Priority date: 2016-09-20
Filing date: 2016-09-20
Publication date: 2017-03-15
Anticipated expiration: 2036-09-20
Also published as: CN106502881B

Abstract

本发明实施例提供了一种商品排序规则的测试方法和系统，其中的方法包括：从历史日志中获取根据指定商品排序规则得到的第一商品列表，并采集用户针对所述第一商品列表的商品操作信息；根据所述商品操作信息确定针对第一商品列表的第一测试结果；根据待测试商品排序规则对第一商品列表中各商品进行重新排序生成第二商品列表；根据所述商品操作信息和该商品在第二商品列表中的位置信息，确定针对第二商品列表的第二测试结果；当所述第一测试结果和第二测试结果满足预设条件时，所述待测试商品排序规则测试通过。

Description

一种商品排序规则的测试方法和装置

技术领域

本发明涉及算法测试技术应用领域，特别是涉及一种商品排序规则的测试方法和装置。

背景技术

随着互联网技术的发展，诸如购物网站、团购网站之类的电子商务平台(以下简称平台)，已经成为人们生活的重要组成部分。

用户在平台上进行购物时，经常会有目的性的通过选择平台上提供的选项和/或点击相应按钮来搜索自己的意向商品，也可以直接输入与意向商品相关的关键字来进行搜索。通常平台收到用户的搜索请求后会向用户返回与用户意向相关的商品列表。而商品列表中各个商品的排序直接会影响用户对商品的点击率、下单率等等。通常认为排序越靠前的商品其被用户点击及下单的概率相对较高。因此，将某种商品排序规则下更符合用户需要的商品的安排在靠前的位置则可以节省用户浏览商品的时间。

好的商品排序规则可以缩短用户搜索商品并下单购买的时间。因此，很多平台会不断优化商品排序规则来有目的性的引导用户的购买倾向、缩短用户购买商品的时间。在一种新的商品排序规则正式上线前，由于新的商品排序规则效果的不稳定和不可控性，平台不会直接对这种商品排序规则进行正式上线测试。通常，平台会先使用线上小流量对这种商品排序规则进行效果测试，即，将用户流量中的一小部分，如10％分离出来，让这一小部分用户流量使用新的商品排序规则，并观察这一部分用户在新的商品排序规则下的用户行为，主要关注用户对商品的访购率、下单率(访购率指购买用户数和访问用户数的比值；下单率指购买次数与访问次数的比值)等，从而分析该商品排序规则的效果，在该商品排序规则效率理想的情况下，可以正式上线这种商品排序规则。

但是，上面所说的线上小流量测试方法也存在一些问题：

1、测试周期较长

通常需要7天的观察才能对新的商品排序规则的效果进行确认，而在新的商品排序规则效果不理想的情况下，对新的商品排序规则进行迭代优化时，则一次迭代的周期至少为7天。

2、线上小流量测试效果不准确

由于新的商品排序规则具有不稳定性和不可控性，而较少的样本很难对样本整体的使用效果进行评估，因此，这种基于线上小流量的测试方法其测试结果的准确性较差。

发明内容

为了解决现有存在的技术问题，本发明实施例期望提供一种商品排序规则的测试方法和装置。

本发明实施例提供了一种商品排序规则的测试方法，包括：

从历史日志中获取根据指定商品排序规则得到的第一商品列表，并采集用户针对所述第一商品列表的商品操作信息；

根据所述商品操作信息确定针对第一商品列表的第一测试结果；

根据待测试商品排序规则对第一商品列表中各商品进行重新排序生成第二商品列表；

根据所述商品操作信息和该商品在第二商品列表中的位置信息，确定针对第二商品列表的第二测试结果；

当所述第一测试结果和第二测试结果满足预设条件时，所述待测试商品排序规则测试通过。

本发明实施例提供了一种商品排序规则的测试装置，

所述装置包括：获取模块、采集模块、第一确定模块、排序模块、第二确定模块及第三确定模块；其中，

所述获取模块，用于从历史日志中获取根据指定商品排序规则得到的第一商品列表；

所述采集模块，用于从历史日志中采集用户针对所述第一商品列表的商品操作信息；

所述第一确定模块，用于根据所述商品操作信息确定针对第一商品列表的第一测试结果；

所述排序模块，用于根据待测试商品排序规则对第一商品列表中各商品进行重新排序生成第二商品列表；

所述第二确定模块，用于根据所述商品操作信息和该商品在第二商品列表中的位置信息，确定针对第二商品列表的第二测试结果；

所述第三确定模块，用于在确定所述第一测试结果和第二测试结果满足预设条件时，确定所述待测试商品排序规则测试通过。

本发明实施例至少具备以下优点：

在本发明实施例所提供的商品排序规则的测试方法中，首先从历史日志中获取根据指定商品排序规则得到的第一商品列表，并采集用户针对所述第一商品列表的商品操作信息，根据所述商品操作信息确定针对第一商品列表的第一测试结果；接下来，根据待测试商品排序规则对第一商品列表中的商品进行重新排序生成第二商品列表，之后，根据从历史日志中获取的用户对第一商品列表中的商品的操作信息和该商品在第二商品列表中的位置信息来确定第二测试结果；当第一测试结果和第二测试结果满足预设条件时，确定待测试商品排序规则测试通过。

现有技术由于是利用在线实际用户访问流量对排序列表的实际操作结果来确定商品排序规则是否合适，为了保证结果的合理测试样本必须满足一定的数量，由于是引流测试，所以需要几天或更长时间的用户行为数据来保证测试样本数量，而本发明测试过程是在线下利用指定商品排序规则在使用过程中产生的历史日志数据，避免了现有技术采用在线引流测试导致的样本数量的限制，因此无需花费几天甚至更长时间来获取样本数量，大大减少了测试周期。其次，本发明实施例测试过程中对日志数据的处理、测试，可完全按照预先设定的步骤由系统自动完成，整个过程无需依靠用户的观察结果，避免了人工介入而导致的时间迟滞，因此，相对于现有技术大大减少了测试时间、提高了测试效率。

另一方面，本发明实施例是从历史日志中获取用户对第一商品列表的商品操作信息来确定第一测试结果和第二测试结果，由于历史日志数据不受时间影响，因此可获取任意时间段内、任意数量的历史日志数据进行测试，由于测试样本数量足够多，与现有技术只能在线获取几天内通过引流方式获取的有限的用户数据相比，本发明实施例可大大提高测试结果的准确性。

附图说明

图1示出了本发明实施例一提供的一种商品排序规则的测试方法实施例的步骤流程图；

图2示出了本发明实施例二提供的一种商品排序规则的测试方法实施例的步骤流程图；

图3示出了本发明的一种商品排序规则的测试装置的基本结构框图；

图4示出了本发明的另一种商品排序规则的测试装置的基本结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

方法实施例一

参照图1，示出了本发明的一种商品排序规则的方法实施例的步骤流程图，具体可以包括：

步骤101、从历史日志中获取根据指定商品排序规则得到的第一商品列表，并采集用户针对所述第一商品列表的商品操作信息；

当用户通过平台搜索商品时，平台根据用户的搜索请求确定与用户的搜索条件相匹配的商品，之后，可以采用特定排序策略对与用户搜索条件相匹配的商品进行排序，并将排序后的商品列表发送给用户，用户通过查看商品列表来选购商品。用户选购商品时对商品执行操作时产生的商品操作信息将记录在历史日志中。历史日志可以被存储于服务器、数据库等具备数据存储功能的软件和/或硬件产品中。

商品列表可以以具体的数据表形式存储于历史日志中，需要获取该商品列表时直接进行获取，之后，基于历史日志采集用户针对所述第一商品列表的商品操作信息。

具体到步骤101中，商品操作信息包括用户对商品进行的操作，如点击、下单、收藏等，还包括相应操作所针对的商品的标识信息。

所述第一商品列表为根据指定商品排序规则对商品进行排序得到的商品列表。

本发明实施例中，对待测试商品排序规则的测试需要依赖于与一指定商品排序规则相关联的历史日志中的用户对商品的操作信息，该指定商品排序规则具体可以为应用程序之前上线运行过或当前正在线上使用的商品排序规则。

实际实现中，针对指定商品排序规则所产生的第一商品列表，可以从历史日志中获得所有用户对所述第一商品列表进行的所有商品操作信息，这里的用户是指一段时间内对所述第一商品列表进行过操作的所有用户，一段时间具体可以为一个星期或一个月或三个月或更长时间，具体的时间段可以根据实际需要来确定，这里不作限制。而实际的商品排序规则测试过程中，可以使用所有用户的商品操作信息进行测试，也可以取其中一部分进行测试，当然，取样用户越多，测试效果越好。

步骤102、根据所述商品操作信息确定针对第一商品列表的第一测试结果；

具体的，商品操作信息包括该商品在第一商品列表中的位置信息、用户对商品进行点击、下单等操作的信息；根据指定商品排序规则所生成的第一商品列表中各商品的位置信息是确定的，该商品在第一商品列表中的位置信息会在用户执行操作后包含在商品操作信息中被记录在历史日志中。

这一步骤中，可以根据用户对第一商品列表的商品操作信息及相应商品在第一商品列表中的位置确定出第一测试结果。

步骤103、根据待测试商品排序规则对第一商品列表中各商品进行重新排序生成第二商品列表；

具体的，所述待测试的商品排序规则用于在平台收到用户通过网络发送的搜索请求时，确定搜索结果的排列顺序，具体为商品的排列顺序，从而，平台基于该确定的排列顺序来生成商品列表并发送给用户。待测试商品排序规则在正式上线之前需要进行测试，当该待测试商品排序规则测试通过时，可以正式上线该商品排序规则。

具体到步骤103，通过待测试商品排序规则对第一商品列表中的各商品进行重新排序后，会生成新的商品列表，即，第二商品列表。该第二商品列表中包括第一商品列表中的全部商品。

步骤104、根据所述商品操作信息和该商品在第二商品列表中的位置信息，确定针对第二商品列表的第二测试结果；

具体的，所述商品操作信息为从历史日志中得到的用户对第一商品列表中商品的操作信息。为了达到对待测试商品排序规则进行测试的目的，本发明实施例假设在测试过程中用户对商品的操作不变，即，假设用户在历史搜索过程中，在基于指定商品排序规则生成的第一商品列表中点击或下单购买了某个商品，则在基于待测试商品排序规则生成的第二商品列表中仍然会点击或下单同一个商品，在这种假设下，用户对第二商品列表中各商品进行的操作将是确定的，但是，第二商品列表中相应商品的位置却发生了改变。而第二测试结果是基于用户对第二商品列表中的商品操作信息及相应商品在第二商品列表中的位置信息来确定的，因此，第二商品列表的测试结果会与第一商品列表的测试结果不同。

步骤105、当所述第一测试结果和第二测试结果满足预设条件时，所述待测试商品排序规则测试通过。

具体的，可以通过对第一测试结果和第二测试结果进行比较来确定第一测试结果和第二测试结果是否满足预设条件。当第一测试结果和第二测试结果满足预设条件时，则确定待测试商品排序规则测试通过，即，确定待测试商品排序规则的排序效果符合要求，可以正式上线该待测试商品排序规则。

综上所述，在本发明实施例一所提供的商品排序规则的测试方法中，首先从历史日志中获取根据指定商品排序规则得到的第一商品列表，并采集用户针对所述第一商品列表的商品操作信息，根据所述商品操作信息确定针对第一商品列表的第一测试结果；然后，根据待测试商品排序规则对第一商品列表中的商品进行重新排序生成第二商品列表，之后，根据从历史日志中获取的用户对第一商品列表中的商品的操作信息和该商品在第二商品列表中的位置信息来确定第二测试结果；最后，当第一测试结果和第二测试结果满足预设条件时，确定待测试商品排序规则测试通过。与现有技术相比，现有方式由于是利用在线实际用户访问流量对排序列表的实际操作结果来确定商品排序规则是否满足需求，为了保证结果的合理测试样本必须满足一定的数量，由于是引流测试，所以需要几天或更长时间的用户行为数据来保证测试样本数量，而本发明测试过程是在线下利用指定商品排序规则在使用过程中的历史日志数据，避免了现有技术采用在线引流测试导致的样本数量的限制，因此无需花费几天甚至更长时间来获取样本数量，大大减少了测试周期。其次，本发明实施例测试过程中对日志数据的处理、测试，可完全按照预先设定的步骤由系统自动完成，整个过程无需依靠用户的观察结果，避免了人工介入而导致的时间迟滞，因此，相对于现有技术进大大减少了测试时间、提高了测试效率。

另一方面，本发明实施例是从历史日志中获取用户对第一商品列表的商品操作信息来确定第一测试结果和第二测试结果，由于不受在线时间影响，因此可获取任意时间段内、任意数量的历史日志数据进行测试，由于测试样本数量足够多，与现有技术只能在线获取几天内通过引流方式获取的有限的用户数据相比，本发明实施例可大大提高测试结果的准确性。

方法实施例二

参照图2，示出了本发明的一种商品排序规则的测试方法实施例的步骤流程图，具体可以包括：

步骤201、从历史日志中获取根据指定商品排序规则得到的第一商品列表，并采集用户针对所述第一商品列表的商品操作信息；

其中，第一商品列表可以以一张具体的数据表的形式预先存储于历史日志中，该具体数据表与指定商品排序规则相关联，当需要获取第一商品列表时，只需要到历史日志中获取即可；也可以通过历史日志中存储的用户针对第一商品列表的商品操作信息来恢复出该第一商品列表，具体的，用户针对第一商品列表的商品操作信息包括：用户执行的操作、操作所针对的商品标识信息及商品的位置信息，则根据以上信息可以确定出每个商品的位置，则可恢复出第一商品列表。

当指定商品排序规则在线运行期间，不同用户在发起相同的搜索请求时，平台会向不同用户返回按照该指定商品排序规则得到的第一商品列表。而这些用户可以对第一商品列表进行浏览并进行点击、下单等操作，这时，会记录用户的操作行为并存储在历史日志中。具体的，首先记录每一个用户的搜索请求，为搜索请求打上请求标识，该请求标识与所述指定商品排序规则下产生的第一商品列表唯一对应，同时，历史日志中还会记录与相应搜索请求相对应的用户对所述第一商品列表执行的商品操作信息，包括：如点击、下单等操作的标识信息，以及相应操作所针对的商品的商品标识，还包括商品的位置信息。这种情况下，可以通过以下方式采集用户针对所述第一商品列表的商品操作信息：

查找所有与指定商品排序规则下产生的第一商品列表相对应的请求标识及其对应的搜索请求；

提取与查找到的搜索请求相对应的用户历史行为信息；

从所述用户历史行为信息中提取用户针对所述第一商品列表的商品操作信息。

步骤202、根据所述商品操作信息确定针对第一商品列表的第一测试结果；

具体的，根据商品操作信息可以统计出第一商品列表中每个商品的位置及商品被点击的次数、被下单的次数，基于这些统计信息可以确定针对第一商品列表的第一测试结果，该测试结果可以反映出第一商品列表的效果优劣，也就能够反映出指定商品排序规则的效果优劣。

步骤203、根据待测试商品排序规则对第一商品列表中各商品进行重新排序生成第二商品列表；

具体的，所述待测试商品排序规则至少可以包括以下几种规则中的一个或多个：

规则1：针对所述根据指定商品排序规则得到的第一商品列表，将分值大于预设阈值的商品的排列顺序上调n位，将小于预设阈值的商品的排列顺序下调m位，其中，m、n为正整数。

其中，分值可以基于特定规则来确定，该商品分值用于对商品整体进行评估，实际实现中，为了达到不同的目的，可以根据实际需要来设定规则，求得商品的分值。例如，当希望通过商品的访购率作为评测标准时，可以确定不同商品的访购率，并确定不同大小访购率所对应的得分，则具有不同访购率的商品会对应不同的得分，该得分即为不同商品的分值，举例来说，假设预先设定以下用于确定商品分值的规则：访购率大于等于80％的商品得分为5、访购率大于等于60％且小于80％的商品得分为4，访购率大于等于40％且小于60％的商品得分为3，访购率大于等于20％且小于40％的商品得分为2，访购率小于20％的商品得分为1，则当商品1的访购率为78％时，其分值为4，当商品2的访购率为43％时，其分值为3。当然也可以以其它方式如点击率、下单率等其它指标作为商品分值的评测标准，或者，也可以根据需要设定其它确定商品分值的规则，这里，不作限制。

规则2：针对所述根据指定商品排序规则得到的第一商品列表，确定所有商品的分值的平均值，将分值大于所述平均值K倍的商品的排列顺序上调x位，将分值小于所述平均值P倍的商品的排列顺序下调y位，其中，所述K、P、x、y均为正整数；

规则3：针对所述根据指定商品排序规则得到的第一商品列表，按照商品的分值从大到小对第一商品列表中的商品进行排序得到第三商品列表，并确定所述第三商品列表中每个商品与其后一位商品的分值差；

针对所述第三商品列表从上往下依次判断，将第一个与后一位商品的分值差大于第五预设阈值所对应的商品确定为第一目标商品；

将上述第三商品列表中的第一目标商品及位于所述第一目标商品之上，并且分值大于第六预设阈值的商品确定为第一待调整商品；将位于所述第一目标商品之下，并且分值小于第七预设阈值的商品确定为第二待调整商品；

按照所述第一待调整商品在第三商品列表中的排列顺序从上往下依次选择商品，并分别将所述选择的第一待调整商品在所述第一商品列表中对应的位置上调a位；

按照所述第二待调整商品在第三商品列表中的排列顺序从下往上依次选择商品，并分别将所述选择的第二待调整商品在所述第一商品列表中对应的位置下调b位；

其中，a、b为正整数。

上述方案中，所述商品的分值可以基于特定规则来确定，该商品分值用于对商品整体进行评估，实际实现中，为了达到不同的目的，可以根据实际需要来设定规则，求得商品的分值。

具体的，在对第一待调整商品进行排列顺序的上调操作时，按照第一待调整商品在第三商品列表中对应的排列顺序从上往下(分值从大到小)依次选择第一待调整商品，然后对该商品在第一商品列表中的位置进行上调；在对第二待调整商品进行排列顺序的下调操作时，按照第二待调整商品在第三商品列表中对应的排列顺序从下往上(分值从小到大)依次选择第二待调整商品，然后分别对该选择的商品在第一商品列表中的位置进行下调。

举例来说：

首先，假设第一商品列表中位于第一位(表示为L+1，L为大于0的整数)至第五位(表示为L+5)的商品及其分值示例如表1-1所示：

表1-1

具体的，表1-1所示的第一商品列表在具体实现时，可采用链表的结构进行存储，即，所述表1-1中每个存储单元之间并非必须是连续的，并且存储单元的前后还设置有可用于进一步存储的空间。

其次，按照商品分值由大到小对表1-1(第一商品列表)排列后得到第三商品列表，该第三商品列表中的商品顺序如表3所示：

序号	商品	分值	分值差
				L-1	......	/	/
L	......	/	/
				L+1	西瓜	6.1	0.4
L+2	香蕉	5.7	2.2
				L+3	苹果	3.5	1.0
L+4	橙子	2.5	0.7
				L+5	葡萄	1.8	/
L+6	......
				……	......

表3

其中，确定每一个商品与其后一位商品的分值差，具体的，西瓜和香蕉的分值差为6.1-5.7＝0.4；香蕉和苹果的分值差为5.7-3.5＝2.2，依次类推，即可求取每一个商品与其后一位商品的分值差，参见表3。假设第五预设阈值为0.9，第六预设阈值为3.4，第七预设阈值为3.0，a＝2，b＝2。针对第三商品列表，从上往下依次判断，将第一个分值差大于0.9的商品确定为第一目标商品。

具体来说，将表3中第一个分值差大于第五预设阈值0.9的商品香蕉确定为第一目标商品，将第三商品列表中的香蕉及排在香蕉之上的商品中分值大于第六预设阈值3.4的商品确定为第一待调整商品，即将香蕉5.7和西瓜6.1确定为第一待调整商品；将排在香蕉之下的商品中分值小于第七预设阈值3.0的商品确定为第二待调整商品，即，葡萄1.8和橙子2.5；之后，将上述第一待调整商品在第一商品列表(表1-1)中的位置分别上调2位，将第二待调整商品在第一商品列表(表1-1)中的位置下调2位，其具体调整过程如下：

第一步：根据表3中第一待调整商品的排列顺序从上往下依次选择商品进行加权调整(位置上调)，即，首先调整西瓜，然后调整香蕉。参见表1-1，将表1-1中西瓜(第L+5位)的位置上调2位至第L+3位，原第L+3位上的橙子和原第L+4位上的葡萄自动下降一位；将表1-1中香蕉(第L+2位)的位置上调2位至第L位，第L+2位置空；调整后的结果如表1-2所示：

序号	商品	分值
			L-1	......
L	香蕉	5.7
			L+1	苹果	3.5
L+2	/	/
			L+3	西瓜	6.1
L+4	橙子	2.5
			L+5	葡萄	1.8
L+6	......
			……	......

表1-2

第二步：根据表3中第二待调整商品的排列顺序从下往上依次选择商品进行减权调整(位置下调)，即，首先调整葡萄，然后调整橙子。参见表1-2，首先，将葡萄的位置(第L+5)下调两位至第L+7位；原第L+4位的橙子下调2位变为第L+6位；调整后产生列表如表1-3所示：

序号	商品	分值
			L-1	......
L	香蕉	5.7
			L+1	苹果	3.5
L+2	/	/
			L+3	西瓜	6.1
L+4	/	/
			L+5	/	/
L+6	橙子	2.5
			L+7	葡萄	1.8

表1-3第四步：针对表1-3中从上往下依次读取商品，得到所述待测试排序规则所对应的商品列表如表1-4所示：

位置	商品
		1	香蕉
2	苹果
		3	西瓜
4	橙子
		5	葡萄

表1-4

因此，所述表1-4即第二商品列表。

进一步的，所述待测试商品排序规则还可以包括排序模型，这里的排序模型是指根据一定算法设计出的模型，该模型用于对第一商品列表进行排序。因此，可以直接通过该排序模型对第一商品列表中的商品进行排序，从而生成第二商品列表。

步骤204、根据所述商品操作信息和该商品在第二商品列表中的位置信息，确定针对第二商品列表的第二测试结果。

其中，所述第一测试结果或第二测试结果包括下述指标中的一个或者多个：平均下单位置、平均点击位置、逆序数、列表中前预设位商品的访购率；

这里的商品操作信息仍然是指从历史日志中获取的、用户对第一商品列表中商品的商品操作信息，这里，假设在不同的商品列表下，用户对商品的操作不变，即，用户在第一商品列表中对哪些商品进行了哪些操作，则假设用户在第二商品列表中对相同的商品仍进行相同的操作，但是，不同商品列表中，商品的位置已经发生了变化，因此，基于商品操作信息所确定的第一测试结果和第二测试结果也会发生变化。

具体的，第一测试结果或第二测试结果可以通过以下方式确定：

平均下单位置＝下单位置之和÷点击次数之和；

平均点击位置＝点击位置之和÷点击次数之和；

逆序数的计算方式为：在第一商品列表或第二商品列表中取两个商品，如果在一个用户请求中没有被点击的商品排在被点击的商品之前，则逆序数加一；

列表中前预设位商品的访购率＝列表中前预设位商品的下单用户总数÷列表中前预设位商品的点击用户总数。

具体的，根据商品操作信息可以统计出第二商品列表中每个商品对应的被点击的次数、被下单的次数，然后，根据商品在第二商品列表中的位置，以及上述被点击次数、被下单次数计算不同的测试指标得到针对第二商品列表的第二测试结果，该第二测试结果可以反映出第二商品列表的效果优劣，也就能够反映出指定商品排序规则的效果优劣。

下面通过一个具体示例对第一测试结果和第二测试结果的确定过程进行详细说明：

假设通过指定商品排序规则生成的第一商品列表如下表所示：

表4

历史日志中，用户针对第一商品列表的商品操作信息，统计如下：

A商品：点击10次、下单2次，点击用户数为8，下单用户数为2

B商品：点击50次，下单20次，点击用户数为30，下单用户数为20

C商品：点击40次，下单18次，点击用户数为35，下单用户数为18

D商品：点击35次，下单15次，点击用户数为30，下单用户数为15

E商品：点击20次，下单10次，点击用户数为12，下单用户数为10

假设通过待测试商品排序规则生成的第二商品列表如下表所示：

商品名称	位置
		B商品	1
C商品	2
		D商品	3
E商品	4
		A商品	5

表2

则，针对第一商品列表的第一测试结果如下：

平均下单位置＝(2×1+20×2+18×3+15×4+10×5)÷(10+50+40+35+20)＝1.329；

平均点击位置＝(10×1+50×2+40×3+35×4+20×5)÷(10+50+40+35+20)＝3.032；

列表中前3位商品的访购率＝(2+20+18)÷(8+30+35)＝0.548

逆序数的具体计算方式这里不作详解，假设逆序数为85。

针对第二商品列表的第二测试结果如下：

平均下单位置＝(2×5+20×1+18×2+15×3+10×4)÷(10+50+40+35+20)＝0.974；

平均点击位置＝(10×5+50×1+40×2+35×3+20×4)÷(10+50+40+35+20)＝2.355；

列表中前3位商品的访购率＝(20+18+15)÷(30+35+30)＝0.558

假设逆序数为55。

步骤205、当所述第一测试结果和第二测试结果满足预设条件时，所述待测试商品排序规则测试通过。

具体的，满足以下预设条件时确定待测试商品排序规则测试通过：

所述第二测试结果中的平均下单位置减去第一测试结果中的平均下单位置得到的差值小于第一预设阈值；

和或，第二测试结果中的平均点击位置减去第一测试结果中的平均点击位置得到的差值小于第二预设阈值；

和/或，第二测试结果中的逆序数减去第一测试结果中的逆序数得到的差值小于第三预设阈值；

和/或，第二测试结果中的“列表中前预设位商品的访购率”减去第一测试结果中的“列表中前预设位商品的访购率”得到的差值大于第四预设阈值。

具体实现时，可以将第一预设阈值、第二预设阈值、第三预设阈值及第四预设阈值为0，当然，也可以根据实际需要对上述第一预设阈值、第二预设阈值、第三预设阈值及第四预设阈值进行设置和调整。

当第一测试结果和第二测试结果满足上述预设条件中的一个或多个时，则待测试商品排序规则测试通过。具体实现时，可根据实际需要确定满足上述哪个条件，本发明实施例对此不作限制。

在本发明的一种优选实施例中，当所述第一测试结果和第二测试结果不满足预设条件时，所述方法还包括：

对所述待测试商品排序规则中的参数进行调整，生成新的待测试商品排序规则。

具体的，针对上述规则1，调整n、m的取值，使所述第一测试结果和第二测试结果满足预设条件；

针对上述规则2，调整K、x、P、y的取值，使所述第一测试结果和第二测试结果满足预设条件；

针对上述规则3，调整a、b的取值，使所述第一测试结果和第二测试结果满足预设条件。

可见，在本发明实施例二所提供的商品排序规则的测试方法对第一测试结果或第二测试结果的内容进行了进一步说明，具体的，第一测试结果或第二测试结果包括：所述第一测试结果或第二测试结果包括下述指标中的一个或者多个：平均下单位置、平均点击位置、逆序数、列表中前预设位商品的访购率。该方法能够以用户在第一商品列表下的操作效果来模拟用户在第二商品列表下的操作效果，从而确定具体的测试结果，测试结果中的指标均跟用户对第一商品列表或第二商品列表中的商品操作信息和商品的具体位置相关，为待测试商品排序规则是否通过测试，从而正式上线，提供了有效依据。另外，基于上述技术方案，本发明引入了新的用于评价测试效果的指标，包括：平均下单位置、平均点击位置、逆序数、列表中前预设位商品的访购率。相较于现有技术中采用线上小流量进行测试时的评价指标，本发明实施例所提出的这些指标更能科学反应商品排序规则的排序效果。这是因为，现有技术中，仅使用用户对商品的访购率、下单率来作为评价指标评估一种商品排序规则的效果，但是，这种方法仅能简单的查看几个关键商品的访购率和下单率是否满足需要，其评价结果受人为主观想法影响较大，不能全面、科学反映商品列表的整体排序效果；与之不同的是，本发明实施例所提供的评价指标均用于评价商品列表的整体排序效果，因此，能够对商品排序规则进行科学、有效的测试和评价。

装置实施例

参照图3，示出了本发明一种商品排序规则的测试装置实施例的结构框图，所述装置包括：获取模块31、采集模块32、第一确定模块33、排序模块34、第二确定模块35及第三确定模块36；其中，

所述获取模块31，用于从历史日志中获取根据指定商品排序规则得到的第一商品列表；

所述采集模块32，用于从历史日志中采集用户针对所述第一商品列表的商品操作信息；

所述第一确定模块33，用于根据所述商品操作信息确定针对第一商品列表的第一测试结果；

所述排序模块34，用于根据待测试商品排序规则对第一商品列表中各商品进行重新排序生成第二商品列表；

所述第二确定模块35，用于根据所述商品操作信息和该商品在第二商品列表中的位置信息，确定针对第二商品列表的第二测试结果；

所述第三确定模块36，用于在确定所述第一测试结果和第二测试结果满足预设条件时，确定所述待测试商品排序规则测试通过。

具体的，所述第一测试结果或第二测试结果包括下述指标中的一个或者多个：

平均下单位置、平均点击位置、逆序数、列表中前预设位商品的访购率。

具体的，所述预设条件为：

具体的，所述待测试商品排序规则具体包括：针对所述根据指定商品排序规则得到的第一商品列表，将分值大于预设阈值的商品的排列顺序上调n位，将小于预设阈值的商品的排列顺序下调m位，其中，m、n为正整数；或者，

所述待测试商品排序规则具体包括：针对所述根据指定商品排序规则得到的第一商品列表，确定所有商品的分值的平均值，将分值大于所述平均值K倍的商品的排列顺序上调x位，将分值小于所述平均值P倍的商品的排列顺序下调y倍，其中，所述K、P、x、y均为正整数；或者，

所述待测试商品排序规则具体包括：针对所述根据指定商品排序规则得到的第一商品列表，按照商品的分值从大到小对第一商品列表中的商品进行排序得到第三商品列表，并确定所述第三商品列表中每个商品与其后一位商品的分值差；

将所述第三商品列表中所述第一目标商品及位于所述第一目标商品之上，并且分值大于第六预设阈值的商品确定为第一待调整商品；将位于所述第一目标商品之下，并且分值小于第七预设阈值的商品确定为第二待调整商品；

其中，a、b为正整数。具体的，所述商品的分值可以基于特定规则来确定，该商品分值用于对商品整体进行评估，实际实现中，为了达到不同的目的，可以根据实际需要来设定规则，求得商品的分值。

具体的，在对第一待调整商品进行排列顺序的上调操作时，需要按照商品分值从大到小的顺序依次调整；在对第二待调整商品进行排列顺序的下调操作时，需要按照商品分值从小到大依次调整。

在本发明的一种优选实施例中，如图4所示，所述装置还包括：调整模块37，用于在第三确定模块确定所述第一测试结果和第二测试结果不满足预设条件时，对所述待测试商品排序规则中的参数进行调整，生成新的待测试商品排序规则。

在具体实施过程中，上述获取模块31、采集模块32、第一确定模块33、排序模块34、第二确定模块35及第三确定模块36均可以由商品排序规则的测试装置内的中央处理器(CPU，Central Processing Unit)、微处理器(MPU，Micro Processing Unit)、数字信号处理器(DSP，Digital Signal Processor)或可编程逻辑阵列(FPGA，Field－ProgrammableGate Array)至少其中之一来实现。

对于装置实施实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

应用实施例

下面通过一个具体示例对本发明实施例提供的商品排序规则的测试方法进行详细说明：

步骤401、从历史日志中获取根据指定商品排序规则得到的第一商品列表，并采集用户针对所述第一商品列表的商品操作信息；

假设从历史日志中获取根据指定商品排序规则得到的第一商品列表如方法实施例二中表1所示；

为了方便起见，不对历史日志中用户针对所述第一商品列表的商品操作信息进行一一列举，假设对所有商品操作信息，进行统计分析后的结果如下：

A商品：点击10次、下单2次，点击用户数为8，下单用户数为2

步骤402、根据所述商品操作信息确定针对第一商品列表的第一测试结果；

假设，第一测试结果为平均下单位置，则根据所述商品操作信息所确定的针对第一商品列表的平均下单位置如下：

平均下单位置＝(2×1+20×2+18×3+15×4+10×5)÷(10+50+40+35+20)＝1.329。

步骤403、根据待测试商品排序规则对第一商品列表中各商品进行重新排序生成第二商品列表；

假设通过待测试商品排序规则生成的第二商品列表如方法实施例二中表2所示。

步骤404、根据所述商品操作信息和该商品在第二商品列表中的位置信息，确定针对第二商品列表的第二测试结果；

具体的，根据所述商品操作信息和该商品在第二商品列表中的位置信息，所确定的针对第二商品列表的平均下单位置如下：：

步骤405、当所述第一测试结果和第二测试结果满足预设条件时，所述待测试商品排序规则测试通过；

假设预设条件为：第二测试结果中的平均下单位置小于第一测试结果的平均下单位置，则通过比较确定第二商品列表的平均下单位置小于第一商品列表的平均下单位置，因此，确定待测试商品排序规则测试通过，则可以正式上线所述待测试商品排序规则。

步骤406、当所述第一测试结果和第二测试结果不满足预设条件时，对待测试规则中的参数进行调整得到新的待测试商品排序规则，并根据该新的待测试商品排序规则重新执行步骤403-步骤406，直到待测试商品排序规则测试通过。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、系统、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种商品排序规则的测试方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，根据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种商品排序规则的测试方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述第一测试结果或第二测试结果包括下述指标中的一个或者多个：

3.根据权利要求2所述的方法，其特征在于，所述预设条件为：

4.根据权利要求1所述的方法，其特征在于，

所述待测试商品排序规则具体包括：针对所述根据指定商品排序规则得到的第一商品列表，将分值大于预设阈值的商品的排列顺序上调n位，将小于预设阈值的商品的排列顺序下调m位，其中，m、n为正整数。

5.根据权利要求1所述的方法，其特征在于，

所述待测试商品排序规则具体包括：针对所述根据指定商品排序规则得到的第一商品列表，确定所有商品的分值的平均值，将分值大于所述平均值K倍的商品的排列顺序上调x位，将分值小于所述平均值P倍的商品的排列顺序下调y位，其中，所述K、P、x、y均为正整数。

6.根据权利要求1所述的方法，其特征在于，

所述待测试商品排序规则具体包括：

针对所述根据指定商品排序规则得到的第一商品列表，按照商品的分值从大到小对第一商品列表中的商品进行排序得到第三商品列表，并确定所述第三商品列表中每个商品与其后一位商品的分值差；

其中，a、b为正整数。

7.根据权利要求4、5或6所述的方法，其特征在于，当所述第一测试结果和第二测试结果不满足预设条件时，所述方法还包括：

8.一种商品排序规则的测试装置，其特征在于，所述装置包括：获取模块、采集模块、第一确定模块、排序模块、第二确定模块及第三确定模块；其中，

9.根据权利要求8所述的装置，其特征在于，所述第一测试结果或第二测试结果包括下述指标中的一个或者多个：

10.根据权利要求9所述的装置，其特征在于，所述预设条件为：

11.根据权利要求8所述的装置，其特征在于，

12.根据权利要求8所述的装置，其特征在于，

所述待测试商品排序规则具体包括：针对所述根据指定商品排序规则得到的第一商品列表，确定所有商品的分值的平均值，将分值大于所述平均值K倍的商品的排列顺序上调x位，将分值小于所述平均值P倍的商品的排列顺序下调y倍，其中，所述K、P、x、y均为正整数。

13.根据权利要求8所述的装置，其特征在于，

所述待测试商品排序规则具体包括：

其中，a、b为正整数。

14.根据权利要求11、12或13所述的方法，其特征在于，所述装置还包括：调整模块，用于在第三确定模块确定所述第一测试结果和第二测试结果不满足预设条件时，对所述待测试商品排序规则中的参数进行调整，生成新的待测试商品排序规则。