CN108573408A - 一种最大化利益的热门商品榜单制定方法 - Google Patents

Abstract

一种最大化利益的热门商品榜单制定方法，包括：步骤1.数据预处理；步骤2.潜在热门上榜商品集的筛选；步骤3.潜在热门商品集的重排序并制定榜单。本发明通过对商品历史特征的分析，而不是简单累加，预测出未来的热门商品榜单，使得该榜单上的商品在第二天的总浏览量达到最高。通过对榜单的准确预测，增加在榜单上物品的总点击量，以此来提升榜单的收益。

Description

一种最大化利益的热门商品榜单制定方法

技术领域

本发明设计一种最大化利益的热门商品榜单制定方法，属于移动互联网电子商务信息检索与处理技术领域。

背景技术

随着互联网的飞速发展和大数据时代的来临，“数据爆炸”已经是所有用户无法避免的问题。面对琳琅满目的种类和商品，用户很难从中挑选出自己满意的商品。为了解决这个问题，各大应用软件推出了排行榜功能，希望为所有用户群体提供一个方便获取热门信息的入口。拥有这样一个准确推荐的热门物品排行榜单，对于用户和运营商来说都是十分重要的。从用户角度考虑，良好的推荐榜单可以帮助用户很快地从大量物品信息中筛选出用户可能感兴趣的物品，降低了用户查询热门和喜好物品的时间。因此，一个良好的物品推荐榜单服务可以有效地帮助用户提升软件的使用体验。另一方面，从运营商角度考虑，热门物品推荐榜单的精确制订，不仅可以提升运营商的收益(例如每一次热门推荐榜单上物品的点击，就给运营商增加了一次广告的收益)，还可以提升软件的用户粘性，例如当用户在一款阅读软件中刚好完整地阅读完一本电子书，并正在寻找新的符合他喜好的书籍，如果没有及时准确的热门书籍推荐榜单，那么该阅读软件就就很可能会丢失这个用户。

传统的物品排行榜单制订，往往只是基于历史数据进行简单的统计。在制订热门榜单时，物品浏览量常常被认为是最重要的排序指标。通过对物品历史浏览量的统计，对物品进行了一个排序，制订出排行榜单推荐给应用软件日后使用的用户。当然，也有一些排行榜会根据其它的指标对物品的排序进行修整以此来使物品推荐排行榜更加准确，例如物品的上架时间(对新老物品上榜的修整)、物品的流览人数等等。如果随着评级指标和物品量不断地增多，用传统的方法对排行榜进行定制，就会变得非常复杂和耗时。另外，传统的榜单制定方法还有一个很大的缺点：因为传统榜单是基于历史数据的简单统计，所以实际上这样的结果只是反映物品历史热门情况，而无法反映物品在未来时刻的热门情况。这就导致传统热门榜单上的物品实际上并不是在未来会受用户喜欢的TopK商品。

热门商品榜单的制定可以抽象成一个排序任务，即以商品的历史特征作为依据，对商品进行排序。目前在工业界，排序算法在搜索引擎领域已被广泛研究，但是它们并不适用于热门商品榜单制定的场景。在搜索引擎领域，为了返回与用户查询最相关的网页，用户需要输入一些关键字。而在榜单推荐场景中，没有用户输入的关键字作为搜索依据，所以这些常见的搜索排序算法都不能被直接应用于热门推荐排行榜单的制订。在学术界，目前已有一些关于论坛热门问题的排序研究。他们主要通过对问题和回答的历史数据的研究，将用户的行为数据(例如用户对回答的点赞和浏览行为等)也加入到论坛热门问题排行榜的定制过程中，以此来提升排行榜推荐的效果。但是在这些方法中也存在着不足之处，这些排序的结果都是对过去热门的一种展现，并不是对未来可能热门物品的预测。对老旧的热门物品一再推荐，会导致这些旧的物品一直霸占着排行榜，而新上架的热门物品难以上榜的问题。因为老的热门商品累积的浏览量等指标上会远远高于新的热门物品。

因此，如何根据商品历史行为信息来制定一个考虑商品未来的热门程度，从而为运营商制订一个浏览总量最高的热门商品榜单服务仍是一个亟需解决的技术难题。

发明内容

本发明要克服现有技术的缺点，提出一种最大化利益的热门商品榜单制定方法，本发明从商家的利益出发，旨在制定一个商品榜单，使该榜单上的商品在第二天的总浏览量是最高的，从而最大化商家收益。为了实现这样的目的，本发明方法需要准确预测出第二天最受欢迎的TopK件商品并排序，作为上榜商品。最终预测得到的榜单应该具有如下特点：(1)榜单上的商品在第二天的点击量服从从多到少的顺序(2)榜单上商品的在第二天真实的点击量总和是所有商品中最高的。

本发明通过对商品的历史数据进行分析，挖掘出商品隐性特征以及变化趋势，从而更好地预测商品在第二天的点击量情况，制定热门榜单。本发明主要分为三个步骤，分别是：1)数据预处理；2)潜在热门上榜商品集的筛选；3)潜在热门商品集的重排序并制定榜单。

一种最大化利益的热门商品榜单制定方法，包括如下步骤：

步骤1.数据预处理；

以天为时间粒度，将历史数据按照天为间隔进行划分，然后提取能够反映物品热门程度的各种特征，最终总结为三大类特征：统计类特征、转换类特征和比值类特征。在异常数据清洗方面，使用帕累托法则对特征数据进行清洗。最后把商品在第二天是否上榜的信息作为标签数据，与之前提取的特征数据组合成最终的训练数据集。

提取的三大类特征具体说明如下：

统计类特征：加入购物车次数、从购物车删除次数、购买次数、浏览量、浏览人数、浏览时长、加入购物车人数、从购物车删除人数、购买人数。

转化率类特征：浏览量/浏览人数、浏览时长/浏览人数、加入购物车人数/浏览人数、从购物车删除人数/浏览人数、购买人数/浏览人数。

比值类特征：返客率(一周内反复看的人数/总阅读人数)、老客户率(一天前看过且一天内又看的人数/一天内看的人数)、跳出率(一周内只对书籍进行一次阅读行为的人数/总人数)、活跃度(一周内对书籍有过3次阅读行为的人数/总人数)。

步骤2.潜在热门上榜商品集的筛选；

本发明设计了基于时间衰减的随机森林分类模型(TRRF,Time-Decay RandomForest model)对商品的特征数据进行学习和预测，为每个商品计算第二天上榜的概率，记为X_Trust(上榜置信度)。然后通过设置阈值的策略，将X_Trust过低的商品(即肯定不会上榜的商品)过滤。经过这一方法，可以从海量的商品集合中筛选出较小的商品集合作为潜在热门上榜商品。

将随机森林与时间衰减函数相结合，用于潜在热门上榜商品集的分类筛选。引入的时间衰减函数如下：

公式中t表示使用的训练数模型距离预测日期的天数之差，α是一个参数，用来控制衰减速度。通过时间衰减函数，能够惩罚较旧的训练数据得到的X_Trust值，从而更加合理地预测热门榜单。

步骤3.潜在热门商品集的重排序并制定榜单；

用基于行为数据的重排序模型(BBRR,Behavior Based Re-Ranking model)将物品的历史数据与X_Trust相结合，对候选集中的物品计算排序分数，最终根据排序分数进行重排序，快速且准确的得到最终的热门商品预测排行榜单。在重排序的过程中，结合商品前一天的浏览量P_v、浏览人数U_v以及书本在前一天的排行情况LRS，还结合了商品的时间属性，如：商品发布到目前的天数Ad，商品最近被浏览到目前的天数Ld。具体的计算方式如下所示：

本发明通过对商品历史特征的分析，而不是简单累加，预测出未来的热门商品榜单，使得该榜单上的商品在第二天的总浏览量达到最高。通过对榜单的准确预测，增加在榜单上物品的总点击量，以此来提升榜单的收益。

本发明的优点是：

1)热门商品榜单预测准确率高，提升商家收益。根据对商品历史信息的统计和挖掘，不仅考虑了历史浏览量较高的商品，而且还考虑了最近较为热门的商品，保证了榜单的上商品的新鲜度。

2)不需要对商品历史所有的信息全部重新进行计算，支持增量式地计算，可以根据每天新来的特征信息都会新建立一个模型，用于预测第二天的热门榜单。

附图说明

图1为本发明一种最大化收益的热门商品榜单制定算法流程图

图2为第一阶段商品数据的特征工程过程图

图3为训练数据的形成示意图

图4为第二阶段TRRF模型训练过程图

图5为衰减函数示意图

图6为TRRF模型形成示意图

图7为第三阶段商品重排序过程图

具体实施方式

下面结合附图，进一步说明本发明方法。

本发明的目的是提供一种最大化收益的热门商品榜单制订算法，能根据商品的历史信息和历史热门程度来对商品未来的热门程度进行预测并排序，从而为热门商品榜单的制订提供了更精确的预测服务。

为了达到上述目的，本发明设计了一种最大化收益的热门商品榜单制定方法，具体流程如图1所示：

步骤一、训练数据的产生。根据商品第i-1天的行为数据，提取统计类、转换率类和比值类三大类特征集，通过帕累托法则的清洗，得到训练特征数据集，然后再根据第i天的上榜数据，提取特征数据集的标签(Label)，形成每日的训练数据。

步骤二、潜在热门上榜商品集的筛选。发明了TRRF分类模型，将时间衰减的概念引入随机森林分类模型中，为商品的热门程度根据时间的变化进行衰减。根据此分类模型，从海量商品中筛选出小样本的潜在有概率上未来热门商品榜单的商品集合。

步骤三、小样本商品集的重排序，制定榜单。发明了BBRR排序模型，根据商品的发布日期和最近热门日期，并结合商品前一天的浏览量、浏览人数和排名等信息对商品的排序进行重排序。在重排序的过程中，也用到了步骤二中的结果X_Trust。

图2展现了第一阶段商品训练数据产生的过程图。

在实际的应用场景中，实际得到的数据往往是后台日志数据。在这些数据中，记录了用户对商品的行为信息，我们需要从第i-1天的信息中提取商品特征，对商品进行训练数据的特征数据提取。

根据用户每一天对商品最常见的几个行为：点击浏览、加入购物车、删除购物车、购买，对商品的特征进行提取。

由于点击浏览这一项用户行为是十分频繁的，在计算商品浏览时长时往往会夹杂着各类异常数据，例如爬虫导致的快速开启快速关闭、用户由于一些事情导致页面停留时间过长等。因此需要根据帕累托法则(二八法则)对存在的异常数据进行清洗。去除浏览时长过长和过短的数据，提升数据的准确性。

然后对商品的训练数据集提取了三大类特征信息，如下所示。

统计类特征：加入购物车次数、从购物车删除次数、购买次数、浏览量、浏览人数、浏览时长、加入购物车人数、从购物车删除人数、购买人数

转换率类特征：浏览量/浏览人数、浏览时长/浏览人数、加入购物车人数/浏览人数、从购物车删除人数/浏览人数、购买人数/浏览人数

比值类特征：返客率(一周内反复浏览的人数/总浏览人数)、老客户率(一天前看过且一天内又看的人数/一天内看的人数)、跳出率(一周内只对商品进行一次浏览行为的人数/总人数)、活跃度(一周内对商品有过3次浏览行为的人数/总人数)

然后根据第i天商品是否在TopK热门商品榜单上，为商品加上是否(1上榜、0未上榜)上榜的Label标签，得到某一组建模的训练数据。以这样方式，每天都可以形成一组新的训练数据用于当天的模型建模。训练数据的过程如图3所示。

在实际的商品热门排行榜单定制场景中，会有成千上万的物品等待着排序，为了避免对海量的全体商品进行排序，设计了一个基于时间衰减的随机森林分类模型对商品进行分类，将商品分成潜在上榜和不可能上榜两大类。

图4为第二阶段TRRF模型训练过程图。根据已经划分好的历史数据，为每一天训练一个随机森林模型。当需要预测某一天的热门榜单时，我们利用前一天的数据分别投入到前三天的训练模型(分别为Model(i)、Model(i-1)和Model(i-2)进行训练，每个模型都会得到一个结果。

然后引入衰减函数，计算各自模型的权重。根据有Sigmod函数变形而来的凸函数式衰减函数：

公式(3)中，t表示使用的训练模型距离预测日期的天数之差。例如我们需要预测7月13日的潜在上榜商品，当我们用的7月11号的模型进行训练时，间隔天数为2，t就等于2。式中的α用于控制衰减变化的快慢，α值越大代表函数在刚开始的时候衰减的越快，在曲线的表现形式上来说即更加陡峭。衰减函数的示意图如图5所示。

DecayFunc的值代表了经过时间衰减后某一项特征的重要性所占原始值的比重，例如某件商品原本的上榜单概率为1，在不考虑后续这个商品的上榜概率情况下，经过了2天的时间衰减以后，代入公式(3)中(α取值为1)，上榜概率值变成了0.24。

然后将第i天的数据集Di输入到每一天都产生的随机森林模型中(model_i,model_i-1…)，这样就会产生一组在[0,1]之间的分类概率值{c1,c2…ci}，然后结合时间衰减的方式，将这一组分类概率值进行衰减。{w1,w2…wi}是一组由衰减函数计算转换得到的权重值，表示所对应的那个分类概率值所占的比重，如果我们预测第i+1天的排行榜情况，那么wi就代表第i天的分类概率值ci所占的比重。图6展现了TRRF模型形成示意图。

X_Trust(c,w)＝w₁c₁+w₂c₂+…+w_ic_i (4)

公式4展示了最终分类概率值的计算方式。其中{c1,c2…ci}是将第i天的数据集Di输入到每一天都产生的随机森林模型后训练得到的概率值，{w1,w2…wi}为对应的权重值。由于X_Trust(c,w)是一个概率值，为了保证它的合理，我们需要将它的数值范围在[0,1]之间。对于潜在上榜商品的分类，本文会为X_Trust设置一个阈值θ(范围在(0，1)之间)，当X_Trust大于θ时，则将这件商品分为潜在热门上榜商品类别中。由于分类概率值{c1,c2…ci}的值域是在[0,1]之间的，因此只需要保证{w1,w2…wi}之和为1即可。所以我们要对衰减函数DecayFunc得到的值进行归一化，如公式5所示。公式5中DecayFunc(i)每一天的衰减值，表示所有衰减值的累加和。例如，衰减函数DecayFunc得到的需要预测排行榜前1至3天的衰减值分别是0.54，0.24，0.1，然后带入公式5以后就得到wi,wi-1,wi-2分别是0.61，0.27，0.12。

最后，进入第三阶段：小样本商品集的重排序，制定榜单。第三阶段商品重排序过程图如图7所示。基于第二阶段产生的分类结果，得到潜在上榜商品的小样本和它们所对应的X_Trust值。结合商品前一天了浏览量、浏览人数和排名等信息对商品的排序进行重排序。如公式(6)所示，还对商品上架时间和最近一次热门时间的信息一并加入进行考虑。

在公式6中，RankScore是根据商品的历史行为数据信息得到的一个热度积分，代表了每一件商品未来的一个热门情况，数值越大表示这件商品的受欢迎程度就越高。其中各个变量的含义如下：

●Pv代表物品的浏览量

●Uv代表物品的浏览人数

●LRS代表物品前一天在排行榜上位置所对应的积分

●Ad代表物品发布日期到目前的间隔天数

●Ld代表物品最近一次热门的日期到目前的间隔天数

{α1，α2，α3}代表了需要调节的3个参数，可根据实验结果和排序需要对其进行调整。本文选取的三个值分别是8，50和0.6。对于分母中的加一操作，是为了防止出现函数中的除零异常。

经过BBRR模型对每一件商品RankScore分值的计算，我们可以根据RankScore数值的大小从大到小对商品进行排序，得到的排行榜单就是对未来热门榜单预测的排名。最后，选取TopK件商品作为预测的第二天热门商品最终排行榜单。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种最大化利益的热门商品榜单制定方法，包括如下步骤：

步骤1.数据预处理；

以天为时间粒度，将历史数据按照天为间隔进行划分，然后提取能够反映物品热门程度的各种特征，最终总结为三大类特征：统计类特征、转换类特征和比值类特征；在异常数据清洗方面，使用帕累托法则对特征数据进行清洗；最后把商品在第二天是否上榜的信息作为标签数据，与之前提取的特征数据组合成最终的训练数据集；

提取的三大类特征具体说明如下：

统计类特征：加入购物车次数、从购物车删除次数、购买次数、浏览量、浏览人数、浏览时长、加入购物车人数、从购物车删除人数、购买人数；

转化率类特征：浏览量/浏览人数、浏览时长/浏览人数、加入购物车人数/浏览人数、从购物车删除人数/浏览人数、购买人数/浏览人数；

比值类特征：返客率、老客户率、跳出率、活跃度；

步骤2.潜在热门上榜商品集的筛选；

设计了基于时间衰减的随机森林分类模型TRRF对商品的特征数据进行学习和预测，为每个商品计算第二天上榜的概率，记为上榜置信度X_Trust；然后通过设置阈值的策略，将X_Trust过低的商品过滤；经过这一方法，可以从海量的商品集合中筛选出较小的商品集合作为潜在热门上榜商品；

将随机森林与时间衰减函数相结合，用于潜在热门上榜商品集的分类筛选；引入的时间衰减函数如下：

公式中t表示使用的训练数模型距离预测日期的天数之差，α是一个参数，用来控制衰减速度；通过时间衰减函数，能够惩罚较旧的训练数据得到的X_Trust值，从而更加合理地预测热门榜单；

步骤3.潜在热门商品集的重排序并制定榜单；

用基于行为数据的重排序模型BBRR将物品的历史数据与X_Trust相结合，对候选集中的物品计算排序分数，最终根据排序分数进行重排序，快速且准确的得到最终的热门商品预测排行榜单；在重排序的过程中，结合商品前一天的浏览量P_v、浏览人数U_v以及排行情况LRS，还结合了商品发布到目前的天数Ad，商品最近被浏览到目前的天数Ld；具体的计算方式如下所示：