CN110019290B - 基于统计先验的推荐方法及装置 - Google Patents

Abstract

本发明公开了一种基于统计先验的推荐方法及装置，属于信息推荐技术领域。该方法包括：获取各个待推荐项的CTR；根据各个待推荐项的CTR初始化各个待推荐项对应的贝塔分布的参数，贝塔分布用于表征待推荐项的预测CTR与预测CTR的概率密度的对应关系；对各个待推荐项对应的贝塔分布进行采样，并根据采样结果对待推荐项进行初始化推荐；根据接收到的对初始化推荐中推荐项的反馈，对推荐项对应的贝塔分布的参数进行更新；对各个待推荐项对应的贝塔分布进行重新采样，并根据采样结果进行更新推荐。本发明实施例解决了直接根据CTR进行待推荐项推荐时，由于仅CTR较高的待推荐项被频繁推荐，而剩余的待推荐项无法被推荐，导致待推荐项的曝光率较低的问题。

Description

基于统计先验的推荐方法及装置

技术领域

本发明实施例涉及信息推荐领域，特别涉及一种基于统计先验的推荐方法及装置。

背景技术

推荐功能作为应用程序中常见的功能，用于向用户进行广告推荐、附加功能推荐或相关应用程序推荐。

为了提高推荐项被用户点击的概率，相关技术中，服务器统计各个待推荐项的曝光次数以及被点击次数，并根据曝光次数和被点击次数计算得到各个待推荐项的CTR(Click-Through-Rate，点击通过率)，从而根据各个待推荐项对应的CTR进行推荐。比如，服务器根据统计数据计算得到100个待推荐项的CTR，并对CTR最高的5个待推荐项进行推荐。

然而，直接基于CTR进行待推荐项推荐时，虽然推荐项被用户点击的概率较高，但是由于仅CTR较高的待推荐项被频繁推荐，而剩余的待推荐项无法被推荐，导致待推荐项的曝光率较低，不利于探索用户的兴趣点。

发明内容

为了解决上述技术问题，本发明实施例提供了一种基于统计先验的推荐方法及装置。所述技术方案如下：

根据本发明实施例的第一方面，提供了一种基于统计先验的推荐方法，该方法包括：

获取各个待推荐项的CTR，CTR根据各个待推荐项的曝光次数以及被点击次数计算得到；

根据各个待推荐项的CTR初始化各个待推荐项对应的贝塔分布的参数，贝塔分布用于表征待推荐项的预测CTR与预测CTR的概率密度的对应关系；

对各个待推荐项对应的贝塔分布进行采样，并根据采样结果对待推荐项进行初始化推荐，采样结果中包括各个待推荐项对应的预测CTR；

根据接收到的对初始化推荐中推荐项的反馈，对推荐项对应的贝塔分布的参数进行更新；

对各个待推荐项对应的贝塔分布进行重新采样，并根据采样结果进行更新推荐。

根据本发明实施例的第二方面，提供了一种基于统计先验的推荐装置，该装置包括：

获取模块，用于获取各个待推荐项的CTR，CTR根据各个待推荐项的曝光次数以及被点击次数计算得到；

初始化模块，用于根据各个待推荐项的CTR初始化各个待推荐项对应的贝塔分布的参数，贝塔分布用于表征待推荐项的预测CTR与预测CTR的概率密度的对应关系；

初始化推荐模块，用于对各个待推荐项对应的贝塔分布进行采样，并根据采样结果对待推荐项进行初始化推荐，采样结果中包括各个待推荐项对应的预测CTR；

更新模块，用于根据接收到的对初始化推荐中推荐项的反馈，对推荐项对应的贝塔分布的参数进行更新；

更新推荐模块，用于对各个待推荐项对应的贝塔分布进行重新采样，并根据采样结果进行更新推荐。

根据本发明实施例的第三方面，提供了一种服务器，该服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现如第一方面所述的基于统计先验的推荐方法。

根据本发明实施例的第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现如第一方面所述的基于统计先验的推荐方法。

与相关技术中直接基于各个待推荐项的CTR确定推荐项不同，本发明实施例中，在初始推荐阶段，首先根据待推荐项的CTR对待推荐项对应的贝塔分布的参数进行初始化，然后对贝塔分布进行采样，得到各个待推荐项对应的预测CTR，从而根据该预测CTR确定出推荐项，由于贝塔分布采样具有随机性，因此CTR较低的待推荐项也存在被推荐的概率，进而提高了待推荐项的曝光率，有利于探索用户的兴趣点；同时，当接收到对推荐项的反馈时，根据反馈对该推荐项对应贝塔分布中的参数进行更新，使得贝塔分布在反馈过程中不断收敛，从而提高采样得到的预测CTR的准确性，并提高推荐项被点击的概率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明一个实施例提供的实施环境的示意图；

图2示出了本发明一个实施例提供的基于统计先验的推荐方法的方法流程图；

图3示出了本发明另一个实施例提供的基于统计先验的推荐方法的方法流程图；

图4是一个实施例提供的贝塔分布曲线的示意图；

图5是图3所示推荐方法所涉及的更新推荐过程的方法流程图；

图6示出了本发明另一个实施例提供的基于统计先验的推荐方法的方法流程图；

图7示出了本发明另一个实施例提供的基于统计先验的推荐方法的方法流程图；

图8示出了本发明一个实施例提供的基于统计先验的推荐装置的结构方框图；

图9示出了本发明一个示例性实施例所涉及的服务器的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

为了方便理解，下面对本发明实施中涉及的名词进行解释。

统计先验：指根据历史统计数据所得到的经验信息，基于统计先验的推荐方法即一种在经验信息(由历史统计数据得到)的基础上进行推荐的方法。本发明实施例中，历史统计数据指各个待推荐项的曝光次数以及被点击次数，所得到的经验信息即为各个待推荐项的CTR。

贝塔分布(Beta Distribution)：用于表征某一事件发生概率的概率分布，本发明各个实施例中，待推荐项的贝塔分布用于表征该待推荐项被推荐(曝光)时，被用户点击的概率以及对应的概率密度。贝塔分布表示为Beta(A，B)，其中，随着参数A和参数B的不断增大，贝塔分布所表征的概率分布不断密集。

正反馈：指用户对推荐项的正向操作，用于表征用户对该推荐项感兴趣，该正反馈包括对推荐项的点击操作或对推荐项的高等级评价等等。

负反馈：指用户对推荐项的负向操作，用于表征用户对该推荐项不感兴趣。本发明实施例中，用户对推荐项的负反馈包括显式负反馈和隐式负反馈，其中，显式负反馈包括对推荐项的删除操作或对推荐项的低等级评价等等，隐式负反馈包括在推荐项的停留时间小于阈值或skip-above(对位于该推荐项之前的推荐项进行点击操作)等等。

可重复推荐项：指已接收到用户的正反馈，且进行重复推荐后仍旧能够接收到正反馈或接收到正反馈的概率较高的推荐项。比如，可重复推荐项为应用程序中常用功能对应的推荐项。对应的，不可重复推荐项指已接收到用户的正反馈，但是进行重复推荐后，无法再次接收到正反馈或接收到正反馈的概率较低的推荐项。比如，不可重复推荐项为应用程序中一次性功能(例如拉新功能)对应的推荐项。

请参考图1，其示出了本发明一个实施例提供的实施环境的示意图，该实施环境中包括终端110和服务器120。

终端110是安装有具有推荐功能的应用程序的电子设备，该电子设备为智能手机、平板电脑、个人计算机或电子书阅读器等等。其中，该推荐功能用于进行广告推荐、附加功能推荐或相关应用程序推荐。

终端110与服务器120之间通过有线或无线网络相连。

服务器120是终端110中应用程序的后台服务器，用于向终端110发送推荐项，以便终端110在应用程序中对推荐项进行显示。该服务器120为一台服务器、若干台服务器构成的服务器集群或云计算中心。

在一种可能的实施方式中，服务器120中存储有若干待推荐项，当终端110中的应用程序首次启动时，服务器120即向终端110发送初始推荐项，由终端110在应用程序中对该初始推荐项进行显示。当接收到用户对初始推荐项的反馈(包括正反馈或负反馈)时，终端110向服务器120发送相应的反馈信息，以便服务器120在下一次推荐时根据该反馈信息更新推荐项。

为了方便描述，下述各个实施例以基于统计先验的推荐方法用于服务器为例进行说明。

现有的推荐系统都面临着E&E(Exploitation&Exploration，开采&探索)问题，即推荐系统如何在不断开采用户已有兴趣点的同时，不断探索用户的未知兴趣点。相关技术中，直接基于待推荐项的CTR进行推荐时，虽然能够达到较好的兴趣点开采效果，并保证推荐项具有较高的点击率，但是实际应用过程中，由于CTR较高的待推荐项被频繁推荐，且随着用户的反馈，此类待推荐项的CTR不断提高，导致其余CTR较低的推荐项无法得到推荐，进而影响对用户兴趣点的探索。

而本发明实施例中，服务器在初始推荐阶段，首先根据待推荐项的CTR对待推荐项对应的贝塔分布的参数进行初始化，然后对贝塔分布进行采样，得到各个待推荐项对应的预测CTR，从而根据该预测CTR确定出推荐项，提高CTR较低的待推荐项的曝光率(被推荐概率)，进而在推荐前期达到较好的探索效果；同时，根据用户对推荐项的反馈，服务器不断对待推荐项对应的贝塔分布的参数进行更新，使得贝塔分布不断收敛，提高采样得到的预测CTR的准确性，进而在推荐后期达到较好的开采效果，提高推荐项被点击的概率，智能平衡推荐项的开采与探索。下面采用示意性的实施例进行说明。

请参考图2，其示出了本发明一个实施例提供的基于统计先验的推荐方法的方法流程图，本实施例以该推荐方法用于服务器为例进行说明，该方法包括：

步骤201，获取各个待推荐项的CTR，CTR根据各个待推荐项的曝光次数以及被点击次数计算得到。

在一种可能的实施方式中，服务器通过线上统计的方式，获取各个待推荐项的曝光次数以及曝光后被点击次数，从而计算得到各个待推荐项的CTR，其中，待推荐项的CTR＝待推荐项曝光后被点击次数÷待推荐项被曝光次数。

示意性的，服务器统计得到各个待推荐项的被点击次数和曝光次数，并计算得到各个待推荐项的CTR如表一所示。

表一

待推荐项ID	被点击次数	曝光次数	CTR
				Item001	177	437	0.41
Item002	119	303	0.39
				…	…	…	…

其中，待推荐项对应的CTR越高，该待推荐项作为推荐项被用户点击(接收到正反馈)的概率越高。

步骤202，根据各个待推荐项的CTR初始化各个待推荐项对应的贝塔分布的参数，贝塔分布用于表征待推荐项的预测CTR与预测CTR的概率密度的对应关系。

本发明实施例中，各个待推荐项的预测CTR都是基于对各自贝塔分布的采样得到，因此，在初始推荐阶段，服务器根据各个待推荐项的CTR，对各个待推荐项对应的贝塔分布的参数进行初始化，从而得到各个待推荐项对应的初始贝塔分布。

可选的，各个待推荐项对应的贝塔分布可表示为Beta(A，B)，服务器根据CTR对参数A和B进行初始化，确保A÷(A+B)＝CTR，其中，参数A用于表征正样本(曝光并被点击)出现的次数，参数B用于表征负样本(曝光但未被点击)出现的次数。

可选的，为了避免初始贝塔分布过分收敛，影响推荐初期的探索效果，根据CTR设置贝塔分布的参数时，确保(A+B)＜预设阈值。

步骤203，对各个待推荐项对应的贝塔分布进行采样，并根据采样结果对待推荐项进行初始化推荐，采样结果中包括各个待推荐项对应的预测CTR。

对各个待推荐项对应的贝塔分布进行初始化后，服务器进一步对贝塔分布进行采样，将采样得到的概率作为待推荐项对应的预测CTR，并根据各个待推荐项的预测CTR进行初始化推荐。其中，贝塔分布中预测CTR的概率密度越大，表示在进行采样时该预测CTR被采样到的概率越大。

由于待推荐项的预测CTR越高表示该待推荐项接收到正反馈的概率越高，因此在一种可能的实施方式中，服务器将预测CTR最高的n个待推荐项确定为初始推荐项，并将初始推荐项发送至终端，以便终端根据初始推荐项在应用程序中进行初始化推荐。

由于初始贝塔分布的收敛程度较低，因此，对初始贝塔分布进行采样时，采样结果的随机性较高，即对CTR较低的待推荐项对应的贝塔分布进行采样时，采样得到的预测CTR可能较高(预测CTR的值会在CTR附近较大范围内波动)，从而提高CTR较低的待推荐项的被推荐概率，有利于提高推荐前期的探索效果。

步骤204，根据接收到的对初始化推荐中推荐项的反馈，对推荐项对应的贝塔分布的参数进行更新。

用户在使用应用程序的过程中查看到初始推荐项后，即根据自身兴趣对推荐项进行反馈。当用户对推荐项感兴趣时，即对推荐项进行点击一类的正反馈，而当用户对推荐项不感兴趣时，即对推荐项进行删除一类的负反馈。相应的，终端将接收到的对各个推荐项的反馈发送至服务器，由服务器根据反馈对贝塔分布的参数进行更新，从而达到根据用户反馈收敛待推荐项对应贝塔分布的效果。

可选的，由于不同用户所感兴趣的推荐项不同，因此，为了实现个性化推荐，服务器接收到对推荐项的反馈后，确定该反馈的发送方，并对该发送方对应的贝塔分布进行更新。比如，服务器接收到用户甲发送的对推荐项Item001的反馈时，即对用户甲对应的Item001的贝塔分布进行更新。

在一种可能的实施方式中，推荐项Item001的贝塔分布可表示为Beta(A，B)，当接收到对待推荐项Item001的正反馈时，服务器即对贝塔分布中的参数A进行加操作；当接收到对待推荐项Item001的负反馈时，服务器即对贝塔分布中的参数B进行加操作。

步骤205，对各个待推荐项对应的贝塔分布进行重新采样，并根据采样结果进行更新推荐。

在一种可能的实施方式中，服务器每隔预定时间间隔，或，在接收到终端发送的推荐更新请求时，对各个贝塔分布(包含更新后的贝塔分布以及未更新的贝塔分布)重新进行贝塔分布采样，并根据最新的采样结果推荐。

在实际实施过程中，服务器根据用户反馈不断更新贝塔分布的参数，使得贝塔分布的收敛程度不断提高，而对贝塔分布进行采样时，采样得到的预测CTR逐渐趋向于一个定值((第一参数)/(第一参数+第二参数))，相应的，推荐后期的推荐项趋于稳定，且推荐项被点击的概率较高，从而在推荐后期达到较好的开采效果

综上所述，本实施例中，在初始推荐阶段，首先根据待推荐项的CTR对待推荐项对应的贝塔分布的参数进行初始化，然后对贝塔分布进行采样，得到各个待推荐项对应的预测CTR，从而根据该预测CTR确定出推荐项，由于贝塔分布采样具有随机性，因此CTR较低的待推荐项也存在被推荐的概率，进而提高了待推荐项的曝光率，有利于探索用户的兴趣点；同时，当接收到对推荐项的反馈时，根据反馈对该推荐项对应贝塔分布中的参数进行更新，使得贝塔分布在反馈过程中不断收敛，从而提高采样得到的预测CTR的准确性，并提高推荐项被点击的概率。

在实际实施过程中，贝塔分布的参数包含第一参数和第二参数，且第一参数用于表征正样本出现的次数，第二参数用于表征负样本出现的次数。为了保证推荐前期具有较好的探索效果，在进行贝塔分布初始化时，服务器根据预设收敛参数以及各个待推荐项的CTR，对贝塔分布的第一参数和第二参数进行初始化，并在接收到对推荐项的反馈时，对第一参数或第二参数进行更新。下面采用示意性的实施例进行说明。

请参考图3，其示出了本发明另一个实施例提供的基于统计先验的推荐方法的方法流程图，本实施例以该推荐方法用于服务器为例进行说明，该方法包括：

步骤301，获取各个待推荐项的CTR，CTR根据各个待推荐项的曝光次数以及被点击次数计算得到。

本步骤的实施方式与上述步骤201相似，本实施例在此不再赘述。

步骤302，根据待推荐项的CTR和预设收敛参数，初始化待推荐项对应的贝塔分布的第一参数。

示意性的，贝塔分布Beta(1,1)，Beta(10，10)以及Beta(100,100)的分布曲线如图4所示。其中，对Beta(1,1)进行采样时，采样随机，采样得到的预测CTR在0至1这一区间内波动；对Beta(10,10)进行采样时，采样得到的预测CTR集中在0.5附近，并在0.2至0.8这一区间内波动；对Beta(100,100)进行采样时，采样得到的预测CTR集中在0.5附近，并在0.4至0.6这一区间内波动。可见，第一参数与第二参数之和越大，贝塔分布的收敛程度越高，相应的，对贝塔分布进行采样时，采样得到的预测CTR的波动越小，即贝塔分布采样的随机性越低。因此，为了保证推荐前期的探索效果，第一参数与第二参数之和不能过大(随机性过低)也不能过小(随机性过高)。

在一种可能的实施方式中，终端根据待推荐项的CTR和预设收敛参数进行第一参数初始化，其中，第一参数为CTR与预设收敛参数之积，即第一参数＝CTR×预设收敛参数，且第一参数为整数。

在一个示意性的例子中，当待推荐项的CTR为0.41，且预设收敛参数为100时，计算得到初始化第一参数为0.41×100＝41。

步骤303，根据预设收敛参数和第一参数，初始化待推荐项对应的贝塔分布的第二参数。

进一步的，完成第一参数初始化后，服务器根据预设收敛参数和第一参数，初始化第二参数，其中，第二参数为预设收敛参数与第一参数之差，即第二参数＝预设收敛参数-第一参数。

在一个示意性的例子中，当初始化的第一参数为41，且预设收敛参数为100时，计算得到初始化第二参数为100-41＝59。

需要说明的是，在对不同待推荐项对应贝塔分布的参数进行初始化时，均使用相同的预设收敛参数，从而保证各个初始化贝塔分布收敛程度的一致性。

结合表一所示各个待推荐项的CTR，服务器初始化各个贝塔分布的参数如表二所示。

表二

可选的，根据推荐初期探索程度的不同，该预设收敛参数可以自行设置，其中，预设收敛参数被设置的越小，推荐初期的探索程度越高，预设收敛参数被设置的越大，推荐初期的探索程度越低。

步骤304，对各个待推荐项对应的贝塔分布进行采样，得到各个待推荐项对应的预测CTR。

针对进行贝塔分布采样的具体方式，在一种可能的实施方式中，服务器使用python(蟒蛇)中numpy库中的Beta分布采样函数，通过numpy.random.beta(A，B)得到相应的预测CTR。

在另一种可能的实施方式中，服务器使用java库中的Hive udf，通过

Randoms r＝new Randoms()；

r.next.Beta(A,B)；

得到相应的预测CTR。

示意性，服务器对待推荐项Item001进行贝塔分布采样，得到对应的预测CTR为0.42；服务器对对待推荐项Item002进行贝塔分布采样，得到对应的预测CTR为0.38。

步骤305，根据预测CTR的降序对待推荐项进行排序。

计算得到各个待推荐项的预测CTR后，服务器进一步根据预测CTR的降序对各个待推荐项进行排序。

步骤306，将排序后的前n个待推荐项确定为推荐项，并根据推荐项进行初始化推荐，n≥2，n为整数。

由于待推荐项对应的预测CTR越高，表示该待推荐项接收到正反馈的概率越高，因此，为了提高推荐项被点击的概率，在初始推荐阶段，服务器将排序后的前n个待推荐项确定为推荐项。

由于初始阶段贝塔分布的收敛程度较低，因此CTR较低的待推荐项对应的贝塔分布经过采样后能够得到较高的预测CTR，从而提高了待推荐项被推荐的概率，有利于在推荐前期探索用户的兴趣点。

步骤307，当接收到对初始化推荐中推荐项的正反馈时，对推荐项对应的第一参数进行加一操作，正反馈包括对推荐项的点击操作。

当用户对初始化推荐中的某一推荐项感兴趣，并对该推荐项进行正反馈时，终端即对该推荐项对应的第一参数进行加一操作，对该推荐项对应的贝塔分布进行收敛(降低贝塔分布采样的随机性)，并提高后续采样得到的预测CTR。

在一种可能的实施方式中，当终端接收到对推荐项的点击操作时，即向服务器发送正反馈信息，该正反馈信息即包含推荐项的标识以及应用程序当前登陆的帐号。

在其他可能的实施方式中，当检测到在某一推荐项的停留时长大于阈值，但未接收到点击操作时(用户对推荐项表现出一定的兴趣)，终端向服务器发送针对该推荐项的正反馈信息，从而提高后续重复推荐该推荐项的概率。

示意性的，服务器初始推荐的推荐项Item001对应的初始贝塔分布为Beta(41,59)，当接收到其正反馈时，服务器将推荐项Item001对应的贝塔分布更新为Beta(42,59)。

步骤308，当接收到对初始化推荐中推荐项的负反馈时，对待推荐项对应的第二参数进行加一操作，负反馈包括对推荐项的删除操作、在推荐项的停留时间小于阈值或对位于推荐项之前的推荐项进行点击操作中的至少一种。

当用户对初始化推荐中的某一推荐项不感兴趣，并对该推荐项进行负反馈时，终端即对该推荐项对应的第二参数进行加一操作，对该推荐项对应的贝塔分布进行收敛(降低贝塔分布采样的随机性)，并降低后续采样得到的预测CTR。

本发明实施例中，服务器接收到的负反馈不仅包含显式负反馈，还包括隐式负反馈。比如，当检测到在推荐项的停留时间小于阈值时，终端即确定接收到该推荐项的负反馈；又比如，终端显示有n个推荐项，当接收对第k(1＜k≤n)个推荐项的正反馈(比如点击操作)时，即确定接收到对第1至第k-1个推荐项的负反馈。

示意性的，服务器初始推荐的推荐项Item003对应的初始贝塔分布为Beta(31,69)，当接收到其负反馈时，服务器将推荐项Item003对应的贝塔分布更新为Beta(31,70)。

步骤309，对各个待推荐项对应的贝塔分布进行重新采样，并根据采样结果进行更新推荐。

在实际推荐过程中，某些推荐项被用户点击后，后续再次被点击的概率较低(比如，拉新功能对应的推荐项)，此类推荐项被称为不可重复推荐项。在更新推荐过程中，对已被点击过的不可重复推荐项进行重复推荐，将会造成推荐项资源的浪费。为了避免上述问题，在一种可能的实施方式中，如图5所示，本步骤包括如下步骤。

步骤309A，对各个待推荐项对应的贝塔分布进行重新采样，得到各个待推荐项对应的预测CTR。

在进行更新推荐时，服务器对各个贝塔分布(包含更新以及未更新的贝塔分布)进行重新采样，进而得到各个待推荐项对应的预测CTR。

步骤309B，根据预测CTR的降序对待推荐项进行排序。

计算得到各个待推荐项的预测CTR后，服务器进一步根据预测CTR的降序对各个待推荐项进行排序。

步骤309C，将排序后的前n个符合预设推荐条件的待推荐项确定为推荐项，并根据推荐项进行推荐，n≥2，n为整数。

与初始推荐时直接将前n个待推荐项确定为推荐项不同，在进行更新推荐时，服务器需要进一步检测待推荐项是否符合预设推荐条件，并在该待推荐项符合预设推荐条件时进行推荐，否则，即便该待推荐项对应的预测CTR较大，服务器也不会将其作为推荐项进行推荐。

可选的，该预设推荐条件包括：属于可重复推荐项，和/或，不属于可重复推荐项且未接收到正反馈。

在一种可能的实施方式中，服务器中预先存储有可重复推荐项集合，当排序后的待推荐项属于该可重复推荐项集合时，服务器将该待推荐项确定为推荐项；当排序后的待推荐项不属于该可重复推荐项集合时，服务器进一步检测该待推荐项是否接收到正反馈，若未接收到正反馈，服务器将该待推荐项确定为推荐项，若已接收到正反馈，服务器不在将该待推荐项确定为推荐项(即便重复推荐，接收到正反馈的概率较低)。

示意性的，服务器初始化推荐时，将“拉新功能”对应的待推荐项确定为推荐项并进行推荐，且接收到用户对该推荐项的正反馈；由于“拉新功能”对应的待推荐项为不可重复推荐项，因此后续进行更新推荐时，“拉新功能”对应的待推荐项将不再推荐。

本实施例中，在进行贝塔分布初始化时，服务器根据预设收敛参数以及各个待推荐项的CTR，对贝塔分布的参数进行初始化，保证各个待推荐项对应贝塔分布收敛程度的一致性，并避免初始贝塔分布过分收敛，保证推荐前期具有较好的探索效果。

本实施例中，在进行更新推荐时，服务器将前n个符合预设推荐条件的待推荐项确定为推荐项，并进行推荐，从而避免对已被点击过的不可重复推荐项进行重复推荐所造成推荐项资源浪费。

图3所示实施例中，当接收到对推荐项的反馈时，服务器仅对贝塔分布的第一参数或第二参数执行加一操作，在反馈较少的情况下，贝塔分布的收敛速度较慢，导致长时间处于探索状态，不利于兴趣点开采。为了加快贝塔分布的收敛速度，在一种可能的实施方式中，在图3的基础上，如图6所示，上述步骤307和步骤308可以被替换为步骤310和311。

步骤310，当接收到对初始化推荐中推荐项的正反馈时，根据预设加速收敛参数对推荐项对应的第一参数进行加操作，正反馈包括对推荐项的点击操作。

与上述步骤307中，直接对推荐项对应的第一参数进行加一操作不同，本实施例中，为了加速收敛，服务器根据预设加速收敛参数对推荐项对应的第一参数进行加操作，其中，该预设加速收敛参数为大于1的整数。

在一个示意性的例子中，当预设加速收敛参数为50时，服务器在接收到对推荐项的正反馈时，即将该推荐项对应贝塔分布的第一参数增加50。比如，服务器初始推荐的推荐项Item001对应的初始贝塔分布为Beta(41,59)，当接收到其正反馈时，服务器将推荐项Item001对应的贝塔分布更新为Beta(91，59)。

在其他可能的实施方式中，不同类型的正反馈对应的预设加速收敛参数不同，比如，显式正反馈(比如对推荐项的点击操作)对应的预设加速收敛参数大于隐式正反馈(比如在推荐项的停留时间超过阈值)对应的预设加速收敛参数。

步骤311，当接收到对初始化推荐中推荐项的负反馈时，根据预设加速收敛参数对推荐项对应的第二参数进行加操作，负反馈包括删除推荐项、在推荐项的停留时间小于阈值或对位于推荐项之前的推荐项进行点击操作中的至少一种。

与上述步骤308中，直接对推荐项对应的第二参数进行加一操作不同，本实施例中，为了加速收敛，服务器根据预设加速收敛参数对推荐项对应的第二参数进行加操作，其中，该预设加速收敛参数为大于1的整数。

在一个示意性的例子中，当预设加速收敛参数为50时，服务器在接收到对推荐项的负反馈时，即将该推荐项对应贝塔分布的第二参数增加50。比如，服务器初始推荐的推荐项Item003对应的初始贝塔分布为Beta(31,59)，当接收到其负反馈时，服务器将推荐项Item003对应的贝塔分布更新为Beta(31，109)。

在其他可能的实施方式中，不同类型的负反馈对应的预设加速收敛参数不同，比如，显式负反馈(比如对推荐项的删除操作或低评分操作)对应的预设加速收敛参数大于隐式正反馈(比如在推荐项的停留时间小于阈值或对位于推荐项之前的推荐项进行点击操作)对应的预设加速收敛参数。

本实施例中，当接收到对推荐项的反馈时，服务器根据预设加速收敛参数对贝塔分布的第一参数或第二参数执行加操作，从而加快各个贝塔分布的收敛速度。

图3所示实施例中，随着反馈的增多，服务器对用户兴趣点的探索能力逐渐降低，为了保证对用户兴趣点的探索能力，保持推荐项的新颖性，在一种可能的实施方式中，在图3的基础上，如图7所示，上述步骤307和308之后，还包括如下步骤312。

步骤312，每隔预定时间间隔，根据预设衰减系数对各个待推荐项对应的贝塔分布的参数进行衰减处理。

在一种可能的实施方式中，服务器以天为单位，利用预设衰减系数对各个待推荐项对应的贝塔分布的参数进行时间衰减处理，从而弱化历史参数对当前时刻兴趣点探索的影响。其中，0＜预设衰减系数＜1。

在一个示意性的例子中，预设衰减系数为0.97，在2017.8.8时，推荐项Item001对应的贝塔分布为Beta(100,150)，在2017.8.9时，服务器根据预设衰减系数将第一参数衰减为100×0.97＝97，将第二参数衰减为150×0.97≈146(145.5四舍五入后得到)，即推荐项Item001对应的贝塔分布为Beta(97,146)。

在其他可能的实施例中，服务器还可以小时、星期等为单位进行衰减处理，本发明实施例并不对此进行限定。

本实施例中，服务器利用预设衰减系数对贝塔分布的参数进行衰减处理，避免贝塔分布的过快收敛，从而保证对用户兴趣点的探索能力，并弱化历史参数对当前时刻兴趣点探索的影响。

下述为本发明装置实施例，对于装置实施例中未详尽描述的细节，可以参考上述一一对应的方法实施例。

请参考图8，其示出了本发明一个实施例提供的基于统计先验的推荐装置的结构方框图。该推荐装置通过硬件或者软硬件的结合实现成服务器的全部或者一部分。该装置包括：

获取模块810，用于获取各个待推荐项的CTR，所述CTR根据各个待推荐项的曝光次数以及被点击次数计算得到；

初始化模块820，用于根据各个待推荐项的CTR初始化各个待推荐项对应的贝塔分布的参数，所述贝塔分布用于表征待推荐项的预测CTR与预测CTR的概率密度的对应关系；

初始化推荐模块830，用于对各个待推荐项对应的贝塔分布进行采样，并根据采样结果对待推荐项进行初始化推荐，所述采样结果中包括各个待推荐项对应的所述预测CTR；

更新模块840，用于根据接收到的对初始化推荐中推荐项的反馈，对所述推荐项对应的贝塔分布的参数进行更新；

更新推荐模块850，用于对各个待推荐项对应的贝塔分布进行重新采样，并根据采样结果进行更新推荐。

可选的，贝塔分布的参数包含第一参数和第二参数，所述第一参数用于表征正样本出现的次数，所述第二参数用于表征负样本出现的次数，所述正样本指推荐项接收到正反馈的事件，所述负样本指推荐项接收到负反馈的事件；

所述初始化模块820，包括：

第一初始化单元，用于根据所述CTR和预设收敛参数，初始化所述第一参数；

第二初始化单元，用于根据所述预设收敛参数和所述第一参数，初始化所述第二参数；

其中，所述第一参数为所述CTR与所述预设收敛参数之积，所述第二参数为所述预设收敛参数与所述第一参数之差。

可选的，所述更新模块840，包括：

第一更新单元，用于当接收到对初始化推荐中推荐项的正反馈时，对所述推荐项对应的第一参数进行加一操作，所述正反馈包括对所述推荐项的点击操作；

第二更新单元，用于当接收到对初始化推荐中推荐项的负反馈时，对所述待推荐项对应的第二参数进行加一操作，所述负反馈包括对所述推荐项的删除操作、在所述推荐项的停留时间小于阈值或对位于所述推荐项之前的推荐项进行点击操作中的至少一种。

可选的，所述更新模块840，包括：

第三更新单元，用于当接收到对初始化推荐中推荐项的正反馈时，根据预设加速收敛参数对所述推荐项对应的第一参数进行加操作，所述正反馈包括对所述推荐项的点击操作；

第四更新单元，用于当接收到对初始化推荐中推荐项的负反馈时，根据所述预设加速收敛参数对所述推荐项对应的第二参数进行加操作，所述负反馈包括删除所述推荐项、在所述推荐项的停留时间小于阈值或对位于所述推荐项之前的推荐项进行点击操作中的至少一种。

可选的，所述装置还包括：

衰减模块，用于每隔预定时间间隔，根据预设衰减系数对各个待推荐项对应的贝塔分布的参数进行衰减处理。

可选的，所述初始化推荐模块830，包括：

第一采样单元，用于各个待推荐项对应的贝塔分布进行采样，得到各个待推荐项对应的预测CTR；

第一排序单元，用于根据所述预测CTR的降序对待推荐项进行排序；

第一推荐单元，用于将排序后的前n个待推荐项确定为推荐项，并根据所述推荐项进行初始化推荐，n≥2，n为整数。

可选的，所述更新推荐模块850，包括：

第二采样单元，用于对各个待推荐项对应的贝塔分布进行重新采样，得到各个待推荐项对应的预测CTR；

第二排序单元，用于根据所述预测CTR的降序对待推荐项进行排序；

第二推荐单元，用于将排序后的前n个符合预设推荐条件的待推荐项确定为推荐项，并根据所述推荐项进行推荐，n≥2，n为整数；

其中，所述预设推荐条件包括：属于可重复推荐项，和/或，不属于可重复推荐项且未接收到正反馈。

综上所述，本实施例中，在初始推荐阶段，首先根据待推荐项的CTR对待推荐项对应的贝塔分布的参数进行初始化，然后对贝塔分布进行采样，得到各个待推荐项对应的预测CTR，从而根据该预测CTR确定出推荐项，由于贝塔分布采样具有随机性，因此CTR较低的待推荐项也存在被推荐的概率，进而提高了待推荐项的曝光率，有利于探索用户的兴趣点；同时，当接收到对推荐项的反馈时，根据反馈对该推荐项对应贝塔分布中的参数进行更新，使得贝塔分布在反馈过程中不断收敛，从而提高采样得到的预测CTR的准确性，并提高推荐项被点击的概率。

本实施例中，在进行贝塔分布初始化时，服务器根据预设收敛参数以及各个待推荐项的CTR，对贝塔分布的参数进行初始化，保证各个待推荐项对应贝塔分布收敛程度的一致性，并避免初始贝塔分布过分收敛，保证推荐前期具有较好的探索效果。

本实施例中，在进行更新推荐时，服务器将前n个符合预设推荐条件的待推荐项确定为推荐项，并进行推荐，从而避免对已被点击过的不可重复推荐项进行重复推荐所造成推荐项资源浪费。

本实施例中，当接收到对推荐项的反馈时，服务器根据预设加速收敛参数对贝塔分布的第一参数或第二参数执行加操作，从而加快各个贝塔分布的收敛速度。

本实施例中，服务器利用预设衰减系数对贝塔分布的参数进行衰减处理，避免贝塔分布的过快收敛，从而保证对用户兴趣点的探索能力，并弱化历史参数对当前时刻兴趣点探索的影响。

可选地，本发明实施例还提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述各个方法实施例所述的基于统计先验的推荐方法。

图9示出了本发明一个示例性实施例所涉及的服务器的结构示意图。该服务器包括：处理器911、存储器914和总线919。

处理器911包括一个或者一个以上处理核心，存储器914通过总线919与处理器911相连，存储器914用于存储程序指令，处理器911执行存储器914中的程序指令时实现上述各个方法实施例提供的基于统计先验的推荐方法。

可选地，存储器914可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

上述结构示意仅为对服务器的示意性说明，服务器可以包括更多或更少的部件，比如服务器可以包括发送器以及接收器，或者，服务器还包括显示屏、电源等其它部件，本实施例不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于统计先验的推荐方法，其特征在于，所述方法包括：

获取各个待推荐项的点击通过率CTR，所述CTR根据各个待推荐项的曝光次数以及被点击次数计算得到；

根据各个所述CTR和预设收敛参数，初始化各个所述待推荐项对应的贝塔分布的第一参数，所述贝塔分布用于表征待推荐项的预测CTR与所述预测CTR的概率密度的对应关系，所述第一参数为所述CTR与所述预设收敛参数之积，所述预设收敛参数与贝塔分布采样的随机性呈负相关关系，所述预设收敛参数小于预设阈值；

根据所述预设收敛参数和所述第一参数，初始化所述贝塔分布的第二参数，所述第二参数为所述预设收敛参数与所述第一参数之差；

对各个待推荐项对应的贝塔分布进行采样，并根据采样结果对待推荐项进行初始化推荐，所述采样结果中包括各个待推荐项对应的所述预测CTR，所述预测CTR是在所述贝塔分布对应范围内采样到的随机值；

当接收到对初始化推荐中推荐项的正反馈时，根据预设加速收敛参数对所述推荐项对应的第一参数进行加操作，所述正反馈包括对所述推荐项的点击操作；

当接收到对初始化推荐中推荐项的负反馈时，根据所述预设加速收敛参数对所述推荐项对应的第二参数进行加操作，所述负反馈包括删除所述推荐项、在所述推荐项的停留时间小于阈值或对位于所述推荐项之前的推荐项进行点击操作中的至少一种；

对各个待推荐项对应的贝塔分布进行重新采样，并根据采样结果进行更新推荐；

每隔预定时间间隔，根据预设衰减系数对各个待推荐项对应的贝塔分布的第一参数以及第二参数进行衰减处理。

2.根据权利要求1所述的方法，其特征在于，所述对各个待推荐项对应的贝塔分布进行采样，并根据采样结果对待推荐项进行初始化推荐，包括：

对各个待推荐项对应的贝塔分布进行采样，得到各个待推荐项对应的预测CTR；

根据所述预测CTR的降序对待推荐项进行排序；

将排序后的前n个待推荐项确定为推荐项，并根据所述推荐项进行初始化推荐，n≥2，n为整数。

3.根据权利要求1所述的方法，其特征在于，所述对各个待推荐项对应的贝塔分布进行重新采样，并根据采样结果进行更新推荐，包括：

对各个待推荐项对应的贝塔分布进行重新采样，得到各个待推荐项对应的预测CTR；

根据所述预测CTR的降序对待推荐项进行排序；

将排序后的前n个符合预设推荐条件的待推荐项确定为推荐项，并根据所述推荐项进行推荐，n≥2，n为整数；

其中，所述预设推荐条件包括：属于可重复推荐项，和/或，不属于可重复推荐项且未接收到正反馈。

4.一种基于统计先验的推荐装置，其特征在于，所述装置包括：

获取模块，用于获取各个待推荐项的点击通过率CTR，所述CTR根据各个待推荐项的曝光次数以及被点击次数计算得到；

初始化模块，用于根据各个所述CTR和预设收敛参数，初始化各个所述待推荐项对应的贝塔分布的第一参数，所述贝塔分布用于表征待推荐项的预测CTR与所述预测CTR的概率密度的对应关系，所述第一参数为所述CTR与所述预设收敛参数之积，所述预设收敛参数与贝塔分布采样的随机性呈负相关关系；根据所述预设收敛参数和所述第一参数，初始化所述贝塔分布的第二参数，所述第二参数为所述预设收敛参数与所述第一参数之差，所述预设收敛参数小于预设阈值；

初始化推荐模块，用于对各个待推荐项对应的贝塔分布进行采样，并根据采样结果对待推荐项进行初始化推荐，所述采样结果中包括各个待推荐项对应的所述预测CTR，所述预测CTR是在所述贝塔分布对应范围内采样到的随机值；

更新模块，用于当接收到对初始化推荐中推荐项的正反馈时，根据预设加速收敛参数对所述推荐项对应的第一参数进行加操作，所述正反馈包括对所述推荐项的点击操作；当接收到对初始化推荐中推荐项的负反馈时，根据所述预设加速收敛参数对所述推荐项对应的第二参数进行加操作，所述负反馈包括删除所述推荐项、在所述推荐项的停留时间小于阈值或对位于所述推荐项之前的推荐项进行点击操作中的至少一种；

更新推荐模块，用于对各个待推荐项对应的贝塔分布进行重新采样，并根据采样结果进行更新推荐；

衰减模块，用于每隔预定时间间隔，根据预设衰减系数对各个待推荐项对应的贝塔分布的第一参数以及第二参数进行衰减处理。

5.根据权利要求4所述的装置，其特征在于，所述更新推荐模块，包括：

第二采样单元，用于对各个待推荐项对应的贝塔分布进行重新采样，得到各个待推荐项对应的预测CTR；

第二排序单元，用于根据所述预测CTR的降序对待推荐项进行排序；

第二推荐单元，用于将排序后的前n个符合预设推荐条件的待推荐项确定为推荐项，并根据所述推荐项进行推荐，n≥2，n为整数；

其中，所述预设推荐条件包括：属于可重复推荐项，和/或，不属于可重复推荐项且未接收到正反馈。

6.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求1至3任一所述的基于统计先验的推荐方法。

7.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由处理器加载并执行以实现如权利要求1至3任一所述的基于统计先验的推荐方法。

Images