CN114429237A - 一种直播间的曝光排序方法以及相关设备 - Google Patents

Abstract

本发明实施例提供了一种直播间的曝光排序方法及相关设备，可以使得对直播间的排序更加精准，提高主播的积极性。该方法包括：确定目标直播间在第一时刻的状态向量；根据状态向量预估目标直播间在第二时刻的虚假观看人数；计算目标直播间在第二时刻的用户平均观看时长对数；计算目标直播间在所述第二时刻的总人数；迭代计算直播平台在第二时刻的第一效用参数；计算直播平台在第二时刻的效用；将直播平台在第二时刻的效用最大时对应的第一效用参数确定为第二效用参数；根据第二效用参数以及状态向量确定目标直播间在所述第二时刻的第二点击转化率；基于第二点击转化率在第二时刻对所述目标直播间进行曝光排序。

Description

一种直播间的曝光排序方法以及相关设备

技术领域

本发明涉及信息处理技术领域，尤其涉及一种直播间的曝光排序方法以及相关设备。

背景技术

在直播平台中，直播间为了获取更好的资源位，常常会通过伪造一些虚假观看，这些虚假观看会使得在短时间内直播间的点击转化率非常高，通过推荐算法或者人工运营规则，在下一个时刻容易获得较好的资源位从而获得了更多的资源。久而久之，那些作弊的直播间通过一段时间的虚假观看行为获取了较长时间的良好资源，那些没有作弊的直播间反而曝光会降低。

上述现象说明了目前直播间资源分配的弊端，一是没有考虑到主播通过虚假舞弊手段影响策略对资源的分配，二是没有考虑主播和平台的博弈过程。

发明内容

本发明实施例提供了一种直播间的曝光排序方法及相关设备，可以使得对直播间的排序更加精准，提高主播的积极性。

本发明实施例的第一方面提供了一种直播间的曝光排序方法，应用于直播平台，该方法包括：

确定目标直播间在第一时刻的状态向量，所述状态向量包括所述目标直播间的真实观看人数、所述目标直播间的虚假观看人数、所述目标直播间的虚假观看人数的占比、所述目标直播间曝光的总人数、所述目标直播间中用户平均观看时长对数以及所述目标直播间的第一点击转化率；

根据所述状态向量预估所述目标直播间在第二时刻的虚假观看人数，所述第二时刻为所述第一时刻之后的时刻，且所述第二时刻与所述第一时刻之间的间隔为预设时长；

根据所述目标直播间中用户平均观看时长对数计算所述目标直播间在所述第二时刻的用户平均观看时长对数；

根据所述目标直播间的虚假观看人数以及所述目标直播间的真实观看人数计算所述目标直播间在所述第二时刻的总人数；

根据所述目标直播间在所述第二时刻的用户平均观看时长对数、所述目标直播间在所述第二时刻的总人数以及所述状态向量迭代计算所述直播平台在所述第二时刻的第一效用参数；

根据所述第一效用参数、所述第二时刻的用户平均观看时长对数、所述目标直播间在所述第二时刻的总人数以及所述状态向量计算所述直播平台在所述第二时刻的效用；

将所述直播平台在所述第二时刻的效用最大时对应的所述第一效用参数确定为第二效用参数；

根据所述第二效用参数以及所述状态向量确定所述目标直播间在所述第二时刻的第二点击转化率；

基于所述第二点击转化率在所述第二时刻对所述目标直播间进行曝光排序。

可选地，所述根据所述状态向量预估所述目标直播间在第二时刻的虚假观看人数包括：

通过如下公式预估所述目标直播间在所述第二时刻的虚假观看人数：

其中，t为所述第一时刻，t+1为所述第二时刻，f_i ^t+1是第二时刻所述目标直播间i的虚假观看人数，

为所述状态向量，Δ是决策函数，

通过如下公式获取：

其中，u为k*1的向量，k为所述目标直播间i的状态向量的维度维度，α是一个常数。

可选地，所述根据所述目标直播间中用户平均观看时长对数计算所述目标直播间在所述第二时刻的用户平均观看时长对数包括：

通过如下公式获取所述目标直播间在所述第二时刻的用户平均观看时长对数：

其中，t为所述第一时刻，t+1为所述第二时刻，

为正态分布，均值是

τ为标准差，

为所述目标直播间在所述第二时刻的用户平均观看时长对数，

为所述目标直播间在所述第一时刻的用户平均观看时长对数。

可选地，所述第一效用参数包括参数W^t+1以及参数β^t+1，所述根据所述目标直播间在所述第二时刻的用户平均观看时长对数、所述目标直播间在所述第二时刻的总人数以及所述状态向量迭代计算所述直播平台在所述第二时刻的第一效用参数包括：

通过如下公式迭代获取所述直播平台在所述第二时刻的第一效用参数的参数W^{t +1}：

其中，W^t+1(k+1)为所述第一效用参数中的参数W^t+1在第k轮迭代时的取值，

为所述目标直播间i在所述第一时刻的总人数，

为所述状态向量，n为所述直播平台中的直播间数量，τ为标准差，

为所述目标直播间在所述第一时刻的用户平均观看时长对数，ξ为学习率；

通过如下公式迭代获取所述直播平台在所述第二时刻的第一效用参数的参数β^t+1：

其中，β^t+1(k+1)为所述第二效用参数中的参数β^t+1在第k轮迭代时的取值，τ为标准差，

为所述目标直播间在所述第一时刻的用户平均观看时长对数。

可选地，所述根据所述第一效用参数、所述第二时刻的用户平均观看时长对数、所述目标直播间在所述第二时刻的总人数以及所述状态向量计算所述直播平台在所述第二时刻的效用包括：

通过如下公式获取所述直播平台在所述第二时刻的效用：

其中，n为所述直播平台中的直播间数量，i为所述目标直播间，t为所述第一时刻，t+1为所述第二时刻，F_t+1为所述直播平台在所述第二时刻的效用，

为所述目标直播间在所述第二时刻的用户平均观看时长对数，

为所述状态向量，λ为常数，用于调节负向影响的程度，W^t+1以及β^t+1为所述第一效用参数。

可选地，其特征在于，所述根据所述第二效用参数以及所述状态向量确定所述目标直播间在所述第二时刻的第二点击转化率包括：

通过如下公式获取所述第二点击转化率：

其中，ctr_i ^t+1为所述第二点击转换率，i为所述目标直播间，t+1为所述第二时刻，

为所述状态向量，

以及

为所述第二效用参数。

综上所述，可以看出，本发明提供的实施例中，直播间的曝光排序装置确定目标直播间在第一时刻的状态向量，并通过直播间的状态向量来预测第二时刻的虚假观看人数、第二时刻的用户平均观看时长对数以及目标直播间在第二时刻的总人数，之后迭代计算直播平台在第二时刻的效用参数，并根据第二时刻的效用参数计算直播平台在第二时刻的效用，之后取迭代计算中直播平台在第二时刻的效用最大值时对应的效用参数作为最优的效用参数来计算目标直播间在第二时刻的点击转化率，之后根据点击转化率在第二时刻对目标直播间进行曝光排序。由此可以看出，可以通过第一时刻t的直播间的状态向量，来决定直播间下个时刻t+1(也即第二时刻)的坑位排序，通过坑位排序可以得到时刻t+1的直播间点击转化率，这样在进行排序时，使得对直播间的排序更加精准，提高主播的积极性。

附图说明

图1为本发明实施例提供的一种直播间的曝光排序方法的流程示意图；

图2为本发明实施例提供的一种直播间的曝光排序装置的虚拟结构示意图；

图3为本发明实施例提供的一种直播间的曝光排序装置的硬件结构示意图；

图4为本发明实施例提供的一种电子设备的实施例示意图；

图5为本发明实施例提供的一种计算机可读存储介质的实施例示意图。

具体实施方式

本发明实施例提供了一种直播间的曝光排序方法及相关设备，可以快速向用户推荐直播间。

下面从直播间的曝光排序装置的角度对直播间的曝光排序方法进行说明，该直播间的曝光排序装置可以为服务器，也可以为服务器中的服务单元。

请参阅图1，图1为本发明实施例提供的直播间的曝光排序方法的一个实施例示意图，该直播间的曝光排序方法应用至直播平台，该直播间的曝光排序方法包括：

101、确定目标直播间在第一时刻的状态向量。

本实施例中，直播间的曝光排序装置可以确定目标直播间在第一时刻的状态向量，其中，该状态向量包括目标直播间的真实观看人数、目标直播间的虚假观看人数、目标直播间的虚假观看人数的占比、目标直播间曝光的总人数、目标直播间中用户平均观看时长对数以及目标直播间的第一点击转化率。也就是说，直播间的曝光排序装置可以通过状态向量的方式来构建目标直播间的状态特征，主要通过下面几个特征要素来描述直播间的状态特征：

(r,f,fr,b,logw,ctrw)；

其中，ctrw＝ctr*logw，ctr为点击转化率，其计算方法是进入直播间的用户数除以直播间曝光的用户数；

logw为直播间用户平均观看时长w取对数；

ctrw为点击转化观看时长，它衡量的是从曝光到进入直播间的用户的最终观看时长，它综合考虑点击环节和观看环节，表示的是直播间曝光后用户观看的期望时长；

r指的是直播间真实的观看人数；

f指的是直播间虚假的观看人数；

fr指的是直播间虚假的观看人数占比，计算方法是

b指的是直播间曝光的总人数；

由此，可以通过上述状态特征构建目标直播间i在第一时刻t时的状态向量：

其中，

为目标直播间i在t时刻的状态向量，r_i ^t为目标直播间在时刻t时的真实观看人数，f_i ^t为目标直播间在时刻t时的虚假观看人数，fr_i ^t为目标直播间i在时刻t时的虚假观看人数占比，

为目标直播间i在时刻t是的曝光总人数，

为目标直播间i中的用户在t时刻的平均观看时长对数，

为目标直播间i在t时刻的第一点击转化率。

可以理解的是，选择上述几个特征要素作为直播间状态描述的原因是：直播间虚假观看人数占比和虚假的观看人数表示的是当前直播间的虚假观看情况；直播间真实观看用户数和点击转化时长、点击转化率表示的是直播间的点击转化情况；曝光人数则表示的是当前直播间的资源情况，通过上述几个特征作为直播间状态的描述可以更加真实的体现直播间的直播状态，换句话说，针对上述特征要素的选择，并非人为主观因素的选取，而是符合自然规律、能够更加真实的体现直播间的直播状态的选取。

102、根据状态向量预估目标直播间在第二时刻的虚假观看人数。

本实施例中，直播间的曝光排序装置在确定目标直播间在第一时刻的状态向量之后，可以根据该状态向量预估目标直播间在第二时刻的虚假观看人数，该第二时刻为第一时刻之后的时刻，且第二时刻与第一时刻之间的间隔为预设时长。具体的，直播间的曝光排序装置可以通过如下公式预估目标直播间在第二时刻的虚假观看人数：

其中，t为第一时刻，t+1为第二时刻，f_i ^t+1是第二时刻目标直播间i的虚假观看人数，

为状态向量，Δ是决策函数，

可以通过如下公式获取：

其中，u为k*1的向量，k为目标直播间i的状态向量的维度(此处以k为6，也即从6个维度来构建直播间i的状态向量)，α是一个常数；其中，为了让决策函数尽量和预测的虚假观看人数接近，那么：

需要说明的是，上述决策函数的计算公式的原理是：对于直播间i，决策函数计算得到的是直播间i在第二时刻的虚假观看人数

而预测的虚假观看人数是f_i ^t+1，预测得到的直播间i在第二时刻的虚假观看任何和计算得到的直播间i在第二时刻的虚假观看人数之间的差异是

为了让所有直播间决策函数和预测虚假观看人数尽量接近，采用了单个直播开决策函数和预测虚假观看人数的差异平方和的方式度量这一接近程度，平方和越小说明两者的整体偏差越小。采用平方的好处是：决策函数得到的值可能大于、也可能小于预测虚假观看人数，采用平方可以将两种情况统一起来进行度量，提高计算的精度。

为了求解上述决策函数，需要得到参数α和参数u，设定参数α和参数u的初始值为α(0)＝α⁰,u(0)＝u⁰，并通过如下公式进行迭代来计算得到参数α和参数u：

其中，α(s)是参数α第s轮迭代的取值，u(s)是参数u第s轮迭代的取值，φ是学习率，取值一般是0.01-0.1之间(当然也还可以根据实际情况来设置φ的具体值，具体不做限定)。

可以理解的是，直播间时刻会根据当前的状态决定在下一刻进行多少的虚假观看，简单来讲如果发现当前状态中某些特征因素如logw,ctrw等较低时，直播间会增加下一个时段的虚假观看人数；能够假设直播间的决策函数是一个线性函数的原因是每个因素都是和直播间决策的虚假观看人数是直接相关的，比如时刻t的ctrw越低，那么时刻t+1的虚假观看人数越高。

需要说明的是，上述迭代来计算参数α和参数u的迭代公式的原理是：为了让目标函数尽量小，每次迭代的时候参数应该向梯度最大的方向进行更新，这样能够尽快找到函数的极小值。梯度下降的方向可以通过求目标函数导数的方法进行获取，于是对于参数α(可以理解的是参数u的倒数与参数a的计算方式类似，此处以参数α为例进行说明)，其导数是

由此可以得到参数α在第s+1轮迭代时的导数是

在计算完导数后需要将导数乘以学习率，这样做的好处是控制每次学习的速度，学习太慢会导致难以收敛，学习太快可能会反复震荡无法找到最小值。

103、根据目标直播间中用户平均观看时长对数计算目标直播间在第二时刻的用户平均观看时长对数。

本实施例中，直播间的曝光排序装置可以根据目标直播间中用户平均观看时长对数计算目标直播间在第二时刻的用户平均观看时长对数。具体的，可以通过如下公式获取目标直播间在第二时刻的用户平均观看时长对数：

其中，t为第一时刻，t+1为第二时刻，

为正态分布，均值是

τ为标准差(标准差τ为大于0的常数，取值一般是0.1-0.5之间)，

为目标直播间在第二时刻的用户平均观看时长对数，

为目标直播间在第一时刻的用户平均观看时长对数，

表示的是一个正态分布。

104、根据目标直播间的虚假观看人数以及目标直播间的真实观看人数计算目标直播间在第二时刻的总人数。

本实施例中，直播间的曝光排序装置可以根据目标直播间的虚假观看人数以及目标直播间的只是观看人数计算目标直播间在第二时刻的总人数。具体的，可以通过如下公式获取目标直播间在第二时刻的总人数：

在上面的公式中，

表示的是一个正态分布，

为目标直播间在第一时刻的总人数(也即该

为r_i ^t与f_i ^t之和)，β为标准差(β为大于0的常数，β的取值一般是0.1-0.5之间)。

需要说明的是，直播间的曝光排序装置通过步骤102可以预估目标直播间在第二时刻的虚假观看人数，通过步骤103可以计算目标直播间在第二时刻的用户平均观看时长对数，通过步骤104可以计算目标直播间在第二时刻的总人数，然而这三个步骤之间并没有先后执行的顺序限制，可以先执行步骤102，也可以先执行步骤103，也可以先执行步骤104，或者同时执行，具体不做限定。

105、根据目标直播间在第二时刻的用户平均观看时长对数、目标直播间在第二时刻的总人数以及状态向量迭代计算直播平台在第二时刻的第一效用参数。

本实施例中，直播间的曝光排序装置在得到目标直播间在第二时刻的用户平均观看时长对数、目标直播间在第二时刻的总人数以及状态向量之后，可以根据目标直播间在第二时刻的用户平均观看时长对数、目标直播间在第二时刻的总人数以及状态向量迭代计算直播平台在第二时刻的第一效用参数，其中，该第一效用参数包括参数W^t+1以及参数β^t+1。具体的可以通过如下计算直播平台在第二时刻的参数W^t+1以及参数β^t+1：

其中，W^t+1(k+1)为第一效用参数中的参数W^t+1在第k轮迭代时的取值，

为目标直播间i在第一时刻的总人数，

为状态向量，n为直播平台中的直播间数量，τ为标准差，

为目标直播间在第一时刻的用户平均观看时长对数，ξ是学习率，取值一般在0.01-0.1之间，此处的β为标准差(为大于0的常数，β的取值一般是0.1-0.5之间)；

通过如下公式迭代获取所述直播平台在所述第二时刻的第一效用参数的参数β^t+1：

其中，β^t+1(k+1)为第二效用参数中的参数β^t+1在第k轮迭代时的取值，τ为标准差，

为目标直播间在第一时刻的用户平均观看时长对数，ξ是学习率，取值一般在0.01-0.1之间。

需要说明的是，在通过公式进行迭代计算β^t+1以及W^t+1时，还可以通过如下公式进行迭代计算参数λ：

其中，λ(k+1)参数λ在第k轮迭代时的取值，ξ是学习率，取值一般在0.01-0.1之间。之后在进行迭代计算目标直播间在第二时刻的效用时，还可以每次更新参数λ的值，具体不限定。

需要说明的是，上述获取直播平台在第二时刻的第一效用参数的参数W^t+1和β^t+1的迭代公式的原理是：为了让目标函数尽可能的大，每次迭代的时候参数应该向梯度最大的方向进行更新，这样能够尽快找到函数的极大值。梯度下降的方向可以通过求目标函数导数的方法进行获取，于是对于参数β，其在时刻t时的导数是

对于参数W，其在时刻t时的导数是

对于参数β，在计算完导数后需要将导数乘以学习率，这样做的好处是每次学习的速度，学习太慢会导致难以收敛，学习太快可能会反复震荡无法找到最大值了，参数W也是如此。

106、根据第一效用参数、第二时刻的用户平均观看时长对数、目标直播间在第二时刻的总人数以及状态向量计算直播平台在所述第二时刻的效用。

本实施例中，直播间的曝光排序装置可以第一效用参数、第二时刻的用户平均观看时长对数、目标直播间在第二时刻的总人数以及状态向量计算直播平台在所述第二时刻的效用。具体的，可以通过如下公式获取直播平台在第二时刻的效用：

其中，n为直播平台中的直播间数量，i为目标直播间，t为第一时刻，t+1为第二时刻，F_t+1为直播平台在第二时刻的效用，

为目标直播间在第二时刻的用户平均观看时长对数，

为状态向量，λ为常数(λ用于调节负向影响的程度)，W^t+1以及β^t+1为第一效用参数。

也就是说，步骤105中每次迭代之后可以得到一个第一效用参数(W^t+1以及β^t+1)，之后将该第一效用参数代入步骤106中的公式中可以得到该次迭代的第一效用参数对应的目标直播间在第二时刻的效用，以此类推，直至达到迭代终止时刻，迭代了多少次，可以得到多少个第一效用参数以及多少个与之对应的目标直播间在第二时刻的效用。

需要说明的是，本发明提供的实施例中，定义直播平台在时刻T的总效用，通过如下公式获取：

其中，U^T是直播平台在1至时刻t之间的效用总和，λ是一个常数，用于调节负向影响的程度，n是平台直播间的总个数。上述公式的含义是：真实的直播间的用户观看人数给直播平台带来的是正向效用，而虚假的用户观看人数给直播平台带来的是负向效用，因此将正向效用减去负向效用。这里的效用可以使用观看人数乘以平均观看时长的对数表示综合的观看强度。直播平台需要不断地进行决策，及时采取行动，调节直播间的资源位，使得总效用最大化。

107、将直播平台在第二时刻的效用最大时对应第一效用参数确定为第二效用参数。

本实施例中，直播间的曝光排序装置在迭代终止后，将直播平台在第二时刻的效用最大时对应的第一效用参数确定为第二效用参数。

108、根据第二效用参数以及状态向量确定目标直播间在第二时刻的第二点击转化率。

本实施例中，对于直播平台而言，可以通过第一时刻t的直播间的状态向量，来决定直播间下个时刻t+1(也即第二时刻)的坑位排序，通过坑位排序可以得到时刻t+1的直播间点击率。这里认为t+1时刻直播间的点击率也是直播间在t时刻状态的线性函数，其原理是点击率可以看作是用户的观看决策过程，是否点击和直播间的状态直接相关，比如真实观看人数多说明该直播间人气高、直播质量高。因此，直播间的曝光排序装置在得到第二效用参数之后，可以根据该第二效用参数以及目标直播间在第一时刻的状态向量确定目标直播间在第二时刻的第二点击转化率。具体的，可以通过如下公式获取目标直播间在第二时刻的第二点击转化率：

其中，ctr_i ^t+1为第二点击转换率，i为目标直播间，t+1为第二时刻，

为状态向量，

以及

为第二效用参数。

109、基于第二点击转化率在第二时刻对目标直播间进行曝光排序。

本实施例中，直播间的曝光排序装置在得到第二点击转化率之后，可以基于该第二点击转化率在第二时刻对目标直播间进行曝光排序，也即根据ctr_i ^t+1在第二时刻对目标直播间进行排序，该目标直播间的ctr_i ^t+1越高，该目标直播间获得的曝光坑位的位置越靠前。

综上所述，可以看出，本发明提供的实施例中，直播间的曝光排序装置确定目标直播间在第一时刻的状态向量，并通过直播间的状态向量来预测第二时刻的虚假观看人数、第二时刻的用户平均观看时长对数以及目标直播间在第二时刻的总人数，之后迭代计算直播平台在第二时刻的效用参数，并根据第二时刻的效用参数计算直播平台在第二时刻的效用，之后取迭代计算中直播平台在第二时刻的效用最大值时对应的效用参数作为最优的效用参数来计算目标直播间在第二时刻的点击转化率，之后根据点击转化率在第二时刻对目标直播间进行曝光排序。由此可以看出，可以通过第一时刻t的直播间的状态向量，来决定直播间下个时刻t+1(也即第二时刻)的坑位排序，通过坑位排序可以得到时刻t+1的直播间点击转化率，这样在进行排序时，使得对直播间的排序更加精准，提高主播的积极性。

下面结合例子进行具体说明：

对于直播平台，直播间i为直播平台中的任意一个直播间，在时刻t可以获取直播间i在t时刻的状态向量

之后对为决策函数的迭代过程进行说明：

以α(0)＝1,u(0)＝(1,1,5,0.01,1,1)，

学习率φ＝0.05为例对

进行迭代来计算α和u的值，具体如下：

第一次迭代：

下一次迭代，使用上述迭代一次的结果计算，在达到迭代终止条件(该迭代终止条件例如可以为参数收敛或者迭代次数达到最大值)时，最终计算得到α和u的值，之后既可以通过α和u的值来预估直播间i在第二时刻的虚假观看人数。

由于确定直播间i在第二时刻的点击转化率需要通过如下公式得到最优的W^t+1和β^t+1，使得F_t+1最大。在F_t+1最大时，直播间能够达到最优的排序，这时的坑位曝光最为合理：

结合上面F_t+1的迭代公式以及下面的公式迭代进行计算，其中，n为直播平台中直播间的总数，

为直播间i在第二时刻的用户平均观看时长对数，

为直播间i在t时刻的状态向量，

为直播间i在t+1时刻的总人数均是已经计算出来的，因此，可以通过

计算得到每次迭代后的F_t+1(也就是说，每次迭代计算得到一个参数W、参数β以及参数λ之后，都将计算得到的参数W、参数β以及参数λ代入到F_t+1进行计算，直至达到迭代终止条件，之后选择F_t+1最大时的参数W、参数β以及参数λ最为最优解)，即可以得到最优的参数W、参数β以及参数λ，使得F_t+1最大：

在计算得到参数W、参数β以及参数λ的最优解之后，可以将该参数W、参数β以及参数λ

可以将直播平台在t+1时刻的参数W、参数β以及直播间i在t时刻的状态向量

代入如下公式，即可以计算得到，直播平台i在t+1时刻的点击转化率：

由此即可以基于该计算得到t+1时刻直播间i的点击转换率对直播间i进行排序，计算得到的点击转化率越大，排序越高，排序越高前的直播间获得的曝光坑位位置越靠前。综上所述，可以看出，本发明提供的实施例中，可以通过t时刻的直播间i的状态向量，来决定直播间i下个时刻t+1的坑位排序，通过坑位排序可以得到时刻t+1的直播间i点击转化率，这样在进行排序时，使得对直播间的排序更加精准，提高主播的积极性。

上面对本发明实施例中直播间的曝光排序方法进行了描述，下面对本发明实施例中的直播间的曝光排序装置进行描述。

请参阅图2，本发明实施例中直播间的曝光排序装置的虚拟结构示意图，直播间的曝光排序装置应用于直播平台，该直播间的曝光排序装置包括：

第一确定单元201，用于确定目标直播间在第一时刻的状态向量，所述状态向量包括所述目标直播间的真实观看人数、所述目标直播间的虚假观看人数、所述目标直播间的虚假观看人数的占比、所述目标直播间曝光的总人数、所述目标直播间中用户平均观看时长对数以及所述目标直播间的第一点击转化率；

预估单元202，用于根据所述状态向量预估所述目标直播间在第二时刻的虚假观看人数，所述第二时刻为所述第一时刻之后的时刻，且所述第二时刻与所述第一时刻之间的间隔为预设时长；

第一计算单元203，用于根据所述目标直播间中用户平均观看时长对数计算所述目标直播间在所述第二时刻的用户平均观看时长对数；

第二计算单元204，用于根据所述目标直播间的虚假观看人数以及所述目标直播间的真实观看人数计算所述目标直播间在所述第二时刻的总人数；

第三计算单元205，用于根据所述目标直播间在所述第二时刻的用户平均观看时长对数、所述目标直播间在所述第二时刻的总人数以及所述状态向量迭代计算所述直播平台在所述第二时刻的第一效用参数；

第四计算单元206，用于根据所述第一效用参数、所述第二时刻的用户平均观看时长对数、所述目标直播间在所述第二时刻的总人数以及所述状态向量计算所述直播平台在所述第二时刻的效用；

第二确定单元207，用于将所述直播平台在所述第二时刻的效用最大时对应的所述第一效用参数确定为第二效用参数；

第三确定单元208，用于根据所述第二效用参数以及所述状态向量确定所述目标直播间在所述第二时刻的第二点击转化率；

排序单元209，用于基于所述第二点击转化率在所述第二时刻对所述目标直播间进行曝光排序。

可选地，所述预估单元202具体用于：

通过如下公式预估所述目标直播间在所述第二时刻的虚假观看人数：

其中，t为所述第一时刻，t+1为所述第二时刻，f_i ^t+1是第二时刻所述目标直播间i的虚假观看人数，

为所述状态向量，Δ是决策函数，

通过如下公式获取：

其中，u为k*1的向量，k为所述目标直播间i的状态向量的维度维度，α是一个常数。

可选第，所述第一计算单元203具体用于：

通过如下公式获取所述目标直播间在所述第二时刻的用户平均观看时长对数：

其中，t为所述第一时刻，t+1为所述第二时刻，

为正态分布，均值是

τ为标准差，

为所述目标直播间在所述第二时刻的用户平均观看时长对数，

为所述目标直播间在所述第一时刻的用户平均观看时长对数。

可选地，所述第一效用参数包括参数W^t+1以及参数β^t+1，所述第三计算单元205具体用于：

通过如下公式迭代获取所述直播平台在所述第二时刻的第一效用参数的参数W^{t +1}：

其中，W^t+1(k+1)为所述第一效用参数中的参数W^t+1在第k轮迭代时的取值，

为所述目标直播间i在所述第一时刻的总人数，

为所述状态向量，n为所述直播平台中的直播间数量，τ为标准差，

为所述目标直播间在所述第一时刻的用户平均观看时长对数，ξ为学习率；

通过如下公式迭代获取所述直播平台在所述第二时刻的第一效用参数的参数β^t+1：

其中，β^t+1(k+1)为所述第二效用参数中的参数β^t+1在第k轮迭代时的取值，τ为标准差，

为所述目标直播间在所述第一时刻的用户平均观看时长对数。

可选地，所述第四计算单元206具体用于：

通过如下公式获取所述直播平台在所述第二时刻的效用：

其中，n为所述直播平台中的直播间数量，i为所述目标直播间，t为所述第一时刻，t+1为所述第二时刻，F_t+1为所述直播平台在所述第二时刻的效用，

为所述目标直播间在所述第二时刻的用户平均观看时长对数，

为所述状态向量，λ为常数，用于调节负向影响的程度，W^t+1以及β^t+1为所述第一效用参数。

可选第，所述第三确定单元208具体用于：

通过如下公式获取所述第二点击转化率：

其中，ctr_i ^t+1为所述第二点击转换率，i为所述目标直播间，t+1为所述第二时刻，

为所述状态向量，

以及

为所述第二效用参数。

上面图2从模块化功能实体的角度对本发明实施例中的直播间的曝光排序装置进行了描述，下面从硬件处理的角度对本发明实施例中的直播间的曝光排序装置进行详细描述，请参阅图3，本发明实施例中的直播间的曝光排序装置300一个实施例，包括：

输入装置301、输出装置302、处理器303和存储器304(其中处理器303的数量可以一个或多个，图3中以一个处理器303为例)。在本发明的一些实施例中，输入装置301、输出装置502、处理器303和存储器304可通过总线或其它方式连接，其中，图3中以通过总线连接为例。

其中，通过调用存储器304存储的操作指令，处理器303，用于执行如下步骤：

确定目标直播间在第一时刻的状态向量，所述状态向量包括所述目标直播间的真实观看人数、所述目标直播间的虚假观看人数、所述目标直播间的虚假观看人数的占比、所述目标直播间曝光的总人数、所述目标直播间中用户平均观看时长对数以及所述目标直播间的第一点击转化率；

根据所述状态向量预估所述目标直播间在第二时刻的虚假观看人数，所述第二时刻为所述第一时刻之后的时刻，且所述第二时刻与所述第一时刻之间的间隔为预设时长；

根据所述目标直播间中用户平均观看时长对数计算所述目标直播间在所述第二时刻的用户平均观看时长对数；

根据所述目标直播间的虚假观看人数以及所述目标直播间的真实观看人数计算所述目标直播间在所述第二时刻的总人数；

根据所述目标直播间在所述第二时刻的用户平均观看时长对数、所述目标直播间在所述第二时刻的总人数以及所述状态向量迭代计算所述直播平台在所述第二时刻的第一效用参数；

根据所述第一效用参数、所述第二时刻的用户平均观看时长对数、所述目标直播间在所述第二时刻的总人数以及所述状态向量计算所述直播平台在所述第二时刻的效用；

将所述直播平台在所述第二时刻的效用最大时对应的所述第一效用参数确定为第二效用参数；

根据所述第二效用参数以及所述状态向量确定所述目标直播间在所述第二时刻的第二点击转化率；

基于所述第二点击转化率在所述第二时刻对所述目标直播间进行曝光排序。

通过调用存储器304存储的操作指令，处理器303，还用于执行图1对应的实施例中的任一方式。

请参阅图4，图4为本发明实施例提供的电子设备的实施例示意图。

如图4所示，本发明实施例提供了一种电子设备，包括存储器410、处理器420及存储在存储器420上并可在处理器420上运行的计算机程序411，处理器420执行计算机程序411时实现以下步骤：

确定目标直播间在第一时刻的状态向量，所述状态向量包括所述目标直播间的真实观看人数、所述目标直播间的虚假观看人数、所述目标直播间的虚假观看人数的占比、所述目标直播间曝光的总人数、所述目标直播间中用户平均观看时长对数以及所述目标直播间的第一点击转化率；

根据所述状态向量预估所述目标直播间在第二时刻的虚假观看人数，所述第二时刻为所述第一时刻之后的时刻，且所述第二时刻与所述第一时刻之间的间隔为预设时长；

根据所述目标直播间中用户平均观看时长对数计算所述目标直播间在所述第二时刻的用户平均观看时长对数；

根据所述目标直播间的虚假观看人数以及所述目标直播间的真实观看人数计算所述目标直播间在所述第二时刻的总人数；

根据所述目标直播间在所述第二时刻的用户平均观看时长对数、所述目标直播间在所述第二时刻的总人数以及所述状态向量迭代计算所述直播平台在所述第二时刻的第一效用参数；

根据所述第一效用参数、所述第二时刻的用户平均观看时长对数、所述目标直播间在所述第二时刻的总人数以及所述状态向量计算所述直播平台在所述第二时刻的效用；

将所述直播平台在所述第二时刻的效用最大时对应的所述第一效用参数确定为第二效用参数；

根据所述第二效用参数以及所述状态向量确定所述目标直播间在所述第二时刻的第二点击转化率；

基于所述第二点击转化率在所述第二时刻对所述目标直播间进行曝光排序。

在具体实施过程中，处理器420执行计算机程序411时，可以实现图1对应的实施例中任一实施方式。

由于本实施例所介绍的电子设备为实施本发明实施例中一种直播间的曝光排序装置所采用的设备，故而基于本发明实施例中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本发明实施例中的方法不再详细介绍，只要本领域所属技术人员实施本发明实施例中的方法所采用的设备，都属于本发明所欲保护的范围。

请参阅图5，图5为本发明实施例提供的一种计算机可读存储介质的实施例示意图。

如图5所示，本实施例提供了一种计算机可读存储介质500，其上存储有计算机程序511，该计算机程序511被处理器执行时实现如下步骤：

确定目标直播间在第一时刻的状态向量，所述状态向量包括所述目标直播间的真实观看人数、所述目标直播间的虚假观看人数、所述目标直播间的虚假观看人数的占比、所述目标直播间曝光的总人数、所述目标直播间中用户平均观看时长对数以及所述目标直播间的第一点击转化率；

根据所述状态向量预估所述目标直播间在第二时刻的虚假观看人数，所述第二时刻为所述第一时刻之后的时刻，且所述第二时刻与所述第一时刻之间的间隔为预设时长；

根据所述目标直播间中用户平均观看时长对数计算所述目标直播间在所述第二时刻的用户平均观看时长对数；

根据所述目标直播间的虚假观看人数以及所述目标直播间的真实观看人数计算所述目标直播间在所述第二时刻的总人数；

根据所述目标直播间在所述第二时刻的用户平均观看时长对数、所述目标直播间在所述第二时刻的总人数以及所述状态向量迭代计算所述直播平台在所述第二时刻的第一效用参数；

根据所述第一效用参数、所述第二时刻的用户平均观看时长对数、所述目标直播间在所述第二时刻的总人数以及所述状态向量计算所述直播平台在所述第二时刻的效用；

将所述直播平台在所述第二时刻的效用最大时对应的所述第一效用参数确定为第二效用参数；

根据所述第二效用参数以及所述状态向量确定所述目标直播间在所述第二时刻的第二点击转化率；

基于所述第二点击转化率在所述第二时刻对所述目标直播间进行曝光排序。

在具体实施过程中，该计算机程序511被处理器执行时可以实现图1对应的实施例中任一实施方式。

需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机软件指令，当计算机软件指令在处理设备上运行时，使得处理设备执行如图1对应实施例中的风电场数字化平台设计的方法中的流程。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

Claims (10)

1.一种直播间的曝光排序方法，应用于直播平台，其特征在于，包括：

确定目标直播间在第一时刻的状态向量，所述状态向量包括所述目标直播间的真实观看人数、所述目标直播间的虚假观看人数、所述目标直播间的虚假观看人数的占比、所述目标直播间曝光的总人数、所述目标直播间中用户平均观看时长对数以及所述目标直播间的第一点击转化率；

根据所述状态向量预估所述目标直播间在第二时刻的虚假观看人数，所述第二时刻为所述第一时刻之后的时刻，且所述第二时刻与所述第一时刻之间的间隔为预设时长；

根据所述目标直播间中用户平均观看时长对数计算所述目标直播间在所述第二时刻的用户平均观看时长对数；

根据所述目标直播间的虚假观看人数以及所述目标直播间的真实观看人数计算所述目标直播间在所述第二时刻的总人数；

根据所述目标直播间在所述第二时刻的用户平均观看时长对数、所述目标直播间在所述第二时刻的总人数以及所述状态向量迭代计算所述直播平台在所述第二时刻的第一效用参数；

根据所述第一效用参数、所述第二时刻的用户平均观看时长对数、所述目标直播间在所述第二时刻的总人数以及所述状态向量计算所述直播平台在所述第二时刻的效用；

将所述直播平台在所述第二时刻的效用最大时对应的所述第一效用参数确定为第二效用参数；

根据所述第二效用参数以及所述状态向量确定所述目标直播间在所述第二时刻的第二点击转化率；

基于所述第二点击转化率在所述第二时刻对所述目标直播间进行曝光排序。

2.根据权利要求1所述的方法，其特征在于，所述根据所述状态向量预估所述目标直播间在第二时刻的虚假观看人数包括：

通过如下公式预估所述目标直播间在所述第二时刻的虚假观看人数：

其中，t为所述第一时刻，t+1为所述第二时刻，f_i ^t+1是第二时刻所述目标直播间i的虚假观看人数，

为所述状态向量，△是决策函数，

通过如下公式获取：

其中，u为k*1的向量，k为所述目标直播间i的状态向量的维度维度，α是一个常数。

3.根据权利要求1所述的方法，其特征在于，所述根据所述目标直播间中用户平均观看时长对数计算所述目标直播间在所述第二时刻的用户平均观看时长对数包括：

通过如下公式获取所述目标直播间在所述第二时刻的用户平均观看时长对数：

其中，t为所述第一时刻，t+1为所述第二时刻，

为正态分布，均值是

τ为标准差，

为所述目标直播间在所述第二时刻的用户平均观看时长对数，

为所述目标直播间在所述第一时刻的用户平均观看时长对数。

4.根据权利要求1所述的方法，其特征在于，所述第一效用参数包括参数W^t+1以及参数β^t+1，所述根据所述目标直播间在所述第二时刻的用户平均观看时长对数、所述目标直播间在所述第二时刻的总人数以及所述状态向量迭代计算所述直播平台在所述第二时刻的第一效用参数包括：

通过如下公式迭代获取所述直播平台在所述第二时刻的第一效用参数的参数W^t+1：

其中，W^t+1(k+1)为所述第一效用参数中的参数W^t+1在第k轮迭代时的取值，

为所述目标直播间i在所述第一时刻的总人数，

为所述状态向量，n为所述直播平台中的直播间数量，τ为标准差，

为所述目标直播间在所述第一时刻的用户平均观看时长对数，ξ为学习率；

通过如下公式迭代获取所述直播平台在所述第二时刻的第一效用参数的参数β^t+1：

其中，β^t+1(k+1)为所述第二效用参数中的参数β^t+1在第k轮迭代时的取值，τ为标准差，

为所述目标直播间在所述第一时刻的用户平均观看时长对数。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一效用参数、所述第二时刻的用户平均观看时长对数、所述目标直播间在所述第二时刻的总人数以及所述状态向量计算所述直播平台在所述第二时刻的效用包括：

通过如下公式获取所述直播平台在所述第二时刻的效用：

其中，n为所述直播平台中的直播间数量，i为所述目标直播间，t为所述第一时刻，t+1为所述第二时刻，F_t+1为所述直播平台在所述第二时刻的效用，

为所述目标直播间在所述第二时刻的用户平均观看时长对数，

为所述状态向量，λ为常数，用于调节负向影响的程度，W^t+1以及β^t+1为所述第一效用参数。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据所述第二效用参数以及所述状态向量确定所述目标直播间在所述第二时刻的第二点击转化率包括：

通过如下公式获取所述第二点击转化率：

其中，ctr_i ^t+1为所述第二点击转换率，i为所述目标直播间，t+1为所述第二时刻，

为所述状态向量，

以及

为所述第二效用参数。

7.一种直播间的曝光排序装置，应用于直播平台，其特征在于，包括：

第一确定单元，用于确定目标直播间在第一时刻的状态向量，所述状态向量包括所述目标直播间的真实观看人数、所述目标直播间的虚假观看人数、所述目标直播间的虚假观看人数的占比、所述目标直播间曝光的总人数、所述目标直播间中用户平均观看时长对数以及所述目标直播间的第一点击转化率；

预估单元，用于根据所述状态向量预估所述目标直播间在第二时刻的虚假观看人数，所述第二时刻为所述第一时刻之后的时刻，且所述第二时刻与所述第一时刻之间的间隔为预设时长；

第一计算单元，用于根据所述目标直播间中用户平均观看时长对数计算所述目标直播间在所述第二时刻的用户平均观看时长对数；

第二计算单元，用于根据所述目标直播间的虚假观看人数以及所述目标直播间的真实观看人数计算所述目标直播间在所述第二时刻的总人数；

第三计算单元，用于根据所述目标直播间在所述第二时刻的用户平均观看时长对数、所述目标直播间在所述第二时刻的总人数以及所述状态向量迭代计算所述直播平台在所述第二时刻的第一效用参数；

第四计算单元，用于根据所述第一效用参数、所述第二时刻的用户平均观看时长对数、所述目标直播间在所述第二时刻的总人数以及所述状态向量计算所述直播平台在所述第二时刻的效用；

第二确定单元，用于将所述直播平台在所述第二时刻的效用最大时对应的所述第一效用参数确定为第二效用参数；

第三确定单元，用于根据所述第二效用参数以及所述状态向量确定所述目标直播间在所述第二时刻的第二点击转化率；

排序单元，用于基于所述第二点击转化率在所述第二时刻对所述目标直播间进行曝光排序。

8.根据权利要求7所述的装置，其特征在于，所述第一效用参数包括参数W^t+1以及参数β^t+1，所述第三计算单元具体用于：

通过如下公式迭代获取所述直播平台在所述第二时刻的第一效用参数的参数W^t+1：

其中，W^t+1(k+1)为所述第一效用参数中的参数W^t+1在第k轮迭代时的取值，

为所述目标直播间i在所述第一时刻的总人数，

为所述状态向量，n为所述直播平台中的直播间数量，τ为标准差，

为所述目标直播间在所述第一时刻的用户平均观看时长对数，ξ为学习率；

通过如下公式迭代获取所述直播平台在所述第二时刻的第一效用参数的参数β^t+1：

其中，β^t+1(k+1)为所述第二效用参数中的参数β^t+1在第k轮迭代时的取值，τ为标准差，

为所述目标直播间在所述第一时刻的用户平均观看时长对数。

9.一种电子设备，包括存储器、处理器，其特征在于，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求1至6中任意一项所述的直播间的曝光排序方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机管理类程序，其特征在于：所述计算机管理类程序被处理器执行时实现如权利要求1至6中任意一项所述的直播间的曝光排序方法的步骤。

Images