CN116933055B - 一种基于大数据的短视频用户点击预测方法 - Google Patents

Abstract

本发明涉及人工智能领域，具体涉及一种基于大数据的短视频用户点击预测方法，包括获取用户的行为序列，对行为数据进行预处理，预处理包括降噪和缺失值补全；构建基于LSTM模型的特征提取模型，将预处理后的数据输入该模型提取用户行为表示；构建基于MLP网络架构的非线性交互模型，利用非线性交互模型基于用户行为表示得到用户特征表示；将用户特征表示输入逻辑回归预测模型，得到用户点击预测结果；本发明增强模型对用户点击行为的预测能力，能够更好地捕捉用户行为序列中的特征关联和非线性模式。

Description

一种基于大数据的短视频用户点击预测方法

技术领域

本发明涉及人工智能领域，具体涉及一种基于大数据的短视频用户点击预测方法。

背景技术

在信息化时代下，越来越多的人可以随时随地使用手机观看视频内容。这为短视频提供了广阔的用户基础和便捷的观看方式，使得用户可以在碎片化的时间里快速浏览、分享和创作短视频。短视频通常时长较短，一般在几十秒到几分钟之间，较为符合现代人碎片化的时间观念和消费习惯。而对短视频用户的点击行为进行预测，不但可以通过预测用户的点击行为，可以更准确地了解用户的偏好和兴趣，从而提供更相关和吸引人的视频推荐，提升用户体验，还能帮助平台优化内容生产策略，创作更受用户欢迎的视频，提高内容的质量和吸引力。同时，预测用户的点击行为可以帮助广告主和平台更好地了解用户的兴趣和行为习惯，以便更精准地投放广告，实现平台盈利的“短平快”。

现有的点击预测模型在处理用户行为序列时往往采用线性模型或简单的特征交互方式，无法充分捕捉用户行为的复杂关联和动态演化且对于大面积空值的处理上造成了大量的数据浪费。为此，本发明提出了一种基于大数据的短视频用户点击预测方法，通过引入一种基于经典非线性的模型和特征交互方法，能够更准确地预测用户的点击行为，并且使用了一种基于属性关联和公式预测的处理空值的方法。

发明内容

为解决以上现有技术存在的问题，本发明提出一种基于大数据的短视频用户点击预测方法，具体步骤包括：

获取用户的行为序列，对行为数据进行预处理，预处理包括降噪和缺失值补全；

构建基于LSTM模型的特征提取模型，将预处理后的数据输入该模型提取用户行为表示；

构建基于MLP网络架构的非线性交互模型，利用非线性交互模型基于用户行为表示得到用户特征表示；

将用户特征表示输入逻辑回归预测模型，得到用户点击预测结果。

进一步的，对用户的行为序列进行降噪的过程包括：

设置一个滑动窗口，计算在一个窗口内用户的行为序列的平均值和标准差；

根据当前行为的属性值及其在对应窗口内行为序列的平均值和标准差计算该行为对应的噪声得分；

设置噪声阈值，若当前行为的噪声得分小于设置的噪声阈值，则保留；否则将改行为视为噪声并去除该行为值。

进一步的，对用户的行为序列进行缺失值补全的过程包括：

其中i≠k；

其中，F(x)为对数据x_k的缺失值补充公式；n为用户行为序列中的元素个数；w_i表示降噪后用户的行为序列中第i个属性的权重；log(·)表示自然对数函数；tanh(·)表示双曲正切函数；sin(·)表示正弦函数；cos(·)表示余弦函数；|·|表示取绝对值。

进一步的，构建基于LSTM模型的特征提取模型的过程包括：

将用户行为的样本数量、时间步数以及特征维度拼接在一起作为LSTM模型的输入；

利用当前时间步的隐藏状态作为查询值、当前时间步之前的所有时间步的隐藏向量作为键值计算每个样本在每个时间步的注意力权重；

利用注意力权重对记忆细胞状态进行加权。

进一步的，利用注意力权重对记忆细胞状态进行加权的过程包括：

其中，C_t ^′为t时刻利用注意力权重更新后的记忆细胞状态；N为样本的中数量；a_t,i为在时间步t时第i个样本的注意力权重；C_t,i为在时间步t与第i个样本相关的记忆细胞状态。

进一步的，基于MLP网络架构的非线性交互模型对输入数据的处理过程包括：

将用户行为表示作为用户特征序列输入非线性交互模型；

利用自注意力机制计算对用户特征序列进行处理，得到特征表示H；

将特征表示作为非线性交互模型的输入，非线性交互模型中包括多个隐藏层对特征表示进行非线性变换，非线性交互模型的输出层输出最终的特征表示。

进一步的，非线性交互模型中第l层的隐藏状态表示为：

其中，H^(l)表示线性交互模型中第l层的隐藏状态；为非线性交互模型中第l层的隐藏层的权重矩阵；/>为非线性交互模型中第l层的隐藏层的偏置矩阵；N为样本的总数量。

进一步的，非线性交互模型的输出表示为：

其中，Y为非线性交互模型的输出；softmax(·)为归一化函数； 分别为输出层的权重矩阵；b^(L)、/>分别为输出层的偏置向量；H^(L-1)为线性交互模型中输出层的前一层隐藏状态。

进一步的，对逻辑回归模型进行训练时，逻辑回归模型的损失函数表示：

其中，表示逻辑回归模型的损失函数；N为样本数量；y_i表示第i个样本的真实标签值，/>表示第i个样本的预测标签值。

与现有技术相比，本发明具有以下有益效果：

1、本发明采用基于LSTM网络架构的改进模型架构能够实现对用户行为序列的非线性建模和表示学习。通过将用户的历史行为序列输入基于LSTM网络架构的改进模型的网络，网络可以学习并记忆序列中的模式和特征，从而对未来的点击行为进行预测。相比于传统的线性建模方法，基于LSTM网络架构的改进模型引入了注意力机制，虽然LSTM本身已经设计用于解决长期依赖问题，但在处理非常长的序列时，仍然可能存在信息传递的困难。注意力机制的引入在一定程度上使模型在处理序列数据层面的感受野更加广阔，通过对不同时间步之间的关联进行加权处理，能够更好地捕捉用户行为序列中的非线性模式和动态变化，提高预测准确性。

2、本发明采用基于MLP网络架构的改进模型能够实现对基于LSTM网络架构的改进模型的输出向量向量的非线性特征交互。在本发明中将基于LSTM网络架构的改进模型输出向量进行self-attention处理后作为输入，通过多个隐藏层和非线性激活函数的数学变换，实现了特征之间的非线性交互。这样的特征交互能够进一步提取和组合特征信息，增强模型对用户点击行为的预测能力，能够更好地捕捉用户行为序列中的特征关联和非线性模式。

3、本发明提出了修改的损失函数，对预测结果进行了一系列的数学变换，以增强损失函数的表达能力。通过引入更多的非线性特性和数学运算，这样的损失函数能够更好地捕捉用户点击行为的分布特征和复杂关系，提升预测性能。

附图说明

图1为本发明实施例一种基于大数据的短视频用户点击预测方法的流程图；

图2为本发明实施例一种基于大数据的短视频用户点击预测方法的模型结构图；

图3为本发明实施例一种基于大数据的短视频用户点击预测方法的数据处理模块中缺失值填补模块的原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出一种基于大数据的短视频用户点击预测方法，如图1，具体步骤包括：

获取用户的行为序列，对行为数据进行预处理，预处理包括降噪和缺失值补全；

构建基于LSTM模型的特征提取模型，将预处理后的数据输入该模型提取用户行为表示；

构建基于MLP网络架构的非线性交互模型，利用非线性交互模型基于用户行为表示得到用户特征表示；

将用户特征表示输入逻辑回归预测模型，得到用户点击预测结果。

在一些实施例中，本发明的互联网电商投诉智能处理方法可以应用于计算机设备与服务器共存的场景中，其中，计算机设备通过网络与服务器进行通信。计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器来实现。

如图2所示，本实施例对用户行为序列进行预处理数据操作，包括对用户序列数据进行降噪和缺失值补全，具体包括：

(一)降噪

本发明中采集的用户的行为序列是由用户的各种行为及属性构成的，用户的行为和属性包括用户的点赞、用户的评论是否正向、用户的转发、用户id，视频id、视频配乐id、浏览时间、视频类型id等构成的行为数据，将这些由用户属性和特征直接拼接起来作为用户的行为序列，表示为：

X＝{x₁,x₂,…,x_n}

其中，X表示用户的行为序列，x_i表示用户的行为序列中第i个行为的特征值(即用户的一个行为或者一个属性)，n表示用户行为的总数量。

本发明对用户的行为序列进行去噪处理时，基于滑动窗口和均值滤波的方法，该方法具体包括：

步骤1：设置一个滑动窗口，利用滑动窗口计算一个窗口内各个行为的噪声得分，具体包括：

计算滑动窗口平均值，表示为：

其中，avg_i表示第i个滑动窗口内各行为噪声得分的均值；k为滑动窗口的大小。

根据特征值及其对应的平均值和标准差计算该特征值对应的噪声得分，噪声得分表示为：

其中，std_i表示滑动窗口内数据的标准差。

步骤2：设置一个噪声阈值，将特征值对应的噪声分数与噪声阈值进行比较，当噪声阈值大于等于噪声分数时，将该数据滤除，具体包括以下步骤：

根据输入的用户行为序列X＝{x₁,x₂,…,x_n}计算其对应的噪声得分序列S＝{s₁,s₂,…,s_n}，比较每个噪声得分与设置阈值的大小得到去除噪声的用户行为序列，包括：

X_clean＝{x_i for i if s_i＜threshold}

其中，X_clean＝{x_clean1,x_clean2,…,x_cleanm}表示去除噪声的用户行为序列，x_cleanm表示序列X_clean中的第m个元素，m≤n；threshold为噪声阈值。

(二)缺失值补全

通过去噪处理后，用户的行为序列中存在缺失值，需要对用户行为序列中的缺失值进行填补，如图3，本实施例中采用除了缺失值之外的其他特征对缺失值进行补充，例如图3中，若FeatueA为特征值，则利用对FeatueB和FeatueC进行加权来得到FeatueA填补值，具体包括以下步骤：

步骤1：通过建立数据结构，将用户的各个属性关联起来，将点赞、评论和情感极性等属性进行关联；

步骤2：利用没有缺失数据的样本进行训练，通过构建一个预测公式来估计缺失属性的值。具体表示为：

其中i≠k；

其中，n表示用户的行为序列中的元素个数；w_i表示降噪后用户的行为序列中第i个属性的权重，该权重可以基于训练学习得到；tanh(·)表示双曲正切函数，其作用是将用户属性值映射到-1到1区间内,然后根据最小二乘法来拟合这个函数，在训练过程中，使用训练数据集中的样本来计算损失函数(即残差平方和)，然后根据最小化损失函数的目标来调整模型参数，重复这个过程，直到达到停止条件或收敛，例如属性A缺失，那么可以将属性A用其它维度的属性值来替换。

根据用户的操作时间对用户的行为序列排序，以保证时序信息，针对用户的时间推移，时间越临近可以认为该条特征对用户的当前行为影响越大。

在本实施例中，构建基于LSTM模型的特征提取模型，将预处理后的数据输入该模型提取用户行为表示，具体包括以下步骤：

步骤1：将经过缺失值补全后的用户行为序列作为输入，即将X＝{x₁,x₂,…,x_n}作为输入，该序列中各个属性值经过去噪后并通过缺失值补全操作进行填充；

步骤2：LSTM模型的输入要求是3D张量，形状为(batch_size,time_steps,feature_dim)，在本实施例中，将用户的行为序列根据上述形状进行调整，若用户序列有N个样本(即每个用户包括N属性值)，调整后得到的输入序列X_input表示为{N,T,D}，其中T表示时间步，D表示特征维度；

步骤3：在本实施例中，对LSTM模型进行改进，得到基于LSTM模型的特征提取模型，本实施例的改进包括：

对于每个时间步t，从LSTM模型中获取对应的记忆细胞状态，基于注意力机制计算一个注意力权重；

在计算注意力权重时，将当前时间步的隐藏状态h_t作为查询值Q、将当前时间之前的所有隐藏状态作为键值K，通过查询值和键值计算得到注意力权重；

利用计算的注意力权重对记忆细胞状态进行加权更新，注意力权重更新后的记忆细胞状态表示为：

其中，C_t ^′为t时刻利用注意力权重更新后的记忆细胞状态；N为样本的中数量；a_t,i为为在时间步t时第i个样本的注意力权重；C_t,i为在时间步t与第i个样本相关的记忆细胞状态。

本实施例对用户历史行为序列进行特征交互操作具体包括：

步骤1：对于基于MLP网络架构的改进模型的输入层，构造用户特征序列：

X＝{p₁,p₂,…,p_n,q₁,q₂,…,q_n,t₁,t₂,…,t_n,…}

其中，p_n,q_n,t_n分别表示用户不同特征的n维表示；X是由用户所有特征的n维表示构成的。

在本实施例中通过自注意力机制构建输入向量，计算查询和键之间的相似度，得到注意力权重矩阵S；接着使用softmax函数对注意力权重矩阵进行归一化操作，确保注意力权重之和等于1；最后将注意力权重A与值矩阵V进行加权求和，得到经过自注意力机制的特征表示H，具体包括以下步骤：

Q＝X·W_Q；

K＝X·W_K；

V＝X·W_V；

A＝softmax(S)；

H＝A·V；

其中，X表示用户特征序列，W_Q、W_K、W_V是可学习的权重矩阵，d_k是键向量的维度，Q表示查询向量，K表示键向量，V表示值矩阵。通过将输入序列X分别与权重矩阵W_Q、W_K、W_V相乘，得到对应的查询、键和值。

步骤2：对于基于MLP网络架构的改进模型的隐藏层，将当前隐藏层的上一层或者输入层的输出作为该层的输入，非线性交互模型中第l层的隐藏状态表示为：

其中，H^(l)表示线性交互模型中第l层的隐藏状态；为非线性交互模型中第l层的隐藏层的权重矩阵；/>为非线性交互模型中第l层的隐藏层的偏置矩阵。在隐藏层中，使用指数函数和对数函数来增加非线性变换的精度，以及正弦函数来引入周期性特征交互。

步骤3：对于基于MLP网络架构的改进模型的输出层，将隐藏层部分最后一层的输出作为该层的输入，非线性交互模型的输出表示为：

其中，Y为非线性交互模型的输出；softmax(·)为归一化函数；W^(L)、 分别为输出层的权重矩阵；b^(L)、/>分别为输出层的偏置向量；H^(L-1)为线性交互模型中输出层的前一层隐藏状态。

本实施例对用户历史行为序列进行预测操作具体包括：

步骤1：将特征交互后得到的序列调整形状后传入逻辑回归模型；

步骤2：利用历史数据对逻辑回归模型进行训练的过程中，逻辑回归模型的损失函数表示为：

其中，表示逻辑回归模型的损失函数，用于表示模型对用户行为的预测结果置信度和用户点击行为真实标签在同量纲空间上的差异；N为样本数量；y_i表示第i个样本的真实标签值，/>表示第i个样本的预测标签值。

在改进的损失函数中，对预测结果进行了一系列的数学变换，具体包括：

首先，将分别作为正弦函数和余弦函数的输入，然后对它们的结果分别取对数，并将两个对数函数的结果相加；

接着，将作为指数函数的输入，并将指数函数的结果与之前的结果相加。最后，将结果乘以真实标签y_i，并对所有样本进行求和和平均，这样的数学变换引入了更多的非线性特性和数学运算，以增强损失函数的表达能力，通过使用多个对数函数和指数函数，可以捕捉更多的分布特征和复杂关系，从而更好地适应用户点击行为预测模型的任务需求。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种基于大数据的短视频用户点击预测方法，其特征在于，具体包括以下步骤：

获取用户的行为序列，对行为数据进行预处理，预处理包括降噪和缺失值补全；

构建基于LSTM模型的特征提取模型，将预处理后的数据输入该模型提取用户行为表示；构建基于LSTM模型的特征提取模型的过程包括：

将用户行为的样本数量、时间步数以及特征维度拼接在一起作为LSTM模型的输入；

利用当前时间步的隐藏状态作为查询值、当前时间步之前的所有时间步的隐藏向量作为键值计算每个样本在每个时间步的注意力权重；

利用注意力权重对记忆细胞状态进行加权，包括：

其中，C_t ^′为t时刻利用注意力权重更新后的记忆细胞状态；N为样本的总数量；a_t,i为在时间步t时第i个样本的注意力权重；C_t,i为在时间步t与第i个样本相关的记忆细胞状态；

构建基于MLP网络架构的非线性交互模型，利用非线性交互模型基于用户行为表示得到用户特征表示，包括以下步骤：

将用户行为表示作为用户特征序列输入非线性交互模型；

利用自注意力机制计算对用户特征序列进行处理，得到特征表示H；

将特征表示作为非线性交互模型的输入，非线性交互模型中包括多个隐藏层对特征表示进行非线性变换，非线性交互模型的输出层输出最终的特征表示，非线性交互模型中第l层的隐藏状态表示为：

其中，H^(l)表示线性交互模型中第l层的隐藏状态；为非线性交互模型中第l层的隐藏层的权重矩阵；/>为非线性交互模型中第l层的隐藏层的偏置矩阵；N为样本的总数量；

将用户特征表示输入逻辑回归预测模型，得到用户点击预测结果。

2.根据权利要求1所述的一种基于大数据的短视频用户点击预测方法，其特征在于，对用户的行为序列进行降噪的过程包括：

设置一个滑动窗口，计算在一个窗口内用户的行为序列的平均值和标准差；

根据当前行为的属性值及其在对应窗口内行为序列的平均值和标准差计算该行为对应的噪声得分；

设置噪声阈值，若当前行为的噪声得分小于设置的噪声阈值，则保留；否则将当前行为视为噪声并删除当前行为的属性值。

3.根据权利要求1或2所述的一种基于大数据的短视频用户点击预测方法，其特征在于，对用户的行为序列进行缺失值补全的过程包括：

其中i≠k；

其中，F(x)为对数据x_k的缺失值补充公式；n为用户行为序列中的元素个数；w_i表示降噪后用户的行为序列中第i个属性的权重；log(·)表示自然对数函数；tanh(·)表示双曲正切函数；sin(·)表示正弦函数；cos(·)表示余弦函数；|·|表示取绝对值。

4.根据权利要求1所述的一种基于大数据的短视频用户点击预测方法，其特征在于，非线性交互模型的输出表示为：

其中，Y为非线性交互模型的输出；softmax(·)为归一化函数；W^(L)、 分别为输出层的权重矩阵；b^(L)、/>分别为输出层的偏置向量；H^(L-1)为线性交互模型中输出层的前一层隐藏状态。

5.根据权利要求1所述的一种基于大数据的短视频用户点击预测方法，其特征在于，对逻辑回归模型进行训练时，逻辑回归模型的损失函数表示：

其中，表示逻辑回归模型的损失函数；N为样本数量；y_i表示第i个样本的真实标签值，/>表示第i个样本的预测标签值。