CN112492396B - 一种基于细粒度的多方面分析的短视频点击率预测方法 - Google Patents

一种基于细粒度的多方面分析的短视频点击率预测方法 Download PDF

Info

Publication number
CN112492396B
CN112492396B CN202011443387.XA CN202011443387A CN112492396B CN 112492396 B CN112492396 B CN 112492396B CN 202011443387 A CN202011443387 A CN 202011443387A CN 112492396 B CN112492396 B CN 112492396B
Authority
CN
China
Prior art keywords
user
short video
negative feedback
positive
representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011443387.XA
Other languages
English (en)
Other versions
CN112492396A (zh
Inventor
顾盼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou 9810 Technology Co ltd
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202011443387.XA priority Critical patent/CN112492396B/zh
Publication of CN112492396A publication Critical patent/CN112492396A/zh
Application granted granted Critical
Publication of CN112492396B publication Critical patent/CN112492396B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种基于细粒度的多方面分析的短视频点击率预测方法。该方法根据用户对短视频的点击和未点击序列，预测用户对目标短视频的点击率。本方法主要由五个部分组成：第一部分是将用户行为序列分割成块(block)序列，并在块内采用自注意力机制得到块向量表征。第二部分是采用长短期记忆网络从块向量表征抽取用户动态兴趣表征。第三部分是利用门机制从用户兴趣表征和目标短视频中抽取多方面(multi‑aspect)特征。第四部分是利用交互注意力机制(interactive attention)，得到多方面的重要性，并更新多方面特征。第五部分是利用基于目标短视频的注意力机制，从多方面特征中抽取和目标短视频相关的兴趣向量表征，并预测用户对目标短视频的点击率。

Description

一种基于细粒度的多方面分析的短视频点击率预测方法
技术领域
本发明属于互联网服务技术领域，尤其是涉及一种基于细粒度的多方面分析的短视频点击率预测方法。
背景技术
短视频是一种新型的且时间较短的视频。短视频的拍摄不需要使用专业设备，也不需要专业技巧。用户直接通过手机就可以很方便地进行拍摄和上传到短视频平台，因此短视频平台的短视频数量增长得非常快。这使得对有效短视频推荐系统的需求非常迫切，有效的短视频推荐系统可以提升用户体验和用户黏性，从而给平台带来巨大的商业价值。
近些年，很多研究者提出了基于视频的个性化推荐方法。这些方法可以分为三类：协同过滤、基于内容的推荐和混合推荐方法。但是相比于视频，短视频有着不同的特点：描述文本质量较低、时长较短且用户在一段时间内的交互序列较长。因此，短视频推荐是一个更具有挑战性的任务，并且有研究者提出了一些方法。例如，Chen等人利用分层的注意力机制去计算物品和类目这两种级别的重要性，得到更准确的预测结果。Li等人结合正负反馈数据，并使用基于图的循环神经网络去建模，最后得到用户的偏好。
Chen等人的方法只采用了用户的正反馈信息，没有考虑用户的负反馈信息对推荐的影响。Li等人的方法没有更细粒度地分析用户的正反馈信息和负反馈信息之间的相同点和差异点，采用相同的模型结构来处理正反馈和负反馈信息。通常来讲，结合用户的正反馈和负反馈信息来预测用户对目标短视频的点击率，需要判断正反馈和负反馈的相同特征和不同特征。如果是正反馈和负反馈信息中都普遍出现的特征，那么代表用户不看重该特征，也就是特征的重要性较低。如果是正反馈和负反馈信息中的不同特征，那么代表这个特征比较重要，决定了用户是否点击该短视频。本方法利用门机制从正反馈和负反馈信息中抽取多方面(multi-aspect)特征，并利用交互注意力机制(interactive attention)细粒度地对用户的正负反馈信息的多方面特征进行分析，来提高推荐的准确性。
发明内容
本发明所要解决的技术问题是根据用户对短视频的点击和未点击序列，预测用户对目标短视频的点击率。本方法分析正反馈和负反馈的相同特征和不同特征。如果是正反馈和负反馈信息中都普遍出现的特征，那么代表用户不看重该特征，也就是特征的重要性较低。如果是正反馈和负反馈信息中的不同特征，那么代表这个特征比较重要，决定了用户是否点击该短视频。为此，本发明采用以下技术方案：
一种基于细粒度的多方面分析的短视频点击率预测方法，包括以下步骤：
将用户正负反馈信息分块(block)，块内采用自注意力机制得到块向量表征。对于一个用户的点击行为序列
Figure BDA0002823287540000011
可以表示为
Figure BDA0002823287540000012
其中
Figure BDA0002823287540000013
是短视频的封面图特征向量，d是特征向量长度。未点击序列可以表示为
Figure BDA0002823287540000014
因为短视频时长较短，造成用户的行为序列比较长。所以，本方法用一个长度为w的窗口将序列X+以及X-分割成m个块，用户在一个块里的交互的短视频往往比较相似。每个块特征表征sj的计算方式如下：
Figure BDA0002823287540000015
attnji＝W0σ(W1xji+W2mj+ba)
Figure BDA0002823287540000016
sj＝ranh(W4mj+bs)
其中，用户的正负反馈序列计算方法一致且参数不共享，为了表达简单，以上所有的公式略去表示正负反馈的上标+和-。xji代表序列中第j个块中的第i个短视频向量表征，sj表示第j个块向量表征，且S＝{s1,s2,…,sm}表示块序列。attnji代表xji的重要程度。sj＝tanh(W4mj+bs)表示在自注意力机制上再加一层MLP，增强模型的非线性。
Figure BDA0002823287540000021
和
Figure BDA0002823287540000022
是模型需要训练的参数。σ为sigmoid函数，tanh代表tanh激活函数。
采用长短期记忆网络从块(block)向量表征抽取用户动态兴趣表征hj。同样，用户的正负反馈序列计算方法一致且参数不共享，为了表达简单，以下所有的公式略去上标+和-：
hj＝LSTM(sj)
其中，sj表示第j个块向量表征。LSTM(sj)表示长短时记忆网络(LSTM)对序列S＝{s1，s2，...，sm}进行建模，如下：
ij＝σ(Wisj+uihj-1+bi)
fj＝σ(Wfsj+ufhj-1+bf)
oj＝σ(Wosj+uohj-1+bo)
cj＝iktanh(Wcsj+uchj-1+bc)+fjcj-1
hj＝ojcj
其中，长短期记忆网络每一层的隐藏状态hj的输出就是用户兴趣表征。sj是当前层的节点输入，
Figure BDA0002823287540000023
Figure BDA0002823287540000024
和
Figure BDA0002823287540000025
分别是控制输入门ij、遗忘门fj和输出门oj的参数。σ为sigmoid函数。所有这些参数和输入：隐层状态hj-1、当前输入sj共同参与计算，来输出结果hj。
利用门机制从从用户兴趣表征和目标短视频中抽取多方面(multi-aspect)特征。短视频由更细粒度的方面(比如，视频场景、视频主题、视频情绪)组成。本方法采用门机制抽取方面特征，下面公式是抽取第j个用户兴趣表征的第k个方面。用户的正负反馈序列计算方法一致且参数共享，为了表达简单，以下所有的公式略去上标+和-：
pk，j＝hj⊙σ(Wk，1hj+Wk，2qk+bk)
其中，
Figure BDA0002823287540000026
和
Figure BDA0002823287540000027
是第k个方面的转移矩阵，
Figure BDA0002823287540000028
是第k个方面的偏置向量。σ是sigmoid激活函数，⊙是元素级别的乘法。hj是从块(block)向量表征抽取的第j个用户兴趣表征，qk是第k个方面表征且qk为所有用户共享。短视频的方面个数M是超参数。得到每个块的每个方面向量表征之后，本方法采用平均池(average pooling)将所有用户兴趣中同一个方面信息聚合：
Figure BDA0002823287540000029
其中，m是用户兴趣的个数。最后我们可以从正反馈和负反馈序列中得到M个方面特征
Figure BDA00028232875400000210
和
Figure BDA00028232875400000211
采用相同的办法，可以从目标短视频中得到M个方面特征
Figure BDA00028232875400000212
利用交互注意力机制(interactive attention)，得到多方面(multi-aspect)的重要性，并更新多方面特征。分析正反馈和负反馈的相同特征和不同特征。如果是正反馈和负反馈信息中都普遍出现的特征，那么代表用户不看重该特征，也就是特征的重要性较低。如果是正反馈和负反馈信息中的不同特征，那么代表这个特征比较重要，决定了用户是否点击该短视频。多方面(multi-aspect)的重要性计算公式如下：
Figure BDA00028232875400000213
attnk＝softmax(attnk)
pk＝attnkpk
其中，
Figure BDA00028232875400000214
和
Figure BDA00028232875400000215
分别是从正反馈和负反馈序列中抽取的方面特征。cos三角函数是计算向量相似度的基本公式。且-cos表示正负反馈相同方面的特征越接近，attnk越小，也就是该方面的重要性越低。反之，正负反馈相同方面的特征差异越大，attnk越大，也就是该方面的重要性越高。softmax是一种正则化方式。
利用基于目标短视频的注意力机制，从多方面(multi-aspect)特征中抽取和目标短视频相关的兴趣向量表征。用户的正负反馈序列计算方法一致且参数不共享，为了表达简单，以下所有的公式略去上标+和-：
Figure BDA00028232875400000216
Figure BDA00028232875400000217
其中，pk为序列第k个方面特征，
Figure BDA00028232875400000218
为目标短视频第k个方面特征。参数
Figure BDA00028232875400000219
和参数
Figure BDA00028232875400000220
控制每个方面特征的权重，参数b是偏置参数。σ是sigmoid激活函数。
根据用户兴趣表征，预测用户对目标短视频的点击率：
Figure BDA0002823287540000031
Figure BDA0002823287540000032
其中，v+和v-分别为用户在正反馈序列和负反馈序列下的兴趣表征，
Figure BDA0002823287540000033
为向量拼接操作。
Figure BDA0002823287540000034
和
Figure BDA0002823287540000035
是转移矩阵，
Figure BDA0002823287540000036
是偏置向量，b2是偏置标量。σ是sigmoid激活函数。
根据模型特性，设计损失函数。通过用户对目标短视频的点击率预测值
Figure BDA0002823287540000037
计算预测值
Figure BDA0002823287540000038
和真实值y之间的误差，进而使用误差来更新模型参数。我们采用交叉熵损失函数来指导模型参数的更新过程：
Figure BDA0002823287540000039
其中，y∈{0，1}是真实值，代表用户是否点击了目标短视频。σ是sigmoid函数。最后采用Adam优化器更新模型参数。
本发明的有益技术效果如下：
(1)本发明提出了一种基于细粒度的多方面分析的短视频点击率预测方法。采用基于方面(aspect)的门机制将用户的正反馈和负反馈序列转换到相同的方面(aspect)空间下，并一一对应进行比较和分析。
(2)本发明提出了一种基于细粒度的多方面分析的短视频点击率预测方法。采用交互注意力机制(interactive attention)计算不同方面的重要性。方面的重要性取决于正反馈和负反馈信息中一一对应的方面(aspect)特征的相似度。
(3)本发明将用户行为序列分割成块(block)序列，且因块内的短视频间隔时间太短，而不考虑块内的序列性，只考虑块间的序列性。所以，在块内采用自注意力(self-attention)机制得到块向量表征，再采用长短期记忆网络从块(block)向量表征抽取用户动态兴趣表征。
附图说明
图1为本发明一种基于细粒度的多方面分析的短视频点击率预测方法的流程示意图；
图2为本发明一种基于细粒度的多方面分析的短视频点击率预测方法的模型框架图。
具体实施方式
为了进一步理解本发明，下面结合具体实施方式对本发明提供的一种基于细粒度的多方面分析的短视频点击率预测方法进行具体描述，但本发明并不限于此，该领域技术人员在本发明核心指导思想下做出的非本质改进和调整，仍然属于本发明的保护范围。
短视频点击率预测任务是建立一个模型去预测用户点击短视频的概率。用户的历史序列表示为
Figure BDA00028232875400000310
Figure BDA00028232875400000311
其中p∈{+，-}分别代表点击和未点击行为，xj代表第j个短视频，l是序列的长度。整个序列可以进一步细分为点击序列
Figure BDA00028232875400000312
和未点击序列
Figure BDA00028232875400000313
也就是正反馈和负反馈信息。因此，短视频点击率预测问题可以表示成：输入用户点击序列
Figure BDA00028232875400000314
未点击的序列
Figure BDA00028232875400000315
以及目标短视频xnew，来预测用户对目标短视频xnew的点击率。
为此，本发明提出了一种基于细粒度的多方面分析的短视频点击率预测方法。它根据用户对短视频的点击和未点击序列，预测用户对目标短视频的点击率。这里的用户短视频序列输入的是短视频的封面图向量表征。通常来讲，结合用户的正反馈和负反馈信息来预测用户对目标短视频的点击率，需要判断正反馈和负反馈的相同特征和不同特征。如果是正反馈和负反馈信息中都普遍出现的特征，那么代表用户不看重该特征，也就是特征的重要性较低。如果是正反馈和负反馈信息中的不同特征，那么代表这个特征比较重要，决定了用户是否点击该短视频。本方法细粒度地对用户的正负反馈信息的多方面进行分析，来提高推荐的准确性。
本方法主要由五个部分组成，如图2所示。第一部分是将用户行为序列分割成块(block)序列，并在块内采用自注意力机制得到块(block)向量表征。短视频平台中，短视频时间较短且用户的短视频观看行为非常频繁，可以认为序列中连续的短视频具有相近的特征。第二部分是采用长短期记忆网络从块(block)向量表征抽取用户动态兴趣表征。第三部分是利用门机制从用户兴趣表征和目标短视频中抽取多方面(multi-aspect)特征。第四部分是利用交互注意力机制(interactive attention)，得到多方面(multi-aspect)的重要性，并更新多方面特征。第五部分是利用基于目标短视频的注意力机制，从多方面(multi-aspect)特征中抽取和目标短视频相关的兴趣向量表征，并预测用户对目标短视频的点击率。
如图1所示，按照本发明的一个实施例，本方法包括如下步骤：
S100，将用户正负反馈信息分块(block)，块内采用自注意力机制得到块向量表征。对于一个用户的点击行为序列
Figure BDA0002823287540000041
可以表示为
Figure BDA0002823287540000042
其中
Figure BDA0002823287540000043
是短视频的封面图特征向量，d是特征向量长度。未点击序列可以表示为
Figure BDA0002823287540000044
因为短视频时长较短，造成用户的行为序列比较长。所以，本方法用一个长度为w的窗口将序列X+以及X-分割成m个块，用户在一个块里的交互的短视频往往比较相似。每个块特征表征sj的计算方式如下：
Figure BDA0002823287540000045
attnji＝W0σ(W1xji+W2mj+ba)
Figure BDA0002823287540000046
sj＝tanh(W4mj+bs)
其中，用户的正负反馈序列计算方法一致且参数不共享，为了表达简单，以上所有的公式略去表示正负反馈的上标+和-。xji代表序列中第j个块中的第i个短视频向量表征，sj表示第j个块向量表征，且S＝{s1，s2，...，sm}表示块序列。attnji代表xji的重要程度。sj＝tanh(W4mj+bs)表示在自注意力机制上再加一层MLP，增强模型的非线性。
Figure BDA0002823287540000047
和
Figure BDA0002823287540000048
是模型需要训练的参数。σ为sigmoid函数，tanh代表tanh激活函数。
S200，采用长短期记忆网络从块(block)向量表征抽取用户动态兴趣表征hj。同样，用户的正负反馈序列计算方法一致且参数不共享，为了表达简单，以下所有的公式略去上标+和-：
hj＝LSTM(sj)
其中，sj表示第j个块向量表征。LSTM(sj)表示长短时记忆网络(LSTM)对序列S＝(s1，s2，...，sm}进行建模，如下：
ij＝σ(Wisj+uihj-1+bi)
fj＝σ(Wfsj+ufhj-1+bf)
oj＝σ(Wosj+uohj-1+bo)
cj＝iktanh(Wcsj+uchj-1+bc)+fjcj-1
hj＝ojcj
其中，长短期记忆网络每一层的隐藏状态hj的输出就是用户兴趣表征。sj是当前层的节点输入，
Figure BDA0002823287540000049
Figure BDA00028232875400000410
和
Figure BDA00028232875400000411
分别是控制输入门ij、遗忘门fj和输出门oj的参数。σ为sigmoid函数。所有这些参数和输入：隐层状态hj-1、当前输入sj共同参与计算，来输出结果hj。
S300，利用门机制从从用户兴趣表征和目标短视频中抽取多方面(multi-aspect)特征。短视频由更细粒度的方面(比如，视频场景、视频主题、视频情绪)组成。本方法采用门机制抽取方面特征，下面公式是抽取第j个用户兴趣表征的第k个方面。用户的正负反馈序列计算方法一致且参数共享，为了表达简单，以下所有的公式略去上标+和-：
pk，j＝hj⊙σ(Wk，1hj+Wk，2qk+bk)
其中，
Figure BDA00028232875400000412
和
Figure BDA00028232875400000413
是第k个方面的转移矩阵，
Figure BDA00028232875400000414
是第k个方面的偏置向量。σ是sigmoid激活函数，⊙是元素级别的乘法。hj是从块(block)向量表征抽取的第j个用户兴趣表征，qk是第k个方面表征且qk为所有用户共享。短视频的方面个数M是超参数，本方法中通过实验验证设置为5。得到用户兴趣的每个方面向量表征之后，本方法采用平均池(average pooling)将所有用户兴趣中同一个方面信息聚合：
Figure BDA0002823287540000051
其中，m是用户兴趣的个数。最后我们可以从正反馈和负反馈序列中得到M个方面特征
Figure BDA0002823287540000052
和
Figure BDA0002823287540000053
采用相同的办法，可以从目标短视频中得到M个方面特征
Figure BDA0002823287540000054
S400，利用交互注意力机制(interactive attention)，得到多方面(multi-aspect)的重要性，并更新多方面特征。分析正反馈和负反馈的相同特征和不同特征。如果是正反馈和负反馈信息中都普遍出现的特征，那么代表用户不看重该特征，也就是特征的重要性较低。如果是正反馈和负反馈信息中的不同特征，那么代表这个特征比较重要，决定了用户是否点击该短视频。多方面(multi-aspect)的重要性计算公式如下：
Figure BDA0002823287540000055
attnk＝softmax(attnk)
pk＝attnkpk
其中，
Figure BDA0002823287540000056
和
Figure BDA0002823287540000057
分别是从正反馈和负反馈序列中抽取的方面特征。cos三角函数是计算向量相似度的基本公式。且-cos表示正负反馈相同方面的特征越接近，attnk越小，也就是该方面的重要性越低。反之，正负反馈相同方面的特征差异越大，attnk越大，也就是该方面的重要性越高。softmax是一种正则化方式。
S500，利用基于目标短视频的注意力机制，从多方面(multi-aspect)特征中抽取和目标短视频相关的兴趣向量表征。用户的正负反馈序列计算方法一致且参数不共享，为了表达简单，以下所有的公式略去上标+和-：
Figure BDA0002823287540000058
Figure BDA0002823287540000059
其中，pk为序列第k个方面特征，
Figure BDA00028232875400000510
为目标短视频第k个方面特征。参数
Figure BDA00028232875400000511
和参数
Figure BDA00028232875400000512
控制每个方面特征的权重，参数b是偏置参数。σ是sigmoid激活函数。
S600，根据用户兴趣表征，预测用户对目标短视频的点击率：
Figure BDA00028232875400000513
Figure BDA00028232875400000514
其中，v+和v-分别为用户在正反馈序列和负反馈序列下的兴趣表征，
Figure BDA00028232875400000515
为向量拼接操作。
Figure BDA00028232875400000516
和
Figure BDA00028232875400000517
是转移矩阵，
Figure BDA00028232875400000518
是偏置向量，b2是偏置标量。σ是sigmoid激活函数。
S700，根据模型特性，设计损失函数。通过用户对目标短视频的点击率预测值
Figure BDA00028232875400000519
计算预测值
Figure BDA00028232875400000520
和真实值y之间的误差，进而使用误差来更新模型参数。我们采用交叉熵损失函数来指导模型参数的更新过程：
Figure BDA00028232875400000521
其中，y∈{0，1}是真实值，代表用户是否点击了目标短视频。σ是sigmoid函数。我们采用Adam优化器更新模型参数。
上述对实施例的描述是为方便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (2)

1.一种基于细粒度的多方面分析的短视频点击率预测方法，其特征在于：
将用户正负反馈信息分块，块内采用自注意力机制得到块向量表征；对于一个用户的点击行为序列
Figure FDA00032850102500000125
可以表示为
Figure FDA0003285010250000011
其中
Figure FDA0003285010250000012
是短视频的封面图特征向量，d是特征向量长度；未点击序列可以表示为
Figure FDA0003285010250000013
本方法用一个长度为w的窗口将序列X+以及X-分割成m个块；每个块特征表征sj的计算方式如下：
Figure FDA0003285010250000014
Figure FDA0003285010250000015
Figure FDA0003285010250000016
sj＝tanh(W4mj+bs)
其中，用户的正负反馈序列分块计算方法一致且参数不共享，并且所有的公式略去表示正负反馈的上标+和-；xji代表序列中第j个块中的第i个短视频向量表征，
Figure FDA00032850102500000126
是采用平均法得到的第j个块向量表征，mj是采用自注意力机制得到的第j个块向量表征，sj表示最终的第j个块向量表征，且S＝{s1，s2，...，sm}表示块序列；attnji代表xji的重要程度；sj＝tanh(W4mj+bs)表示在自注意力机制上再加一层MLP，增强模型的非线性；
Figure FDA0003285010250000017
是模型需要训练的参数；σ为sigmoid函数，tanh代表tanh激活函数；
采用长短期记忆网络从块向量表征抽取用户动态兴趣表征hj；其中用户的正负反馈序列计算方法一致且参数不共享，并且所有的公式略去表示正负反馈的上标+和-，抽取所述用户动态兴趣表征hj的公式如下：
hj＝LSTM(sj)
其中，sj表示第j个块向量表征；LSTM(sj)表示长短时记忆网络对序列s＝{s1，s2，...，sm}进行建模；
利用门机制从从用户兴趣表征和目标短视频中抽取多方面特征；短视频由更细粒度的方面组成；本方法采用门机制抽取方面特征，下面公式是抽取第j个用户兴趣表征的第k个方面，其中用户的正负反馈序列计算方法一致且参数共享，并且所有的公式略去表示正负反馈的上标+和-：
pk，j＝hj⊙σ(Wk，1hj+Wk，2qk+bk)
其中，
Figure FDA0003285010250000018
和
Figure FDA0003285010250000019
是第k个方面的转移矩阵，
Figure FDA00032850102500000110
是第k个方面的偏置向量；σ是sigmoid激活函数，⊙是元素级别的乘法；hj是从块向量表征抽取的第j个用户兴趣表征，qk是第k个方面表征且qk为所有用户共享；短视频的方面个数M是超参数；得到用户兴趣的每个方面向量表征之后，本方法采用平均池将所有用户兴趣中同一个方面信息聚合：
Figure FDA00032850102500000111
其中，m是用户兴趣的个数；最后可以从正反馈和负反馈序列中得到M个方面特征
Figure FDA00032850102500000112
和
Figure FDA00032850102500000113
同样，采用相同参数的门机制
Figure FDA00032850102500000114
从目标短视频向量表征xnew中得到M个方面特征
Figure FDA00032850102500000115
利用交互注意力机制，得到多方面的重要性，并更新多方面特征；交互指代由正反馈和负反馈序列中抽取的方面特征共同决定多方面的重要性，具体公式如下：
Figure FDA00032850102500000116
attnk＝softmax(attnk)
Figure FDA00032850102500000124
Figure FDA00032850102500000117
其中，
Figure FDA00032850102500000118
和
Figure FDA00032850102500000119
分别是从正反馈和负反馈序列中抽取的方面特征；cos三角函数是计算向量相似度的基本公式；且-cos表示正负反馈相同方面的特征越接近，attnk越小，也就是该方面的重要性越低；反之，正负反馈相同方面的特征差异越大，attnk越大，也就是该方面的重要性越高；softmax是一种正则化方式；用
Figure FDA00032850102500000120
和
Figure FDA00032850102500000121
分别得到正反馈和负反馈序列的考虑了方面重要性的方面特征
Figure FDA00032850102500000122
和
Figure FDA00032850102500000123
利用基于目标短视频的注意力机制，从多方面特征中抽取和目标短视频相关的兴趣向量表征；基于目标短视频指代序列的方面特征的重要性取决于目标短视频：
Figure FDA0003285010250000021
Figure FDA0003285010250000022
Figure FDA0003285010250000023
Figure FDA0003285010250000024
其中，
Figure FDA0003285010250000025
和
Figure FDA0003285010250000026
为正反馈和负反馈序列的第k个方面特征，
Figure FDA0003285010250000027
为目标短视频第k个方面特征；参数
Figure FDA0003285010250000028
Figure FDA0003285010250000029
和参数W5，
Figure FDA00032850102500000210
控制每个方面特征的权重，参数b是偏置参数；σ是sigmoid激活函数；
Figure FDA00032850102500000211
和
Figure FDA00032850102500000212
分别代表是正反馈和负反馈序列的第k个方面特征基于目标短视频的重要性；v-和v+分别为用户在正反馈序列和负反馈序列下的兴趣表征；
根据用户兴趣表征，预测用户对目标短视频的点击率：
Figure FDA00032850102500000213
Figure FDA00032850102500000214
其中，v+和v-分别为用户在正反馈序列和负反馈序列下的兴趣表征，
Figure FDA00032850102500000215
为向量拼接操作；v是结合了用户正反馈和负反馈信息的最终的兴趣表征；
Figure FDA00032850102500000216
和
Figure FDA00032850102500000217
是转移矩阵，
Figure FDA00032850102500000218
是偏置向量，b2是偏置标量；σ是sigmoid激活函数；
根据模型特性，设计损失函数；通过用户对目标短视频的点击率预测值
Figure FDA00032850102500000219
计算预测值
Figure FDA00032850102500000220
和真实值y之间的误差，进而使用误差来更新模型参数；其中采用交叉熵损失函数来指导模型参数的更新过程：
Figure FDA00032850102500000221
其中，y∈{0，1}是真实值，代表用户是否点击了目标短视频；σ是sigmoid函数；最后采用Adam优化器更新模型参数。
2.根据权利要求1所述的一种基于细粒度的多方面分析的短视频点击率预测方法，其特征在于：所述长短时记忆网络结构为：
ij＝σ(Wisj+Uihj-1+bi)
fj＝σ(Wfsj+Ufhj-1+bf)
oj＝σ(Wosj+Uohj-1+bo)
cj＝iktanh(Wcsj+Uchj-1+bc)+fjcj-1
hj＝ojcj
其中，长短期记忆网络每一层的隐藏状态hj的输出就是用户兴趣表征；sj是第j个块向量表征，为当前层的节点输入；
Figure FDA00032850102500000222
Figure FDA00032850102500000223
和
Figure FDA00032850102500000224
分别是控制输入门ij、遗忘门fj和输出门oj的参数；cj-1是上一层单元状态，Wc、Uc和bc是控制单元状态cj更新的参数；σ为sigmoid函数；所有这些参数和隐层状态hj-1以及当前输入sj共同参与计算，来输出结果hj。
CN202011443387.XA 2020-12-08 2020-12-08 一种基于细粒度的多方面分析的短视频点击率预测方法 Active CN112492396B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011443387.XA CN112492396B (zh) 2020-12-08 2020-12-08 一种基于细粒度的多方面分析的短视频点击率预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011443387.XA CN112492396B (zh) 2020-12-08 2020-12-08 一种基于细粒度的多方面分析的短视频点击率预测方法

Publications (2)

Publication Number Publication Date
CN112492396A CN112492396A (zh) 2021-03-12
CN112492396B true CN112492396B (zh) 2021-11-16

Family

ID=74941190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011443387.XA Active CN112492396B (zh) 2020-12-08 2020-12-08 一种基于细粒度的多方面分析的短视频点击率预测方法

Country Status (1)

Country Link
CN (1) CN112492396B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385070B (zh) * 2023-01-18 2023-10-03 中国科学技术大学 电商短视频广告多目标预估方法、系统、设备及存储介质
CN116489464B (zh) * 2023-04-12 2023-10-17 浙江纳里数智健康科技股份有限公司 5g应用领域中一种基于异构双层网络的医疗资讯推荐方法
CN116933055B (zh) * 2023-07-21 2024-04-16 重庆邮电大学 一种基于大数据的短视频用户点击预测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10785332B2 (en) * 2014-03-18 2020-09-22 Outbrain Inc. User lifetime revenue allocation associated with provisioned content recommendations
CN109800325B (zh) * 2018-12-26 2021-10-26 北京达佳互联信息技术有限公司 视频推荐方法、装置和计算机可读存储介质
CN109960759B (zh) * 2019-03-22 2022-07-12 中山大学 基于深度神经网络的推荐系统点击率预测方法
CN110363346B (zh) * 2019-07-12 2024-07-23 腾讯科技（北京）有限公司 点击率预测方法、预测模型的训练方法、装置及设备
CN111369278A (zh) * 2020-02-19 2020-07-03 杭州电子科技大学 一种基于用户长短时期兴趣建模的点击率预测方法
CN111538761A (zh) * 2020-04-21 2020-08-14 中南大学 基于注意力机制的点击率预测方法

Also Published As

Publication number Publication date
CN112492396A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN112492396B (zh) 一种基于细粒度的多方面分析的短视频点击率预测方法
CN111079532A (zh) 一种基于文本自编码器的视频内容描述方法
CN112395504B (zh) 一种基于序列胶囊网络的短视频点击率预测方法
CN111797321A (zh) 一种面向不同场景的个性化知识推荐方法及系统
CN119089398B (zh) 基于语义识别的内容推荐方法及系统
CN111563770A (zh) 一种基于特征差异化学习的点击率预估方法
CN111429885A (zh) 一种将音频片段映射为人脸嘴型关键点的方法
CN113240179A (zh) 融合时空信息的轨道人流量预测方法及系统
CN118673220B (zh) 一种基于深度学习与大数据融合的智能推荐系统及其方法
CN109840595B (zh) 一种基于群体学习行为特征的知识追踪方法
CN112256916A (zh) 一种基于图胶囊网络的短视频点击率预测方法
CN111460331A (zh) 一种基于时空图的会话推荐方法
CN112199550A (zh) 一种基于情感胶囊网络的短视频点击率预测方法
CN112307258B (zh) 一种基于双层胶囊网络的短视频点击率预测方法
CN112765401B (zh) 一种基于非局部网络和局部网络的短视频推荐方法
CN112395505B (zh) 一种基于协同注意力机制的短视频点击率预测方法
CN112256918B (zh) 一种基于多模态动态路由的短视频点击率预测方法
CN118262272A (zh) 一种基于视频识别的区域人流量预测方法及系统
Liu et al. Improving ultrasound tongue image reconstruction from lip images using self-supervised learning and attention mechanism
CN112616072B (zh) 一种基于用户正负反馈信息的短视频点击率预测方法
CN110942463A (zh) 一种基于生成对抗网络的视频目标分割方法
CN114444698B (zh) 信息推荐模型训练方法、装置、计算机设备和存储介质
CN110363074A (zh) 一种针对复杂抽象化事物的类人化识别交互方法
Zhu et al. A new diffusion method for blind image denoising
CN115512437A (zh) 基于空间和长短期时序特征建模的小样本动作识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231218

Address after: Room 407-10, floor 4, building 2, Haichuang science and technology center, Cangqian street, Yuhang District, Hangzhou City, Zhejiang Province, 311100

Patentee after: Zhejiang Zhiduo Network Technology Co.,Ltd.

Address before: 310018 258 Xueyuan street, Xiasha Higher Education Park, Hangzhou City, Zhejiang Province

Patentee before: China Jiliang University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20250606

Address after: 350000 Fujian Province, Fuzhou City, Gaoxin District, Wulongjiang Middle Avenue 7#, Innovation Park Phase II, Building 17, 19th Floor, Room 1949-13

Patentee after: Fuzhou 9810 Technology Co.,Ltd.

Country or region after: China

Address before: Room 407-10, floor 4, building 2, Haichuang science and technology center, Cangqian street, Yuhang District, Hangzhou City, Zhejiang Province, 311100

Patentee before: Zhejiang Zhiduo Network Technology Co.,Ltd.

Country or region before: China