CN115379293A - 智能电视点播用户时序行为预测方法、设备和计算机可读存储介质 - Google Patents

智能电视点播用户时序行为预测方法、设备和计算机可读存储介质 Download PDF

Info

Publication number
CN115379293A
CN115379293A CN202210392827.6A CN202210392827A CN115379293A CN 115379293 A CN115379293 A CN 115379293A CN 202210392827 A CN202210392827 A CN 202210392827A CN 115379293 A CN115379293 A CN 115379293A
Authority
CN
China
Prior art keywords
behavior
user
sequence
vector
embedding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210392827.6A
Other languages
English (en)
Other versions
CN115379293B (zh
Inventor
孙桂明
齐恒
申彦明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202210392827.6A priority Critical patent/CN115379293B/zh
Publication of CN115379293A publication Critical patent/CN115379293A/zh
Application granted granted Critical
Publication of CN115379293B publication Critical patent/CN115379293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

智能电视点播用户时序行为预测方法、设备和计算机可读存储介质，属于人类时序行为数据挖掘领域，为了解决自注意力机制用于用户行为预测的问题，要点是对用户的当前点播行为序列进行特征嵌入得到用户的当前点播行为嵌入序列，通过将用户当前点播行为嵌入序列输入自注意力网络层，得到反映用户的短期行为状态的查询向量，根据所述查询向量，获取反映用户长期和短期行为规律的规律向量，将用户向量与规律向量拼接得到拼接特征向量，将拼接特征向量通过两层全连接网络得到聚合特征向量，将聚合特征向量输入到预测层，获取所有节目的可能性分布，并将概率最大的节目作为所预测的用户下一次点击行为所选定节目进行输出，效果是不仅大幅提高了预测模型的预测准确率，同时极大提高了模型训练时的计算效率。

Description

智能电视点播用户时序行为预测方法、设备和计算机可读存 储介质
技术领域
本发明属于人类时序行为数据挖掘领域，具体涉及一种用于智能家居用户的时序行为预测的方法。
背景技术
随着物联网技术的飞速发展，智能家居设备及应用服务已在人们的日常生活中广泛普及，为用户带来了便捷，为实现智慧生活奠定了基础。当前智能家居设备厂商及服务提供商均会记录用户与设备及服务之间的交互行为数据，从而分析用户体验，挖掘设备及服务的改善策略。同时，这些行为数据也反映出用户的使用习惯。可进一步基于历史数据来预测用户行为趋势，一方面提前进行资源调度，保障用户服务质量；另一方面为实现异常行为奠定基础。
用户行为数据可被视为典型的时序数据，经常表现出高阶的时间特性，具有多层次的周期性转换规律，例如人们可能经常在每天、每周或者每个月的固定时间段来使用某项服务，因此，可以通过对用户的时序行为数据进行分析建模，提取用户的行为偏好，进而帮助预测用户接下来的行为。但用户时序行为数据挖掘仍然面临着许多挑战。首先，用户行为通常是一种主观行为，只有当用户使用相关的服务时，其行为才能够被记录，这导致用户时序行为数据十分稀疏。其次，用户的活跃行为在时间上的分布并不均衡，使得用户行为数据表现出非常复杂的转换规律。并且，用户的行为偏好具有动态性和随机性，会对模型在行为数据上的建模效果产生极大的影响。
当前大量的时间序列预测方法被应用到各类行为预测任务之上。传统的解决方案例如基于矩阵分解的预测方法，将用户和行为映射到隐式的特征空间之中，利用相应的特征向量乘积来重构评分矩阵进行预测。而基于马尔科夫链的预测方法，则是通过建立概率转移矩阵的方式，来预测用户的下一个行为，但是由于其所遵循的独立性假设，严重限制了其在行为序列预测任务上的表现。为了从用户的时序行为数据中建模复杂的行为规律，许多深度学习的方法开始被提出，并取得了更为优秀的预测效果。在众多深度学习网络中，循环神经网络(Recurrent Neural Network，RNN)由于其强大的序列建模能力而从中脱颖而出，成为序列预测网络主体结构的首选。然而，虽然基于循环神经网络的时序预测方法已经在预测效果上取得了非常显著的提升，但是它们在建模行为序列的长期信息以及推理计算效率方面仍然留有进一步研究的空间。
最近，自注意力机制(Self-Attention Mechanism)在自然语言处理领域中表现出了极为优异的全局依赖关系捕获能力，取得了明显优于循环神经网络的序列建模效果，并且自注意力机制能够支持并行计算，可以显著提高序列预测任务的计算效率。
循环神经网络是一种建模序列数据十分有效的神经网络模型，能够挖掘数据中的时序信息以及语义信息，其内部是一个循环递归的结构，在每一个时间步会对当前时刻的输入以及上一时间步得到的隐藏层进行综合分析，输出当前时间步的隐藏层结果。循环神经网络的递归结构是建模序列数据的基础，但它同时也会导致网络在建模数据时逐渐丢失历史信息。因此，长短期记忆网络(Long Short-Term Memory，LSTM)被提出用于缓解该现象。作为循环神经网络的一个变种，它通过所设计的一个记忆单元以及三个门控机制对信息进行选择性的存储，有效缓解了循环神经网络的长期依赖问题。为了加强网络的长期规律建模能力，人们开始尝试利用注意力机制配合循环神经网络对序列数据进行分析，取得了非常好的效果。注意力机制受启发于人类的视觉研究，人们在进行视觉处理时，往往不会对画面的每一处细节都进行分析，而是会选择性地关注于图像的某些部分，忽略不相关的信息。这种“选择性注意”就是注意力机制背后的原理，循环神经网络通过与注意力机制进行配合，可以在每一个时间步选择性地对历史建模信息进行关注，动态地从序列中捕获相关的上下文信息进行输出，进一步强化了循环神经网络的长期建模能力。
自注意力机制又称为内部注意力机制，是一种特殊的注意力机制。它不包含任何循环或卷积结构，而完全依赖于注意力机制对序列数据进行建模。它的这种特殊网络结构使得模型在建模序列数据时，可以无视距离的限制，对任意两个元素之间的依赖关系进行分析，极大地增强了模型的长期规律建模能力。此外，由于自注意力机制在计算输出的时候，不像循环神经网络一样，需要依赖于上一时间步的输出结果，因此它可以进行并行计算，提高了训练时的计算效率。虽然自注意力机制已经在序列建模任务上取得了明显优于循环神经网络的效果，但是受其自身结构的限制，无法直接将其应用在用户的行为预测任务之上。首先，自注意力机制虽然可以很好地建模序列的全局依赖关系，但是它在计算时的空间复杂度过高，导致其无法对较长的行为序列直接进行训练。并且，自注意力机制是为自然语言处理领域所设计的机制，其本身并没有考虑时间因素等信息，而这些信息对于时序行为序列预测任务来说十分的重要。
发明内容
为了解决自注意力机制用于用户行为预测的问题，提高用户行为预测推理的并行计算效率。
为了实现上述目的，本发明提出如下技术方案：一种智能电视点播用户时序行为预测方法，包括如下步骤：
对用户的当前点播行为序列进行特征嵌入得到用户的当前点播行为嵌入序列，
通过将用户当前点播行为嵌入序列输入自注意力网络层，得到反映用户的短期行为状态的查询向量，
根据所述查询向量，获取反映用户长期和短期行为规律的规律向量，
将用户向量与规律向量拼接得到拼接特征向量，
将拼接特征向量通过两层全连接网络得到聚合特征向量，
将聚合特征向量输入到预测层，获取所有节目的可能性分布，并将概率最大的节目作为所预测的用户下一次点击行为所选定节目进行输出。
在一种实施例中，各用户的历史点播记录表示为q＝(u,b,t)，其中u、b、t分别代表相应记录的用户ID、节目ID和点播行为时间戳，每个用户的行为序列S＝{q1,q2,…,q|S|}，|S|是行为序列的长度；
所述特征嵌入序列E＝[B,Pt,PΔt]由行为嵌入序列B、时间段嵌入序列Pt和时间间隔嵌入序列PΔt的组合得到。
在一种实施例中，对行为序列进行特征嵌入所得为行为嵌入序列、时间嵌入序列；
所述行为嵌入序列基于如下方式构建：
根据节目的数量，设置可学习的嵌入向量
Figure BDA0003597674960000031
用于表示不同节目的点播行为，db是嵌入向量的维度；
对应于由至少一个点播记录组成的行为序列，构建由相应嵌入向量组成的行为嵌入序列
Figure BDA0003597674960000032
n是行为序列的长度；
所述时间嵌入序列包括时间段嵌入序列和时间间隔嵌入序列；
所述时间段嵌入序列基于如下方式构建：
设置48个可学习的嵌入向量
Figure BDA0003597674960000033
对应于工作日和休息日的48个小时段，dt是时间段向量的维度；
将行为序列中每个记录的时间戳映射到相应的小时段，构建相应的时间段嵌入序列
Figure BDA0003597674960000034
所述时间间隔嵌入序列基于如下方式构建：
设置100个嵌入向量
Figure BDA0003597674960000035
分别对应不同的时间间隔区间对应着序列中相应行为记录的时间戳，构建时间间隔嵌入序列
Figure BDA0003597674960000036
dΔt是时间间隔向量的维度。
在一种实施例中，根据所述查询向量，获取反映用户长期和短期行为规律的规律向量，基于如下方式实现：
根据所述查询向量，在用户的历史行为嵌入序列中查询与所述查询向量相关的向量，
通过前馈神经网络获取反映用户的长期行为规律的上下文向量，
将上下文向量与查询向量拼接形成更新的查询向量，
至少一次的将上下文向量与最新更新的查询向量拼接，得到反映用户长期和短期行为规律的规律向量；
所述历史行为嵌入序列是对各用户的历史行为长序列切分为各用户的历史行为短序列，对用户的历史行为短序列进行特征嵌入所得，所述用户的历史行为长序列是由不同用户的历史点播记录组成的不同用户的历史行为长序列。
在一种实施例中，所述行为序列包括点播记录，将行为长序列切分为行为短序列，包括如下步骤：
判断历史行为长序列的前一个点播记录与后一个点播记录的时间间隔与间隔阈值范围的关系：
若该间隔小于间隔阈值范围最小端点值，舍弃后一个点播记录，前一个点播记录保留作为当前历史行为短序列的一部分，
若该间隔落入间隔阈值范围内，将前一个点播记录和后一个点播记录同时保留，作为当前历史行为短序列的一部分,
若该间隔大于间隔阈值范围最大端点值，则将前一个点播记录作为当前历史行为短序列的最后一个记录，后一个点播记录作为后一个历史行为短序列的第一个记录。
在一种实施例中，根据所述查询向量，获取反映用户长期和短期行为规律的规律向量的方法，包括：
S1.用户的当前点播行为序列Sc的行为嵌入向量Ec通过自注意力网络层得到表示用户的近期点播状态的特征查询向量q，通过如下公式表示：
Figure BDA0003597674960000041
其中，Attention()表示注意力计算函数，Q、K和V分别代表查询嵌入、键嵌入以及值嵌入，d表示查询嵌入、键嵌入以及值嵌入的维度大小；
SA(E)＝Attention(EWQ,EWK,EWV)
其中，SA()表示自注意力网络，WQ、WK和WV分别代表自注意力网络的查询投影矩阵、键投影矩阵以及值投影矩阵；
FFN(S)＝Gelu(SW1+b1)W2+b2
其中，FFN()表示前馈神经网络，Gelu()表示激活函数，W1、W1、b1和b2是前馈神经网络的可学习参数；
Figure BDA0003597674960000051
其中，SA()表示自注意力网络，FFN()表示前馈神经网络；
S2.特征查询向量q与用户的历史行为短序列Sh的行为嵌入向量Eh点积运算，运算得到注意力相关性分数；
S3.通过注意力相关性分数对用户的历史行为短序列Sh的行为嵌入向量Eh加权求和运算；
S4.从用户的历史行为短序列Sh中聚合得到用户当前点播状态最相关的信息；
S5.将用户当前点播状态最相关的信息通过一层前馈神经网络生成新的上下文向量pc
Figure BDA0003597674960000052
其中，Attention()表示注意力计算函数，FFN()表示前馈神经网络，WQ、WK和WV分别代表自注意力网络的查询投影矩阵、键投影矩阵以及值投影矩阵，
Figure BDA0003597674960000053
代表用户当前的特征查询嵌入，Eh代表历史序列嵌入；
S6.通过残差连接将所生成的上下文向量pc与用户的特征查询向量q进行连接得到更新的特征查询向量q
q＝pc+q
S7.将更新的特征查询向量q再次作为特征查询向量q，重复步骤S2～S7至少一次；
S8.得到反映用户长期和短期行为规律的规律向量
Figure BDA0003597674960000054
dmodel是模型的隐藏层嵌入维度。
在一种实施例中，用户向量基于如下方式构建：
为每一个用户设置唯一的用于存储用户个性化行为偏好的用户向量
Figure BDA0003597674960000055
存储全体用户向量的特征向量矩阵
Figure BDA0003597674960000061
其中du是用户向量的维度，|U|是用户的总数。
在一种实施例中，将用户向量与规律向量聚合得到聚合特征向量基于如下方式实现：将用户向量pu与反映用户长期和短期行为规律的规律向量S拼接为固定维度的拼接特征向量
Figure BDA0003597674960000062
将拼接特征向量通过两层全连接得到聚合特征向量基于如下方式实现：将拼接特征向量
Figure BDA0003597674960000063
通过两层全连接层得到聚合特征向量
Figure BDA0003597674960000064
FN()表示全连接网络。
在一种实施例中，一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的方法中的步骤。
在一种实施例中，一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法中的步骤。
本发明的有益效果：与现有的用户行为预测方案相比，本发明充分利用了自注意力机制的结构特点，克服了基于循环神经网络的模型长期建模信息易丢失，计算效率低下的缺点。并且，为了解决自注意力机制难以建模长序列的问题，提出了两阶段的自注意力机制，可以在有限的内存资源下建模更长的用户序列，捕获更多的行为偏好信息，从用户的行为数据中探索用户的长、短期周期性行为规律。此外，为了向模型补充时间因素，该方法为自注意力机制添加了两种不同的时间嵌入，帮助模型更好地理解人类的行为模式。本发明的提出的方法不仅大幅提高了预测模型的预测准确率，同时极大提高了模型训练时的计算效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明预测方法的流程图。
图2是本发明设计的用户时序行为预测模型的结构图。
图3是用户时序行为预测模型的预测效果评估结果。
图4是用于分析模型各个部分有效性的消融实验。
具体实施方式
下面结合具体实施例和附图对本发明的技术方案进行进一步的说明。图1示出的一种智能电视点播用户时序行为预测方法，包括如下步骤：
S1.对用户的当前点播行为序列进行特征嵌入得到用户的当前点播行为嵌入序列。
在一种方案中，对特征以符号表示方便特征计算的表达，各用户的历史点播记录表示为 q＝(u,b,t)，其中u、b、t分别代表相应记录的用户ID、节目ID和点播行为时间戳，每个用户的行为序列S＝{q1,q2,…,q|S|}，|S|是行为序列的长度。
步骤S1中，对行为序列进行特征嵌入所得为行为嵌入序列、时间嵌入序列；
所述行为嵌入序列基于如下方式构建：
根据节目的数量，设置可学习的嵌入向量
Figure BDA0003597674960000071
用于表示不同节目的点播行为，db是嵌入向量的维度；
对应于由至少一个点播记录组成的行为序列，构建由相应嵌入向量组成的行为嵌入序列
Figure BDA0003597674960000072
n是行为序列的长度；
所述时间嵌入序列包括时间段嵌入序列和时间间隔嵌入序列；
在一种方案中，所述时间段嵌入序列基于如下方式构建：
设置48个可学习的嵌入向量
Figure BDA0003597674960000073
对应于工作日和休息日的48个小时段，dt是时间段向量的维度；
将行为序列中每个记录的时间戳映射到相应的小时段，构建相应的时间段嵌入序列
Figure BDA0003597674960000074
所述时间间隔嵌入序列基于如下方式构建：
设置100个嵌入向量
Figure BDA0003597674960000075
分别对应不同的时间间隔区间对应着序列中相应行为记录的时间戳，构建时间间隔嵌入序列
Figure BDA0003597674960000076
dΔt是时间间隔向量的维度。
所述特征嵌入序列E＝[B,Pt,PΔt]由行为嵌入序列B、时间段嵌入序列Pt和时间间隔嵌入序列PΔt的组合得到。
S2.通过将用户当前点播行为嵌入向量输入自注意力网络层，得到反映用户的短期行为状态的查询向量。
S3.根据所述查询向量，获取反映用户长期和短期行为规律的规律向量。将用户向量与规律向量拼接得到拼接特征向量。
步骤S3中，根据所述查询向量，获取反映用户长期和短期行为规律的规律向量，基于如下方式实现：
根据所述查询向量，在用户的历史行为嵌入序列中查询与所述查询向量相关的向量，
通过前馈神经网络获取反映用户的长期行为规律的上下文向量，
将上下文向量与查询向量拼接形成更新的查询向量，
至少一次的将上下文向量与最新更新的查询向量拼接，得到反映用户长期和短期行为规律的规律向量；
所述历史行为嵌入序列是对各用户的历史行为长序列切分为各用户的历史行为短序列，对用户的历史行为短序列进行特征嵌入所得，所述用户的历史行为长序列是由不同用户的历史点播记录组成的不同用户的历史行为长序列。
在一种优选方案中，所述行为序列包括点播记录，将行为长序列切分为行为短序列，包括如下步骤：
判断历史行为长序列的前一个点播记录与后一个点播记录的时间间隔与间隔阈值范围的关系：
若该间隔小于间隔阈值范围最小端点值，舍弃后一个点播记录，前一个点播记录保留作为当前历史行为短序列的一部分，
若该间隔落入间隔阈值范围内，将前一个点播记录和后一个点播记录同时保留，作为当前历史行为短序列的一部分,
若该间隔大于间隔阈值范围最大端点值，则将前一个点播记录作为当前历史行为短序列的最后一个记录，后一个点播记录作为后一个历史行为短序列的第一个记录。
更为具体的，步骤S3中，根据所述查询向量，获取反映用户长期和短期行为规律的规律向量的方法，包括：
S3.1.用户的当前点播行为序列Sc的行为嵌入向量Ec通过自注意力网络层得到表示用户的近期点播状态的特征查询向量q，通过如下公式表示：
Figure BDA0003597674960000081
其中，Attention()表示注意力计算函数，Q、K和V分别代表查询嵌入、键嵌入以及值嵌入，d表示查询嵌入、键嵌入以及值嵌入的维度大小；
SA(E)＝Attention(EWQ,EWK,EWV)
其中，SA()表示自注意力网络，WQ、WK和WV分别代表自注意力网络的查询投影矩阵、键投影矩阵以及值投影矩阵；
FFN(S)＝Gelu(SW1+b1)W2+b2
其中，FFN()表示前馈神经网络，Gelu()表示激活函数，W1、W1、b1和b2是前馈神经网络的可学习参数；
Figure BDA0003597674960000091
其中，SA()表示自注意力网络，FFN()表示前馈神经网络；
S3.2.特征查询向量q与用户的历史行为短序列Sh的行为嵌入向量Eh点积运算，运算得到注意力相关性分数；
S3.3.通过注意力相关性分数对用户的历史行为短序列Sh的行为嵌入向量Eh加权求和运算；
S3.4.从用户的历史行为短序列Sh中聚合得到用户当前点播状态最相关的信息；
S3.5.将用户当前点播状态最相关的信息通过一层前馈神经网络生成新的上下文向量pc
Figure BDA0003597674960000092
其中，Attention()表示注意力计算函数，FFN()表示前馈神经网络，WQ、WK和WV分别代表自注意力网络的查询投影矩阵、键投影矩阵以及值投影矩阵，
Figure BDA0003597674960000093
代表用户当前的特征查询嵌入，Eh代表历史序列嵌入；
S3.6.通过残差连接将所生成的上下文向量pc与用户的特征查询向量q进行连接得到更新的特征查询向量q
q＝pc+q
S3.7.将更新的特征查询向量q再次作为特征查询向量q，重复步骤S3.2～S3.7至少一次；
S8.得到反映用户长期和短期行为规律的规律向量
Figure BDA0003597674960000094
dmodel是模型的隐藏层嵌入维度。
S4.将拼接特征向量通过两层全连接网络得到聚合特征向量。
步骤S4中，用户向量基于如下方式构建：
为每一个用户设置唯一的用于存储用户个性化行为偏好的用户向量
Figure BDA0003597674960000095
存储全体用户向量的特征向量矩阵
Figure BDA0003597674960000101
其中du是用户向量的维度，|U|是用户的总数。
将用户向量与规律向量聚合得到聚合特征向量基于如下方式实现：将用户向量pu与反映用户长期和短期行为规律的规律向量S拼接为固定维度的拼接特征向量
Figure BDA0003597674960000102
将拼接特征向量通过两层全连接得到聚合特征向量基于如下方式实现：将拼接特征向量
Figure BDA0003597674960000103
通过两层全连接层得到聚合特征向量
Figure BDA0003597674960000104
FN()表示全连接网络。
S5.将聚合特征向量输入到预测层，获取所有节目的可能性分布，并将概率最大的节目作为所预测的用户下一次点击行为所选定节目进行输出。
具体的，其输出的公式表示：y＝softmax(F)
所述预测方法充分利用了自注意力机制的结构特点，克服了基于循环神经网络的模型长期建模信息易丢失，计算效率低下的缺点。并且，为了解决自注意力机制难以建模长序列的问题，提出了两阶段的自注意力机制，可以在有限的内存资源下建模更长的用户序列，捕获更多的行为偏好信息，从用户的行为数据中探索用户的长、短期周期性行为规律。此外，为了向模型补充时间因素，该方法为自注意力机制添加了两种不同的时间嵌入，帮助模型更好地理解人类的行为模式。所述预测方法不仅大幅提高了预测模型的预测准确率，同时极大提高了模型训练时的计算效率。该部分的实验数据在后续模型评估步骤中予以说明。
图1示出的智能电视点播用户时序行为预测方法的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，由图2示出的用户时序行为预测模型所执行，在一种实施例中，所示预测模型训练的数据集使用智能电视应用中的节目点播时序数据集。预测方法对用户点播时序行为进行预测。预测方法可直接扩展到面向其他智能家居设备或服务的用户时序行为数据集上，实现时序行为预测。
在一种实施例中，为能够实施所述预测方法，需要对模型构建，构建方法包括如下步骤： 1构建模型时，对时序行为数据预处理
实施例使用智能电视应用中的Last.fm数据集来训练和评估所提出模型的预测性能， Last.fm数据集(以下简称数据集)记录了2006年8月至2009年5月期间近1000位用户的界面点播记录，点播记录中包含有用户ID、创作者ID、记录时间戳、音乐节目ID、以及节目描述等信息。
1.1数据筛选：数据集中包含多种类信息，数据集使用前先对数据集中的所需要的用户 ID、节目ID和点播行为时间戳等信息进行数据提取以过滤无用的信息，得到行为记录q＝(u,b,t)，其中u、b、t分别代表相应记录的用户ID、节目ID和点播行为时间戳。
1.2数据清洗：为了缓解数据集的稀疏性，需要对数据进行处理，首先将数据集中所有行为记录过少的用户进行过滤，如记录少于10条的用户。然后对所有少于10个用户点播的节目进行删除。所述的节目是视频、音频等多媒体节目中任意类型下的一个具体节目，点播行为是点播一部具体电影或一集具体电视剧或一首歌曲。
2构建模型时，对用户点播序列构建
2.1将数据集中的所有记录按照用户进行分类，得到对应用户的行为数据集合，同时在每个集合内部对点播记录按照时间顺序进行排序构成每个用户的点播行为序列 S＝{q1,q2,…,q|S|}。2.2当用户的连续访问服务之间的时间间隔过长时，它们之间就没有强烈的依赖关系了。因此需要根据序列中相邻记录之间的时间间隔长短，将用户的行为序列划分为不同的序列，方便模型更好地建模用户的时序行为规律信息。
在一种实施例中，设定时间间隔最小值为3分钟，最大值为1小时，根据时间间隔的长度对每个用户的总点播行为序列进行划分，当相邻记录的时间间隔达到阈值时，则认为它们之间没有强烈的依赖关系，分别选择将该记录忽略或者将其作为该用户的一条新行为序列的开始。
在一种优选方案中，将行为长序列切分为行为短序列，包括如下步骤：
判断历史行为长序列的前一个点播记录与后一个点播记录的时间间隔与间隔阈值范围的关系：
若该间隔小于间隔阈值范围最小端点值，舍弃后一个点播记录，前一个点播记录保留作为当前历史行为短序列的一部分，
若该间隔落入间隔阈值范围内，将前一个点播记录和后一个点播记录同时保留，作为当前历史行为短序列的一部分,
若该间隔大于间隔阈值范围最大端点值，则将前一个点播记录作为当前历史行为短序列的最后一个记录，后一个点播记录作为后一个历史行为短序列的第一个记录。
2.3为了进一步缓解数据稀疏性，再次对数据集进行处理，对所有记录过少的行为序列以及序列过少的用户进行过滤，比如首先过滤掉所有经划分后的用户行为序列长度小于5的序列，接着再移除所有拥有序列数量小于10条的用户。
2.4经过上述处理过后，从数据集中得到了723个用户和174123个节目类别，总计81678 条行为序列用于对模型进行训练和评估，为方便实验，随机选取了100个用户对方法进行评估。
2.5对选取的每一个用户u，按照行为序列的收听时间对所有序列进行排序，取其前80％的行为序列作为训练模型的训练集，余下的20％作为测试集用于评估模型的预测能力。
2.6为用户的每一条行为序列Sc＝{q1,q2,…,qn}寻找对应历史行为序列 Sh＝{q1,q2,…,qm}，与用户ID一同组成模型的输入所述模型，任务目标是去预测用户接下来即将访问的服务。
3构建模型时，对特征信息嵌入
3.1行为嵌入：根据数据集中得到的能够表达节目的数量的服务ID对行为进行分类，并为每一个行为设置一个可学习的嵌入向量
Figure BDA0003597674960000121
其中db是设定的行为嵌入向量的维度。嵌入向量
Figure BDA0003597674960000122
用于表示不同的行为，可以理解的是，点播行为的节目数量与行为行为在数量上是相等的。对应于行为序列内部的每个访问服务的类别，构建由相应嵌入向量组成的行为嵌入序列
Figure BDA0003597674960000123
3.2时间嵌入：时间嵌入分为时间段嵌入和时间间隔嵌入两部分。对于时间段嵌入，首先将一天分为24个时间段，根据工作日与休息日的不同，得到共48个时间段类别，并为每一个时间段类别设置一个可学习的嵌入向量
Figure BDA0003597674960000124
其中dt代表时间段嵌入的维度。对于时间间隔嵌入，首先对数据集进行分析，寻找最适合的时间间隔区间，尽可能地增加信息的可区分度。接着，再对每一个时间间隔区间设置可学习的嵌入向量
Figure BDA0003597674960000125
其中dΔt为时间间隔嵌入的维度。
即对于时间段嵌入，设置了48个可学习的嵌入向量
Figure BDA0003597674960000126
对应于工作日和休息日的48 个小时段，接着将行为序列中每个记录的时间戳映射到相应的小时段，构建相应的时间段嵌入序列
Figure BDA0003597674960000127
对于时间间隔嵌入，对数据集进行分析过后，设置了100个嵌入向量
Figure BDA0003597674960000128
分别对应不同的时间间隔区间。相似于时间段嵌入，对应着序列中相应行为记录的时间戳，构建了时间间隔嵌入序列
Figure BDA0003597674960000129
3.3用户嵌入
与行为嵌入的处理类似，需要为每一个用户设置唯一的用户嵌入
Figure BDA00035976749600001210
用于存储用户长期稳定的个性化行为偏好，最终得到存储全体用户嵌入向量的特征向量矩阵
Figure BDA00035976749600001211
其中du是用户嵌入的维度。在一种方案中，选择为100个用户设置了对应的用户嵌入向量
Figure BDA00035976749600001212
用于存储用户的稳定个性偏好信息。
3.4特征嵌入
在进行了行为嵌入、时间段嵌入、时间间隔嵌入后，将行为嵌入B、时间段嵌入Pt和时间间隔嵌入PΔt进行组合，得到对应序列的特征嵌入序列E＝[B,Pt,PΔt]，
Figure BDA0003597674960000131
dmodel是模型隐藏层的维度。用户嵌入pu将作为额外信息，被注入到模型的预测网络中，为预测提供更加个性化的偏好信息。
4构建模型时，对用户长、短期行为规律建模
4.1构建长、短期行为规律建模的输入，将用户的当前点播行为序列Sc和历史点播行为序列Sh经过特征嵌入后得到行为嵌入向量Ec和Eh，即行为嵌入矩阵，n和m分别代表当前行为序列和历史行为序列的序列长度。
4.2建模用户的短期行为状态，利用自注意力机制处理用户的当前点播行为序列Sc的行为嵌入向量Ec，即将用户的当前点播行为序列Sc的行为嵌入向量Ec输入到自注意力层之中，并得到一个特征查询向量q，表示用户的近期点播状态。
Figure BDA0003597674960000132
其中，Attention()表示注意力计算函数，Q、K和V分别代表查询嵌入、键嵌入以及值嵌入，d表示查询嵌入、键嵌入以及值嵌入的维度大小；
SA(E)＝Attention(EWQ,EWK,EWV)
其中，SA()表示自注意力网络，WQ、WK和WV分别代表自注意力网络的查询投影矩阵、键投影矩阵以及值投影矩阵；
FFN(S)＝Gelu(SW1+b1)W2+b2
其中，FFN()表示前馈神经网络，Gelu()表示激活函数，W1、W1、b1和b2是前馈神经网络的可学习参数；
Figure BDA0003597674960000133
其中，SA()表示自注意力网络，FFN()表示前馈神经网络；
4.3捕获用户的长期行为规律，用上一个步骤得到的查询向量q从用户的历史行为短序列Sh的行为嵌入向量Eh中查询与用户当前状态最相关的信息，接着再将其通过一层前馈神经网络，生成行为上下文向量pc。
在一种优选方案中，具体为将特征查询向量q与用户的历史行为短序列Sh的行为嵌入向量Eh进行点积，计算注意力相关性分数，再利用注意力分数对用户的历史行为短序列Sh的行为嵌入向量Eh进行加权求和，从历史序列中聚合与用户当前状态最相关的信息。接着再将其通过一层前馈神经网络生成新的上下文嵌入向量pc。
Figure BDA0003597674960000141
其中，Attention()表示注意力计算函数，FFN()表示前馈神经网络，WQ、WK和WV分别代表自注意力网络的查询投影矩阵、键投影矩阵以及值投影矩阵，
Figure BDA0003597674960000142
代表用户当前的特征查询嵌入，Eh代表历史序列嵌入；
4.4利用残差连接将所生成的上下文向量pc与用户的当前状态q进行连接，并将得到的向量再次作为查询向量从历史行为嵌入中查询上下文信息，q＝pc+q。
4.5根据所设置的两阶段自注意力层的数量，重复上一步骤，得到最终存储用户长、短期行为规律的嵌入向量
Figure BDA0003597674960000143
在上述方案中，用户的当前点播行为序列Sc反映了用户近期行为状态，而用户的历史行为短序列Sh更早的行为规律，实施例将近期行为近期行为状态作为查询向量，往复的生成上下文向量而获取反映用户长期和短期行为规律的规律向量，通过规律向量进行下一步预测，能够提高用户当前点播行为所对应其下一次可能点播的预测节目的可能性。
5构建模型时，对点播行为预测网络构建
5.1将特征嵌入部分得到的用户嵌入向量pu与长、短期建模部分得到的用户长、短期行为规律向量S进行拼接，得到
Figure BDA0003597674960000144
Figure BDA0003597674960000145
5.2将上一步骤所得到的嵌入向量通过两层全连接层，聚合多种不同的特征信息，得到嵌入向量F。
Figure BDA0003597674960000146
5.3将上一步得到的聚合嵌入向量F输入到一个softmax层之中，获取所有节目的可能性分布，并将概率最大的类别作为所预测的行为进行输出。
y＝softmax(F)
在一种实施例中，对所构建的时序点播行为预测模型训练，训练方法如下：
利用从数据集中所划分的训练集数据，不断对模型进行迭代训练。在每次迭代训练之前，首先将训练集中的数据进行随机打乱，缓解模型的过拟合现象。接着每次向模型输入20条点播行为序列进行预测，并同时对Cross Entropy(交叉熵)损失函数进行计算，用于确定模型学习的方向以及步长。其中Cross Entropy的计算公式如下：
Cross Entropy＝H(p,q)＝-∑p*log(q)
其中p代表节目的真实概率分布，q代表模型计算得出的概率分布。接着使用Adam优化器最小化损失函数值，不断地更新模型的可学习参数以及所设置的各类嵌入表示向量，使得模型可以更好地拟合用户的点播行为序列，完成准确的行为预测。
在一种实施例中，对所构建的时序点播行为预测模型进行评估测试
当模型训练完成后，利用事先划分好的测试集数据对模型的时序行为预测性能进行评估。评估时需要对序列中的每一个点播行为进行预测，并根据预测结果计算命中率(HR)与归一化折损累计增益(NDCG)。图1是时序行为预测效果的评估实验，结果充分展示了本发明的有效性，这是由于本发明利用两阶段自注意力机制建模用户的点播序列，可以从中获取丰富的用户长、短期行为规律，从而获得优越的预测性能。图2为模型的消融实验，对模型各个模块的作用进行了验证，其中，TBSN-TS代表模型除去时间间隔嵌入的版本，TBSN-TI代表除去时间段嵌入，TBSN-NT代表除去整个时间嵌入，TBSN-Nu代表除去用户嵌入。实验结果证明了各个部分的有效性。
本发明实施例还提供一种电子设备，该电子设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例提供的方法中的步骤。本发明实施例提供的电子设备能够实现上述方法实施例中的各个实施方式，以及相应有益效果。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的方法，且能达到相同的技术效果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，该程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种智能电视点播用户时序行为预测方法，其特征在于，
包括如下步骤：
对用户的当前点播行为序列进行特征嵌入得到用户的当前点播行为嵌入序列，
通过将用户当前点播行为嵌入序列输入自注意力网络层，得到反映用户的短期行为状态的查询向量，
根据所述查询向量，获取反映用户长期和短期行为规律的规律向量，
将用户向量与规律向量拼接得到拼接特征向量，
将拼接特征向量通过两层全连接网络得到聚合特征向量，
将聚合特征向量输入到预测层，获取所有节目的可能性分布，并将概率最大的节目作为所预测的用户下一次点击行为所选定节目进行输出。
2.如权利要求1所述的智能电视点播用户时序行为预测方法，其特征在于，
各用户的历史点播记录表示为q＝(u,b,t)，其中u、b、t分别代表相应记录的用户ID、节目ID和点播行为时间戳，每个用户的行为序列S＝{q1,q2,…,q|S|}，|S|是行为序列的长度；
所述特征嵌入序列E＝[B,Pt,PΔt]由行为嵌入序列B、时间段嵌入序列Pt和时间间隔嵌入序列PΔt的组合得到。
3.如权利要求2所述的智能电视点播用户时序行为预测方法，其特征在于，
对行为序列进行特征嵌入所得为行为嵌入序列、时间嵌入序列；
所述行为嵌入序列基于如下方式构建：
根据节目的数量，设置可学习的嵌入向量
Figure FDA0003597674950000013
用于表示不同节目的点播行为，db是嵌入向量的维度；
对应于由至少一个点播记录组成的行为序列，构建由相应嵌入向量组成的行为嵌入序列
Figure FDA0003597674950000011
n是行为序列的长度；
所述时间嵌入序列包括时间段嵌入序列和时间间隔嵌入序列；
所述时间段嵌入序列基于如下方式构建：
设置48个可学习的嵌入向量
Figure FDA0003597674950000012
对应于工作日和休息日的48个小时段，dt是时间段向量的维度；
将行为序列中每个记录的时间戳映射到相应的小时段，构建相应的时间段嵌入序列
Figure FDA0003597674950000021
所述时间间隔嵌入序列基于如下方式构建：
设置100个嵌入向量
Figure FDA0003597674950000022
分别对应不同的时间间隔区间对应着序列中相应行为记录的时间戳，构建时间间隔嵌入序列
Figure FDA0003597674950000023
dΔt是时间间隔向量的维度。
4.如权利要求1所述的智能电视点播用户时序行为预测方法，其特征在于，
根据所述查询向量，获取反映用户长期和短期行为规律的规律向量，基于如下方式实现：
根据所述查询向量，在用户的历史行为嵌入序列中查询与所述查询向量相关的向量，
通过前馈神经网络获取反映用户的长期行为规律的上下文向量，
将上下文向量与查询向量拼接形成更新的查询向量，
至少一次的将上下文向量与最新更新的查询向量拼接，得到反映用户长期和短期行为规律的规律向量；
所述历史行为嵌入序列是对各用户的历史行为长序列切分为各用户的历史行为短序列，对用户的历史行为短序列进行特征嵌入所得，所述用户的历史行为长序列是由不同用户的历史点播记录组成的不同用户的历史行为长序列。
5.如权利要求4所述的智能电视点播用户时序行为预测方法，其特征在于，
所述行为序列包括点播记录，将行为长序列切分为行为短序列，包括如下步骤：
判断历史行为长序列的前一个点播记录与后一个点播记录的时间间隔与间隔阈值范围的关系：
若该间隔小于间隔阈值范围最小端点值，舍弃后一个点播记录，前一个点播记录保留作为当前历史行为短序列的一部分，
若该间隔落入间隔阈值范围内，将前一个点播记录和后一个点播记录同时保留，作为当前历史行为短序列的一部分,
若该间隔大于间隔阈值范围最大端点值，则将前一个点播记录作为当前历史行为短序列的最后一个记录，后一个点播记录作为后一个历史行为短序列的第一个记录。
6.如权利要求4所述的智能电视点播用户时序行为预测方法，其特征在于，
根据所述查询向量，获取反映用户长期和短期行为规律的规律向量的方法，包括：
S1.用户的当前点播行为序列Sc的行为嵌入向量Ec通过自注意力网络层得到表示用户的近期点播状态的特征查询向量q，通过如下公式表示：
Figure FDA0003597674950000031
其中，Attention()表示注意力计算函数，Q、K和V分别代表查询嵌入、键嵌入以及值嵌入，d表示查询嵌入、键嵌入以及值嵌入的维度大小；
SA(E)＝Attention(EWQ,EWK,EWV)
其中，SA()表示自注意力网络，WQ、WK和WV分别代表自注意力网络的查询投影矩阵、键投影矩阵以及值投影矩阵；
FFN(S)＝Gelu(SW1+b1)W2+b2
其中，FFN()表示前馈神经网络，Gelu()表示激活函数，W1、W1、b1和b2是前馈神经网络的可学习参数；
Figure FDA0003597674950000032
其中，SA()表示自注意力网络，FFN()表示前馈神经网络；
S2.特征查询向量q与用户的历史行为短序列Sh的行为嵌入向量Eh点积运算，运算得到注意力相关性分数；
S3.通过注意力相关性分数对用户的历史行为短序列Sh的行为嵌入向量Eh加权求和运算；
S4.从用户的历史行为短序列Sh中聚合得到用户当前点播状态最相关的信息；
S5.将用户当前点播状态最相关的信息通过一层前馈神经网络生成新的上下文向量pc
Figure FDA0003597674950000033
其中，Attention()表示注意力计算函数，FFN()表示前馈神经网络，WQ、WK和WV分别代表自注意力网络的查询投影矩阵、键投影矩阵以及值投影矩阵，
Figure FDA0003597674950000034
代表用户当前的特征查询嵌入，Eh代表历史序列嵌入；
S6.通过残差连接将所生成的上下文向量pc与用户的特征查询向量q进行连接得到更新的特征查询向量q
q＝pc+q
S7.将更新的特征查询向量q再次作为特征查询向量q，重复步骤S2～S7至少一次；
S8.得到反映用户长期和短期行为规律的规律向量
Figure FDA0003597674950000041
dmodel是模型的隐藏层嵌入维度。
7.如权利要求1所述的智能电视点播用户时序行为预测方法，其特征在于，
用户向量基于如下方式构建：
为每一个用户设置唯一的用于存储用户个性化行为偏好的用户向量
Figure FDA0003597674950000042
存储全体用户向量的特征向量矩阵
Figure FDA0003597674950000043
其中du是用户向量的维度，|U|是用户的总数。
8.如权利要求1所述的智能电视点播用户时序行为预测方法，其特征在于，
将用户向量与规律向量聚合得到聚合特征向量基于如下方式实现：将用户向量pu与反映用户长期和短期行为规律的规律向量S拼接为固定维度的拼接特征向量
Figure FDA0003597674950000044
将拼接特征向量通过两层全连接得到聚合特征向量基于如下方式实现：将拼接特征向量
Figure FDA0003597674950000045
通过两层全连接层得到聚合特征向量
Figure FDA0003597674950000046
FN()表示全连接网络。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～8中所述的方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1～8中所述的方法中的步骤。
CN202210392827.6A 2022-04-15 2022-04-15 智能电视点播用户时序行为预测方法、设备和计算机可读存储介质 Active CN115379293B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210392827.6A CN115379293B (zh) 2022-04-15 2022-04-15 智能电视点播用户时序行为预测方法、设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210392827.6A CN115379293B (zh) 2022-04-15 2022-04-15 智能电视点播用户时序行为预测方法、设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN115379293A true CN115379293A (zh) 2022-11-22
CN115379293B CN115379293B (zh) 2023-10-03

Family

ID=84060545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210392827.6A Active CN115379293B (zh) 2022-04-15 2022-04-15 智能电视点播用户时序行为预测方法、设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115379293B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110196946A (zh) * 2019-05-29 2019-09-03 华南理工大学 一种基于深度学习的个性化推荐方法
CN111784062A (zh) * 2020-07-07 2020-10-16 上海携旅信息技术有限公司 点击概率预测方法、系统、电子设备和介质
US20210081503A1 (en) * 2019-09-12 2021-03-18 Adobe Inc. Utilizing a gated self-attention memory network model for predicting a candidate answer match to a query
CN112732936A (zh) * 2021-01-11 2021-04-30 电子科技大学 一种基于知识图谱和用户微观行为的广电节目推荐方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110196946A (zh) * 2019-05-29 2019-09-03 华南理工大学 一种基于深度学习的个性化推荐方法
US20210081503A1 (en) * 2019-09-12 2021-03-18 Adobe Inc. Utilizing a gated self-attention memory network model for predicting a candidate answer match to a query
CN111784062A (zh) * 2020-07-07 2020-10-16 上海携旅信息技术有限公司 点击概率预测方法、系统、电子设备和介质
CN112732936A (zh) * 2021-01-11 2021-04-30 电子科技大学 一种基于知识图谱和用户微观行为的广电节目推荐方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
罗洋 等: "融合注意力LSTM的协同过滤推荐算法", 中文信息学报, no. 12 *

Also Published As

Publication number Publication date
CN115379293B (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
CN111931062B (zh) 一种信息推荐模型的训练方法和相关装置
CN109960761B (zh) 信息推荐方法、装置、设备及计算机可读存储介质
CN111258593B (zh) 应用程序预测模型的建立方法、装置、存储介质及终端
JP2021064348A (ja) ユーザークリックモデルのトレーニング方法、装置、電子機器、及び記憶媒体
KR20210125590A (ko) 해싱-기반의 효과적인 사용자 모델링
CN111816170B (zh) 一种音频分类模型的训练和垃圾音频识别方法和装置
Prabhu et al. Online continual learning without the storage constraint
CN113051468B (zh) 一种基于知识图谱和强化学习的电影推荐方法及系统
CN113204655B (zh) 多媒体信息的推荐方法、相关装置及计算机存储介质
CN114595383B (zh) 一种基于会话序列的海洋环境数据推荐方法及系统
CN113362852A (zh) 一种用户属性识别方法和装置
WO2000065420A2 (en) Determining whether a variable is numeric or non-numeric
CN114357201A (zh) 基于信息感知的视听推荐方法、系统
CN113159840B (zh) 一种对象类型预测方法、装置和存储介质
CN116204737B (zh) 一种基于用户行为编码的推荐方法、系统、设备及介质
CN115379293B (zh) 智能电视点播用户时序行为预测方法、设备和计算机可读存储介质
CN113962417A (zh) 一种视频处理方法、装置、电子设备和存储介质
CN116484016A (zh) 一种基于时序路径自动维护的时序知识图谱推理方法和系统
CN115601098A (zh) 基于物品属性与时序模式耦合关系的序列推荐方法和系统
CN112463964B (zh) 文本分类及模型训练方法、装置、设备及存储介质
CN110851647B (zh) 音频内容流量智能分配方法、装置、设备及可读存储介质
CN116091133A (zh) 一种目标对象属性的识别方法、装置及存储介质
CN114567811B (zh) 用于声音排序的多模态模型训练方法、系统及相关设备
CN118378130B (zh) 基于云计算的视频矩阵平台数据管理方法及系统
CN116797972B (zh) 基于稀疏图因果时序编码的自监督群体行为识别方法及其识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant