CN115658936B - 基于双层注意力模型的个性化节目推荐方法、系统 - Google Patents

基于双层注意力模型的个性化节目推荐方法、系统 Download PDF

Info

Publication number
CN115658936B
CN115658936B CN202211703924.9A CN202211703924A CN115658936B CN 115658936 B CN115658936 B CN 115658936B CN 202211703924 A CN202211703924 A CN 202211703924A CN 115658936 B CN115658936 B CN 115658936B
Authority
CN
China
Prior art keywords
item
user
implicit
vector
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211703924.9A
Other languages
English (en)
Other versions
CN115658936A (zh
Inventor
朱文欣
张羽凡
徐雅凡
孔浩楠
李心怡
蔡娟娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Communication University of China
Original Assignee
Communication University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Communication University of China filed Critical Communication University of China
Priority to CN202211703924.9A priority Critical patent/CN115658936B/zh
Publication of CN115658936A publication Critical patent/CN115658936A/zh
Application granted granted Critical
Publication of CN115658936B publication Critical patent/CN115658936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于双层注意力模型的个性化节目推荐方法，通过预设的加入了双层注意力机制的协同过滤模型基于预获取的邻域向量、各个项目的隐式向量进行成对学习以优化目标函数，并将最后一次优化的目标函数作为最终目标函数，而后基于所述最终目标函数获取估计分数，并对各个项目对应的估计分数进行排序以按照所排序的顺序对各个项目进行节目推荐，如此，将基于多媒体内容推荐的双层注意力机制整合到协同过滤框架中，从而有效地深入挖掘内在隐含的用户偏好，挖掘用户更全面的兴趣，从而解决现有的节目推荐算法对用户的节目偏好信息建模不足的问题。

Description

基于双层注意力模型的个性化节目推荐方法、系统
技术领域
本发明涉及多媒体推荐技术领域，更为具体地，涉及一种基于双层注意力模型的个性化节目推荐方法、系统。
背景技术
随着互联网的发展，信息大爆炸时代的到来，人们完成了从信息匮乏到信息过载的过渡。个性化推荐于 20 世纪 90 年代作为计算机领域的独立学科概念被提出，推荐系统的核心为替代用户对未接触的信息内容进行评估。它的出现缓解了信息过载的压力，帮助用户从海量的数据中获得真正对自身有帮助的信息。然而，大多数现有的推荐系统并不是为多媒体推荐而设计的，因为它们忽略了用户与多媒体内容交互背后隐藏的偏好信息。“注意力机制”来源于人类最自然的选择性注意的习惯，双层注意力模型的构建能充分挖掘用户与产品之间的隐式反馈，精准地定位用户潜在需求。
传统推荐算法如基于内容的推荐算法、基于协同过滤的推荐算法和混合推荐算法通过不断的发展已经可以为用户带来较为准确的推荐结果，但仍然存在一些不足：第一：这些算法不能充分挖掘用户与项目之间的更深层次信息；第二：这些算法无法感知获取互联网中图像、文本、标签等越来越多样的多源异构数据，也不能很好地利用用户丰富的特征信息和个性化需求信息的数据。如何充分利用用户和物品的其他多种特征来提高推荐系统性能，成为推荐系统研究的热点。
因此，亟需一种解决现有的节目推荐算法对用户的节目偏好信息建模不足的问题，对内容特征的提取方式进行改进，将基于多媒体内容的推荐整合到协同过滤框架中，从而挖掘用户更全面的兴趣的基于双层注意力模型的个性化节目推荐方法、系统。
发明内容
鉴于上述问题，本发明的目的是提供一种基于双层注意力模型的个性化节目推荐方法、系统，以解决现有的节目推荐算法无法学习到用户或项目的深层次特征，对用户的节目偏好信息建模不足的问题。
本发明提供的一种基于双层注意力模型的个性化节目推荐方法，包括：
通过预设的加入了双层注意力机制的协同过滤模型基于预获取的邻域向量、各个项目的隐式向量进行成对学习以优化目标函数，并将最后一次优化的目标函数作为最终目标函数；
基于所述最终目标函数获取估计分数，并对各个项目对应的估计分数进行排序以按照所排序的顺序对各个项目进行节目推荐；其中，
通过预设的加入了双层注意力机制的协同过滤模型基于预获取的邻域向量、各个项目的隐式向量进行成对学习以优化目标函数的步骤，包括：
针对预采集的广度数据集提取文本特征和图像特征，并将所述文本特征、所述图像特征和预获取的其他特征输入至预设的嵌入层中以获取组件级特征；
将所述组件级特征和预获取的用户隐式向量输入至所述双层注意力机制中的组件级注意力模块中以根据所述组件级特征和所述用户隐式向量构建内容特征；
将所述内容特征、所述用户隐式向量，以及预获取的辅助项目隐式向量输入至所述双层注意力机制中的项目级注意力模块中，以使所述项目级注意力模块基于所述内容特征、所述用户隐式向量和所述辅助项目隐式向量获取邻域向量；
基于所述邻域向量和预获取的各个隐式向量进行成对学习以优化预构建的关于所述协同过滤模型的目标函数，直至预设的优化参数收敛则结束优化。
优选地，针对预采集的广度数据集提取文本特征和图像特征的步骤，包括：
对预采集的广度数据集进行数据清洗以获取有效数据集；
对所述有效数据集进行数据划分以获取带有图像的图像数据集和带有文本的文本数据集；
对所述图像数据集进行CNN网络提取以获取图像特征；通过词嵌入技术对所述文本数据集进行文本信息编码处理，通过RNN网络对所述文本数据集进行完善编码信息学习处理，通过TF-IDF技术对所述文本数据集进行关键词挖掘处理以获取文本特征。
优选地，将所述组件级特征和预获取的用户隐式向量输入至所述双层注意力机制中的组件级注意力模块中以根据所述组件级特征和所述用户隐式向量构建内容特征的步骤，包括：
将所述组件级特征和所述用户隐式向量输入至所述双层注意力机制中的组件级注意力模块中以使所述组件级注意力模块的两层神经网络根据所述组件级特征和所述用户隐式向量获取各个组件的组件级注意力得分；
通过预设的归一化函数对所述组件级注意力得分进行归一化处理以获取注意力权重；
通过所述组件级注意力模块中的注意力单元根据所述注意力权重获取内容特征。
优选地，基于所述内容特征、所述用户隐式向量和所述辅助项目隐式向量获取邻域向量的步骤，包括：
根据所述内容特征、所述用户隐式向量和所述辅助项目隐式向量获取项目级注意力得分；
对所述项目级注意力得分进行归一化处理以获取项目级权重；
对所获取的各个项目级权重进行聚合处理以获取用作用户偏好表示的邻域向量。
优选地，所述目标函数表示为：
Figure DEST_PATH_IMAGE001
；
其中，U表示所述用户隐式向量、V表示与各个项目对应的项目隐式向量；P表示所述辅助项目隐式向量；
Figure DEST_PATH_IMAGE002
为优化参数；
Figure DEST_PATH_IMAGE003
表示预获取的用于训练所述协同过滤模型的训练数据集：
Figure DEST_PATH_IMAGE004
，I表示在训练所述协同过滤模型时所采用的训 练数据集中所有训练项目的集合；其中，
Figure DEST_PATH_IMAGE005
表示第i个用户交互的项目集合；
Figure DEST_PATH_IMAGE006
代表用户i更喜欢项目j超过k；
Figure DEST_PATH_IMAGE007
代表优化过程中所应用的预设的sigmoid函数；
Figure DEST_PATH_IMAGE008
代表用户交互过的项目，为用户i对项目j的内积评分；
Figure DEST_PATH_IMAGE009
是用户未交互过的项目；
Figure DEST_PATH_IMAGE010
表示正则化参数。
优选地，基于所述邻域向量和预获取的各个隐式向量进行成对学习以优化预构建的关于所述协同过滤模型的目标函数，直至预设的优化参数收敛则结束优化的步骤，包括：
基于所述邻域向量
Figure DEST_PATH_IMAGE011
和所述用户隐式向量
Figure DEST_PATH_IMAGE012
将用户i表示为用户表示 向量：
Figure DEST_PATH_IMAGE013
；其中，
Figure DEST_PATH_IMAGE014
表示所述辅助项目隐式向量；
Figure DEST_PATH_IMAGE015
表示所述项目级注 意力权重；
Figure 5337DEST_PATH_IMAGE005
表示第i个与用户交互的项目的集合；
基于所述用户表示向量
Figure 453636DEST_PATH_IMAGE013
对所述目标函数进行变形处理以获取变 型后的目标函数：
Figure DEST_PATH_IMAGE017
其中，U表示所述用户隐式向量、V表示与各个项目对应的项目隐式向量；P表示所述辅助项目隐式向量；
Figure 30111DEST_PATH_IMAGE002
为优化参数；
Figure 690899DEST_PATH_IMAGE003
表示预获取的用于训练所述协同过滤模型的训练数据集：
Figure 36430DEST_PATH_IMAGE004
，I表示在训练所述协同过滤模型时所采用的训 练数据集中所有训练项目的集合；其中，
Figure 124472DEST_PATH_IMAGE005
表示第i个用户交互的项目集合；
Figure 922663DEST_PATH_IMAGE006
代表用户i更喜欢项目j超过k；
Figure DEST_PATH_IMAGE018
表示项目j的隐式向量；
Figure DEST_PATH_IMAGE019
表示项目k的隐式向量；
Figure 449460DEST_PATH_IMAGE007
代表优化过程中所应用的预设的sigmoid函数；
采用预设的优化器利用一阶优化算法对所述变型后的目标函数进行反复优化以 更新所述用户隐式向量U、所述与各个项目对应的项目隐式向量V、所述辅助项目隐式向量P 和所述优化参数
Figure 383918DEST_PATH_IMAGE002
，直至所述优化参数
Figure 908440DEST_PATH_IMAGE002
收敛，则停止优化，将最后一次优化的目标函数作为 最终目标函数，并获取所述最终目标函数中的用户隐式向量U、与各个项目对应的项目隐式 向量V、辅助项目隐式向量P和优化参数
Figure 928348DEST_PATH_IMAGE002
。
优选地，基于所述最终目标函数获取估计分数，并对各个项目对应的估计分数进行排序以按照所排序的顺序对各个项目进行节目推荐的步骤，包括：
通过所述最终目标函数中的用户隐式向量U、与各个项目对应的项目隐式向量V、 辅助项目隐式向量P和优化参数
Figure 196519DEST_PATH_IMAGE002
计算用户与各个项目之间的内积评分；
对内积评分进行数值化处理以获取各个项目的估计分数；
对各个项目对应的估计分数进行排序；
按照所排序的顺序选择预设数量个项目作为待推荐节目；
将所述待推荐节目推荐给用户以完成节目推荐。
本发明还提供一种基于双层注意力模型的个性化节目推荐系统，实现如前所述的基于双层注意力模型的个性化节目推荐方法，包括：
加入了双层注意力机制的协同过滤模型，用于基于预获取的邻域向量、各个项目的隐式向量进行成对学习以优化目标函数，并将最后一次优化的目标函数作为最终目标函数；
评分推荐模型，用于基于所述最终目标函数获取估计分数，并对各个项目对应的估计分数进行排序以按照所排序的顺序对各个项目进行节目推荐；
其中，所述协同过滤模型包括组件特征提取模块、双层注意力机制、学习优化模块，所述双层注意力机制包括组件级注意力模块和项目级注意力模块：
所述组件特征提取模块用于针对预采集的广度数据集提取文本特征和图像特征，并将所述文本特征、所述图像特征和预获取的其他特征输入至预设的嵌入层中以获取组件级特征；
所述组件级注意力模块用于根据所述组件级特征和所述用户隐式向量构建内容特征；
所述项目级注意力模块用于基于所述内容特征、所述用户隐式向量和所述辅助项目隐式向量获取邻域向量；
所述学习优化模块用于基于所述邻域向量和预获取的各个隐式向量进行成对学习以优化预构建的关于所述协同过滤模型的目标函数，直至预设的优化参数收敛则结束优化。
优选地，所述组件级注意力模块包括：
组件权重获取网络，用于根据所述组件级特征和所述用户隐式向量获取各个组件的组件级注意力得分，并通过预设的归一化函数对所述组件级注意力得分进行归一化处理以获取注意力权重；
内容特征获取单元，用于根据所述注意力权重获取内容特征。
优选地，项目级注意力模块包括：
项目权重获取网络，用于根据所述内容特征、所述用户隐式向量和所述辅助项目隐式向量获取项目级注意力得分，并对所述项目级注意力得分进行归一化处理以获取项目级权重；
邻域向量获取单元，用于对所获取的各个项目级权重进行聚合处理以获取用作用户偏好表示的邻域向量。
从上面的技术方案可知，本发明提供的基于双层注意力模型的个性化节目推荐方法，通过预设的加入了双层注意力机制的协同过滤模型基于预获取的邻域向量、各个项目的隐式向量进行成对学习以优化目标函数，并将最后一次优化的目标函数作为最终目标函数，而后基于所述最终目标函数获取估计分数，并对各个项目对应的估计分数进行排序以按照所排序的顺序对各个项目进行节目推荐，如此，将基于多媒体内容推荐的双层注意力机制整合到协同过滤框架中，从而挖掘用户更全面的兴趣；更为具体的，将组件级特征和预获取的用户隐式向量输入至双层注意力机制中的组件级注意力模块中以根据组件级特征和所述用户隐式向量构建内容特征；将内容特征、用户隐式向量，以及预获取的辅助项目隐式向量输入至双层注意力机制中的项目级注意力模块中，以使所述项目级注意力模块基于内容特征、所述用户隐式向量和辅助项目隐式向量获取邻域向量，如此，通过双层注意力机制中的组件级注意力模块和项目级注意力模块获取组件级隐式反馈和项目级隐式反馈，将该两者结合后进行建模，可以相对有效地深入挖掘内在隐含的用户偏好，从而解决现有的节目推荐算法对用户的节目偏好信息建模不足的问题。
附图说明
通过参考以下结合附图的说明书内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的基于双层注意力模型的个性化节目推荐方法的流程图；
图2为根据本发明实施例的基于双层注意力模型的个性化节目推荐方法的协同过滤模型的运行流程图；
图3为根据本发明实施例的基于双层注意力模型的个性化节目推荐系统的示意图。
具体实施方式
传统推荐算法如基于内容的推荐算法、基于协同过滤的推荐算法和混合推荐算法通过不断的发展已经可以为用户带来较为准确的推荐结果，但仍然存在一些不足：第一，这些算法不能充分挖掘用户与项目之间的更深层次信息，第二，这些算法无法感知获取互联网中图像、文本、标签等越来越多样的多源异构数据，也不能很好地利用用户丰富的特征信息和个性化需求信息的数据。
针对上述问题，本发明提供一种基于双层注意力模型的个性化节目推荐方法、系统，以下将结合附图对本发明的具体实施例进行详细描述。
为了说明本发明提供的基于双层注意力模型的个性化节目推荐方法、系统，图1、图2对本发明实施例的基于双层注意力模型的个性化节目推荐方法进行了示例性标示；图3对本发明实施例的基于双层注意力模型的个性化节目推荐系统进行了示例性标示。
以下示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。
如图1、图2共同所示，本发明提供的本发明实施例的基于双层注意力模型的个性化节目推荐方法，包括：
S1：通过预设的加入了双层注意力机制的协同过滤模型基于预获取的邻域向量、各个项目的隐式向量进行成对学习以优化目标函数，并将最后一次优化的目标函数作为最终目标函数；
S2：基于所述最终目标函数获取估计分数，并对各个项目对应的估计分数进行排序以按照所排序的顺序对各个项目进行节目推荐；
步骤S1中通过加入了双层注意力机制的协同过滤模型基于预获取的邻域向量、各个项目的隐式向量进行成对学习以优化目标函数，并将最后一次优化的目标函数作为最终目标函数，如此，能够探索在节目推荐中隐藏的用户的多层次偏好，再将该偏好引入到协同过滤的推荐算法框架中，从而能够基于用户多层次偏好进行个性化的节目推荐。
其中，在步骤S1中，通过预设的加入了双层注意力机制的协同过滤模型基于预获取的邻域向量、各个项目的隐式向量进行成对学习以优化目标函数的步骤，包括：
S11：针对预采集的广度数据集提取文本特征和图像特征，并将所述文本特征、所述图像特征和预获取的其他特征输入至预设的嵌入层中以获取组件级特征；
S12：将所述组件级特征和预获取的用户隐式向量输入至所述双层注意力机制中的组件级注意力模块中以根据所述组件级特征和所述用户隐式向量构建内容特征；
S13：将所述内容特征、所述用户隐式向量，以及预获取的辅助项目隐式向量输入至所述双层注意力机制中的项目级注意力模块中，以使所述项目级注意力模块基于所述内容特征、所述用户隐式向量和所述辅助项目隐式向量获取邻域向量；
S14：基于所述邻域向量和预获取的各个隐式向量进行成对学习以优化预构建的关于所述协同过滤模型的目标函数，直至预设的优化参数收敛则结束优化。
在图2所示的实施例中，首先给定用户i、项目r和项目r中的第 m 个组件，使用
Figure DEST_PATH_IMAGE020
来表示用户i的第m个空间位置的组件级特征，使用
Figure DEST_PATH_IMAGE021
来表示用户i对项目r第 m 个组件的偏好程度，并进一步使用
Figure DEST_PATH_IMAGE022
来表示用户i对项目r的偏好程度。每个项目r与 两个因子向量相关联，一个用
Figure DEST_PATH_IMAGE023
表示项目r的隐式向量，它是潜在因素模型中的基本项目向 量；另一个由
Figure 578958DEST_PATH_IMAGE014
表示，为辅助项目隐式向量，用于在用户交互的项目集基础上表征用户。
具体地，在图1、图2共同所示的实施例中，步骤S11即首先访问预采集的广度数据 集，在该广度数据集中提取到的不同层级、不同种类的节目特征，该节目特征如图像特征、 文本特征等，然后将这些特征分别输入到预设的嵌入层中，在本实施例中该嵌入层为 Embedding 层，以得到不同特征的对应向量化表示，将各个与不同特征的对应向量化表示 作为组件级特征
Figure 539961DEST_PATH_IMAGE020
；需要说明的是，该嵌入层属于整个加入了双层注意力机制的协同过滤 模型的一部分，即该协同过滤模型除了包括双层注意力机制以外，还包括前期进行特征提 取所需要的嵌入层，该嵌入层为提前预设好的
具体的提取文本特征和图像特征的过程不做限制，在本实施例中，针对预采集的广度数据集提取文本特征和图像特征的步骤，包括：
S111：对预采集的广度数据集进行数据清洗以获取有效数据集；
S112：对所述有效数据集进行数据划分以获取带有图像的图像数据集和带有文本的文本数据集；
S113：对所述图像数据集进行CNN网络提取以获取图像特征；通过词嵌入技术对所述文本数据集进行文本信息编码处理，通过RNN网络对所述文本数据集进行完善编码信息学习处理，通过TF-IDF技术对所述文本数据集进行关键词挖掘处理以获取文本特征。
在图1、图2共同所示的实施例中，步骤S12为将组件级特征和预获取的用户隐式向量输入至双层注意力机制中的组件级注意力模块中以根据组件级特征和用户隐式向量构建内容特征；
具体地，将组件级特征和预获取的用户隐式向量输入至所述双层注意力机制中的组件级注意力模块中以根据所述组件级特征和所述用户隐式向量构建内容特征的步骤，包括：
S121：将所述组件级特征和所述用户隐式向量输入至所述双层注意力机制中的组件级注意力模块中以使所述组件级注意力模块的两层神经网络根据所述组件级特征和所述用户隐式向量获取各个组件的组件级注意力得分；
S122：通过预设的归一化函数对所述组件级注意力得分进行归一化处理以获取注意力权重（组件级注意力权重）；
S123：通过所述组件级注意力模块中的注意力单元根据所述注意力权重获取内容特征。
具体地，在本实施例中，得到不同特征的对应向量化表示
Figure 47166DEST_PATH_IMAGE020
之后，将
Figure 853448DEST_PATH_IMAGE020
和用户隐 式向量
Figure 762498DEST_PATH_IMAGE012
输入组件级注意力模块，输出注意力权重（组件级注意力权重）
Figure DEST_PATH_IMAGE024
，然后 通过加权和
Figure DEST_PATH_IMAGE025
计算得出用户 i 的偏好项目 r 的内容特征
Figure DEST_PATH_IMAGE026
。
换句话说，多媒体项目中包含复杂的信息，而不同的用户可能喜欢同一多媒体项 目中内容的不同部分。每个多媒体项目r可以被编码成一组可变大小的成分特征
Figure DEST_PATH_IMAGE027
，在此 用
Figure 284615DEST_PATH_IMAGE027
来表示集合的大小，用
Figure DEST_PATH_IMAGE028
来表示集合中第m个分量的特征，即首先获取组件级注意 力得分，用户 i 对项目 r的第 m 个组件特征
Figure 810274DEST_PATH_IMAGE028
的该组件级注意力得分
Figure DEST_PATH_IMAGE029
为：
Figure DEST_PATH_IMAGE030
；
其中，矩阵
Figure DEST_PATH_IMAGE031
、
Figure DEST_PATH_IMAGE032
和偏置
Figure DEST_PATH_IMAGE033
为所述组件级注意力模块的两层神经网络中第一层神 经网络的参数；
矢量
Figure DEST_PATH_IMAGE034
和偏置
Figure DEST_PATH_IMAGE035
为所属组件级注意力模块的两层神经网络中第二层神经网络的 参数；
ϕ( )是在获取该组件级注意力得分时所述组件级注意力模块所应用的ReLU函数；
在得到组件级注意力得分
Figure 341619DEST_PATH_IMAGE029
之后，通过预设的归一化函数进行归一化来 获得最终的组件级权重
Figure DEST_PATH_IMAGE036
，在本实施例中，该归一化函数为Softmax函数：
Figure DEST_PATH_IMAGE037
；其中该使用
Figure DEST_PATH_IMAGE038
来表示广义的用户i的第*个 （某个）空间位置的组件级特征；
在获得组件级注意力权重
Figure 698651DEST_PATH_IMAGE036
之后，可以得到用户i对于项目r中的哪一部 分更感兴趣，即可求得用户 i 的偏好项目 r 的内容特征
Figure 735877DEST_PATH_IMAGE026
：
Figure DEST_PATH_IMAGE039
；该使用
Figure 748832DEST_PATH_IMAGE020
来表示具象的用户i的第m个空间位置 的组件级特征；
如此获得了内容特征，即获得了用户i对于项目r中的哪一部分更感兴趣的内容特征，当获取内容特征后能够挖掘用户更全面的兴趣，解决现有技术忽略用户与多媒体内容交互背后隐藏的偏好信息的问题。
步骤S13为将内容特征、用户隐式向量，以及预获取的辅助项目隐式向量输入至双层注意力机制中的项目级注意力模块中，以使项目级注意力模块基于内容特征、用户隐式向量和辅助项目隐式向量获取邻域向量的过程；
其中，基于所述内容特征、所述用户隐式向量和所述辅助项目隐式向量获取邻域向量的步骤，包括：
S131：根据所述内容特征、用户隐式向量和辅助项目隐式向量获取项目级注意力得分；
S132：对项目级注意力得分进行归一化处理以获取项目级权重（项目级注意力权重）；
S133：对所获取的各个项目级权重进行聚合处理以获取用作用户偏好表示的邻域向量；
具体地，项目级别注意力模块的目标是选择代表用户偏好的项目，然后聚合项目 信息的表示以表征用户。与组件级注意力模块一样，项目级注意力模块也是使用两层神经 网络来计算项目级权重
Figure DEST_PATH_IMAGE040
（又称为项目级注意力模块权重或项目级注意力权重，表示 用户i对项目r的偏好）。给定用户隐式向量
Figure 428075DEST_PATH_IMAGE012
，项目隐式向量
Figure 46138DEST_PATH_IMAGE023
，辅助项目隐式向量
Figure 519845DEST_PATH_IMAGE014
和项 目的内容特征
Figure 223359DEST_PATH_IMAGE026
（表示内容特征，由组件级注意力模块求得）之后，可以得到项目级注意力 得分
Figure DEST_PATH_IMAGE041
Figure DEST_PATH_IMAGE042
；
其中，矩阵
Figure DEST_PATH_IMAGE043
和偏置
Figure DEST_PATH_IMAGE044
是所述项目级注意力模块的两层神经网络中第一层神经网 络的参数；
矢量
Figure DEST_PATH_IMAGE045
和偏置
Figure DEST_PATH_IMAGE046
是所述项目级注意力模块的两层神经网络中第二层神经网络的 参数；
ϕ( )是在获取项目级注意力得分时所述项目级注意力模块所应用的ReLU函数；
对于R(i)中的每个项目r，项目级注意力得分
Figure 830927DEST_PATH_IMAGE041
在经过归一化处理后可以获 得最终的项目级权重，该归一化处理也可以由Softmax函数完成，该项目级权重
Figure 834655DEST_PATH_IMAGE040
：
Figure DEST_PATH_IMAGE047
；其中R(i)表示第i个用户交互的项目集合；
基于该项目级权重，经聚合各个项目的项目级权重进行聚合处理以获得用作用户 偏好表示的邻域向量
Figure 744842DEST_PATH_IMAGE011
，而后便于基于该邻域向量
Figure 201231DEST_PATH_IMAGE011
和用户隐式向 量
Figure 691118DEST_PATH_IMAGE012
将用户i表示为用户表示向量：
Figure DEST_PATH_IMAGE048
；
在本实施例中，步骤S14为基于所述邻域向量和预获取的各个隐式向量进行成对学习以优化预构建的关于所述协同过滤模型的目标函数，直至预设的优化参数收敛则结束优化的过程；
简言之，该步骤S14首先建立目标函数，而后通过协同过滤模型优化观察到的项目 （positive）和未观察到项目（non observable）之间的成对排名（pair wise），以对该目标 函数进行反复优化，并将该目标函数中未知的内积评分
Figure 549353DEST_PATH_IMAGE008
部分通过用户表示向量表示出 来，该用户表示向量随着优化而变化，优化完成后将最终的用户表示向量再转换为内积评 分
Figure 364862DEST_PATH_IMAGE008
，如此以求得最终优化后的内积评分
Figure 42968DEST_PATH_IMAGE008
，进而获取各个项目的估计分数。
具体地，在本实施例中，先创建目标函数，该目标函数为目标函数表示为：
Figure DEST_PATH_IMAGE050
；
其中，U表示所述用户隐式向量、V表示与各个项目对应的项目隐式向量；P表示所述辅助项目隐式向量；
Figure 133284DEST_PATH_IMAGE002
为优化参数；
Figure 580446DEST_PATH_IMAGE003
表示预获取的用于训练所述协同过滤模型的训练数据集：
Figure 301277DEST_PATH_IMAGE004
，I表示在训练所述协同过滤模型时所采用的训 练数据集中所有训练项目的集合；其中，
Figure 732258DEST_PATH_IMAGE005
表示第i个用户交互的项目集合；
Figure 563948DEST_PATH_IMAGE006
代表用户i更喜欢项目j超过k；
Figure 131196DEST_PATH_IMAGE007
代表优化过程中所应用的预设的sigmoid函数；
Figure 22928DEST_PATH_IMAGE008
代表用户交互过的项目，为用户i对项目j的内积评分；
Figure 675627DEST_PATH_IMAGE009
是用户未交互过的项目；
Figure 576586DEST_PATH_IMAGE010
表示正则化参数。
已知
Figure DEST_PATH_IMAGE051
，除了用
Figure 529499DEST_PATH_IMAGE012
明确地参数化每个用户 i 之外，还在与用户i 有交互的项目集合R（i）上对用户进行建模，因此，每个项目r与两个因子向量
Figure 857712DEST_PATH_IMAGE023
和
Figure 732127DEST_PATH_IMAGE014
相关 联，而用户i则可以通过下面的公式进行表示：
Figure 171199DEST_PATH_IMAGE048
；
因此，在本实施例中，基于所述邻域向量和预获取的各个隐式向量进行成对学习以优化预构建的关于所述协同过滤模型的目标函数，直至预设的优化参数收敛则结束优化的步骤，包括：
S141：基于所述邻域向量
Figure 713039DEST_PATH_IMAGE011
和所述用户隐式向量
Figure 946574DEST_PATH_IMAGE012
将用户i表示为用户 表示向量：
Figure 573864DEST_PATH_IMAGE048
；其中，
Figure 551048DEST_PATH_IMAGE014
表示所述辅助项目隐式向量；
Figure 947394DEST_PATH_IMAGE015
表示所述项目级 注意力权重；
Figure 351830DEST_PATH_IMAGE005
表示第i个与用户交互的项目的集合；
S142：基于所述用户表示向量
Figure 466417DEST_PATH_IMAGE048
对所述目标函数进行变形处理 以获取变型后的目标函数：
Figure DEST_PATH_IMAGE052
其中，U表示所述用户隐式向量、V表示与各个项目对应的项目隐式向量；P表示所述辅助项目隐式向量；
Figure 512870DEST_PATH_IMAGE002
为优化参数；
Figure 29302DEST_PATH_IMAGE003
表示预获取的用于训练所述协同过滤模型的训练数据集：
Figure 893657DEST_PATH_IMAGE004
，I表示在训练所述协同过滤模型时所采用的训 练数据集中所有训练项目的集合；其中，
Figure 229960DEST_PATH_IMAGE005
表示第i个用户交互的项目集合；
Figure 814525DEST_PATH_IMAGE006
代表用户i更喜欢项目j超过k；
Figure 919885DEST_PATH_IMAGE018
表示项目j的隐式向量；
Figure 666124DEST_PATH_IMAGE019
表示项目k的隐式向量；
Figure 489723DEST_PATH_IMAGE007
代表优化过程中所应用的预设的sigmoid函数；
S143：采用预设的优化器利用一阶优化算法对所述变型后的目标函数进行反复优 化以更新所述用户隐式向量U、所述与各个项目对应的项目隐式向量V、所述辅助项目隐式 向量P和所述优化参数
Figure 612400DEST_PATH_IMAGE002
，直至所述优化参数
Figure 837845DEST_PATH_IMAGE002
收敛，则停止优化，将最后一次优化的目标函 数作为最终目标函数，并获取所述最终目标函数中的用户隐式向量U、与各个项目对应的项 目隐式向量V、辅助项目隐式向量P和优化参数
Figure 20565DEST_PATH_IMAGE002
。
即将目标函数转换为用户表示向量表示的目标函数：
Figure DEST_PATH_IMAGE053
而后通过预设的优化器利用一阶优化算法对所述变型后的目标函数进行反复优 化以更新所述用户隐式向量U、所述与各个项目对应的项目隐式向量V、所述辅助项目隐式 向量P和所述优化参数
Figure 597040DEST_PATH_IMAGE002
；其中，具体的优化算法程序如下：
输入:用户-项目交互矩阵R，每个项目r由一组组件特征
Figure 523407DEST_PATH_IMAGE027
表示；
输出:潜在特征矩阵 U，V，P 和优化参数
Figure 337779DEST_PATH_IMAGE002
；
用高斯分布初始化U，V，P，初始化模型（协同过滤模型）；
而后重复下述步骤进行优化：
从
Figure 956980DEST_PATH_IMAGE003
中提取
Figure DEST_PATH_IMAGE054
；对于
Figure DEST_PATH_IMAGE055
中的每一个项目r，对于
Figure 817488DEST_PATH_IMAGE027
中每个分量m，根据等式：
Figure 78705DEST_PATH_IMAGE030
和等式：
Figure 747584DEST_PATH_IMAGE037
计算
Figure 537686DEST_PATH_IMAGE024
根据等式
Figure 823173DEST_PATH_IMAGE039
计算
Figure 825764DEST_PATH_IMAGE026
；
再根据等式：
Figure 614729DEST_PATH_IMAGE042
和等式：
Figure 575732DEST_PATH_IMAGE047
计算
Figure 817357DEST_PATH_IMAGE040
；
根据
Figure DEST_PATH_IMAGE056
和
Figure DEST_PATH_IMAGE057
，更新对于{U，V，P，Θ}里的每个参 数，更新优化参数θ
Figure DEST_PATH_IMAGE058
直到θ收敛；
优化完成后返回U，V，P 和 Θ；Θ表示协同过滤模型；
进行优化的主体为预先选择的优化器，在本实施例中，该优化器为Nadam（Nesterov-accelerated Adaptive Moment Estimation）优化器，Adam（Adaptive MomentEstimation）优化器是一种可以替代传统随机梯度下降过程的一阶优化算法，它能够基于训练数据迭代地更新神经网络权重的各个参数。
经过优化流程之后，从而获取了优化后的用户隐式向量U、与各个项目对应的项目 隐式向量V、辅助项目隐式向量P和优化参数
Figure 217114DEST_PATH_IMAGE002
；之后进行步骤S2将用户表示向量转换为内积 评分
Figure 126165DEST_PATH_IMAGE008
即可进一步获取估计分数。
在本实施例中，步骤S2为基于所述最终目标函数获取估计分数，并对各个项目对应的估计分数进行排序以按照所排序的顺序对各个项目进行节目推荐的过程；在该过程中，基于所述最终目标函数获取估计分数，并对各个项目对应的估计分数进行排序以按照所排序的顺序对各个项目进行节目推荐的步骤，包括：
S21：通过所述最终目标函数中的用户隐式向量U、与各个项目对应的项目隐式向 量V、辅助项目隐式向量P和优化参数
Figure 992489DEST_PATH_IMAGE002
计算用户与各个项目之间的内积评分；
S22：对内积评分进行数值化处理以获取各个项目的估计分数；
S23：对各个项目对应的估计分数进行排序；
S24：按照所排序的顺序选择预设数量个项目作为待推荐节目；
S25：将所述待推荐节目推荐给用户以完成节目推荐；
其中该内积评分为：
Figure DEST_PATH_IMAGE059
基于最最终目标函数中的用户隐式向量U、与各个项目对应的项目隐式向量V、辅 助项目隐式向量P和优化参数
Figure 518149DEST_PATH_IMAGE002
获取
Figure DEST_PATH_IMAGE060
中的各个向量的数据即可获取该 内积评分的具体数据，在此不作赘述；再获取内积评分之后根据预设的分数化取规则根据 内积评分获取与该内积评分相对应的估计分数即可，具体的分数化取规则在此不做限制， 内积评分高低决定估计分数高低即可，最后根据估计分数从大到小的排序选择预设数量个 项目作为待推荐节目，将待推荐节目推荐给用户以完成节目推荐。
整个优化过程通过在协同过滤框架中引入双层注意力机制，能够探索在节目推荐中隐藏的用户的多层次偏好，同时通过对用户交互节目的多特征提取实现正反馈加强机制，缓解负样本缺失的问题，由此解决传统算法不能充分挖掘用户与项目之间的更深层次信息，无法感知获取互联网中图像、文本、标签等越来越多样的多源异构数据，也不能很好地利用用户丰富的特征信息和个性化需求信息的数据的不足，能够通过深入挖掘用户内在隐含的节目偏好、充分利用用户和物品的其他多种特征来提高推荐系统性能，使推荐结果具有准确性、多样性和可解释性，从而提升运营效果，充分地提高用户黏性。
如上所述，本发明提供的基于双层注意力模型的个性化节目推荐方法，通过预设的加入了双层注意力机制的协同过滤模型基于预获取的邻域向量、各个项目的隐式向量进行成对学习以优化目标函数，并将最后一次优化的目标函数作为最终目标函数，而后基于所述最终目标函数获取估计分数，并对各个项目对应的估计分数进行排序以按照所排序的顺序对各个项目进行节目推荐，如此，将基于多媒体内容推荐的双层注意力机制整合到协同过滤框架中，从而挖掘用户更全面的兴趣；更为具体的，将组件级特征和预获取的用户隐式向量输入至双层注意力机制中的组件级注意力模块中以根据组件级特征和所述用户隐式向量构建内容特征；将内容特征、用户隐式向量，以及预获取的辅助项目隐式向量输入至双层注意力机制中的项目级注意力模块中，以使所述项目级注意力模块基于内容特征、所述用户隐式向量和辅助项目隐式向量获取邻域向量，如此，通过双层注意力机制中的组件级注意力模块和项目级注意力模块获取组件级隐式反馈和项目级隐式反馈，将该两者结合后进行建模，可以相对有效地深入挖掘内在隐含的用户偏好，从而解决现有的节目推荐算法对用户的节目偏好信息建模不足的问题。
如图3所示，本发明还提供一种基于双层注意力模型的个性化节目推荐系统100，实现如前所述的基于双层注意力模型的个性化节目推荐方法，包括：
加入了双层注意力机制的协同过滤模型110，用于基于预获取的邻域向量、各个项目的隐式向量进行成对学习以优化目标函数，并将最后一次优化的目标函数作为最终目标函数；
评分推荐模型120，用于基于所述最终目标函数获取估计分数，并对各个项目对应的估计分数进行排序以按照所排序的顺序对各个项目进行节目推荐；
其中，所述协同过滤模型110包括组件特征提取模块111、双层注意力机制112、学习优化模块113，所述双层注意力机制112包括组件级注意力模块1121和项目级注意力模块1122：
所述组件特征提取模块111用于针对预采集的广度数据集提取文本特征和图像特征，并将所述文本特征、所述图像特征和预获取的其他特征输入至预设的嵌入层中以获取组件级特征；需要说明的是，该嵌入层属于整个加入了双层注意力机制的协同过滤模型的一部分，即该协同过滤模型除了包括双层注意力机制以外，还包括前期进行特征提取所需要的嵌入层，该嵌入层为提前预设好的，更为具体的，该嵌入层属于组件特征提取模块111的一部分，即该组件特征提取模块111在进行特征提取时应用的是嵌入层；
所述组件级注意力模块1121用于根据所述组件级特征和所述用户隐式向量构建内容特征；
所述项目级注意力模块1122用于基于所述内容特征、所述用户隐式向量和所述辅助项目隐式向量获取邻域向量；
所述学习优化模块113用于基于所述邻域向量和预获取的各个隐式向量进行成对学习以优化预构建的关于所述协同过滤模型的目标函数，直至预设的优化参数收敛则结束优化。
具体地，组件级注意力模块1121包括：
组件权重获取网络1121A，用于根据所述组件级特征和所述用户隐式向量获取各个组件的组件级注意力得分，并通过预设的归一化函数对所述组件级注意力得分进行归一化处理以获取注意力权重；
内容特征获取单元1121B，用于根据所述注意力权重获取内容特征。
具体地，项目级注意力模块1122包括：
项目权重获取网络1122A，用于根据所述内容特征、所述用户隐式向量和所述辅助项目隐式向量获取项目级注意力得分，并对所述项目级注意力得分进行归一化处理以获取项目级权重；
邻域向量获取单元1122B，用于对所获取的各个项目级权重进行聚合处理以获取用作用户偏好表示的邻域向量。
所述基于双层注意力模型的个性化节目推荐系统的具体实现方法可参考图1、图2对应实施例中相关步骤的描述，在此不作赘述。
本发明提供的基于双层注意力模型的个性化节目推荐系统100通过加入了双层注意力机制的协同过滤模型110基于预获取的邻域向量、各个项目的隐式向量进行成对学习以优化目标函数，并将最后一次优化的目标函数作为最终目标函数；通过评分推荐模型120基于所述最终目标函数获取估计分数，并对各个项目对应的估计分数进行排序以按照所排序的顺序对各个项目进行节目推荐；如此，将基于多媒体内容推荐的双层注意力机制整合到协同过滤框架中，从而挖掘用户更全面的兴趣。更为具体地，协同过滤模型110包括组件特征提取模块111、双层注意力机制112、学习优化模块113，双层注意力机制112包括组件级注意力模块1121和项目级注意力模块1122：通过组件特征提取模块111针对预采集的广度数据集提取文本特征和图像特征，并将所述文本特征、所述图像特征和预获取的其他特征输入至预设的嵌入层中以获取组件级特征；通过组件级注意力模块1121根据所述组件级特征和所述用户隐式向量构建内容特征；通过项目级注意力模块1122基于所述内容特征、所述用户隐式向量和所述辅助项目隐式向量获取邻域向量；通过学习优化模块113用于基于所述邻域向量和预获取的各个隐式向量进行成对学习以优化预构建的关于所述协同过滤模型的目标函数，直至预设的优化参数收敛则结束优化，如此，通过双层注意力机制中的组件级注意力模块和项目级注意力模块获取组件级隐式反馈和项目级隐式反馈，将该两者结合后进行建模，可以相对有效地深入挖掘内在隐含的用户偏好，从而解决现有的节目推荐算法对用户的节目偏好信息建模不足的问题。
如上参照附图以示例的方式描述了根据本发明提出的基于双层注意力模型的个性化节目推荐方法、系统、电子设备。但是，本领域技术人员应当理解，对于上述本发明所提出的基于双层注意力模型的个性化节目推荐方法、系统、电子设备，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (9)

1.一种基于双层注意力模型的个性化节目推荐方法，其特征在于，包括：
通过预设的加入了双层注意力机制的协同过滤模型基于预获取的邻域向量、各个项目的隐式向量进行成对学习以优化目标函数，并将最后一次优化的目标函数作为最终目标函数；
基于所述最终目标函数获取估计分数，并对各个项目对应的估计分数进行排序以按照所排序的顺序对各个项目进行节目推荐；其中，
通过预设的加入了双层注意力机制的协同过滤模型基于预获取的邻域向量、各个项目的隐式向量进行成对学习以优化目标函数的步骤，包括：
针对预采集的广度数据集提取文本特征和图像特征，并将所述文本特征、所述图像特征和预获取的其他特征输入至预设的嵌入层中以获取组件级特征；
将所述组件级特征和预获取的用户隐式向量输入至所述双层注意力机制中的组件级注意力模块中以根据所述组件级特征和所述用户隐式向量构建内容特征；
将所述内容特征、所述用户隐式向量，以及预获取的辅助项目隐式向量输入至所述双层注意力机制中的项目级注意力模块中，以使所述项目级注意力模块基于所述内容特征、所述用户隐式向量和所述辅助项目隐式向量获取邻域向量；
基于所述邻域向量和预获取的各个隐式向量进行成对学习以优化预构建的关于所述协同过滤模型的目标函数，直至预设的优化参数收敛则结束优化；其中，
基于所述邻域向量和预获取的各个隐式向量进行成对学习以优化预构建的关于所述协同过滤模型的目标函数，直至预设的优化参数收敛则结束优化的步骤，包括：基于所述邻域向量
Figure QLYQS_1
和所述用户隐式向量
Figure QLYQS_2
将用户i表示为用户表示向量：
Figure QLYQS_3
+
Figure QLYQS_4
；其中，
Figure QLYQS_5
表示所述辅助项目隐式向量；
Figure QLYQS_6
表示所述项目级注意力权重；
Figure QLYQS_7
表示第i个与用户交互的项目的集合；
基于所述用户表示向量
Figure QLYQS_8
+
Figure QLYQS_9
对所述目标函数进行变形处理以获取变型后的目标函数：
Figure QLYQS_10
其中，U表示所述用户隐式向量、V表示与各个项目对应的项目隐式向量；P表示所述辅助项目隐式向量；
Figure QLYQS_11
为优化参数；
Figure QLYQS_12
表示预获取的用于训练所述协同过滤模型的训练数据集：
Figure QLYQS_13
，I表示在训练所述协同过滤模型时所采用的训练数据集中所有训练项目的集合；其中，
Figure QLYQS_14
表示第i个用户交互的项目集合；
Figure QLYQS_15
代表用户i更喜欢项目j超过k；
Figure QLYQS_16
表示项目j的隐式向量；
Figure QLYQS_17
表示项目k的隐式向量；
Figure QLYQS_18
代表优化过程中所应用的预设的sigmoid函数；
采用预设的优化器利用一阶优化算法对所述变型后的目标函数进行反复优化以更新所述用户隐式向量U、所述与各个项目对应的项目隐式向量V、所述辅助项目隐式向量P和所述优化参数
Figure QLYQS_19
，直至所述优化参数
Figure QLYQS_20
收敛，则停止优化，将最后一次优化的目标函数作为最终目标函数，并获取所述最终目标函数中的用户隐式向量U、与各个项目对应的项目隐式向量V、辅助项目隐式向量P和优化参数
Figure QLYQS_21
2.如权利要求1所述的基于双层注意力模型的个性化节目推荐方法，其特征在于，针对预采集的广度数据集提取文本特征和图像特征的步骤，包括：
对预采集的广度数据集进行数据清洗以获取有效数据集；
对所述有效数据集进行数据划分以获取带有图像的图像数据集和带有文本的文本数据集；
对所述图像数据集进行CNN网络提取以获取图像特征；通过词嵌入技术对所述文本数据集进行文本信息编码处理，通过RNN网络对所述文本数据集进行完善编码信息学习处理，通过TF-IDF技术对所述文本数据集进行关键词挖掘处理以获取文本特征。
3.如权利要求2所述的基于双层注意力模型的个性化节目推荐方法，其特征在于，将所述组件级特征和预获取的用户隐式向量输入至所述双层注意力机制中的组件级注意力模块中以根据所述组件级特征和所述用户隐式向量构建内容特征的步骤，包括：
将所述组件级特征和所述用户隐式向量输入至所述双层注意力机制中的组件级注意力模块中以使所述组件级注意力模块的两层神经网络根据所述组件级特征和所述用户隐式向量获取各个组件的组件级注意力得分；
通过预设的归一化函数对所述组件级注意力得分进行归一化处理以获取注意力权重；
通过所述组件级注意力模块中的注意力单元根据所述注意力权重获取内容特征。
4.如权利要求3所述的基于双层注意力模型的个性化节目推荐方法，其特征在于，基于所述内容特征、所述用户隐式向量和所述辅助项目隐式向量获取邻域向量的步骤，包括：
根据所述内容特征、所述用户隐式向量和所述辅助项目隐式向量获取项目级注意力得分；
对所述项目级注意力得分进行归一化处理以获取项目级权重；
对所获取的各个项目级权重进行聚合处理以获取用作用户偏好表示的邻域向量。
5.如权利要求4所述的基于双层注意力模型的个性化节目推荐方法，其特征在于，
所述目标函数表示为：
Figure QLYQS_22
；
其中，U表示所述用户隐式向量、V表示与各个项目对应的项目隐式向量；P表示所述辅助项目隐式向量；
Figure QLYQS_23
为优化参数；
Figure QLYQS_24
表示预获取的用于训练所述协同过滤模型的训练数据集：
Figure QLYQS_25
，I表示在训练所述协同过滤模型时所采用的训练数据集中所有训练项目的集合；其中，
Figure QLYQS_26
表示第i个用户交互的项目集合；
Figure QLYQS_27
代表用户i更喜欢项目j超过k；
Figure QLYQS_28
代表优化过程中所应用的预设的sigmoid函数；
Figure QLYQS_29
代表用户交互过的项目，为用户i对项目j的内积评分；
Figure QLYQS_30
是用户未交互过的项目；
Figure QLYQS_31
表示正则化参数。
6.如权利要求4所述的基于双层注意力模型的个性化节目推荐方法，其特征在于，基于所述最终目标函数获取估计分数，并对各个项目对应的估计分数进行排序以按照所排序的顺序对各个项目进行节目推荐的步骤，包括：
通过所述最终目标函数中的用户隐式向量U、与各个项目对应的项目隐式向量V、辅助项目隐式向量P和优化参数
Figure QLYQS_32
计算用户与各个项目之间的内积评分；
对内积评分进行数值化处理以获取各个项目的估计分数；
对各个项目对应的估计分数进行排序；
按照所排序的顺序选择预设数量个项目作为待推荐节目；
将所述待推荐节目推荐给用户以完成节目推荐。
7.一种基于双层注意力模型的个性化节目推荐系统，实现如权利要求1-6任一所述的基于双层注意力模型的个性化节目推荐方法，包括：
加入了双层注意力机制的协同过滤模型，用于基于预获取的邻域向量、各个项目的隐式向量进行成对学习以优化目标函数，并将最后一次优化的目标函数作为最终目标函数；
评分推荐模型，用于基于所述最终目标函数获取估计分数，并对各个项目对应的估计分数进行排序以按照所排序的顺序对各个项目进行节目推荐；
其中，所述协同过滤模型包括组件特征提取模块、双层注意力机制、学习优化模块，所述双层注意力机制包括组件级注意力模块和项目级注意力模块：
所述组件特征提取模块用于针对预采集的广度数据集提取文本特征和图像特征，并将所述文本特征、所述图像特征和预获取的其他特征输入至预设的嵌入层中以获取组件级特征；
所述组件级注意力模块用于根据所述组件级特征和所述用户隐式向量构建内容特征；
所述项目级注意力模块用于基于所述内容特征、所述用户隐式向量和所述辅助项目隐式向量获取邻域向量；
所述学习优化模块用于基于所述邻域向量和预获取的各个隐式向量进行成对学习以优化预构建的关于所述协同过滤模型的目标函数，直至预设的优化参数收敛则结束优化；其中，
基于所述邻域向量和预获取的各个隐式向量进行成对学习以优化预构建的关于所述协同过滤模型的目标函数，直至预设的优化参数收敛则结束优化的步骤，包括：
基于所述邻域向量
Figure QLYQS_33
和所述用户隐式向量
Figure QLYQS_34
将用户i表示为用户表示向量：
Figure QLYQS_35
+
Figure QLYQS_36
；其中，
Figure QLYQS_37
表示所述辅助项目隐式向量；
Figure QLYQS_38
表示所述项目级注意力权重；
Figure QLYQS_39
表示第i个与用户交互的项目的集合；
基于所述用户表示向量
Figure QLYQS_40
+
Figure QLYQS_41
对所述目标函数进行变形处理以获取变型后的目标函数：
Figure QLYQS_42
其中，U表示所述用户隐式向量、V表示与各个项目对应的项目隐式向量；P表示所述辅助项目隐式向量；
Figure QLYQS_43
为优化参数；
Figure QLYQS_44
表示预获取的用于训练所述协同过滤模型的训练数据集：
Figure QLYQS_45
，I表示在训练所述协同过滤模型时所采用的训练数据集中所有训练项目的集合；其中，
Figure QLYQS_46
表示第i个用户交互的项目集合；
Figure QLYQS_47
代表用户i更喜欢项目j超过k；
Figure QLYQS_48
表示项目j的隐式向量；
Figure QLYQS_49
表示项目k的隐式向量；
Figure QLYQS_50
代表优化过程中所应用的预设的sigmoid函数；
采用预设的优化器利用一阶优化算法对所述变型后的目标函数进行反复优化以更新所述用户隐式向量U、所述与各个项目对应的项目隐式向量V、所述辅助项目隐式向量P和所述优化参数
Figure QLYQS_51
，直至所述优化参数
Figure QLYQS_52
收敛，则停止优化，将最后一次优化的目标函数作为最终目标函数，并获取所述最终目标函数中的用户隐式向量U、与各个项目对应的项目隐式向量V、辅助项目隐式向量P和优化参数
Figure QLYQS_53
。
8.如权利要求7所述的基于双层注意力模型的个性化节目推荐系统，其特征在于，所述组件级注意力模块包括：
组件权重获取网络，用于根据所述组件级特征和所述用户隐式向量获取各个组件的组件级注意力得分，并通过预设的归一化函数对所述组件级注意力得分进行归一化处理以获取注意力权重；
内容特征获取单元，用于根据所述注意力权重获取内容特征。
9.如权利要求8所述的基于双层注意力模型的个性化节目推荐系统，其特征在于，项目级注意力模块包括：
项目权重获取网络，用于根据所述内容特征、所述用户隐式向量和所述辅助项目隐式向量获取项目级注意力得分，并对所述项目级注意力得分进行归一化处理以获取项目级权重；
邻域向量获取单元，用于对所获取的各个项目级权重进行聚合处理以获取用作用户偏好表示的邻域向量。
CN202211703924.9A 2022-12-29 2022-12-29 基于双层注意力模型的个性化节目推荐方法、系统 Active CN115658936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211703924.9A CN115658936B (zh) 2022-12-29 2022-12-29 基于双层注意力模型的个性化节目推荐方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211703924.9A CN115658936B (zh) 2022-12-29 2022-12-29 基于双层注意力模型的个性化节目推荐方法、系统

Publications (2)

Publication Number Publication Date
CN115658936A CN115658936A (zh) 2023-01-31
CN115658936B true CN115658936B (zh) 2023-03-31

Family

ID=85022648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211703924.9A Active CN115658936B (zh) 2022-12-29 2022-12-29 基于双层注意力模型的个性化节目推荐方法、系统

Country Status (1)

Country Link
CN (1) CN115658936B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116489464B (zh) * 2023-04-12 2023-10-17 浙江纳里数智健康科技股份有限公司 5g应用领域中一种基于异构双层网络的医疗资讯推荐方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325323B (zh) * 2020-02-19 2023-07-14 山东大学 一种融合全局信息和局部信息的输变电场景描述自动生成方法
US20220058489A1 (en) * 2020-08-19 2022-02-24 The Toronto-Dominion Bank Two-headed attention fused autoencoder for context-aware recommendation
CN112631560B (zh) * 2020-12-29 2023-07-07 上海海事大学 一种推荐模型的目标函数的构建方法及终端
CN113254782B (zh) * 2021-06-15 2023-05-05 济南大学 问答社区专家推荐方法及系统
CN114254205B (zh) * 2021-12-30 2023-08-04 广东工业大学 一种基于音乐多模态数据的用户长短期偏好推荐预测方法

Also Published As

Publication number Publication date
CN115658936A (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
CN109299396B (zh) 融合注意力模型的卷积神经网络协同过滤推荐方法及系统
CN111222332B (zh) 一种结合注意力网络和用户情感的商品推荐方法
CN114117220B (zh) 基于知识增强的深度强化学习交互式推荐系统及方法
CN111310063B (zh) 基于神经网络的记忆感知门控因子分解机物品推荐方法
CN111881342A (zh) 一种基于图孪生网络的推荐方法
CN110263257B (zh) 基于深度学习处理多源异构数据的推荐方法
CN110245285B (zh) 一种基于异构信息网络的个性化推荐方法
US20230316379A1 (en) Deep learning based visual compatibility prediction for bundle recommendations
CN110321473B (zh) 基于多模态注意力的多样性偏好信息推送方法、系统、介质及设备
CN115631008B (zh) 商品推荐方法、装置、设备及介质
CN115658936B (zh) 基于双层注意力模型的个性化节目推荐方法、系统
Lin et al. Intelligent decision support for new product development: a consumer-oriented approach
CN111159473A (zh) 一种基于深度学习与马尔科夫链的连接的推荐方法
CN118035945B (zh) 一种标签识别模型的处理方法和相关装置
Torkashvand et al. Deep learning-based collaborative filtering recommender systems: A comprehensive and systematic review
CN112818256B (zh) 一种基于神经协同过滤的推荐方法
Lin et al. Transfer learning for collaborative recommendation with biased and unbiased data
Wu et al. A unified generative adversarial learning framework for improvement of skip-gram network representation learning methods
Zhou et al. Online recommendation based on incremental-input self-organizing map
Wen et al. Extended factorization machines for sequential recommendation
CN118246939A (zh) 一种基于注意力机制的DeepFM模型浏览数据处理的方法及系统
Ao et al. Deep Collaborative Filtering Recommendation Algorithm Based on Sentiment Analysis
Yechuri et al. Semantic Web Mining for Analyzing Retail Environment Using Word2Vec and CNN-FK.
Xu et al. Cross-media retrieval based on pseudo-label learning and semantic consistency algorithm
Zhang et al. Recommending garment products in E-shopping environment by exploiting an evolutionary knowledge base

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant