CN111382309B - 一种基于图模型的短视频推荐方法、和智能终端和存储介质 - Google Patents

一种基于图模型的短视频推荐方法、和智能终端和存储介质 Download PDF

Info

Publication number
CN111382309B
CN111382309B CN202010161605.4A CN202010161605A CN111382309B CN 111382309 B CN111382309 B CN 111382309B CN 202010161605 A CN202010161605 A CN 202010161605A CN 111382309 B CN111382309 B CN 111382309B
Authority
CN
China
Prior art keywords
short video
information
user
vertex
aggregation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010161605.4A
Other languages
English (en)
Other versions
CN111382309A (zh
Inventor
王娜
刘兑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202010161605.4A priority Critical patent/CN111382309B/zh
Publication of CN111382309A publication Critical patent/CN111382309A/zh
Priority to PCT/CN2020/125527 priority patent/WO2021179640A1/zh
Application granted granted Critical
Publication of CN111382309B publication Critical patent/CN111382309B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于图模型的短视频推荐方法、和智能终端和存储介质，所述方法包括：根据用户对短视频的交互行为，构造用户和短视频对应关系的二部图；聚合层通过聚合目标顶点的邻域信息输出目标顶点自身的高阶表示向量；整合层将目标节点信息与邻域信息进行整合；融合层对目标顶点多个模态信息进行融合；输出层计算用户向量与短视频向量之间的相似程度，预测用户对短视频产生交互行为的概率，并为用户进行短视频推荐。本发明通过对短视频的不同模态分别构建二部图以及相应的图卷积网络，学习用户和短视频顶点在不同模态下的向量表征，达到对用户进行细粒度个性化推荐的目的。

Description

一种基于图模型的短视频推荐方法、和智能终端和存储介质
技术领域
本发明涉及信息处理技术领域，尤其涉及一种基于图模型的短视频推荐方法、智能终端及存储介质。
背景技术
在信息时代背景下，面对日渐增多的互联网信息，个性化推荐作为连接服务提供商和用户之间的桥梁，让企业有效地从海量信息中挖掘出有用信息并加以利用，能发掘用户的兴趣偏好，改善用户体验，增加用户粘性，进而提升收益；而对于用户，能让他们在平台海量的信息库中快速找到自己感兴趣的目标物。个性化推荐已经成为许多在线内容分享服务的核心组件，如图片、博客和音乐推荐。例如最近兴起的短视频分享平台快手和抖音，使得短视频推荐方法更加引人关注。与图像，音乐等单一模态的媒体内容不同的是，短视频包含了丰富的多媒体信息-视频封面图片、视频背景音乐以及视频的文字描述，组成了视觉、听觉和文本多个模态的内容，将这些多模态信息融入到用户与短视频的历史交互行为中，为更深一步捕捉用户偏好提供了帮助。
传统的用于短视频的推荐算法一般有基于协同过滤方法(CollaborativeFiltering，CF)和基于图卷积网络方法(Graph Convolutional Network，GCN)方法。
其中，基于协同过滤方法的思想大概可分为两种，均利用“用户—视频”的历史交互行为，构建“用户—视频”的交互矩阵，为目标用户推荐其相似用户喜欢的物品(基于用户的协同过滤)或者为目标用户推荐其偏好物品的相似物品(基于物品的协同过滤)。基于协同过滤的模型可以充分利用用户的显式反馈信息(点赞、关注、评论等)和隐式反馈信息(用户浏览记录、停留时长等)来预测用户与物品之间的交互，但容易受制于数据的稀疏性，导致推荐结果存在一定的局限性。如对于数据显式反馈不足，用户反馈较少的情况，推荐算法难以学习到有意义的用户偏好信息；使用隐式反馈也容易给推荐系统带来“短视”的问题，即给用户推荐列表大多为头部的热门物品，牺牲了推荐的个性化与多样性。基于协同过滤的方法虽然简单快速，但只能利用用户与短视频的交互行为，而无法利用短视频丰富的多模态信息。
基于图卷积网络方法用于推荐一般根据用户对物品的交互行为构造“用户-视频”二部图(bipartite graph)，在二部图中聚合目标节点邻域集合的属性信息作为节点自身的高阶表示，进行节点之间的信息传递，最终完成对用户节点和视频节点的表示向量的学习，通过计算用户向量与视频向量的相似性，预测用户对短视频产生交互行为的概率。基于图卷积网络的方法相比协同过滤方法，将用户交互序列这种非欧式结构的行为数据转化成二部图结构加以利用，并通过节点邻域聚合的方法，实现短视频的属性信息在图中节点之间的传递。但目前提出的基于图卷积网络的方法一般将短视频节点的多模态属性信息拼接作为整体进行计算传递，缺乏考虑不同模态信息之间的语义鸿沟(semantic gap)，即模态之间包含信息的差异性，存在对用户和短视频的表示学习不够细粒化的问题
基于协同过滤方法和基于图卷积网络方法都利用了用户与视频(物品)的历史交互行为，不过形式不同：前者将其用于构造“用户-视频”交互矩阵；后者将其转化为“用户-视频”二部图。协同过滤构造的交互矩阵只能利用交互行为信息(如只能理解“用户A点击了视频1”)，无法利用视频的属性信息(如视频的视觉、文本、听觉等多模态信息)；而图卷积网络相当于是协同过滤的改进，能利用视频的属性信息学习用户和视频的表示向量，但一般将视频的多模态信息当作整体输入到模型进行学习，没有将其按模态不同分开建模。
现有的基于协同过滤方法和基于图卷积网络方法存在的共同问题是：都没有从模态层面进行用户与短视频的表示学习，无法衡量模态差异对用户偏好的影响。
因此，现有技术还有待于改进和发展。
发明内容
本发明针对现有技术中没有从模态层面进行用户与短视频的表示学习，无法衡量模态差异对用户偏好的影响，本发明提供一种基于图模型的短视频推荐方法、智能终端及存储介质。
本发明解决技术问题所采用的技术方案如下：
一种基于图模型的短视频推荐方法，其中，所述基于图模型的短视频推荐方法包括：
根据用户对短视频的交互行为，构造用户和短视频对应关系的二部图；
聚合层通过聚合目标顶点的邻域信息输出目标顶点自身的高阶表示向量；
整合层将目标节点信息与邻域信息进行整合；
融合层对目标顶点多个模态信息进行融合；
输出层计算用户向量与短视频向量之间的相似程度，预测用户对短视频产生交互行为的概率，并为用户进行短视频推荐。
所述的基于图模型的短视频推荐方法，其中，所述交互行为定义为用户完整观看一部短视频或者对所观看的短视频进行点赞操作。
所述的基于图模型的短视频推荐方法，其中，所述根据用户对短视频的交互行为，构造用户和短视频对应关系的二部图，还包括：
构造模态层级的用户与短视频对应关系的二部图。
所述的基于图模型的短视频推荐方法，其中，所述短视频包括视觉模态信息、文本模态信息和听觉模态信息；
所述视觉模态信息以视频封面图片经过卷积神经网络输出为128维的向量作为表征；
所述文本模态信息以视频标题文字经过分词和自然语言处理模型向量化输出为128维的向量作为表征；
所述听觉模态信息以背景音乐和人物讲话声经过截断并经过卷积神经网络后输出为128维的向量作为表征。
所述的基于图模型的短视频推荐方法，其中，所述聚合层用于对目标顶点的邻域信息进行聚合，得到表征目标邻域的向量，每次聚合操作由邻域聚合和非线性处理组成。
所述的基于图模型的短视频推荐方法，其中，所述邻域聚合为：对目标顶点的邻域通过聚合函数进行聚合操作；
所述非线性处理为：由邻域聚合操作得到目标顶点的一阶和二阶邻域信息，通过将目标顶点原始信息与其邻域信息进行拼接，输入到单层神经网络中获取目标顶点的高阶特征。
所述的基于图模型的短视频推荐方法，其中，所述聚合函数的构造方式包括：平均聚合、最大池化聚合和注意力机制聚合。
所述的基于图模型的短视频推荐方法，其中，所述整合层用于对同一模态下不同来源的输入信息进行整合，以及将特定模态下目标顶点的低阶信息和高阶信息进行整合，得到用户顶点和短视频顶点在不同模态下的表示向量；
所述融合层用于将用户顶点和短视频顶点的多个模态表示向量进行融合。
一种智能终端，其中，所述智能终端包括如上所述的基于图模型的短视频推荐系统，还包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于图模型的短视频推荐程序，所述基于图模型的短视频推荐程序被所述处理器执行时实现如上所述的基于图模型的短视频推荐方法的步骤。
一种存储介质，其中，所述存储介质存储有基于图模型的短视频推荐程序，所述基于图模型的短视频推荐程序被处理器执行时实现如上所述基于图模型的短视频推荐方法的步骤。
本发明根据用户对短视频的交互行为，构造用户和短视频对应关系的二部图；聚合层通过聚合目标顶点的邻域信息输出目标顶点自身的高阶表示向量；整合层将目标节点信息与邻域信息进行整合；融合层对目标顶点多个模态信息进行融合；输出层计算用户向量与短视频向量之间的相似程度，预测用户对短视频产生交互行为的概率，并为用户进行短视频推荐。本发明通过对短视频的不同模态分别构建二部图以及相应的图卷积网络，学习用户和短视频顶点在不同模态下的向量表征，达到对用户进行细粒度个性化推荐的目的。
附图说明
图1是本发明基于图模型的短视频推荐方法的较佳实施例的流程图；
图2是本发明基于图模型的短视频推荐方法的较佳实施例中整体框架原理示意图；
图3是本发明基于图模型的短视频推荐方法的较佳实施例中二部图模型的示意图；
图4是本发明基于图模型的短视频推荐方法的较佳实施例中根据用户交互行为构建“用户-短视频”交互二部图的示意图；
图5是本发明基于图模型的短视频推荐方法的较佳实施例中模态层级“用户-短视频”二部图的示意图；
图6是本发明基于图模型的短视频推荐方法的较佳实施例中聚合层的示意图；
图7为本发明智能终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明较佳实施例所述的基于图模型的短视频推荐方法，如图1所示，一种基于图模型的短视频推荐方法，其中，所述基于图模型的短视频推荐方法包括以下步骤：
步骤S10、根据用户对短视频的交互行为，构造用户和短视频对应关系的二部图；
步骤S20、聚合层通过聚合目标顶点的邻域信息输出目标顶点自身的高阶表示向量；
步骤S30、整合层将目标节点信息与邻域信息进行整合；
步骤S40、融合层对目标顶点多个模态信息进行融合；
步骤S50、输出层计算用户向量与短视频向量之间的相似程度，预测用户对短视频产生交互行为的概率，并为用户进行短视频推荐。
如图2所示，本发明中基于图模型的短视频推荐方法的框架由二部图(用户-短视频)、聚合层、整合层、融合层和输出层构成。
其中，二部图是图论中的一种特殊模型，如图3所示，假设图G＝(V，E)是由顶点集合V和边集合E构成，顶点集合V可以分割为两个互不相交的子集{A，B}，并且图中的任意一条边eij所连接的两个顶点i和j分别属于这两个不同的顶点集(i∈A，j∈B)，则图G为一个二部图，顶点i和j互为一阶邻居。
根据用户的历史交互行为能体现用户的兴趣偏好，构造“用户-短视频”二部图，在“用户-短视频”二部图中，顶点分为用户顶点集合和短视频顶点集合两个子集，如果用户对某个短视频有过交互行为(如完整观看视频、点赞)，则在“用户-短视频”二部图中用户顶点与该短视频顶点存在直接相连的边。用户的交互历史短视频顶点集合为该用户顶点的一阶邻域集合，其中每个短视频顶点都包含了短视频的属性信息。为了衡量短视频不同模态的属性信息(如视频封面图片、标题和背景音乐)对用户偏好的影响程度，本发明针对短视频的不同模态(如视觉、文本和听觉)构造相应的“用户-短视频”二部图，不同的模态二部图拓扑结构相同，顶点包含对应模态下的属性信息。
其中，邻域是邻居顶点的集合，某顶点的邻居简单说就是与其直接相连的顶点，邻域就是与其直接相连的所有顶点的集合，一阶邻域指的是一阶邻居顶点的集合；因为池化聚合是在某一个邻域中，对每一个邻居顶点进行计算，所以是衡量不同邻居对目标顶点的影响程度。
遵循图卷积网络“聚合/整合/读出”的结构思想，本发明设计的聚合层作用为聚合目标顶点的邻域信息输出目标顶点自身的高阶表示向量；整合层进行目标节点信息与邻域信息的整合，融合层实现对目标顶点多个模态信息的融合，学习包含不同聚合层级信息的用户和短视频向量表征，体现短视频不同模态包含信息的差异性；输出层计算用户向量与短视频向量之间的相似程度，预测用户对短视频产生交互行为的概率，为用户产生推荐。
具体地，根据用户对短视频的交互行为构建“用户-短视频”二部图，交互行为定义为用户完整观看一部短视频或者对该短视频进行点赞，用户交互过的短视频序列，形如用户1[视频1，视频2，...，视频n]，如图4所示，将用户与短视频对应为图顶点，用户与交互过的短视频顶点之间存在直连边，构建“用户-短视频”交互二部图。
继续构造模态层级的“用户-短视频”二部图，每一种信息的来源或者形式，都可以称为一种模态，人可以通过视觉、听觉、嗅觉和触觉接收信息，信息可以通过图像、文字、语音等形式传递。短视频包括视觉模态信息、文本模态信息和听觉模态信息三种模态信息，每种模态包含的信息以固定维度的向量表示：如所述视觉模态信息以视频封面图片经过卷积神经网络输出为128维的向量作为表征；所述文本模态信息以视频标题文字经过分词和自然语言处理模型向量化输出为128维的向量作为表征；所述听觉模态信息以背景音乐和人物讲话声经过截断并经过卷积神经网络后输出为128维的向量作为表征。如图5所示，将顶点按照
Figure BDA0002405994340000091
不同模态种类进行区分，其中
Figure BDA0002405994340000092
为模态种类的集合，V为视觉模态，T为文本模态，A为听觉模态。构造模态层级的“用户-短视频”二部图
Figure BDA0002405994340000093
二部图中的短视频顶点属性信息为短视频对应模态信息，不同模态图中顶点之间距离远近代表顶点模态之间信息的差异。
进一步地，如图6所示，根据推荐系统中“用户的历史交互行为能体现用户的兴趣偏好”的思想，本发明采用在每个模态的二部图上构造两层结构的GCN(GraphConvolutional Network，图卷积网络)，对顶点进行两级(一阶、二阶邻域聚合)聚合操作(Bi-level Aggregation)；图6为聚合操作不同展示角度的示意图。聚合层的作用在于对目标顶点的邻域信息进行聚合，得到表征目标邻域的向量，每次聚合操作由邻域聚合和非线性处理两部分组成。
其中，邻域聚合：对于模态m下目标顶点v的k阶邻域
Figure BDA0002405994340000109
通过聚合函数fagg(·)进行聚合操作：
Figure BDA0002405994340000101
其中，l为GCN的层数，顶点u为目标顶点v的k阶邻域
Figure BDA0002405994340000102
中的顶点，
Figure BDA0002405994340000103
为顶点u在模态m下处于第l层的表示向量，当l＝0时，其表示为顶点在特定模态下的原始属性特征xm，v，
Figure BDA0002405994340000104
为目标顶点v的k阶邻域聚合信息。
其中，非线性处理：由邻域聚合操作得到目标顶点的一阶和二阶邻域信息，通过将目标顶点原始信息与其邻域信息进行拼接，输入到单层神经网络中获取目标顶点的高阶特征：
Figure BDA0002405994340000105
其中，Wl为神经网络参数矩阵，
Figure BDA0002405994340000106
为顶点v在模态m下处于第l层的表示向量，
Figure BDA0002405994340000107
和
Figure BDA0002405994340000108
分别为目标顶点v的一阶和二阶邻域表示向量，[·，·]为向量拼接操作，σ(·)＝max(0，·)为ReLU函数，起到对向量进行非线性转换的作用，
Figure BDA0002405994340000111
为顶点v模态m下在GCN第l层的聚合层输出向量，代表顶点v在模态m下的高阶表示信息。
由于在“用户-短视频”二部图中，顶点的邻居是无序的，不存在实际意义的先后顺序。因此希望构造出的聚合函数fagg(·)是具有置换不变性(permutation invariant)的，即聚合函数的输出结果不受输入顶点的邻居顺序的改变而改变，且能有效捕捉邻居顶点信息。本发明通过以下三种方式构造聚合函数：
(1)平均聚合：聚合邻居信息最简单直观的方法是选取模态m下目标顶点v的k阶邻域
Figure BDA0002405994340000112
中的顶点u，并将其处于GCN第l层的表示向量
Figure BDA0002405994340000113
按元素(element-wise)进行平均操作：
Figure BDA0002405994340000114
Figure BDA0002405994340000115
为顶点v在模态m下的k阶邻域表示向量，其中
Figure BDA0002405994340000116
表示顶点v的k阶邻域邻居数量。
在目标顶点邻接矩阵中引入自连接，保留目标顶点信息的思想后，对聚合函数进行改造：
Figure BDA0002405994340000117
改造之后的聚合函数相当于将目标顶点自身特征融入到邻域特征中，在后续的非线性处理中直接以邻域特征作为单层网络的输入，可以避免由于拼接操作引入的噪声，同时降低计算复杂度。对应的聚合层输出为：
Figure BDA0002405994340000121
(2)最大池化聚合：池化操作通常是用于深度神经网络中，对网络层传入信息进行抽取和压缩的作用。本发明在GCN的单层网络结构中引入最大池化的聚合操作：
Figure BDA0002405994340000122
其中，Wpool为池化参数矩阵，b为偏置。
由于深度神经网络能提取输入信息的高阶特征，信息在网络中传输相当于被编码成多个通道的特征。为了能直观地衡量不同邻居对目标顶点地影响程度，本发明对目标顶点邻居集合的特征按元素进行最大池化操作，在特定特征维度下表现最为显著的邻居顶点对目标顶点该维度下的影响程度最大。相比于平均聚合，最大池化聚合能在特征维度下更有效地区分不同邻居对输出的贡献程度。
(3)注意力机制聚合：为了更加简洁有效地对顶点邻域信息进行聚合，本发明通过逐顶点(node-wise)的方式在图顶点之间引入注意力分数，衡量目标顶点与邻居顶点的相似程度。假设顶点i为顶点v的邻居，两者之间相似度simv，i定义为：
Figure BDA0002405994340000123
其中，W作为前向神经网络中的参数矩阵，Wv和Wi分别为顶点v和i在前向传播神经网络中对应的参数矩阵，与顶点的表示向量相乘用于扩充顶点的特征维度，函数a(·，·)将拼接后的高维向量特征映射到实数域中，
Figure BDA0002405994340000124
和
Figure BDA0002405994340000125
分别为顶点v的一阶邻域和二阶邻域。
将顶点v和i之间的相似度simv，i作为LeakyReLU函数(激活函数)：
Figure BDA0002405994340000131
的输入进行非线性转换，x表示输入项，并将得到的向量(x)输入到softmax公式：
Figure BDA0002405994340000132
中进行归一化，将结果的值约束到区间[0，1]，得到顶点v和i之间的注意力分数αv，i：
Figure BDA0002405994340000133
对目标顶点v进行逐邻居聚合：
Figure BDA0002405994340000134
其中，W与计算相似度公式中的W是相同的。
为了使聚合结果更加合理(健壮)，本发明将多头注意力机制引入到聚合操作，设置注意力多头个数为P：
Figure BDA0002405994340000135
其中，
Figure BDA0002405994340000136
为在第p个注意力空间中目标顶点v与其k阶邻域中的邻居顶点u之间的注意力分数，
Figure BDA0002405994340000137
为多头注意力平均操作。
对聚合层的优化：在聚合层中，如果不对目标顶点的邻居数量作出限制，其最坏情况下对应的复杂度为：
Figure BDA0002405994340000141
其中，
Figure BDA0002405994340000142
为“用户-短视频”二部图中所有顶点的集合，
Figure BDA0002405994340000143
为所有顶点的数量，
Figure BDA0002405994340000144
和
Figure BDA0002405994340000145
分别为顶点v的一阶和二阶邻居数量。当使用注意力聚合时，需要进行P次邻域聚合，所以计算复杂度需要乘以P。由于不同目标顶点对应的邻居数目不一致，无法输入到模型中，为了均衡计算复杂度和准确性，在本发明中根据实践结果，设置目标顶点的一阶邻居取值
Figure BDA0002405994340000146
二阶邻居取值
Figure BDA0002405994340000147
多头注意力数量P＝3。对于目标顶点邻居数少于设定值的，通过重复采样补齐数目；邻居数量多于设定值的，如果聚合方法为平均或最大池化，则随机选择设定值数量的邻居，如聚合方法为注意力机制，则优先选择注意力分数较大的邻居顶点。
进一步地，在聚合层中，顶点自身包含的信息通过GCN在两个层级的邻居顶点之间传播进行高阶交互。然而之前用于推荐的GCN类模型将推荐物品的属性信息和对应图顶点的结构信息作为同质化信息，以整体输入模型中，忽视了物品不同来源信息对表示学习过程的影响。对此，本发明设计整合层对同一模态下不同来源的输入信息进行整合：
Figure BDA0002405994340000148
其中，fmerge(·)为整合函数，整合层的输出Hm，v顶点v在模态m下的表示向量，其中
Figure BDA0002405994340000149
(
Figure BDA00024059943400001410
代表是在实数域R，维度为dm)为模态m下顶点v经过聚合层的输出，代表顶点的高阶聚合信息，Xm，v为顶点在模态m包含的原始信息，可视为第零阶信息，hυ，id为在“用户-短视频”二部图通过图嵌入方法得到的顶点v的嵌入向量，可以等效为顶点结构信息的表示向量。整合层在模型中的功能是将特定模态下目标顶点的低阶信息(自身属性信息)和高阶信息(邻域信息)进行整合，本发明通过设计两种整合函数用于顶点信息的整合：
(1)阶层整合：将顶点的原始信息和ID嵌入信息定义为顶点的低阶信息，将两者按元素拼接再通过一层前馈神经网络生成的向量定义为包含顶点结构与内容信息的低阶表示：
hm，v，low＝LeakyReLU(Wmerge[xm，v，hid]+b)；
其中，Wmerge为整合层单层神经网络的参数矩阵，b为偏置，顶点的低阶表示hm，v，low与顶点的高阶信息hm，v进行拼接作为整合层的输出：
Hm，v＝[hm，u，low，hm，v]。
(2)外积整合：本发明将顶点在特定模态下信息分为内容信息(contentinformation)和结构信息(structural information)两类，并通过外积的方法对两类信息的向量进行交叉，最后经过一层前馈神经网络输出：
Figure BDA0002405994340000151
其中，
Figure BDA0002405994340000152
为内容信息，
Figure BDA0002405994340000153
为结构信息，
Figure BDA0002405994340000154
为整合层学习的参数矩阵，
Figure BDA0002405994340000155
为偏置。
进一步地，通过整合层对顶点在特定模态下的不同来源数据进行整合，得到用户顶点和短视频顶点在不同模态下的表示向量。将顶点(用户顶点和短视频顶点)的多个模态表示向量进行融合：
Figure BDA0002405994340000161
其中，
Figure BDA0002405994340000166
和
Figure BDA0002405994340000162
分别代表“用户-短视频”二部图中用户顶点的集合和短视频顶点的集合。对于用户顶点u，其在融合层的输出zu由处在视觉、文本和听觉，也即V，T，A三种模态下的整合层输出向量HV，u，HT，u和HA，u进行拼接得到；同理对于短视频顶点i，它在融合层的输出zi由三种模态下的整合层输出向量HV，i，HT，i和HA，i拼接得到。
为了进行更细化的用户向量建模，使在“用户-短视频”二部图中相近的顶点的表示更为相似，互相分离的顶点表示更具有区分性。在本发明融合层中使用负采样(negativesampling)的方法进行无监督优化。定义“用户-短视频”二部图中与用户顶点u有直接相连边的短视频顶点ip为正样本；负样本定义为“用户-短视频”二部图中度数较高，且目标用户顶点没有直连边的短视频顶点in。原因是短视频顶点的度数高代表被交互次数多，可视为热门物品，一般认为热门物品而用户没有行为更加代表用户对该物品不感兴趣。经过实验，为了保持正负样本的数量平衡，设置正样本与负样本数量均为Q＝20个，数量比为1∶1，负样本从顶点度数数量的前15％中随机选取，并设计损失函数进行优化：
Figure BDA0002405994340000163
其中，
Figure BDA0002405994340000164
为sigmoid函数，
Figure BDA0002405994340000165
表示与用户u存在交互行为的短视频顶点ip构成的“用户-短视频”对，
Figure BDA0002405994340000171
表示短视频顶点in未与用户顶点u发生交互行为，被选定为负样本。
进一步地，将优化后的用户向量zu与待推断的短视频向量zi进行内积，输出得到用户对短视频产生交互行为的概率p(Interact)：
Figure BDA0002405994340000172
其中，
Figure BDA0002405994340000173
代表短视频i未被用户u交互过。
技术效果：
(1)通过构建模态层级的“用户-短视频”二部图进行顶点的表示学习。由于在多模态数据中模态之间存在“语义鸿沟”的问题，现有的图卷积网络应用于推荐的方法均难以区分不同模态包含信息的差异性，对其分别建模。本发明通过对短视频的不同模态分别构建二部图以及相应的图卷积网络，学习用户和短视频顶点在不同模态下的向量表征，达到对用户进行细粒度个性化推荐的目的。
(2)在聚合层中对顶点(用户顶点和短视频顶点)进行两级聚合操作(Bi-levelaggregation)量化顶点邻居的影响力，建模顶点的高阶表示。随着GCN层数增加，高阶邻居的信息传递效率会逐步递减，高阶邻居顶点信息在传递过程中容易出现梯度消失的问题，难以作用于目标顶点的表示学习中。由卷积神经网络中使用跳接(skip-connect)增加信息传递通路，抑制梯度消失做法的启发。本发明在图中目标顶点与其二阶邻居之间进行第二层级的聚合操作，增强目标顶点的二阶邻居信息在目标顶点表示学习中的作用，保持高阶邻居信息传递的完整性。
(3)在聚合层中引入多头注意力机制的思想构造聚合函数。相比于现有图卷积网络常用的平均聚合(Mean aggregation)和最大池化聚合(Maxpool aggregation)方法，本发明基于注意力机制的方法在聚合的过程中以顶点之间的注意力分数作为度量，考虑顶点特征之间的相关性约束，起到筛选去除无关邻居信息，增强相关邻居对目标顶点影响的作用；引入多头注意力机制，相当于对多个注意力聚合操作进行集成学习(ensemble)，使学习得到的顶点表达向量更加健壮。
(4)在整合层对顶点的内容向量和结构向量进行外积操作。在本发明中，将图嵌入方法应用于二部图学习目标顶点在图中的拓扑结构表示，作为结构向量；将目标顶点的原始属性向量和经过聚合层的高阶表示向量拼接为顶点的内容向量，将两者进行外积操作，从数据角度上相当于进行特征维度扩充，将两个一维表示向量映射到二维平面空间，并通过一层前馈神经网络转化成包含两者信息的一维向量输出Hm，v∈Rd，达到整合目标顶点不同来源信息的目的。
本发明通过构建模态层级的“用户-短视频”二部图进行顶点的表示学习，其他可替代的变形方案可通过构建模态层级的单一类型顶点图如“用户-用户”、“短视频-短视频”等形式，使用图卷积网络对用户或者短视频顶点进行表示学习。本发明在聚合层中对顶点(用户顶点和短视频顶点)进行两级(一阶和二阶)聚合操作量化顶点邻居的影响力，建模顶点的高阶表示；变形方案可通过对顶点(用户顶点和短视频顶点)的高阶(三阶或以上)聚合进行表示学习。
进一步地，如图7所示，基于上述基于图模型的短视频推荐方法，本发明还相应提供了一种智能终端，所述智能终端包括处理器10、存储器20及显示器30。图7仅示出了智能终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述智能终端的内部存储单元，例如智能终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述智能终端的外部存储设备，例如所述智能终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所述智能终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述智能终端的应用软件及各类数据，例如所述安装智能终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于图模型的短视频推荐程序40，该基于图模型的短视频推荐程序40可被处理器10所执行，从而实现本申请中基于图模型的短视频推荐方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于图模型的短视频推荐方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述智能终端的信息以及用于显示可视化的用户界面。所述智能终端的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中基于图模型的短视频推荐程序40时实现以下步骤：
根据用户对短视频的交互行为，构造用户和短视频对应关系的二部图；
聚合层通过聚合目标顶点的邻域信息输出目标顶点自身的高阶表示向量；
整合层将目标节点信息与邻域信息进行整合；
融合层对目标顶点多个模态信息进行融合；
输出层计算用户向量与短视频向量之间的相似程度，预测用户对短视频产生交互行为的概率，并为用户进行短视频推荐。
所述交互行为定义为用户完整观看一部短视频或者对所观看的短视频进行点赞操作。
所述根据用户对短视频的交互行为，构造用户和短视频对应关系的二部图，还包括：
构造模态层级的用户与短视频对应关系的二部图。
所述短视频包括视觉模态信息、文本模态信息和听觉模态信息；
所述视觉模态信息以视频封面图片经过卷积神经网络输出为128维的向量作为表征；
所述文本模态信息以视频标题文字经过分词和自然语言处理模型向量化输出为128维的向量作为表征；
所述听觉模态信息以背景音乐和人物讲话声经过截断并经过卷积神经网络后输出为128维的向量作为表征。
所述聚合层用于对目标顶点的邻域信息进行聚合，得到表征目标邻域的向量，每次聚合操作由邻域聚合和非线性处理组成。
所述邻域聚合为：对目标顶点的邻域通过聚合函数进行聚合操作；
所述非线性处理为：由邻域聚合操作得到目标顶点的一阶和二阶邻域信息，通过将目标顶点原始信息与其邻域信息进行拼接，输入到单层神经网络中获取目标顶点的高阶特征。
所述聚合函数的构造方式包括：平均聚合、最大池化聚合和注意力机制聚合。
所述整合层用于对同一模态下不同来源的输入信息进行整合，以及将特定模态下目标顶点的低阶信息和高阶信息进行整合，得到用户顶点和短视频顶点在不同模态下的表示向量；
所述融合层用于将用户顶点和短视频顶点的多个模态表示向量进行融合。
本发明还提供一种存储介质，其中，所述存储介质存储有基于图模型的短视频推荐程序，所述基于图模型的短视频推荐程序被处理器执行时实现所述基于图模型的短视频推荐方法的步骤；具体如上所述。
综上所述，本发明提供了一种基于图模型的短视频推荐方法、和智能终端和存储介质，所述方法包括：使用数据集训练深度神经网络；将三维点云输入至所述深度神经网络；所述深度神经网络输出所述三维点云的第一部分和第二部分，将所述第一部分作为运动子单元，所述第二部分作为运动单元的参考部分；根据所述三维点云的输出完成网络预测，输出运动信息，所述运动信息包括运动性分割、运动轴和运动类型。本发明实现了在非结构化并且可能是部分扫描的各种铰链式物体在静止状态下同时运动和部件的预测结果，能够十分准确地预测物体部件的运动。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种基于图模型的短视频推荐方法，其特征在于，所述基于图模型的短视频推荐方法包括：
根据用户对短视频的交互行为，构造用户和短视频对应关系的二部图；
聚合层通过聚合目标顶点的邻域信息输出目标顶点自身的高阶表示向量；
整合层将目标节点信息与邻域信息进行整合；
融合层对目标顶点多个模态信息进行融合；
输出层计算用户向量与短视频向量之间的相似程度，预测用户对短视频产生交互行为的概率，并为用户进行短视频推荐；
所述短视频包括视觉模态信息、文本模态信息和听觉模态信息；
所述视觉模态信息以视频封面图片经过卷积神经网络输出为128维的向量作为表征；
所述文本模态信息以视频标题文字经过分词和自然语言处理模型向量化输出为128维的向量作为表征；
所述听觉模态信息以背景音乐和人物讲话声经过截断并经过卷积神经网络后输出为128维的向量作为表征；
所述聚合层用于对目标顶点的邻域信息进行聚合，得到表征目标邻域的向量，每次聚合操作由邻域聚合和非线性处理组成；
所述邻域聚合为：对目标顶点的邻域通过聚合函数进行聚合操作；
所述非线性处理为：由邻域聚合操作得到目标顶点的一阶和二阶邻域信息，通过将目标顶点原始信息与其邻域信息进行拼接，输入到单层神经网络中获取目标顶点的高阶特征。
2.根据权利要求1所述的基于图模型的短视频推荐方法，其特征在于，所述交互行为定义为用户完整观看一部短视频或者对所观看的短视频进行点赞操作。
3.根据权利要求1所述的基于图模型的短视频推荐方法，其特征在于，所述根据用户对短视频的交互行为，构造用户和短视频对应关系的二部图，还包括：
构造模态层级的用户与短视频对应关系的二部图。
4.根据权利要求1所述的基于图模型的短视频推荐方法，其特征在于，所述聚合函数的构造方式包括：平均聚合、最大池化聚合和注意力机制聚合。
5.根据权利要求1所述的基于图模型的短视频推荐方法，其特征在于，所述整合层用于对同一模态下不同来源的输入信息进行整合，以及将特定模态下目标顶点的低阶信息和高阶信息进行整合，得到用户顶点和短视频顶点在不同模态下的表示向量；
所述融合层用于将用户顶点和短视频顶点的多个模态表示向量进行融合。
6.一种智能终端，其特征在于，所述智能终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于图模型的短视频推荐程序，所述基于图模型的短视频推荐程序被所述处理器执行时实现如权利要求1-5任一项所述的基于图模型的短视频推荐方法的步骤。
7.一种存储介质，其特征在于，所述存储介质存储有基于图模型的短视频推荐程序，所述基于图模型的短视频推荐程序被处理器执行时实现如权利要求1-5任一项所述基于图模型的短视频推荐方法的步骤。
CN202010161605.4A 2020-03-10 2020-03-10 一种基于图模型的短视频推荐方法、和智能终端和存储介质 Active CN111382309B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010161605.4A CN111382309B (zh) 2020-03-10 2020-03-10 一种基于图模型的短视频推荐方法、和智能终端和存储介质
PCT/CN2020/125527 WO2021179640A1 (zh) 2020-03-10 2020-10-30 一种基于图模型的短视频推荐方法、和智能终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010161605.4A CN111382309B (zh) 2020-03-10 2020-03-10 一种基于图模型的短视频推荐方法、和智能终端和存储介质

Publications (2)

Publication Number Publication Date
CN111382309A CN111382309A (zh) 2020-07-07
CN111382309B true CN111382309B (zh) 2023-04-18

Family

ID=71217236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010161605.4A Active CN111382309B (zh) 2020-03-10 2020-03-10 一种基于图模型的短视频推荐方法、和智能终端和存储介质

Country Status (2)

Country Link
CN (1) CN111382309B (zh)
WO (1) WO2021179640A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382309B (zh) * 2020-03-10 2023-04-18 深圳大学 一种基于图模型的短视频推荐方法、和智能终端和存储介质
CN111988668B (zh) * 2020-08-28 2021-06-08 腾讯科技（深圳）有限公司 一种视频推荐方法、装置、计算机设备及存储介质
CN112148998B (zh) * 2020-09-08 2021-10-26 浙江工业大学 一种基于多核图卷积网络的在线社交平台用户好友推荐方法
CN113918764B (zh) * 2020-12-31 2024-06-25 浙江大学 一种基于交叉模态融合的电影推荐系统
CN113190730A (zh) * 2021-04-30 2021-07-30 中国人民银行数字货币研究所 一种区块链地址的分类方法及装置
CN113344177B (zh) * 2021-05-10 2022-10-14 电子科技大学 基于图注意力的深度推荐方法
CN113868519B (zh) * 2021-09-18 2023-11-14 北京百度网讯科技有限公司 信息搜索方法、装置、电子设备和存储介质
WO2023051678A1 (zh) * 2021-09-29 2023-04-06 华为技术有限公司 一种推荐方法及相关装置
CN113987200B (zh) * 2021-10-19 2024-03-15 云南大学 神经网络结合知识图谱的推荐方法、系统、终端、介质
CN116150425A (zh) * 2021-11-19 2023-05-23 腾讯科技（深圳）有限公司 推荐内容的选择方法、装置、设备、存储介质及程序产品
CN114385921B (zh) * 2022-01-13 2023-03-24 中建电子商务有限责任公司 一种标书推荐方法、系统、设备及存储介质
CN114153997B (zh) * 2022-02-09 2022-05-10 中国传媒大学 基于双线性感知图神经网络模型的视听推荐系统、方法
CN114693397B (zh) * 2022-03-16 2023-04-28 电子科技大学 一种基于注意力神经网络的多视角多模态商品推荐方法
CN115119013B (zh) * 2022-03-26 2023-05-05 浙江九鑫智能科技有限公司 多级数据机控应用系统
CN114647785A (zh) * 2022-03-28 2022-06-21 北京工业大学 基于情感分析的短视频获赞数量预测方法
CN114841778B (zh) * 2022-05-23 2024-06-04 安徽农业大学 一种基于动态图神经网络的商品推荐方法
CN114707427B (zh) * 2022-05-25 2022-09-06 青岛科技大学 基于有效邻居取样最大化的图神经网络的个性化建模方法
CN114692007B (zh) * 2022-06-01 2022-08-23 腾讯科技（深圳）有限公司 表示信息的确定方法、装置、设备及存储介质
CN115130663B (zh) * 2022-08-30 2023-10-13 中国海洋大学 基于图神经网络和注意力机制的异质网络属性补全方法
CN116932887B (zh) * 2023-06-07 2024-06-18 哈尔滨工业大学（威海） 一种基于多模态图卷积的影像推荐系统及方法
CN116561446B (zh) * 2023-07-10 2023-10-20 中国传媒大学 多模态项目推荐方法、系统及设备和存储介质
CN117112834B (zh) * 2023-10-24 2024-02-02 苏州元脑智能科技有限公司 视频的推荐方法和装置、存储介质及电子装置
CN118042229A (zh) * 2024-01-24 2024-05-14 常州力开智能科技有限公司 一种交互式网络电视服务方法及系统
CN118069881A (zh) * 2024-04-25 2024-05-24 山东科技大学 一种基于异质图模型的音乐推荐方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224619A (zh) * 2015-09-18 2016-01-06 中国科学院计算技术研究所 一种适用于视频/图像局部特征的空间关系匹配方法及系统
CN105474166A (zh) * 2013-03-15 2016-04-06 先进元素科技公司 用于有目的计算的方法和系统
CN106295564A (zh) * 2016-08-11 2017-01-04 南京理工大学 一种邻域高斯结构和视频特征融合的动作识别方法
CN106529419A (zh) * 2016-10-20 2017-03-22 北京航空航天大学 视频显著性堆栈式聚合的对象自动检测方法
CN108470354A (zh) * 2018-03-23 2018-08-31 云南大学 视频目标跟踪方法、装置和实现装置
CN108830790A (zh) * 2018-05-16 2018-11-16 宁波大学 一种基于精简卷积神经网络的快速视频超分辨率重建方法
CN109948489A (zh) * 2019-03-09 2019-06-28 闽南理工学院 一种基于视频多帧人脸特征融合的人脸识别系统及方法
CN110337016A (zh) * 2019-06-13 2019-10-15 山东大学 基于多模态图卷积网络的短视频个性化推荐方法及系统
CN110334245A (zh) * 2019-05-20 2019-10-15 山东大学 一种基于时序属性的图神经网络的短视频推荐方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837578B (zh) * 2019-11-06 2021-05-04 合肥工业大学 一种基于图卷积网络的视频片段推荐方法
CN110866184B (zh) * 2019-11-11 2022-12-02 湖南大学 短视频数据标签推荐方法、装置、计算机设备和存储介质
CN111382309B (zh) * 2020-03-10 2023-04-18 深圳大学 一种基于图模型的短视频推荐方法、和智能终端和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105474166A (zh) * 2013-03-15 2016-04-06 先进元素科技公司 用于有目的计算的方法和系统
CN105224619A (zh) * 2015-09-18 2016-01-06 中国科学院计算技术研究所 一种适用于视频/图像局部特征的空间关系匹配方法及系统
CN106295564A (zh) * 2016-08-11 2017-01-04 南京理工大学 一种邻域高斯结构和视频特征融合的动作识别方法
CN106529419A (zh) * 2016-10-20 2017-03-22 北京航空航天大学 视频显著性堆栈式聚合的对象自动检测方法
CN108470354A (zh) * 2018-03-23 2018-08-31 云南大学 视频目标跟踪方法、装置和实现装置
CN108830790A (zh) * 2018-05-16 2018-11-16 宁波大学 一种基于精简卷积神经网络的快速视频超分辨率重建方法
CN109948489A (zh) * 2019-03-09 2019-06-28 闽南理工学院 一种基于视频多帧人脸特征融合的人脸识别系统及方法
CN110334245A (zh) * 2019-05-20 2019-10-15 山东大学 一种基于时序属性的图神经网络的短视频推荐方法及装置
CN110337016A (zh) * 2019-06-13 2019-10-15 山东大学 基于多模态图卷积网络的短视频个性化推荐方法及系统

Also Published As

Publication number Publication date
WO2021179640A1 (zh) 2021-09-16
CN111382309A (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
CN111382309B (zh) 一种基于图模型的短视频推荐方法、和智能终端和存储介质
Zhang et al. Deep learning based recommender system: A survey and new perspectives
Tao et al. Multi-modal knowledge-aware reinforcement learning network for explainable recommendation
CN112836120A (zh) 一种基于多模态知识图谱的电影推荐方法、系统及终端
CN112733027B (zh) 一种基于局部和全局表示模型联合学习的混合推荐方法
CN114637923B (zh) 基于层次注意力图神经网络的数据信息推荐方法和装置
CN110046301B (zh) 对象推荐方法和装置
CN116601626A (zh) 个人知识图谱构建方法、装置及相关设备
CN115238191A (zh) 对象推荐方法以及装置
Zhang et al. Deep learning for recommender systems
US20240037133A1 (en) Method and apparatus for recommending cold start object, computer device, and storage medium
CN115599990A (zh) 一种知识感知结合深度强化学习的跨域推荐方法及系统
CN115269984A (zh) 一种专业情报推荐方法和系统
CN114647787A (zh) 一种基于多模态数据的用户个性化推荐方法
CN116127083A (zh) 内容推荐方法、装置、设备及存储介质
CN113449193A (zh) 基于多分类图像的信息推荐方法及装置
Yang Analysis of top box office film poster marketing scheme based on data mining and deep learning in the context of film marketing
CN116561446B (zh) 多模态项目推荐方法、系统及设备和存储介质
CN116932887B (zh) 一种基于多模态图卷积的影像推荐系统及方法
CN117786234B (zh) 一种基于两阶段对比学习的多模态资源推荐方法
CN117252665B (zh) 业务推荐方法、装置、电子设备及存储介质
CN118013060B (zh) 数据处理方法、装置、设备、存储介质及产品
WO2024061073A1 (zh) 一种多媒体信息的生成方法及装置、计算机可读存储介质
Patil et al. Micro video recommendation in multimodality using dual-perception and gated recurrent graph neural network
Zhan et al. Research on Movie Recommendation Algorithm based on Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant