CN111400591B - 资讯信息推荐方法、装置、电子设备及存储介质 - Google Patents

资讯信息推荐方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111400591B
CN111400591B CN202010167009.7A CN202010167009A CN111400591B CN 111400591 B CN111400591 B CN 111400591B CN 202010167009 A CN202010167009 A CN 202010167009A CN 111400591 B CN111400591 B CN 111400591B
Authority
CN
China
Prior art keywords
information
alternative
determining
parameter
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010167009.7A
Other languages
English (en)
Other versions
CN111400591A (zh
Inventor
李天浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yayue Technology Co ltd
Original Assignee
Shenzhen Yayue Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yayue Technology Co ltd filed Critical Shenzhen Yayue Technology Co ltd
Priority to CN202010167009.7A priority Critical patent/CN111400591B/zh
Publication of CN111400591A publication Critical patent/CN111400591A/zh
Application granted granted Critical
Publication of CN111400591B publication Critical patent/CN111400591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种资讯信息推荐方法,包括:响应于资讯信息推荐请求,获取目标用户的行为参数信息;基于所述目标用户的行为参数信息,确定与所述目标用户相对应的备选资讯信息;根据所述备选资讯信息,确定与所述备选资讯信息相匹配的资讯信息列表以及对应的相似度参数,其中,所述资讯信息列表包括来自不同数据源的不同资讯信息;基于所述相似度参数和所述资讯信息列表中不同资讯信息的重合度参数,确定资讯信息列表中的相应的资讯信息作为待推荐资讯信息,本发明还提供了资讯信息推荐装置、电子设备及存储介质。本发明能够现待推荐资讯信息与所述目标用户相匹配,同时增强了资讯信息推荐的准确性与时效性,提升用户的使用体验。

Description

资讯信息推荐方法、装置、电子设备及存储介质
技术领域
本发明涉及信息处理技术,尤其涉及资讯信息推荐方法、装置、电子设备及存储介质。
背景技术
传统技术中,各类资讯推荐系统向用户推荐相应的资讯过程中可以使用协同过滤的推荐方式,协同过滤作为有效的推荐方法在各类资讯推荐系统中广泛应用,传统基于协同过滤的推荐方式在计算资讯相似度关系时主要采用基于邻域或矩阵分解的算法思想,这两种算法为了保证资讯相似度计算的准确性,往往会对用户行为的原始数据进行多维度的过滤处理,同时要求待计算的资讯能获取到足够丰富的用户行为,因而使得这类算法对新资讯(或者是首次进入资源池的咨询)的处理不够准确,覆盖度较低。而基于用户兴趣的推荐,是利用用户历史行为建立用户在具体类目以及Tag上的兴趣分数,在召回时如果新闻资讯中的Tag信息命中相应的用户Tag兴趣,则召回该资讯。这种方案通常对Tag信息的利用较为单一,通过此类标签对资讯信息进行粗分,可以分为娱乐资讯信息、体育资讯信息,或者细分到篮球集锦、影视花絮等。但是这类表示方法比较粗放,并且分类标签信息需要提前设置并及时更新,而且其内容表示能力是有限的。类标签信息需要提前设置并及时更新,而且其内容表示能力是有限的,使得资讯信息相对比较割裂,严重影响用户的使用体验。
发明内容
有鉴于此,本发明实施例提供一种资讯信息推荐方法、装置、电子设备及存储介质,本发明实施例的技术方案是这样实现的:
本发明提供了一种资讯信息推荐方法,所述方法包括:
响应于资讯信息推荐请求,获取目标用户的行为参数信息;
基于所述目标用户的行为参数信息,确定与所述目标用户相对应的备选资讯信息;
根据所述备选资讯信息,确定与所述备选资讯信息相匹配的资讯信息列表以及对应的相似度参数,其中,所述资讯信息列表包括来自不同数据源的不同资讯信息;
基于所述相似度参数和所述资讯信息列表中不同资讯信息的重合度参数,确定资讯信息列表中的相应的资讯信息作为待推荐资讯信息,以实现所述待推荐资讯信息与所述目标用户相匹配。
上述方案中,所述基于所述目标用户的行为参数信息,确定与所述目标用户相对应的备选资讯信息,包括:
对所述目标用户的行为参数信息进行解析,确定所述目标用户对应的浏览时长参数;
基于相应的浏览时长阈值,对所述浏览时长参数进行除噪;
根据所述浏览时长参数的除噪结果,确定与所述目标用户相对应的浏览行为参数,以及所述浏览行为参数所对应的备选资讯信息。
上述方案中,所述根据所述备选资讯信息的资讯信息参数,确定与所述备选资讯信息相匹配的基础特征,包括:
根据所述备选资讯信息在基础维度中的资讯信息参数,
确定与所述备选资讯信息相对应的类别参数、资讯信息标签参数和资讯信息发布来源参数;
对所述备选资讯信息相对应的类别参数、资讯信息标签参数和资讯信息发布来源参数分别进行特征抽取,以形成与所述备选资讯信息相匹配的基础特征。
上述方案中,,所述根据所述备选资讯信息的资讯信息参数,确定与所述备选资讯信息相匹配的多模态特征,包括:
根据所述备选资讯信息在基础维度中的资讯信息参数,
确定与所述备选资讯信息相对应的标题文字参数、图像信息参数和视觉信息参数;
对所述备选资讯信息相对应的标题文字参数、图像信息参数和视觉信息参数分别进行特征抽取并融合,以形成与所述备选资讯信息相匹配的多模态特征。
上述方案中,所述基于所述基础特征和所述多模态特征,通过所述资讯信息推荐模型中的图神经网络模型,确定与所述备选资讯信息相匹配的融合特征向量,包括:
通过所述资讯信息推荐模型中的基础信息处理网络,对所述基础特征进行处理,以形成相应的基础特征向量;
通过所述资讯信息推荐模型中的图像处理网络,对所述多模态特征中的图像特征进行处理,以形成相应的图像特征向量;
通过所述资讯信息推荐模型中的文字处理网络,对所述多模态特征中的标题文字特征进行处理,以形成相应标题文字特征向量;
通过所述资讯信息推荐模型中的视觉处理网络,对所述多模态特征中的视觉特征进行处理,以形成相应的视觉特征向量;
基于所述基础特征向量、所述图像特征向量、所述标题文字特征向量和所述视觉特征向量,通过所述资讯信息推荐模型中的图神经网络模型进行向量融合,以形成与所述备选资讯信息相匹配的融合特征向量。
本发明实施例还提供了一种资讯信息推荐装置,所述装置包括:
信息传输模块,用于响应于资讯信息推荐请求,获取目标用户的行为参数信息;
信息处理模块,用于基于所述目标用户的行为参数信息,确定与所述目标用户相对应的备选资讯信息;
所述信息处理模块,用于根据所述备选资讯信息,确定与所述备选资讯信息相匹配的资讯信息列表以及对应的相似度参数,其中,所述资讯信息列表包括来自不同数据源的不同资讯信息;
所述信息处理模块,用于基于所述相似度参数和所述资讯信息列表中不同资讯信息的重合度参数,确定资讯信息列表中的相应的资讯信息作为待推荐资讯信息,以实现所述待推荐资讯信息与所述目标用户相匹配。
上述方案中,
所述信息处理模块,用于对所述目标用户的行为参数信息进行解析,确定所述目标用户对应的浏览时长参数;
所述信息处理模块,用于基于相应的浏览时长阈值,对所述浏览时长参数进行除噪;
所述信息处理模块,用于根据所述浏览时长参数的除噪结果,确定与所述目标用户相对应的浏览行为参数,以及所述浏览行为参数所对应的备选资讯信息。
上述方案中,
所述信息处理模块,用于获取与所述目标用户相对应的不同维度的原始数据集合;
所述信息处理模块,用于根据所述不同维度的原始数据集合,确定与所述目标用户相匹配的用户行为数据;
所述信息处理模块,用于基于所述用户行为数据,确定与相应的资讯信息推荐模型中的图神经网络模型;
所述信息处理模块,用于基于所述资讯信息推荐模型中的图神经网络模型,确定相应资讯信息源中不同资讯信息所分别对应的资讯信息列表以及对应的相似度参数。
上述方案中,
所述信息处理模块,用于获取备选资讯信息,并对所述备选资讯信息进行解析以实现获取所述备选资讯信息的资讯信息参数;
所述信息处理模块,用于根据所述备选资讯信息的资讯信息参数,确定与所述备选资讯信息相匹配的基础特征;
所述信息处理模块,用于根据所述备选资讯信息的资讯信息参数,确定与所述备选资讯信息相匹配的多模态特征;
所述信息处理模块,用于基于所述基础特征和所述多模态特征,通过所述资讯信息推荐模型中的图神经网络模型,确定与所述备选资讯信息相匹配的融合特征向量;
所述信息处理模块,用于基于与所述备选资讯信息相匹配的融合特征向量,确定相应资讯信息源中不同资讯信息所分别对应的资讯信息列表以及对应的相似度参数。
上述方案中,
所述信息处理模块,用于对所述备选资讯信息进行解析,获取所述备选资讯信息的标签信息;
所述信息处理模块,用于根据所述备选资讯信息的标签信息,对所述备选资讯信息进行解析,以实现分别获取与所述备选资讯信息在基础维度与多模态维度中的资讯信息参数。
上述方案中,
所述信息处理模块,用于根据所述备选资讯信息在基础维度中的资讯信息参数,确定与所述备选资讯信息相对应的类别参数、资讯信息标签参数和资讯信息发布来源参数;
所述信息处理模块,用于对所述备选资讯信息相对应的类别参数、资讯信息标签参数和资讯信息发布来源参数分别进行特征抽取,以形成与所述备选资讯信息相匹配的基础特征。
上述方案中,
所述信息处理模块,用于根据所述备选资讯信息在基础维度中的资讯信息参数,确定与所述备选资讯信息相对应的标题文字参数、图像信息参数和视觉信息参数;
所述信息处理模块,用于对所述备选资讯信息相对应的标题文字参数、图像信息参数和视觉信息参数分别进行特征抽取并融合,以形成与所述备选资讯信息相匹配的多模态特征。
上述方案中,
所述信息处理模块,用于通过所述资讯信息推荐模型中的基础信息处理网络,对所述基础特征进行处理,以形成相应的基础特征向量;
所述信息处理模块,用于通过所述资讯信息推荐模型中的图像处理网络,对所述多模态特征中的图像特征进行处理,以形成相应的图像特征向量;
所述信息处理模块,用于通过所述资讯信息推荐模型中的文字处理网络,对所述多模态特征中的标题文字特征进行处理,以形成相应标题文字特征向量;
所述信息处理模块,用于通过所述资讯信息推荐模型中的视觉处理网络,对所述多模态特征中的视觉特征进行处理,以形成相应的视觉特征向量;
所述信息处理模块,用于基于所述基础特征向量、所述图像特征向量、所述标题文字特征向量和所述视觉特征向量,通过所述资讯信息推荐模型中的图神经网络模型进行向量融合,以形成与所述备选资讯信息相匹配的融合特征向量。
上述方案中,
所述信息处理模块,用于基于与所述备选资讯信息相匹配的融合特征向量,确定所述资讯信息列表中每一条资讯信息对应的余弦相似性参数;
所述信息处理模块,用于基于所述余弦相似性参数确定每一条资讯信息对应相似度参数;
所述信息处理模块,用于基于所述每一条资讯信息对应相似度参数确定不同资讯信息所分别对应的资讯信息列表对应的相似度参数。
本发明实施例还提供了一种电子设备,所述电子设备包括:
存储器,用于存储可执行指令;
处理器,用于运行所述存储器存储的可执行指令时,实现前序的资讯信息推荐方法。
本发明实施例还提供了一种计算机可读存储介质,存储有可执行指令,其特征在于,所述可执行指令被处理器执行时实现前序的资讯信息推荐方法。
本发明实施例具有以下有益效果:
本发明通过响应于资讯信息推荐请求,获取目标用户的行为参数信息;基于所述目标用户的行为参数信息,确定与所述目标用户相对应的备选资讯信息;根据所述备选资讯信息,确定与所述备选资讯信息相匹配的资讯信息列表以及对应的相似度参数,其中,所述资讯信息列表包括来自不同数据源的不同资讯信息;基于所述相似度参数和所述资讯信息列表中不同资讯信息的重合度参数,确定资讯信息列表中的相应的资讯信息作为待推荐资讯信息,由此,可以实现待推荐资讯信息与所述目标用户相匹配,同时增强了资讯信息推荐的准确性与时效性,提升用户的使用体验。
附图说明
图1为本发明实施例提供的资讯信息推荐方法的使用场景示意图;
图2为本发明实施例提供的资讯信息推荐装置的组成结构示意图;
图3为本发明实施例提供的资讯信息推荐方法一个可选的流程示意图;
图4为本发明实施例提供的资讯信息推荐方法一个可选的流程示意图;
图5为本发明实施例中文字处理网络一个可选的结构示意图;
图6为本发明实施例中文字处理网络一个可选的词语级类隐变量的确定过程示意图;
图7为本发明实施例中文字处理网络中编码器一个可选的结构示意图;
图8为本发明实施例中文字处理网络中编码器的向量拼接示意图;
图9为本发明实施例中文字处理网络中编码器的编码过程示意图;
图10为本发明实施例中文字处理网络中解码器的解码过程示意图;
图11为本发明实施例中文字处理网络中解码器的解码过程示意图;
图12为本发明实施例中文字处理网络中解码器的解码过程示意图;
图13为本发明实施例中新闻资讯信息推荐方法的应用环境示意图;
图14为本发明实施例所提供的资讯信息推荐方法的工作过程示意图;
图15A为本发明实施例所提供的资讯信息推荐方法的数据结构示意图;
图15B为本发明实施例所提供的资讯信息推荐方法的工作过程示意图;
图16为本发明实施例所提供的图神经网络结构示意图;
图17为本发明实施例所提供的图神经网络结构示意图;
图18为本发明实施例所提供的资讯信息相似度计算示意图;
图19为本发明实施例所提供的资讯信息推荐方法的工作过程示意图;
图20为本发明实施例所提供的资讯信息推荐方法的前端显示示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,所描述的实施例不应视为对本发明的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
对本发明实施例进行进一步详细说明之前,对本发明实施例中涉及的名词和术语进行说明,本发明实施例中涉及的名词和术语适用于如下的解释。
1)响应于,用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。
2)资讯信息,互联网中可获取的各种形式的资讯,如客户端或者智能设备中呈现的视频文件、多媒体信息、新闻信息等。
3)卷积神经网络(CNN Convolutional Neural Networks)是一类包含卷积计算且具有深度结构的前馈神经网络(Feed forward Neural Networks),是深度学习(deeplearning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力,能够按其阶层结构对输入信息进行平移不变分类(shift-invariantclassification)。
4)模型训练,对图像数据集进行多分类学习。该模型可采用Tensor Flow、torch等深度学习框架进行构建,使用CNN等神经网络层的多层结合组成多分类模型。模型的输入为图像经过openCV等工具读取形成的三通道或原通道矩阵,模型输出为多分类概率,通过softmax等算法最终输出网页类别。在训练时,模型通过交叉熵等目标函数向正确趋势逼近。
5)神经网络(Neural Network,NN):人工神经网络(Artificial Neural Network,ANN),简称神经网络或类神经网络,在机器学习和认知科学领域,是一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)的结构和功能的数学模型或计算模型,用于对函数进行估计或近似。
6)图神经网络(Graph Neural Network,GNN):一种直接作用于图结构上的神经网络,主要针对非欧几里得空间结构(图结构)的数据进行处理。具有忽略节点的输入顺序;在计算过程中,节点的表示受其周围邻居节点的影响,而图本身连接不变;图结构的表示使得可以进行基于图的推理。通常,图神经网络由两个模块组成:传播模块(PropagationModule)和输出模块(Output Module),传播模块用于图中节点之间传递信息并更新状态,输出模块用于基于图的节点和边的向量表示,根据不同的任务定义目标函数。图神经网络有:图卷积神经网络(Graph Convolutional Networks,GCNs),门控图神经网络(GatedGraph Neural Networks,GGNNs)以及基于注意力机制的图注意力神经网络(GraphAttention Networks,GAT)。
7)有向图:表示物件与物件之间的关系,可以通过有序三元组(V(D),A(D),ψD)来表示有向图,其中ψD为关联函数,它是A(D)中的每一个元素对应于V(D)的有序元素对。
8)编码器-解码器结构:机器翻译技术常用的网络结构。由编码器和解码器两部分组成,编码器将输入的文本转换为一系列能够表达输入文本特征的上下文向量,解码器接收编码器输出的结果作为自己的输入,输出对应的另一种语言的文本序列。
9)双向注意力神经网络模(BERT Bidirectional Encoder Representationsfrom Transformers)谷歌提出的双向注意力神经网络模型。
10)token:词单元,对输入文本做任何实际处理前,都需要将其分割成诸如词、标点符号、数字或纯字母数字等语言单元。这些单元被称为词单元。
11)Softmax:归一化指数函数,是逻辑函数的一种推广。它能将一个含任意实数的K维向量“压缩”到另一个K维实向量中,使得每一个元素的范围都在[0,1]之间,并且所有元素的和为1。
12)分词:使用中文分词工具切分中文文本,得到细粒度词的集合。停用词:对于文本的语义没有贡献或者贡献可以不计的字或词。Cosin相似度:两个文本表示成向量之后的余弦相似度。
13)Transformers:一种新的网络结构,采用注意力机制,代替传统的编码器-解码器必须依赖其它神经网络的模式。字向量:对单个字用固定维度的分布向量表示。复合词:由细粒度的关键词组成的粒度较粗的关键词,其语义相对细粒度关键词更加丰富和完整。
图1为本发明实施例提供的资讯信息推荐方法的使用场景示意图,参见图1,终端(包括终端10-1和终端10-2)上设置有能够显示相应不同资讯信息的软件的客户端,例如视频播放的客户端或插件,用户通过相应的客户端可以获得不同资讯信息(例如不同的目标视频或者文字新闻)并进行展示;终端通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合,使用无线链路实现数据传输。
作为一个示例,服务器200用于布设相应的资讯信息推荐模型以实现本发明所提供的资讯信息推荐方法,或者布设资讯信息推荐装置,以实现资讯信息推荐方法,具体的,通过资讯信息推荐处理包括:响应于资讯信息推荐请求,获取目标用户的行为参数信息;基于所述目标用户的行为参数信息,确定与所述目标用户相对应的备选资讯信息;根据所述备选资讯信息,确定与所述备选资讯信息相匹配的资讯信息列表以及对应的相似度参数,其中,所述资讯信息列表包括来自不同数据源的不同资讯信息;基于所述相似度参数和所述资讯信息列表中不同资讯信息的重合度参数,确定资讯信息列表中的相应的资讯信息作为待推荐资讯信息,以实现所述待推荐资讯信息与所述目标用户相匹配,并通过终端(终端10-1和/或终端10-2)展示输出与所述目标用户相匹配的待推荐资讯信息。以视频资讯信息为例,本发明所提供的资讯信息推荐模型可以应用于视频播放,在视频播放中通常会对不同数据来源的不同资讯信息进行处理,最终在用户界面(UI User Interface)上呈现出与相应的不同资讯信息以及相应的与相应视频推荐进程相对应的待推荐视频,不同资讯信息相的特征的准确性与及时性直接影响了用户体验。视频播放的后台数据库每天都会收到大量不同来源的视频数据,所得到与所述不同资讯信息相匹配的文本信息还可以供其他应用程序调用,当然,与相应的用户行为特征相匹配的资讯信息推荐模型也可以迁移至不同的视频推荐进程(例如网页视频推荐进程、小程序视频推荐进程或者短视频客户端的视频推荐进程)。
下面对本发明实施例的资讯信息推荐装置的结构做详细说明,资讯信息推荐装置可以各种形式来实施,如带有资讯信息推荐处理功能的专用终端,也可以为设置有资讯信息推荐装置处理功能的服务器,例如前序图1中的服务器200。图2为本发明实施例提供的资讯信息推荐装置的组成结构示意图,可以理解,图2仅仅示出了资讯信息推荐装置的示例性结构而非全部结构,根据需要可以实施图2示出的部分结构或全部结构。
本发明实施例提供的资讯信息推荐装置包括:至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。资讯信息推荐装置中的各个组件通过总线系统205耦合在一起。可以理解,总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2中将各种总线都标为总线系统205。
其中,用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解,存储器202可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端(如10-1)的操作。这些数据的示例包括:用于在终端(如10-1)上操作的任何计算机程序,如操作系统和应用程序。其中,操作系统包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
在一些实施例中,本发明实施例提供的资讯信息推荐装置可以采用软硬件结合的方式实现,作为示例,本发明实施例提供的资讯信息推荐装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本发明实施例提供的视频信息处理模型的训练方法。例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC,ApplicationSpecific Integrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable LogicDevice)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)或其他电子元件。
作为本发明实施例提供的资讯信息推荐装置采用软硬件结合实施的示例,本发明实施例所提供的资讯信息推荐装置可以直接体现为由处理器201执行的软件模块组合,软件模块可以位于存储介质中,存储介质位于存储器202,处理器201读取存储器202中软件模块包括的可执行指令,结合必要的硬件(例如,包括处理器201以及连接到总线205的其他组件)完成本发明实施例提供的视频信息处理模型的训练方法。
作为示例,处理器201可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
作为本发明实施例提供的资讯信息推荐装置采用硬件实施的示例,本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成,例如,被一个或多个应用专用集成电路(ASIC,Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable GateArray)或其他电子元件执行实现本发明实施例提供的视频信息处理模型的训练方法。
本发明实施例中的存储器202用于存储各种类型的数据以支持资讯信息推荐装置的操作。这些数据的示例包括:用于在资讯信息推荐装置上操作的任何可执行指令,如可执行指令,实现本发明实施例的从视频信息处理模型的训练方法的程序可以包含在可执行指令中。
在另一些实施例中,本发明实施例提供的资讯信息推荐装置可以采用软件方式实现,图2示出了存储在存储器202中的资讯信息推荐装置,其可以是程序和插件等形式的软件,并包括一系列的模块,作为存储器202中存储的程序的示例,可以包括资讯信息推荐装置,资讯信息推荐装置中包括以下的软件模块:
信息传输模块2081和信息处理模块2082。当资讯信息推荐装置中的软件模块被处理器201读取到RAM中并执行时,将实现本发明实施例提供的视频信息处理模型的训练方法,其中,资讯信息推荐装置中各个软件模块的功能,包括:
信息传输模块2081,用于基于所述目标用户的行为参数信息,确定与所述目标用户相对应的备选资讯信息;
所述信息处理模块2082,用于根据所述备选资讯信息,确定与所述备选资讯信息相匹配的资讯信息列表以及对应的相似度参数,其中,所述资讯信息列表包括来自不同数据源的不同资讯信息;
所述信息处理模块2082,用于基于所述相似度参数和所述资讯信息列表中不同资讯信息的重合度参数,确定资讯信息列表中的相应的资讯信息作为待推荐资讯信息,以实现所述待推荐资讯信息与所述目标用户相匹配。
结合图2示出的资讯信息推荐装置说明本发明实施例提供的资讯信息推荐方法,参见图3,图3为本发明实施例提供的资讯信息推荐方法一个可选的流程示意图,可以理解地,图3所示的步骤可以由运行资讯信息推荐装置的各种电子设备执行,例如可以是如带有资讯信息推荐装置的专用终端、服务器或者服务器集群,其中,带有资讯信息推荐装置的专用终端可以为前序图2所示的实施例中带有资讯信息推荐装置的电子设备。下面针对图3示出的步骤进行说明。
步骤301:资讯信息推荐装置接收终端发送的资讯信息推荐请求。
步骤302:资讯信息推荐装置响应于资讯信息推荐请求,获取目标用户的行为参数信息。
在本发明的一些实施例中,可以通过不同的程序组件对相应的客户端所匹配的用户各类行为的收集,对原始日志进行有效提取,本申请中可以提取三元组信息(设备号(用户账号),资讯信息,浏览时长信息)。
步骤303:资讯信息推荐装置基于所述目标用户的行为参数信息,确定与所述目标用户相对应的备选资讯信息。
在本发明的一些实施例中,基于所述目标用户的行为参数信息,确定与所述目标用户相对应的备选资讯信息,可以通过以下方式实现:
对所述目标用户的行为参数信息进行解析,确定所述目标用户对应的浏览时长参数;基于相应的浏览时长阈值,对所述浏览时长参数进行除噪;根据所述浏览时长参数的除噪结果,确定与所述目标用户相对应的浏览行为参数,以及所述浏览行为参数所对应的备选资讯信息。其中,通过对所述浏览时长参数进行除噪,可以清除浏览时长较短的目标用户的行为,避免由于不准确的浏览行为参数影响备选资讯信息的准确性。
在本发明的一些实施例中,所述资讯信息推荐方法还包括:
获取与所述目标用户相对应的不同维度的原始数据集合;根据所述不同维度的原始数据集合,确定与所述目标用户相匹配的用户行为数据;基于所述用户行为数据,确定与相应的资讯信息推荐模型中的图神经网络模型;基于所述资讯信息推荐模型中的图神经网络模型,确定相应资讯信息源中不同资讯信息所分别对应的资讯信息列表以及对应的相似度参数。其中,在本发明的一些实施例中,图神经网络具体可以是图卷积神经网络(GCN),也可以是Graph-RNN、Graph-MPNN等图神经网络。具体的,以GCN模型框架为例,其输入是一张图,经过一层一层计算变换,最后输出一张图。GCN模型具备深度学习的以下三种性质:
1、层级结构,特征一层一层抽取,一层比一层更抽象,更高级。
2、非线性变换,增加模型的表达能力。
3、端对端训练,不需要再去定义任何规则,只需要给图的节点一个标记,让模型自己学习,融合特征信息和结构信息。
结合图2示出的资讯信息推荐装置说明本发明实施例提供的资讯信息推荐方法,参见图4,图4为本发明实施例提供的资讯信息推荐方法一个可选的流程示意图,可以理解地,图4所示的步骤可以由运行资讯信息推荐装置的各种电子设备执行,例如可以是如带有资讯信息推荐装置的专用终端、服务器或者服务器集群,其中,带有资讯信息推荐装置的专用终端可以为前序图2所示的实施例中带有资讯信息推荐装置的电子设备。下面针对图4示出的步骤进行说明。
步骤401:获取备选资讯信息,并对所述备选资讯信息进行解析以实现获取所述备选资讯信息的资讯信息参数。
在本发明的一些实施例中,所述获取备选资讯信息,并对所述备选资讯信息进行解析以实现获取所述备选资讯信息的资讯信息参数,可以通过以下方式实现:
对所述备选资讯信息进行解析,获取所述备选资讯信息的标签信息;根据所述备选资讯信息的标签信息,对所述备选资讯信息进行解析,以实现分别获取与所述备选资讯信息在基础维度与多模态维度中的资讯信息参数。
步骤402:根据所述备选资讯信息的资讯信息参数,确定与所述备选资讯信息相匹配的基础特征。
在本发明的一些实施例中,根据所述备选资讯信息的资讯信息参数,确定与所述备选资讯信息相匹配的基础特征,可以通过以下方式实现:
根据所述备选资讯信息在基础维度中的资讯信息参数,确定与所述备选资讯信息相对应的类别参数、资讯信息标签参数和资讯信息发布来源参数;对所述备选资讯信息相对应的类别参数、资讯信息标签参数和资讯信息发布来源参数分别进行特征抽取,以形成与所述备选资讯信息相匹配的基础特征。
步骤403:根据所述备选资讯信息的资讯信息参数,确定与所述备选资讯信息相匹配的多模态特征。
在本发明的一些实施例中,根据所述备选资讯信息的资讯信息参数,确定与所述备选资讯信息相匹配的多模态特征,可以通过以下方式实现:
根据所述备选资讯信息在基础维度中的资讯信息参数,确定与所述备选资讯信息相对应的标题文字参数、图像信息参数和视觉信息参数;对所述备选资讯信息相对应的标题文字参数、图像信息参数和视觉信息参数分别进行特征抽取并融合,以形成与所述备选资讯信息相匹配的多模态特征。
其中,在本发明的一些实施例中,基础特征主要是通过定义方式对资讯信息进行基础描述,包含资讯信息多级分类类别、资讯信息标签、资讯信息发布来源、资讯信息时长、发布时间、事件城市。基础特征是对资讯信息定性的描述,但是对资讯信息本身内容表示信息比较缺乏。
在本发明的一些实施例中,多模态特征是针对资讯信息的标题文字、图片信息以及视觉信息进行的特征抽取,用于描述资讯信息的内容信息,标题和封面图可以影响资讯信息的播放点击率,资讯信息视觉帧图像信息可以影响资讯信息的播放完成度。
步骤404:基于所述基础特征和所述多模态特征,通过所述资讯信息推荐模型中的图神经网络模型,确定与所述备选资讯信息相匹配的融合特征向量。
在本发明的一些实施例中,基于所述基础特征和所述多模态特征,通过所述资讯信息推荐模型中的图神经网络模型,确定与所述备选资讯信息相匹配的融合特征向量,可以通过以下方式实现:
通过所述资讯信息推荐模型中的基础信息处理网络,对所述基础特征进行处理,以形成相应的基础特征向量;通过所述资讯信息推荐模型中的图像处理网络,对所述多模态特征中的图像特征进行处理,以形成相应的图像特征向量;通过所述资讯信息推荐模型中的文字处理网络,对所述多模态特征中的标题文字特征进行处理,以形成相应标题文字特征向量;通过所述资讯信息推荐模型中的视觉处理网络,对所述多模态特征中的视觉特征进行处理,以形成相应的视觉特征向量;基于所述基础特征向量、所述图像特征向量、所述标题文字特征向量和所述视觉特征向量,通过所述资讯信息推荐模型中的图神经网络模型进行向量融合,以形成与所述备选资讯信息相匹配的融合特征向量。
在本发明的一些实施例中,文字处理网络可以为双向注意力神经网络模(BERTBidirectional Encoder Representations from Transformers)。继续参考图5,图5为本发明实施例中文字处理网络一个可选的结构示意图,其中,Encoder包括:N=6个相同的layers组成,每一层包含两个sub-layers。第一个sub-layer就是多头注意力层(multi-head attention layer)然后是一个简单的全连接层。其中每个sub-layer都加了残差连接(residual connection)和归一化(normalisation)。
Decoder包括:由N=6个相同的Layer组成,其中layer和encoder并不相同,这里的layer包含了三个sub-layers,其中有一个self-attention layer,encoder-decoderattention layer最后是一个全连接层。前两个sub-layer都是基于multi-head attentionlayer。
继续参考图6,图6为本发明实施例中文字处理网络一个可选的词语级类隐变量的确定过程示意图,其中,其中,encoder和decoder部分都包含了6个encoder和decoder。进入到第一个encoder的inputs结合embedding和positional embedding。通过了6个encoder之后,输出到了decoder部分的每一个decoder中;输入目标为“西游记86版第35集女儿国”经过文字处理网络的处理,输出的词语级类隐变量结果为:“西游记-女儿国”。
继续参考图7,图7为本发明实施例中文字处理网络中编码器一个可选的结构示意图,其中,其输入由维度为d的查询(Q)和键(K)以及维度为d的值(V)组成,所有键计算查询的点积,并应用softmax函数获得值的权重。
继续参考图7,图7中示出了本发明实施例中文字处理网络中编码器的向量示意,其中Q,K和V的是通过输入encoder的向量x与W^Q,W^K,W^V相乘得到Q,K和V。W^Q,W^K,W^V在文章的维度是(512,64),然后假设我们inputs的维度是(m,512),其中m代表了字的个数。所以输入向量与W^Q,W^K,W^V相乘之后得到的Q、K和V的维度就是(m,64)。
继续参考图8,图8为本发明实施例中文字处理网络中编码器的向量拼接示意图,其中,Z0到Z7就是对应的8个并行的head(维度是(m,64)),然后concat这个8个head之后就得到了(m,512)维度。最后与W^O相乘之后就到了维度为(m,512)的输出的矩阵,那么这个矩阵的维度就和进入下一个encoder的维度保持一致。
继续参考图9,图9为本发明实施例中文字处理网络中编码器的编码过程示意图,其中,x1经过self-attention到了z1的状态,通过了self-attetion的张量还需要进过残差网络和Later Norm的处理,然后进入到全连接的前馈网络中,前馈网络需要进行同样的操作,进行的残差处理和正规化。最后输出的张量才可以的进入到了下一个encoder之中,然后这样的操作,迭代经过了6次,迭代处理的结果进入到decoder中。
继续参考图10,图10为本发明实施例中文字处理网络中解码器的解码过程示意图,其中,decoder的输入输出和解码过程:
输出:对应i位置的输出词的概率分布;
输入:encoder的输出&对应i-1位置decoder的输出。所以中间的attention不是self-attention,它的K,V来自encoder,Q来自上一位置decoder的输出。
继续参考图11和图12,图11为本发明实施例中文字处理网络中解码器的解码过程示意图,其中,解码器网络的最后一个decoder输出的向量会经过Linear层和softmax层。图12为本发明实施例中文字处理网络中解码器的解码过程示意图,Linear层的作用就是对decoder部分出来的向量做映射成一个logits向量,然后softmax层根据这个logits向量,将其转换为了概率值,最后找到概率最大值的位置,即完成了解码器的输出。
步骤405:基于与所述备选资讯信息相匹配的融合特征向量,确定相应资讯信息源中不同资讯信息所分别对应的资讯信息列表以及对应的相似度参数。
在本发明的一些实施例中,基于与所述备选资讯信息相匹配的融合特征向量,确定相应资讯信息源中不同资讯信息所分别对应的资讯信息列表以及对应的相似度参数,可以通过以下方式实现:
基于与所述备选资讯信息相匹配的融合特征向量,确定所述资讯信息列表中每一条资讯信息对应的余弦相似性参数;基于所述余弦相似性参数确定每一条资讯信息对应相似度参数;基于所述每一条资讯信息对应相似度参数确定不同资讯信息所分别对应的资讯信息列表对应的相似度参数。
步骤304:资讯信息推荐装置根据所述备选资讯信息,确定与所述备选资讯信息相匹配的资讯信息列表以及对应的相似度参数。
其中,所述资讯信息列表包括来自不同数据源的不同资讯信息。
步骤305:资讯信息推荐装置基于所述相似度参数和所述资讯信息列表中不同资讯信息的重合度参数,确定资讯信息列表中的相应的资讯信息作为待推荐资讯信息,以实现所述待推荐资讯信息与所述目标用户相匹配。
下面以资讯信息为新闻资讯信息为例,对本发明实施例所提供的资讯信息推荐方法进行说明,其中,图13为本发明实施例中新闻资讯信息推荐方法的应用环境示意图,其中,如图13所示,终端(包括终端130-1和终端130-2)上设置有能够显示相应新闻资讯信息的软件的客户端,例如新闻资讯信息播放或者新闻推荐的客户端或插件,用户通过相应的客户端可以获得不同的资讯信息;终端通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合,使用无线链路实现数据传输。
有效的后续相关资讯信息的推荐可以有效地提升用户的使用体验,这一过程中,资讯信息向量化表示是很多机器学习算法的基础。同时,传统技术中单纯以相关性作为衡量标准,却忽略了用户消费行为、播放时长等目标,也没有体现上述目标对于资讯信息的推荐效果的影响,影响了用户的使用体验。
传统技术中,传统基于协同过滤的推荐方式在计算资讯相似度关系时主要采用基于邻域或矩阵分解的算法思想,这两种算法为了保证资讯相似度计算的准确性,往往会对用户行为的原始数据进行多维度的过滤处理,同时要求待计算的资讯能获取到足够丰富的用户行为,从而使得这类算法对新资讯(或者是首次进入资源池的咨询)不够友好,覆盖度较低。而基于用户兴趣的推荐,是利用用户历史行为建立用户在具体类目以及Tag上的兴趣分数,在召回时如果新闻资讯中的Tag信息命中相应的用户Tag兴趣,则召回该资讯。这种方案通常对Tag信息的利用较为单一,通过此类标签对资讯信息进行粗分,可以分为娱乐资讯信息、体育资讯信息,或者细分到篮球集锦、影视花絮等。但是这类表示方法比较粗放,并且分类标签信息需要提前设置并及时更新,而且其内容表示能力是有限的。类标签信息需要提前设置并及时更新,而且其内容表示能力是有限的,使得资讯信息相对比较割裂,严重影响用户的使用体验。
图14为本发明实施例所提供的资讯信息推荐方法的工作过程示意图,其中,图15A为本发明实施例所提供的资讯信息推荐方法的数据结构示意图,下面结合图14所示的资讯信息推荐方法的数据结构示意图对本发明所提供的资讯信息推荐模型的工作过程进行说明,具体包括以下步骤:
步骤1401:接收目标用户的资讯信息请求。
步骤1402:触发离线算法模块确定不同资讯之间的相似度参数。
其中,参考图15A所示的数据结构,图15B为本发明实施例所提供的资讯信息推荐方法的工作过程示意图,其中离线算法模块确定不同资讯之间的相似度参数主要包括以下步骤:
步骤1501:提取用户行为日志。
其中,可以通过用户行为日志提取模块对线上用户各类行为的收集,对原始日志进行有效提取,本申请中可以提取三元组信息(设备号(用户账号),资讯信息,浏览时长信息)。
步骤1502:对原始数据进行有效预处理。
其中,通过预处理模块进行数据预处理可以提高训练模型准确度。本申请需要尽可能保证资讯信息的覆盖度,因此在数据处理上可以仅清洗用户维度的脏数据,即为用户设定一个点击行为发生次数的上限和下限阈值,只保留在阈值范围的用户设备,得到清洗后的训练数据。
步骤1503:构建加权图神经网络。
其中,可以根据预处理后的用户行为信息,构建加权图神经网络结构,捕捉网络连接的多样性,挖掘潜在关系。一种构建方式为计算资讯间的协同关系分数,作为资讯间的边权重,从而通过分析全局的用户行为,构建得到加权图神经网络结构。
步骤1504:提取多模态特征,并进行向量融合处理。
其中,对于资讯信息的内容,主要包含对文本特征及图像特征的提取融合。具体的,对于文本特征的理解,可以Bert语言处理模型,提取出资讯的文本向量表示,对于图片视觉的理解采用了ResNet的网络结构,提取出资讯的封面图向量表示,最终将多模态特征进行向量融合。
进一步地,向量融合的方式可以是直接聚合两种表征向量;也可以根据资讯本身的点击率高低作为Label,经过多层全连接神经网络做训练,最终将多模态特征聚合为K维向量。
步骤1505:确定图卷积神经网络的参数。
其中,图卷积神经网络进行资讯信息的最终Embedding的提取训练,其中网络结构参考图16,图16为本发明实施例所提供的图神经网络结构示意图,其中,GCN也是一个神经网络层,层间的传播方式参考公式:
Figure BDA0002407803600000211
这个公式中:A=A+I,I是单位矩;D是A的度矩阵;H是每一层的特征。
构建的图神经网络有N个节点(node),每个节点代表一篇资讯都有自己的特征,这些节点的特征组成一个N×D维的矩阵X,然后各个节点之间的关系也会形成一个N×N维的矩阵A,也称为邻接矩阵。X和A便是GCN训练模块的输入。在本方案中,图神经网络构建模块中得到的加权图神经网络结构就是X,内容多模态特征提取模块最终得到的多模态聚合特征向量就是A。tanh为多层网络间的激活函数:
Z=tanh(Atanh(Atanh(AXW(0))W(1))W(2))
在步骤1505之后,进一步地还可以通过资讯表征向量提取模块得到网络节点中每篇资讯最终的Embedding向量表示。
其中,对于新的资讯信息的表示过程中,对于图卷积网络新入机制的设计,可以有两种方式,1)在GCN靠近输出的embedding层增加一层根据节点连接关系做预测的网络,其中公式中的a代表归一化的连接向量,其中X和x的表示参考如下:
X=HL-1WL-1
Figure BDA0002407803600000221
2)参考图17,图17为本发明实施例所提供的图神经网络结构示意图,第二种方式是通过Inductive Learning(归纳学习)的方式利用Graph SAGE算法框架完成对新入资讯的学习。图中的新入资讯是通过第一种方式计算得到的,其中,Graph SAGE的优势在于更多的聚合方式。
最终基于前述步骤的处理,可以确定不同资讯信息之间的相似度分数。
其中,参考图18,图18为本发明实施例所提供的资讯信息相似度计算示意图,在表征向量训练模块计算得到资讯相应的表征向量后,通过计算余弦相似性得到资讯间的相似度分数,通过设定分数阈值及条数上限,最终得到每篇资讯的相关资讯列表及相似度分数,并将计算结果存储在Redis里以便在线推荐系统获取。其中的计算公式如下:
Figure BDA0002407803600000222
进一步地,如图18所示,为了更加直观的展示整个训练过程,从构建好的资讯关联拓扑图中抽取出子图,相同阴影的节点代表同类别的内容,可以看到最终的计算结果。
步骤1403:触发在线推荐系统模块,确定与目标用户相匹配的资讯信息。
其中,参考图14所示的处理过程,图19为本发明实施例所提供的资讯信息推荐方法的工作过程示意图;图20为本发明实施例所提供的资讯信息推荐方法的前端显示示意图,其中,在线推荐系统模块,确定与目标用户相匹配的资讯信息包括以下步骤:
步骤1901:获取用户的历史行为数据。
其中,用户的历史点击行为及对应资讯的浏览时长会通过订阅服务记录下来并存储在Redis中,在线推荐系统会在用户请求到来时,去拉取对应用户的历史点击行为。
步骤1902:获取资讯信息相似关系。
其中,在获取得到用户的历史行为及浏览时长后,通过时长阈值过滤掉那些浏览时长较低的资讯记录,对历史行为进行一次数据清洗,保留用户的有效浏览行为,再分别获取得到用户有效浏览行为中每篇资讯的相似资讯列表及相似度分数
步骤1903:对待推荐的资讯信息进行推荐。
其中,累和相似分数并计算相似列表中资讯的重合度,例如已知用户历史行为点击了A和B资讯,其中A的相似资讯为C、D,B的相似资讯为D、E,则会返回C、D、E三篇资讯,其中资讯C、E的重合度为1,D的重合度为2,在线推荐系统会根据实际业务需要选取分数和重合度在一定阈值之上的资讯作为最终的召回资讯列表。
步骤1404:根据所确定的与目标用户相匹配的资讯信息向所述目标用户进行资讯信息的个性化推荐。
有益技术效果:
1)、相比于传统技术中,通过本申请所提供的技术方案,基于深度学习对内容的多模态信息进行提取,同时结合基于用户行为关系构成的图神经网络,利用图卷积神经网络完成对资讯特征的提取,提升了表征向量的准确性。同时本方案结合图卷积网络,能够更加准确的计算新资讯信息的表征向量,使得覆盖度得到明显提升,提升了资讯信息冷启动时的向量表征的准确性。进一步地,还克服了传统技术单纯使用资讯信息内容的相关性作为相关推荐的标准不能兼顾用户的感受的缺陷,而结合用户行为的相关资讯信息推荐能兼顾到相关性和用户感受两个方面,从而能够提高不同推荐场景下的用户体验。
以上所述,仅为本发明的实施例而已,并非用于限定本发明的保护范围,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种资讯信息推荐方法,其特征在于,所述方法包括:
响应于资讯信息推荐请求,获取目标用户的行为参数信息;
基于所述目标用户的行为参数信息,确定与所述目标用户相对应的备选资讯信息;
对所述备选资讯信息进行解析以实现获取所述备选资讯信息的资讯信息参数;
根据所述备选资讯信息的资讯信息参数,确定与所述备选资讯信息相匹配的基础特征;根据所述备选资讯信息的资讯信息参数,确定与所述备选资讯信息相匹配的多模态特征;
基于所述基础特征和所述多模态特征,通过资讯信息推荐模型中的图神经网络模型,确定与所述备选资讯信息相匹配的融合特征向量;
基于与所述备选资讯信息相匹配的融合特征向量,确定与所述备选资讯信息相匹配的资讯信息列表以及对应的相似度参数;
基于所述相似度参数和所述资讯信息列表中不同资讯信息的重合度参数,确定资讯信息列表中的相应的资讯信息作为待推荐资讯信息,以实现所述待推荐资讯信息与所述目标用户相匹配。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取与所述目标用户相对应的不同维度的原始数据集合;
根据所述不同维度的原始数据集合,确定与所述目标用户相匹配的用户行为数据;
基于所述用户行为数据,确定与相应的资讯信息推荐模型中的图神经网络模型。
3.根据权利要求1所述的方法,其特征在于,所述对所述备选资讯信息进行解析以实现获取所述备选资讯信息的资讯信息参数,包括:
对所述备选资讯信息进行解析,获取所述备选资讯信息的标签信息;
根据所述备选资讯信息的标签信息,对所述备选资讯信息进行解析,以实现分别获取与所述备选资讯信息在基础维度与多模态维度中的资讯信息参数。
4.根据权利要求1所述的方法,其特征在于,所述根据所述备选资讯信息的资讯信息参数,确定与所述备选资讯信息相匹配的多模态特征,包括:
根据所述备选资讯信息在基础维度中的资讯信息参数,
确定与所述备选资讯信息相对应的标题文字参数、图像信息参数和视觉信息参数;
对所述备选资讯信息相对应的标题文字参数、图像信息参数和视觉信息参数分别进行特征抽取并融合,以形成与所述备选资讯信息相匹配的多模态特征。
5.根据权利要求1-4任一所述的方法,其特征在于,所述基于所述基础特征和所述多模态特征,通过所述资讯信息推荐模型中的图神经网络模型,确定与所述备选资讯信息相匹配的融合特征向量,包括:
通过所述资讯信息推荐模型中的基础信息处理网络,对所述基础特征进行处理,以形成相应的基础特征向量;
通过所述资讯信息推荐模型中的图像处理网络,对所述多模态特征中的图像特征进行处理,以形成相应的图像特征向量;
通过所述资讯信息推荐模型中的文字处理网络,对所述多模态特征中的标题文字特征进行处理,以形成相应标题文字特征向量;
通过所述资讯信息推荐模型中的视觉处理网络,对所述多模态特征中的视觉特征进行处理,以形成相应的视觉特征向量;
基于所述基础特征向量、所述图像特征向量、所述标题文字特征向量和所述视觉特征向量,通过所述资讯信息推荐模型中的图神经网络模型进行向量融合,以形成与所述备选资讯信息相匹配的融合特征向量。
6.根据权利要求1所述的方法,其特征在于,所述基于与所述备选资讯信息相匹配的融合特征向量,确定相应资讯信息源中不同资讯信息所分别对应的资讯信息列表以及对应的相似度参数,包括:
基于与所述备选资讯信息相匹配的融合特征向量,确定所述资讯信息列表中每一条资讯信息对应的余弦相似性参数;
基于所述余弦相似性参数确定每一条资讯信息对应相似度参数;
基于所述每一条资讯信息对应相似度参数确定不同资讯信息所分别对应的资讯信息列表对应的相似度参数。
7.一种资讯信息推荐装置,其特征在于,所述装置包括:
信息传输模块,用于响应于资讯信息推荐请求,获取目标用户的行为参数信息;
信息处理模块,用于基于所述目标用户的行为参数信息,确定与所述目标用户相对应的备选资讯信息;
所述信息处理模块,用于对所述备选资讯信息进行解析以实现获取所述备选资讯信息的资讯信息参数;根据所述备选资讯信息的资讯信息参数,确定与所述备选资讯信息相匹配的基础特征;根据所述备选资讯信息的资讯信息参数,确定与所述备选资讯信息相匹配的多模态特征;基于所述基础特征和所述多模态特征,通过资讯信息推荐模型中的图神经网络模型,确定与所述备选资讯信息相匹配的融合特征向量;基于与所述备选资讯信息相匹配的融合特征向量,确定与所述备选资讯信息相匹配的资讯信息列表以及对应的相似度参数;
所述信息处理模块,用于基于所述相似度参数和所述资讯信息列表中不同资讯信息的重合度参数,确定资讯信息列表中的相应的资讯信息作为待推荐资讯信息,以实现所述待推荐资讯信息与所述目标用户相匹配。
8.一种电子设备,其特征在于,所述电子设备包括:
存储器,用于存储可执行指令;
处理器,用于运行所述存储器存储的可执行指令时,实现权利要求1至6任一项所述的资讯信息推荐方法。
9.一种计算机可读存储介质,存储有可执行指令,其特征在于,所述可执行指令被处理器执行时实现权利要求1至6任一项所述的资讯信息推荐方法。
CN202010167009.7A 2020-03-11 2020-03-11 资讯信息推荐方法、装置、电子设备及存储介质 Active CN111400591B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010167009.7A CN111400591B (zh) 2020-03-11 2020-03-11 资讯信息推荐方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010167009.7A CN111400591B (zh) 2020-03-11 2020-03-11 资讯信息推荐方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111400591A CN111400591A (zh) 2020-07-10
CN111400591B true CN111400591B (zh) 2023-04-07

Family

ID=71428634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010167009.7A Active CN111400591B (zh) 2020-03-11 2020-03-11 资讯信息推荐方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111400591B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016603B (zh) * 2020-08-18 2021-04-30 上海松鼠课堂人工智能科技有限公司 基于图神经网络的错因分析方法
CN111984803B (zh) * 2020-08-20 2021-08-17 北京达佳互联信息技术有限公司 多媒体资源处理方法、装置、计算机设备及存储介质
CN112399201B (zh) * 2020-10-09 2023-11-14 腾讯科技(深圳)有限公司 一种视频时效确定方法、装置、电子设备和介质
CN113191154B (zh) * 2021-03-04 2022-02-15 浙江师范大学 基于多模态图神经网络的语义分析方法、系统和存储介质
CN113239276A (zh) * 2021-05-31 2021-08-10 上海明略人工智能(集团)有限公司 一种基于会话信息确定推荐物料的方法和装置
CN113435518B (zh) * 2021-06-29 2024-03-22 青岛海尔科技有限公司 特征融合基于多模态的交互方法及装置
CN113378064A (zh) * 2021-07-09 2021-09-10 小红书科技有限公司 一种确定内容相似度方法和基于相似度的内容推荐方法
CN113704615A (zh) * 2021-08-30 2021-11-26 万汇互联(深圳)科技有限公司 一种基于多模态的深度兴趣网络推荐方法
CN114519097B (zh) * 2022-04-21 2022-07-19 宁波大学 一种异质信息网络增强的学术论文推荐方法
CN116028617B (zh) * 2022-12-06 2024-02-27 腾讯科技(深圳)有限公司 资讯推荐方法、装置、设备、可读存储介质及程序产品
CN115794898B (zh) * 2023-01-05 2023-04-25 中信建投证券股份有限公司 一种金融资讯推荐方法、装置、电子设备及存储介质
CN116028727B (zh) * 2023-03-30 2023-08-18 南京邮电大学 一种基于图像数据处理的视频推荐方法
CN117290689A (zh) * 2023-09-21 2023-12-26 湖北太昇科技有限公司 一种基于智慧家居的用户绑定方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339502A (zh) * 2016-09-18 2017-01-18 电子科技大学 一种基于用户行为数据分片聚类的建模推荐方法
CN106610970A (zh) * 2015-10-21 2017-05-03 上海文广互动电视有限公司 基于协同过滤的内容推荐系统与方法
CN106933996A (zh) * 2017-02-28 2017-07-07 广州大学 一种采用深度特征匹配的推荐方法
CN108304435A (zh) * 2017-09-08 2018-07-20 腾讯科技(深圳)有限公司 信息推荐方法、装置、计算机设备及存储介质
CN109241431A (zh) * 2018-09-07 2019-01-18 腾讯科技(深圳)有限公司 一种资源推荐方法和装置
CN109710845A (zh) * 2018-12-25 2019-05-03 百度在线网络技术(北京)有限公司 资讯推荐方法、装置、计算机设备和可读存储介质
CN109783471A (zh) * 2018-12-14 2019-05-21 深圳壹账通智能科技有限公司 企业画像小程序化方法、装置、计算机设备及存储介质
CN109933729A (zh) * 2019-03-28 2019-06-25 广州麦迪森在线医疗科技有限公司 一种基于用户偏好的医疗学术资讯推荐方法及系统
CN110532379A (zh) * 2019-07-08 2019-12-03 广东工业大学 一种基于lstm的用户评论情感分析的电子资讯推荐方法
CN110532414A (zh) * 2019-08-29 2019-12-03 深圳市商汤科技有限公司 一种图片检索方法及装置
CN110830812A (zh) * 2019-10-31 2020-02-21 广州市网星信息技术有限公司 相似主播分类模型训练方法、主播推荐方法及相关装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10044549B2 (en) * 2015-01-27 2018-08-07 Moogsoft, Inc. Distribued system for self updating agents and analytics
US20170300634A1 (en) * 2014-09-29 2017-10-19 Twin Sails Technology Group, Inc. Systems and methods for managing electronic healthcare information
US10565496B2 (en) * 2016-02-04 2020-02-18 Nec Corporation Distance metric learning with N-pair loss

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106610970A (zh) * 2015-10-21 2017-05-03 上海文广互动电视有限公司 基于协同过滤的内容推荐系统与方法
CN106339502A (zh) * 2016-09-18 2017-01-18 电子科技大学 一种基于用户行为数据分片聚类的建模推荐方法
CN106933996A (zh) * 2017-02-28 2017-07-07 广州大学 一种采用深度特征匹配的推荐方法
CN108304435A (zh) * 2017-09-08 2018-07-20 腾讯科技(深圳)有限公司 信息推荐方法、装置、计算机设备及存储介质
CN109241431A (zh) * 2018-09-07 2019-01-18 腾讯科技(深圳)有限公司 一种资源推荐方法和装置
CN109783471A (zh) * 2018-12-14 2019-05-21 深圳壹账通智能科技有限公司 企业画像小程序化方法、装置、计算机设备及存储介质
CN109710845A (zh) * 2018-12-25 2019-05-03 百度在线网络技术(北京)有限公司 资讯推荐方法、装置、计算机设备和可读存储介质
CN109933729A (zh) * 2019-03-28 2019-06-25 广州麦迪森在线医疗科技有限公司 一种基于用户偏好的医疗学术资讯推荐方法及系统
CN110532379A (zh) * 2019-07-08 2019-12-03 广东工业大学 一种基于lstm的用户评论情感分析的电子资讯推荐方法
CN110532414A (zh) * 2019-08-29 2019-12-03 深圳市商汤科技有限公司 一种图片检索方法及装置
CN110830812A (zh) * 2019-10-31 2020-02-21 广州市网星信息技术有限公司 相似主播分类模型训练方法、主播推荐方法及相关装置

Also Published As

Publication number Publication date
CN111400591A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111400591B (zh) 资讯信息推荐方法、装置、电子设备及存储介质
Frolov et al. Adversarial text-to-image synthesis: A review
CN111444428B (zh) 基于人工智能的信息推荐方法、装置、电子设备及存储介质
Gao et al. Learning to recommend with multiple cascading behaviors
CN111191078A (zh) 基于视频信息处理模型的视频信息处理方法及装置
CN110069709B (zh) 意图识别方法、装置、计算机可读介质及电子设备
CN112784092A (zh) 一种混合融合模型的跨模态图像文本检索方法
CN111324769A (zh) 视频信息处理模型的训练方法、视频信息处理方法及装置
CN111859149A (zh) 资讯信息推荐方法、装置、电子设备及存储介质
CN112257841A (zh) 图神经网络中的数据处理方法、装置、设备及存储介质
CN111144093A (zh) 一种智能文本处理方法、装置、电子设备及存储介质
CN115033739A (zh) 搜索方法、模型训练方法、装置、电子设备和介质
Sreeja et al. A unified model for egocentric video summarization: an instance-based approach
Hu et al. Diversified semantic attention model for fine-grained entity typing
CN115482021A (zh) 多媒体信息推荐方法、装置、电子设备及存储介质
CN114817692A (zh) 确定推荐对象的方法、装置和设备及计算机存储介质
Zhou et al. Multi-modal multi-hop interaction network for dialogue response generation
CN117251622A (zh) 对象推荐的方法、装置、计算机设备和存储介质
CN116956183A (zh) 多媒体资源推荐方法、模型训练方法、装置及存储介质
CN116977701A (zh) 视频分类模型训练的方法、视频分类的方法和装置
CN112861580A (zh) 基于视频信息处理模型的视频信息处理方法及装置
CN114511813B (zh) 视频语义描述方法及装置
CN115115869A (zh) 业务图像标注方法、装置、电子设备、计算机程序产品
CN116541517A (zh) 文本信息处理方法、装置、设备、软件程序以及存储介质
Zhong et al. Multimodal-enhanced hierarchical attention network for video captioning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221117

Address after: 1402, Floor 14, Block A, Haina Baichuan Headquarters Building, No. 6, Baoxing Road, Haibin Community, Xin'an Street, Bao'an District, Shenzhen, Guangdong 518133

Applicant after: Shenzhen Yayue Technology Co.,Ltd.

Address before: Room 1601-1608, Floor 16, Yinke Building, 38 Haidian Street, Haidian District, Beijing

Applicant before: Tencent Technology (Beijing) Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant