CN110413894B - 内容推荐模型的训练方法、内容推荐的方法及相关装置 - Google Patents

内容推荐模型的训练方法、内容推荐的方法及相关装置 Download PDF

Info

Publication number
CN110413894B
CN110413894B CN201910711340.8A CN201910711340A CN110413894B CN 110413894 B CN110413894 B CN 110413894B CN 201910711340 A CN201910711340 A CN 201910711340A CN 110413894 B CN110413894 B CN 110413894B
Authority
CN
China
Prior art keywords
text
trained
content recommendation
recommended
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910711340.8A
Other languages
English (en)
Other versions
CN110413894A (zh
Inventor
何磊
王瑞
夏锋
林乐宇
王天鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910711340.8A priority Critical patent/CN110413894B/zh
Publication of CN110413894A publication Critical patent/CN110413894A/zh
Application granted granted Critical
Publication of CN110413894B publication Critical patent/CN110413894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种内容推荐模型的训练方法、内容推荐的方法及相关装置,用于提高推荐内容的多样性。本申请方法包括:获取第一时刻下的第一待训练文本数据,其中,第一待训练文本数据包括第一文本属性特征以及第一文本语义特征;通过待训练内容推荐模型的神经网络获取第一待训练文本数据所对应的第一文本质量预测值以及第一特征向量;通过神经网络获取第二时刻下的第二待训练文本数据所对应的第二文本质量预测值以及第二特征向量;根据第一文本质量预测值、第一特征向量、第二文本质量预测值以及第二特征向量,通过行列式点过程获取文本推荐概率;根据文本推荐概率,对待训练内容推荐模型进行训练,得到训练后的内容推荐模型。

Description

内容推荐模型的训练方法、内容推荐的方法及相关装置
技术领域
本申请涉及计算机技术领域,尤其涉及一种内容推荐模型的训练方法、内容推荐的方法及相关装置。
背景技术
随着网络的迅猛发展,人们的日常生活越来越离不开网络,通过网络听歌、看视频以及浏览资讯内容等等已经成为了人们的日常生活习惯。以浏览资讯内容为例,随着网上各种资讯内容(例如新闻、文章以及视频内容等)的爆炸性增长,用户越来越难以从众多的资讯内容中挑选自己喜欢的资讯内容,因此,给用户主动推荐感兴趣的资讯内容,俨然成为了一种可行且高效的方案。
目前,内容推送的方式主要是对内容进行打标签,然后根据用户点击的次数进行相关性推荐,然而长时间使用这种推荐方式,会导致整个推荐页面均是同样类型的内容,内容的多样性较差。
发明内容
本申请实施例提供了一种内容推荐模型的训练方法、内容推荐的方法及相关装置,通过神经网络对待训练的文本数据进行预测,获得文本数据的质量预测值(即用户的感兴趣程度),并且根据质量预测值通过DPP获取对应的文本推荐概率,最后基于文本推荐概率对内容推荐模型进行训练,由于采用了神经网络以及DPP,能够同时兼顾到文本数据的相关性以及多样性,因此基于训练后的内容推荐模型进行内容推荐,能够提高推荐内容的多样性。
本申请实施例第一方面提供一种内容推荐模型的训练方法,包括:
获取第一时刻下的第一待训练文本数据,其中,第一待训练文本数据包括第一文本属性特征以及第一文本语义特征;
通过待训练内容推荐模型的神经网络获取第一待训练文本数据所对应的第一文本质量预测值以及第一特征向量,其中,第一文本质量预测值与第一文本属性特征以及第一文本语义特征具有对应关系,第一特征向量与第一文本语义特征具有对应关系;
通过待训练内容推荐模型的神经网络获取第二时刻下的第二待训练文本数据所对应的第二文本质量预测值以及第二特征向量,其中,第二文本质量预测值与第一文本语义特征、第二文本属性特征以及第二文本语义特征具有对应关系,第二特征向量与第二文本语义特征具有对应关系,且第二文本属性特征以及第二文本语义特征均属于第二待训练文本数据;
根据第一文本质量预测值、第一特征向量、第二文本质量预测值以及第二特征向量,通过待训练内容推荐模型的行列式点过程DPP获取文本推荐概率;
根据文本推荐概率,对待训练内容推荐模型进行训练,得到训练后的内容推荐模型。
本申请实施例第二方面提供一种内容推荐的方法,包括:
获取文本集合,文本集合包括有N个待推荐文本,N为大于1的整数;
通过内容推荐模型获取N个待推荐文本对应的文本推荐概率,内容推荐模型为第一方面的内容推荐模型;
根据文本推荐概率,确定推荐文本子集合,推荐文本子集合包括有M个待推荐文本,M为大于或等于1的整数,且M小于N。
本申请实施例第三方面提供一种内容推荐模型的训练装置,包括:
获取单元,用于获取第一时刻下的第一待训练文本数据,其中,第一待训练文本数据包括第一文本属性特征以及第一文本语义特征;
获取单元,还用于通过待训练内容推荐模型的神经网络获取第一待训练文本数据所对应的第一文本质量预测值以及第一特征向量,其中,第一文本质量预测值与第一文本属性特征以及第一文本语义特征具有对应关系,第一特征向量与第一文本语义特征具有对应关系;
获取单元,还用于通过待训练内容推荐模型的神经网络获取第二时刻下的第二待训练文本数据所对应的第二文本质量预测值以及第二特征向量,其中,第二文本质量预测值与第一文本语义特征、第二文本属性特征以及第二文本语义特征具有对应关系,第二特征向量与第二文本语义特征具有对应关系,且第二文本属性特征以及第二文本语义特征均属于第二待训练文本数据;
获取单元,还用于根据第一文本质量预测值、第一特征向量、第二文本质量预测值以及第二特征向量,通过待训练内容推荐模型的行列式点过程DPP获取文本推荐概率;
训练单元,用于根据文本推荐概率,对待训练内容推荐模型进行训练,得到训练后的内容推荐模型。
在一种可能的设计中,在本申请实施例的第三方面的一种实现方式中,
获取单元,还用于通过神经网络的嵌入层获取与第一文本属性特征对应的第一文本属性特征向量以及与第一文本语义特征对应的第一文本语义特征向量;
获取单元,还用于通过神经网络的门控循环单元GRU层获取第一文本语义特征向量对应的第一文本语义输出向量;
获取单元,还用于根据第一文本属性特征向量和第一文本语义输出向量,通过神经网络的全连接网络获取第一文本质量预测值;
获取单元,还用于通过神经网络的归一层对第一文本语义特征向量进行归一化处理,获取第一特征向量。
在一种可能的设计中,在本申请实施例的第三方面的一种实现方式中,还包括构造单元;
构造单元,用于根据第一文本质量预测值、第一特征向量、第二文本质量预测值以及第二特征向量构造DPP的核矩阵;
获取单元,还用于根据核矩阵获取对应的文本推荐概率。
本申请实施例第四方面提供一种内容推荐模型的训练方法,包括:
获取单元,用于获取文本集合,文本集合包括有N个待推荐文本,N为大于1的整数;
获取单元,用于通过内容推荐模型获取N个待推荐文本对应的文本推荐概率,内容推荐模型为第一方面所述的内容推荐模型;
确定单元,用于根据文本推荐概率,确定推荐文本子集合,推荐文本子集合包括有M个待推荐文本,M为大于或等于1的整数,且M小于N。
在一种可能的设计中,在本申请实施例的第四方面的一种实现方式中,还包括发送单元;
获取单元,还用于若获取到终端发送的文本信息请求指令,则根据文本请求指令获取推荐文本子集合;
发送单元,用于向终端发送推荐文本子集合,以使得终端展示推荐文本子集合中的待推荐文本。
在一种可能的设计中,在本申请实施例的第四方面的一种实现方式中,
确定单元,还用于根据推荐文本子集合中M个待推荐文本对应的文本推荐概率,确定M个待推荐文本的展示顺序;
发送单元,还用于向终端发送确定好M个待推荐文本展示顺序的推荐文本子集合,以使得终端根据M个待推荐文本的展示顺序展示M个待推荐文本。
在一种可能的设计中,在本申请实施例的第四方面的一种实现方式中,
获取单元,还用于获取交互对象,交互对象为与待推荐对象交互的对象;
获取单元,还用于获取交互对象对应的文本集合,文本集合包括交互对象浏览过的文本。
本申请实施例第五方面提供一种服务器,包括:存储器、收发器、处理器以及总线系统;
其中,存储器用于存储程序;
处理器用于执行存储器中的程序,包括如下步骤:
获取第一时刻下的第一待训练文本数据,其中,第一待训练文本数据包括第一文本属性特征以及第一文本语义特征;
通过待训练内容推荐模型的神经网络获取第一待训练文本数据所对应的第一文本质量预测值以及第一特征向量,其中,第一文本质量预测值与第一文本属性特征以及第一文本语义特征具有对应关系,第一特征向量与第一文本语义特征具有对应关系;
通过待训练内容推荐模型的神经网络获取第二时刻下的第二待训练文本数据所对应的第二文本质量预测值以及第二特征向量,其中,第二文本质量预测值与第一文本语义特征、第二文本属性特征以及第二文本语义特征具有对应关系,第二特征向量与第二文本语义特征具有对应关系,且第二文本属性特征以及第二文本语义特征均属于第二待训练文本数据;
根据第一文本质量预测值、第一特征向量、第二文本质量预测值以及第二特征向量,通过待训练内容推荐模型的行列式点过程DPP获取文本推荐概率;
根据文本推荐概率,对待训练内容推荐模型进行训练,得到训练后的内容推荐模型;
总线系统用于连接存储器以及处理器,以使存储器以及处理器进行通信。
本申请实施例第六方面提供一种服务器,包括:存储器、收发器、处理器以及总线系统;
其中,存储器用于存储程序;
处理器用于执行存储器中的程序,包括如下步骤:
获取文本集合,文本集合包括有N个待推荐文本,N为大于1的整数;
通过内容推荐模型获取N个待推荐文本对应的文本推荐概率,内容推荐模型为第一方面所述的内容推荐模型;
根据文本推荐概率,确定推荐文本子集合,推荐文本子集合包括有M个待推荐文本,M为大于或等于1的整数,且M小于N;
总线系统用于连接存储器以及处理器,以使存储器以及处理器进行通信。
本申请实施例第七方面提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述任一方面的方法。
本申请实施例第八方面提供了一种包含指令的计算机程序产品,当其在计算机或者处理器上运行时,使得计算机或者处理器执行上述任一方面的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例提供了一种内容推荐模型的训练方法、内容推荐的方法及相关装置,通过神经网络对待训练的文本数据进行预测,获得文本数据的质量预测值(即用户的感兴趣程度),并且根据质量预测值通过DPP获取对应的文本推荐概率,最后基于文本推荐概率对内容推荐模型进行训练,由于采用了神经网络以及DPP,能够同时兼顾到文本数据的相关性以及多样性,因此基于训练后的内容推荐模型进行内容推荐,能够提高推荐内容的多样性。
附图说明
图1为本申请实施例提供的用户满意度与相似兴趣内容展示量的关系示意图;
图2为本申请实施例中内容推荐系统的一个架构示意图;
图3为本申请实施例提供的一种内容推荐模型的训练方法的示例图;
图4为本实施例中提供的内容推荐模型的结构示意图;
图5为本申请实施例提供的内容推荐的方法的流程示例图;
图6为本申请实施例提供的一种基于feed流的内容推荐示例图;
图7为本申请实施例提供的基于交互对象浏览过的内容进行内容推荐的示例图;
图8为本申请实施例中内容推荐模型的训练装置一个实施例示意图;
图9为本申请实施例中内容推荐的装置一个实施例示意图;
图10为本申请实施例提供的一种服务器结构示意图。
具体实施方式
本申请实施例提供了一种内容推荐模型的训练方法、内容推荐的方法及相关装置,用于提高推荐内容的多样性。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应于”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解,本申请实施例应用于基于机器学习进行内容推荐的场景,具体地,可以应用于在浏览器上进行内容推荐的场景、在应用程序上进行内容推荐的场景或者是在小程序中进行内容推荐的场景,具体地,所推荐的内容可以包括但不限于新闻、文章、图文结合的长文或短文等文本类内容。其中,机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。具体地,在本实施例中,所采用的机器学习模型(即待训练内容推荐模型的神经网络)具体可以包括但不限于以下的神经网络:循环神经网络(recurrent neural network,RNN),长短期记忆网络 (long short-term memory, LSTM)等等,为便于叙述,以下将以神经网络为RNN为例进行详细的说明。
可以理解的是,随着互联网技术和移动通信技术的发展,越来越多的人们通过移动终端连接互联网来获取各种信息内容。在闲暇之余中,通过移动终端上提供的各种应用程序来获取新闻资讯、热门文章、影视点评或者是旅游攻略等内容,已成为了人们日常生活中重要的一部分。通常来说,不同的用户偏好浏览的内容是不一样的,例如,有些用户较为喜欢浏览新闻资讯,而有些用户则不太关心新闻资讯而比较喜爱浏览影视点评,更有新闻资讯和影视点评都喜欢浏览的用户等等。因此,对于内容的提供方来说,如何针对不同用户的偏好有针对性地提供用户偏好的内容则成为了迫待解决的需求。
目前,为了能够基于用户的偏好给用户推荐较为精准的内容,在用户对提供方所提供的内容进行阅读的时候,后台服务器会根据用户当前阅读的文章中的一些关键词或者是文章预先标注好的标签,为用户匹配一些该用户可能感兴趣的相关的文章供用户选择,也就是说,后台服务器会根据用户阅读过的一些文章,为用户推荐一些与他阅读过的文章具有一定相关性的文章。但是这种内容推荐的方式具有较大的弊端,容易为用户反复推荐过量雷同的内容,推荐内容的多样性较差,很容易引起用户的反感。例如,用户通过移动终端上的浏览器浏览了几篇总统大选的新闻之后,在用户后续通过浏览器继续浏览的过程中,浏览器会持续为用户推荐与总统大选相关的新闻资讯,例如是不同的编辑社或者是工作室所编辑的总统大选新闻,这样一来,浏览器所推荐的这些内容会有较强的单一性,用户点开不同的新闻资讯也可能会阅读到较为相似的内容。具体地,可以参阅图1,图1为本申请实施例提供的用户满意度与相似兴趣内容展示量的关系示意图。由图1可以看出,在相似兴趣内容(即用户感兴趣的相似内容)的展示量达到一定数量之前,用户满意度是随着展示量的增加而递增的,而在展示量达到一定数量之后,用户满意度是随着展示的增加而递减的,也就是说,如果不断地给用户推荐相似的内容,那么容易随着用户阅读量的增加而逐渐对所推荐的相似内容产生不满。
此外,如果为了追求多样性而盲目地给用户推荐大量不同类型的内容,这样虽然推荐的内容具有多样性,但是可能并不符合用户的兴趣,即这些多样性内容可能是用户并不偏好阅读的。因此,如何在保证所推荐的内容是用户偏好阅读的内容的基础上,提高推荐内容的多样性成为了亟待解决的问题。
有鉴于此,本申请实施例提供了一种内容推荐模型的训练方法、内容推荐的方法及相关装置,通过采用基于用户浏览过程中序列信息的神经网络对待训练的文本数据进行预测,获得文本数据的质量预测值(即用户对文本数据的感兴趣程度),并且根据质量预测值通过DPP获取对应的文本推荐概率,最后基于文本推荐概率对内容推荐模型进行训练,由于采用了基于用户浏览过程中序列信息的神经网络以及行列式点过程(DeterminantalPoint Process, DPP),能够同时兼顾到文本数据的相关性以及多样性,因此基于训练后的内容推荐模型进行内容推荐,能够在保证所推荐的内容是用户偏好阅读的内容的基础上,提高推荐内容的多样性。
为了便于理解,以下将对本申请实施例提供的方法所应用的系统架构进行介绍。本申请实施例提供了内容推荐模型的训练方法以及内容推荐的方法,这两种方法均可以应用于图2所示的内容推荐系统,请参阅图2,图2为本申请实施例中内容推荐系统的一个架构示意图,如图所示,终端通过网络与服务器建立通信连接,用户在移动终端对内容进行浏览的记录会被上传至服务器上,服务器根据用户的浏览记录中浏览过的内容,通过训练好的内容推荐模型获取相应的推荐内容,然后再将通过内容推荐模型获得的推荐内容发送给用户的移动终端,以使得用户在移动终端上可以获取到新的推荐内容。其中,内容推荐模型是服务器通过一定的样本数据对其进行训练后得到的,在训练得到内容推荐模型之后,服务器再采用该内容推荐模型给用户进行内容推荐。可以理解的是,上述的内容推荐模型的训练方法以及内容推荐的方法可以应用于同一个服务器上,也可以是应用于两个具有通信连接的服务器上,如果是应用于两个服务器上的话,负责内容推荐的服务器则需要预先从负责模型训练的服务器上获取训练好的内容推荐模型,然后才能够通过内容推荐模型进行内容推荐。
以上为对本申请实施例提供的内容推荐系统进行的描述,请参阅图3,图3为本申请实施例提供的一种内容推荐模型的训练方法的示例图。
为了便于理解,以下先简单介绍一下本申请实施例中所提供的内容推荐模型的训练方法。在本申请实施例中,提出了一种结合了RNN和DPP的内容推荐模型,RNN主要用于捕捉用户浏览历史中的序列信息,并且基于序列信息预测文本的相关性,即用户感兴趣的程度;DPP则主要用于在RNN的基础上,找到文本集合中相关性和多样性最大的子集,从而获得待推荐的文本。通常来说,用户在浏览文章的过程中会有一个先后顺序的序列过程,用户后点击的文章通常与他先点击过的文章具有一定的相关性,即后点击的文章在一定程度上是受到先点击文章的影响才点击打开的,也就是说,用户的点击行为会受到上下文序列信息的影响。基于此,本实施例中建立了能够获取文本数据之间的相关性且能够同时考虑到序列信息的影响的RNN,在RNN的训练过程中,输入到RNN中的样本数据是在不同时刻下输入的,以实现RNN对序列信息的捕捉。
本申请实施例中提供的一种内容推荐模型的训练方法一个实施例包括:
301、获取第一时刻下的第一待训练文本数据,其中,第一待训练文本数据包括第一文本属性特征以及第一文本语义特征;
在本实施例中,要对内容推荐模型进行训练,需要向内容推荐模型输入样本数据(即待训练文本数据),通常来说,用于训练内容推荐模型的样本数据是具有一定数量的,例如是1000篇文章,在每一次训练内容推荐模型的时候,可能会在预先设置好的样本数据中随机挑选一定量的样本数据输入到内容推荐模型中,例如是20篇。其中,样本数据是有序地输入至内容推荐模型中的,即挑选好的样本数据是逐一逐一地输入到内容推荐模型中的,换句话说,这些样本数据都是在不同的时刻输入到内容推荐模型中的。因此,本实施例中的第一时刻指的是输入样本数据中的任意一个时刻,第一时刻下的第一待训练文本数据指的是任意一个时刻下输入的待训练文本数据。
其中,第一待训练文本数据具体可以是新闻资讯,影视点评,旅游攻略等文本类数据(为了便于叙述,以下将简称文章),这些文章通常由标题和正文所构成,基于文正的标题或者是正文内容,通常可以获得文章对应的一些特征。具体地,文章对应的文本属性特征指的是文章固有的一些属性特征,例如包含有文章发表时间,文章发表单位,文章中与其他文章的交叉特征等等,文章对应的文本语义特征指的是文章内容本身的特征信息,例如包含有文章的类目、文章的题目,文章的标签(例如是新闻资讯、娱乐八卦消息、影视点评、热门旅游攻略等)等等,其中,文章的文本属性特征通常是表示文章的一些固有特征,是文章多样性表现的一部分,而这些固有特征通常不会对判断其所属的文章是否是用户感兴趣的文章有贡献,也就是说,文章的文本属性特征可以不视为是对用户的感兴趣程度有影响的因素,而将其作为对文章的多样性有影响的因素;而文章的文本语义特征则往往是对用户的感兴趣程度有重要影响的因素,即文章的类目、题目或者是文章本身的标签是决定用户是否对该文章感兴趣的重要因素。基于此,在本实施例中,对于文章的文本属性特征可以不经过RNN进行序列信息的捕捉,而对于文章的文本语义特征送入RNN中进行序列信息的捕捉。
302、通过待训练内容推荐模型的神经网络获取第一待训练文本数据所对应的第一文本质量预测值以及第一特征向量,其中,第一文本质量预测值与第一文本属性特征以及第一文本语义特征具有对应关系,第一特征向量与第一文本语义特征具有对应关系;
在本实施例中,为了能够捕捉到文章序列中的序列信息,即用户浏览过程中的文章所对应的序列信息,采用了神经网络来实现序列信息的捕捉。
可以理解的是,待训练内容推荐模型的神经网络具体可以是一个机器学习(Machine Learning, ML)模型,在给定了一定的样本数据之后,可以基于给定的样本数据进行机器学习(即模型训练)。也就是说,本实施例中所提供的神经网络能够对输入的样本数据之间的相关性进行学习,在进行了机器学习之后,能够基于所输入的文本数据(即用户浏览过的文章),预测得到与输入的文本数据具有相关性的文本数据(即候选的文章集合中用户可能会感兴趣的文章)。
具体地,在本实施例中,可以先通过神经网络的嵌入层获取与第一文本属性特征对应的第一文本属性特征向量以及与第一文本语义特征对应的第一文本语义特征向量,可以理解的是,在神经网络的处理过程中,神经网络主要是对向量进行运算处理,而输入到神经网络的样本数据是由大量文字构成的文本数据,因此,为了便于神经网络能够对样本数据进行处理,通常需要将输入的样本数据进行向量化处理,即对于第一文本属性特征,可以通过神经网络的嵌入层将其转化为对应的第一文本属性特征向量,嵌入层能够将稀疏编码的第一文本属性特征转化为低维稠密向量;对于第一文本语义特征,可以通过神经网络的嵌入层将其转化为对应的第一文本语义特征向量,嵌入层能够将稀疏编码的第一文本语义特征转化为低维稠密向量。其中,神经网络的嵌入层也称为embedding layer,主要用于学习词嵌入,能够将一个词映射成为固定维度的稠密向量,有了这一步,才能够基于文本数据构造相应的向量或者是矩阵。
其次,在获得第一文本语义特征向量之后,可以通过神经网络的门控制循环单元(gated recurrent unit,GRU)层获取第一文本语义特征向量对应的第一文本语义输出向量。具体地,为了解决基础RNN无法建立长期依赖关系(即无法捕捉长期的序列信息),本实施例中,在RNN的基础上引入了GRU,通过GRU层的门机制来解决该问题。GRU 使用了更新门(update gate)与重置门(reset gate)。基本上,这两个门控向量决定了哪些信息最终能作为门控循环单元的输出。这两个门控机制的特殊之处在于,它们能够保存长期序列中的信息,且不会随时间而清除或因为与预测不相关而移除。
为了便于理解,以下将结合具体的公式对RNN以及GRU的计算过程进行详细的介绍。具体地,基础的RNN计算过程如下:
其中,是RNN在时刻t下的隐状态;/>是RNN在时刻t-1下的隐状态;/>是序列中当前文章的特征表达(即用于表示当前文章的特征向量);/>是计算隐状态的参数矩阵;g()是激活函数;/>是计算隐状态的偏置项,也是RNN中的可训练参数;/>是RNN的输出;/>是计算隐状态的参数矩阵;/>是计算隐状态的偏置项。可以看出,这是一个递归的定义,时刻t下的隐状态/>的计算涉及到了/>,因此能够用于捕捉序列信息。/>在所有时刻是共享的,这有利于把序列中某一位置学到的特征泛化到其他位置。
具体地,采用了GRU之后,隐状态的计算过程如下:
其中,是本步中间值,用于计算隐层状态;/>指上一时间步隐层状态;/>代表本时间步输入,即序列中当前文章的特征表达;/>、/>、/>分别是更新门、遗忘门、输出门;/>、/>、/>、/>分别为对应的映射矩阵,可以通过训练得到;/>、/>、/>、/>分别为对应的偏置项参数,可以通过训练得到; />通过更新门和遗忘门综合了本步和上一步的中间值,再经过输出门得到本步最终隐层状态/>
然后,根据第一文本属性特征向量和第一文本语义输出向量,通过神经网络的全连接网络(multi-layer perception,MLP)获取第一文本质量预测值。其中,全连接网络又称为多层感知器,能够映射一组输入向量到一组输出向量,在本实施例中,通过MLP能够对第一文本属性特征向量和GRU输出的第一文本语义输出向量进行整合处理,最终得到第一文本质量预测值。具体地,第一文本质量预测值为对当前文章质量的一个估计值,是一个标量,它衡量了这篇文章与用户的兴趣的符合程度(即用户对该文章的感兴趣程度),也可以认为是这篇文章被用户点击的概率,即用户对文章的感兴趣程度越高,该文章被用户点击的概率也越大。
最后,通过神经网络的归一层对第一文本语义特征向量进行归一化处理,获取第一特征向量。其中,第一特征向量是对第一文本语义特征向量进行归一化处理得到的向量,表示文章本身的属性。在DPP中,通过将两篇文章对应的特征向量相乘(例如第一特征向量乘以第二特征向量)即可得到两篇文章之间的余弦相似度。
303、通过待训练内容推荐模型的神经网络获取第二时刻下的第二待训练文本数据所对应的第二文本质量预测值以及第二特征向量,其中,第二文本质量预测值与第一文本语义特征、第二文本属性特征以及第二文本语义特征具有对应关系,第二特征向量与第二文本语义特征具有对应关系,且第二文本属性特征以及第二文本语义特征均属于第二待训练文本数据;
在本实施例中,通过待训练内容推荐模型的神经网络获取第二时刻下的第二待训练文本数据所对应的第二文本质量预测值以及第二特征向量与上述步骤202中获取第一文本质量预测值以及第一特征向量的过程相似,具体可以参考步骤202,在此不再赘述。值得注意的是,本实施例中的第二时刻指的是是输入样本数据中的任意一个时刻,且第二时刻是与第一时刻不相同的时刻,第二时刻下的第二待训练文本数据指的是除第一时刻之外任意一个时刻下输入的待训练文本数据。
304、根据第一文本质量预测值、第一特征向量、第二文本质量预测值以及第二特征向量,通过待训练内容推荐模型的DPP获取文本推荐概率;
首先,对DPP的定义进行简单的介绍。DPP是一种性能较高的概率模型,能够将复杂的概率计算转换成简单的行列式计算,并通过核矩阵的行列式计算每一个子集的概率。DPP不仅减少了计算量,而且提高了运行效率,在商品推荐中具有较成功的应用。具体地,DPP通过最大后验概率估计,可以找到商品集中相关性和多样性最大的子集,从而作为推荐给用户的商品集,也就是说,运用DPP能够同时兼顾到相关性和多样性,因此,本实施例中采用DPP来进行内容的推荐。
具体地,DPP是一个概率模型,对于一个集合S,DPP是定义在所有子集Y∈S上的一个概率分布,任一子集Y的概率为:
其中,P(Y)为子集Y的概率,L是DPP模型中的参数矩阵,它是一个N*N的半正定矩阵,一般称为核矩阵。是指L的子矩阵,其行序号和列序号对应于子集Y。det()是指取矩阵行列式。分母可以进一步写为:
其中,I为单位矩阵,显然,在使用DPP时只需要构造L矩阵,具体可以通过以下方式构造:
其中,是对文章i质量的一个估计值,是一个标量,即上述的第一文本质量预测值;同理,/>是对文章j质量的一个估计值,是一个标量,即上述的第二文本质量预测值;/>一般是一个向量,表示文章本身的属性,一般是归一化的,即上述的第一特征向量;同理,/>也是一个向量,表示文章本身的属性,即上述的第二特征向量。那么,/>就表示文章i和文章j之间的余弦相似度。从DPP的核矩阵可以看出,显然DPP在生成最终推荐列表时既考虑到用户的兴趣又考虑到多样性。
305、根据文本推荐概率,对待训练内容推荐模型进行训练,得到训练后的内容推荐模型。
具体地,在本实施例中,可以以最大化点击子集的似然概率为优化目标来训练模型,其中,似然概率具体如下:
其中,为log似然概率,M为样本全集划分的窗口数,w为网络模型参数,训练时使用一个窗口内的文章(N个历史浏览文章)构造N*N的矩阵L(w),取窗口中的点击子集构成子矩阵/>,/>表示窗口j中用户点击过的文章集合。通过最大化/>使得用户点击过的文章集合被选中的概率最大(即最大似然训练),具体的模型训练方法可以采用梯度下降法。也就是说,在本实施例中,可以通过以最大化点击子集的似然概率 为优化目标来对整个内容推荐模型进行训练,即对内容推荐模型中的RNN的参数进行训练优化,从而使得用户点击过的文章集合被选中的概率最大。
为了便于理解,以下将结合图4对本实施例中提供的内容推荐模型的训练方法进行详细的描述。可以参阅图4,图4为本实施例中提供的内容推荐模型的结构示意图。
如图4所示,表示文章1的特征表达,其包括两个部分,分别是属于wide部分(即宽度特征部分)的第一文本属性特征,以及属于deep部分(即深度特征部分)的第一文本语义特征,这两部分的特征经过嵌入层之后,分别得到第一文本属性特征向量以及第一文本语义特征向量;然后,第一文本属性特征向量直接输入至MLP中,而第一文本语义特征向量则输入到GRU层进行处理后再输入至MLP中,最终通过MLP得到第一文本质量预测值/>;另外,第一文本语义特征向量经过归一层进行归一化处理后,得到第一特征向量/>;同理,对于/>,经过与上述类似的处理步骤之后,得到第二文本质量预测值/>以及第二特征向量/>;最终,通过/>、/>、/>以及/>构造DPP的核矩阵,实现文本推荐概率的求取。
以上为对本申请实施例中所提供的内容推荐模型的训练方法的详细介绍,以下将对本申请实施例提供的基于上述的内容推荐模型进行内容推荐的方法进行详细的介绍。
请参阅图5,图5为本申请实施例提供的内容推荐的方法的流程示例图。
本申请实施例提供的一种内容推荐的方法的一个实施例,包括:
501、获取文本集合,文本集合包括有N个待推荐文本,N为大于1的整数;
具体地,本实施例中所提供的内容推荐的方法可以应用于浏览器、应用程序或者是小程序等产品上,实现内容的自动推荐和推送,以便于用户能够便捷地获取到其感兴趣的且具有多样性的内容。其中,本实施例中实现内容推荐的方式主要是预先挑选好一定数量的文章集合(即上述的文本集合),然后在这些文章集合中通过内容推荐模型做进一步的挑选,将推荐概率最高的一篇或多篇文章挑选出来,最终再将这些经过内容推荐模型进行挑选后所获得的文章推荐给用户。因此,在本实施例中,首先需要获取待推荐给用户的文章集合,文章集合获取的方式可以包括但不限于从预置的文章数据库中选取一些较为热门的文章(即阅读量较高的文章),其中,文章数据库中的文章是不定期进行更新的,以保证所获取的文章集合具有实时性,本实施例中不对获取文章集合的方式做具体的限定。
502、通过内容推荐模型获取N个待推荐文本对应的文本推荐概率;
其中,本实施例中的内容推荐模型指的是上述的实施例中经过训练后所得到的内容推荐模型。对于文章集合中的N个待推荐文本,首先可以先获取N个待推荐文本对应的特征表达,然后基于内容推荐模型中的RNN获得每个待推荐文本对应的文本质量预测值以及特征向量,其次再通过DPP计算任意两个或两个以上的待推荐文本对应的文本子集的文本推荐概率。
503、根据文本推荐概率,确定推荐文本子集合,推荐文本子集合包括有M个待推荐文本,M为大于或等于1的整数,且M小于N。
最终,在获得各个文本子集对应的文本推荐概率之后,可以从这些文本子集中挑选出文本推荐概率最高的文字子集,构成文本子集合,即得到文本推荐列表。
值得注意的是,从文本集合中挑选概率最大的文本子集Y是一个非确定性多项式(non-deterministic polynomial,NP)问题,因此可以采用贪心算法得到最终的文本推荐列表:
其中Y是当前已经选出的文章子集,初始为空集,是除去已选出的文章子集后的文章集合。依上式,逐个从剩下的候选文章中选择当前推荐概率最大的文章,以产生最终的文本推荐列表。
在本实施例中,在确定了文本推荐列表之后,可以通过feed流推荐方法向用户推荐相应的文章。其中,feed流推荐方法是一种信息推荐技术,通过瀑布流的形式把信息聚合起来展示给用户,可实现实时的信息推荐且具有高度个性化的特点,从而达到精准推荐的目的。具体地,可以参阅图6,图6为本申请实施例提供的一种基于feed流的内容推荐示例图。如图所示,移动终端上显示的为向用户推荐的内容,这些内容以列表的形式有序地展示给用户,用户可以通过滑动移动终端的屏幕来随意浏览移动终端上所展示的内容。另外,这些内容是实时更新的,在用户浏览完毕当前页面所展示的内容或者是不想继续浏览当前页面所展示的内容时,可以通过刷新页面来获取新的内容,这些新的内容可以是预先获得的文本推荐列表中的文本内容,也可以是通过内容推荐模型对更新后的文本数据库重新进行文本筛选后所得到的新的文本推荐列表中的文本内容。
可选地,在上述图5对应的实施例的基础上,本申请实施例提供的内容推荐的方法一个可选实施例中,还包括:
若获取到终端发送的文本信息请求指令,则根据文本请求指令获取推荐文本子集合;
向终端发送推荐文本子集合,以使得终端展示推荐文本子集合中的待推荐文本。
具体地,由于在本实施例中是由服务器通过内容推荐模型对文本集合进行筛选后得到文本推荐列表的,因此,当用户通过终端向服务器发送文本信息请求指令时,服务器根据该文本信息请求指令获取对应的推荐文本子集合。其中,用户通过终端触发文本信息请求指令的方式可以是打开浏览器、应用程序或小程序等内容推荐产品,以浏览器为例,在用户打开浏览器的时候,即可触发文本信息请求指令,由终端向服务器发送该指令,等到浏览器打开之后,浏览器可以将接收到的由服务器返回的推荐文本子集合进行展示,以方便用户的浏览;另外,用户还可以是在浏览过程中通过触发刷新指令,来使得终端向服务器发送文本信息请求指令,从而获取新的推荐文本子集合。
需要说明的是,服务器获取到的文本信息请求指令中通常会包括有用户的标识或者是用户所使用的移动终端的标识,这样,服务器在获取到文本信息请求指令之后,可以根据文本信息请求指令获取到用户具体的信息,例如用户的浏览记录,用户阅读过的文章,用户阅读某一些文章的时长等信息。基于用户的这些浏览记录等信息,服务器可以通过内容推荐模型获取到对应的推荐文本子集合,从而实现有针对性地给用户提供用户感兴趣且多样性较高的内容。
可选地,在上述图5对应的实施例的基础上,本申请实施例提供的内容推荐的方法一个可选实施例中,向终端发送推荐文本子集合,以使得终端展示推荐文本子集合中的待推荐文本,包括:
根据推荐文本子集合中M个待推荐文本对应的文本推荐概率,确定M个待推荐文本的展示顺序;
向终端发送确定好M个待推荐文本展示顺序的推荐文本子集合,以使得终端根据M个待推荐文本的展示顺序展示M个待推荐文本。
可以理解的是,在本实施例中,通过内容推荐模型中的DPP获取文本集合中待推荐文本的文本推荐概率时,可以获得各个待推荐文本的推荐概率或者是由多个待推荐文本构成的子集对应的推荐概率,在获得这些对应的概率之后,可以按照从高到低的顺序给推荐文本子集合中的M个待推荐文本进行排序,以确定M个待推荐文本的展示顺序。并且,在响应终端的文本信息请求指令时,则向终端发送已按照推荐概率排序好的待推荐文本,这样一来,终端便可以根据服务器预先排好的顺序有序地向用户展示接收到的待推荐文本,从而保证用户首先看到的文本内容是用户最为感兴趣的。此外,通过对待推荐文本进行排序后再发给终端,可以保证终端无法同时给用户展示所有的待推荐文本的时候,优先展示推荐概率更大的文本内容,以保证用户的阅读体验。
可选地,在上述图5对应的实施例的基础上,本申请实施例提供的内容推荐的方法一个可选实施例中,获取文本集合,包括:
获取交互对象,交互对象为与待推荐对象交互的对象;
获取交互对象对应的文本集合,文本集合包括交互对象浏览过的文本。
在本实施例中,若本实施例提供的内容推荐的方法应用于即时通讯程序的内容推荐功能上时,例如应用在微信的“看一看”小程序时,还可以获取用户在该即时通讯程序上对应的交互对象(即用户的好友联系人),然后获取用户的好友联系人在一定时间范围内(例如一天内)所阅读过的文本内容,构成文本集合,将该文本集合作为进行内容推荐的文本集合输入至内容推荐模型中获取对应的文本推荐列表。也就是说,在本实施例中,获取文本集合的方式除了可以是从预置的文本数据库中获取,还可以是通过获取用户的好友群体所阅读过的文本来构成文本集合。显然,从用户的好友群体所感兴趣的文本内容中挑选文本内容给用户,用户对这些文本内容会具有更大的兴趣。另外,由于用户可能具有较多的好友,而这些好友所阅读的文本内容的类型也不尽一样,这样一来,还可以保证推荐给用户的文本内容具有多样性。
具体地,可以参阅图7,图7为本申请实施例提供的基于交互对象浏览过的内容进行内容推荐的示例图。可以看出,与图6相比,图7中显示的内容是“朋友在看”栏目下对应的内容,即这些内容均是从用户的好友所看过的文本内容中挑选出来的;另外,在这些内容下还标注了具体该文本内容具体是哪个好友阅读过的,以便于用户更为直观地了解所推荐的内容是哪个好友阅读过的。
下面对本申请实施例中的内容推荐模型的训练装置进行详细描述,请参阅图8,图8为本申请实施例中内容推荐模型的训练装置一个实施例示意图,本申请实施例中内容推荐模型的训练装置800包括:
获取单元801,用于获取第一时刻下的第一待训练文本数据,其中,第一待训练文本数据包括第一文本属性特征以及第一文本语义特征;
获取单元801,还用于通过待训练内容推荐模型的神经网络获取第一待训练文本数据所对应的第一文本质量预测值以及第一特征向量,其中,第一文本质量预测值与第一文本属性特征以及第一文本语义特征具有对应关系,第一特征向量与第一文本语义特征具有对应关系;
获取单元801,还用于通过待训练内容推荐模型的神经网络获取第二时刻下的第二待训练文本数据所对应的第二文本质量预测值以及第二特征向量,其中,第二文本质量预测值与第一文本语义特征、第二文本属性特征以及第二文本语义特征具有对应关系,第二特征向量与第二文本语义特征具有对应关系,且第二文本属性特征以及第二文本语义特征均属于第二待训练文本数据;
获取单元801,还用于根据第一文本质量预测值、第一特征向量、第二文本质量预测值以及第二特征向量,通过待训练内容推荐模型的行列式点过程DPP获取文本推荐概率;
训练单元802,用于根据文本推荐概率,对待训练内容推荐模型进行训练,得到训练后的内容推荐模型。
可选地,在上述图8所对应的实施例的基础上,本申请实施例提供的内容推荐模型的训练装置800的另一实施例中,
获取单元801,还用于通过神经网络的嵌入层获取与第一文本属性特征对应的第一文本属性特征向量以及与第一文本语义特征对应的第一文本语义特征向量;
获取单元801,还用于通过神经网络的门控循环单元GRU层获取第一文本语义特征向量对应的第一文本语义输出向量;
获取单元801,还用于根据第一文本属性特征向量和第一文本语义输出向量,通过神经网络的全连接网络获取第一文本质量预测值;
获取单元801,还用于通过神经网络的归一层对第一文本语义特征向量进行归一化处理,获取第一特征向量。
可选地,在上述图8所对应的实施例的基础上,本申请实施例提供的内容推荐模型的训练装置800的另一实施例中,还包括构造单元803;
构造单元803,用于根据第一文本质量预测值、第一特征向量、第二文本质量预测值以及第二特征向量构造DPP的核矩阵;
获取单元801,还用于根据核矩阵获取对应的文本推荐概率。
下面对本申请实施例中的内容推荐模型的训练装置进行详细描述,请参阅图9,图9为本申请实施例中内容推荐的装置一个实施例示意图,本申请实施例中内容推荐的装置900包括:
获取单元901,用于获取文本集合,文本集合包括有N个待推荐文本,N为大于1的整数;
获取单元901,用于通过内容推荐模型获取N个待推荐文本对应的文本推荐概率,内容推荐模型为上述的内容推荐模型;
确定单元902,用于根据文本推荐概率,确定推荐文本子集合,推荐文本子集合包括有M个待推荐文本,M为大于或等于1的整数,且M小于N。
可选地,在上述图9所对应的实施例的基础上,本申请实施例提供的内容推荐的装置900的另一实施例中,还包括发送单元903;
获取单元901,还用于若获取到终端发送的文本信息请求指令,则根据文本请求指令获取推荐文本子集合;
发送单元903,用于向终端发送推荐文本子集合,以使得终端展示推荐文本子集合中的待推荐文本。
可选地,在上述图9所对应的实施例的基础上,本申请实施例提供的内容推荐的装置900的另一实施例中,
确定单元902,还用于根据推荐文本子集合中M个待推荐文本对应的文本推荐概率,确定M个待推荐文本的展示顺序;
发送单元903,还用于向终端发送确定好M个待推荐文本展示顺序的推荐文本子集合,以使得终端根据M个待推荐文本的展示顺序展示M个待推荐文本。
可选地,在上述图9所对应的实施例的基础上,本申请实施例提供的内容推荐的装置900的另一实施例中,
获取单元901,还用于获取交互对象,交互对象为与待推荐对象交互的对象;
获取单元901,还用于获取交互对象对应的文本集合,文本集合包括交互对象浏览过的文本。
图10为本申请实施例提供的一种服务器结构示意图,该服务器1000可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processingunits,CPU)1022(例如,一个或一个以上处理器)和存储器1032,一个或一个以上存储应用程序1042或数据1044的存储介质1030(例如一个或一个以上海量存储设备)。其中,存储器1032和存储介质1030可以是短暂存储或持久存储。存储在存储介质1030的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1022可以设置为与存储介质1030通信,在服务器1000上执行存储介质1030中的一系列指令操作。
服务器1000还可以包括一个或一个以上电源1026,一个或一个以上有线或无线网络接口1050,一个或一个以上输入输出接口1058,和/或,一个或一个以上操作系统1041,例如Windows ServerTM,Mac OS XTM,UnixTM, LinuxTM,FreeBSDTM等等。
在本申请实施例中,该服务器1000所包括的CPU 1022还具有以下功能:
获取第一时刻下的第一待训练文本数据,其中,第一待训练文本数据包括第一文本属性特征以及第一文本语义特征;
通过待训练内容推荐模型的神经网络获取第一待训练文本数据所对应的第一文本质量预测值以及第一特征向量,其中,第一文本质量预测值与第一文本属性特征以及第一文本语义特征具有对应关系,第一特征向量与第一文本语义特征具有对应关系;
通过待训练内容推荐模型的神经网络获取第二时刻下的第二待训练文本数据所对应的第二文本质量预测值以及第二特征向量,其中,第二文本质量预测值与第一文本语义特征、第二文本属性特征以及第二文本语义特征具有对应关系,第二特征向量与第二文本语义特征具有对应关系,且第二文本属性特征以及第二文本语义特征均属于第二待训练文本数据;
根据第一文本质量预测值、第一特征向量、第二文本质量预测值以及第二特征向量,通过待训练内容推荐模型的行列式点过程DPP获取文本推荐概率;
根据文本推荐概率,对待训练内容推荐模型进行训练,得到训练后的内容推荐模型;
或,
获取文本集合,文本集合包括有N个待推荐文本,N为大于1的整数;
通过内容推荐模型获取N个待推荐文本对应的文本推荐概率,内容推荐模型为上述的内容推荐模型;
根据文本推荐概率,确定推荐文本子集合,推荐文本子集合包括有M个待推荐文本,M为大于或等于1的整数,且M小于N。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (17)

1.一种内容推荐模型的训练方法,其特征在于,包括:
获取第一时刻下的第一待训练文本数据,其中,所述第一待训练文本数据包括第一文本属性特征以及第一文本语义特征;
通过待训练内容推荐模型的神经网络获取所述第一待训练文本数据所对应的第一文本质量预测值以及第一特征向量,其中,所述第一文本质量预测值与所述第一文本属性特征以及所述第一文本语义特征具有对应关系,第一特征向量与所述第一文本语义特征具有对应关系,所述第一文本质量预测值表示用户对所述第一待训练文本数据的感兴趣程度;
通过所述待训练内容推荐模型的神经网络获取第二时刻下的第二待训练文本数据所对应的第二文本质量预测值以及第二特征向量,其中,所述第二文本质量预测值与第一文本语义特征、第二文本属性特征以及第二文本语义特征具有对应关系,所述第二特征向量与所述第二文本语义特征具有对应关系,且所述第二文本属性特征以及所述第二文本语义特征均属于所述第二待训练文本数据,所述第二文本质量预测值表示用户对所述第二待训练文本数据的感兴趣程度;
根据所述第一文本质量预测值、所述第一特征向量、所述第二文本质量预测值以及所述第二特征向量,通过所述待训练内容推荐模型的行列式点过程DPP获取文本推荐概率;
根据所述文本推荐概率,对所述待训练内容推荐模型进行训练,得到训练后的内容推荐模型。
2.根据权利要求1所述的内容推荐模型的训练方法,其特征在于,所述通过待训练内容推荐模型的神经网络获取所述第一待训练文本数据所对应的第一文本质量预测值以及第一特征向量,包括:
通过所述神经网络的嵌入层获取与所述第一文本属性特征对应的第一文本属性特征向量以及与所述第一文本语义特征对应的第一文本语义特征向量;
通过所述神经网络的门控循环单元GRU层获取所述第一文本语义特征向量对应的第一文本语义输出向量;
根据所述第一文本属性特征向量和所述第一文本语义输出向量,通过所述神经网络的全连接网络获取所述第一文本质量预测值;
通过所述神经网络的归一层对所述第一文本语义特征向量进行归一化处理,获取所述第一特征向量。
3.根据权利要求1或2所述的内容推荐模型的训练方法,其特征在于,所述根据所述第一文本质量预测值、所述第一特征向量、所述第二文本质量预测值以及所述第二特征向量,通过所述待训练内容推荐模型的行列式点过程DPP获取文本推荐概率,包括:
根据所述第一文本质量预测值、所述第一特征向量、所述第二文本质量预测值以及所述第二特征向量构造所述DPP的核矩阵;
根据所述核矩阵获取对应的文本推荐概率。
4.一种内容推荐的方法,其特征在于,包括:
获取文本集合,所述文本集合包括有N个待推荐文本,所述N为大于1的整数;
通过内容推荐模型获取所述N个待推荐文本对应的文本推荐概率,所述内容推荐模型为权利要求1至3任意一项所述的内容推荐模型的训练方法训练得到的内容推荐模型;
根据所述文本推荐概率,确定推荐文本子集合,所述推荐文本子集合包括有M个待推荐文本,所述M为大于或等于1的整数,且所述M小于所述N。
5.根据权利要求4所述的内容推荐的方法,其特征在于,所述方法还包括:
若获取到终端发送的文本信息请求指令,则根据所述文本请求指令获取所述推荐文本子集合;
向所述终端发送所述推荐文本子集合,以使得所述终端展示所述推荐文本子集合中的待推荐文本。
6.根据权利要求5所述的内容推荐的方法,其特征在于,所述向所述终端发送所述推荐文本子集合,以使得所述终端展示所述推荐文本子集合中的待推荐文本,包括:
根据所述推荐文本子集合中所述M个待推荐文本对应的文本推荐概率,确定所述M个待推荐文本的展示顺序;
向所述终端发送确定好所述M个待推荐文本展示顺序的推荐文本子集合,以使得所述终端根据所述M个待推荐文本的展示顺序展示所述M个待推荐文本。
7.根据权利要求4至6任意一项所述的内容推荐的方法,其特征在于,所述获取文本集合,包括:
获取交互对象,所述交互对象为与待推荐对象交互的对象;
获取所述交互对象对应的文本集合,所述文本集合包括所述交互对象浏览过的文本。
8.一种内容推荐模型的训练装置,其特征在于,包括:
获取单元,用于获取第一时刻下的第一待训练文本数据,其中,所述第一待训练文本数据包括第一文本属性特征以及第一文本语义特征;
所述获取单元,还用于通过待训练内容推荐模型的神经网络获取所述第一待训练文本数据所对应的第一文本质量预测值以及第一特征向量,其中,所述第一文本质量预测值与所述第一文本属性特征以及所述第一文本语义特征具有对应关系,第一特征向量与所述第一文本语义特征具有对应关系,所述第一文本质量预测值表示用户对所述第一待训练文本数据的感兴趣程度;
所述获取单元,还用于通过所述待训练内容推荐模型的神经网络获取第二时刻下的第二待训练文本数据所对应的第二文本质量预测值以及第二特征向量,其中,所述第二文本质量预测值与第一文本语义特征、第二文本属性特征以及第二文本语义特征具有对应关系,所述第二特征向量与所述第二文本语义特征具有对应关系,且所述第二文本属性特征以及所述第二文本语义特征均属于所述第二待训练文本数据,所述第二文本质量预测值表示用户对所述第二待训练文本数据的感兴趣程度;
所述获取单元,还用于根据所述第一文本质量预测值、所述第一特征向量、所述第二文本质量预测值以及所述第二特征向量,通过所述待训练内容推荐模型的行列式点过程DPP获取文本推荐概率;
训练单元,用于根据所述文本推荐概率,对所述待训练内容推荐模型进行训练,得到训练后的内容推荐模型。
9.根据权利要求8所述的内容推荐模型的训练装置,其特征在于,所述获取单元具体用于:
通过所述神经网络的嵌入层获取与所述第一文本属性特征对应的第一文本属性特征向量以及与所述第一文本语义特征对应的第一文本语义特征向量;
通过所述神经网络的门控循环单元GRU层获取所述第一文本语义特征向量对应的第一文本语义输出向量;
根据所述第一文本属性特征向量和所述第一文本语义输出向量,通过所述神经网络的全连接网络获取所述第一文本质量预测值;
通过所述神经网络的归一层对所述第一文本语义特征向量进行归一化处理,获取所述第一特征向量。
10.根据权利要求8或9所述的内容推荐模型的训练装置,其特征在于,所述训练装置还包括:
构造单元,用于根据所述第一文本质量预测值、所述第一特征向量、所述第二文本质量预测值以及所述第二特征向量构造所述DPP的核矩阵;
所述获取单元,还用于根据所述核矩阵获取对应的文本推荐概率。
11.一种内容推荐的装置,其特征在于,包括:
获取单元,用于获取文本集合,所述文本集合包括有N个待推荐文本,所述N为大于1的整数;
获取单元,用于通过内容推荐模型获取所述N个待推荐文本对应的文本推荐概率,所述内容推荐模型为权利要求1至3任意一项所述的内容推荐模型的训练方法训练得到的内容推荐模型;
确定单元,用于根据所述文本推荐概率,确定推荐文本子集合,所述推荐文本子集合包括有M个待推荐文本,所述M为大于或等于1的整数,且所述M小于所述N。
12.根据权利要求11所述的内容推荐的装置,其特征在于,所述装置还包括发送单元;
所述获取单元,还用于若获取到终端发送的文本信息请求指令,则根据所述文本请求指令获取所述推荐文本子集合;
所述发送单元,用于向所述终端发送所述推荐文本子集合,以使得所述终端展示所述推荐文本子集合中的待推荐文本。
13.根据权利要求12所述的内容推荐的装置,其特征在于,
所述确定单元,还用于根据所述推荐文本子集合中所述M个待推荐文本对应的文本推荐概率,确定所述M个待推荐文本的展示顺序;
所述发送单元,用于向所述终端发送确定好所述M个待推荐文本展示顺序的推荐文本子集合,以使得所述终端根据所述M个待推荐文本的展示顺序展示所述M个待推荐文本。
14.根据权利要求11至13任意一项所述的内容推荐的装置,其特征在于,所述获取单元具体用于:
获取交互对象,所述交互对象为与待推荐对象交互的对象;
获取所述交互对象对应的文本集合,所述文本集合包括所述交互对象浏览过的文本。
15.一种服务器,其特征在于,包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
获取第一时刻下的第一待训练文本数据,其中,所述第一待训练文本数据包括第一文本属性特征以及第一文本语义特征;
通过待训练内容推荐模型的神经网络获取所述第一待训练文本数据所对应的第一文本质量预测值以及第一特征向量,其中,所述第一文本质量预测值与所述第一文本属性特征以及所述第一文本语义特征具有对应关系,第一特征向量与所述第一文本语义特征具有对应关系,所述第一文本质量预测值表示用户对所述第一待训练文本数据的感兴趣程度;
通过所述待训练内容推荐模型的神经网络获取第二时刻下的第二待训练文本数据所对应的第二文本质量预测值以及第二特征向量,其中,所述第二文本质量预测值与第一文本语义特征、第二文本属性特征以及第二文本语义特征具有对应关系,所述第二特征向量与所述第二文本语义特征具有对应关系,且所述第二文本属性特征以及所述第二文本语义特征均属于所述第二待训练文本数据,所述第二文本质量预测值表示用户对所述第二待训练文本数据的感兴趣程度;
根据所述第一文本质量预测值、所述第一特征向量、所述第二文本质量预测值以及所述第二特征向量,通过所述待训练内容推荐模型的行列式点过程DPP获取文本推荐概率;
根据所述文本推荐概率,对所述待训练内容推荐模型进行训练,得到训练后的内容推荐模型;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
16.一种服务器,其特征在于,包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
获取文本集合,所述文本集合包括有N个待推荐文本,所述N为大于1的整数;
通过内容推荐模型获取所述N个待推荐文本对应的文本推荐概率,所述内容推荐模型为权利要求1至3任意一项所述的内容推荐模型的训练方法训练得到的内容推荐模型;
根据所述文本推荐概率,确定推荐文本子集合,所述推荐文本子集合包括有M个待推荐文本,所述M为大于或等于1的整数,且所述M小于所述N;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
17.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如权利要求1-3任一项所述的内容推荐模型的训练方法,或如权利要求4-7任一项所述的内容推荐方法。
CN201910711340.8A 2019-07-31 2019-07-31 内容推荐模型的训练方法、内容推荐的方法及相关装置 Active CN110413894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910711340.8A CN110413894B (zh) 2019-07-31 2019-07-31 内容推荐模型的训练方法、内容推荐的方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910711340.8A CN110413894B (zh) 2019-07-31 2019-07-31 内容推荐模型的训练方法、内容推荐的方法及相关装置

Publications (2)

Publication Number Publication Date
CN110413894A CN110413894A (zh) 2019-11-05
CN110413894B true CN110413894B (zh) 2023-09-26

Family

ID=68365350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910711340.8A Active CN110413894B (zh) 2019-07-31 2019-07-31 内容推荐模型的训练方法、内容推荐的方法及相关装置

Country Status (1)

Country Link
CN (1) CN110413894B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111010592B (zh) * 2019-12-19 2022-09-30 上海众源网络有限公司 一种视频推荐方法、装置、电子设备及存储介质
CN111277706B (zh) * 2020-01-06 2022-09-02 宇龙计算机通信科技(深圳)有限公司 一种应用推荐方法、装置、存储介质及电子设备
CN110930203A (zh) * 2020-02-17 2020-03-27 京东数字科技控股有限公司 信息推荐模型训练方法和装置、信息推荐方法和装置
CN111400615B (zh) * 2020-03-19 2023-03-24 腾讯科技(深圳)有限公司 一种资源推荐方法、装置、设备及存储介质
CN112668718B (zh) * 2021-01-19 2023-07-18 北京市商汤科技开发有限公司 神经网络训练方法、装置、电子设备以及存储介质
CN112861001B (zh) * 2021-02-18 2023-04-28 咪咕数字传媒有限公司 数字内容的推荐值生成方法、装置、电子设备及存储介质
CN113704452B (zh) * 2021-08-31 2023-08-25 平安银行股份有限公司 基于Bert模型的数据推荐方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197327A (zh) * 2018-02-07 2018-06-22 腾讯音乐娱乐(深圳)有限公司 歌曲推荐方法、装置及存储介质
CN109064294A (zh) * 2018-08-21 2018-12-21 重庆大学 一种融合时间因素、文本特征和相关性的药品推荐方法
CN110033342A (zh) * 2019-01-30 2019-07-19 阿里巴巴集团控股有限公司 一种推荐模型的训练方法及装置、一种推荐方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170228433A1 (en) * 2016-02-04 2017-08-10 Microsoft Technology Licensing, Llc Method and system for diverse set recommendations

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197327A (zh) * 2018-02-07 2018-06-22 腾讯音乐娱乐(深圳)有限公司 歌曲推荐方法、装置及存储介质
CN109064294A (zh) * 2018-08-21 2018-12-21 重庆大学 一种融合时间因素、文本特征和相关性的药品推荐方法
CN110033342A (zh) * 2019-01-30 2019-07-19 阿里巴巴集团控股有限公司 一种推荐模型的训练方法及装置、一种推荐方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于DPP的自动音符切分识别研究;张世超等;《电子产品世界》;第23卷(第05期);第28-30页 *

Also Published As

Publication number Publication date
CN110413894A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN110413894B (zh) 内容推荐模型的训练方法、内容推荐的方法及相关装置
CN112214685B (zh) 一种基于知识图谱的个性化推荐方法
Guo et al. Streaming session-based recommendation
CN110941740B (zh) 视频推荐方法及计算机可读存储介质
CN111538912B (zh) 内容推荐方法、装置、设备及可读存储介质
Singh et al. A novel deep neural-based music recommendation method considering user and song data
US20220122099A1 (en) Analytical precursor mining for personalized recommendation
Zhao et al. Interactive collaborative filtering
CN110543598B (zh) 信息推荐方法、装置及终端
TWI636416B (zh) 內容個人化之多相排序方法和系統
RU2725659C2 (ru) Способ и система для оценивания данных о взаимодействиях пользователь-элемент
CN104572734B (zh) 问题推荐方法、装置及系统
CN111859160B (zh) 一种基于图神经网络会话序列推荐方法及系统
Cleger-Tamayo et al. Top-N news recommendations in digital newspapers
CN110209931B (zh) 媒体内容的推送方法和装置、存储介质、电子装置
CN117836765A (zh) 基于多模态超图的点击预测
CN112749330B (zh) 信息推送方法、装置、计算机设备和存储介质
Jannach et al. Session-based recommender systems
CN109684548B (zh) 一种基于用户图谱的数据推荐方法
CN112115354B (zh) 信息处理方法、装置、服务器及存储介质
Huang et al. A Time‐Aware Hybrid Approach for Intelligent Recommendation Systems for Individual and Group Users
CN113836388A (zh) 信息推荐方法、装置、服务器及存储介质
Zeng et al. User Personalized Recommendation Algorithm Based on GRU Network Model in Social Networks
WO2022208446A1 (en) Server and method for generating digital content for users of a recommendation system
Quadrana Algorithms for sequence-aware recommender systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant