CN110347781A - 文章倒排方法、文章推荐方法、装置、设备及存储介质 - Google Patents
文章倒排方法、文章推荐方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110347781A CN110347781A CN201910651692.9A CN201910651692A CN110347781A CN 110347781 A CN110347781 A CN 110347781A CN 201910651692 A CN201910651692 A CN 201910651692A CN 110347781 A CN110347781 A CN 110347781A
- Authority
- CN
- China
- Prior art keywords
- article
- user
- beta
- parameter
- beta distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/316—Indexing structures
- G06F16/319—Inverted lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种文章倒排方法,包括:通过人工智能的机器学习技术构建每篇文章的贝塔分布,其中,所述贝塔分布中的第一参数表示在统计周期内文章被点击的次数,所述贝塔分布中的第二参数表示在统计周期内文章被展示但未被点击的次数;通过每篇文章的贝塔分布为对应的文章生成一个随机数,作为文章对应的收益值;根据每篇文章对应的收益值对文章进行倒排得到文章倒排结果。一方面可以保证优质文章持续曝光,另一方面可以持续探索低曝光文章,解决了推荐系统中的文章开发与探索合理均衡问题。本申请还公开了文章推荐方法、装置、设备以及介质。
Description
技术领域
本申请涉及内容推荐技术领域,尤其涉及一种基于人工智能的文章倒排方法、文章推荐方法、装置、设备及存储介质。
背景技术
如今很多平台例配置有推荐系统,基于推荐系统给用户推荐其可能感兴趣的内容,例如购物平台会根据用户的购物喜好在推荐页给用户展示其可能感兴趣的商品,再例如资讯平台会根据用户浏览资讯的喜好在推荐页给用户展示其可能感兴趣的资讯等。
而推荐系统的性能高低主要取决于文章倒排排序质量的好坏,所谓文章倒排是对推荐系统内所推荐的文章进行倒排排序,文章可以理解为是推荐系统所推荐的对象,例如购物平台推荐的文章就是商品的图文文章,资讯平台推荐的文章就是资讯类的图文文章或者图集文章等。
目前比较常用文章倒排方法是基于贪婪算法来实现,贪婪算法通过ε的值控制对开发和探索的权衡程度,ε值越小,表明探索越保守,会有更好的稳定性,ε值越大,表明开发越保守,会有更好的灵活性。但是很明显,现有这种方法需要手工设定超参数ε,主观性比较强,并且不同人总结出的规律差异较大,导致探索策略不合理,无法解决推荐系统中文章开发与探索合理均衡的问题。
发明内容
本申请提供了一种基于人工智能的文章倒排方法,其从文章的点击量、展示量出发建模文章的优劣,一方面保证了优质文章持续曝光,另一方面持续探索低曝光文章,解决了推荐系统中的文章开发与探索问题。本申请还提供了基于人工智能的文章推荐方法以及对应的装置、设备、介质、计算机程序产品。
本申请第一方面提供一种基于人工智能的文章倒排方法,所述方法包括:
构建每篇文章的贝塔分布,其中,所述贝塔分布中的第一参数表示在统计周期内文章被点击的次数,所述贝塔分布中的第二参数表示在统计周期内文章被展示但未被点击的次数;
通过每篇文章的贝塔分布为对应的文章生成一个随机数,作为文章对应的收益值;
根据每篇文章对应的收益值对文章进行倒排得到文章倒排结果。
本申请第二方面提供一种基于人工智能的文章推荐方法,所述方法包括:
获取登录用户的用户画像数据;
根据文章在当前统计周期内的被点击次数以及展示但未被点击次数确定文章的贝塔分布,并根据文章的贝塔分布生成随机数作为文章的收益值;
根据文章的收益值进行排序得到文章倒排结果;
根据所述文章倒排结果召回与所述登录用户的用户画像数据匹配的预设数量篇文章;
根据召回的文章进行文章推荐。
本申请第三方面提供一种基于人工智能的文章倒排装置,所述装置包括:
贝塔分布构建模块,用于构建每篇文章的贝塔分布,其中,所述贝塔分布中的第一参数表示在统计周期内文章被点击的次数,所述贝塔分布中的第二参数表示在统计周期内文章被展示但未被点击的次数;
文章收益确定模块,用于通过每篇文章的贝塔分布为对应的文章生成一个随机数,作为文章对应的收益值;
排序模块,用于根据每篇文章对应的收益值对文章进行倒排得到文章倒排结果。
本申请第四方面提供一种基于人工智能的文章推荐装置,所述装置包括:
获取模块,用于获取登录用户的用户画像数据;
文章收益值确定模块,用于根据文章在当前统计周期内的被点击次数以及展示但未被点击次数确定文章的贝塔分布,并根据文章的贝塔分布生成随机数作为文章的收益值;
排序模块,用于根据文章的收益值进行排序得到文章倒排结果;
召回模块,用于根据所述文章倒排结果召回与所述登录用户的用户画像数据匹配的预设数量篇文章;
推荐模块,用于根据召回的文章进行文章推荐。
本申请第五方面提供一种设备,所述设备包括:
处理器以及存储器;其中,
所述存储器用于存储计算机程序;
所述处理器用于根据所述计算机程序执行本申请第一方面所述的文章倒排方法或者第二方面所述的文章推荐方法。
本申请第六方面提供一种包括指令的计算机程序产品,当其在计算机上运行时,使得所述计算机执行上述第一方面所述的文章倒排方法或者第二方面所述的文章推荐方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例中提供了一种基于人工智能的文章倒排方法,具体地,针对每篇文章,根据其在统计周期内被点击的次数即第一参数,以及被展示但未被点击的次数即第二参数构建该文章的贝塔分布,由于采用了客观、准确的第一参数和第二参数,因此构建的贝塔分布更接近真实的收益分布,基于每篇文章的贝塔分布可以为对应文章生成一个随机数以用于估计文章对应的收益值,基于该收益值对文章进行倒排,一方面可以保证优质文章持续曝光,另一方面可以持续探索低曝光文章,解决了推荐系统中的文章开发与探索合理均衡问题。
进一步地,基于上述文章倒排方法,本申请还提供了一种基于人工智能的文章推荐方法,在基于收益值对文章进行倒排得到文章倒排结果后,根据文章倒排结果召回与登录用户的用户的用户画像数据匹配的预设数量篇文章,使得召回的文章在保证用户兴趣的前提下,大大提高了召回文章的质量,同时也保证了新文章的探索,基于该召回文章进行文章推荐,能够提升推荐系统的点击率、日活等关键指标。
附图说明
图1为本申请实施例中基于人工智能的文章倒排方法的场景架构图;
图2为本申请实施例中基于人工智能的文章倒排方法的流程图;
图3为本申请实施例中beta分布的概率密度函数分布图;
图4为本申请实施例中统计点击量和展示量的方法流程图;
图5为本申请实施例中基于人工智能的文章推荐方法的场景架构图;
图6为本申请实施例中基于人工智能的文章推荐方法的流程图;
图7A为本申请实施例中基于人工智能的文章倒排方法及推荐方法的应用场景示意图;
图7B为本申请实施例中终端显示推荐内容的界面示意图;
图7C为本申请实施例中基于人工智能的文章倒排方法及推荐方法的效果示意图;
图8为本申请实施例中基于人工智能的文章倒排装置的结构示意图;
图9为本申请实施例中基于人工智能的文章倒排装置的结构示意图;
图10为本申请实施例中基于人工智能的文章倒排装置的结构示意图;
图11为本申请实施例中基于人工智能的文章推荐装置的结构示意图;
图12为本申请实施例中基于人工智能的文章推荐装置的结构示意图;
图13为本申请实施例中基于人工智能的文章推荐装置的结构示意图;
图14为本申请实施例中基于人工智能的文章推荐装置的结构示意图;
图15为本申请实施例中基于人工智能的文章推荐装置的结构示意图;
图16为本申请实施例中服务器的一个结构示意图;
图17为本申请实施例中终端的一个结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于理解,首先对本申请涉及的一些技术名词进行解释。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。具体到本申请,即是通过人工智能构建文章的贝塔分布,并基于该贝塔分布估计文章的收益,从而实现基于文章的收益进行倒排排序,并基于排序结果实现文章推荐。
其中,人工智能技术主要包括计算机视觉、语音处理、自然语言处理以及机器学习/深度学习等几大方向。本申请主要是通过机器学习实现智能文章排序以及智能文章推荐。机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科,其专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习。具体到本申请,文章推荐实际可以等效为多臂老虎机问题,基于此可以通过强化学习使得展示文章的收益最大化。
上文所述的文章是指至少包括文字的作品。例如,文章可以是各种文体的纯文字作品,如诗歌、戏剧、小说以及论文等等。随着多媒体技术的发展,文章还可以是包括图片的图文文章,例如购物平台中描述商品详情的图文文章,也可以是包括视频的视频文章,例如资讯平台中通过视频和少量文字展示资讯的视频文章。
正排数据是指正排索引数据,所谓正排索引是基于由关键词查询文章的索引。其中,每篇文章均具有文章标识,其可以记作id,文章内容被表示为一系列关键词的集合list<item>,显然,上述关键词的集合用于表征文章的属性信息,基于此,正排数据包括文章标识与文章的属性信息之间的对应关系,其可以表示为Map<id,list<item>>。
针对基于贪婪算法实现文章倒排需要手工设定超参数ε,主观性强、探索策略不合理进而导致无法解决推荐系统中文章开发与探索合理均衡的问题,本申请从文字的点击率和展示率出发提供了一种基于人工智能的文章倒排方法,具体地,将文章倒排排序问题建模成多臂老虎机问题,针对每篇文章,采用客观的第一参数α和第二参数β构建该文章的贝塔分布(也即beta分布),通过beta分布为对应文章生成一个随机数作为文章对应的收益值,该收益值包括开发收益和探索收益,基于开发收益和探索收益对文章进行倒排,一方面可以保证优质文章持续曝光,另一方面可以持续探索低曝光文章,实现了文章开发与探索的均衡。
进一步地,基于上述文章倒排方法生成的文章倒排结果召回与用户画像数据匹配的文章,根据召回文章进行文章推荐,能够提升推荐系统的点击率、日活等关键指标。
可以理解,本申请实施例提供的文章倒排方法以及文章推荐方法可以应用于任意具有数据处理能力的处理设备。该处理设备根据用户需求可以是终端,也可以是服务器。处理设备可以是独立的,也可以是由多个设备组成的集群。
在具体实现时,上述文章倒排方法和文章推荐方法可以以计算机程序的形式存储于处理设备中,处理设备通过执行计算机程序实现上述文章倒排方法和文章推荐方法。需要说明的是,计算机程序可以是独立的,也可以是集成于其他计算机程序之上的功能模块、插件或者小程序等。
为了便于理解,下文均以处理设备为服务器作为示例,对本申请的文章倒排方法以及文章推荐方法分别进行介绍。
在实际应用时,本申请提供的基于人工智能的文章倒排方法可以但不限于应用于如图1所示的应用环境中。
如图1所示,服务器100从文章库200中获取文章,确定统计周期内文章被点击的次数作为第一参数α,以及统计周期内文章被展示但未被点击的次数作为第二参数β,然后针对每篇文章基于α和β构建该文章对应的beta分布,通过每篇文章的beta分布为对应的文章生成一个随机数作为该文章对应的收益值,基于文章的收益值对文章进行倒排得到文章倒排结果。
接下来,将从服务器的角度,结合具体实施例对本申请提供的基于人工智能的文章倒排方法的各个步骤进行详细说明。
参见图2所示的基于人工智能的文章倒排方法的流程图,该方法包括:
S201、构建每篇文章的beta分布。
可以理解,文章倒排排序问题实际可以建模成多臂老虎机问题,推荐系统中的一篇文章即为多臂老虎机问题中的一个臂,每篇文章均对应一个概率分布用以产生收益,为了使得收益最大化,首先需要基于文章的点击、展示来估算出每篇文章背后的概率分布p。
其中,每篇文章的概率分布p服从贝塔分布,该贝塔分布具有两个控制参数,即第一参数α和第二参数β,基于此,贝塔分布可以记作beta(α,β)。其中,α表示在统计周期内文章被点击的次数,β表示在统计周期内文章被展示但未被点击的次数。基于此,服务器可以针对每篇文章确定对应的参数α和β,然后基于参数α和β估算文章对应的概率分布。
在实际应用时,服务器维护有文章库,文章库中存储有海量文章,针对这些文章还建立有正排数据,该正排数据包括文章标识与文章的属性信息之间的对应关系,其中,属性信息包括文章的主题、作者、发布时间、关键词等信息中的任意一种或多种,通过正排数据进行索引可以提高文章查找效率。
进一步地,针对上述文章,还可以统计其在文章平台中历史表现,如文章的展示量以及点击量等指标,然后根据上述指标生成文章参考数据表,该文章参考数据表中包括文章标识与文章的点击量和展示量之间的对应关系,其可以为确定文章收益提供参考依据,进而为文章倒排排序提供帮助。
基于此,服务器提供了一种基于文章参考数据表和正排数据构建beta分布从而实现倒排排序的实现方式。具体地,服务器加载文章参考数据表,并加载正排数据,然后针对正排数据中每篇文章,服务器可以基于文章标识对正排数据和文章参考数据表进行匹配,根据匹配结果为第一参数和第二采纳数赋值,从而构建beta分布。下面将对匹配结果分别为匹配成功和匹配失败时,构建beta分布的具体实现方式进行详细说明。
当文章标识存在于所述文章参考数据表中,则表明匹配成功,在该情形下,服务器可以获取文章对应的点击量和展示,根据所获取的点击量为文章的beta中的第一参数α进行赋值,并根据所获取的展示量与点击量的差值为文章的beta分布中的第二参数β进行赋值,从而构建该文章对应的beta分布。
当文章标识不存在于所述文章参考数据表中,则表明匹配失败,在该情形下,服务器可以采用第一默认值和第二默认值分别为文章的beta分布中的第一参数α和第二参数β进行赋值。作为本申请的一个示例,第一参数α和第二参数β可以取值为1。
S202、通过每篇文章的贝塔分布为对应的文章生成一个随机数,作为文章对应的收益值。
在实际应用时,服务器基于汤普森采样(Thompson Sampling,TS)算法,利用每篇文章的beta分布为其生成随机数,也即文章的TS分数,用于表示该文章在当前环境下的收益值。
具体到本实施例,文章的平均收益(或者说期望收益)mean reward采用θ表征,针对TS算法,其假设θ的先验分布是Beta分布,而每个文章收益的分布是以θ为参数的Bernoulli分布,根据贝叶斯定律可知,在此种情形下,Beta分布的后验分布仍然是Beta分布。在时间步为t时可以通过如下方式更新θ的后验分布:
其中,k表征arm k,也即文章k,γt为选择一个arm观察到的收益,具体而言,若选择了arm k,得到reward 1就将相应的αk加1,βk保持不变,得到reward 0,则将相应的βk加1,αk保持不变。
通过TS算法,可以直接从后验的beta(αk,βk)分布中采样出随机数作为文章收益,与通过贪心算法基于样本均值估计收益相比,TS算法的随机过程更为真实,TS算法天然地同时完成开发和探索两个任务,实现了开发和探索的均衡。
图3示出了后验分布对应的beta分布的概率密度函数分布图,如图3所示,α和β控制着图形的形状和位置,图3中的曲线31至35分别示出了5组不同的参数组合下,beta分别的概率密度函数,具体地,如曲线32、35所示,α+β的值越大,分布曲线越窄,也即概率分布越集中,α/(α+β)的值是beta分布的均值,即期望值,如曲线32所示,期望值越大,beta分布的中心越接近1,否则越接近0。
S203、根据每篇文章对应的收益值对文章进行倒排得到文章倒排结果。
具体地,服务器根据每篇文章对应的收益值对文章进行排序,例如按照由高至低的顺序,可以得到文章倒排结果。由于确定文章对应的收益值时兼顾了开发和探索两个任务,因此,该文章倒排结果在开发和探索之间能够取得较好的均衡。
由上可知,本申请实施例提供了一种文章倒排方法,针对每篇文章,根据其在统计周期内被点击的次数即第一参数,以及被展示但未被点击的次数即第二参数构建该文章的贝塔分布,基于每篇文章的贝塔分布可以为对应文章生成一个随机数作为文章对应的收益值,基于该收益值对文章进行倒排,一方面可以保证优质文章持续曝光,另一方面可以持续探索低曝光文章,解决了推荐系统中的文章开发与探索合理均衡问题。
在图2所示实施例中,实现文章倒排的一个关键即在于文章参考数据表,文章参考数据表中的展示量和点击量直接影响收益值,而收益值又直接影响文章倒排结果,因此,展示量和点击量的真实性以及实时性直接影响着文章倒排结果的质量。为此,本申请还提供了一种点击量和展示量的统计方法及更新方法,下面进行详细说明。
图4示出了一种统计点击量和展示量的方法流程图,该方法包括:
S401:采集文章平台上的用户行为日志。
文章平台为用户展示文章时,针对感兴趣的文章,用户可以实施点击行为以查看文章,在有些情况下,用户还可以实施分享、评论等行为以实现互动交流等目的,针对不感兴趣的文章,用户可以选择不实施点击等行为进行查看或互动。
为了实现精准推送,文章平台一般会采集用户针对文章的上述行为生成用户行为日志,以便对用户进行分析。基于此,服务器可以采集文章平台上的用户行为日志,在实际应用时,可以预先设置采集周期,如可以设置为1h,服务器按照采集周期采集用户行为日志。
S402:针对每个采集周期采集的用户行为日志,剔除点击次数大于预设阈值的用户对应的用户行为日志得到每个采集周期的有效用户行为日志。
考虑到异常用户行为,如爬虫模拟真实用户点击、播放操作产生了大量行为,这些行为随机性较强,并不能反映用户真实喜好,为了保证数据准确性和有效性,可以将对应采集周期的用户行为日志剔除,得到每个采集周期的有效用户行为日志。
具体地,针对每个采集周期采集的用户行为日志,服务器可以统计该采集周期展示的文章以及每篇文章的点击量,然后剔除点击次数大于预设阈值的用户行为日志,保留剩余采集周期的用户行为日志。
S403:根据统计周期内所采集的有效用户行为日志,针对每个文章统计文章对应的点击量和展示量,并存储每个文章的文章标识与文章的点击量和展示量的对应关系。
在实际应用时,可以预先设置统计周期,该述统计周期包括多个采集周期,针对该统计周期内展示的每篇文章,服务器可以根据各个采集周期的有效用户行为日志确定各个采集周期文章的展示量和点击量,然后对各个采集周期的展示量进行累加得到文章对应的展示量,针对各个采集周期的点击量进行叠加得到文章的点击量,接着存储文章标识与点击量和展示量的对应关系。
进一步地,通过该方法用户能够较为方便地更新展示量和点击量。具体地,针对当前采集周期,每展示一篇文章,即对该文章对应的展示量加1,当实施点击行为时,则再对点击量加1。
考虑到视频场景中还存在自动播放行为,也即无需用户点击即会播放视频文章,为了保障数据有效性,还可以根据统计周期内所采集的有效用户行为日志,针对每个视频文章统计针对视频文章的点击总次数和视频文章在自动播放模式下的有效播放次数,将点击总次数和有效播放次数的总和确定为视频文章的有效点击量,并存储视频文章的文章标识与有效点击量和展示量的对应关系。
可以理解,文章倒排整个过程可以分为离线和在线两个部分,其中根据用户行为日志统计展示量和点击量可以离线完成,而基于离线计算好的文章展示量和点击量针对每篇文章进行beta分布的建模,估算当前每篇文章收益值,以及基于该收益值进行倒排排序可以在线完成。
以上为本申请实施例提供的基于人工智能的文章倒排方法,基于该方法本申请还提供了一种基于人工智能的文章推荐方法。该方法可以可以但不限于应用于如图5所示的应用环境中。
如图5所示,服务器100从用户画像库300中获取登录用户的用户画像数据,针对文章库200中的文章,根据其在当前统计周期内的被点击次数以及展示但未被点击次数确定文章的beta分布,并根据文章的beta分布生成随机数作为文章的收益值,根据文章的收益值进行排序得到文章倒排结果,然后服务器100根据文章倒排结果从文章库200中召回与登录用户的用户画像数据匹配的N篇文章,服务器100根据召回的文章进行文章推荐。
为了使得本申请的技术方案更加清楚、易于理解,下面将从服务器的角度,结合附图对本申请提供的基于人工智能的文章推荐方法的各个步骤进行详细说明。
参见图6所示的基于人工智能的文章推荐方法的流程图,该方法包括:
S601:获取登录用户的用户画像数据。
服务器维护有用户画像库,该用户画像库存储有当前文章平台用户的用户画像数据。针对新用户,其用户画像数据可以是基于用户注册信息生成的,例如,基于用户注册时填写的性别、年龄、兴趣等属性信息进行用户画像;针对老用户,其用户画像数据还可以是基于用户在文章平台上的历史行为数据确定的,具体地,服务器采集用户行为日志,根据用户行为日志中用户针对展示文章的点击行为进行用户标签、频道等不同维度的画像计算,对用户兴趣进行精准刻画。
在进行文章推荐时,为了推荐与用户兴趣相符的文章,服务器先从用户画像库中获取登录用户的用户画像数据。需要说明的是,用户画像数据是一个层次化的兴趣模型数据,例如在资讯平台应用中,用户画像数据首先包括一级频道兴趣,如娱乐、科技等等,在该一级频道兴趣之下还包括多种标签tag兴趣,例如“娱乐”频道下的“漫威”、“春晚”等Tag兴趣。
S602:根据文章在当前统计周期内的被点击次数以及展示但未被点击次数确定文章的beta分布,并根据文章的贝塔分布生成随机数作为文章的收益值。
其中,被点击次数和展示但未被点击次数是beta分布的两个控制参数,即第一参数α和第二参数β。针对文章库中的海量文章,为了方便管理,服务器维护有正排数据和文章参考数据表,其中,正排数据包括文章标识与文章的属性信息之间的对应关系,文章的属性信息具体包括文章的分类、主题、时长、作者、Tag等等,文章参考数据表包括文章标识与文章的点击量和展示量之间的对应关系。
当启动推荐服务时,服务器可以预先加载文章参考数据表以及正排数据,当所述正排数据中的文章标识存在于所述文章参考数据表中,获取文章对应的点击量和展示量,根据所获取的点击量为文章的beta分布中的第一参数进行赋值,并根据所获取的展示量与点击量的差值为文章的beta分布中的第二参数进行赋值,从而构建针对文章的beta分布。
在一些可能的实现方式中,当文章标识不存在于所述文章参考数据表中,例如文章为新投稿的文章时,则服务器可以采用第一默认值和第二默认值分别为文章的beta分布中的第一参数和第二参数进行赋值,得到针对文章的beta分布。进一步地,服务器可以在接下来的统计周期中,统计该文章的展示量和点击量,并将其文章标识与展示量和点击量的对应关系保存在文章参考数据表中,以便后续使用。
接着,服务器可以基于TS算法,通过beta分布生成一个随机数,即为该文章的TS分数,用以表示在当前环境下该文章的收益值。
S603:根据文章的收益值进行排序得到文章倒排结果。
在一种实现方式中,服务器可以对文章库中所有文章整体进行排序,即将所有文章按照其收益值高低进行排序,得到文章倒排结果。
在另一种实现方式中,服务器还可以根据正排数据中文章标签对文章进行聚类,针对每类文章,按照文章的收益值对文章进行降序排序得到每类文章各自对应的文章倒排结果,保存每类文章的文章标签以及每类文章的文章倒排结果之间的对应关系。
显然,通过先聚类再排序的方式,可以实现在为用户推荐文章时,直接基于用户兴趣标签确定对应的文章类别,基于文章标签与文章倒排结果之间的对应关系确定该文章类别对应的文章倒排结果,与整体排序得到的文章倒排结果相比,聚类方式大幅度降低了文章倒排结果中文章数量,服务器可以快速选择召回文章,并基于该召回文章进行文章推荐,提高了推荐效率。
需要说明的是,上述步骤S601与S602、S603的顺序可以根据实际需求而设置,例如,S601可以与S602并行执行,或者按照设定的顺序先后执行,S603在S602之后执行。
S604:根据所述文章倒排结果召回与所述登录用户的用户画像数据匹配的预设数量篇文章。
S605:根据召回的文章进行文章推荐。
当文章倒排结果是每类文章各自对应的文章倒排结果时,服务器可以采用并行召回的方式召回与所述登录用户的用户画像数据匹配的预设数量篇文章,以提高召回效率。
在具体实现时,服务器根据每类文章的文章倒排结果,从每类文章中召回与所述登录用户的用户画像数据匹配的预设数量篇文章,记录每类文章的文章标签与被召回的文章之间的对应关系,根据每类文章的文章标签与被召回的文章的对应关系进行文章推荐,然后服务器根据每类文章的文章标签与被召回的文章的对应关系进行文章推荐。
除了基于画像召回方式外,服务器还可以利用群体智慧进行协同召回,具体地,服务器根据所述登录用户的历史行为数据确定所述登录用户的相似用户对应的兴趣标签,根据所述文章倒排结果召回与所述兴趣标签匹配的预设数量篇文章。当然,服务器也可以根据所述登录用户的历史行为数据确定所述登录用户感兴趣文章的相似文章对应的文章标签,根据所述文章倒排结果召回与所述文章标签匹配的预设数量篇文章。
需要说明的时,在利用协同召回方式召回文章时,采用近期历史行为数据能够更为精准地确定登录用户的相似用户,以及登录用户感兴趣文章的相似文章,如此,基于相似用户的兴趣标签和相似文章对应的文章标签召回的文章与用户更相符。
针对上述两种召回方式,画像召回可解释性较强,而且比较符合用户的兴趣,而协同召回的个性化程度相对较高,可以根据实际需要选择相应的召回方式。例如,在没有近期历史行为数据的情况下,可以基于用户画像数据进行召回。
在文章平台中,除了根据用户画像或者基于协同召回方式主动为用户推荐文章,服务器还可以响应于用户的搜索请求,获取搜索关键词,基于所述文章倒排结果,召回与所述搜索关键词匹配的预设数量篇文章作为搜索结果提供给用户。
由上可知,本申请实施例提供了一种文章推荐方法,获取登录用户的用户画像数据,根据文章在当前统计周期内的被点击次数以及展示但未被点击次数确定文章的贝塔分布,并根据文章的贝塔分布生成随机数作为文章的收益值,根据文章的收益值进行排序得到文章倒排结果,根据文章倒排结果召回与登录用户的用户的用户画像数据匹配的预设数量篇文章,使得召回的文章在保证用户兴趣的前提下,大大提高了召回文章的质量,同时也保证了新文章的探索,基于该召回文章进行文章推荐,能够提升推荐系统的点击率、日活等关键指标。
为了方便理解,下面还将结合视频文章推荐这一场景对本申请的基于人工智能的文章倒排方法以及基于人工智能的文章推荐方法进行介绍。
参见图7A所示的文章倒排方法以及文章推荐方法的应用场景示意图,该场景中包括服务器100、视频文章库200、用户画像库300和终端400,其中,服务器100基于用户画像库300深入地挖掘用户兴趣,根据视频文章的展示率以及点击率从视频文章库中确定视频文章的收益值,将收益值排序靠前的视频文章作为优质内容,并召回与用户兴趣相匹配的优质内容发送给终端400,从而实现以个性化的方式将优质内容推荐给用户,具体请参见图7B,终端400接收服务器100推荐的个性化内容,当用户将标签栏切换为“推荐”标签701,从而触发查看推荐内容的操作时,终端400为用户显示服务器100推荐的内容702。
在文章进行倒排排序以及基于倒排结果进行文章推荐时,可以分为离线过程和在线过程两个部分。
离线过程主要包括根据用户行为日志统计展示量和点击量,考虑到视频文章场景中的爬虫行为和自动播放行为,还定义了日志的清洗规则和有效点击规则,在基于上述规则进行处理后,针对每个视频文章统计视频文章对应的点击量和展示量,并存储每个视频文章的文章标识与视频文章的点击量和展示量的对应关系,生成文章参考数据表。
日志的清洗规则是指从用户行为日志中剔除异常行为日志。在具体实现时,服务器100基于每个采集周期的用户行为日志,统计每个采集周期内的点击次数,将点击次数大于预设阈值的用户对应的用户行为日志剔除,得到每个采集周期的有效用户行为日志。在该示例中,采集周期可以为1小时,预设阈值可以为300次,也即1小时内视频有效点击超过100次的用户为不合法用户,其行为日志为异常行为日志。
有效点击规则是指将针对视频文章的点击总次数以及视频文章在自动播放模式下的有效播放次数总和作为有效点击量。其中,有效播放是指播放时长达到预设时长,或者播放时长占视频文章总时长的比例(即播放完成度)达到预设比例。作为一个示例,预设时长可以是20秒,预设比例可以是80%。
在该场景实施例中,服务器100以用户为单位,输出用户在最近1个小时内有效点击视频文章列表、展示视频文章列表,则可得到针对该用户展示的每篇视频文章的有效点击量、展示量。在合并所有用户的视频文章有效点击、展示信息,则可得到最近1个小时内的每篇视频文章的有效点击量、展示量。
例如,视频文章docα最近一个小时内只曝光给了用户1和用户2,针对用户1,docα有效点击a次,展示b次(a≤b),针对用户2,docα有效点击c次,展示d次(c≤d),则docα在最近1个小时内的有效点击为a+c,展示为b+d。
本申请实施例使用最近3天的数据进行合并,每次使用1小时的数据进行日志清洗、合并,故而合并最近72次可得到文章最近3天的有效点击量、展示量,基于此,服务器100可以生成文章参考数据表。作为一个示例,文章参考数据表可以逐行保存视频文章的文章标识、有效点击量、展示量和有效点击率之间的对应关系,例如视频文章3595c4d7c8d486ah在最近3天的有效点击量为7887227,展示量为78723462,有效点击率为0.100189。
离线过程中文章有效点击量、展示量以小时为单位进行更新,每次更新完成后即推送到数据机,传递给在线推荐服务使用。在线过程则包括数据加载,计算各视频文章的TS分数,基于TS分数进行倒排排序,然后基于用户画像数据和排序结果召回视频文章,基于召回的视频文章进行视频文章推荐。
推荐服务在启动时首先会加载离线计算好的有效点击、展示索引,即为每篇视频文章在最近3天的有效点击量、展示量。具体而言,以视频文章的id为key,以hash map的数据结构加载进推荐服务。紧接着,推荐服务会加载正排数据,正排包含了文章的全部属性信息,如视频文章的id、分类、时长、tag等文章相关的全部属性。针对每篇视频文章,查找上述hash map索引表得到每篇文章在最近3天的有效点击量、展示量,需要说明的是,未查找到结果时,默认赋值为1、1。
针对正排数据的每篇文章,服务器100确定每篇视频文章最近3天的有效点击量作为第一参数α,确定最近3天展示量与有效点击量差值即展示但未被有效点击次数作为第二参数β,根据α和β构建每篇视频文章的beta分布。然后通过beta分布生成一个随机数,即为该文章的TS分数,用以表示在当前环境下该视频文章的收益值。
针对正排数据中的所有视频文章,以tag为key,将相同tag下面的所有文章聚集在一起,即为该tag下面的所有文章集合,按照TS得分进行排序,即为按照当前环境下每篇文章的收益值进行排序,得到各类别文章倒排结果。
推荐引擎根据画像召回文章时,由于耗时的限制,无法召回全部文章,此时可根据本申请的文章倒排方法进行截断,在保证耗时的同时,优先召回了库中的优质文章,同时也保证了库中的低曝光文章的持续探索,从而提升了推荐引擎的各项关键指标。
可以理解,本申请实施例提出的一种基于汤普森采样的视频文章倒排方法,应用于视频推荐场景时,如图7C中所示,曲线71至73分别代表基于人工规则、贪婪算法和汤普森采样方法的点击率,基于曲线71和73可知,汤普森采样方法对比人工规则方法点击率从10.25%提升到11.28%,相对提升了10.05%,基于曲线72和73可知,对比贪婪算法点击率从10.52%提升到11.28%,相对提升了17.26%,视频整体播放量相对提升0.6%,周末高峰期能够提升将近3000万的播放量,带来了显著的应用效果。
以上为本申请实施例提供的基于人工智能的文章倒排方法以及文章推荐方法的一些具体实现方式,基于此,本申请实施例还提供了对应的装置,下面将从功能模块化的角度进行介绍。
参见图8所示的基于人工智能的文章倒排装置的结构示意图,该装置800包括:
贝塔分布构建模块810,用于构建每篇文章的贝塔分布,其中,所述贝塔分布中的第一参数α表示在统计周期内文章被点击的次数,所述贝塔分布中的第二参数β表示在统计周期内文章被展示但未被点击的次数;
文章收益确定模块820,用于通过每篇文章的贝塔分布为对应的文章生成一个随机数,作为文章对应的收益值;
排序模块830,用于根据每篇文章对应的收益值对文章进行倒排得到文章倒排结果。
可选的,参见图9,图9为本申请实施例提供的文章倒排装置的一个结构示意图,在图8所示结构的基础上,所述贝塔分布构建模块810具体包括:
加载子模块811,用于加载文章参考数据表并加载正排数据;其中,所述文章参考数据表包括文章标识与文章的点击量和展示量之间的对应关系;所述正排数据包括文章标识与文章的属性信息之间的对应关系;
构建子模块812,用于针对所述正排数据中每篇文章,根据所述文章参考数据表构建每篇文章的贝塔分布。
可选的,所述构建子模块812具体用于:
针对所述正排数据中每篇文章,当文章标识存在于所述文章参考数据表中,获取文章对应的点击量和展示量,根据所获取的点击量为文章的贝塔分布中的第一参数进行赋值,并根据所获取的展示量与点击量的差值为文章的贝塔分布中的第二参数进行赋值;
当文章标识不存在于所述文章参考数据表中,则采用第一默认值和第二默认值分别为文章的贝塔分布中的第一参数和第二参数进行赋值。
可选的,参见图10,图10为本申请实施例提供的文章倒排装置的一个结构示意图,在图8所示结构的基础上,所述装置还包括:
采集模块840,用于采集文章平台上的用户行为日志;
剔除模块850,用于针对每个采集周期采集的用户行为日志,剔除点击次数大于预设阈值的用户对应的用户行为日志得到每个采集周期的有效用户行为日志;
统计模块860,用于根据统计周期内所采集的有效用户行为日志,针对每个文章统计文章对应的点击量和展示量,并存储每个文章的文章标识与文章的点击量和展示量的对应关系;其中,所述统计周期包括多个采集周期。
可选的,所述统计模块860具体用于:
当文章为视频文章时,根据统计周期内所采集的有效用户行为日志,针对每个视频文章统计视频文章对应的有效点击量,所述有效点击量为针对视频文章的点击总次数和视频文章在自动播放模式下的有效播放次数总和。
本申请还提供了一种基于人工智能的文章推荐装置,参见图11所示的结构示意图,该装置1100包括:
获取模块1110,用于获取登录用户的用户画像数据;
文章收益值确定模块1120,用于根据文章在当前统计周期内的被点击次数以及展示但未被点击次数确定文章的贝塔分布,并根据文章的贝塔分布生成随机数作为文章的收益值;
排序模块1130,用于根据文章的收益值进行排序得到文章倒排结果;
召回模块1140,用于根据所述文章倒排结果召回与所述登录用户的用户画像数据匹配的预设数量篇文章;
推荐模块1150,用于根据召回的文章进行文章推荐。
可选的,参见图12,图12为本申请实施例提供的文章推荐装置的一个结构示意图,在图11所示结构的基础上,所述排序模块1130具体包括:
聚类子模块1131,用于根据正排数据中文章标签对文章进行聚类;
排序子模块1132,用于针对每类文章,按照文章的收益值对文章进行降序排序得到每类文章各自对应的文章倒排结果;
保存子模块1133,用于保存每类文章的文章标签以及每类文章的文章倒排结果之间的对应关系。
可选的,参见图13,图13为本申请实施例提供的文章推荐装置的一个结构示意图,在图12所示结构的基础上,所述召回模块1140具体包括:
召回子模块1141,用于根据每类文章的文章倒排结果,从每类文章中召回与所述登录用户的用户画像数据匹配的预设数量篇文章;
记录子模块1142,用于记录每类文章的文章标签与被召回的文章之间的对应关系;
则推荐模块1150具体用于:
根据每类文章的文章标签与被召回的文章的对应关系进行文章推荐。
可选的,参见图14,图14为本申请实施例提供的文章推荐装置的一个结构示意图,在图11所示结构的基础上,所述装置还包括:
挖掘模块1160,用于根据所述登录用户的历史行为数据确定所述登录用户的相似用户对应的兴趣标签,和/或,确定所述登录用户感兴趣文章的相似文章对应的文章标签;
所述召回模块1140还用于:
根据所述文章倒排结果召回与所述兴趣标签和/或所述文章标签匹配的预设数量篇文章。
需要说明的是,图14也可以是在图12、图13基础上还包括所述挖掘模块,本申请实施例对此不作限定。
可选的,所述获取模块1110还用于获取搜索关键词;
所述召回模块1140还用于基于所述文章倒排结果,召回与所述搜索关键词匹配的预设数量篇文章。
可选的,参见图15,图15为本申请实施例提供的文章推荐装置的一个结构示意图,在图11所示结构的基础上,所述文章收益值确定模块1120具体包括:
加载子模块1121,用于加载文章参考数据表,并加载正排数据;其中,所述参考数据表包括文章标识与文章的点击量和展示量之间的对应关系;所述正排数据包括文章标识与文章的属性信息之间的对应关系;
第一赋值子模块1122,用于当所述正排数据中的文章标识存在于所述文章参考数据表中,获取文章对应的点击量和展示量,根据所获取的点击量为文章的贝塔分布中的第一参数进行赋值,并根据所获取的展示量与点击量的差值为文章的贝塔分布中的第二参数进行赋值;
第二赋值子模块1122,用于当文章标识不存在于所述文章参考数据表中,则采用第一默认值和第二默认值分别为文章的贝塔分布中的第一参数和第二参数进行赋值。
基于本申请实施例提供的基于人工智能的文章倒排方法、基于人工智能的文章推荐方法的具体实现方式,本申请实施例还提供了用于实现上述方法的设备,该设备可以是服务器,也可以是终端,下面将从硬件实体化的角度分别进行介绍。
图16是本申请实施例提供的一种服务器结构示意图,该服务器1600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processingunits,CPU)1622(例如,一个或一个以上处理器)和存储器1632,一个或一个以上存储应用程序1642或数据1644的存储介质1630(例如一个或一个以上海量存储设备)。其中,存储器1632和存储介质1630可以是短暂存储或持久存储。存储在存储介质1630的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1622可以设置为与存储介质1630通信,在服务器1600上执行存储介质1630中的一系列指令操作。
服务器1600还可以包括一个或一个以上电源1626,一个或一个以上有线或无线网络接口1650,一个或一个以上输入输出接口1658,和/或,一个或一个以上操作系统1641,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图16所示的服务器结构。
其中,CPU 1622用于执行如下步骤:
构建每篇文章的贝塔分布,其中,所述贝塔分布中的第一参数α表示在统计周期内文章被点击的次数,所述贝塔分布中的第二参数β表示在统计周期内文章被展示但未被点击的次数;
通过每篇文章的贝塔分布为对应的文章生成一个随机数,作为文章对应的收益值;
根据每篇文章对应的收益值对文章进行倒排得到文章倒排结果。
可选的,CPU1622还用于执行本申请实施例提供的文章倒排方法的任意一种实现方式的步骤。
在另一些可能的实现方式中,服务器用于执行文章推荐方法,其CPU 1622用于执行如下步骤:
获取登录用户的用户画像数据;
根据文章在当前统计周期内的被点击次数以及展示但未被点击次数确定文章的贝塔分布,并根据文章的贝塔分布生成随机数作为文章的收益值;
根据文章的收益值进行排序得到文章倒排结果;
根据所述文章倒排结果召回与所述登录用户的用户画像数据匹配的预设数量篇文章;
根据召回的文章进行文章推荐。
可选的,CPU1622还用于执行本申请实施例提供的基于人工智能的文章推荐方法的任意一种实现方式的步骤。
本申请实施例还提供了一种终端设备,如图17所示,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端可以为包括台式机、笔记本电脑、平板电脑、手机、个人数字助理(英文全称:PersonalDigital Assistant,英文缩写:PDA)等任意终端设备,以终端为笔记本电脑为例:
图17示出的是与本申请实施例提供的终端相关的笔记本电脑的部分结构的框图。参考图17,笔记本电脑包括:射频(英文全称:Radio Frequency,英文缩写:RF)电路1710、存储器1720、输入单元1730、显示单元1740、传感器1750、音频电路1760、无线保真(英文全称:wireless fidelity,英文缩写:WiFi)模块1770、处理器1780、以及电源1790等部件。本领域技术人员可以理解,图17中示出的结构并不构成对笔记本电脑的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图17对笔记本电脑的各个构成部件进行具体的介绍:
RF电路1710可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1780处理;另外,将设计上行的数据发送给基站。通常,RF电路1710包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(英文全称:LowNoise Amplifier,英文缩写:LNA)、双工器等。存储器1720可用于存储软件程序以及模块,处理器1780通过运行存储在存储器1720的软件程序以及模块,从而执行笔记本电脑的各种功能应用以及数据处理。存储器1720可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据笔记本电脑的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1720可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1730可用于接收输入的数字或字符信息,以及产生与笔记本电脑的用户设置以及功能控制有关的键信号输入。具体地,输入单元1730可包括触控面板1731以及其他输入设备1732。触控面板1731,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1731上或在触控面板1731附近的操作),并根据预先设定的程式驱动相应的连接装置。可除了触控面板1731,输入单元1730还可以包括其他输入设备1732。具体地,其他输入设备1732可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1740可用于显示由用户输入的信息或提供给用户的信息以及笔记本电脑的各种菜单。显示单元1740可包括显示面板1741,可选的,可以采用液晶显示器(英文全称:Liquid Crystal Display,英文缩写:LCD)、有机发光二极管(英文全称:OrganicLight-Emitting Diode,英文缩写:OLED)等形式来配置显示面板1741。进一步的,触控面板1731可覆盖显示面板1741,当触控面板1731检测到在其上或附近的触摸操作后,传送给处理器1780以确定触摸事件的类型,随后处理器1780根据触摸事件的类型在显示面板1741上提供相应的视觉输出。虽然在图17中,触控面板1731与显示面板1741是作为两个独立的部件来实现笔记本电脑的输入和输入功能,但是在某些实施例中,可以将触控面板1731与显示面板1741集成而实现笔记本电脑的输入和输出功能。
笔记本电脑还可包括至少一种传感器1750,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1741的亮度。至于笔记本电脑还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路1760、扬声器1761,传声器1762可提供用户与笔记本电脑之间的音频接口。音频电路1760可将接收到的音频数据转换后的电信号,传输到扬声器1761,由扬声器1761转换为声音信号输出;另一方面,传声器1762将收集的声音信号转换为电信号,由音频电路1760接收后转换为音频数据,再将音频数据输出处理器1780处理后,经RF电路1710以发送给比如另一笔记本电脑,或者将音频数据输出至存储器1720以便进一步处理。
WiFi属于短距离无线传输技术,笔记本电脑通过WiFi模块1770可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图17示出了WiFi模块1770,但是可以理解的是,其并不属于笔记本电脑的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1780是笔记本电脑的控制中心,利用各种接口和线路连接整个笔记本电脑的各个部分,通过运行或执行存储在存储器1720内的软件程序和/或模块,以及调用存储在存储器1720内的数据,执行笔记本电脑的各种功能和处理数据,从而对笔记本电脑进行整体监控。可选的,处理器1780可包括一个或多个处理单元;优选的,处理器1780可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1780中。
笔记本电脑还包括给各个部件供电的电源1790(比如电池),优选的,电源可以通过电源管理系统与处理器1780逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,笔记本电脑还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本申请实施例中,该终端所包括的处理器1780还具有以下功能:
构建每篇文章的贝塔分布,其中,所述贝塔分布中的第一参数α表示在统计周期内文章被点击的次数,所述贝塔分布中的第二参数β表示在统计周期内文章被展示但未被点击的次数;
通过每篇文章的贝塔分布为对应的文章生成一个随机数,作为文章对应的收益值;
根据每篇文章对应的收益值对文章进行倒排得到文章倒排结果。
可选的,处理器1780还用于执行本申请实施例提供的基于人工智能的文章倒排方法任意一种实现方式的步骤。
本申请实施例还提供了一种用于文章推荐的终端,该终端具有与图17相同的结构,在该实现方式中,终端所包括的处理器1780还具有以下功能:
获取登录用户的用户画像数据;
根据文章在当前统计周期内的被点击次数以及展示但未被点击次数确定文章的贝塔分布,并根据文章的贝塔分布生成随机数作为文章的收益值;
根据文章的收益值进行排序得到文章倒排结果;
根据所述文章倒排结果召回与所述登录用户的用户画像数据匹配的预设数量篇文章;
根据召回的文章进行文章推荐。
可选的,处理器1780还用于执行本申请实施例提供的基于人工智能的文章推荐方法任意一种实现方式的步骤。
本申请实施例还提供一种计算机可读存储介质,用于存储程序代码,该程序代码用于执行前述各个实施例所述的一种基于人工智能的文章倒排方法或文章推荐方法中的任意一种实施方式。
本申请实施例还提供一种包括指令的计算机程序产品,当其在计算机上运行时,使得计算机执行前述各个实施例所述的一种基于人工智能的文章倒排方法或文章推荐方法中的任意一种实施方式。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文全称:Read-OnlyMemory,英文缩写:ROM)、随机存取存储器(英文全称:Random Access Memory,英文缩写:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (15)
1.一种基于人工智能的文章倒排方法,其特征在于,包括:
构建每篇文章的贝塔分布,其中,所述贝塔分布中的第一参数表示在统计周期内文章被点击的次数,所述贝塔分布中的第二参数表示在统计周期内文章被展示但未被点击的次数;
通过每篇文章的贝塔分布为对应的文章生成一个随机数,作为文章对应的收益值;
根据每篇文章对应的收益值对文章进行倒排得到文章倒排结果。
2.根据权利要求1所述方法,其特征在于,所述构建每篇文章的贝塔分布,包括:
加载文章参考数据表并加载正排数据;其中,所述文章参考数据表包括文章标识与文章的点击量和展示量之间的对应关系;所述正排数据包括文章标识与文章的属性信息之间的对应关系;
针对所述正排数据中每篇文章,根据所述文章参考数据表构建每篇文章的贝塔分布。
3.根据权利要求2所述方法,其特征在于,所述针对所述正排数据中每篇文章,根据所述文章参考数据表确定每篇文章的贝塔分布,包括:
针对所述正排数据中每篇文章,当文章标识存在于所述文章参考数据表中,获取文章对应的点击量和展示量,根据所获取的点击量为文章的贝塔分布中的第一参数进行赋值,并根据所获取的展示量与点击量的差值为文章的贝塔分布中的第二参数进行赋值;
当文章标识不存在于所述文章参考数据表中,则采用第一默认值和第二默认值分别为文章的贝塔分布中的第一参数和第二参数进行赋值。
4.根据权利要求1所述方法,其特征在于,所述方法还包括:
采集文章平台上的用户行为日志;
针对每个采集周期采集的用户行为日志,剔除点击次数大于预设阈值的用户对应的用户行为日志得到每个采集周期的有效用户行为日志;
根据统计周期内所采集的有效用户行为日志,针对每个文章统计文章对应的点击量和展示量,并存储每个文章的文章标识与文章的点击量和展示量的对应关系;其中,所述统计周期包括多个采集周期。
5.根据权利要求4所述方法,其特征在于,当文章为视频文章时,则所述根据统计周期内所采集的有效用户行为日志,针对每个文章统计文章对应的点击量,包括:
根据统计周期内所采集的有效用户行为日志,针对每个视频文章统计视频文章对应的有效点击量,所述有效点击量为针对视频文章的点击总次数和视频文章在自动播放模式下的有效播放次数总和。
6.一种基于人工智能的文章推荐方法,其特征在于,包括:
获取登录用户的用户画像数据;
根据文章在当前统计周期内的被点击次数以及展示但未被点击次数确定文章的贝塔分布,并根据文章的贝塔分布生成随机数作为文章的收益值;
根据文章的收益值进行排序得到文章倒排结果;
根据所述文章倒排结果召回与所述登录用户的用户画像数据匹配的预设数量篇文章;
根据召回的文章进行文章推荐。
7.根据权利要求6所述方法,其特征在于,所述根据文章的收益值进行排序得到文章倒排结果,包括:
根据正排数据中文章标签对文章进行聚类;
针对每类文章,按照文章的收益值对文章进行降序排序得到每类文章各自对应的文章倒排结果;
保存每类文章的文章标签以及每类文章的文章倒排结果之间的对应关系。
8.根据权利要求7所述方法,其特征在于,所述根据所述文章倒排结果召回与所述登录用户的用户画像数据匹配的预设数量篇文章,包括:
根据每类文章的文章倒排结果,从每类文章中召回与所述登录用户的用户画像数据匹配的预设数量篇文章;
记录每类文章的文章标签与被召回的文章之间的对应关系;
则所述根据召回的文章进行文章推荐,包括:
根据每类文章的文章标签与被召回的文章的对应关系进行文章推荐。
9.根据权利要求6至8中任一项所述方法,其特征在于,所述方法还包括:
根据所述登录用户的历史行为数据确定所述登录用户的相似用户对应的兴趣标签,和/或,确定所述登录用户感兴趣文章的相似文章对应的文章标签;
根据所述文章倒排结果召回与所述兴趣标签和/或所述文章标签匹配的预设数量篇文章。
10.根据权利要求6至8中任一项所述方法,其特征在于,所述方法还包括:
获取搜索关键词;
基于所述文章倒排结果,召回与所述搜索关键词匹配的预设数量篇文章。
11.根据权利要求6所述方法,其特征在于,所述根据文章在当前统计周期内的被点击次数以及展示但未被点击次数确定文章的贝塔分布,包括:
加载文章参考数据表,并加载正排数据;其中,所述参考数据表包括文章标识与文章的点击量和展示量之间的对应关系;所述正排数据包括文章标识与文章的属性信息之间的对应关系;
当所述正排数据中的文章标识存在于所述文章参考数据表中,获取文章对应的点击量和展示量,根据所获取的点击量为文章的贝塔分布中的第一参数进行赋值,并根据所获取的展示量与点击量的差值为文章的贝塔分布中的第二参数进行赋值;
当文章标识不存在于所述文章参考数据表中,则采用第一默认值和第二默认值分别为文章的贝塔分布中的第一参数和第二参数进行赋值。
12.一种基于人工智能的文章倒排装置,其特征在于,包括:
贝塔分布构建模块,用于构建每篇文章的贝塔分布,其中,所述贝塔分布中的第一参数表示在统计周期内文章被点击的次数,所述贝塔分布中的第二参数表示在统计周期内文章被展示但未被点击的次数;
文章收益确定模块,用于通过每篇文章的贝塔分布为对应的文章生成一个随机数,作为文章对应的收益值;
排序模块,用于根据每篇文章对应的收益值对文章进行倒排得到文章倒排结果。
13.一种基于人工智能的文章推荐装置,其特征在于,包括:
获取模块,用于获取登录用户的用户画像数据;
文章收益值确定模块,用于根据文章在当前统计周期内的被点击次数以及展示但未被点击次数确定文章的贝塔分布,并根据文章的贝塔分布生成随机数作为文章的收益值;
排序模块,用于根据文章的收益值进行排序得到文章倒排结果;
召回模块,用于根据所述文章倒排结果召回与所述登录用户的用户画像数据匹配的预设数量篇文章;
推荐模块,用于根据召回的文章进行文章推荐。
14.一种设备,其特征在于,所述设备包括:
处理器以及存储器;其中,
所述存储器用于存储计算机程序;
所述处理器用于根据所述计算机程序执行权利要求1至11任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行权利要求1至11任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910651692.9A CN110347781B (zh) | 2019-07-18 | 2019-07-18 | 文章倒排方法、文章推荐方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910651692.9A CN110347781B (zh) | 2019-07-18 | 2019-07-18 | 文章倒排方法、文章推荐方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110347781A true CN110347781A (zh) | 2019-10-18 |
CN110347781B CN110347781B (zh) | 2023-10-20 |
Family
ID=68179212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910651692.9A Active CN110347781B (zh) | 2019-07-18 | 2019-07-18 | 文章倒排方法、文章推荐方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110347781B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112231555A (zh) * | 2020-10-12 | 2021-01-15 | 中国平安人寿保险股份有限公司 | 基于用户画像标签的召回方法、装置、设备及存储介质 |
CN112825089A (zh) * | 2019-11-21 | 2021-05-21 | 腾讯科技(北京)有限公司 | 文章推荐方法、装置、设备及存储介质 |
CN112948678A (zh) * | 2021-02-26 | 2021-06-11 | 北京房江湖科技有限公司 | 文章召回方法及系统、文章推荐方法及系统 |
WO2021233015A1 (zh) * | 2020-05-19 | 2021-11-25 | 腾讯科技(深圳)有限公司 | 一种信息处理方法、装置及计算机可读存储介质 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140344035A1 (en) * | 2013-05-17 | 2014-11-20 | Datasphere Technologies, Inc. | Managing content recommendations for customers |
CN105808537A (zh) * | 2014-12-29 | 2016-07-27 | Tcl集团股份有限公司 | 一种基于Storm的实时推荐方法及系统 |
US20160350802A1 (en) * | 2015-05-27 | 2016-12-01 | Staples, Inc. | Promotion Selection for Online Customers Using Bayesian Bandits |
US20170098236A1 (en) * | 2015-10-02 | 2017-04-06 | Yahoo! Inc. | Exploration of real-time advertising decisions |
US20170308609A1 (en) * | 2016-04-21 | 2017-10-26 | Microsoft Technology Licensing, Llc | Multi-result ranking exploration |
CN107423430A (zh) * | 2017-08-03 | 2017-12-01 | 北京京东尚科信息技术有限公司 | 数据处理方法、装置和计算机可读存储介质 |
CN107451217A (zh) * | 2017-07-17 | 2017-12-08 | 广州特道信息科技有限公司 | 资讯推荐方法及装置 |
CN107493467A (zh) * | 2017-07-06 | 2017-12-19 | 北京奇艺世纪科技有限公司 | 一种视频质量评估方法及装置 |
CN108334575A (zh) * | 2018-01-23 | 2018-07-27 | 北京三快在线科技有限公司 | 一种推荐结果排序修正方法及装置,电子设备 |
CN109189892A (zh) * | 2018-09-17 | 2019-01-11 | 北京点网聚科技有限公司 | 一种基于文章评论的推荐方法及装置 |
CN109241410A (zh) * | 2018-08-15 | 2019-01-18 | 腾讯科技(深圳)有限公司 | 一种文章推荐方法和装置 |
CN109767267A (zh) * | 2018-12-29 | 2019-05-17 | 微梦创科网络科技(中国)有限公司 | 一种用于广告投放的目标用户推荐方法及装置 |
CN109815368A (zh) * | 2018-12-10 | 2019-05-28 | 百度在线网络技术(北京)有限公司 | 资源推荐方法、装置、设备及计算机可读存储介质 |
CN109903072A (zh) * | 2018-12-25 | 2019-06-18 | 阿里巴巴集团控股有限公司 | 一种返利数据处理方法、装置及设备 |
CN110019290A (zh) * | 2017-08-31 | 2019-07-16 | 腾讯科技(深圳)有限公司 | 基于统计先验的推荐方法及装置 |
-
2019
- 2019-07-18 CN CN201910651692.9A patent/CN110347781B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140344035A1 (en) * | 2013-05-17 | 2014-11-20 | Datasphere Technologies, Inc. | Managing content recommendations for customers |
CN105808537A (zh) * | 2014-12-29 | 2016-07-27 | Tcl集团股份有限公司 | 一种基于Storm的实时推荐方法及系统 |
US20160350802A1 (en) * | 2015-05-27 | 2016-12-01 | Staples, Inc. | Promotion Selection for Online Customers Using Bayesian Bandits |
US20170098236A1 (en) * | 2015-10-02 | 2017-04-06 | Yahoo! Inc. | Exploration of real-time advertising decisions |
US20170308609A1 (en) * | 2016-04-21 | 2017-10-26 | Microsoft Technology Licensing, Llc | Multi-result ranking exploration |
CN107493467A (zh) * | 2017-07-06 | 2017-12-19 | 北京奇艺世纪科技有限公司 | 一种视频质量评估方法及装置 |
CN107451217A (zh) * | 2017-07-17 | 2017-12-08 | 广州特道信息科技有限公司 | 资讯推荐方法及装置 |
CN107423430A (zh) * | 2017-08-03 | 2017-12-01 | 北京京东尚科信息技术有限公司 | 数据处理方法、装置和计算机可读存储介质 |
CN110019290A (zh) * | 2017-08-31 | 2019-07-16 | 腾讯科技(深圳)有限公司 | 基于统计先验的推荐方法及装置 |
CN108334575A (zh) * | 2018-01-23 | 2018-07-27 | 北京三快在线科技有限公司 | 一种推荐结果排序修正方法及装置,电子设备 |
CN109241410A (zh) * | 2018-08-15 | 2019-01-18 | 腾讯科技(深圳)有限公司 | 一种文章推荐方法和装置 |
CN109189892A (zh) * | 2018-09-17 | 2019-01-11 | 北京点网聚科技有限公司 | 一种基于文章评论的推荐方法及装置 |
CN109815368A (zh) * | 2018-12-10 | 2019-05-28 | 百度在线网络技术(北京)有限公司 | 资源推荐方法、装置、设备及计算机可读存储介质 |
CN109903072A (zh) * | 2018-12-25 | 2019-06-18 | 阿里巴巴集团控股有限公司 | 一种返利数据处理方法、装置及设备 |
CN109767267A (zh) * | 2018-12-29 | 2019-05-17 | 微梦创科网络科技(中国)有限公司 | 一种用于广告投放的目标用户推荐方法及装置 |
Non-Patent Citations (6)
Title |
---|
DANIEL J. RUSSO 等: "A Tutorial on Thompson Sampling", vol. 11, no. 1, pages 1 - 96 * |
刘攀 等: "个性化推荐系统评估", 南昌大学学报(理科版), vol. 40, no. 02, pages 143 - 150 * |
王素琴 等: "针对新用户冷启动问题的改进Epsilon-greedy算法" * |
王素琴 等: "针对新用户冷启动问题的改进Epsilon-greedy算法", 《计算机工程》, vol. 44, no. 11, 15 November 2018 (2018-11-15), pages 172 - 177 * |
王素琴 等: "针对新用户冷启动问题的改进Epsilon-greedy算法", vol. 44, no. 11, pages 172 - 177 * |
覃含章: "什么是汤普森采样(Thompson sampling)?", pages 1 - 6 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112825089A (zh) * | 2019-11-21 | 2021-05-21 | 腾讯科技(北京)有限公司 | 文章推荐方法、装置、设备及存储介质 |
CN112825089B (zh) * | 2019-11-21 | 2024-03-15 | 深圳市雅阅科技有限公司 | 文章推荐方法、装置、设备及存储介质 |
WO2021233015A1 (zh) * | 2020-05-19 | 2021-11-25 | 腾讯科技(深圳)有限公司 | 一种信息处理方法、装置及计算机可读存储介质 |
CN112231555A (zh) * | 2020-10-12 | 2021-01-15 | 中国平安人寿保险股份有限公司 | 基于用户画像标签的召回方法、装置、设备及存储介质 |
CN112231555B (zh) * | 2020-10-12 | 2023-09-15 | 中国平安人寿保险股份有限公司 | 基于用户画像标签的召回方法、装置、设备及存储介质 |
CN112948678A (zh) * | 2021-02-26 | 2021-06-11 | 北京房江湖科技有限公司 | 文章召回方法及系统、文章推荐方法及系统 |
CN112948678B (zh) * | 2021-02-26 | 2023-07-21 | 北京房江湖科技有限公司 | 文章召回方法及系统、文章推荐方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110347781B (zh) | 2023-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11714816B2 (en) | Information search method and apparatus, device and storage medium | |
CN110543598B (zh) | 信息推荐方法、装置及终端 | |
TWI636416B (zh) | 內容個人化之多相排序方法和系統 | |
CN110276075A (zh) | 模型训练方法、命名实体识别方法、装置、设备及介质 | |
CN110347781A (zh) | 文章倒排方法、文章推荐方法、装置、设备及存储介质 | |
CN109241431A (zh) | 一种资源推荐方法和装置 | |
TWI533246B (zh) | 使用者未知興趣之探索方法與系統 | |
CN109002490A (zh) | 用户画像生成方法、装置、服务器及存储介质 | |
CN111931501B (zh) | 一种基于人工智能的文本挖掘方法、相关装置及设备 | |
CN110458360B (zh) | 热门资源的预测方法、装置、设备及存储介质 | |
CN108280458A (zh) | 群体关系类型识别方法及装置 | |
US20160350658A1 (en) | Viewport-based implicit feedback | |
CN105718184A (zh) | 一种数据处理方法和装置 | |
CN108228720B (zh) | 识别目标文字内容和原图相关性的方法、系统、装置、终端、及存储介质 | |
CN109783539A (zh) | 用户挖掘及其模型构建方法、装置及计算机设备 | |
CN112104642B (zh) | 一种异常账号确定方法和相关装置 | |
CN112052387B (zh) | 一种内容推荐方法、装置和计算机可读存储介质 | |
CN110012060A (zh) | 移动终端的信息推送方法、装置、存储介质和服务器 | |
CN111143697B (zh) | 一种内容推荐的方法以及相关装置 | |
CN111914113A (zh) | 一种图像检索的方法以及相关装置 | |
CN111368171B (zh) | 一种关键词推荐的方法、相关装置以及存储介质 | |
CN110209810A (zh) | 相似文本识别方法以及装置 | |
CN110119477A (zh) | 一种信息推送方法、装置和存储介质 | |
CN108647064A (zh) | 操作路径导航的方法及装置 | |
CN112749330B (zh) | 信息推送方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20221223 Address after: 1402, Floor 14, Block A, Haina Baichuan Headquarters Building, No. 6, Baoxing Road, Haibin Community, Xin'an Street, Bao'an District, Shenzhen, Guangdong 518000 Applicant after: Shenzhen Yayue Technology Co.,Ltd. Address before: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors Applicant before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |