CN109492157B - 基于rnn、注意力机制的新闻推荐方法及主题表征方法 - Google Patents

基于rnn、注意力机制的新闻推荐方法及主题表征方法 Download PDF

Info

Publication number
CN109492157B
CN109492157B CN201811245204.6A CN201811245204A CN109492157B CN 109492157 B CN109492157 B CN 109492157B CN 201811245204 A CN201811245204 A CN 201811245204A CN 109492157 B CN109492157 B CN 109492157B
Authority
CN
China
Prior art keywords
news
vector
topic
user
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811245204.6A
Other languages
English (en)
Other versions
CN109492157A (zh
Inventor
缑锦
李威
王成
张璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN201811245204.6A priority Critical patent/CN109492157B/zh
Publication of CN109492157A publication Critical patent/CN109492157A/zh
Application granted granted Critical
Publication of CN109492157B publication Critical patent/CN109492157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明涉及一种基于RNN、注意力机制的新闻推荐方法及主题表征方法，将传统的主题模型与神经网络词向量结合，可有效提升新闻内容文本语义提取与表示的准确性；利用RNN网络刻画用户新闻浏览的序列性特征，可极大提升个性化新闻推荐内容的时效性；利用注意力机制区分不同新闻对推荐预测的影响力权重，可捕捉到用户兴趣迁移，提升个性化新闻推荐内容准确性与新颖性；最后，结合DBSCAN密度聚类算法的注意力机制，通过密度聚类对新旧话题进行启发式发现，利用主题聚类结果动态计算新闻的影响力权重，提升推荐话题的新颖性。

Description

基于RNN、注意力机制的新闻推荐方法及主题表征方法
技术领域
本发明属于数据挖掘和神经网络的技术领域，具体涉及一种基于RNN、注意力机制的新闻推荐方法及主题表征方法。
背景技术
随着信息技术和互联网的发展，人们逐渐从信息匮乏的时代走入了信息过载的时代。作为大众获取各类信息的主要途径，各色新闻网站每天充斥着海量的信息。如何去筛选和过滤新闻内容，如何抓住不同用户的个性化需求，如何能跟进用户阅读兴趣的迁移，如何为用户提供新颖、准确、时效性强的个性化推荐已经成为新闻网站面对的主要挑战。在这种需求背景下，个性化新闻推荐系统应运而生。
目前新闻推荐系统主要有四种推荐策略：
第一种是基于热门推荐。这是最常见的推荐策略。系统会设置一个固定时间窗口，然后统计过去时间窗口长度的时间内所有新闻的点击量，对点击量进行排序，最后将排序结果推荐给用户。
热门推荐策略，优点：可以及时推荐全网热度高的新闻，实时性强，实现简单，推荐的新闻比较主流。缺点：无法区分不同用户的个性化阅读兴趣的需求，推荐的内容需要用户自行过滤，无法刻画用户的兴趣迁移。
第二种是基于协同过滤算法推荐。基于协同过滤算法是一种使用非常广泛的推荐算法，其主要又可以细分为：(1)基于用户的协同过滤推荐(UserCF)，根据用户的浏览行为数据，找到和他兴趣相似的其他用户，找到其他用户喜欢的新闻中该用户没有浏览过的推荐给目标用户；(2)基于物品的协同过滤推荐(ItemCF)，先通过两个新闻被用户同时浏览的行为统计，计算新闻之间的相似度，给用户推荐和他之前浏览的新闻相似度较高的新闻。
基于用户的协同过滤推荐算法，优点：在数据集比较完善，内容比较丰富的情况下，不用对新闻内容具体挖掘，就能根据用户之间隐含的兴趣相关性，来做到较为准确的推荐。缺点：用户之间还是有明显的差异性的，当系统内用户数量较少时，很难找到与该用户特别相近的用户。而随着用户数量增多，维护用户关联相似矩阵的维护成本又很高。
基于物品的协同过滤推荐算法，优点：新闻之间的相似性基本稳定，可以进行离线计算，可以根据用户的浏览情况及时地更新推荐列表。缺点：没有考虑用户之间兴趣的差异性，容易重复推荐太多相似的新闻，无法捕捉用户的兴趣迁移。随着新闻数量增多，维护新闻相似矩阵的成本也很高。
第三种是隐语义模型LFM(latent factor model)。不同于协同过滤直接寻找相似用户和相似新闻，LFM是通过隐含特征联系用户兴趣和新闻，对于某个用户，首先要得到他的兴趣分类，然后从新闻分类中挑选他可能喜欢的新闻。具体的步骤为：采用了基于用户阅读行为统计的自动聚类，以此得到各新闻所属的分类；然后根据用户浏览各类别新闻的频率来计算用户感兴趣的新闻和感兴趣的程度。最后根据用户喜欢的分类，给他推荐可能喜欢的新闻。
第四种是基于内容的推荐算法。不同于以上算法只考虑到用户和用户的浏览行为。基于内容的推荐算法，可以根据用户过去浏览的新闻的内容，构建“用户画像”，最后根据“用户画像”生成新闻推荐列表。基于内容的推荐系统具体过程一般包括以下三步：
(1)物品表示(Item Representation)：为每个item抽取出一些特征(也就是item的content)来表示此item；
(2)特征学习(Profile Learning)：利用一个用户过去喜欢(及不喜欢)的item的特征数据，来学习出此用户的喜好特征(profile)；
(3)生成推荐列表(Recommendation Generation)：通过比较上一步得到的用户profile与候选item的特征，为此用户推荐一组相关性最大的item。
优点：(1)用户之间独立性强。由于每个用户的喜好特征都是根据他自身的阅读兴趣获取的，与他人的行为无关，因此不管别人对某些新闻如何作弊(比如利用多个账号把某个新闻排名刷上去)都不会影响到用户自身。(2)可解释性好。由于刻画出“用户画像”，因此很容易解释出因为用户哪个喜好来推荐的新闻了。(3)新的新闻可以立刻得到推荐。只要一条新的新闻加入新闻语料库，稍微对其进行一下关键词提取，就可以马上被推荐。而不用管是否有浏览记录。
缺点：(1)新闻内容的特征抽取一般很难。提取的关键词也不一定能完全准确表达出每篇新闻的语义。(2)无法挖掘出用户的潜在兴趣。既然基于内容的推荐只依赖于用户过去对某些新闻的喜好，它产生的推荐也都会和用户过去喜欢的新闻相似。如果一个人以前只看与推荐有关的新闻，那推荐系统只会给他推荐更多与推荐相关的文章，它不会知道用户可能的其他新闻。(3)无法为新用户产生推荐。新用户没有喜好历史，自然无法刻画他的“用户画像”，所以也就无法为他产生推荐了。
基于内容的新闻推荐系统的过程如下：
(1)利用TF-IDF(term frequency-inverse document frequency)计算词的权重，然后对于每篇文章提取其中的词权重较高的作为其每篇新闻的关键词特征。
其中TF-IDF权重计算公式为：
Figure BDA0001840361190000031
其中TF指的是某一个给定的词语tk在该文件dj中出现的次数，IDF的主要思想是：如果包含词条tk的文档越少,IDF越大，则说明词条具有很好的类别区分能力。某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到。
(2)利用提取到的关键词，映射成每篇新闻的特征向量，利用相似度算法(如：余弦相似度)，计算新闻之间相似性，然后根据新闻之间间的相似性，生成该用户的新闻推荐列表。
(3)兴趣衰减机制。用户的兴趣是会随着时间的推移逐渐发生变化的，如果一直推荐相似度高的新闻，无法保证新闻推荐的新颖性，因此要采用兴趣迁移策略来模拟用户阅读兴趣的动态变化。可以让用户的关键词表中的每个关键词喜好程度都按一定周期保持衰减，比如用指数衰减的形式来进行衰减，即引入λ系数，每隔一段时间，对所有用户的所有关键词喜好程度进行*λ的衰减。
虽然引入时间衰减来体现用户兴趣迁移可以模拟部分用户阅读兴趣的动态变化，但只是简单的引入时间维度无法真正表示出用户兴趣的真正变化，使得推荐的新颖性、内容的多样性仍然不太好。
从上面的分析可以看出个性化新闻推荐系统主要需要解决以下三个问题：
(1)目前基于内容的新闻推荐方法，大多是基于内容的关键词或者主题抽取，由于传统主题模型抽取性能有限(容易抽取一些公共的没有太大意义的主题)，表达新闻内容语义的能力较弱，使得推荐的新闻内容质量大打折扣。
(2)目前的推荐算法较少考虑用户阅读新闻的时序性特征，忽视了用户阅读新闻的先后顺序对推荐的时效性、新颖性的影响。
(3)目前推荐系统大多会大量推荐用户经常看的新闻话题，却忽视了新话题对推荐的影响，很难发现用户兴趣迁移，导致推荐的结果总是围绕几个老旧话题，无法发现用户潜在感兴趣的话题。
近些年来，深度学习已经成为了一个非常火的话题，在计算机视觉、自然语言处理等方面已经成为了主流的研究方法。深度学习的本质是一种深度人工神经网络，通过模仿人类大脑的神经元结构，构建学习模型。常见的神经网络模型有：BP神经网络、卷积神经网络、循环神经网络、残差网络等等。传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的，因此无法刻画序列性特征。循环神经网络(Recurrent Neural Network)是一种对序列数据建模的神经网络，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行“记忆”并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。在新闻推荐的应用场景中，用户常常会每天都阅读某些话题点，并关心着该话题的持续发展。对于某些话题，用户则会阶段性关注。传统的内容推荐算法很少考虑其内容的序列性特征，因此会导致某些同类话题会大量重复推荐，“忘记”了用户曾经的关注点，无法捕捉远距离的兴趣。而循环神经网络的网络结构可以很好描述用户阅读内容的序列特征，“记忆”过往的阅读兴趣，因此本发明的发明点之一是采用基于循环神经网络的序列型推荐预测模型。
注意力机制这两年被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中，是深度学习技术中最值得关注与深入了解的核心技术之一。注意力机制借鉴人类的视觉注意力机制，视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，也就是一般所说的注意力焦点，而后对这一区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他无用信息。这是人类利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段，是人类在长期进化中形成的一种生存机制，人类视觉注意力机制极大地提高了视觉信息处理的效率与准确性。在个性化新闻推荐系统中，用户浏览的新闻数量非常大，不同的新闻对于推荐预测的重要性不一样，本发明还采用注意力机制对不同新闻进行注意力权重计算，降低不重要的新闻对推荐的影响，提升推荐的准确性。
发明内容
本发明的目的在于克服现有技术的不足，结合词嵌入、主题模型、密度聚类、神经网络和注意力机制，提供一种新闻主题表征方法、一种基于RNN的序列化新闻推荐方法、一种基于注意力机制的新闻推荐方法、一种基于DBSCAN和注意力机制的新闻推荐方法及一种基于DBSCAN和注意力机制的循环神经网络序列化新闻推荐方法。
为了实现上述目的，本发明的技术方案是：
一方面，本发明一种新闻主题表征方法，基于TF-IDF、主题模型、神经词嵌入的新闻内容的语义提取、主题表征向量计算的方法，用于提升新闻文档语义提取和表示的准确性，包括：利用关键词算法对新闻标题进行关键词提取，利用主题模型对新闻正文文本进行主题建模，然后对主题模型得到的主题分布和词分布分别进行采样，最后利用词向量对采样的关键词和主题词进行词向量化，具体步骤如下：
步骤1.1，利用TF-IDF(Term Frequency-Inverse Document Frequency；词频-逆文档频率)算法计算出每篇新闻标题中各个词的权重；
步骤1.2，利用LDA(Latent Dirichlet Allocation；隐含狄利克雷分布)主题模型对新闻正文文本进行主题建模，训练获得每篇新闻正文的主题分布θ和词分布
Figure BDA0001840361190000051
步骤1.3，对于每篇新闻正文，采样其主题分布θ，选取概率值由大到小的前K个主题作为新闻正文的主题表示T＝{t1,t2,...,ti,...,tk}；
步骤1.4，对于每篇新闻标题，选取标题中各词权重最高的2个词作为其关键词；
步骤1.5，对于每篇新闻的每个主题ti，根据其词分布
Figure BDA0001840361190000052
采样出词概率最高的前M个单词Wti＝{wi,1,wi,2,...,wi,M}，加上该篇新闻标题的2个关键词，将这K*M+2个单词转换为词向量表征集W＝{w1,w2,...,wi,...,wK*M+2}；
步骤1.6，对于第i篇新闻的词向量表征集Wi，分别以词分布和主题分布的概率值作为其权重，依次对每个主题的各个单词、每篇新闻的各个主题进行加权平均，最终将这K*M+2个词向量映射到一个词向量Embeddingi中，将该词向量作为该篇新闻的主题表征；
步骤1.7，遍历整个新闻语料集，循环执行步骤1.3到步骤1.6，可得到语料集中每篇新闻的主题表征集合D＝{d1,d2,...,di,...,dN}；其中，N为用户浏览新闻语料库中新闻的数量。
优选的，所述步骤1.1之前还包括：
语料获取，通过爬虫技术实时获取新闻网站最新的新闻内容和用户浏览信息，将全网新产生的新闻保存到新闻语料库中；将用户id、浏览新闻id、新闻标题、新闻详细内容、新闻发布时间以及用户阅读该新闻的时间以用户为单位保存到用户语料库中。
优选的，所述语料获取之后还包括：
数据预处理，清除缺值和空值的记录；删除不可识别的字符和URL；使用分词工具对新闻文本分词，去除停用词。
优选的，所述步骤1.7之后还包括：
新闻消重，对于用户的新闻主题表征集合，利用余弦相似度算法，计算其相似度，剔除相似度超过阈值γ的新闻，将新闻消重的结果，放入最终的新闻数据集中。
第二方面，本发明一种基于RNN(Recurrent Neural Network；循环神经网络)的序列化新闻推荐方法，基于所述的新闻主题表征方法，利用RNN序列化建模的特性，用于提升新闻推荐的时序相关性与推荐的准确性，依次输入每篇新闻的向量化表示序列到RNN中，经过隐藏层以及激励函数，最终将学习到的隐藏层向量，传入全连接网络中，得到待预测新闻的向量表示，具体步骤如下：
步骤5.1，将主题表征集合D中新闻按照用户阅读的先后顺序依次输入到网络中，利用当前输入的文档向量dt与上一个隐藏层状态St-1共同计算得到当前文档的隐藏层状态St，再根据隐藏层状态St传入softmax分类器中，得到RNN当前输出向量ot，即：St＝f(U*dt+W*St-1)，ot＝soft max(VSt)；其中U、W、V分别代表了输入层、隐藏层与输出层的权重矩阵，f(*)是激活函数(如：sigmoid，tanh，relu等)；
步骤5.2，将RNN序列最后一个输出层的输出oN输入到全连接网络中，得到神经网络最终预测向量Predict；
步骤5.3，从当前新闻语料库中，选取该用户未曾阅读过且分布时间最新的新闻文档向量{p1,p2,...,pi,...,pn}，使用余弦相似度算法分别计算Predict与pi相似性，选取相似度最大的新闻作为最终推荐，即R＝{max{sim(predict,pi)}}。
第三方面，本发明一种基于注意力机制的新闻推荐方法，基于所述的新闻主题表征方法，用于发现用户的兴趣迁移以及提升推荐内容的准确性，利用注意力机制动态计算新闻序列中不同的新闻对推荐预测结果的影响力权重，根据影响力权重，具体步骤为：
步骤6.1，计算输入新闻序列的隐含向量hs与待预测的新闻的隐含向量ht之间的相关性，如下：
Figure BDA0001840361190000061
Figure BDA0001840361190000062
其中，hs是输入端第s篇新闻的隐含变量，ht是推荐预测序列第t篇新闻的隐含变量，ast是推荐预测序列第t篇新闻与输入序列第s篇新闻的相关性权重，score(*)是相关性打分函数，va、Wa、Ua是权值矩阵，tanh(*)是非线性激活函数；
步骤6.2，根据相关性打分计算输入的新闻序列中不同新闻对于预测新闻i的注意力分配权重ci，
Figure BDA0001840361190000063
其中i为推荐序列中新闻编号，j为输入序列中新闻编号，从而突出不同新闻对最终推荐预测的影响力的差异性；
步骤6.3，将注意力分配权重ci与输入序列的输出oN输入到全连接网络中，计算推荐预测向量的值Predict＝f(U*ci+V*oN)；其中U和V为权重矩阵，f(*)为非线性激励函数(sigmoid、relu、tanh等)；
步骤6.3，从当前新闻语料库中，选取该用户未曾阅读过且分布时间最新的新闻文档向量{p1,p2,...,pi,...,pn}，使用余弦相似度算法分别计算Predict与pi相似性，选取相似度最大的新闻作为最终推荐，即R＝{max{sim(predict,pi)}}。
第四方面，本发明一种基于DBSCAN(Density-Based Spatial Clustering ofApplications with Noise；具有噪声的基于密度的聚类方法)和注意力机制的新闻推荐方法，基于所述的新闻主题表征方法，用于提升个性化新闻推荐的准确性与话题的新颖性，利用DBSCAN密度聚类算法对用户阅读的新闻向量集进行聚类，区分出新闻向量集中类内点和离群点，并以此重构注意力分配过程，突出离群点对注意力分配的影响，以此实现对新旧话题进行启发式发现，提升推荐话题的新颖性，具体步骤如下：
步骤7.1，利用DBSCAN密度算法对每个用户的新闻向量集进行聚类，包括：①先初始化核心对象集合为空集：Ω＝φ；②遍历新闻向量集D中每一个向量
Figure BDA0001840361190000071
计算
Figure BDA0001840361190000072
其中N为该用户阅读新闻的数量，
Figure BDA0001840361190000073
为
Figure BDA0001840361190000074
的ε邻域，distance(*)为欧式距离函数，ε为半径参数；③如果
Figure BDA0001840361190000075
则
Figure BDA0001840361190000076
其中MinPts为领域密度阈值，即对任一向量点
Figure BDA0001840361190000077
若其ε邻域对应的
Figure BDA0001840361190000078
至少包含MinPts个样本，则
Figure BDA0001840361190000079
是核心对象放入核心对象集合Ω中；④以任一未访问过的核心对象为出发点，找出其密度可达的向量点生成的聚类簇，直到所有的核心对象都被访问，迭代终止；
步骤7.2，根据DBSCAN密度聚类的结果进行离群点检测与标识，即通过密度聚类，可将原向量集的点聚集成很多簇cluster＝{c1,c2,...,ci,...}，初始化离群点集Z＝φ，①若向量点
Figure BDA00018403611900000710
不属于任何一个簇，则该点为离群点，加入离群点集
Figure BDA00018403611900000711
②统计各簇的大小|N(ci)|，若簇大小|N(ci)|小于密度阈值γ，则将小簇ci内所有点视为离群点，加入离群点集合Z＝ZU{ci}；
步骤7.3，依次输入用户阅读的新闻向量到模型中，计算输入新闻序列的隐含向量hs与待预测的新闻的隐含向量ht之间的相关性，如下：
Figure BDA0001840361190000081
Figure BDA0001840361190000082
其中，hs是输入端第s篇新闻的隐含变量，ht是推荐预测序列第t篇新闻的隐含变量，ast是推荐预测序列第t篇新闻与输入序列第s篇新闻的相关性权重，score(*)是相关性打分函数，va、Wa、Ua是权值矩阵，tanh(*)是非线性激活函数；
步骤7.4，判断该当前输入向量xj是否在离群点集Z，若xj∈Z，则加入权重偏置bj；若
Figure BDA0001840361190000083
则不加入权重偏置bj；更新注意力权重分配ci为
Figure BDA0001840361190000084
其中i为推荐序列中新闻编号，j为输入序列中新闻编号，hj为输入序列第j篇新闻的隐含变量，aij是输入序列第j篇新闻与推荐预测序列第i篇的相关性权重，bj是注意力分配偏置；
步骤7.5，将注意力分配权重ci与输入序列的输出oN输入到全连接网络中，计算推荐预测向量的值Predict＝f(U*ci+V*oN)，其中U、V为权重矩阵，f(*)为非线性激励函数(sigmoid、relu、tanh等)；
步骤7.6，从当前新闻语料库中，选取该用户未曾阅读过且分布时间最新的新闻文档向量{p1,p2,...,pi,...,pn}，使用余弦相似度算法分别计算Predict与pi相似性，选取相似度最大的新闻作为最终推荐，即R＝{max{sim(predict,pi)}}。
第五方面，本发明一种基于DBSCAN和注意力机制的循环神经网络序列化新闻推荐方法，用于提升推荐的内容语义相关性、推荐结果的时间传递性、推荐话题的新颖性与准确性，利用TF-IDF、主题模型提取语义特征，结合词向量模型映射得到文档的语义向量，利用密度聚类算法对语义向量聚类，将语义向量依次输入循环神经网络训练，根据密度聚类离群点的判读，为输入向量分配不同的注意力权重，最终神经网络训练结果放入softmax分类器中得到最终的预测向量，利用余弦相似度算法，找到最新的新闻向量集中与预测最相近的新闻，作为推荐预测；具体步骤如下：
步骤8.1，语义提取与表征，使用word2vec模型对新闻标题和内容训练词向量；对新闻标题利用TF-IDF提取关键词；对新闻内容利用LDA主题模型提取主题，根据各关键词出现概率，对关键词的词向量进行加权平均；根据主题的相关词的词向量，并结合词表征主题的概率值对词向量进行加权平均，得到主题向量表征；根据新闻内容的相关主题以及各主题表征文档的概率值，对主题表征向量进行加权平均，最终得到新闻文档的语义表征向量集；
步骤8.2，主题密度聚类，对所述语义表征向量集，利用DBSCAN算法对各用户浏览的新闻集合进行密度聚类，找寻其中聚类中心点和离群点；
步骤8.2，基于注意力机制的序列化推荐预测，将所述语义表征向量集作为输入，构建循环神经网络序列模型，根据密度聚类对中心点和离群点的判断，为输入向量的隐变量赋予不同的注意力权重，对结合注意力机制的循环神经网络模型进行训练，将神经网络的训练结果放入softmax分类器中得到最终的预测向量，利用余弦相似度算法，找到最新的新闻向量集中与预测最相近的新闻，作为推荐预测。
采用上述方案后，本发明的有益效果是：
(1)本发明使得新闻内容语义提取和表示更加准确。利用神经网络词嵌入技术和主题模型构建新闻文档语义表征向量，可以准确提取新闻内容的语义，弥补了关键词表示和简单主题模型在语义表达上的不足；
(2)本发明可以更好捕捉用户阅读的时序性，更好“记忆”曾经的阅读兴趣点。利用循环神经网络学习用户浏览新闻的序列特征，时间越近的新闻阅读对推荐影响越大，时间久远的阅读也可以被网络“记忆”；
(3)本发明可以更好刻画用户的兴趣迁移，在循环神经网络的基础上引入聚类与注意力机制，强化用户新的新闻兴趣点对推荐的影响，抑制陈旧话题的重复推荐，动态刻画用户的兴趣迁移，及时为用户推荐准确、新颖、多样的新闻。
以下结合附图及实施例对本发明作进一步详细说明，但本发明的一种基于RNN、注意力机制的新闻推荐方法及主题表征方法不局限于实施例。
附图说明
图1为本发明实施例的总体流程图；
图2为本发明的主题表征向量计算流程图；
图3为本发明的基于DBSCAN的注意力分配计算方法流程图。
具体实施方式
以下将结合本发明附图，对本发明实施例中的技术方案进行详细描述和讨论。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本实施例使用爬虫技术，爬取“财新网”2000个用户在1个月内浏览的111257条新闻作为新闻语料集；其中，将该月最后一周的2875条新闻数据作为推荐预测数据集，剩余的新闻作为推荐的训练数据集。
参见图1至图3所示，本发明实施例一种个性化新闻推荐方法，包括：新闻抓取步骤、数据预处理步骤、词向量训练步骤、主题模型训练步骤、主题表征向量计算步骤、新闻消重步骤、基于RNN的序列化推荐模型步骤、基于DBSCAN的新闻内容聚类步骤及基于DBSCAN与注意力机制的兴趣迁移步骤。
新闻抓取步骤，采用Scrapy爬虫框架爬取“财新网”用户浏览数据，数据包括：用户编号、新闻编号、浏览时间、新闻标题、新闻详细内容、新闻发布时间。
数据预处理步骤，用于数据的清洗和文本预处理。(1)清理爬取结果中数据空值的记录；(2)统一时间格式，剔除文本数据的乱码；(3)利用jieba(结巴)分词工具对新闻标题和新闻详细内容进行分词，并结合通用停用词表，删除文本中的停用词。
词向量训练步骤，用于将单词向量化。使用基于python的Gensim工具库，采用CBOW(Continous Bags Of Words)训练算法，对新闻语料(标题和详细内容)训练词向量，其中词向量维度embedding_size为100，初始学习率alpha为0.01，窗口大小window为5。
主题模型训练步骤，用于对新闻文本进行文本语义挖掘，抽取其主题语义。(1)新闻标题作为重要的文章语义概括，通常标题蕴含更直接的语义，但由于标题往往长度较短，直接用主题模型训练效果较差，于是采用TF-IDF算法计算权重，计算公式为
Figure BDA0001840361190000101
并根据单词的TF-IDF权重排序，提取标题中的单词中权重最大的两个词；(2)对于新闻正文，采用gensim库中LDA步骤训练新闻文本的主题，其中主题个数topic_num为50，超参数α为0.05，β为0.01，训练得到每篇文档的主题分布
Figure BDA0001840361190000102
和词分布
Figure BDA0001840361190000103
(其中m是文档编号，k是主题编号，t是单词编号)。
主题表征向量计算步骤，对每篇新闻，采样主题分布θ中前K-2个主题，再结合标题的2个关键词共同作为该文的主题表达T＝{t1,t2,...,tk}；对这些主题，再对每个主题ti，根据其词分布
Figure BDA0001840361190000104
采样出概率最高的前M个单词
Figure BDA0001840361190000105
对于这些单词，利用词向量训练步骤得到的词向量，将每个单词转换为词向量表示。对于每篇新闻的K*M个词向量W＝{w1,1,…,w1,M,w2,1,…,wi,m,…,wK,M}，分别根据词分布和主题分布中相应的概率值作为权重，对这些词向量进行加权平均，最终将这K*M个词向量映射到一个词向量中，将该词向量作为该篇新闻的主题表征。对整个新闻语料集进行同样的训练和计算，可得到每个用户浏览新闻的主题表征集合D＝{d1,d2,...,di,...,dN}，注：N为用户浏览新闻语料库中新闻的数量。
新闻消重步骤，对于用户的新闻主题表征集合D＝{d1,d2,...,di,...,dN}，利用余弦相似度算法
Figure BDA0001840361190000111
计算其相似度Similarity，剔除相似度超过阈值γ的新闻。将新闻消重的结果，放入最终的新闻数据集中。
基于RNN的序列化推荐模型步骤，(1)将主题表征向量计算步骤得到的新闻向量集合D中新闻按照用户阅读的先后顺序依次输入到网络中，利用当前输入的文档向量dt与上一个隐藏层状态St-1共同计算得到当前文档的隐藏层状态St，再根据隐藏层状态St传入softmax分类器中，得到RNN当前输出向量ot，即：St＝f(U*dt+W*St-1)，ot＝softmax(VSt)；其中U、W、V分别代表了输入层、隐藏层与输出层的权重矩阵，f(*)是激活函数(如：sigmoid，tanh，relu等)；
(2)将序列最后一个输出层的输出oN输入到全连接网络中，得到神经网络最终预测向量Predict；(3)从当前新闻语料库中，选取该用户未曾阅读过且分布时间较新新闻的文档向量{p1,p2,...,pi,...,pn}，使用余弦相似度算法分别计算Predict与pi相似性，选取相似度最大的新闻作为最终推荐，即R＝{max{sim(predict,pi)}}。
基于DBSCAN的新闻内容聚类步骤，利用DBSCAN密度算法对每个用户的新闻向量集进行聚类，即：(1)先初始化核心对象集合为空集：Ω＝φ；(2)遍历新闻集D中每一个向量
Figure BDA0001840361190000112
计算
Figure BDA0001840361190000113
其中N为该用户阅读新闻的数量，
Figure BDA0001840361190000114
为
Figure BDA00018403611900001110
的ε邻域，distance(*)为欧式距离函数，ε为半径参数；(3)如果
Figure BDA0001840361190000115
则
Figure BDA0001840361190000116
其中MinPts为领域密度阈值，此处默认为5，即对任一向量点
Figure BDA0001840361190000117
若其ε邻域对应的
Figure BDA0001840361190000118
至少包含MinPts个样本，则
Figure BDA0001840361190000119
是核心对象放入核心对象集合Ω中；(4)以任一未访问过的核心对象为出发点，找出其密度可达的向量点生成的聚类簇，直到所有的核心对象都被访问，迭代终止。
基于DBSCAN与注意力机制的兴趣迁移步骤，(1)根据DBSCAN密度聚类的结果进行离群点检测与标识，即通过密度聚类，可将原向量集的点聚集成很多簇cluster＝{c1,c2,...,ci,...}，初始化离群点集Z＝φ，①若向量点
Figure BDA0001840361190000121
不属于任何一个簇，则该点为离群点，加入离群点集
Figure BDA0001840361190000122
②统计各簇的大小|N(ci)|，若簇大小|N(ci)|小于密度阈值γ，则将小簇ci内所有点视为离群点，加入离群点集合Z＝ZU{ci}。(2)将用户阅读的新闻向量作为输入，计算输入新闻序列的隐含向量hs与待预测的新闻的隐含向量ht之间的相关性，
Figure BDA0001840361190000123
其中hs是输入端第s篇新闻的隐含变量，ht是推荐预测序列第t篇新闻的隐含变量，ast是推荐预测序列第t篇新闻与输入序列第s篇新闻的相关性权重，score(*)是相关性打分函数，va、Wa、Ua是权值矩阵，tanh(*)是非线性激活函数。(3)判断该当前输入向量xj是否在离群点集Z，若xj∈Z，则加入权重偏置bj；若
Figure BDA0001840361190000125
则不加入权重偏置bj。更新注意力权重分配ci为
Figure BDA0001840361190000124
其中i为推荐序列中新闻编号，j为输入序列中新闻编号，hj为输入序列第j篇新闻的隐含变量，aij是输入序列第j篇新闻与推荐预测序列第i篇的相关性权重，bj是注意力分配偏置；(4)将注意力分配权重ci与输入序列的输出oN输入到全连接网络中，计算推荐预测向量的值Predict＝f(U*ci+V*oN)，其中U、V为权重矩阵，f(*)为非线性激励函数(sigmoid、relu、tanh等)；(5)从当前新闻语料库中，选取该用户未曾阅读过且新发布的新闻文档向量{p1,p2,...,pi,...,pn}，使用余弦相似度算法分别计算Predict与pi相似性，选取相似度最大的新闻作为最终推荐，即R＝{max{sim(predict,pi)}}。
以上仅为本发明实例中一个较佳的实施方案。但是，本发明并不限于上述实施方案，凡按本发明所做的任何均等变化和修饰，所产生的功能作用未超出本方案的范围时，均属于本发明的保护范围。

Claims (8)

1.一种新闻主题表征方法，其特征在于，包括：利用关键词算法对新闻标题进行关键词提取，利用主题模型对新闻正文文本进行主题建模，然后对主题模型得到的主题分布和词分布分别进行采样，最后利用词向量对采样的关键词和主题词进行词向量化，具体步骤如下：
步骤1.1，利用TF-IDF算法计算出每篇新闻标题中各个词的权重；
步骤1.2，利用LDA主题模型对新闻正文文本进行主题建模，训练获得每篇新闻正文的主题分布θ和词分布
Figure FDA0001840361180000011
步骤1.3，对于每篇新闻正文，采样其主题分布θ，选取概率值由大到小的前K个主题作为新闻正文的主题表示T＝{t1，t2，...，ti，...，tk}；
步骤1.4，对于每篇新闻标题，选取标题中各词权重最高的2个词作为其关键词；
步骤1.5，对于每篇新闻的每个主题ti，根据其词分布
Figure FDA0001840361180000012
采样出词概率最高的前M个单词
Figure FDA0001840361180000013
加上该篇新闻标题的2个关键词，将这K*M+2个单词转换为词向量表征集W＝{w1,w2,...,wi,...,wK*M+2}；
步骤1.6，对于第i篇新闻的词向量表征集Wi，分别以词分布和主题分布的概率值作为其权重，依次对每个主题的各个单词、每篇新闻的各个主题进行加权平均，最终将这K*M+2个词向量映射到一个词向量Embeddingi中，将该词向量作为该篇新闻的主题表征；
步骤1.7，遍历整个新闻语料集，循环执行步骤1.3到步骤1.6，可得到语料集中每篇新闻的主题表征集合D＝{d1,d2,...,di,...,dN}；其中，N为用户浏览新闻语料库中新闻的数量。
2.根据权利要求1所述的新闻主题表征方法，其特征在于，所述步骤1.1之前还包括：
语料获取，通过爬虫技术实时获取新闻网站最新的新闻内容和用户浏览信息，将全网新产生的新闻保存到新闻语料库中；将用户id、浏览新闻id、新闻标题、新闻详细内容、新闻发布时间以及用户阅读该新闻的时间以用户为单位保存到用户语料库中。
3.根据权利要求2所述的新闻主题表征方法，其特征在于，所述语料获取之后还包括：
数据预处理，清除缺值和空值的记录；删除不可识别的字符和URL；使用分词工具对新闻文本分词，去除停用词。
4.根据权利要求1所述的新闻主题表征方法，其特征在于，所述步骤1.7之后还包括：
新闻消重，对于用户的新闻主题表征集合，利用余弦相似度算法，计算其相似度，剔除相似度超过阈值γ的新闻，将新闻消重的结果，放入最终的新闻数据集中。
5.一种基于RNN的序列化新闻推荐方法，其特征在于，基于权利要求1至4中任意一项所述的新闻主题表征方法，利用RNN序列化建模的特性，依次输入每篇新闻的向量化表示序列到RNN中，经过隐藏层以及激励函数，最终将学习到的隐藏层向量，传入全连接网络中，得到待预测新闻的向量表示，具体步骤如下：
步骤5.1，将主题表征集合D中新闻按照用户阅读的先后顺序依次输入到网络中，利用当前输入的文档向量dt与上一个隐藏层状态St-1共同计算得到当前文档的隐藏层状态St，再根据隐藏层状态St传入softmax分类器中，得到RNN当前输出向量ot，即：St＝f(U*dt+W*St-1)，ot＝softmax(VSt)；其中U、W、V分别代表了输入层、隐藏层与输出层的权重矩阵，f(*)是激活函数；
步骤5.2，将RNN序列最后一个输出层的输出oN输入到全连接网络中，得到神经网络最终预测向量Predict；
步骤5.3，从当前新闻语料库中，选取该用户未曾阅读过且分布时间最新的新闻文档向量{p1,p2,...,pi,...,pn}，使用余弦相似度算法分别计算Predict与pi相似性，选取相似度最大的新闻作为最终推荐，即R＝{max{sim(predict,pi)}}。
6.一种基于注意力机制的新闻推荐方法，其特征在于，基于权利要求1至4中任意一项所述的新闻主题表征方法，利用注意力机制动态计算新闻序列中不同的新闻对推荐预测结果的影响力权重，根据影响力权重，具体步骤为：
步骤6.1，计算输入新闻序列的隐含向量hs与待预测的新闻的隐含向量ht之间的相关性，如下：
Figure FDA0001840361180000031
Figure FDA0001840361180000032
其中，hs是输入端第s篇新闻的隐含变量，ht是推荐预测序列第t篇新闻的隐含变量，ast是推荐预测序列第t篇新闻与输入序列第s篇新闻的相关性权重，score(*)是相关性打分函数，va、Wa、Ua是权值矩阵，tanh(*)是非线性激活函数；
步骤6.2，根据相关性打分计算输入的新闻序列中不同新闻对于预测新闻i的注意力分配权重ci，
Figure FDA0001840361180000033
其中i为推荐序列中新闻编号，j为输入序列中新闻编号，从而突出不同新闻对最终推荐预测的影响力的差异性；
步骤6.3，将注意力分配权重ci与输入序列的输出oN输入到全连接网络中，计算推荐预测向量的值Predict＝f(U*ci+V*oN)；其中U和V为权重矩阵，f(*)为非线性激励函数；
步骤6.3，从当前新闻语料库中，选取该用户未曾阅读过且分布时间最新的新闻文档向量{p1,p2,...,pi,...,pn}，使用余弦相似度算法分别计算Predict与pi相似性，选取相似度最大的新闻作为最终推荐，即R＝{max{sim(predict,pi)}}。
7.一种基于DBSCAN和注意力机制的新闻推荐方法，其特征在于，基于权利要求1至4中任意一项所述的新闻主题表征方法，利用DBSCAN密度聚类算法对用户阅读的新闻向量集进行聚类，区分出新闻向量集中类内点和离群点，并以此重构注意力分配过程，突出离群点对注意力分配的影响，以此实现对新旧话题进行启发式发现，提升推荐话题的新颖性，具体步骤如下：
步骤7.1，利用DBSCAN密度算法对每个用户的新闻向量集进行聚类，包括：①先初始化核心对象集合为空集：Ω＝φ；②遍历新闻向量集D中每一个向量
Figure FDA0001840361180000034
计算
Figure FDA0001840361180000035
其中N为该用户阅读新闻的数量，
Figure FDA0001840361180000036
为
Figure FDA0001840361180000037
的ε邻域，distance(*)为欧式距离函数，ε为半径参数；③如果
Figure FDA0001840361180000041
则
Figure FDA0001840361180000048
其中MinPts为领域密度阈值，即对任一向量点
Figure FDA0001840361180000042
若其ε邻域对应的
Figure FDA0001840361180000049
至少包含MinPts个样本，则
Figure FDA0001840361180000043
是核心对象放入核心对象集合Ω中；④以任一未访问过的核心对象为出发点，找出其密度可达的向量点生成的聚类簇，直到所有的核心对象都被访问，迭代终止；
步骤7.2，根据DBSCAN密度聚类的结果进行离群点检测与标识，即通过密度聚类，可将原向量集的点聚集成很多簇cluster＝{c1,c2,...,ci,...}，初始化离群点集Z＝φ，①若向量点
Figure FDA00018403611800000411
不属于任何一个簇，则该点为离群点，加入离群点集
Figure FDA00018403611800000410
②统计各簇的大小|N(ci)|，若簇大小|N(ci)|小于密度阈值γ，则将小簇ci内所有点视为离群点，加入离群点集合Z＝ZU{ci}；
步骤7.3，依次输入用户阅读的新闻向量到模型中，计算输入新闻序列的隐含向量hs与待预测的新闻的隐含向量ht之间的相关性，如下：
Figure FDA0001840361180000044
Figure FDA0001840361180000045
其中，hs是输入端第s篇新闻的隐含变量，ht是推荐预测序列第t篇新闻的隐含变量，ast是推荐预测序列第t篇新闻与输入序列第s篇新闻的相关性权重，score(*)是相关性打分函数，va、Wa、Ua是权值矩阵，tanh(*)是非线性激活函数；
步骤7.4，判断该当前输入向量xj是否在离群点集Z，若xj∈Z，则加入权重偏置bj；若
Figure FDA0001840361180000046
则不加入权重偏置bj；更新注意力权重分配ci为
Figure FDA0001840361180000047
其中i为推荐序列中新闻编号，j为输入序列中新闻编号，hj为输入序列第j篇新闻的隐含变量，aij是输入序列第j篇新闻与推荐预测序列第i篇的相关性权重，bj是注意力分配偏置；
步骤7.5，将注意力分配权重ci与输入序列的输出oN输入到全连接网络中，计算推荐预测向量的值Predict＝f(U*ci+V*oN)，其中U、V为权重矩阵，f(*)为非线性激励函数；
步骤7.6，从当前新闻语料库中，选取该用户未曾阅读过且分布时间最新的新闻文档向量{p1,p2,...,pi,...,pn}，使用余弦相似度算法分别计算Predict与pi相似性，选取相似度最大的新闻作为最终推荐，即R＝{max{sim(predict,pi)}}。
8.一种基于DBSCAN和注意力机制的循环神经网络序列化新闻推荐方法，其特征在于，利用TF-IDF、主题模型提取语义特征，结合词向量模型映射得到文档的语义向量，利用密度聚类算法对语义向量聚类，将语义向量依次输入循环神经网络训练，根据密度聚类离群点的判断，为输入向量分配不同的注意力权重，最终神经网络训练结果放入softmax分类器中得到最终的预测向量，利用余弦相似度算法，找到最新的新闻向量集中与预测最相近的新闻，作为推荐预测；具体步骤如下：
步骤8.1，语义提取与表征，使用word2vec模型对新闻标题和内容训练词向量；对新闻标题利用TF-IDF提取关键词；对新闻内容利用LDA主题模型提取主题，根据各关键词出现概率，对关键词的词向量进行加权平均；根据主题的相关词的词向量，并结合词表征主题的概率值对词向量进行加权平均，得到主题向量表征；根据新闻内容的相关主题以及各主题表征文档的概率值，对主题表征向量进行加权平均，最终得到新闻文档的语义表征向量集；
步骤8.2，主题密度聚类，对所述语义表征向量集，利用DBSCAN算法对各用户浏览的新闻集合进行密度聚类，找寻其中聚类中心点和离群点；
步骤8.2，基于注意力机制的序列化推荐预测，将所述语义表征向量集作为输入，构建循环神经网络序列模型，根据密度聚类对中心点和离群点的判断，为输入向量的隐变量赋予不同的注意力权重，对结合注意力机制的循环神经网络模型进行训练，将神经网络的训练结果放入softmax分类器中得到最终的预测向量，利用余弦相似度算法，找到最新的新闻向量集中与预测最相近的新闻，作为推荐预测。
CN201811245204.6A 2018-10-24 2018-10-24 基于rnn、注意力机制的新闻推荐方法及主题表征方法 Active CN109492157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811245204.6A CN109492157B (zh) 2018-10-24 2018-10-24 基于rnn、注意力机制的新闻推荐方法及主题表征方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811245204.6A CN109492157B (zh) 2018-10-24 2018-10-24 基于rnn、注意力机制的新闻推荐方法及主题表征方法

Publications (2)

Publication Number Publication Date
CN109492157A CN109492157A (zh) 2019-03-19
CN109492157B true CN109492157B (zh) 2021-08-31

Family

ID=65691494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811245204.6A Active CN109492157B (zh) 2018-10-24 2018-10-24 基于rnn、注意力机制的新闻推荐方法及主题表征方法

Country Status (1)

Country Link
CN (1) CN109492157B (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008377B (zh) * 2019-03-27 2021-09-21 华南理工大学 一种利用用户属性进行电影推荐的方法
CN109992716B (zh) * 2019-03-29 2023-01-17 电子科技大学 一种基于itq算法的印尼语相似新闻推荐方法
CN110162783A (zh) * 2019-04-17 2019-08-23 腾讯科技（深圳）有限公司 用于语言处理的循环神经网络中隐状态的生成方法和装置
CN110119765B (zh) * 2019-04-18 2021-04-06 浙江工业大学 一种基于Seq2seq框架的关键词提取方法
CN110059161A (zh) * 2019-04-23 2019-07-26 深圳市大众通信技术有限公司 一种基于文本分类技术的电话语音机器人系统
CN110113635B (zh) * 2019-04-25 2021-05-25 广州智伴人工智能科技有限公司 一种自动播放推送消息的方法及系统
CN111861610A (zh) * 2019-04-30 2020-10-30 北京嘀嘀无限科技发展有限公司 一种数据处理方法、装置、电子设备及存储介质
CN110083774B (zh) * 2019-05-10 2023-11-03 腾讯科技（深圳）有限公司 应用推荐列表的确定方法、装置、计算机设备及存储介质
CN110162703A (zh) * 2019-05-13 2019-08-23 腾讯科技（深圳）有限公司 内容推荐方法、训练方法、装置、设备及存储介质
CN110245293B (zh) 2019-05-28 2023-07-11 深圳市雅阅科技有限公司 一种网络内容召回方法和装置
CN110334110A (zh) * 2019-05-28 2019-10-15 平安科技（深圳）有限公司 自然语言分类方法、装置、计算机设备以及存储介质
CN110287485B (zh) * 2019-06-11 2023-08-18 天津大学 一种基于主题建模的社会群体间影响力量化方法
CN110427610A (zh) * 2019-06-25 2019-11-08 平安科技（深圳）有限公司 文本分析方法、装置、计算机装置及计算机存储介质
CN110297887B (zh) * 2019-06-26 2021-07-27 山东大学 基于云平台的服务机器人个性化对话系统及方法
CN110275964B (zh) * 2019-06-26 2023-07-14 程淑玉 基于知识图谱与循环神经网络的推荐模型
CN110598766B (zh) * 2019-08-28 2022-05-10 第四范式（北京）技术有限公司 一种商品推荐模型的训练方法、装置及电子设备
CN111061870B (zh) * 2019-11-25 2023-06-06 腾讯科技（深圳）有限公司 文章的质量评价方法及装置
CN111046286B (zh) * 2019-12-12 2023-04-18 腾讯科技（深圳）有限公司 一种对象推荐方法、装置、以及计算机存储介质
CN111061939B (zh) * 2019-12-31 2023-03-24 西安理工大学 基于深度学习的科研学术新闻关键字匹配推荐方法
CN111310048B (zh) * 2020-02-25 2023-06-20 西安电子科技大学 基于多层感知机的新闻推荐方法
CN111292134A (zh) * 2020-02-25 2020-06-16 上海昌投网络科技有限公司 一种微信公众号是否可投广告的判断方法及装置
CN111831820B (zh) * 2020-03-11 2022-07-19 昆明理工大学 基于案件要素指导及深度聚类的新闻与案件相关性分析方法
CN113590908A (zh) * 2020-04-30 2021-11-02 中国石油化工股份有限公司 基于注意力机制的资讯推荐方法
CN111639258B (zh) * 2020-05-20 2023-09-22 苏州遐迩信息技术有限公司 一种基于神经网络的新闻推荐方法
CN112395328A (zh) * 2020-05-22 2021-02-23 南京大学 一种基于注意力机制的关键属性挖掘方法
CN112100372B (zh) * 2020-08-20 2022-08-30 西南电子技术研究所（中国电子科技集团公司第十研究所） 头版新闻预测分类方法
CN112380422A (zh) * 2020-09-04 2021-02-19 上海智芝全智能科技有限公司 一种基于关键词热度的金融新闻推荐装置
CN112765450A (zh) * 2020-12-24 2021-05-07 神策网络科技（北京）有限公司 推荐内容确定方法、装置及存储介质
CN112597311B (zh) * 2020-12-28 2023-07-11 东方红卫星移动通信有限公司 一种基于低轨卫星通信下的终端信息分类方法及系统
CN112580355B (zh) * 2020-12-30 2021-08-31 中科院计算技术研究所大数据研究院 一种新闻资讯话题检测及实时聚合方法
CN112632389B (zh) * 2020-12-30 2024-03-15 广州博冠信息科技有限公司 信息处理方法、信息处理装置、存储介质与电子设备
CN112765459A (zh) * 2021-01-08 2021-05-07 首都师范大学 一种基于话题识别的物品信息推送方法、系统及存储介质
CN113065062A (zh) * 2021-03-09 2021-07-02 北京工业大学 一种基于用户阅读时间行为的新闻推荐方法及系统
CN113688729B (zh) * 2021-08-24 2023-04-07 上海商汤科技开发有限公司 一种行为识别方法及装置、电子设备和存储介质
CN116028727B (zh) * 2023-03-30 2023-08-18 南京邮电大学 一种基于图像数据处理的视频推荐方法
CN116860977B (zh) * 2023-08-21 2023-12-08 之江实验室 一种面向矛盾纠纷调解的异常检测系统及方法
CN117077632B (zh) * 2023-10-18 2024-01-09 北京国科众安科技有限公司 一种用于资讯主题的自动生成方法
CN117455555B (zh) * 2023-12-25 2024-03-08 厦门理工学院 基于大数据的电商用户画像分析方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815297A (zh) * 2016-12-09 2017-06-09 宁波大学 一种学术资源推荐服务系统与方法
CN106919557A (zh) * 2017-02-22 2017-07-04 中山大学 一种结合主题模型的文档向量生成方法
CN107908669A (zh) * 2017-10-17 2018-04-13 广东广业开元科技有限公司 一种基于并行lda的大数据新闻推荐方法、系统及装置
CN107943824A (zh) * 2017-10-17 2018-04-20 广东广业开元科技有限公司 一种基于lda的大数据新闻分类方法、系统及装置
CN108052593A (zh) * 2017-12-12 2018-05-18 山东科技大学 一种基于主题词向量和网络结构的主题关键词提取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150113388A1 (en) * 2013-10-22 2015-04-23 Qualcomm Incorporated Method and apparatus for performing topic-relevance highlighting of electronic text

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815297A (zh) * 2016-12-09 2017-06-09 宁波大学 一种学术资源推荐服务系统与方法
CN106919557A (zh) * 2017-02-22 2017-07-04 中山大学 一种结合主题模型的文档向量生成方法
CN107908669A (zh) * 2017-10-17 2018-04-13 广东广业开元科技有限公司 一种基于并行lda的大数据新闻推荐方法、系统及装置
CN107943824A (zh) * 2017-10-17 2018-04-20 广东广业开元科技有限公司 一种基于lda的大数据新闻分类方法、系统及装置
CN108052593A (zh) * 2017-12-12 2018-05-18 山东科技大学 一种基于主题词向量和网络结构的主题关键词提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LDA模型的优化及其主题数量选择研究——以科技文献为例;王婷婷 等;《数据分析与知识发现》;20180125;全文 *

Also Published As

Publication number Publication date
CN109492157A (zh) 2019-03-19

Similar Documents

Publication Publication Date Title
CN109492157B (zh) 基于rnn、注意力机制的新闻推荐方法及主题表征方法
CN112131350B (zh) 文本标签确定方法、装置、终端及可读存储介质
CN106599022B (zh) 基于用户访问数据的用户画像形成方法
CN109492229B (zh) 一种跨领域情感分类方法和相关装置
CN107992531A (zh) 基于深度学习的新闻个性化智能推荐方法与系统
CN108492200A (zh) 一种基于卷积神经网络的用户属性推断方法和装置
CN107357889A (zh) 一种基于内容或情感相似性的跨社交平台图片推荐算法
CN110096575B (zh) 面向微博用户的心理画像方法
CN107315738A (zh) 一种文本信息的创新度评估方法
CN107895303B (zh) 一种基于ocean模型的个性化推荐的方法
CN107506472B (zh) 一种学生浏览网页分类方法
CN108595525A (zh) 一种律师信息处理方法和系统
WO2023108980A1 (zh) 基于文本对抗样例的信息推送方法及装置
CN115952292B (zh) 多标签分类方法、装置及计算机可读介质
CN116362811A (zh) 一种基于大数据的广告自动化投放管理系统
CN112926325A (zh) 基于bert神经网络的中文人物关系抽取构建方法
CN115329085A (zh) 一种社交机器人分类方法及系统
CN115309860A (zh) 基于伪孪生网络的虚假新闻检测方法
CN108681977A (zh) 一种律师信息处理方法和系统
CN114722287A (zh) 一种融入层级结构的长短期推荐方法
CN113934835A (zh) 结合关键词和语义理解表征的检索式回复对话方法及系统
CN113704615A (zh) 一种基于多模态的深度兴趣网络推荐方法
CN108614860A (zh) 一种律师信息处理方法和系统
CN107908749A (zh) 一种基于搜索引擎的人物检索系统及方法
Sajeevan et al. An enhanced approach for movie review analysis using deep learning techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant