CN114722287A - 一种融入层级结构的长短期推荐方法 - Google Patents

一种融入层级结构的长短期推荐方法 Download PDF

Info

Publication number
CN114722287A
CN114722287A CN202210390624.3A CN202210390624A CN114722287A CN 114722287 A CN114722287 A CN 114722287A CN 202210390624 A CN202210390624 A CN 202210390624A CN 114722287 A CN114722287 A CN 114722287A
Authority
CN
China
Prior art keywords
user
term
representation
news
long
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210390624.3A
Other languages
English (en)
Inventor
曹小鹏
赵维维
尤聪聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Posts and Telecommunications
Original Assignee
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Posts and Telecommunications filed Critical Xian University of Posts and Telecommunications
Priority to CN202210390624.3A priority Critical patent/CN114722287A/zh
Publication of CN114722287A publication Critical patent/CN114722287A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/151—Transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种融入层级结构的长短期推荐方法，旨在解决现有推荐方法在用户兴趣多样化和多粒度挖掘方面有所欠缺的问题，本发明的技术方案主要包括以下步骤：(1)提取新闻特征(2)提取用户的长期行为特征(3)提取用户的短期行为特征(4)计算匹配概率，完成推荐。该方法主要应用于个性化推荐应用。

Description

一种融入层级结构的长短期推荐方法
技术领域
本发明涉及一种基于用户兴趣的推荐方法，更具体地说涉及一种融入层级结构的长短期推荐方法。
背景技术
新闻推荐是自然语言处理领域的一项重要任务，近些年受到了越来越多学者的关注。对新闻推荐来说，学习准确的用户和新闻表示至关重要。早期的新闻推荐方法往往依赖于新闻之间的关联及语义相似性，但这些方法通常难以有效的建模用户的阅读偏好，对用户进行个性化的推荐。协同过滤算法是最早被研究的推荐技术之一，极大的推动了个性化推荐的发展，因此也常常被用于新闻推荐中。但基于协同过滤的新闻推荐方法存在严重的冷启动问题，因此很多学者将目光转向了基于内容的推荐。如Phelan等人提出将用户在推特上的行为与新闻浏览记录结合来进行用户建模；Liu等人提出用新闻类别及贝叶斯模型产生的用户兴趣特征来分别表示新闻和用户，从而进行新闻推荐。但是，在这些传统的方法中，构建用户和新闻表示通常依赖手工设计的特征，且需要大量的领域知识和时间。
近年来，随着深度学习技术在图像识别及文本分类等领域的成功应用，将其与推荐技术相结合的研究同样也受到了学者的广泛关注。如Lian等人提出了一种基于深度融合模型(DeepFusionModel，DFM)的新闻推荐方法，通过构建特征来表示新闻和用户。他们的方法包括两个核心模块，一个模块用来对特征之间的不同交互信息进行建模，另一个模块用来为不同通道的特征分配不同的权重，并在必应数据集上取得了不错的成绩。但该方法仅使用了标题长度，实体名等粗粒度信息来建模新闻表示，没有挖掘更细粒度的语义信息。Wang等人提出将知识图谱和卷积神经网络进行融合，然后从标题中学习新闻表示，再将候选新闻与用户浏览过的历史文章进行相似度计算，并把结果作为注意力权重，用来对用户浏览历史中的新闻表示进行加权求和，得到用户表示。Wu等人提出了一种个性化注意力网络的新闻推荐方法，利用用户ID嵌入来生成注意力查询向量。但以上两种方法只学习了用户的单一表示，无法区分用户的长期偏好和短期偏好，这对于准确学习用户表示是远远不够的。
发明内容
鉴于现有技术的不足，本发明提出一种融入层级结构的长短期推荐方法，旨在解决现有推荐方法只学习用户的单一表示，且在用户兴趣多样化和多粒度挖掘方面有所欠缺的问题。本发明的技术方案主要包括以下步骤：
1.提取新闻特征：使用新闻编码器对新闻标题，主题及子主题进行学习，进而提取新闻表示；2.提取用户的长期行为特征：采用三级层次结构获取用户的长期兴趣表示，底层用来获取子主题级别的兴趣表示，中间层用来获取主题级别的兴趣表示，顶层用来获取用户级别的长期兴趣表示；3.提取用户的短期行为特征：利用门控循环单元(GatedRecurrentUnit，GRU)获取用户的短期兴趣表示，并用长期兴趣表示初始化GRU，获取的短期兴趣表示即为用户最终表示；4.计算匹配概率，完成推荐：将用户最终表示和候选新闻表示进行匹配，获得推荐列表，完成推荐。
本发明的效果是：本发明方法通过应用于MIND数据集上进行实验验证，最优实验结果的AUC、MRR、nDCG@5和nDCG@10值分别为60.84％、29.44％、31.45％和39.58％，推荐效果优于传统模型。
附图说明
图1模型结构图
图2三级层次结构图
具体实施方式
为了解决现有推荐方法通常只学习用户的单一表示，且在用户兴趣多样化和多粒度挖掘方面有所欠缺的问题，本发明提供的解决方案是：一种融入层级结构的长短期推荐方法。首先利用新闻编码器提取新闻表示，然后用三级层次结构来提取用户的长期兴趣表示，该结构由底层到顶层分别为：子主题级兴趣表示层，主题级兴趣表示层，用户级长期兴趣表示层。再用GRU从用户近期的浏览历史中获取短期喜好，同时利用用户的长期兴趣表示来初始化GRU，强化长期喜好的影响，并得到最终的用户表示。最后根据用户表示和候选新闻表示，通过向量内积的方式得到用户可能点击新闻的概率得分，进而得到推荐列表。本方法结构图如图1所示：
图1模型结构图
(1)提取新闻特征
首先将新闻标题经过词嵌入转换为向量序列，再将该向量序列输入到卷积神经网络捕获局部语境信息来学习上下文的词表示，然后使用词级别的注意力机制来选择标题中的重要词汇，得到标题表示。最后将标题表示、主题及子主题表示拼接得到新闻的最终表示，拼接公式如下：
n＝concat(nt,nv,nsv)
其中n为新闻的最终表示，nt为新闻标题表示，nv为新闻主题表示，通过主题词的嵌入得到，nsv为子主题表示，通过子主题词的嵌入得到。
(2)提取用户的长期行为特征
提取用户长期行为特征的三级层次结构图如图2所示。
图2三级层次结构图
子主题级别的兴趣表示层用来获取细粒度的用户兴趣，由多个子主题级兴趣表示组成，它通过用户在子主题类新闻中的浏览历史来学习(如体育主题下所有浏览过的篮球类子新闻)。采用子主题级注意力网络来获取重要的新闻向量表示cij，然后用词嵌入得到子主题词的向量表示sij。最后将这两个向量表示融合得到子主题级别的兴趣表示，公式如下：
Figure BDA0003595342340000031
Figure BDA0003595342340000032
其中αk为第k个被点击的新闻在Nij中的注意力权重，
Figure BDA0003595342340000033
为在Nij中点击的第k个新闻的向量表示，Nij表示点击的第i个主题对应的第j个子主题的所有新闻的集合，
Figure BDA0003595342340000034
为最终的子主题级别的兴趣表示。
主题级别的兴趣表示层用来获取粗粒度的用户兴趣，由多个主题级兴趣表示组成，它是从子主题级兴趣表示中学习的。采用主题级注意力网络来获取重要的子主题级用户兴趣向量表示zi，然后用词嵌入得到主题词的向量表示ti。最后将这两个向量表示融合得到主题级别的兴趣表示，公式如下：
Figure BDA0003595342340000035
Figure BDA0003595342340000036
其中βj表示子主题级兴趣表示
Figure BDA0003595342340000037
的注意力权重，
Figure BDA0003595342340000038
为主题级兴趣表示。
用户级别的长期兴趣表示是从主题级别的兴趣表示中学习的，与前两个表示类似，此处使用用户级别的注意力网络来选择重要的主题向量表示，即为最终的长期兴趣表示。公式如下：
Figure BDA0003595342340000039
ul为用户级别的长期兴趣表示，γi是主题级兴趣表示
Figure BDA00035953423400000310
的注意力权重。
(3)提取用户的短期行为特征
从用户最近浏览的新闻中来学习用户的短期兴趣表示，将新闻序列的向量表示输入到GRU中捕获顺序新闻阅读模式，即将用户近期浏览的新闻按时间戳升序进行排列。同时利用用户的长期兴趣表示来初始化GRU，强化长期喜好的影响，获取的短期兴趣表示即为用户最终表示。
(4)计算匹配概率，完成推荐
通过对用户最终表示和候选新闻表示进行向量内积得到用户点击候选新闻的概率分数，然后得到推荐列表。
实施例一：新闻推荐
新闻推荐即为根据用户喜好来为其推荐新闻的一种方法。可对用户表示和候选新闻表示进行相似度计算，来获得推荐列表。推荐结果的评价指标是AUC、MRR、nDCG@5和nDCG@10。AUC的公式为：
Figure BDA0003595342340000041
其中rank是样本预测值的排名，M和N分别为正样本数和负样本数，p为样本数。
MRR的公式为：
Figure BDA0003595342340000042
其中Q为查询个数，若第一个新闻正样本排在第rank位，则MRR的得分为
Figure BDA0003595342340000043
nDCG@K的公式为：
Figure BDA0003595342340000044
Figure BDA0003595342340000045
Figure BDA0003595342340000046
其中reli表示第i个结果的真实相关性分数，IDCG即为理想的DCG，|REL|表示将结果按照真实相关性从大到小进行排序，取前K个结果组成的集合的个数。
表1：新闻推荐任务
Figure BDA0003595342340000047
Figure BDA0003595342340000051
根据表1可以观察到：本发明相比其他模型的各个指标均有所提升。原因如下：(1)本发明分别学习了用户的长期兴趣和短期兴趣，相比于基线方法对用户表示的单一学习(如：Wide&Deep，DeepFM，DFM)，本发明能更准确的构建用户特征。(2)本发明在提取用户的长期兴趣偏好时，使用了分层结构来表示，充分学习了用户多样化和多粒度的兴趣特征；在提取用户的短期兴趣偏好时，将时间顺序考虑在内，相比较于未将其考虑在内的DeepFM，推荐效果明显提高。(3)本发明不同于其他方法(如：CNN，DKN)仅对标题特征进行学习，而是将新闻标题，主题和子主题融合来进行新闻特征的学习。
综上所述，本发明提出一种融入层级结构的长短期推荐方法，可分别对用户的长期兴趣和短期兴趣进行学习。长期兴趣表示使用三级层次结构来获取，底层用来获取子主题级别的兴趣表示，中间层用来获取主题级别的兴趣表示，顶层用来获取用户级别的长期兴趣表示。短期兴趣采用GRU网络从用户最近的浏览历史中进行学习，并用用户的长期兴趣表示初始化GRU，强化长期喜好的影响，优化模型训练效果。最后在MIND数据集上验证了本方法的有效性，与其他模型相比，本发明的推荐效果更佳。
以上举例仅仅是本发明的举例说明，并不构成对本发明的保护范围限制，凡是与本发明相同或相似的设计均属于本发明保护范围。

Claims (1)

1.一种融入层级结构的长短期推荐方法，其特征在于包括以下步骤：
(1)提取新闻特征：使用新闻编码器对新闻标题，主题及子主题进行学习，进而提取新闻表示；
(2)提取用户的长期行为特征：采用三级层次结构获取用户的长期兴趣表示，底层用来获取子主题级别的兴趣表示，中间层用来获取主题级别的兴趣表示，顶层用来获取用户级别的长期兴趣表示；
(3)提取用户的短期行为特征：利用门控循环单元(Gated Recurrent Unit，GRU)获取用户的短期兴趣表示，并用长期兴趣表示初始化GRU，获取的短期兴趣表示即为用户最终表示；
(4)推荐：将用户最终表示和候选新闻表示进行匹配，获得推荐列表，完成推荐。
CN202210390624.3A 2022-04-14 2022-04-14 一种融入层级结构的长短期推荐方法 Pending CN114722287A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210390624.3A CN114722287A (zh) 2022-04-14 2022-04-14 一种融入层级结构的长短期推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210390624.3A CN114722287A (zh) 2022-04-14 2022-04-14 一种融入层级结构的长短期推荐方法

Publications (1)

Publication Number Publication Date
CN114722287A true CN114722287A (zh) 2022-07-08

Family

ID=82243782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210390624.3A Pending CN114722287A (zh) 2022-04-14 2022-04-14 一种融入层级结构的长短期推荐方法

Country Status (1)

Country Link
CN (1) CN114722287A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115048586A (zh) * 2022-08-11 2022-09-13 广东工业大学 一种融合多特征的新闻推荐方法及系统
CN116562992A (zh) * 2023-07-11 2023-08-08 数据空间研究院 一种建模用户新兴趣不确定性的物品推荐方法、装置及介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115048586A (zh) * 2022-08-11 2022-09-13 广东工业大学 一种融合多特征的新闻推荐方法及系统
CN115048586B (zh) * 2022-08-11 2023-02-21 广东工业大学 一种融合多特征的新闻推荐方法及系统
CN116562992A (zh) * 2023-07-11 2023-08-08 数据空间研究院 一种建模用户新兴趣不确定性的物品推荐方法、装置及介质
CN116562992B (zh) * 2023-07-11 2023-09-29 数据空间研究院 一种建模用户新兴趣不确定性的物品推荐方法、装置及介质

Similar Documents

Publication Publication Date Title
CN109492157B (zh) 基于rnn、注意力机制的新闻推荐方法及主题表征方法
Zheng et al. A hybrid bidirectional recurrent convolutional neural network attention-based model for text classification
Yang et al. A LSTM based model for personalized context-aware citation recommendation
CN109829104B (zh) 基于语义相似度的伪相关反馈模型信息检索方法及系统
CN111368088A (zh) 一种基于深度学习的文本情感分类方法
Yan et al. " Shall I Be Your Chat Companion?" Towards an Online Human-Computer Conversation System
CN114722287A (zh) 一种融入层级结构的长短期推荐方法
CN111078833A (zh) 一种基于神经网络的文本分类方法
Tenenboim et al. Ontology-based classification of news in an electronic newspaper
Wang et al. Detecting hot topics from academic big data
WO2020231509A1 (en) Generating electronic summary documents for landing pages
Khalid et al. Topic detection from conversational dialogue corpus with parallel dirichlet allocation model and elbow method
CN115640462A (zh) 一种基于知识库增强的跨域新闻推荐方法
CN114840747A (zh) 一种基于对比学习的新闻推荐方法
Rathi et al. The importance of Term Weighting in semantic understanding of text: A review of techniques
Wang et al. Multi‐label emotion recognition of weblog sentence based on Bayesian networks
CN111259156A (zh) 一种面向时间序列的热点聚类方法
Mustafa et al. Optimizing document classification: Unleashing the power of genetic algorithms
CN115481313A (zh) 一种基于文本语义挖掘的新闻推荐方法
Jiang et al. Understanding a bag of words by conceptual labeling with prior weights
Ashraf et al. A study of deep learning methods for same-genre and cross-genre author profiling
Ibrahim et al. Large-scale text-based video classification using contextual features
Wang et al. Sentiment classification based on weak tagging information and imbalanced data
CN116226320A (zh) 一种预测下文信息的方法、装置、电子设备及存储介质
CN113761125A (zh) 动态摘要确定方法和装置、计算设备以及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination