CN110377845B - 基于区间半监督lda的协同过滤推荐方法 - Google Patents

基于区间半监督lda的协同过滤推荐方法 Download PDF

Info

Publication number
CN110377845B
CN110377845B CN201910674286.4A CN201910674286A CN110377845B CN 110377845 B CN110377845 B CN 110377845B CN 201910674286 A CN201910674286 A CN 201910674286A CN 110377845 B CN110377845 B CN 110377845B
Authority
CN
China
Prior art keywords
topic
document set
document
documents
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910674286.4A
Other languages
English (en)
Other versions
CN110377845A (zh
Inventor
程戈
钟杰
张冬良
谢辉
李龙键
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangtan University
Original Assignee
Xiangtan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangtan University filed Critical Xiangtan University
Priority to CN201910674286.4A priority Critical patent/CN110377845B/zh
Publication of CN110377845A publication Critical patent/CN110377845A/zh
Application granted granted Critical
Publication of CN110377845B publication Critical patent/CN110377845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及个性化推荐领域，具体涉及一种基于区间半监督LDA的协同过滤推荐方法。步骤如下：S1处理原始文档集，获取由单个词组成的文档集D；S2根据用户相关的子主题，构建关键词集Ws；S3将每组关键词分别固定到一个主题区间
Figure DDA0002141187500000011
并改进吉布斯采样过程；S4对文档集中所有的词汇W随机给出主题编号zi；S5利用改进后的吉布斯采样方法再一次对文档集中所有的词汇进行采样，并更新所有数据；S6重复步骤S5，直到改进后的吉布斯采样收敛。S7统计每篇文档中的主题分布
Figure DDA0002141187500000012
构建文档集的主题分布矩阵Hq,l；S8使用KL散度计算文档之间的相似度矩阵Wm,n；S9利用相似度矩阵获取推荐文档集。本发明提出的方法明显提高了对预定的主题领域感兴趣的用户的推荐准确率。

Description

基于区间半监督LDA的协同过滤推荐方法
技术领域
本发明涉及智能管理的学习处理领域，具体涉及一种基于区间半监督LDA的协同过滤推荐方法。
背景技术
随着互联网技术的迅速发展，大量的信息呈现在人们面前，满足了人们在信息时代对信息的需求，同时也带来了信息量的大幅增长。用户在面对大量信息时很难从中获得对自己真正有价值的那部分信息，因此信息时代下的信息使用率反而降低了。个性化推荐技术从20世纪90年代中期开始出现，亚马逊的基于项目的协同过滤方法是个性化推荐发展的一个重要阶段。由于给亚马逊增加了将近25％的访问量，由此也掀起了个性化推荐的研究热潮。
协同过滤推荐方法是最常用的个性化推荐方法之一，其利用大量相关数据对用户行为相似性进行分析并为用户提供个性化推荐。在大数据时代，大量的数据呈现在人们面前，而个性化推荐的实现需要挖掘数据中的隐含信息。LDA主题模型通常用于获取文档的主题分布信息，因此，许多学者尝试将LDA主题模型应用于协同过滤推荐方法之中，并且不断地进行探索优化。
传统的LDA主题模型是无监督主题模型，在实际的文本挖掘应用中，整个数据集经常需要处理大量的主题，而用户实际上只对其中一小部分主题感兴趣。在这种情况下，直接应用LDA模型存在明显的缺点。即LDA模型在处理大量主题的过程中，往往会生成很多的局部极大值；这使得模型可能会给出许多“垃圾”主题，最终生成不稳定的结果。但是，在多数情况下数据集中相关主题存在的数量太少，所以需要使用大量的主题以无监督的方式来捕获它们。
发明内容
本发明在LDA主题模型的基础上，固定相关主题关键词对应的主题区间，提出了区间半监督LDA主题模型。区间半监督LDA主题模型根据用户关注的子主题，确定关键词集，将每一组关键词映射到多个主题区间。并且，本发明将区间半监督LDA主题模型应用于协同过滤推荐方法之中，用以计算文档主题分布矩阵。
基于区间半监督LDA的协同过滤推荐方法，所述方法包括一下步骤：
S1处理原始文档集，获取由单个词组成的文档集D；
S2根据用户相关的子主题，构建关键词集Ws；
S3将每组关键词分别固定到一个主题区间
Figure GDA0003673480150000011
并在此基础上改进吉布斯采样过程，其计算公式如下：
Figure GDA0003673480150000021
其中，zi，zj表示一定分布下的迭代地重采样，i，j是词向量的实例，-i，-j表示排除当前词，t表示主题，z表示主题变量，α表示主题的先验分布参数，β表示词的先验分布参数，
Figure GDA0003673480150000022
表示预定义关键词w对应的主题区间，
Figure GDA0003673480150000023
为确定位置的指示函数：如果主题
Figure GDA0003673480150000024
则
Figure GDA0003673480150000025
q(zi，t，z-i，i，α，β)表示传统的吉布斯采样过程；
S4对文档集中所有的词汇w随机给出主题编号zi；
S5利用改进后的吉布斯采样方法再一次对文档集中所有的词汇进行采样，并且更新所有数据；
S6重复步骤S5，直到改进后的吉布斯采样收敛。
S7统计每篇文档中的主题分布
Figure GDA0003673480150000026
构建文档集的主题分布矩阵Hq，l；
S8使用KL散度计算文档之间的相似度矩阵Wm，n；
S9利用相似度矩阵获取推荐文档集。
其中，在所述步骤S1中，原始文档集包括用户文档集和备选推荐文档集；用户文档集包括用户阅读、发布或转发的文档，备选推荐文档集指根据具体情况获取的可从中选取推荐文档的文档集。
在所述步骤S1中，对原始文档集中的文档进行的处理是指分词处理，并且去除停用词。
在步骤S2中，提到的用户相关的子主题是指根据用户阅读、发表或转发的文档总结得出的用户感兴趣的子主题。
在步骤S2中提到的关键词集指能代表子主题的某些词的组合。
在步骤S3中将每一组关键词映射到多个主题，并且选择相邻的主题区间
Figure GDA0003673480150000027
在步骤S7中，在吉布斯采样收敛之后，已知每篇文档主题-词的频率矩阵，根据频率矩阵计算每篇文档的主题分布。
在步骤S8中利用KL散度分别计算用户文档集中每篇文档的主题分布与备选推荐文档集中每篇文档的主题分布之间的相似度，构建相似度矩阵。
在步骤S9中，据文档相似矩阵选取相似度最大的前N篇文档形成初始的推荐列表，对比推荐文档与用户阅读过的文档，删除重复文档并且过滤低质量文档，得到最终的推荐文档。
本发明技术效果或优点：
相比于现有的技术方案，本发明提出的基于区间半监督LDA的协同过滤推荐方法将关键词映射到一个主题区间而不是单独的一个主题，这样可以有效避免忽略其他有效主题，提高了现有推荐方法的推荐准确率并且通过简化吉布斯采样的过程，提高了模型的计算效率。
附图说明
图1是基于区间半监督LDA的协同过滤推荐方法流程图。
图2是LDA主题模型、半监督LDA主题模型和区间半监督LDA主题模型的图模型。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式做进一步的描述。
基于区间半监督LDA的协同过滤推荐方法，如图1所示，所述方法包括以下步骤：
S1处理原始文档集，获取由单个词组成的文档集D；
S2根据用户相关的子主题，构建关键词集Ws；
S3将每组关键词分别固定到一个主题区间
Figure GDA0003673480150000031
并在此基础上改进吉布斯采样过程，其计算公式如下：
Figure GDA0003673480150000032
其中，zi，zj表示一定分布下的迭代地重采样，i，j是词向量的实例，-i，-j表示排除当前词，t表示主题，z表示主题变量，α表示主题的先验分布参数，β表示词的先验分布参数，
Figure GDA0003673480150000033
表示预定义关键词w对应的主题区间，
Figure GDA0003673480150000034
为确定位置的指示函数：如果主题
Figure GDA0003673480150000035
则
Figure GDA0003673480150000036
q(zi，t，z-i，i，α，β)表示传统的吉布斯采样过程；
S4对文档集中所有的词汇w随机给出主题编号zi；
S5利用改进后的吉布斯采样方法再一次对文档集中所有的词汇进行采样，并且更新所有数据；
S6重复步骤S5，直到改进后的吉布斯采样收敛。
S7统计每篇文档中的主题分布
Figure GDA0003673480150000037
构建文档集的主题分布矩阵Hq，l；
S8使用KL散度计算文档之间的相似度矩阵Wm，n；
S9利用相似度矩阵获取推荐文档集。
在步骤S1中，数据预处理的步骤主要包括：
1)数据筛选：由于所有数据均由万维网直接获取，因此需要对其进行筛选。过滤掉一些质量不过关的文档，例如文字数量不超过50的文档等。
2)分词：需要对文本数据进行分词处理，将单篇文档分解为一个个独立的词。本发明使用python语言的jieba程序包对文本数据进行分词处理。同时本发明在分词处理中加入了一部分自定义词，如倪大红等知名人物名称等。
3)去除停用词：为了节省空间和提高搜索效率，本发明在处理文本之前会对分词结果进行去除标点符号以及一些与表征语意无关的停用词的处理。停用词是指中文中的一些特殊的词，这些词主要包括：语气助词、副词、介词、连接词等，本文根据实际情况创建了自己的停用词表。
在步骤S3中，本发明建议将每一组关键词映射到多个主题，而选择相邻的区间比较方便，所以使用区间半监督LDA。每个关键词w∈Ws都被映射到一个区间
Figure GDA0003673480150000038
并且概率分布仅限于该区间；生成的图模型如图2所示。在吉布斯抽样中，需将所有
Figure GDA0003673480150000039
之外的主题概率设置为零并重整分布(w＝wj是实例j中的词)。
区间半监督LDA能够使得几个关键词集代表不同的兴趣主题：一个简单的原则是分配不相交的主题区间。由公式可以看出当词包含在关键词集中时，区间半监督LDA主题模型会排除主题不属于预定义主题区间的情况，只计算包含于预定义主题区间的主题分布。由此，区间半监督LDA主题模型会具备半监督LDA的所有优点，包括解决由处理大量无关主题而产生局部极大值的问题和提高模型的计算效率。同时，由于区间半监督LDA主题模型将关键词映射到一个主题区间而不是单独的一个主题，这样也可以有效避免忽略其他有效主题。
在步骤S8中，使用KL散度计算文档相似度矩阵。KL散度是一种量化两种概率分布P和Q之间差异的方式，又叫相对熵。KL散度的计算公式为：
Figure GDA0003673480150000041
从KL散度的计算公式可以看出其结果并对称，也就是说DK，L(p||q)≠DK，L(q||p),本发明采用平均数将其转化为对称的。即：
wp，q＝[DK，L(p||q)+DK，L(q||p)]/2
在已知主题分布矩阵的条件下，利用KL散度即可计算文档相似度矩阵。
在步骤S9中，已知初始推荐文档之后，不能把文档直接推荐给用户，需要首先删除重复文档并且对文档进行过滤操作。
(1)对比推荐文档与用户阅读过的文档，删除重复文档。在用户已经阅读过该文档的前提下，没有必要再推荐此文档，这样可以有效提高推荐文档的新颖性。
(2)过滤低质量文档。在向用户推荐文档之前，需要对文档质量进行检测，推荐高质量文档，提高用户的体验。
本发明提供了一种基于区间半监督LDA的协同过滤推荐方法实施方式，并不构成对本发明的保护权限，任何在本发明上的改进，只要原理相同，都包含在本发明的权利要求之内。

Claims (9)

1.基于区间半监督LDA的协同过滤推荐方法，所述方法包括一下步骤：
S1处理原始文档集，获取由词组成的文档集D；
S2根据用户相关的子主题，构建关键词集Ws；
S3将每组关键词分别固定到一个主题区间
Figure FDA0003673480140000011
并在此基础上改进吉布斯采样过程，其计算公式如下：
Figure FDA0003673480140000012
其中，zi，zj表示一定分布下的迭代地重采样，i，j是词向量的实例，-i，-j表示排除当前词，t表示主题，z表示主题变量，α表示主题的先验分布参数，β表示词的先验分布参数，
Figure FDA0003673480140000013
表示预定义关键词w对应的主题区间，
Figure FDA0003673480140000014
为确定位置的指示函数：如果主题
Figure FDA0003673480140000015
则
Figure FDA0003673480140000016
q(zi，t，z-i，i，α，β)表示传统的吉布斯采样过程；
S4对文档集中所有的词汇w随机给出主题编号zi；
S5利用改进后的吉布斯采样方法再一次对文档集中所有的词汇进行采样，并且更新所有数据；
S6重复步骤S5，直到改进后的吉布斯采样收敛；
S7统计每篇文档中的主题分布
Figure FDA0003673480140000017
构建文档集的主题分布矩阵Hq，l；
S8使用KL散度计算文档之间的相似度矩阵Wm，n；
S9利用相似度矩阵获取推荐文档集。
2.根据权利要求1所述的方法，其特征在于，所述步骤S1中的原始文档集包括用户文档集和备选推荐文档集；用户文档集包括用户阅读、发布或转发的文档，备选推荐文档集指根据具体情况获取的可从中选取推荐文档的文档集。
3.根据权利要求1或2所述的方法，其特征在于，所述步骤S1中，对原始文档集中的文档进行的处理是指分词处理，并且去除停用词。
4.根据权利要求1所述的方法，其特征在于，所述步骤S2中，用户相关的子主题是指根据用户阅读、发表或转发的文档总结得出的用户感兴趣的子主题。
5.根据权利要求1或4中任一项所述的方法，其特征在于，步骤S2中的关键词集指能代表子主题的某些词的组合。
6.根据权利要求1所述的方法，其特征在于，所述步骤S3中将每一组关键词映射到多个主题，并且选择相邻的主题区间
Figure FDA0003673480140000018
7.根据权利要求1所述的方法，其特征在于，所述步骤S7中，在吉布斯采样收敛之后，已知每篇文档主题-词的频率矩阵，根据频率矩阵计算每篇文档的主题分布。
8.根据权利要求1所述的方法，其特征在于，所述步骤S8中利用KL散度分别计算用户文档集中每篇文档的主题分布与备选推荐文档集中每篇文档的主题分布之间的相似度，构建相似度矩阵。
9.根据权利要求1所述的方法，其特征在于，所述步骤S9中，据文档相似矩阵选取相似度最大的前N篇文档形成初始的推荐列表，对比推荐文档与用户阅读过的文档，删除重复文档并且过滤低质量文档，得到最终的推荐文档。
CN201910674286.4A 2019-07-24 2019-07-24 基于区间半监督lda的协同过滤推荐方法 Active CN110377845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910674286.4A CN110377845B (zh) 2019-07-24 2019-07-24 基于区间半监督lda的协同过滤推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910674286.4A CN110377845B (zh) 2019-07-24 2019-07-24 基于区间半监督lda的协同过滤推荐方法

Publications (2)

Publication Number Publication Date
CN110377845A CN110377845A (zh) 2019-10-25
CN110377845B true CN110377845B (zh) 2022-07-22

Family

ID=68255748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910674286.4A Active CN110377845B (zh) 2019-07-24 2019-07-24 基于区间半监督lda的协同过滤推荐方法

Country Status (1)

Country Link
CN (1) CN110377845B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111538846A (zh) * 2020-04-16 2020-08-14 武汉大学 基于混合协同过滤的第三方库推荐方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103823848A (zh) * 2014-02-11 2014-05-28 浙江大学 一种基于lda和vsm的中草药相似文献的推荐方法
CN103886067A (zh) * 2014-03-20 2014-06-25 浙江大学 使用标签隐含主题进行图书推荐的方法
CN106897363A (zh) * 2017-01-11 2017-06-27 同济大学 基于眼动追踪的文本推荐方法
CN109885675A (zh) * 2019-02-25 2019-06-14 合肥工业大学 基于改进lda的文本子话题发现方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10860829B2 (en) * 2015-01-16 2020-12-08 Oracle International Corporation Data-parallel parameter estimation of the Latent Dirichlet allocation model by greedy Gibbs sampling

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103823848A (zh) * 2014-02-11 2014-05-28 浙江大学 一种基于lda和vsm的中草药相似文献的推荐方法
CN103886067A (zh) * 2014-03-20 2014-06-25 浙江大学 使用标签隐含主题进行图书推荐的方法
CN106897363A (zh) * 2017-01-11 2017-06-27 同济大学 基于眼动追踪的文本推荐方法
CN109885675A (zh) * 2019-02-25 2019-06-14 合肥工业大学 基于改进lda的文本子话题发现方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Rating LDA model for collaborative filtering";Xiuze Zhou等;《Knowledge-Based Systems》;20160718;全文 *
"基于LDA的文本主题挖掘研究";毛玲;《中国优秀博硕士学位论文全文数据库(硕士) 社会科学Ⅱ辑》;20190615;全文 *

Also Published As

Publication number Publication date
CN110377845A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
Neelakandan et al. A gradient boosted decision tree-based sentiment classification of twitter data
CN111753060B (zh) 信息检索方法、装置、设备及计算机可读存储介质
CN108052593B (zh) 一种基于主题词向量和网络结构的主题关键词提取方法
CN106776711B (zh) 一种基于深度学习的中文医学知识图谱构建方法
CN107451126B (zh) 一种近义词筛选方法及系统
CN106383877B (zh) 一种社交媒体在线短文本聚类和话题检测方法
WO2021114745A1 (zh) 一种基于词缀感知的社交媒体命名实体识别方法
CN109815336B (zh) 一种文本聚合方法及系统
US20150310862A1 (en) Deep learning for semantic parsing including semantic utterance classification
CN110413787B (zh) 文本聚类方法、装置、终端和存储介质
CN113392209B (zh) 一种基于人工智能的文本聚类方法、相关设备及存储介质
CN110807324A (zh) 一种基于IDCNN-crf与知识图谱的影视实体识别方法
CN108733647B (zh) 一种基于高斯分布的词向量生成方法
CN109446423B (zh) 一种新闻以及文本的情感判断系统及方法
CN115796181A (zh) 一种针对化工领域的文本关系抽取方法
CN112559747A (zh) 事件分类处理方法、装置、电子设备和存储介质
CN116089873A (zh) 模型训练方法、数据分类分级方法、装置、设备及介质
CN114153978A (zh) 模型训练方法、信息抽取方法、装置、设备及存储介质
CN114997288A (zh) 一种设计资源关联方法
CN102521402B (zh) 文本过滤系统及方法
CN115600605A (zh) 一种中文实体关系联合抽取方法、系统、设备及存储介质
CN114676346A (zh) 新闻事件处理方法、装置、计算机设备和存储介质
CN114048354A (zh) 基于多元表征和度量学习的试题检索方法、装置及介质
CN110377845B (zh) 基于区间半监督lda的协同过滤推荐方法
CN116522165B (zh) 一种基于孪生结构的舆情文本匹配系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20191025

Assignee: Xiangtan Productivity Promotion Center Co.,Ltd.

Assignor: XIANGTAN University

Contract record no.: X2022980029966

Denomination of invention: A collaborative filtering recommendation method based on interval semi-supervised LDA

Granted publication date: 20220722

License type: Common License

Record date: 20230103