CN108334638A - 基于长短期记忆神经网络与兴趣迁移的项目评分预测方法 - Google Patents

基于长短期记忆神经网络与兴趣迁移的项目评分预测方法 Download PDF

Info

Publication number
CN108334638A
CN108334638A CN201810229979.8A CN201810229979A CN108334638A CN 108334638 A CN108334638 A CN 108334638A CN 201810229979 A CN201810229979 A CN 201810229979A CN 108334638 A CN108334638 A CN 108334638A
Authority
CN
China
Prior art keywords
user
shot
project
long term
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810229979.8A
Other languages
English (en)
Other versions
CN108334638B (zh
Inventor
杨青
姚先河
张敬伟
韩丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN201810229979.8A priority Critical patent/CN108334638B/zh
Publication of CN108334638A publication Critical patent/CN108334638A/zh
Application granted granted Critical
Publication of CN108334638B publication Critical patent/CN108334638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于长短期记忆神经网络与兴趣迁移的项目评分预测方法，该方法结合用户的评分记录和项目的类别分别构建用户‑项目访问时间表和用户‑评分表，进而为每一个用户建立了兴趣‑评分关联表。根据推荐的个性化需求，基于上述数据为每一个用户训练LSTM模型，在综合考虑用户的历史行为和兴趣变化的情况下实现了用户对指定项目的评分预测。该方法将LSTM模型运用到推荐系统中，具有较高的准确度，证实了用户的兴趣迁移对用户评分预测的影响。

Description

基于长短期记忆神经网络与兴趣迁移的项目评分预测方法
技术领域
本发明涉及关联个性化推荐技术领域，具体涉及一种基于长短期记忆(LSTM)神经网络与兴趣迁移的项目评分预测方法。
背景技术
传统的推荐技术基于用户兴趣偏好构建个性化推荐服务模型，实现用户与推荐对象的有效匹配。但在实际环境中，由于各种内外因素影响，用户的偏好往往会随时间发生变化，即用户兴趣产生迁移。现有的以协同过滤为代表的推荐算法主要开采用户的历史“行为”数据进行相似度计算，进而识别推荐对象，未充分兼顾用户的兴趣变化。因此，需要构建一个准确的用户兴趣模型，充分开采用户的兴趣变化，精确模拟用户的兴趣迁移与变化，准确识别推荐项，提升用户黏度。
发明内容
本发明所要解决的是将用户的兴趣迁移与变化嵌入到个性化推荐任务、提升精准服务质量的问题，提供一种基于长短期记忆神经网络与兴趣迁移的项目评分预测方法。
为解决上述问题，本发明是通过以下技术方案实现的：
基于长短期记忆神经网络与兴趣迁移的项目评分预测方法，包括步骤如下：
步骤1、对项目类别进行编码标号，构建项目类别标签词典；根据每一项目的属性取值将项目归属到不同的类别中；基于每一项目的所属类别和类别标签词典，构建项目与类别表；
步骤2、分别构建两个N行M列的矩阵，分别存放N个用户对M个项目的访问时间和评分；扫描输入的样本数据集，提取用户对项目的访问时间填充用户与项目访问时间表，提取用户对项目的评分填充用户与评分表；
步骤3、对于每一用户，分别从项目与类别表、用户与项目访问时间表、以及用户与评分表中筛选出与该用户相关的记录，构建该用户在不同时刻的兴趣与评分关联表；
步骤4、逐行提取兴趣与评分关联表中的记录，将用户偏好随时间发生的变化部分作为模型的输入，将用户评分部分作为模型的输出，去训练每个用户基于长短期记忆神经网络模型；
步骤5、每个用户基于长短期记忆神经网络模型训练完毕后，将所有用户基于长短期记忆神经网络模型存储；当需要对某一用户即将访问某一项目的评分进行预测时，只需输入所需预测的用户ID和项目ID，即可自动提取该用户对应的基于长短期记忆神经网络模型，并自动从项目类别词典中查询该项目的项目类别信息输入到该用户对应的基于长短期记忆神经网络模型中，即可得到所需的预测评分结果。
上述步骤3中，需要对每个用户的兴趣与评分关联表中的记录按照访问时间进行升序排序。
上述步骤4中，采用神经网络优化算法来训练每个用户基于长短期记忆神经网络模型。
与现有技术相比，本发明采用深度递归神经网络中的长短期记忆模型(LSTM)提供一种基于用户历史数据进行兴趣迁移计算并最终实现推荐对象的评分预测的模型，通过构建长短期记忆深度递归神经网络模型，对用户在某领域下的访问记录进行处理。该记录应包含用户在一定时间内访问项目的类别，项目属性，项目评分以及访问时间。模型综合用户在访问过程中所体现的兴趣偏好迁移，预测用户下一时间对某项目的评分进而实现推荐。该方法运用神经网络模型，同时实现了评分预测和时序预测的效果，具有较高的准确度。
附图说明
图1为基于长短期记忆神经网络与兴趣迁移的项目评分预测方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照附图，对本发明进一步详细说明。
为准确构建用户兴趣模型，我们利用用户原有兴趣预测用户兴趣迁移的策略，准备识别推荐项，提升用户黏度。下面结合本发明具体实施案例中的附图，对本发明的技术方案进行详细描述。
参见图1，基于长短期记忆神经网络与兴趣迁移的项目评分预测方法，其具体包括步骤如下：
步骤(1)对于应用领域，设定项目类别集合，对项目类别进行编码标号，构建项目类别标签词典，用集合A＝{(1,类别1),(2,类别2),(3,类别3),…,(n,类别n)}来表示项目类别标签词典。根据每一项目的属性取值将项目归属到不同的类别中。基于每一项目的所属类别和类别标签词典，构建项目-类别表(如表1所示)，表中1表示项目属于该类别，0表示与该类别不相关。
表1项目-类别表
项目ID 项目类别1 项目类别2 … 项目类别n
1 1 0 … 1
2 0 1 … 0
… … … … …
n 1 1 … 1
步骤(2)分别构建两个N行M列的矩阵(如表2所示)，分别存放N个用户对M个项目的访问时间和评分。扫描输入数据集，提取用户对项目的访问时间填充用户-项目访问时间表，提取用户对项目的评分填充用户-评分表。
表2用户-项目访问时间表/用户-评分表
Item-1 Item-2 … Item-M
User-1
User-2
…
User-N
步骤(3)针对每一用户，构建其兴趣-评分关联表。设当前处理的用户ID为a，在用户-项目类别表、用户-项目访问时间表和用户-评分表中分别筛选出用户a相关的记录，构建用户a在不同时刻的兴趣-评分关联表，如表3所示，记录按照访问时间升序排序。
表3用户兴趣-评分关联表
步骤(4)将表3中用户偏好随时间发生的变化部分作为模型的输入，将用户评分部分视为模型输出，开展LSTM模型训练。即逐行提取表3中构建的用户兴趣-评分关联表中的数据。将X＝[x1,x2,…,xn]作为模型的输入，Y＝y1作为模型的输出值。采用最小化预测值与真实值的误差来训练神经网络。
采用Xavier方法初始化神经网络权值。权重W服从公式(1)中的均匀分布，其中j表示神经网络的层数，nj表示对应层的节点数：
隐藏层节点数由输入节点数量决定，这里取两倍的输入节点个数。即若项目类别数量为N，则神经网络的输入节点为N+1(包含了上一时间步评分和项目类别)；隐藏层节点数为2*(N+1)；输出层节点为1，用于输出预测评分。每一个用户都有一个属于自己的独立的神经网络模型参数：
Sa:{W,b,ht,Ct} (2)
其中，ht代表不同时间t下的隐藏层的值，Ct为经过计算得到的用户个性化网络的细胞状态。在一个完整的LSTM结构中，Ct主要包括遗忘门、输入门、细胞状态、输出门等部分。其相关计算公式如下：
遗忘门：用以决定从细胞状态中丢弃的信息，其公式如下：
ft＝σ(Wf+[ht-1,xt]+bf) (3)
输入门：用以筛选新旧信息并存放于细胞状态，其公式如下：
it＝σ(Wi·[ht-1,xt]+bi) (4)
细胞状态：用以存放模型中的关键信息，其状态更新公式如下：
Ct＝ft*Ct-1+it*tanh(WC·[ht-1,xt]+bC) (5)
其中，细胞状态为LSTM网络模型能够得以存储用户的个性化信息的关键。最终当前时间状态下，t时间步隐藏层输出如下所示：
ht＝ot*tan h(Ct) (6)
该值将结合Ct被应用于下一时间步的评分预测，最终输出值由输出门的出。
输出门：基于细胞状态最终确定输出，其公式如下：
ot＝σ(Wo[ht-1,xt]+bo) (7)
神经网络模型通过最小化预测输出ot与实际输出yt的差值(yt为t时刻用户浏览某一项目的预测评分)来对模型的参数进行优化。
步骤(5)每个用户基于长短期记忆神经网络模型训练完毕后，将所有用户基于长短期记忆神经网络模型进行存储。此时，当需要对某一用户即将访问某一项目的评分进行预测时，只需输入所需预测的用户ID和项目ID，即可自动提取该用户对应的基于长短期记忆神经网络模型，并自动从项目类别词典中查询该项目的项目类别信息输入到该用户对应的基于长短期记忆神经网络模型中，即可得到所需的预测评分结果。
本发明提出了一种基于LSTM的用户兴趣迁移模型、并进行项目评分预测、实现项目推荐的方法。该方法结合用户的评分记录和项目的类别分别构建用户-项目访问时间表和用户-评分表，进而为每一个用户建立了兴趣-评分关联表。根据推荐的个性化需求，基于上述数据为每一个用户训练LSTM模型，在综合考虑用户的历史行为和兴趣变化的情况下实现了用户对指定项目的评分预测。该方法将LSTM模型运用到推荐系统中，具有较高的准确度，证实了用户的兴趣迁移对用户评分预测的影响。
需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。

Claims (3)

1.基于长短期记忆神经网络与兴趣迁移的项目评分预测方法，其特征是，包括步骤如下：
步骤1、对项目类别进行编码标号，构建项目类别标签词典；根据每一项目的属性取值将项目归属到不同的类别中；基于每一项目的所属类别和类别标签词典，构建项目与类别表；
步骤2、分别构建两个N行M列的矩阵，分别存放N个用户对M个项目的访问时间和评分；扫描输入的样本数据集，提取用户对项目的访问时间填充用户与项目访问时间表，提取用户对项目的评分填充用户与评分表；
步骤3、对于每一用户，分别从项目与类别表、用户与项目访问时间表、以及用户与评分表中筛选出与该用户相关的记录，构建该用户在不同时刻的兴趣与评分关联表；
步骤4、逐行提取兴趣与评分关联表中的记录，将用户偏好随时间发生的变化部分作为模型的输入，将用户评分部分作为模型的输出，去训练每个用户基于长短期记忆神经网络模型；
步骤5、每个用户基于长短期记忆神经网络模型训练完毕后，将所有用户基于长短期记忆神经网络模型存储；当需要对某一用户即将访问某一项目的评分进行预测时，只需输入所需预测的用户ID和项目ID，即可自动提取该用户对应的基于长短期记忆神经网络模型，并自动从项目类别词典中查询该项目的项目类别信息输入到该用户对应的基于长短期记忆神经网络模型中，即可得到所需的预测评分结果。
2.根据权利要求1所述的基于长短期记忆神经网络与兴趣迁移的项目评分预测方法，其特征是，步骤3中，需要对每个用户的兴趣与评分关联表中的记录按照访问时间进行升序排序。
3.根据权利要求1所述的基于长短期记忆神经网络与兴趣迁移的项目评分预测方法，其特征是，步骤4中，采用神经网络优化算法来训练每个用户基于长短期记忆神经网络模型。
CN201810229979.8A 2018-03-20 2018-03-20 基于长短期记忆神经网络与兴趣迁移的项目评分预测方法 Active CN108334638B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810229979.8A CN108334638B (zh) 2018-03-20 2018-03-20 基于长短期记忆神经网络与兴趣迁移的项目评分预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810229979.8A CN108334638B (zh) 2018-03-20 2018-03-20 基于长短期记忆神经网络与兴趣迁移的项目评分预测方法

Publications (2)

Publication Number Publication Date
CN108334638A true CN108334638A (zh) 2018-07-27
CN108334638B CN108334638B (zh) 2020-07-28

Family

ID=62931180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810229979.8A Active CN108334638B (zh) 2018-03-20 2018-03-20 基于长短期记忆神经网络与兴趣迁移的项目评分预测方法

Country Status (1)

Country Link
CN (1) CN108334638B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063188A (zh) * 2018-08-28 2018-12-21 国信优易数据有限公司 一种实体推荐方法和装置
CN109325130A (zh) * 2018-08-02 2019-02-12 华中师范大学 一种时序性认知诊断方法及装置
CN110083769A (zh) * 2019-04-29 2019-08-02 西北工业大学 一种面向用户偏好演化的移动应用推荐方法
WO2020048061A1 (zh) * 2018-09-05 2020-03-12 平安科技（深圳）有限公司 产品推荐方法、装置、计算机设备和存储介质
CN110955659A (zh) * 2019-11-28 2020-04-03 第四范式（北京）技术有限公司 处理数据表的方法及系统
CN111090774A (zh) * 2019-11-07 2020-05-01 北京科技大学 一种边缘计算环境下的视频热度预测方法
CN111461455A (zh) * 2020-04-16 2020-07-28 武汉大学 一种基于关联周期注意力机制的行为预测方法
CN111581520A (zh) * 2020-05-25 2020-08-25 中国人民解放军国防科技大学 基于会话中物品重要性的物品推荐方法和系统
CN112084415A (zh) * 2020-09-17 2020-12-15 辽宁工程技术大学 一种基于用户和项目长短期时间耦合关系分析的推荐方法
CN113961818A (zh) * 2021-06-10 2022-01-21 西北大学 一种基于长短期兴趣与社会影响力的群体需求预测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740444A (zh) * 2016-02-02 2016-07-06 桂林电子科技大学 基于用户评分的项目推荐方法
CN105956089A (zh) * 2016-05-03 2016-09-21 桂林电子科技大学 一种针对具备项目的分类信息的推荐方法
CN106202205A (zh) * 2016-06-28 2016-12-07 重庆大学 基于内存计算框架和长短周期兴趣迁移及融合模型的音乐推荐方法
CN107291845A (zh) * 2017-06-02 2017-10-24 北京邮电大学 一种基于预告片的电影推荐方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740444A (zh) * 2016-02-02 2016-07-06 桂林电子科技大学 基于用户评分的项目推荐方法
CN105956089A (zh) * 2016-05-03 2016-09-21 桂林电子科技大学 一种针对具备项目的分类信息的推荐方法
CN106202205A (zh) * 2016-06-28 2016-12-07 重庆大学 基于内存计算框架和长短周期兴趣迁移及融合模型的音乐推荐方法
CN107291845A (zh) * 2017-06-02 2017-10-24 北京邮电大学 一种基于预告片的电影推荐方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KUAN LIU ET AL.: "Temporal Learning and Sequence Modeling for a Job Recommender System", 《ARXIV:1608.03333V1》 *
ROBIN DEVOOGHT ET AL.: "Long and Short-Term Recommendations with Recurrent Neural Networks", 《CONFERENCE ON USER MODELING, ADAPTATION AND PERSONALIZATION》 *
胡伟健 等: "适应用户兴趣变化的改进型协同过滤算法", 《计算机应用》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325130A (zh) * 2018-08-02 2019-02-12 华中师范大学 一种时序性认知诊断方法及装置
CN109063188A (zh) * 2018-08-28 2018-12-21 国信优易数据有限公司 一种实体推荐方法和装置
WO2020048061A1 (zh) * 2018-09-05 2020-03-12 平安科技（深圳）有限公司 产品推荐方法、装置、计算机设备和存储介质
CN110083769A (zh) * 2019-04-29 2019-08-02 西北工业大学 一种面向用户偏好演化的移动应用推荐方法
CN110083769B (zh) * 2019-04-29 2023-04-18 西北工业大学 一种面向用户偏好演化的移动应用推荐方法
CN111090774B (zh) * 2019-11-07 2023-06-27 北京科技大学 一种边缘计算环境下的视频热度预测方法
CN111090774A (zh) * 2019-11-07 2020-05-01 北京科技大学 一种边缘计算环境下的视频热度预测方法
CN110955659B (zh) * 2019-11-28 2023-02-21 第四范式（北京）技术有限公司 处理数据表的方法及系统
CN110955659A (zh) * 2019-11-28 2020-04-03 第四范式（北京）技术有限公司 处理数据表的方法及系统
CN111461455B (zh) * 2020-04-16 2022-05-13 武汉大学 一种基于关联周期注意力机制的行为预测方法
CN111461455A (zh) * 2020-04-16 2020-07-28 武汉大学 一种基于关联周期注意力机制的行为预测方法
CN111581520B (zh) * 2020-05-25 2022-04-19 中国人民解放军国防科技大学 基于会话中物品重要性的物品推荐方法和系统
CN111581520A (zh) * 2020-05-25 2020-08-25 中国人民解放军国防科技大学 基于会话中物品重要性的物品推荐方法和系统
CN112084415A (zh) * 2020-09-17 2020-12-15 辽宁工程技术大学 一种基于用户和项目长短期时间耦合关系分析的推荐方法
CN112084415B (zh) * 2020-09-17 2024-02-02 辽宁工程技术大学 一种基于用户和项目长短期时间耦合关系分析的推荐方法
CN113961818A (zh) * 2021-06-10 2022-01-21 西北大学 一种基于长短期兴趣与社会影响力的群体需求预测方法
CN113961818B (zh) * 2021-06-10 2024-03-12 西北大学 一种基于长短期兴趣与社会影响力的群体需求预测方法

Also Published As

Publication number Publication date
CN108334638B (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN108334638A (zh) 基于长短期记忆神经网络与兴趣迁移的项目评分预测方法
Goulart Coelho et al. Multi-criteria decision making to support waste management: A critical review of current practices and methods
CN109785062B (zh) 一种基于协同过滤模型的混合神经网络推荐系统
CN109523021A (zh) 一种基于长短时记忆网络的动态网络结构预测方法
CN111914895B (zh) 基于多层注意力机制并融合图谱的水利门户信息推荐方法
CN111291940B (zh) 一种基于Attention深度学习模型的学生辍课预测方法
CN108804689A (zh) 面向问答平台的融合用户隐连接关系的标签推荐方法
CN110147902A (zh) 一种多项运营指标联合异常监测方法
CN111753207B (zh) 一种基于评论的神经图协同过滤方法
CN111191833B (zh) 一种基于神经网络的智能实验过程推荐方法及系统
CN109447698A (zh) 一种基于神经网络的推荐算法
CN113590958B (zh) 基于样本回放的序列推荐模型的持续学习方法
CN115013859B (zh) 一种基于用户画像的供热二级网分户调控方法
CN113591971B (zh) 基于dpi时间序列词嵌入向量的用户个性行为预测方法
CN108733669A (zh) 一种基于词向量的个性化媒体内容推荐系统及方法
CN114781710A (zh) 一种综合学习过程及题目知识点难度特征的知识追踪方法
Chen et al. Improved prediction of hourly PM2. 5 concentrations with a long short-term memory and spatio-temporal causal convolutional network deep learning model
CN108234596A (zh) 航空信息推送方法及装置
Mu et al. Wine recommendation algorithm based on partitioning and stacking integration strategy for Chinese wine consumers
CN116341752A (zh) 一种基于图神经网络的协同供应链预测方法
CN113961818B (zh) 一种基于长短期兴趣与社会影响力的群体需求预测方法
CN108804605A (zh) 一种基于层次结构的推荐方法
CN113379211B (zh) 基于区块链的物流信息平台违约风险管控系统及方法
Li et al. Research on psychological emotion recognition of college students based on deep learning
Hikmaturokhman et al. Deep Learning Algorithm Models for Spam Identification on Cellular Short Message Service.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant