CN113268657B - 基于评论和物品描述的深度学习推荐方法及系统 - Google Patents

基于评论和物品描述的深度学习推荐方法及系统 Download PDF

Info

Publication number
CN113268657B
CN113268657B CN202110411553.6A CN202110411553A CN113268657B CN 113268657 B CN113268657 B CN 113268657B CN 202110411553 A CN202110411553 A CN 202110411553A CN 113268657 B CN113268657 B CN 113268657B
Authority
CN
China
Prior art keywords
article
user
item
data
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110411553.6A
Other languages
English (en)
Other versions
CN113268657A (zh
Inventor
刘晓楠
王美玲
尹美娟
乔猛
荆丽娜
宋慧超
江舵
安家乐
何明
柳欢欢
谢浩山
赵晨言
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Engineering University of PLA Strategic Support Force
Original Assignee
Information Engineering University of PLA Strategic Support Force
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Engineering University of PLA Strategic Support Force filed Critical Information Engineering University of PLA Strategic Support Force
Priority to CN202110411553.6A priority Critical patent/CN113268657B/zh
Publication of CN113268657A publication Critical patent/CN113268657A/zh
Application granted granted Critical
Publication of CN113268657B publication Critical patent/CN113268657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于推荐算法技术领域，特别涉及一种基于评论和物品描述的深度学习推荐方法及系统，获取用于深度学习训练的数据样本，该数据样本包含用户集合、物品集、物品评论文本及物品描述数据；构建用于通过深度学习来获取用户对物品预测打分数据的推荐网络模型，通过输入与用户有关的所有物品描述数据、每个物品所收到的评论文本、及物品描述数据，并结合每个物品对用户关联程度进行模型训练；通过数据样本对推荐网络模型进行训练优化；利用优化后的推荐网络模型来获取目标区域内用户对物品的预测打分。本发明将物品描述数据和物品评论文本相结合，获取更为准确的用户预测打分结果，提升推荐精确度。

Description

基于评论和物品描述的深度学习推荐方法及系统
技术领域
本发明属于推荐算法技术领域，特别涉及一种基于评论和物品描述的深度学习推荐方法及系统。
背景技术
近些年，深度学习在自然语言处理、计算机视觉等领域的成功，使得推荐领域开始注意到这个强大的工具，学者们开始探索利用深度学习方法来改善目前推荐系统一些难以被克服的弱点，如数据稀疏、冷启动、可解释性差等问题。如叠式降噪自编码器(SDAE)从稀疏的用户-项目矩阵中提取有用的低维特征并用于计算用户相似度，最后实现精确地Top-n推荐；协同深度学习(CDL)使用SDAE作为其特征学习组件，同时从内容中提取有效的深度特征表示以及从项目(和用户)之间捕获相似性和隐式关系，紧密耦合了内容和评级信息，有效缓解了低鲁棒性和数据稀疏问题；特别是CNN和RNN的出现更是在很多NLP任务中取得了巨大成功。注意力机制的关键就是去学习一个权重来标识重要程度，被提出来后被广泛的应用于自然语言处理，在机器翻译、阅读理解、语音识别等领域都取得了最先进的结果。自然语言处理(Natural Language Processing,NLP)的发展对评论文本在推荐领域的应用有很大的促进作用。现有中，往往通过采集用户评论及购买历史来实现推荐算法，每一个用户都会购买很多商品，并对许多商品进行评论，对于一个新的物品，还没有或者很少被购买和评价，若只利用评论文本或购买历史，没有重视物品本身描述文档，往往会影响实际运用中的推荐效果。
发明内容
为此，本发明提供一种基于评论和物品描述的深度学习推荐方法及系统，将物品描述和物品评论相结合，获取更为准确的用户预测打分结果，提升推荐精度。
按照本发明所提供的设计方案，提供一种基于评论和物品描述的深度学习推荐方法，包含如下内容：
获取用于深度学习训练的数据样本，该数据样本包含用户集合、物品集合、每个用户对物品的评论文本及物品描述数据；
构建用于通过深度学习来获取用户对物品预测打分数据的推荐网络模型，通过输入与用户有关的所有物品描述数据、每个物品所收到的评论数据及物品描述数据，并结合关联程度进行模型训练；
利用数据样本对推荐网络模型进行训练优化；通过优化后的推荐网络模型来获取目标区域内用户对物品的预测打分。
作为本发明基于评论和物品描述的深度学习推荐方法，进一步地，推荐网络模型采用由编码模块和LSTM网络组成的DSMR模型结构，其中，编码模块包含利用词向量对用户相关的物品描述数据及每个物品评论数据进行嵌入向量表示的编码模块及用于利用词向量对物品评论数据进行隐表示的再编码模块，利用LSTM网络学习编码模块输出的词嵌入向量和再编码模块输出的隐表示向量中用户兴趣随时间的变化，最后利用两向量点积操作来获取用户对物品打分数据。
作为本发明基于评论和物品描述的深度学习推荐方法，进一步地，推荐网络模型包含并行执行的用户模块和物品模块，及将用户模块和物品模块两者输出进行点积运算的预测模块，其中，用户模块用于通过与用户相关的物品描述数据及每个物品所收到的评论数据生成用户相关物品描述嵌入向量，物品模块用于通过物品评论数据及物品描述数据获取物品相关评论隐表示。
作为本发明基于评论和物品描述的深度学习推荐方法，进一步地，物品描述数据通过词向量预训练后得到物品描述词向量表示，将各词向量相加；将物品各条评论经过词向量预训练后得到各条评论隐表示，将各隐表示相加，合并词向量相加结果和隐表示相加结果后得到表示物品特征的物品嵌入向量；将用户嵌入向量映射到物品嵌入向量空间中并通过点积运算获取用户与物品特征的关联程度，对关联程度进行归一化并利用LSTM网络学习用户随时间产生兴趣迁移，获取用户模型输出向量。
作为本发明基于评论和物品描述的深度学习推荐方法，进一步地，用户与物品特征的关联程度计算公式表示为
Figure BDA0003024339160000021
其中，Uu表示用户嵌入向量，
Figure BDA0003024339160000022
表示物品嵌入向量，n表示用户评论过所有物品个数，u为总的用户数量；用户模型输出向量
Figure BDA0003024339160000023
表示为：
Figure BDA0003024339160000024
作为本发明基于评论和物品描述的深度学习推荐方法，进一步地，物品所收到的所有评论数据经词向量预训练后得到评论隐表示，将各隐表示相加；将物品描述数据经词向量预训练后得到物品描述词向量表示，将各词向量相加；合并隐表示相加结果和词向量相加结果后并利用点积运算获取物品评论与物品描述关联程度，对关联程度进行归一化并利用LSTM网络学习物品评论随时间产生兴趣迁移，获取物品模型输出向量。
作为本发明基于评论和物品描述的深度学习推荐方法，进一步地，物品模型的输出向量
Figure BDA0003024339160000025
表示为：
Figure BDA0003024339160000026
其中，Rs表示物品收到的所有评论，m为评论个数，αs表示物品评论与物品描述关联程度。
作为本发明基于评论和物品描述的深度学习推荐方法，进一步地，推荐网络模型输出的预测评分
Figure BDA0003024339160000027
表示为
Figure BDA0003024339160000028
其中，
Figure BDA0003024339160000029
表示为物品模型的输出向量，
Figure BDA00030243391600000210
表示为用户模型输出向量。
作为本发明基于评论和物品描述的深度学习推荐方法，进一步地，推荐网络模型训练中，利用训练集M样本数据中用户对物品的预测评分和真实评分来最小化目标函数，其中，目标函数表示为
Figure BDA00030243391600000211
Figure BDA00030243391600000212
表示为用户u对物品i的预测评分，rui表示对应的真实评分。
进一步地，本发明还提供一种基于评论和物品描述的深度学习推荐系统，包含：数据处理模块、模型构建模块和训练预测模块，其中。
数据处理模块，用于获取用于深度学习训练的数据样本，该数据样本包含用户集合、物品集合、每个用户对物品的评论文本及物品描述数据；
模型构建模块，用于构建用于通过深度学习来获取用户对物品预测打分数据的推荐网络模型，通过输入与用户有关的所有物品描述数据、每个物品所收到的评论数据及物品描述数据，并结合关联程度进行模型训练；
训练预测模块，用于利用数据样本对推荐网络模型进行训练优化；通过优化后的推荐网络模型来获取目标区域内用户对物品的预测打分。
本发明的有益效果：
本发明将用户对物品的评论数据和物品描述数据相结合，可以更加全面的辅助推荐模型训练学习，不同于传统的从左到右或从右到左来进行预训练的语言模型，采用双向语言模型BERT利用Transformer的Encoder一次性读取整体数据，同一个单词在不同的句子中可能会有不同的语义，能够基于单词的两侧进行学习，从而较为准确的把握单词在句子中所表达的含义，泛化能力强，能够获取较为准确的用户预测打分结果，提升推荐精度，具有较好的应用前景。
附图说明：
图1为实施例中基于评论和物品描述的深度学习推荐方法流程示意；
图2为实施例中DSMR推荐网络模型结构示意；
图3为实施例中模型编码模块结构示意。
具体实施方式：
为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。
本发明实施例，提供一种基于评论和物品描述的深度学习推荐方法，参见图1所示，包含如下内容：
S101、获取用于深度学习训练的数据样本，该数据样本包含用户集合、物品集合、每个用户对物品的评论文本及物品描述数据；
S102、构建用于通过深度学习来获取用户对物品预测打分数据的推荐网络模型，通过输入与用户有关的所有物品描述数据、每个物品所收到的评论数据及物品描述数据，并结合关联程度进行模型训练；
S103、利用数据样本对推荐网络模型进行训练优化；通过优化后的推荐网络模型来获取目标区域内用户对物品的预测打分。
每一个用户都会购买很多商品，并对许多商品进行评论，因此，可以将评论作为用户偏好的一种表示。但对于用户而言，物品的描述同样重要，因为用户只有受到物品描述的吸引才会选择浏览此物品并查看此物品收到的评论；此外，对于一个新的物品，还没有或者很少被购买和评价，物品描述有助于提供丰富的物品属性，以解决物品冷启动问题。现有很多模型中利用文本进行建模时只利用评论文本，没有重视物品描述文档，则会损失一部分重要的信息，所以，本案实施例中，为提升推荐效果，将物品描述数据也作为推荐网络模型输入，以获取较为全面信息来确保推荐预测结果精准度。
作为本发明实施例中基于评论和物品描述的深度学习推荐方法，进一步地，推荐网络模型采用由编码模块和LSTM网络组成的基于深度语义挖掘DSMR模型结构，其中，编码模块包含利用词向量对用户相关的物品描述数据及每个物品评论数据进行嵌入向量表示的编码模块及用于利用词向量对物品评论数据进行隐表示的再编码模块，利用LSTM网络学习编码模块输出的词嵌入向量和再编码模块输出的隐表示向量中用户兴趣随时间的变化，最后利用两向量点积操作来获取用户对物品打分数据。
进一步地，推荐网络模型包含并行执行的用户模块和物品模块，及将用户模块和物品模块两者输出进行点积运算的预测模块，其中，用户模块用于通过与用户相关的物品描述数据及每个物品所收到的评论数据生成用户相关物品描述嵌入向量，物品模块用于通过物品评论数据及物品描述数据获取物品相关评论隐表示。
利用BERT预训练模型来处理文本数据并区分不同评论的重要性，从而帮助更准确地预测一个用户对一件商品的评分。本案中，基于深度语义挖掘的推荐模型DSMR(DeepSemantic Mining based Recommendation)的结构可如图2所示。模型分为并行的两个部分，一个是用户模块一个是物品模块。在用户模块，输入为此用户评论过的所有物品的描述文档和每个物品所收到的所有评论；在物品模块，输入为此物品收到的所有的评论和此物品的描述。最后将两个模块所得到的结果进行点积，得到此用户对此物品的预测打分.
作为本发明实施例中基于评论和物品描述的深度学习推荐方法，进一步地，物品描述数据通过词向量预训练后得到物品描述词向量表示，将各词向量相加；将物品各条评论经过词向量预训练后得到各条评论隐表示，将各隐表示相加，合并词向量相加结果和隐表示相加结果后得到表示物品特征的物品嵌入向量；将用户嵌入向量映射到物品嵌入向量空间中并通过点积运算获取用户与物品特征的关联程度，对关联程度进行归一化并利用LSTM网络学习用户随时间产生兴趣迁移，获取用户模型输出向量。
参见图3所示，对于某个用户u，他评论过的所有的物品用Iui(i＝1,2,...,n)来表示。将Iui传入item_encoder模块中。item_encoder的具体结构如图3左侧所示。在item_encoder模块中，将Iui的描述文档Di和Iui收到的所有评论Rij(j＝1,2,...,m)传入BERT中。对比模型NARRE利用CNN进行评论文本的处理，只能对输入序列建立短距离依赖，而Transformer中的Self-attention可以通过动态生成不同连接的权重来处理变长的信息序列，并且可以实现并行化，提高训练速度。物品描述文档Di经过BERT预训练后得到物品描述的词向量表示，将各词向量相加得到
Figure BDA0003024339160000041
将物品的各条评论经过BERT预训练后得到各条评论的隐表示，将各隐表示相加得到
Figure BDA0003024339160000042
合并
Figure BDA0003024339160000043
与
Figure BDA0003024339160000044
后得到物品嵌入向量
Figure BDA0003024339160000045
Figure BDA0003024339160000046
刻画了物品i的特征。公式如下：
Figure BDA0003024339160000051
Figure BDA0003024339160000052
Figure BDA0003024339160000053
其中，⊙表示将两向量进行拼接。
将用户id表示为用户嵌入向量Uu(u＝1,2,...,d)，u为总的用户数量。将Uu映射到与物品嵌入向量
Figure BDA0003024339160000054
同一空间中进行点积运算得到用户u与物品i的特征的关联程度αi，αi的值越大说明关联程度越高，用户对物品就越感兴趣：
Figure BDA0003024339160000055
将αi(i＝1,2,...,n)通过softmax进行归一化，并将归一化后的αi与
Figure BDA0003024339160000056
相乘得到每个物品对用户特征的贡献程度，送入LSTM学习用户随时间产生的兴趣迁移，最终得到用户模型的输出向量
Figure BDA0003024339160000057
Figure BDA0003024339160000058
作为本发明实施例中基于评论和物品描述的深度学习推荐方法，进一步地，物品所收到的所有评论数据经词向量预训练后得到评论隐表示，将各隐表示相加；将物品描述数据经词向量预训练后得到物品描述词向量表示，将各词向量相加；合并隐表示相加结果和词向量相加结果后并利用点积运算获取物品评论与物品描述关联程度，对关联程度进行归一化并利用LSTM网络学习物品评论随时间产生兴趣迁移，获取物品模型输出向量。
对于物品v，它所收到的所有评论用Rs(s＝1,2,...,m)来表示，评论经过BERT模型后得到评论隐表示
Figure BDA0003024339160000059
如图3右侧rev_encoder部分。Dv为物品v的描述文档的隐表示，引入物品描述文档可以很好的缓解物品冷启动问题。物品模块的整体操作流程与用户模块相同。与用户模型类似，物品模型的输出向量
Figure BDA00030243391600000510
由归一化后的αs与评论隐表示
Figure BDA00030243391600000511
相乘得到。最后，将用户模型的输出向量
Figure BDA00030243391600000512
与物品模型的输出向量
Figure BDA00030243391600000513
做点积得到最终的预测评分
Figure BDA00030243391600000514
Figure BDA00030243391600000515
Figure BDA00030243391600000516
DSMR模型目标实际上就是要提高评分预测的准确度，这相当于一个回归问题。对于回归问题，最常用的目标函数是平方损失函数。在训练集样本M中，用户u对物品i的预测评分为
Figure BDA0003024339160000061
真实评分为rui，则目标函数可表示为：
Figure BDA0003024339160000062
训练的任务是最小化目标函数。可选择Adam优化算法来优化目标函数，因为Adam使用动量和自适应学习率来加快收敛速度，适合于数据量较大的问题且只需要很少的内存。
进一步地，基于上述的方法，本发明还提供一种基于评论和物品描述的深度学习推荐系统，包含：数据处理模块、模型构建模块和训练预测模块，其中。
数据处理模块，用于获取用于深度学习训练的数据样本，该数据样本包含用户集合、物品集合、每个用户对物品的评论文本及物品描述数据；
模型构建模块，用于构建用于通过深度学习来获取用户对物品预测打分数据的推荐网络模型，通过输入与用户有关的所有物品描述数据、每个物品所收到的评论数据及物品描述数据，并结合关联程度进行模型训练；
训练预测模块，用于利用数据样本对推荐网络模型进行训练优化；通过优化后的推荐网络模型来获取目标区域内用户对物品的预测打分。
为验证本案方案有效性，下面结合实验数据做进一步解释说明：
在数据集的选取上，参考最先进的模型所使用的数据集，从中选取亚马逊的公开数据集中较常用的4个数据集作为实验数据：Movies_and_TV、Toys_and_Games、Kindle_Store以及Videos_Games数据集。基本数据统计信息如表1所示。
表1数据集
Figure BDA0003024339160000063
在对数据集进行处理的过程中，考虑到虽然评分有1分-5分五种分值，但5分和4分仍然是评分的大多数，几乎所有已提出的模型都没有考虑这种情况，可认为这对于1分或2分的数据是不公平的，训练结果会过拟合。可将1分到5分这五种分值的数据按1:1:1:1:1进行随机抽取，这样数据集中各分值的数据是等量的，结果更加客观，模型鲁棒性更强。
为了验证本案中推荐网络模型的有效性，可选择两个早期的仅利用评分矩阵的模型和三个利用评论文本的先进模型作为对比模型。1)MF：矩阵分解是非常流行的基于协同过滤的推荐方法。它只使用评级矩阵作为输入，用用户和物品低秩矩阵的内积来表示评分，采用交替最小二乘(ALS)技术对其目标函数进行最小化。2)PMF：概率矩阵分解是一种传统的矩阵分解方法，只使用评评分数据进行协同过滤，引入高斯分布对用户和物品的潜在因素进行建模。3)DeepCoNN：以CNN为基本模型，由两个并行神经网络组成，其中一个并行网络利用用户评论集学习用户行为，另一个并行网络利用物品评论集学习物品属性。位于两个神经网络顶部的额外共享层将两个并行网络连接起来，使学习到的用户和项目潜在因素可以相互交互以预测评级。此模型证明了利用评论文本可以有效缓解稀疏性问题。4)NARRE：在DeepCoNN的基础上利用注意力机制来判断一条评论的贡献程度，通过选择更有用的评论进行建模来提高模型的准确度和可解释性。5)DER：与前两个模型类似，DER也是通过CNN来提取物品属性。此外，DER认为传统的GRU没有考虑在较大的时间间隔后用户的兴趣会发生改变，所以提出通过添加一个时间门来改进GRU，以此来更准确的预测用户当前的喜好。此外，还设置一个对比模型review-DSMR，即只利用评论文本不添加物品描述文档，以此来验证物品描述文档对于推荐效果的促进作用。
评价指标可采用广泛应用于算法性能评价的均方根误差(Root Mean SquareError,RMSE)，公式如下所示:
Figure BDA0003024339160000071
其中，N为测试集中样本的数量，
Figure BDA0003024339160000072
为用户u对物品i的预测评分，Ru,i为用户u对物品i实际评分。RMSE的值越低说明模型的性能越好。
将数据随机排序后，分70％给训练集，20％给验证集，10％给测试集。可使用的BERT预训练模型为谷歌训练好的bert_base_uncase，DSMR模型初始的学习率为0.01，之后使用NoamOpt优化器来进行动态调整。损失率设置为[0.05,01,0.3,0.5]，批量大小设置为[3,5,8,16,32]，潜在因子数量设置为[32,64,128,256]。
对于MF和PMF，使用网格搜索从{25,50,100,150,200}中寻找潜在因子的最佳值，从{0.001,0.01,0.1,1.0}中寻找正则化参数的最佳值。对于DeepCoNN和NARRE，按照策略进行复现，学习率为[0.005,0.01,0.02,0.05]，批量大小为[50,100,150]，损失率为[0.1,0.3,0.5,0.7,0.9]，潜在因子数量为[8,16,32,64]；对于CNN文本处理器，卷积层的神经元数量为100，窗口大小为3。对于对比模型DER，设置的学习率为[0.001,0.01,0.1,1]，批量大小为[50,100,150]，用户/物品的嵌入尺寸在[8,16,32,64,128]中进行调整。为了验证对训练数据进行1:1:1:1:1的等量控制能够提高算法的准确度，可将所有模型分别在不做等量控制和做等量控制两种情况下进行实验，观察实验结果。
经过多次实验，本案中DSMR推荐网络模型在损失率为0.1、批量大小为5、潜在因子数量为128时效果最好。实验结果如表2、表3所示。整体来看，对所有模型的实验数据按1分-5分1:1:1:1:1:等量抽取后，所有模型的性能均有所提升，证明对训练数据进行等量控制有助于提高推荐效果。因为不作处理的数据低分值的评论很少，4分5分的数据占大多数，模型容易过拟合，等量处理后，模型鲁棒性更强。
表2无数据等量控制性能对比(RMSE)
Figure BDA0003024339160000081
表3数据等量控制性能对比(RMSE)
Figure BDA0003024339160000082
而在对所有模型都做了数据等量控制的情况下，如表3所示，DSMR模型依然比之前最先进的模型的效果更好，比MF、PMF、DeepCoNN、NARRE和DER分别提升了26.98％、11.95％、9.46％、7.66％和5.1％。
首先，利用评论文本的模型都比传统的仅利用评分数据的模型效果好，如DeepCoNN、NARRE、DER和DSMR的性能均优于MF和PMF，这证明了评论数据对于模型学习到更准确的用户特征和物品属性是有益的，对推荐准确性提高的确有促进作用。
其次，对于同样都考虑了评论文本的模型，使用注意力机制的模型比没有使用注意力机制的模型效果更好，如NARRE、DER和DSMR的性能均优于MF、PMF和DeepCoNN，因为注意力机制可以学习到各个评论对于用户特征和物品属性的贡献程度，以不同的权重来利用不同的评论会比将所有评论不加区分的利用效果更好。
再者，使用BERT预训练方法的模型比使用静态词向量的模型效果更好，如DSMR性能优于DeepCoNN和NARRE，因为BERT能够学习到单词在不同上下文信息中的不同含义，而静态词向量不能，这就使得特征提取的效果相差很大。再加上DeepCoNN、NARRE和DER都利用CNN来提取特征，而CNN只能学习局部特征，对于长序列的信息损失较大。此外DSMR模型在利用评论文本的同时还引入了物品描述文档，这是其他模型都忽视了的一点，但它丰富了物品属性信息，缓解了物品冷启动问题。
最后，使用LSTM方法来探索用户偏好随时间变化的模型比没有关注用户偏好随时间变化的模型表现更好，如DER(使用GRU)和DSMR的性能优于DeepCoNN和NARRE。因为用户偏好并不是一成不变的，过去不喜欢战争片的用户现在可能也会喜欢战争片，过去不受欢迎的电影可能成为现在人们眼中的经典影片，所以时间变化是一个很重要的因素，注重时间变化带来的影响有助于提高预测准确度。
而从review-DSMR和DSMR实验结果的比较中可以看出，添加了物品描述文档的DSMR模型明显比仅利用评论文本的review-DSMR模型效果更好，可以证明物品描述文档的确有利于丰富物品属性从而提高推荐准确度。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种基于评论和物品描述的深度学习推荐方法，其特征在于，包含如下内容：
获取用于深度学习训练的数据样本，该数据样本包含用户集合、物品集合、每个用户对物品的评论文本及物品描述数据；
构建用于通过深度学习来获取用户对物品预测打分数据的推荐网络模型，通过输入与用户有关的所有物品描述数据、每个物品所收到的评论数据及物品描述数据，并结合关联程度进行模型训练；
利用数据样本对推荐网络模型进行训练优化；通过优化后的推荐网络模型来获取目标区域内用户对物品的预测打分；
推荐网络模型包含并行执行的用户模块和物品模块，及将用户模块和物品模块两者输出进行点积运算的预测模块，其中，用户模块用于通过与用户相关的物品描述数据及每个物品所收到的评论数据生成用户相关物品描述嵌入向量，物品模块用于通过物品评论数据及物品描述数据获取物品相关评论隐表示；
物品描述数据通过词向量预训练后得到物品描述词向量表示，将各词向量相加；将物品各条评论经过词向量预训练后得到各条评论隐表示，将各隐表示相加，合并词向量相加结果和隐表示相加结果后得到表示物品特征的物品嵌入向量；将用户嵌入向量映射到物品嵌入向量空间中并通过点积运算获取用户与物品特征的关联程度，对关联程度进行归一化并利用LSTM网络学习用户随时间产生兴趣迁移，获取用户模型输出向量；
物品所收到的所有评论数据经词向量预训练后得到评论隐表示，将各隐表示相加；将物品描述数据经词向量预训练后得到物品描述词向量表示，将各词向量相加；合并隐表示相加结果和词向量相加结果后并利用点积运算获取物品评论与物品描述关联程度，对关联程度进行归一化并利用LSTM网络学习物品评论随时间产生兴趣迁移，获取物品模型输出向量。
2.根据权利要求1所述的基于评论和物品描述的深度学习推荐方法，其特征在于，推荐网络模型采用由编码模块和LSTM网络组成的基于深度语义挖掘的DSMR推荐模型结构，其中，编码模块包含利用词向量对用户相关的物品描述数据及每个物品评论数据进行嵌入向量表示的编码模块及用于利用词向量对物品评论数据进行隐表示的再编码模块，利用LSTM网络学习编码模块输出的词嵌入向量和再编码模块输出的隐表示向量中用户兴趣随时间的变化，最后利用两向量点积操作来获取用户对物品打分数据。
3.根据权利要求1所述的基于评论和物品描述的深度学习推荐方法，其特征在于，用户与物品特征的关联程度计算公式表示为
Figure FDA0003844129770000011
其中，Uu表示用户嵌入向量，
Figure FDA0003844129770000012
表示物品嵌入向量，n表示用户评论过所有物品个数，u为总的用户数量；用户模型输出向量
Figure FDA0003844129770000016
表示为：
Figure FDA0003844129770000013
4.根据权利要求1所述的基于评论和物品描述的深度学习推荐方法，其特征在于，物品模型的输出向量
Figure FDA0003844129770000014
表示为：
Figure FDA0003844129770000015
其中，Rs表示物品收到的所有评论，
Figure FDA0003844129770000021
表示Rs经过BERT模型后得到的评论隐表示，m为评论个数，αs表示物品评论与物品描述关联程度。
5.根据权利要求1所述的基于评论和物品描述的深度学习推荐方法，其特征在于，推荐网络模型输出的预测评分
Figure FDA0003844129770000022
表示为
Figure FDA0003844129770000023
其中，
Figure FDA0003844129770000024
表示为物品模型的输出向量，
Figure FDA0003844129770000025
表示为用户模型输出向量。
6.根据权利要求1所述的基于评论和物品描述的深度学习推荐方法，其特征在于，推荐网络模型训练中，利用训练集M样本数据中用户对物品的预测评分和真实评分来最小化目标函数，其中，目标函数表示为
Figure FDA0003844129770000026
Figure FDA0003844129770000027
表示为用户u对物品i的预测评分，rui表示对应的真实评分。
7.一种基于评论和物品描述的深度学习推荐系统，其特征在于，包含：数据处理模块、模型构建模块和训练预测模块，其中，
数据处理模块，用于获取用于深度学习训练的数据样本，该数据样本包含用户集合、物品集合、每个用户对物品的评论文本及物品描述数据；
模型构建模块，用于构建用于通过深度学习来获取用户对物品预测打分数据的推荐网络模型，通过输入与用户有关的所有物品描述数据、每个物品所收到的评论数据及物品描述数据，并结合关联程度进行模型训练；
训练预测模块，用于利用数据样本对推荐网络模型进行训练优化，通过优化后的推荐网络模型来获取目标区域内用户对物品的预测打分；
推荐网络模型包含并行执行的用户模块和物品模块，及将用户模块和物品模块两者输出进行点积运算的预测模块，其中，用户模块用于通过与用户相关的物品描述数据及每个物品所收到的评论数据生成用户相关物品描述嵌入向量，物品模块用于通过物品评论数据及物品描述数据获取物品相关评论隐表示；
物品描述数据通过词向量预训练后得到物品描述词向量表示，将各词向量相加；将物品各条评论经过词向量预训练后得到各条评论隐表示，将各隐表示相加，合并词向量相加结果和隐表示相加结果后得到表示物品特征的物品嵌入向量；将用户嵌入向量映射到物品嵌入向量空间中并通过点积运算获取用户与物品特征的关联程度，对关联程度进行归一化并利用LSTM网络学习用户随时间产生兴趣迁移，获取用户模型输出向量；
物品所收到的所有评论数据经词向量预训练后得到评论隐表示，将各隐表示相加；将物品描述数据经词向量预训练后得到物品描述词向量表示，将各词向量相加；合并隐表示相加结果和词向量相加结果后并利用点积运算获取物品评论与物品描述关联程度，对关联程度进行归一化并利用LSTM网络学习物品评论随时间产生兴趣迁移，获取物品模型输出向量。
CN202110411553.6A 2021-04-16 2021-04-16 基于评论和物品描述的深度学习推荐方法及系统 Active CN113268657B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110411553.6A CN113268657B (zh) 2021-04-16 2021-04-16 基于评论和物品描述的深度学习推荐方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110411553.6A CN113268657B (zh) 2021-04-16 2021-04-16 基于评论和物品描述的深度学习推荐方法及系统

Publications (2)

Publication Number Publication Date
CN113268657A CN113268657A (zh) 2021-08-17
CN113268657B true CN113268657B (zh) 2022-10-28

Family

ID=77228922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110411553.6A Active CN113268657B (zh) 2021-04-16 2021-04-16 基于评论和物品描述的深度学习推荐方法及系统

Country Status (1)

Country Link
CN (1) CN113268657B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114154071B (zh) * 2021-12-09 2023-05-09 电子科技大学 一种基于注意力机制的情感时序推荐方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273438A (zh) * 2017-05-24 2017-10-20 深圳大学 一种推荐方法、装置、设备及存储介质
CN110503508A (zh) * 2019-07-15 2019-11-26 电子科技大学 一种层级多粒度矩阵分解的物品推荐方法
CN110874439A (zh) * 2019-11-20 2020-03-10 电子科技大学 一种基于评论信息的推荐方法
CN112100485A (zh) * 2020-08-20 2020-12-18 齐鲁工业大学 一种基于评论的评分预测物品推荐方法及系统
CN112231577A (zh) * 2020-11-06 2021-01-15 重庆理工大学 一种融合文本语义向量和神经协同过滤的推荐方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11100560B2 (en) * 2019-03-19 2021-08-24 Stitch Fix, Inc. Extending machine learning training data to generate an artificial intelligence recommendation engine
CN111275521B (zh) * 2020-01-16 2022-06-14 华南理工大学 一种基于用户评论与满意层面嵌入的商品推荐方法
CN112182156B (zh) * 2020-09-28 2023-02-07 齐鲁工业大学 基于文本处理的方面级可解释深度网络评分预测推荐方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273438A (zh) * 2017-05-24 2017-10-20 深圳大学 一种推荐方法、装置、设备及存储介质
CN110503508A (zh) * 2019-07-15 2019-11-26 电子科技大学 一种层级多粒度矩阵分解的物品推荐方法
CN110874439A (zh) * 2019-11-20 2020-03-10 电子科技大学 一种基于评论信息的推荐方法
CN112100485A (zh) * 2020-08-20 2020-12-18 齐鲁工业大学 一种基于评论的评分预测物品推荐方法及系统
CN112231577A (zh) * 2020-11-06 2021-01-15 重庆理工大学 一种融合文本语义向量和神经协同过滤的推荐方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Deep Learning based Recommedation System: A Review of Recent Works;Meiling Wang等;《IEEE》;20200716;第1245-1252页 *
Time-aspect-sentiment Recommendation Models Based on Novel Similarity Measure Methods;Guohui Li等;《ACM》;20200207;第14卷(第2期);第1-26页 *
基于BERT-BLSTM的茶产品推荐研究;王静雅;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210415(第04期);第I138-895页 *
基于多粒度注意网络的推荐模型研究;雷宏婧;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20210215(第02期);第I138-2841页 *
基于深度学习考虑深层特征的个性化推荐算法研究;刘辉;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200115(第01期);第I138-2589页 *

Also Published As

Publication number Publication date
CN113268657A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN109271522B (zh) 基于深度混合模型迁移学习的评论情感分类方法及系统
CN111797321B (zh) 一种面向不同场景的个性化知识推荐方法及系统
CN111222332B (zh) 一种结合注意力网络和用户情感的商品推荐方法
CN108363695B (zh) 一种基于双向依赖语法树表征的用户评论属性抽取方法
Bhuvaneshwari et al. Spam review detection using self attention based CNN and bi-directional LSTM
CN110765260A (zh) 一种基于卷积神经网络与联合注意力机制的信息推荐方法
CN112328900A (zh) 一种融合评分矩阵和评论文本的深度学习推荐方法
CN113590970B (zh) 一种基于读者偏好的个性化数字图书推荐系统、方法、计算机及存储介质
CN112597302B (zh) 基于多维评论表示的虚假评论检测方法
CN112016002A (zh) 融合评论文本层级注意力和时间因素的混合推荐方法
CN114595306B (zh) 基于距离感知自注意力机制和多角度建模的文本相似度计算系统及方法
CN112800344B (zh) 一种基于深度神经网络的电影推荐方法
CN115048586B (zh) 一种融合多特征的新闻推荐方法及系统
CN113127737B (zh) 融合注意力机制的个性化搜索方法和搜索系统
CN111488524A (zh) 一种面向注意力的语义敏感的标签推荐方法
CN112084307A (zh) 一种数据处理方法、装置、服务器及计算机可读存储介质
CN115270752A (zh) 一种基于多层次对比学习的模板句评估方法
CN116976505A (zh) 基于信息共享的解耦注意网络的点击率预测方法
CN113268657B (zh) 基于评论和物品描述的深度学习推荐方法及系统
CN111079011A (zh) 一种基于深度学习的信息推荐方法
CN112989803B (zh) 一种基于主题向量学习的实体链接预测方法
CN113705197B (zh) 一种基于位置增强的细粒度情感分析方法
CN114022233A (zh) 一种新型的商品推荐方法
CN113535928A (zh) 基于注意力机制下长短期记忆网络的服务发现方法及系统
CN113076425A (zh) 一种用于微博评论的事件相关观点句分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant