CN111368197A - 一种基于深度学习的评论推荐系统及方法 - Google Patents

一种基于深度学习的评论推荐系统及方法 Download PDF

Info

Publication number
CN111368197A
CN111368197A CN202010144247.6A CN202010144247A CN111368197A CN 111368197 A CN111368197 A CN 111368197A CN 202010144247 A CN202010144247 A CN 202010144247A CN 111368197 A CN111368197 A CN 111368197A
Authority
CN
China
Prior art keywords
product
comment
text
feature
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010144247.6A
Other languages
English (en)
Other versions
CN111368197B (zh
Inventor
刘宇鹏
张晓晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202010144247.6A priority Critical patent/CN111368197B/zh
Publication of CN111368197A publication Critical patent/CN111368197A/zh
Application granted granted Critical
Publication of CN111368197B publication Critical patent/CN111368197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度学习的评论推荐系统及方法，属于信息传播技术领域。主要为了解决现有推荐系统只给出推荐评分从而存在推荐解释能力差的问题。本发明所述系统使用字符和词级双向循环神经网络获取评论文本特征表示；使用卷积神经网络获取图像特征；使用分解机神经网络获得属性特征表示；使用记忆机制解决推荐系统中用户和产品的冷启动问题。使用双线性张量机制获得用户和产品间的关系共同生成评分和评论。主要用于信息传播中的评论推荐。

Description

一种基于深度学习的评论推荐系统及方法
技术领域
本发明涉及评论推荐系统及方法。属于信息传播技术领域。
背景技术
推荐系统是一类重要的智能化任务，其通过计算机强大的计算能力，给用户推荐其感兴趣的产品。随着信息技术的发展和人们生活方式的改变，人们的生活开始越发依赖于信息，这其中包括对推荐信息的依赖。
推荐系统经历了协同过滤推荐，基于内容的推荐，基于知识的推荐和混合推荐系统，逐渐发展到今天的基于深度学习的推荐系统。深度神经网络部分解决了梯度弥散和爆炸，在近几年得到了迅猛发展，且在推荐系统上进行了应用并取得了良好效果。深度评论推荐方法的好处在于实现了端到端的推荐过程，不像传统的推荐方法需要独立抽取特征，把特征抽取和推荐模型的训练放到一起来做，这种联合模型的方法克服了传统管道模型的错误传播缺点。很多有推荐业务的公司(如Youtube，Amazon，Alibaba等)也把目光转向了使用深度学习算法，也说明了深度评论推荐方法的前景。
发明内容
本发明主要为了解决现有推荐系统只给出推荐评分从而存在推荐解释能力差的问题。
一种基于深度学习的评论推荐系统，包括特征抽取单元、特征增强和组合单元、解码单元；
(S1)所述特征抽取单元包括：
(S11)预处理模块：获得第s对用户userA和产品itemB对应的文本、图像和属性的初始表示形式；所述文本包括产品描述文本和产品评论文本，以及用户评论文本；所述图像为产品图像；所述属性包括产品属性和用户属性；
针对文本中的词/字符，使用分词工具和词嵌入工具进行处理，获得文本的向量表示；
针对于图像，图像中的每个像素点利用三原色RGB数值来表示；
针对于属性，利用特征值进行表示；
(S12)文本特征提取模块：
针对产品描述文本进行特征提取，利用产品描述文本特征提取网络获得产品描述文本特征
Figure BDA0002400165790000011
针对产品评论文本进行特征提取，利用产品评论文本特征提取网络获得产品评论文本特征
Figure BDA0002400165790000021
针对用户评论文本进行特征提取，利用用户评论文本特征提取网络获得用户评论文本特征
Figure BDA0002400165790000022
(S13)图像特征提取模块：
利用产品图像特征提取网络对产品的图像进行特征提取，获得产品图像特征
Figure BDA0002400165790000023
(S14)属性特征提取模块：
针对产品属性，利用独热编码对于产品属性进行特征编码，即一阶产品属性特征；给定一阶产品属性特征，利用由特征向量矩阵
Figure BDA0002400165790000024
参数化的双池化层来获取二阶相互作用：
Figure BDA0002400165790000025
其中，Pi和Pj是P的第i个和第j个一阶产品属性特征；B的第i列是关于Pi的特征向量Bi，因此，Bi和Bj的特征向量分别对应着Pi和Pj；在双池化层后获得产品属性特征
Figure BDA0002400165790000026
针对用户属性，利用与获得产品属性特征
Figure BDA0002400165790000027
相同的方式获得用户属性特征
Figure BDA0002400165790000028
(S2)所述特征增强和组合单元，包括：
(S21)相邻产品特征获取模块：
把获得的产品描述文本特征
Figure BDA0002400165790000029
产品评论文本特征
Figure BDA00024001657900000210
产品图像特征
Figure BDA00024001657900000211
和产品属性特征
Figure BDA00024001657900000212
连接起来，使用记忆网络将第i个产品的特征向量设置为Mitem的第i列，表示为：
Figure BDA00024001657900000213
使用相邻产品的记忆网络来扩充记忆网络Mitem，得到增强记忆网络
Figure BDA00024001657900000214
使用n跳在增强记忆网络
Figure BDA00024001657900000215
中进行查询获得相邻产品特征向量
Figure BDA00024001657900000216
把初始产品表示向量和相邻产品特征向量
Figure BDA00024001657900000217
连接起来获得最终的产品表示向量eitem；
(S22)相邻用户特征获取模块：
利用与相邻产品特征获取模块相同的方式获得用户表示向量euser；
(S23)特征组合模块：
用户和产品组合处理器Γcombine采用双线性张量积网络，对于用户和产品的表示向量进行交互；
Figure BDA0002400165790000031
其中，互动参数
Figure BDA0002400165790000032
是k维张量，变换参数VR为矩阵，偏移参数bR为向量；
(S3)所述解码单元，包括：
(S31)评论评分生成模块：
先生成N-best词，通过词组合成生成评论句子，使用集束方法按生成句子分数进行剪枝，在生成评论句子同时生成评论评分；并根据Beam搜索的方式生成推荐。
进一步地，所述利用产品描述文本特征提取网络获得产品描述文本特征
Figure BDA0002400165790000033
的过程如下：
针对产品描述文本进行特征提取，文本特征提取网络采用词级和字符级双向LSTM，并把字符级双向LSTM的输出接到词级的词特征表示上；产品描述符
Figure BDA0002400165790000034
的对齐采用注意力机制，通过注意力机制获得产品描述文本特征
Figure BDA0002400165790000035
进一步地，所述产品评论文本特征提取网络与产品描述文本特征提取网络结构相同。所述用户评论文本特征提取网络与产品描述文本特征提取网络结构相同。
进一步地，所述获得产品图像特征
Figure BDA0002400165790000036
的过程包括以下步骤：
产品图像特征提取选用基于CNN的图像特征提取网络VggNet16，产品描述符
Figure BDA0002400165790000037
与图像的局部区域对齐后得到产品图像特征
Figure BDA0002400165790000038
进一步地，所述使用相邻产品的记忆网络来扩充记忆网络Mitem得到增强记忆网络
Figure BDA0002400165790000039
的具体过程包括以下步骤：
两个记忆网络Mitem和Mitem'的相似性计算如下：
Figure BDA00024001657900000310
其中，|item|、|item'|分别表示对于产品item、item'的评论的个数，·表示点积；
选取具有最大相似性的r个记忆网络，将r个记忆网络与Mitem连接以扩充Mitem，将连接结果表示为
Figure BDA0002400165790000041
进一步地，所述使用n跳在增强记忆网络
Figure BDA0002400165790000042
中进行查询获得相邻产品特征向量
Figure BDA0002400165790000043
的过程如下：
Figure BDA0002400165790000044
Figure BDA0002400165790000045
……
Figure BDA0002400165790000046
其中，
Figure BDA0002400165790000047
为初始产品表示向量，softmax函数作用于点积形式的注意力机制，含义为当前表示
Figure BDA0002400165790000048
与增强记忆网络
Figure BDA0002400165790000049
间的注意力权重。
进一步地，所述解码单元还包括目标函数计算模块；
目标函数计算模块根据生成词的概率使用Log-linear模型计算评论句子的得分，同时计算生成评论句子和参考评论句子间的BLEU的得分，以及该评论句子的评分。
一种基于深度学习的评论推荐方法，包括以下步骤：
(S1)特征抽取步骤，具体包括：
(S11)预处理步骤：获得第s对用户userA和产品itemB对应的文本、图像和属性的初始表示形式；所述文本包括产品描述文本和产品评论文本，以及用户评论文本；所述图像为产品图像；所述属性包括产品属性和用户属性；
针对文本中的词/字符，使用分词工具和词嵌入工具进行处理，获得文本的向量表示；
针对于图像，图像中的每个像素点利用三原色RGB数值来表示；
针对于属性，利用特征值进行表示；
(S12)文本特征提取步骤：
针对产品描述文本进行特征提取，利用产品描述文本特征提取网络获得产品描述文本特征
Figure BDA00024001657900000410
针对产品评论文本进行特征提取，利用产品评论文本特征提取网络获得产品评论文本特征
Figure BDA00024001657900000411
针对用户评论文本进行特征提取，利用用户评论文本特征提取网络获得用户评论文本特征
Figure BDA00024001657900000412
(S13)图像特征提取步骤：
利用产品图像特征提取网络对产品的图像进行特征提取，获得产品图像特征
Figure BDA0002400165790000051
(S14)属性特征提取步骤：
针对产品属性，利用独热编码对于产品属性进行特征编码，即一阶产品属性特征；给定一阶产品属性特征，利用由特征向量矩阵
Figure BDA0002400165790000052
参数化的双池化层来获取二阶相互作用：
Figure BDA0002400165790000053
其中，Pi和Pj是P的第i个和第j个一阶产品属性特征；B的第i列是关于Pi的特征向量Bi，因此，Bi和Bj的特征向量分别对应着Pi和Pj；在双池化层后获得产品属性特征
Figure BDA0002400165790000054
针对用户属性，利用与获得产品属性特征
Figure BDA0002400165790000055
相同的方式获得用户属性特征
Figure BDA0002400165790000056
(S2)特征增强和组合步骤，具体包括：
(S21)相邻产品特征获取步骤：
把获得的产品描述文本特征
Figure BDA0002400165790000057
产品评论文本特征
Figure BDA0002400165790000058
产品图像特征
Figure BDA0002400165790000059
和产品属性特征
Figure BDA00024001657900000510
连接起来，使用记忆网络将第i个产品的特征向量设置为Mitem的第i列，表示为：
Figure BDA00024001657900000511
使用相邻产品的记忆网络来扩充记忆网络Mitem，得到增强记忆网络
Figure BDA00024001657900000512
使用n跳在增强记忆网络
Figure BDA00024001657900000513
中进行查询获得相邻产品特征向量
Figure BDA00024001657900000514
把初始产品表示向量和相邻产品特征向量
Figure BDA00024001657900000515
连接起来获得最终的产品表示向量eitem；
(S22)相邻用户特征获取步骤：
利用与相邻产品特征获取步骤相同的方式获得用户表示向量euser；
(S23)特征组合步骤：
用户和产品组合处理器Γcombine采用双线性张量积网络，对于用户和产品的表示向量进行交互；
Figure BDA0002400165790000061
其中，互动参数
Figure BDA0002400165790000062
是k维的张量，变换参数VR为矩阵，偏移参数bR为向量；
(S3)解码步骤，具体包括：
(S31)评论评分生成步骤：
先生成N-best词，通过词组合成生成评论句子，使用集束方法按生成句子分数进行剪枝，在生成评论句子同时生成评论评分；并根据Beam搜索的方式生成推荐。
本发明的目的在于提供一种基于深度学习的评论推荐系统及方法，旨在整体解决现有推荐系统只给出推荐评分，造成推荐的解释能力差的突出问题。本发明不仅使得深度推荐方法更加实用化，用户更加信赖推荐系统的推荐结果。本发明的主要创新工作包含以下几个方面：(1)层次化的评论特征抽取，既可以考虑到词又可以考虑到字符；(2)使用分解机解决属性特征的稀疏性；(3)使用相似记忆解决冷启动问题；(4)使用双线性张量网络解决不同类特征交互问题。
附图说明
图1是基于深度学习的评论推荐方法的流程图；
图2是基于深度学习的评论推荐系统的文本特征抽取网络结构图；
图3是基于深度学习的评论推荐系统的图像特征抽取网络结构图：
图4是基于深度学习的评论推荐系统的属性特征抽取网络结构图：
图5是基于深度学习的评论推荐系统的评论生成解码过程示例。
具体实施方式
具体实施方式一：
本实施方式为一种基于深度学习的评论推荐系统，所述系统包括：
(S1)特征抽取单元，对于和用户和产品相关的评论进行分词，并使用预训练的字符和词向量通过文本特征处理器获得文本特征表示；对于产品图像使用图像特征处理器获取图像特征；对于用户和产品属性特征用属性处理器获取属性特征；包括：
(S11)预处理模块：获得第s对用户userA和产品itemB对应的文本、图像和属性的初始表示形式；
针对文本中的词/字符，使用StanfordNLP分词工具和Glove词嵌入工具进行处理，获得文本的向量表示，即向量形式的文本；
针对于图像，图像中的每个像素点利用三原色RGB数值来表示；
针对于属性，利用特征值进行表示。属性对于推荐来说非常重要，如对于推荐有很大影响的用户的性别、出生日期、年龄等，产品的类别、价钱、风格等。
预处理模块对于英文中多词连写和附着的标点进行分割，使用单语深度神经语言模型对英文语料进行训练以生成英文的字符/词向量表示，生成向量维度为50维；
(S12)文本特征提取模块：
将与产品相关的文本分为两类：产品描述文本和产品评论文本；
利用产品描述文本处理器
Figure BDA0002400165790000071
对产品描述文本进行文本特征提取，获得产品itemB的描述文本特征
Figure BDA0002400165790000072
文本特征提取过程：产品描述文本特征提取网络采用词级和字符级双向LSTM，并把字符级双向LSTM的输出接到词级的词特征表示上；产品描述符
Figure BDA0002400165790000073
的对齐采用注意力机制，通过注意力机制获得产品描述文本特征
Figure BDA0002400165790000074
产品描述符是对于产品的定义，用K维实数向量表示。RK表示K维实数空间，
Figure BDA0002400165790000075
表示K1维实数空间。
利用产品评论文本处理器
Figure BDA0002400165790000076
对产品评论文本对应的文本向量进行文本特征提取，获得产品itemB的评论文本特征
Figure BDA0002400165790000077
产品评论文本处理器
Figure BDA0002400165790000078
与产品描述文本处理器相同，采用字符级和词级双向LSTM，通过注意力机制可以获得产品评论文本特征
Figure BDA0002400165790000079
图2中描述了字符级(下面的虚框)和词级双向LSTM(上面的虚框)，字符级的双向LSTM的初始字符、结束字符和词向量连接在一起送入到词级双向LSTM中，产品描述符
Figure BDA00024001657900000710
与文本的局部区域对齐后得到产品评论文本特征
Figure BDA00024001657900000711
与用户相关的文本为用户评论文本；
针对于用户评论文本，利用用户评论文本处理器
Figure BDA00024001657900000712
对用户评论文本对应的文本向量进行文本特征提取，获得用户userA的用户评论文本特征
Figure BDA00024001657900000713
用户评论文本处理器
Figure BDA00024001657900000714
与产品评论文本处理器
Figure BDA00024001657900000715
相同。
(S13)图像特征提取模块：
利用产品图像处理器
Figure BDA00024001657900000716
对图像进行特征提取，获得产品图像imaB的产品图像特征
Figure BDA00024001657900000717
产品图像特征提取选用经典的基于CNN的图像特征提取网络VggNet16。图3描述了VggNet16的网络结构产品，产品描述符
Figure BDA0002400165790000081
与图像的局部区域对齐后得到产品图像特征
Figure BDA0002400165790000082
(S14)属性特征提取模块：
利用产品属性处理器
Figure BDA0002400165790000083
对产品属性进行变换，获得产品itemB的产品属性特征
Figure BDA0002400165790000084
通常的做法是通过独热编码对于产品属性进行特征编码，即一阶产品属性特征；由于一阶产品属性特征P∈Rn没有很好的特征间交互，选用神经因子分解机进行更好的交互。给定一阶产品属性特征，利用由特征向量矩阵
Figure BDA0002400165790000085
参数化的双池化层来获取二阶相互作用：
Figure BDA0002400165790000086
其中，Pi和Pj是P的第i个和第j个一阶产品属性特征；B的第i列是关于Pi的特征向量Bi，因此，Bi和Bj的特征向量分别对应着Pi和Pj；在双池化层后获得产品属性特征
Figure BDA0002400165790000087
如图4所示，对于每个非零特征选取表示向量(0没有表示向量，对应的表示向量为v1、v4、v6等)，把特征和表示向量相乘，并把表示向量通过元素间的Hardmard乘积。进行相互作用，最后得到产品属性特征
Figure BDA0002400165790000088
利用用户属性处理器
Figure BDA0002400165790000089
对用户属性对应的特征值进行变换，获得用户userA的用户属性特征
Figure BDA00024001657900000810
与产品属性特征的处理一样，主要是解决特征交互的问题，
Figure BDA00024001657900000811
采用与
Figure BDA00024001657900000812
相同的方式进行处理。
(S2)特征增强和组合单元，包括：
(S21)相邻产品特征获取模块：
利用相邻产品处理器
Figure BDA00024001657900000813
把上面获得的产品描述文本特征
Figure BDA00024001657900000814
产品评论文本特征
Figure BDA00024001657900000815
产品图像特征
Figure BDA00024001657900000816
和产品属性特征
Figure BDA00024001657900000817
连接起来，使用记忆网络将第i个产品的特征向量设置为Mitem的第i列，表示为：
Figure BDA00024001657900000818
数据稀缺(评论较少的产品)在非活跃产品中很常见，通过相似产品的获取，可以解决这种问题。
使用相邻产品的记忆网络来扩充具有少量列的记忆网络Mitem，得到增强记忆网络
Figure BDA00024001657900000819
具体过程包括以下步骤：
两个记忆网络Mitem和Mitem'的相似性计算如下：
Figure BDA0002400165790000091
其中，|item|、|item'|分别表示对于产品item、item'的评论的个数，·表示点积；
选取具有最大相似性的r个记忆网络，将r个记忆网络与Mitem连接以扩充Mitem，将连接结果表示为
Figure BDA0002400165790000092
计算每对记忆网络间相似性的代价是昂贵的，所以可以使用局部敏感哈希来获得相似性。
使用n跳在增强记忆网络
Figure BDA0002400165790000093
中进行查询获得相邻产品特征向量
Figure BDA0002400165790000094
Figure BDA0002400165790000095
Figure BDA0002400165790000096
……
Figure BDA0002400165790000097
Figure BDA0002400165790000098
为初始产品表示向量，softmax函数作用于点积形式的注意力机制，含义为当前表示
Figure BDA0002400165790000099
与增强记忆网络
Figure BDA00024001657900000910
间的注意力权重；最终把初始产品表示向量和相邻产品特征向量
Figure BDA00024001657900000911
连接起来获得最终的产品表示向量eitem。
(S22)相邻用户特征获取模块：
利用与相邻产品特征获取模块相同的方式获得用户表示向量euser；
(S23)特征组合模块：
用户和产品组合处理器Γcombine采用双线性张量积网络，对于用户和产品的表示向量进行交互；
Figure BDA00024001657900000912
其中，互动参数
Figure BDA00024001657900000913
是k维的张量，变换参数VR为矩阵，偏移参数bR为向量。
(S3)解码单元，包括：
(S31)评论评分生成模块(N-best生成模块)：
先生成N-best词，通过词组合成生成评论句子，使用集束方法按生成句子分数进行剪枝，在生成评论句子同时生成评论评分；并根据Beam搜索的方式生成推荐；文本生成的解码方式按照常用的自左向右解码，基本过程描述如图5所示，Beam宽度为k＝2，<sos>表示假设结果的开始符号。搜索运行了4步，并且没有假设结果已经生成终止符号<eos>。图中加虚线表示剪枝掉的部分假设(由于得分不在前两名被剪掉了)。
(S32)目标函数计算模块：
计算目标函数得分步骤：根据生成词的概率计算使用Log-linear模型评论句子的得分，同时计算生成评论句子和参考评论句子间的BLEU的得分，以及该评论句子的评分。
生成评论的目标函数：采用最小贝叶斯风险/评价指标期望(即生成N-best结果的评价标准的期望)来构建基于N-best的目标函数；目标函数被定义为后验分布期望：
Figure BDA0002400165790000101
其基本原理为需要平衡N-best结果；其中Y(x(s))表示x(s)生成的N-best结果，x(s)即用户和产品组合特征表示eitem&user；
Figure BDA0002400165790000102
表示使用的评价指标BLEU，用于计算参考评论
Figure BDA0002400165790000103
和生成评论y间的差距；生成评论y＝(y1,...,yn)为句长为n的句子；
对于第s对用户和产品对应的x(s)生成评论y＝(y1,...,yn)的概率为S(y|x(s)；Θlan)；
Figure BDA0002400165790000104
其中P(yi|y1,...,yi-1,x(s)；Θlan)表示生成词yi的概率，连乘表示生成评论句子y的概率；Θlan表示生成语言的参数集合。
生成评分的目标函数：对于N-best结果进行训练，需要考虑每个生成评论的评分和参考评论的均方误差，公式如下：
Figure BDA0002400165790000105
其中ry(x(s)；Θrat)表示通过第s对用户和产品对应的x(s)生成评论y的评分，
Figure BDA0002400165790000107
表示参考评论
Figure BDA0002400165790000106
的评分；Θrat表示生成评分的参数集合。
(S4)多任务训练单元的训练过程包括以下步骤：
特征抽取单元、特征增强和组合单元、解码单元联合起来形成整个深度评论推荐网络，计算联合目标损失函数，并对于给定用户和产品生成推荐结果，采用GPU和并行训练进行加速。反向传播步骤：根据计算出来的梯度，对于参数进行更新，不断迭代直到收敛为止。
目标函数包含两个部分，基于评论的目标函数Llan(Θlan)和基于评分的目标函数Lrat(Θrat)。对于这些目标函数进行加和，使得联合训练达到整体最优，为了防止过拟合，进行参数正则化。训练公式如下：
Ltotal(Θtotal)＝Llan(Θlan)+Lrat(Θrat)+λ||Θtotal||2
其中，Θtotal包含了生成评论参数Θlan和生成评分参数Θrat。λ为权重系数；
对于文本、图像和属性特征抽取部分进行预训练，基本过程为对于评论文本进行自编码把编码器保留下来作为
Figure BDA0002400165790000111
和
Figure BDA0002400165790000112
对于图像部分使用图像分类任务，把特征提取部分
Figure BDA0002400165790000113
保留下来；对于属性特征部分进行产品分类，把特征提取部分
Figure BDA0002400165790000114
和
Figure BDA0002400165790000115
保留下来。预训练的好处使得优化后的网络更加接近全局最优。
反向传播调节参数：
采用Nadam(Nesterov-accelerated Adaptive Moment Estimation)进行优化。它结合了Adam和NAG(Nesterov Accelerated Gradient)。Adam是为每个参数计算自适应学习率的一种方法。除了存储过去平方梯度的指数衰减平均值vt，Adam还保留过去梯度mt的指数衰减平均值，类似于动量：
Figure BDA0002400165790000116
mt＝β1mt-1+(1-β1)gt
Figure BDA0002400165790000117
其中，mt和vt分别是梯度的一阶和二阶矩估计值，θt∈Θtotal表示第t步的参数。当mt和vt初始化为零向量时，Adam会偏向于零，特别是在初始时间步骤，当衰变率很小时。通过计算偏差校正的一阶和二阶矩估计值来抵消这些偏差：
Figure BDA0002400165790000118
Figure BDA0002400165790000119
然后使用这些更新参数，生成Adam更新规则：
Figure BDA00024001657900001110
β1为0.9，β2为0.999，γ为10-8。
将NAG合并到Adam中，需要修改其动量项mt：
Figure BDA0002400165790000121
Figure BDA0002400165790000122
使用
Figure BDA0002400165790000123
替换
Figure BDA0002400165790000124
Nadam不仅考虑到一阶矩估计值，还考虑到当前梯度衰减。为了获得更好的参数训练结果，采用成批参数更新方式。
在实际使用时，利用训练好的整个深度评论推荐网络进行评论推荐。
具体实施方式二：结合图1说明本实施方式。
本实施方式为一种基于深度学习的评论推荐方法，所述方法包括以下步骤：
(S1)特征抽取步骤，具体包括：
(S11)预处理步骤：获得第s对用户userA和产品itemB对应的文本、图像和属性的初始表示形式；所述文本包括产品描述文本和产品评论文本，以及用户评论文本；所述图像为产品图像；所述属性包括产品属性和用户属性；
针对文本中的词/字符，使用分词工具和词嵌入工具进行处理，获得文本的向量表示；
针对于图像，图像中的每个像素点利用三原色RGB数值来表示；
针对于属性，利用特征值进行表示；
(S12)文本特征提取步骤：
针对产品描述文本进行特征提取，利用产品描述文本特征提取网络获得产品描述文本特征
Figure BDA0002400165790000125
针对产品评论文本进行特征提取，利用产品评论文本特征提取网络获得产品评论文本特征
Figure BDA0002400165790000126
针对用户评论文本进行特征提取，利用用户评论文本特征提取网络获得用户评论文本特征
Figure BDA0002400165790000127
(S13)图像特征提取步骤：
利用产品图像产品图像特征提取网络对产品的图像进行特征提取，获得产品图像特征
Figure BDA0002400165790000128
(S14)属性特征提取步骤：
针对产品属性，利用独热编码对于产品属性进行特征编码，即一阶产品属性特征；给定一阶产品属性特征，利用由特征向量矩阵
Figure BDA0002400165790000129
参数化的双池化层来获取二阶相互作用：
Figure BDA0002400165790000131
其中，Pi和Pj是P的第i个和第j个一阶产品属性特征；B的第i列是关于Pi的特征向量Bi，因此，Bi和Bj的特征向量分别对应着Pi和Pj；在双池化层后获得产品属性特征
Figure BDA0002400165790000132
针对用户属性，利用与获得产品属性特征
Figure BDA0002400165790000133
相同的方式获得用户属性特征
Figure BDA0002400165790000134
(S2)特征增强和组合步骤，具体包括：
(S21)相邻产品特征获取步骤：
把获得的产品描述文本特征
Figure BDA0002400165790000135
产品评论文本特征
Figure BDA0002400165790000136
产品图像特征
Figure BDA0002400165790000137
和产品属性特征
Figure BDA0002400165790000138
连接起来，使用记忆网络将第i个产品的特征向量设置为Mitem的第i列，表示为：
Figure BDA0002400165790000139
使用相邻产品的记忆网络来扩充记忆网络Mitem，得到增强记忆网络
Figure BDA00024001657900001310
使用n跳在增强记忆网络
Figure BDA00024001657900001311
中进行查询获得相邻产品特征向量
Figure BDA00024001657900001312
把初始产品表示向量和相邻产品特征向量
Figure BDA00024001657900001313
连接起来获得最终的产品表示向量eitem；
(S22)相邻用户特征获取步骤：
利用与相邻产品特征获取步骤相同的方式获得用户表示向量euser；
(S23)特征组合步骤：
用户和产品组合处理器Γcombine采用双线性张量积网络，对于用户和产品的表示向量进行交互；
Figure BDA00024001657900001314
其中，互动参数
Figure BDA00024001657900001315
是k维的张量，变换参数VR为矩阵，偏移参数bR为向量；
(S3)解码步骤，具体包括：
(S31)评论评分生成步骤(N-best生成步骤)：
先生成N-best词，通过词组合成生成评论句子，使用集束方法按生成句子分数进行剪枝，在生成评论句子同时生成评论评分；并根据Beam搜索的方式生成推荐。
在一些实施例中，一种基于深度学习的评论推荐方法中，所述解码步骤还包括(S32)目标函数计算的步骤：目标函数计算模块根据生成词的概率使用Log-linear模型计算评论句子的得分，同时计算生成评论句子和参考评论句子间的BLEU的得分，以及该评论句子的评分。
特征抽取单元、特征增强和组合单元、解码单元联合起来形成的整个深度评论推荐网络，整个深度评论推荐网络需要经过进行多任务训练，利用训练好的整个深度评论推荐网络进行推荐。
需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。

Claims (10)

1.一种基于深度学习的评论推荐系统，其特征在于，所述系统包括特征抽取单元、特征增强和组合单元、解码单元；
(S1)所述特征抽取单元包括：
(S11)预处理模块：获得第s对用户userA和产品itemB对应的文本、图像和属性的初始表示形式；所述文本包括产品描述文本和产品评论文本，以及用户评论文本；所述图像为产品图像；所述属性包括产品属性和用户属性；
针对文本中的词/字符，使用分词工具和词嵌入工具进行处理，获得文本的向量表示；
针对于图像，图像中的每个像素点利用三原色RGB数值来表示；
针对于属性，利用特征值进行表示；
(S12)文本特征提取模块：
针对产品描述文本进行特征提取，利用产品描述文本特征提取网络获得产品描述文本特征
Figure FDA0002400165780000011
针对产品评论文本进行特征提取，利用产品评论文本特征提取网络获得产品评论文本特征
Figure FDA0002400165780000012
针对用户评论文本进行特征提取，利用用户评论文本特征提取网络获得用户评论文本特征
Figure FDA0002400165780000013
(S13)图像特征提取模块：
利用产品图像产品图像特征提取网络对产品的图像进行特征提取，获得产品图像特征
Figure FDA0002400165780000014
(S14)属性特征提取模块：
针对产品属性，利用独热编码对于产品属性进行特征编码，即一阶产品属性特征；给定一阶产品属性特征，利用由特征向量矩阵
Figure FDA0002400165780000015
参数化的双池化层来获取二阶相互作用：
Figure FDA0002400165780000016
其中，Pi和Pj是P的第i个和第j个一阶产品属性特征；B的第i列是关于Pi的特征向量Bi，因此，Bi和Bj的特征向量分别对应着Pi和Pj；在双池化层后获得产品属性特征
Figure FDA0002400165780000017
针对用户属性，利用与获得产品属性特征
Figure FDA0002400165780000018
相同的方式获得用户属性特征
Figure FDA0002400165780000019
(S2)所述特征增强和组合单元，包括：
(S21)相邻产品特征获取模块：
把获得的产品描述文本特征
Figure FDA0002400165780000021
产品评论文本特征
Figure FDA0002400165780000022
产品图像特征
Figure FDA0002400165780000023
和产品属性特征
Figure FDA0002400165780000024
连接起来，使用记忆网络将第i个产品的特征向量设置为Mitem的第i列，表示为：
Figure FDA0002400165780000025
使用相邻产品的记忆网络来扩充记忆网络Mitem，得到增强记忆网络
Figure FDA0002400165780000026
使用n跳在增强记忆网络
Figure FDA0002400165780000027
中进行查询获得相邻产品特征向量
Figure FDA0002400165780000028
把初始产品表示向量和相邻产品特征向量
Figure FDA0002400165780000029
连接起来获得最终的产品表示向量eitem；
(S22)相邻用户特征获取模块：
利用与相邻产品特征获取模块相同的方式获得用户表示向量euser；
(S23)特征组合模块：
用户和产品组合处理器Γcombine采用双线性张量积网络，对于用户和产品的表示向量进行交互；
Figure FDA00024001657800000210
其中，互动参数
Figure FDA00024001657800000211
是k维的张量，变换参数VR为矩阵，偏移参数bR为向量；
(S3)所述解码单元，包括：
(S31)评论评分生成模块：
先生成N-best词，通过词组合成生成评论句子，使用集束方法按生成句子分数进行剪枝，在生成评论句子同时生成评论评分；并根据Beam搜索的方式生成推荐。
2.根据权利要求1所述的一种基于深度学习的评论推荐系统，其特征在于，所述利用产品描述文本特征提取网络获得产品描述文本特征
Figure FDA00024001657800000212
的过程如下：
针对产品描述文本进行特征提取，文本特征提取网络采用词级和字符级双向LSTM，并把字符级双向LSTM的输出接到词级的词特征表示上；产品描述符
Figure FDA00024001657800000213
的对齐采用注意力机制，通过注意力机制获得产品描述文本特征
Figure FDA00024001657800000214
3.根据权利要求2所述的一种基于深度学习的评论推荐系统，其特征在于，所述产品评论文本特征提取网络与产品描述文本特征提取网络结构相同。
4.根据权利要求2所述的一种基于深度学习的评论推荐系统，其特征在于，所述用户评论文本特征提取网络与产品描述文本特征提取网络结构相同。
5.根据权利要求1所述的一种基于深度学习的评论推荐系统，其特征在于，所述获得产品图像特征
Figure FDA0002400165780000031
的过程包括以下步骤：
产品图像特征提取选用基于CNN的图像特征提取网络VggNet16，产品描述符
Figure FDA0002400165780000032
与图像的局部区域对齐后得到产品图像特征
Figure FDA0002400165780000033
6.根据权利要求1所述的一种基于深度学习的评论推荐系统，其特征在于，所述使用相邻产品的记忆网络来扩充记忆网络Mitem得到增强记忆网络
Figure FDA0002400165780000034
的具体过程包括以下步骤：
两个记忆网络Mitem和Mitem'的相似性计算如下：
Figure FDA0002400165780000035
其中，|item|、|item'|分别表示对于产品item、item'的评论的个数，·表示点积；
选取具有最大相似性的r个记忆网络，将r个记忆网络与Mitem连接以扩充Mitem，将连接结果表示为
Figure FDA0002400165780000036
7.根据权利要求1所述的一种基于深度学习的评论推荐系统，其特征在于，所述使用n跳在增强记忆网络
Figure FDA0002400165780000037
中进行查询获得相邻产品特征向量
Figure FDA0002400165780000038
的过程如下：
Figure FDA0002400165780000039
Figure FDA00024001657800000310
……
Figure FDA00024001657800000311
其中，e0 item为初始产品表示向量，softmax函数作用于点积形式的注意力机制，含义为当前表示
Figure FDA00024001657800000312
与增强记忆网络
Figure FDA00024001657800000313
间的注意力权重。
8.根据权利要求1至7之一所述的一种基于深度学习的评论推荐系统，其特征在于，所述解码单元还包括目标函数计算模块；
目标函数计算模块根据生成词的概率使用Log-linear模型计算评论句子的得分，同时计算生成评论句子和参考评论句子间的BLEU的得分，以及该评论句子的评分。
9.根据权利要求8所述的一种基于深度学习的评论推荐系统，其特征在于，所述系统还包括多任务训练单元，用于对特征抽取单元、特征增强和组合单元、解码单元联合起来形成的整个深度评论推荐网络进行多任务训练；所述多任务训练过程包括以下步骤：
计算联合目标损失函数，并对于给定用户和产品生成推荐结果，采用GPU和并行训练进行加速；反向传播步骤：根据计算出来的梯度，对于参数进行更新，不断迭代直到收敛为止；
目标函数包含两个部分，基于评论的目标函数Llan(Θlan)和基于评分的目标函数Lrat(Θrat)；训练公式如下：
Ltotal(Θtotal)＝Llan(Θlan)+Lrat(Θrat)+λ||Θtotal||2
其中，Θtotal包含了生成评论参数Θlan和生成评分参数Θrat；λ为权重系数；
在反向传播调节参数的过程中采用Nadam进行优化。
10.一种基于深度学习的评论推荐方法，其特征在于，所述方法包括以下步骤：
(S1)特征抽取步骤，具体包括：
(S11)预处理步骤：获得第s对用户userA和产品itemB对应的文本、图像和属性的初始表示形式；所述文本包括产品描述文本和产品评论文本，以及用户评论文本；所述图像为产品图像；所述属性包括产品属性和用户属性；
针对文本中的词/字符，使用分词工具和词嵌入工具进行处理，获得文本的向量表示；
针对于图像，图像中的每个像素点利用三原色RGB数值来表示；
针对于属性，利用特征值进行表示；
(S12)文本特征提取步骤：
针对产品描述文本进行特征提取，利用产品描述文本特征提取网络获得产品描述文本特征
Figure FDA0002400165780000041
针对产品评论文本进行特征提取，利用产品评论文本特征提取网络获得产品评论文本特征
Figure FDA0002400165780000042
针对用户评论文本进行特征提取，利用用户评论文本特征提取网络获得用户评论文本特征
Figure FDA0002400165780000043
(S13)图像特征提取步骤：
利用产品图像产品图像特征提取网络对产品的图像进行特征提取，获得产品图像特征
Figure FDA0002400165780000051
(S14)属性特征提取步骤：
针对产品属性，利用独热编码对于产品属性进行特征编码，即一阶产品属性特征；给定一阶产品属性特征，利用由特征向量矩阵
Figure FDA0002400165780000052
参数化的双池化层来获取二阶相互作用：
Figure FDA0002400165780000053
其中，Pi和Pj是P的第i个和第j个一阶产品属性特征；B的第i列是关于Pi的特征向量Bi，因此，Bi和Bj的特征向量分别对应着Pi和Pj；在双池化层后获得产品属性特征
Figure FDA0002400165780000054
针对用户属性，利用与获得产品属性特征
Figure FDA0002400165780000055
相同的方式获得用户属性特征
Figure FDA0002400165780000056
(S2)特征增强和组合步骤，具体包括：
(S21)相邻产品特征获取步骤：
把获得的产品描述文本特征
Figure FDA0002400165780000057
产品评论文本特征
Figure FDA0002400165780000058
产品图像特征
Figure FDA0002400165780000059
和产品属性特征
Figure FDA00024001657800000510
连接起来，使用记忆网络将第i个产品的特征向量设置为Mitem的第i列，表示为：
Figure FDA00024001657800000511
使用相邻产品的记忆网络来扩充记忆网络Mitem，得到增强记忆网络
Figure FDA00024001657800000512
使用n跳在增强记忆网络
Figure FDA00024001657800000513
中进行查询获得相邻产品特征向量
Figure FDA00024001657800000514
把初始产品表示向量和相邻产品特征向量
Figure FDA00024001657800000515
连接起来获得最终的产品表示向量eitem；
(S22)相邻用户特征获取步骤：
利用与相邻产品特征获取步骤相同的方式获得用户表示向量euser；
(S23)特征组合步骤：
用户和产品组合处理器Γcombine采用双线性张量积网络，对于用户和产品的表示向量进行交互；
Figure FDA0002400165780000061
其中，互动参数
Figure FDA0002400165780000062
是k维的张量，变换参数VR为矩阵，偏移参数bR为向量；
(S3)解码步骤，具体包括：
(S31)评论评分生成步骤：
先生成N-best词，通过词组合成生成评论句子，使用集束方法按生成句子分数进行剪枝，在生成评论句子同时生成评论评分；并根据Beam搜索的方式生成推荐。
CN202010144247.6A 2020-03-04 2020-03-04 一种基于深度学习的评论推荐系统及方法 Active CN111368197B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010144247.6A CN111368197B (zh) 2020-03-04 2020-03-04 一种基于深度学习的评论推荐系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010144247.6A CN111368197B (zh) 2020-03-04 2020-03-04 一种基于深度学习的评论推荐系统及方法

Publications (2)

Publication Number Publication Date
CN111368197A true CN111368197A (zh) 2020-07-03
CN111368197B CN111368197B (zh) 2022-05-27

Family

ID=71206663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010144247.6A Active CN111368197B (zh) 2020-03-04 2020-03-04 一种基于深度学习的评论推荐系统及方法

Country Status (1)

Country Link
CN (1) CN111368197B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084416A (zh) * 2020-09-21 2020-12-15 哈尔滨理工大学 基于CNN和LSTM的Web服务推荐方法
CN112200623A (zh) * 2020-09-27 2021-01-08 深圳市其乐游戏科技有限公司 产品推荐方法、装置、设备及存储介质
CN112561069A (zh) * 2020-12-23 2021-03-26 北京百度网讯科技有限公司 模型处理方法、装置、设备、存储介质及产品
CN112989218A (zh) * 2021-03-12 2021-06-18 西华大学 基于多级属性嵌入和约束典型相关分析的身份链接方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180276727A1 (en) * 2017-03-24 2018-09-27 Abzooba, Inc. System and Method for Automated Retrieval of Apparel Items and the Like
CN110059262A (zh) * 2019-04-19 2019-07-26 武汉大学 一种基于混合神经网络的项目推荐模型的构建方法及装置、项目推荐方法
CN110555112A (zh) * 2019-08-22 2019-12-10 桂林电子科技大学 一种基于用户正负偏好学习的兴趣点推荐方法
CN110648163A (zh) * 2019-08-08 2020-01-03 中山大学 一种基于用户评论的推荐算法
CN110765260A (zh) * 2019-10-18 2020-02-07 北京工业大学 一种基于卷积神经网络与联合注意力机制的信息推荐方法
CN110851700A (zh) * 2019-09-25 2020-02-28 浙江工业大学 一种融合属性和语义的概率矩阵分解冷启动推荐方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180276727A1 (en) * 2017-03-24 2018-09-27 Abzooba, Inc. System and Method for Automated Retrieval of Apparel Items and the Like
CN110059262A (zh) * 2019-04-19 2019-07-26 武汉大学 一种基于混合神经网络的项目推荐模型的构建方法及装置、项目推荐方法
CN110648163A (zh) * 2019-08-08 2020-01-03 中山大学 一种基于用户评论的推荐算法
CN110555112A (zh) * 2019-08-22 2019-12-10 桂林电子科技大学 一种基于用户正负偏好学习的兴趣点推荐方法
CN110851700A (zh) * 2019-09-25 2020-02-28 浙江工业大学 一种融合属性和语义的概率矩阵分解冷启动推荐方法
CN110765260A (zh) * 2019-10-18 2020-02-07 北京工业大学 一种基于卷积神经网络与联合注意力机制的信息推荐方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
NICHOLAS BUHAGIAR 等: "Using Deep Learning to Recommend Discussion Threads to Users in an Online Forum", 《2018 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN)》 *
张亚楠 等: "基于增量图形模式匹配的动态冷启动推荐方法", 《浙江大学学报(工学版)》 *
范汝鑫: "基于深度神经网络的个性化商品推荐研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084416A (zh) * 2020-09-21 2020-12-15 哈尔滨理工大学 基于CNN和LSTM的Web服务推荐方法
CN112200623A (zh) * 2020-09-27 2021-01-08 深圳市其乐游戏科技有限公司 产品推荐方法、装置、设备及存储介质
CN112561069A (zh) * 2020-12-23 2021-03-26 北京百度网讯科技有限公司 模型处理方法、装置、设备、存储介质及产品
CN112989218A (zh) * 2021-03-12 2021-06-18 西华大学 基于多级属性嵌入和约束典型相关分析的身份链接方法

Also Published As

Publication number Publication date
CN111368197B (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN111368197B (zh) 一种基于深度学习的评论推荐系统及方法
CN110490946B (zh) 基于跨模态相似度和生成对抗网络的文本生成图像方法
CN108829677B (zh) 一种基于多模态注意力的图像标题自动生成方法
CN112100346B (zh) 基于细粒度图像特征和外部知识相融合的视觉问答方法
CN112100351A (zh) 一种通过问题生成数据集构建智能问答系统的方法及设备
CN111611361A (zh) 抽取式机器智能阅读理解问答系统
CN112417097B (zh) 一种用于舆情解析的多模态数据特征提取与关联方法
CN111553350B (zh) 一种基于深度学习的注意力机制文本识别方法
CN114936623A (zh) 一种融合多模态数据的方面级情感分析方法
CN116610778A (zh) 基于跨模态全局与局部注意力机制的双向图文匹配方法
CN115238690A (zh) 一种基于bert的军事领域复合命名实体识别方法
CN113822340A (zh) 一种基于注意力机制的图文情感识别方法
CN114332519A (zh) 一种基于外部三元组和抽象关系的图像描述生成方法
CN115994990A (zh) 基于文本信息引导的三维模型自动建模方法
CN113627190A (zh) 可视化数据转换方法、装置、计算机设备及存储介质
CN115098675A (zh) 一种基于多类别表格填充的情感三元组生成方法
CN115331075A (zh) 一种多模态场景图知识增强的对抗式多模态预训练方法
CN114281982B (zh) 一种多模态融合技术的图书宣传摘要生成方法和系统
Xie et al. Unsupervised learning of paragraph embeddings for context-aware recommendation
CN111651661A (zh) 一种图文跨媒体检索方法
Ji et al. Relation constraint self-attention for image captioning
CN117034921B (zh) 一种基于用户数据的提示学习训练方法、装置和介质
CN113377953A (zh) 一种基于palc－dca模型的实体融合及分类方法
CN117648984A (zh) 一种基于领域知识图谱的智能问答方法及系统
Perdana et al. Instance-based deep transfer learning on cross-domain image captioning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant