CN109800853B - 融合卷积神经网络和显式反馈的矩阵分解方法、装置及电子设备 - Google Patents

融合卷积神经网络和显式反馈的矩阵分解方法、装置及电子设备 Download PDF

Info

Publication number
CN109800853B
CN109800853B CN201811453628.1A CN201811453628A CN109800853B CN 109800853 B CN109800853 B CN 109800853B CN 201811453628 A CN201811453628 A CN 201811453628A CN 109800853 B CN109800853 B CN 109800853B
Authority
CN
China
Prior art keywords
user
matrix
article
neural network
scoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811453628.1A
Other languages
English (en)
Other versions
CN109800853A (zh
Inventor
曾碧卿
商齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN201811453628.1A priority Critical patent/CN109800853B/zh
Publication of CN109800853A publication Critical patent/CN109800853A/zh
Application granted granted Critical
Publication of CN109800853B publication Critical patent/CN109800853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Machine Translation (AREA)

Abstract

本发明涉及一种融合卷积神经网络和显式反馈的矩阵分解方法、装置及电子设备。方法包括如下步骤:将物品的用户描述文档表示为词向量矩阵;将用户对物品的评分集合映射为二进制向量;通过卷积注意力神经网络和堆叠降噪自动编码器分别获取物品和用户的隐含因子;对所述物品的隐含因子和所述用户的隐含因子求向量内积,得到预测评分矩阵;根据所述预测评分矩阵与真实评分矩阵之间的损失函数,优化所述卷积注意力神经网络和所述堆叠降噪自动编码器的参数。本发明的融合卷积神经网络和显式反馈的矩阵分解方法可解释性好,能减轻物品冷启动问题,并能改善数据稀疏问题,提高评分预测的准确率。

Description

融合卷积神经网络和显式反馈的矩阵分解方法、装置及电子 设备
技术领域
本发明涉及数据处理技术领域,特别是涉及一种融合卷积神经网络和显式反馈的矩阵分解方法、装置及电子设备。
背景技术
基于矩阵分解的推荐方法是目前一种常用的基本方法,通过分解给定用户对物品的评分矩阵,用两个低秩矩阵的乘积来逼近原来的评分矩阵,逼近的目标就是使预测的评分矩阵和原来的评分矩阵之间的误差平方最小。两个低秩矩阵分别为用户和物品的特征矩阵,矩阵中的这些特征向量可以简单地理解为用户对不同属性的偏好。与基于内容的过滤方法相比,矩阵分解具有较好的领域适应性,能够处理非结构化的数据,如音乐、视频等。但存在数据稀疏和冷启动问题。这是因为,纯粹的矩阵分解忽略了物品的评论文本和描述文本的隐含特征,使得矩阵分解的预测性能受限。
现有的评分预测将用户对物品的评分信息看作单纯的评分,没有从用户和物品的角度,深入思考用户对不同物品的评分和不同用户对同一物品的评分所蕴含的深层含义,简单的矩阵分解无法添加文本特征,不能深入理解用户对物品的评论文本,因此无法解决冷启动和推荐的可解释性问题。
卷积神经网络可用于提取文本的隐含特征,但是卷积神经网络往往忽略对单一词的特征提取,而且文本中不同词对评分预测的重要性不一,而大部分工作没有考虑不同词对评分预测的差异性。
发明内容
基于此,本发明的目的在于,提供一种融合卷积神经网络和显式反馈的矩阵分解方法,其可解释性好,能有效减轻物品冷启动问题,并能改善数据稀疏问题,提高评分预测的准确率。
本发明融合卷积神经网络和显式反馈的矩阵分解方法是通过如下方案实现的:
一种融合卷积神经网络和显式反馈的矩阵分解方法,包括如下步骤:
将物品的用户描述文档表示为词向量矩阵;
将用户对物品的评分集合映射为二进制向量;
将所述词向量矩阵输入卷积注意力神经网络,获取物品的隐含因子;
将所述用户评分信息以及其对应的二进制向量输入堆叠降噪自动编码器,获取用户的隐含因子;
通过概率矩阵分解交替更新用户隐含因子和物品隐含因子,对所述物品的隐含因子和所述用户的隐含因子求向量内积,得到用户对该物品的预测评分,并根据用户对于该物品的预测评分,建立预测评分矩阵;
根据所述预测评分矩阵与真实评分矩阵之间的损失函数,使用误差反向传播算法,优化所述卷积注意力神经网络和所述堆叠降噪自动编码器的参数。
本发明所述的融合卷积神经网络和显式反馈的矩阵分解方法,通过卷积注意力神经网络提取物品的隐含因子,通过堆叠降噪自动编码器提取用户的隐含因子,再通过概率矩阵分解交替更新用户隐含因子和物品隐含因子,对所述物品的隐含因子和所述用户的隐含因子求向量内积,得到预测评分,建立预测评分矩阵,其可解释性好,能有效减轻物品冷启动问题,并能改善数据稀疏问题,提高评分预测的准确率。
在一种实施例中,将物品的用户描述文档表示为词向量矩阵前,还包括如下步骤:
去除所述用户描述文档中频率过高的词汇;
去除所述用户描述文档中频率过低的词汇。
通过对用户描述文档进行筛选,能更准确的获取用户描述文档的词向量矩阵。
在一种实施例中,将用户对物品的评分集合映射为二进制向量前,还包括如下步骤:
去除没有用户描述文档的物品。
在一种实施例中,对所述物品的隐含因子和所述用户的隐含因子求向量内积前,还包括如下步骤:
根据物品的评分数量对所述物品赋予不同程度的高斯噪声,其中,评分数量越少,所赋予的高斯噪声越大。
通过根据物品的评分数量对所述物品赋予不同程度的高斯噪声,可以提高所述物品隐含因子的鲁棒性。
进一步地,本发明还提供一种融合卷积神经网络和显式反馈的矩阵分解装置,包括:
词向量矩阵模块,用于将物品的用户描述文档表示为词向量矩阵;
二进制向量映射模块,用于将用户对物品的评分集合映射为二进制向量;
物品隐含因子获取模块,用于将所述词向量矩阵输入卷积注意力神经网络,获取物品的隐含因子;
用户隐含因子获取模块,用于将所述用户评分信息以及其对应的二进制向量输入堆叠降噪自动编码器,获取用户的隐含因子;
概率矩阵分解模块,用于通过概率矩阵分解交替更新用户隐含因子和物品隐含因子,对所述物品的隐含因子和所述用户的隐含因子求向量内积,得到用户对该物品的预测评分,并根据用户对于该物品的预测评分,建立预测评分矩阵;
优化模块,用于根据所述预测评分矩阵与真实评分矩阵之间的损失函数,使用误差反向传播算法,优化所述卷积注意力神经网络和所述堆叠降噪自动编码器的参数。
本发明所述的融合卷积神经网络和显式反馈的矩阵分解装置,通过卷积注意力神经网络提取物品的隐含因子,通过堆叠降噪自动编码器提取用户的隐含因子,再通过概率矩阵分解交替更新用户隐含因子和物品隐含因子,对所述物品的隐含因子和所述用户的隐含因子求向量内积,得到预测评分,建立预测评分矩阵,其可解释性好,能有效减轻物品冷启动问题,并能改善数据稀疏问题,提高评分预测的准确率。
在一种实施例中,还包括:
第一预处理模块,用于将物品的用户描述文档表示为词向量矩阵前,去除所述用户描述文档中频率过高的词汇,以及去除所述用户描述文档中频率过低的词汇。
在一种实施例中,还包括:
第二预处理模块,用于将用户对物品的评分集合映射为二进制向量前,去除没有用户描述文档的物品。
在一种实施例中,还包括:
高斯噪声赋予模块,用于对所述物品的隐含因子和所述用户的隐含因子求向量内积前,根据物品的评分数量对所述物品赋予不同程度的高斯噪声,其中,评分数量越少,所赋予的高斯噪声越大。
进一步地,本发明还提供一种计算机可读介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任意一项融合卷积神经网络和显式反馈的矩阵分解方法。
进一步地,本发明还提供一种电子设备,包括存储器、处理器以及储存在所述存储器并可被所述处理器执行的计算机程序,所述处理器执行所述计算机程序时,实现如上述的任意一项融合卷积神经网络和显式反馈的矩阵分解方法。
为了更好地理解和实施,下面结合附图详细说明本发明。
附图说明
图1为一种实施例中融合卷积神经网络和显式反馈的矩阵分解方法流程图;
图2为一种实施例中对物品描述文档预处理流程图;
图3为融合卷积神经网络和显式反馈的矩阵分解模型示意图;
图4为卷积注意力神经网络的结构示意图;
图5为堆叠降噪自动编码器的网络结构示意图;
图6为一种实施例中融合卷积神经网络和显式反馈的矩阵分解方法流程图;
图7为一种实施例中融合卷积神经网络和显式反馈的矩阵分解模型的优化流程示意图;
图8为一种实施例中融合卷积神经网络和显式反馈的矩阵分解装置结构示意图;
图9为一种实施例中电子设备结构示意图。
具体实施方式
请参阅图1,在一种实施例中,本发明融合卷积神经网络和显式反馈的矩阵分解方法包括如下步骤:
步骤S101:将物品的用户描述文档表示为词向量矩阵。
步骤S102:将用户对物品的评分集合映射为二进制向量。
所述物品包括用户购买、或使用的商品,包括实务商品,也包括电影、电视剧、书籍等商品,所述用户描述文档为用户对该物品发表的评论,所述用户评分信息为用户对该物品所发表的评分信息。
所述词向量矩阵通过词嵌入层,将物品的描述文档映射到向量空间,向量之间的距离表征了描述文档中,词与词之间的语义关系。将用户对物品的评分集合映射为二进制向量,是通过将用户对物品的评分集合进行二进制编码来完成的。
步骤S103:将所述词向量矩阵输入卷积注意力神经网络,获取物品的隐含因子。
所述卷积注意力神经网络包括注意力层,用于提取用户描述文档的局部特征,所述物品的隐含因子,为隐语义模型中,物品与隐类之间的关系矩阵。
步骤S104:将所述用户评分信息以及其对应的二进制向量输入堆叠降噪自动编码器,获取用户的隐含因子。
所述堆叠降噪自动编码器训练时可在输入信号中加入不同类型、不同强度的噪声,其编码过程具有良好的稳定性和鲁棒性,所述用户的隐含因子,为隐语义模型中,用户评分与隐类之间的关系矩阵。
步骤S105:通过概率矩阵分解交替更新用户隐含因子和物品隐含因子,对所述物品的隐含因子和所述用户的隐含因子求向量内积,得到用户对该物品的预测评分,并根据用户对于该物品的预测评分,建立预测评分矩阵。
所述概率矩阵分解的目标为根据现有的物品的隐含因子和用户的隐含因子,用户-物品评分矩阵中的未知值。
步骤S106:根据所述预测评分矩阵与真实评分矩阵之间的损失函数,使用误差反向传播算法,优化所述卷积注意力神经网络和所述堆叠降噪自动编码器的参数。
本发明所述的融合卷积神经网络和显式反馈的矩阵分解方法,通过卷积注意力神经网络提取物品的隐含因子,通过堆叠降噪自动编码器提取用户的隐含因子,再通过概率矩阵分解交替更新用户隐含因子和物品隐含因子,对所述物品的隐含因子和所述用户的隐含因子求向量内积,得到预测评分,建立预测评分矩阵,其可解释性好,能有效减轻物品冷启动问题,并能改善数据稀疏问题,提高评分预测的准确率。
请参阅图2,在一种实施例中,将物品的用户描述文档表示为词向量矩阵前,还包括如下步骤:
步骤S201:去除所述用户描述文档中频率过高的词汇。
步骤S202:去除所述用户描述文档中频率过低的词汇。
在本实施例中,通过计算物品的描述文档中每个词的词频-逆文档频率,进而去除掉词频-逆文档频率过高或过低的词汇。
在一种实施例中,还包括如下步骤:
去除没有用户描述文档的物品。
在一种实施例中,为提高物品隐含因子的鲁棒性,对所述物品的隐含因子和所述用户的隐含因子求向量内积前,还包括如下步骤:
根据物品的评分数量对所述物品赋予不同程度的高斯噪声,其中,评分数量越少,所赋予的高斯噪声越大。
所述高斯噪声为概率密度函数服从高斯分布(即正态分布)的一类噪声。
在一个具体的实施例中,请参阅图3-7,其中,图3为本发明所述的融合卷积神经网络和显式反馈的矩阵分解方法所使用的融合卷积神经网络和显式反馈的矩阵分解模型(RACMF)的示意图,图4为卷积注意力神经网络(ACNN)的结构示意图,图5为堆叠降噪自动编码器(aSDAE)的网络结构示意图,其中,融合卷积神经网络和显式反馈的矩阵分解模型将卷积注意力神经网络和堆叠降噪自动编码器整合到概率矩阵分解的框架下,提高评分预测的准确性。其中,图中R为评分矩阵,U为用户隐含因子,V为物品隐含因子,X为物品的描述文档,Y为用户的评分信息,W为ACNN网络的权值和偏置,W+为aSDAE网络的权值和偏置,σ2为变量的方差。
请参阅图6和图7,其中,图7为融合卷积神经网络和显式反馈的矩阵分解模型(RACMF)的优化流程示意图,在所述预测评分矩阵与真实评分矩阵之间的均方根误差不满足设定条件时,继续对卷积注意力神经网络(ACNN)堆叠降噪自动编码器(aSDAE)进行训练。
本实施例的融合卷积神经网络和显式反馈的矩阵分解方法包括如下步骤:
步骤S601:对物品的用户描述文档进行预处理,将用户描述文档表示为词向量矩阵。
其中,对物品的用户描述文档进行预处理包括如下步骤:
步骤S6011:对用户描述文档长度取值为300(文档长度超过300仅保留该文档中前300个词)。
步骤S6012:去除用户描述文档中的停用词。
步骤S6013:计算用户描述文档中每个词的词频-逆文档频率。
步骤S6014:去除用户描述文档中频率高于0.5的词。
步骤S6015:挑出词频-逆文档频率最大的8000个词生成词汇表。
步骤S6016:从文档中删除未出现在词汇表里的词。
通过词嵌入层,包含T个词的文档映射到维度为d的词向量隐含空间中,文档对应的词嵌入矩阵为
Figure GDA0001966402680000071
可表示为:D=(x1,x2,...,xT)。
步骤S602:对物品的用户评分数据进行预处理,去除没有用户描述文档的物品。
对于ML-100k、ML-1m、ML-10m和Amazon评分数据,从中去除没有描述文档的物品。对于Amazon评分数据,去除评分少于6项的用户得到AIV-6,最后经过统计得到表1-1。与ML-100k、ML-1m、ML-10m相比,AIV-6评分数据的稠密度更低。
表1-1四个数据集的数据统计
Figure GDA0001966402680000081
步骤S603:对用户的评分信息进行二进制编码,将用户对物品的评分集合映射为二进制向量。将评分由[1,5]映射为二进制向量的形式,比如“1”映射为“10000”,“5”映射为“00001”。
步骤S604:将所述词向量矩阵输入卷积注意力神经网络,获取物品的隐含因子。
卷积注意力神经网络(ACNN)先通过局部注意力层和卷积层提取文本特征,局部注意力模块通过滑动窗口来获取文本序列的注意力得分,用以表示各中心词的权重大小,卷积层用于提取文本的局部特征,然后再使用池化层对卷积层的输出进行降维,最后输出物品的隐含因子。
其中,ACNN网络参数设置如下:
1)初始化词向量:通过Glove初始化词向量,词向量的维度为200;
2)局部注意力的滑动窗口长度为5;
3)卷积层使用长度为5和1的卷积核各50个;
4)卷积层的激活函数为ReLU;
5)优化器为“Adam”;
6)设物品隐含因子的维度为50。
步骤S605:将所述用户评分信息以及其对应的二进制向量输入堆叠降噪自动编码器,获取用户的隐含因子。其中,堆叠降噪自动编码器采用优化器“RMSprop”且隐含因子的维度设为50。
步骤S606:根据物品的评分数量对所述物品赋予不同程度的高斯噪声,其中,评分数量越少,所赋予的高斯噪声越大。
方程如下:
vj=acnnW(Xj)+∈j
Figure GDA0001966402680000091
物品的隐含因子为:
Figure GDA0001966402680000092
步骤S607:通过概率矩阵分解交替更新用户隐含因子和物品隐含因子,对所述物品的隐含因子和所述用户的隐含因子求向量内积,得到用户对该物品的预测评分,并根据用户对于该物品的预测评分,建立预测评分矩阵。
矩阵分解的目标是找到合适的用户和物品隐含因子U和V,然后通过UTV预测未知评分,其中
Figure GDA0001966402680000093
根据条件概率分布可知,已知评分的条件分布为:
Figure GDA0001966402680000094
其中,N(x|μ,σ2)表示均值为μ,方差为σ2的高斯正态分布的概率密度函数。
Figure GDA0001966402680000098
Figure GDA0001966402680000095
对于用户隐含因子,使用aSDAE网络生成,方差为
Figure GDA0001966402680000096
Figure GDA0001966402680000097
步骤S608:根据所述预测评分矩阵与真实评分矩阵之间的损失函数,使用误差反向传播算法,优化所述卷积注意力神经网络和所述堆叠降噪自动编码器的参数。
损失函数如以下方程:
Figure GDA0001966402680000101
对于参数U和V的优化,本发明采用坐标下降法(Coordinate Descent)。
ui←(VIiVTUIK)-1(VRiUasdaeW+(Yi))
vj←(UIjUT+h(njVIK)-1(URj+h(njVacnnW(Xj))
对于变量W,将损失函数方程看作关于W的二次函数,损失函数方程可简化为:
Figure GDA0001966402680000102
Figure GDA0001966402680000103
本发明采用反向传播算法优化变量W+和W
Figure GDA0001966402680000104
Figure GDA0001966402680000105
通过优化参数U、V、W+和W,最后就可以预测用户关于物品的未知评分:
Figure GDA0001966402680000106
本发明提出的一种融合卷积神经网络和显式反馈的矩阵分解方法在ML-100k、ML-1m、ML-10m、AIV-6数据集上,均方根误差分别为0.88498、0.84255、0.77440和1.01727,均方根误差RMSE相对其他常见算法均有一定程度的下降,说明本发明的融合卷积神经网络和显式反馈的矩阵分解方法提高评分预测的准确率。
本发明所述的融合卷积神经网络和显式反馈的矩阵分解方法,通过卷积注意力神经网络提取物品的隐含因子,通过堆叠降噪自动编码器提取用户的隐含因子,再通过概率矩阵分解交替更新用户隐含因子和物品隐含因子,对所述物品的隐含因子和所述用户的隐含因子求向量内积,得到预测评分,建立预测评分矩阵,其可解释性好,能有效减轻物品冷启动问题,并能改善数据稀疏问题,提高评分预测的准确率;在卷积神经网络中添加局部注意力机制,降低了文档中无关词的干扰,对文档中不同的词赋予不同的权值,改善了评分预测的准确率。
请参阅图8,在一种实施例中,本发明融合卷积神经网络和显式反馈的矩阵分解装置800包括:
词向量矩阵模块801,用于将物品的用户描述文档表示为词向量矩阵。
二进制向量映射模块802,用于将用户对物品的评分集合映射为二进制向量。
物品隐含因子获取模块803,用于将所述词向量矩阵输入卷积注意力神经网络,获取物品的隐含因子。
用户隐含因子获取模块804,用于将所述用户评分信息以及其对应的二进制向量输入堆叠降噪自动编码器,获取用户的隐含因子。
概率矩阵分解模块805,用于通过概率矩阵分解交替更新用户隐含因子和物品隐含因子,对所述物品的隐含因子和所述用户的隐含因子求向量内积,得到用户对该物品的预测评分,并根据用户对于该物品的预测评分,建立预测评分矩阵。
优化模块806,用于根据所述预测评分矩阵与真实评分矩阵之间的损失函数,使用误差反向传播算法,优化所述卷积注意力神经网络和所述堆叠降噪自动编码器的参数。
本发明所述的融合卷积神经网络和显式反馈的矩阵分解装置,通过卷积注意力神经网络提取物品的隐含因子,通过堆叠降噪自动编码器提取用户的隐含因子,再通过概率矩阵分解交替更新用户隐含因子和物品隐含因子,对所述物品的隐含因子和所述用户的隐含因子求向量内积,得到预测评分,建立预测评分矩阵,其可解释性好,能有效减轻物品冷启动问题,并能改善数据稀疏问题,提高评分预测的准确率。
在一种实施例中,还包括:
第一预处理模块807,用于将物品的用户描述文档表示为词向量矩阵前,去除所述用户描述文档中频率过高的词汇,以及去除所述用户描述文档中频率过低的词汇。
在另一种实施例中,还包括:
第二预处理模块808,用于将用户对物品的评分集合映射为二进制向量前,去除没有用户描述文档的物品。
高斯噪声赋予模块809,用于对所述物品的隐含因子和所述用户的隐含因子求向量内积前,根据物品的评分数量对所述物品赋予不同程度的高斯噪声,其中,评分数量越少,所赋予的高斯噪声越大。
本发明还提供一种计算机可读介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述任意一项实施例中的融合卷积神经网络和显式反馈的矩阵分解方法。
请参阅图9,在一种实施例中,本发明的电子设备900包括存储器901和处理器902,以及储存在所述存储器901并可被所述处理器902执行的计算机程序,所述处理器902执行所述计算机程序时,实现如上述任意一项实施例中的融合卷积神经网络和显式反馈的矩阵分解方法。
在本实施例中,控制器902可以是一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件。存储介质901可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可读储存介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于:相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。

Claims (10)

1.一种融合卷积神经网络和显式反馈的矩阵分解方法,其特征在于,包括如下步骤:
将物品的用户描述文档表示为词向量矩阵;
将用户对物品的评分集合映射为二进制向量;
将所述词向量矩阵输入卷积注意力神经网络,获取物品的隐含因子,其中,
所述物品的隐含因子V的计算方法如下:
Figure FDA0003811156530000014
W为所述卷积注意力神经网络的权值和偏置,X为所述物品的描述文档矩阵;
将用户评分信息以及其对应的二进制向量输入堆叠降噪自动编码器,获取用户的隐含因子,其中,所述用户的隐含因子U的计算方法如下:
Figure FDA0003811156530000015
Y为所述用户的评分信息矩阵,W+i为堆叠降噪自动编码器的权值和偏置;
通过概率矩阵分解交替更新用户隐含因子和物品隐含因子,对所述物品的隐含因子和所述用户的隐含因子求向量内积,得到用户对该物品的预测评分,并根据用户对于该物品的预测评分,建立预测评分矩阵;
根据所述预测评分矩阵与真实评分矩阵之间的损失函数,使用误差反向传播算法,优化所述卷积注意力神经网络和所述堆叠降噪自动编码器的参数,其中,优化参数后的所述预测评分r的计算方法为:
Figure FDA0003811156530000013
2.根据权利要求1所述的融合卷积神经网络和显式反馈的矩阵分解方法,其特征在于,将物品的用户描述文档表示为词向量矩阵前,还包括如下步骤:
去除所述用户描述文档中频率过高的词汇;
去除所述用户描述文档中频率过低的词汇。
3.根据权利要求1所述的融合卷积神经网络和显式反馈的矩阵分解方法,其特征在于,将用户对物品的评分集合映射为二进制向量前,还包括如下步骤:
去除没有用户描述文档的物品。
4.根据权利要求1所述的融合卷积神经网络和显式反馈的矩阵分解方法,其特征在于,对所述物品的隐含因子和所述用户的隐含因子求向量内积前,还包括如下步骤:
根据物品的评分数量对所述物品赋予不同程度的高斯噪声,其中,评分数量越少,所赋予的高斯噪声越大。
5.一种融合卷积神经网络和显式反馈的矩阵分解装置,其特征在于,包括:
词向量矩阵模块,用于将物品的用户描述文档表示为词向量矩阵;
二进制向量映射模块,用于将用户对物品的评分集合映射为二进制向量;
物品隐含因子获取模块,用于将所述词向量矩阵输入卷积注意力神经网络,
获取物品的隐含因子,其中,所述物品的隐含因子V的计算方法如下:
Figure FDA0003811156530000024
W为所述卷积注意力神经网络的权值和偏置,X为所述物品的描述文档矩阵;
用户隐含因子获取模块,用于将用户评分信息以及其对应的二进制向量输入堆叠降噪自动编码器,获取用户的隐含因子,其中,所述用户的隐含因子U的计算方法如下
Figure FDA0003811156530000022
Y为所述用户的评分信息矩阵,W+i为堆叠降噪自动编码器的权值和偏置;
概率矩阵分解模块,用于通过概率矩阵分解交替更新用户隐含因子和物品隐含因子,对所述物品的隐含因子和所述用户的隐含因子求向量内积,得到用户对该物品的预测评分,并根据用户对于该物品的预测评分,建立预测评分矩阵;
优化模块,用于根据所述预测评分矩阵与真实评分矩阵之间的损失函数,使用误差反向传播算法,优化所述卷积注意力神经网络和所述堆叠降噪自动编码器的参数,其中,优化参数后的所述预测评分r的计算方法为:
Figure FDA0003811156530000023
6.根据权利要求5所述的一种融合卷积神经网络和显式反馈的矩阵分解装置,其特征在于,还包括:
第一预处理模块,用于将物品的用户描述文档表示为词向量矩阵前,去除所述用户描述文档中频率过高的词汇,以及去除所述用户描述文档中频率过低的词汇。
7.根据权利要求5所述的一种融合卷积神经网络和显式反馈的矩阵分解装置,其特征在于,还包括:
第二预处理模块,用于将用户对物品的评分集合映射为二进制向量前,去除没有用户描述文档的物品。
8.根据权利要求5所述的一种融合卷积神经网络和显式反馈的矩阵分解装置,其特征在于,还包括:
高斯噪声赋予模块,用于对所述物品的隐含因子和所述用户的隐含因子求向量内积前,根据物品的评分数量对所述物品赋予不同程度的高斯噪声,其中,评分数量越少,所赋予的高斯噪声越大。
9.一种计算机可读介质,其上存储有计算机程序,其特征在于:
该计算机程序被处理器执行时实现如权利要求1至4任意一项所述的融合卷积神经网络和显式反馈的矩阵分解方法。
10.一种电子设备,包括存储器、处理器以及储存在所述存储器并可被所述处理器执行的计算机程序,其特征在于:
所述处理器执行所述计算机程序时,实现如权利要求1至4任意一项所述的融合卷积神经网络和显式反馈的矩阵分解方法。
CN201811453628.1A 2018-11-30 2018-11-30 融合卷积神经网络和显式反馈的矩阵分解方法、装置及电子设备 Active CN109800853B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811453628.1A CN109800853B (zh) 2018-11-30 2018-11-30 融合卷积神经网络和显式反馈的矩阵分解方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811453628.1A CN109800853B (zh) 2018-11-30 2018-11-30 融合卷积神经网络和显式反馈的矩阵分解方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN109800853A CN109800853A (zh) 2019-05-24
CN109800853B true CN109800853B (zh) 2022-11-08

Family

ID=66556407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811453628.1A Active CN109800853B (zh) 2018-11-30 2018-11-30 融合卷积神经网络和显式反馈的矩阵分解方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN109800853B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427568A (zh) * 2019-07-25 2019-11-08 成都品果科技有限公司 一种基于信息的协同注意力推介系统、方法和装置
CN111177557B (zh) * 2019-12-30 2023-09-29 上海交通大学 一种可解释的基于域间显式交互的神经因子的推荐系统及方法
CN111310029B (zh) * 2020-01-20 2022-11-01 哈尔滨理工大学 一种基于用户商品画像和潜在因子特征提取的混合推荐方法
CN111460249B (zh) * 2020-02-24 2022-09-09 桂林电子科技大学 一种基于学习者偏好建模的个性化学习资源推荐方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090229A (zh) * 2018-01-10 2018-05-29 广东工业大学 一种基于卷积神经网络确定评分矩阵的方法和装置
CN108536856A (zh) * 2018-04-17 2018-09-14 重庆邮电大学 基于双边网络结构的混合协同过滤电影推荐模型
CN108874914A (zh) * 2018-05-29 2018-11-23 吉林大学 一种基于图卷积与神经协同过滤的信息推荐方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170308790A1 (en) * 2016-04-21 2017-10-26 International Business Machines Corporation Text classification by ranking with convolutional neural networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090229A (zh) * 2018-01-10 2018-05-29 广东工业大学 一种基于卷积神经网络确定评分矩阵的方法和装置
CN108536856A (zh) * 2018-04-17 2018-09-14 重庆邮电大学 基于双边网络结构的混合协同过滤电影推荐模型
CN108874914A (zh) * 2018-05-29 2018-11-23 吉林大学 一种基于图卷积与神经协同过滤的信息推荐方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ACMF:基于卷积注意力模型的评分预测研究;商齐等;《中文信息学报》;20181115(第11期);全文 *
基于降噪自动编码器的推荐算法;武玲梅等;《计算机与现代化》;20180315(第03期);全文 *

Also Published As

Publication number Publication date
CN109800853A (zh) 2019-05-24

Similar Documents

Publication Publication Date Title
CN109800853B (zh) 融合卷积神经网络和显式反馈的矩阵分解方法、装置及电子设备
US11741361B2 (en) Machine learning-based network model building method and apparatus
CN108920720B (zh) 基于深度哈希和gpu加速的大规模图像检索方法
CN110807154A (zh) 一种基于混合深度学习模型的推荐方法与系统
WO2023065859A1 (zh) 物品推荐方法、装置及存储介质
CN105022754B (zh) 基于社交网络的对象分类方法及装置
US20160283858A1 (en) Multimodal Data Fusion by Hierarchical Multi-View Dictionary Learning
Steck et al. Admm slim: Sparse recommendations for many users
JP2015506026A (ja) 画像分類
CN107247753B (zh) 一种相似用户选取方法及装置
CN109726331B (zh) 对象偏好预测的方法、装置和计算机可读介质
CN116601626A (zh) 个人知识图谱构建方法、装置及相关设备
CN112395487A (zh) 信息推荐方法、装置、计算机可读存储介质及电子设备
CN114372475A (zh) 一种基于RoBERTa模型的网络舆情情感分析方法及系统
CN116521908A (zh) 一种基于人工智能的多媒体内容个性化推荐方法
CN113761359A (zh) 数据包推荐方法、装置、电子设备和存储介质
CN104462489A (zh) 一种基于深层模型的跨模态检索方法
CN116932735A (zh) 一种文本比对方法、装置、介质和设备
KR101467707B1 (ko) 지식 베이스의 개체 매칭 방법 및 이를 위한 장치
CN117252665B (zh) 业务推荐方法、装置、电子设备及存储介质
CN109754067A (zh) 基于卷积注意力的矩阵分解方法、装置及电子设备
CN116821519A (zh) 一种基于图结构的系统过滤和降噪的智能推荐方法
CN107944045B (zh) 基于t分布哈希的图像检索方法及系统
CN112734519B (zh) 一种基于卷积自编码器网络的商品推荐方法
CN111563783B (zh) 一种物品推荐方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant