CN112529414A - 基于多任务神经协同过滤网络的物品评分方法 - Google Patents

基于多任务神经协同过滤网络的物品评分方法 Download PDF

Info

Publication number
CN112529414A
CN112529414A CN202011458875.8A CN202011458875A CN112529414A CN 112529414 A CN112529414 A CN 112529414A CN 202011458875 A CN202011458875 A CN 202011458875A CN 112529414 A CN112529414 A CN 112529414A
Authority
CN
China
Prior art keywords
user
scoring
network
collaborative filtering
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011458875.8A
Other languages
English (en)
Other versions
CN112529414B (zh
Inventor
慕彩红
刘逸
王张洋
刘若辰
陈璞花
田小林
李阳阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202011458875.8A priority Critical patent/CN112529414B/zh
Publication of CN112529414A publication Critical patent/CN112529414A/zh
Application granted granted Critical
Publication of CN112529414B publication Critical patent/CN112529414B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于多任务神经协同过滤网络的物品评分方法，其实现步骤为：(1)构建特征矩阵；(2)构建用户‑物品评分矩阵；(3)生成训练集；(4)构建多任务神经协同过滤网络；(5)训练多任务神经协同过滤网络；(6)评分。本发明提出的方法能有效解决现有物品评分方法中模型过拟合、泛化能力差导致物品评分准确性不高的问题，并且能够解决用户基本信息与物品属性信息使用不充分导致物品评分个性化不高的问题。

Description

基于多任务神经协同过滤网络的物品评分方法
技术领域
本发明属于计算机技术领域，更进一步涉及电子计算机中的一种基于多任务神经协同过滤网络的物品评分方法。本发明可根据用户的个人基本信息、物品的属性信息，以及用户对物品的历史行为数据，得到用户对没有评价过的物品的评分。
背景技术
随着互联网的快速发展与普及，用户规模爆炸增长，物品种类越来越多，带来了严重的信息过载问题，推荐系统是缓解信息过载问题的有效技术手段。物品评分技术是推荐系统中的一个重要任务。物品评分技术首先通过对客观数据和主观数据进行分析和建模，其中用户的性别、年龄、籍贯和物品的生产厂商、类别等客观数据主要用于提取其内容特征和属性特征。用户历史行为数据等主观数据主要用于提取其偏好特征和结构特征，最后使用提取到的特征来预测用户对没有评价过的物品的评分。目前已存在的物品评分方法有很多，其中应用最广泛的是基于矩阵分解的方法。近年来，随着深度学习热潮的又一次来临，物品评分技术不断融入神经网络的技术来提升推荐性能。
吉林大学在其申请的专利文献“一种基于图卷积与神经协同过滤的信息推荐方法”(申请号：201810533975.9，申请公开号：CN 108874914 A)中公开了一种基于图卷积与神经协同过滤的信息推荐方法。该方法的实施步骤是：步骤1，获取用户与物品之间的评分信息以及用户与物品的特征，根据用户与物品之间的评分信息构建用户-物品的评分矩阵；步骤2，、对用户-物品的交互矩阵进行处理，得到用户-用户邻接矩阵以及物品-物品邻接矩阵；步骤3，以用户-用户邻接矩阵与物品-物品邻接矩阵、以及用户与物品的特征为图卷积编码器的输入，通过图卷积编码器计算用户编码矩阵以及计算物品编码矩阵；步骤4，将用户编码矩阵以及计算物品编码矩阵作为神经网络解码器的输入，经过多层神经网络后得到预测的评分矩阵；步骤5，根据得到预测的评分矩阵评分的高低，向用户推送信息。该方法存在的不足之处是，当模型训练数据的数量级较小或训练数据中存在一定噪声时，会过度拟合训练样例中的噪声或没有代表性的特征，网络泛化能力不足，导致评分准确性差的问题。
陕西科技大学在其申请的专利文献“基于矩阵分解协同过滤算法的图书推荐方法及系统”(申请号：201810260195.1，申请公开号：CN 108509573 A)中公开了一种基于矩阵分解协同过滤算法的图书推荐方法。该方法的实施步骤是：步骤1，将用户历史物品评分行为数据的训练集预处理为用户-物品评分矩阵；步骤2，将评分矩阵进行均值归一化处理；步骤3，对归一化处理后的用户-物品评分矩阵分解成用户的特征矩阵以及物品的特征矩阵乘积。步骤4，构造代价函数；步骤5，初始化特征矩阵，利用梯度下降最小化代价函数；步骤6，确定目标函数最优解之后，预测候选推荐物品的评分；步骤7，取评分较高的前k个物品推荐给用户。该方法存在的不足之处是，该方法仅利用用户编号ID和物品编号ID作为模型的输入，用户个人信息与物品属性信息使用不充分，导致物品评分个性化不高的问题。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于多任务神经协同过滤网络的物品评分方法，用于解决现有物品评分方法中存在的模型过拟合、泛化能力差导致物品评分准确性差的问题，以及用户的基本信息与物品的属性信息使用不充分导致物品评分个性化不高的问题。
实现本发明目的的思路是，设计两个辅助任务网络：用户对物品的显式评分网络与隐式评分网络，通过这两个辅助任务协助主任务，并使用加权二分类交叉熵作为主网络的损失函数，实现多评分任务的信息共享，从而有效缓解模型过拟合、泛化能力差的问题；提取训练集数据中的用户特征与物品特征迭代训练多任务神经协同过滤网络，使得用户的基本信息与物品的属性信息得到充分利用，最后将待评分用户特征与待评分物品特征输入到训练好的多任务神经协同过滤网络，得到用户对物品的评分。
为实现上述目的，本发明的具体步骤包括如下：
(1)构建特征矩阵：
(1a)从待推荐用户属性数据集中提取至少800个用户的属性特征生成一个用户属性特征矩阵；
(1b)从待推荐物品属性数据集中提取至少1000个物品的属性特征生成一个物品属性特征矩阵；
(2)构建用户-物品评分矩阵：
从用户对物品的历史评分数据集提取至少10万条待推荐用户对待推荐物品的评分生成一个用户-物品评分矩阵；
(3)生成训练集：
从用户属性特征矩阵提取用户属性特征，从物品属性特征矩阵提取物品属性特征，从用户-物品评分矩阵提取用户对物品的显式评分与隐式评分；将所提取的用户属性特征、物品属性特征与用户对物品的显式评分与隐式评分组成训练集；
(4)构建多任务神经协同过滤网络：
(4a)搭建一个五层的显式评分网络，其结构依次为：输入层，第一全连接层，第二全连接层，第三全连接层，输出层；将输入层神经元个数设置为8；将第一至第三全连接层神经元个数分别设置为64、32、8，激活函数均设置为ReLU函数；将输出层神经元个数设置为6，激活函数设置为Softmax函数；
(4b)搭建一个五层的隐式评分网络，其结构依次为：输入层，第一全连接层，第二全连接层，第三全连接层，输出层；将输入层神经元个数设置为8；将第一至第三全连接层神经元个数分别设置为64、32、8，激活函数均设置为ReLU函数；将输出层神经元个数设置为1，激活函数设置为Sigmoid函数；
(4c)搭建一个四层的主网络，其结构依次为：加法融合层，第一全连接层，第二全连接层，输出层；加法融合层神经元个数设置为32；将第一、第二全连接层神经元个数分别设置为8、4，激活函数均设置为ReLU函数；将输出层神经元个数设置为1，激活函数设置为Sigmoid函数；
(4d)将显示评分网络的第二全连接层与隐式评分网络的第二全连接层拼接后与主网络的加法融合层连接，得到神经协同过滤网络；
(5)训练多任务神经协同过滤网络：
(5a)设置多任务神经协同过滤网络的学习率为0.001，滑动平均衰减速率为0.99，dropout保留概率参数为0.5，batch size的大小为500，设置正则化系数为0.0001，优化器为Adam；
(5b)将训练集输入到多任务神经协同过滤网络中对网络迭代训练，在每次迭代的过程中，分别计算显式评分网络前迭代时的输出值与显示评分之间的多分类交叉熵损失、隐式评分网络前迭代时的输出值与隐式评分之间的二分类交叉熵损失、以及主网络前迭代时的输出值与隐式评分之间的加权二分类交叉熵损失，将多分类交叉熵损失、二分类交叉熵损失与加权二分类交叉熵损失加权求和，得到当前迭代时的多任务神经协同过滤网络的总交叉熵损失，用该总交叉熵损失更新当前迭代时的网络中每个神经元的权重值；经过多次迭代训练直至多任务神经协同过滤网络的总损失收敛，得到训练好的多任务神经协同过滤网络；
(6)评分：
(6a)从待评分用户属性数据中提取用户的年龄、性别、职业与籍贯组成待评分用户特征；从待评分物品属性数据中提取商品的品牌、类别、生产厂商与生产日期组成待评分物品特征；
(6b)将待评分用户特征与待评分物品特征同时输入到训练好的多任务神经协同过滤网络中，输出用户对物品的评分。
本发明与现有技术相比具有以下优点：
第一，本发明分别搭建用户对物品的显式评分网络与隐式评分网络与主任务网络连接，并使用加权二分类交叉熵作为主网络的损失函数，迭代训练多任务神经协同过滤网络，克服了现有技术中存在模型过拟合、泛化能力差的问题，使得不同评分任务之间信息实现信息共享，使得本发明提高了用户对物品评分的准确性。
第二，本发明提取用户数据与物品数据中的信息构建用户特征矩阵与物品特征矩阵，并将用户特征与物品特征作为多任务神经协同过滤网络的训练集对网络进行训练，充分利用用户的个人基本信息与物品的属性信息，克服了现有技术用户信息与物品的信息使用不充分的问题，使得本发明提高了用户对物品评分的个性化。
附图说明
图1是本发明的流程图；
图2是本发明多任务神经协同过滤网络的结构图。
具体实施方式
下面结合附图对本发明作进一步的详细描述。
参照图1，对本发明的具体实施作进一步的详细描述。
步骤1，构建特征矩阵。
从待推荐用户属性数据集中提取至少800个用户的属性特征生成一个用户属性特征矩阵，其中，矩阵的列依次为年龄、性别、职业与籍贯，矩阵的行为用户编号。
待推荐物品属性数据集中提取至少1000个物品的属性特征生成一个物品属性特征矩阵，其中，矩阵的列依次为品牌、类别、生产厂商与生产日期，矩阵的行为物品编号。
步骤2，构建用户-物品评分矩阵。
从用户对物品的历史评分数据集提取至少10万条待推荐用户对待推荐物品的评分生成一个用户-物品评分矩阵，其中矩阵的行为用户编号，矩阵的列为物品编号。
步骤3，生成训练集。
从用户属性特征矩阵提取用户属性特征，从物品属性特征矩阵提取物品属性特征，从用户-物品评分矩阵提取用户对物品的显式评分与隐式评分。所述用户对物品的显式评分与隐式评分是由下式计算得到的：
Figure BDA0002830503650000051
Figure BDA0002830503650000052
其中，Eij表示第i个用户对第j个物品的显式评分，rij表示第i个用户对第j个物品的真实评分，Yij表示第i个用户对第j个物品的隐式评分。
将所提取的用户属性特征、物品属性特征与用户对物品的显式评分与隐式评分组成训练集；
步骤4，构建多任务神经协同过滤网络。
搭建一个五层的显式评分网络，其结构依次为：输入层，第一全连接层，第二全连接层，第三全连接层，输出层；将输入层神经元个数设置为8；将第一至第三全连接层神经元个数分别设置为64、32、8，激活函数均设置为ReLU函数；将输出层神经元个数设置为6，激活函数设置为Softmax函数。
第三全连接层，输出层；将输入层神经元个数设置为8；将第一至第三全连接层神经元个数分别设置为64、32、8，激活函数均设置为ReLU函数；将输出层神经元个数设置为1，激活函数设置为Sigmoid函数。
搭建一个四层的主网络，其结构依次为：加法融合层，第一全连接层，第二全连接层，输出层；加法融合层神经元个数设置为32；将第一、第二全连接层神经元个数分别设置为8、4，激活函数均设置为ReLU函数；将输出层神经元个数设置为1，激活函数设置为Sigmoid函数。
将显示评分网络的第二全连接层与隐式评分网络的第二全连接层拼接后与主网络的加法融合层连接，得到多任务神经协同过滤网络。
步骤5，训练多任务神经协同过滤网络。
设置多任务神经协同过滤网络的学习率为0.001，滑动平均衰减速率为0.99，dropout保留概率参数为0.5，batch size的大小为500，设置正则化系数为0.0001，优化器为Adam。
将训练集输入到多任务神经协同过滤网络中对网络迭代训练，在每次迭代的过程中，分别计算显式评分网络前迭代时的输出值与显示评分之间的多分类交叉熵损失、隐式评分网络前迭代时的输出值与隐式评分之间的二分类交叉熵损失、以及主网络前迭代时的输出值与隐式评分之间的加权二分类交叉熵损失。
所述加权二分类交叉熵损失是由下式计算得到的：：
Figure BDA0002830503650000061
其中，L表示加权二分类交叉熵损失，max(M)表示从用户-物品评分矩阵M中选取所有元素值的最大值，P表示在训练过程中主网络当前迭代时的输出值。
将多分类交叉熵损失、二分类交叉熵损失与加权二分类交叉熵损失加权求和，得到当前迭代时的多任务神经协同过滤网络的总交叉熵损失，用该总交叉熵损失更新当前迭代时的网络中每个神经元的权重值；经过多次迭代训练直至多任务神经协同过滤网络的总损失收敛，得到训练好的多任务神经协同过滤网络；
步骤6，评分。
从待评分用户属性数据中提取用户的年龄、性别、职业与籍贯组成待评分用户特征。从待评分物品属性数据中提取商品的品牌、类别、生产厂商与生产日期组成待评分物品特征。
将待评分用户特征与待评分物品特征同时输入到训练好的多任务神经协同过滤网络中，输出用户对物品的评分。
下面结合仿真实验对本发明的效果做进一步的说明：
1.仿真实验的条件。
本发明的仿真实验的硬件平台为：处理器为Inter Core i5-8750H，主频2.20GHz，内存16GB。
本发明的仿真实验的软件平台为：python3.7与Windows 10企业版64位操作系统。
本发明的仿真实验数据为MovieLens数据集。GroupLens实验室在2003年提供了从MovieLens用户那里收集的电影评分数据集合，此数据集被广泛应用于推荐系统的性能评测中。这些数据提供了电影的评分(1-5)、电影的元数据(流派和年份)以及观众数据(年龄、邮编、性别、职业)。MovieLens根据评分数量的不同，将数据集分别命名为100k，1M等。
数据集的统计信息如表1所示。
表1实验所使用数据集的统计信息表
Figure BDA0002830503650000071
2.仿真实验内容及结果分析：
本发明仿真实验是采用本发明和四个现有技术(基于物品流行度ItemPop的物品评分方法、基于物品的协同过滤ItemKNN的物品评分方法、基于矩阵分解eALS的物品评分方法、基于神经协同过滤NCF物品评分方法)通过对比来验证本发明对物品评分的准确性。
所述四种现有技术分别为：
1)现有技术基于物品流行度ItemPop的物品评分方法是指，通过统计数据集中每个物品在所有评分记录中出现的次数并排序，获得所有物品中最受用户欢迎的物品集。ItemPop经常作为衡量推荐算法性能的baseline。
2)现有技术基于物品的协同过滤ItemKNN的物品评分方法是指，Linden等人在“Amazon.com recommendations:Item-to-item collaborative filtering[J].IEEEInternet Computing,2003,7(1):76-80”中提出的经典的基于物品的协同过滤算法，ItemKNN通过计算物品与物品间的相似度，获得用户对物品的评分。
3)现有技术基于矩阵分解eALS的物品评分方法是指，He等人在“Fast MatrixFactorization for Online Recommendation with Implicit Feedback[J].2017”中提出的基于传统矩阵分解的最先进的算法模型，eALS通过计算每个物品的流行度，给与不同物品在训练过程中不同的权重，获得用户对物品的评分。
4)现有技术基于神经协同过滤NCF的物品评分方法是指，He等人在“NeuralCollaborative Filtering[J]//World Wide Web,2017”中提出的NCF神经协同过滤框架。通过分析传统矩阵分解使用内积对推荐系统进行建模的局限与不足，提出了融合广义矩阵分解(GMF)与多层感知机(MLP)的网络模型NeuMF，模型相对于传统矩阵分解有着了显著的表现。
为了说明本发明对物品评分结果的准确性，使用现有技术leave-one-hot方法将MovieLens数据集划分为训练集与测试集，在训练集上对本发明与四个现有技术模型进行迭代训练，并在测试集上对模型的性能进行评价。leave-one-hot方法具体操作是指根据MovieLens数据集中所提供的时间戳，提取每个用户最新的一条评分记录，将所有用户最新评分记录组成测试集，将所有用户其余的评分记录组成训练集。在MovieLens-100k数据集中提取800个用户与1000个物品10万条评分记录，将800个用户的800条最新评分记录组成MovieLens-100k数据的测试集，其余评分记录组成MovieLens-100k数据的训练集；在MovieLens-1M数据集中提取5000个用户与3000个物品的100万条评分记录，将5000个用户的5000条最新评分记录组成MovieLens-1M数据的测试集，其余评分记录组成MovieLens-1M数据的训练集。MovieLens-100k与MovieLens-1M的训练集用于对本发明与四个方法模型进行迭代训练，MovieLens-100k与MovieLens-1M的测试集数据用于本发明与四个方法模型对物品的评分。
表2本发明与四种现有技术的物品评分准确性对比表
Figure BDA0002830503650000081
利用两个评价指标命中率HR(Hit Ratio)与归一化折损累计增益NDCG(Normalized Discounted Cumulative Gain)分别对本发明与四个现有方法的物品评分准确性进行评测。设置模型为用户生成物品评分列表的长度为10，HR这一评测指标衡量用户的测试物品是否在模型为用户生成的列表中，若存在则为1，否则为0。NDCG衡量的是测试物品在列表中的排序位置，若测试物品在列表中排序越靠前，其值越接近于1；排序越靠后，其值越接近于0。
将本发明与现有四个方法分别在MovieLens-100k测试集与MovieLens-1M测试集进行5次实验，根据5次实验结果计算平均命中率HR与平均归一化折损累计增益NDCG，对每个评价指标的10次结果进行平均绘成表2。
从表2可以看出，本发明在两个用户与物品维度不同的MovieLens数据集的评价指标HR与NDCG上，明显优于现有的四种技术，证明本发明对物品评分具有更高的准确性。
以上仿真实验表明：本发明方法利用多任务神经协同过滤网络，使得多个评分任务在网络结构上实现多评分信息共享，并设计加权二分类交叉熵损失实现在网络损失函数上实现多评分信息共享，有利于提升模型的泛化效果，同时充分利用用户的基本信息与物品的属性信息，解决了现有物品评分方法中模型过拟合、泛化能力差，以及用户与物品的信息使用不充分导致评分准确性不高的问题。

Claims (6)

1.一种基于多任务神经协同过滤网络的物品评分方法，其特征在于，设计两个辅助任务网络：用户对物品的显式评分网络与隐式评分网络，通过这两个辅助任务协助主任务，并使用加权二分类交叉熵作为主网络的损失函数，迭代训练多任务神经协同过滤网络；该方法的具体步骤如下：
(1)构建特征矩阵：
(1a)从待推荐用户属性数据集中提取至少800个用户的属性特征生成一个用户属性特征矩阵；
(1b)从待推荐物品属性数据集中提取至少1000个物品的属性特征生成一个物品属性特征矩阵；
(2)构建用户-物品评分矩阵：
从用户对物品的历史评分数据集提取至少10万条待推荐用户对待推荐物品的评分生成一个用户-物品评分矩阵；
(3)生成训练集：
从用户属性特征矩阵提取用户属性特征，从物品属性特征矩阵提取物品属性特征，从用户-物品评分矩阵提取用户对物品的显式评分与隐式评分；将所提取的用户属性特征、物品属性特征与用户对物品的显式评分与隐式评分组成训练集；
(4)构建多任务神经协同过滤网络：
(4a)搭建一个五层的显式评分网络，其结构依次为：输入层，第一全连接层，第二全连接层，第三全连接层，输出层；将输入层神经元个数设置为8；将第一至第三全连接层神经元个数分别设置为64、32、8，激活函数均设置为ReLU函数；将输出层神经元个数设置为6，激活函数设置为Softmax函数；
(4b)搭建一个五层的隐式评分网络，其结构依次为：输入层，第一全连接层，第二全连接层，第三全连接层，输出层；将输入层神经元个数设置为8；将第一至第三全连接层神经元个数分别设置为64、32、8，激活函数均设置为ReLU函数；将输出层神经元个数设置为1，激活函数设置为Sigmoid函数；
(4c)搭建一个四层的主网络，其结构依次为：加法融合层，第一全连接层，第二全连接层，输出层；加法融合层神经元个数设置为32；将第一、第二全连接层神经元个数分别设置为8、4，激活函数均设置为ReLU函数；将输出层神经元个数设置为1，激活函数设置为Sigmoid函数；
(4d)将显示评分网络的第二全连接层与隐式评分网络的第二全连接层拼接后与主网络的加法融合层连接，得到神经协同过滤网络；
(5)训练多任务神经协同过滤网络：
(5a)设置多任务神经协同过滤网络的学习率为0.001，滑动平均衰减速率为0.99，dropout保留概率参数为0.5，batch size的大小为500，设置正则化系数为0.0001，优化器为Adam；
(5b)将训练集输入到多任务神经协同过滤网络中对网络迭代训练，在每次迭代的过程中，分别计算显式评分网络前迭代时的输出值与显示评分之间的多分类交叉熵损失、隐式评分网络前迭代时的输出值与隐式评分之间的二分类交叉熵损失、以及主网络前迭代时的输出值与隐式评分之间的加权二分类交叉熵损失，将多分类交叉熵损失、二分类交叉熵损失与加权二分类交叉熵损失加权求和，得到当前迭代时的多任务神经协同过滤网络的总交叉熵损失，用该总交叉熵损失更新当前迭代时的网络中每个神经元的权重值；经过多次迭代训练直至多任务神经协同过滤网络的总损失收敛，得到训练好的多任务神经协同过滤网络；
(6)评分：
(6a)从待评分用户属性数据中提取用户的年龄、性别、职业与籍贯组成待评分用户特征；从待评分物品属性数据中提取商品的品牌、类别、生产厂商与生产日期组成待评分物品特征；
(6b)将待评分用户特征与待评分物品特征同时输入到训练好的多任务神经协同过滤网络中，输出用户对物品的评分。
2.根据权利要求1所述的基于多任务神经协同过滤网络的物品评分方法，其特征在于，步骤(1a)中所述用户属性特征矩阵的列依次为年龄、性别、职业与籍贯，矩阵的行为用户编号。
3.根据权利要求1所述的基于多任务神经协同过滤网络的物品评分方法，其特征在于，步骤(1b)中所述物品属性特征矩阵的列依次为品牌、类别、生产厂商与生产日期，矩阵的行为物品编号。
4.根据权利要求1所述的基于多任务神经协同过滤网络的物品评分方法，其特征在于，步骤(2)中所述用户-物品评分矩阵的行为用户编号，矩阵的列为物品编号。
5.根据权利要求1所述的基于多任务神经协同过滤网络的物品评分方法，其特征在于，步骤(3)中所述用户对物品的显式评分与隐式评分是按照下式得到的：
Figure FDA0002830503640000031
Figure FDA0002830503640000032
其中，Eij表示第i个用户对第j个物品的显式评分，rij表示第i个用户对第j个物品的真实评分，Yij表示第i个用户对第j个物品的隐式评分。
6.根据权利要求5所述的基于多任务神经协同过滤网络的物品评分方法，其特征在于，步骤(5b)中所述加权二分类交叉熵损失是由下式计算得到的：
Figure FDA0002830503640000033
其中，L表示加权二分类交叉熵损失，max(M)表示从用户-物品评分矩阵M中选取所有元素值的最大值，P表示在训练过程中主网络当前迭代时的输出值。
CN202011458875.8A 2020-12-11 2020-12-11 基于多任务神经协同过滤网络的物品评分方法 Active CN112529414B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011458875.8A CN112529414B (zh) 2020-12-11 2020-12-11 基于多任务神经协同过滤网络的物品评分方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011458875.8A CN112529414B (zh) 2020-12-11 2020-12-11 基于多任务神经协同过滤网络的物品评分方法

Publications (2)

Publication Number Publication Date
CN112529414A true CN112529414A (zh) 2021-03-19
CN112529414B CN112529414B (zh) 2023-08-01

Family

ID=74999199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011458875.8A Active CN112529414B (zh) 2020-12-11 2020-12-11 基于多任务神经协同过滤网络的物品评分方法

Country Status (1)

Country Link
CN (1) CN112529414B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110302165A1 (en) * 2010-06-08 2011-12-08 Kazuo Ishii Content recommendation device and content recommendation method
CN109740655A (zh) * 2018-12-26 2019-05-10 西安电子科技大学 基于矩阵分解及神经协同过滤的物品评分预测方法
CN110188283A (zh) * 2019-06-05 2019-08-30 中国人民解放军国防科技大学 一种基于联合神经网络协同过滤的信息推荐方法及其系统
CN110781409A (zh) * 2019-10-25 2020-02-11 东北大学秦皇岛分校 一种基于协同过滤的物品推荐方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110302165A1 (en) * 2010-06-08 2011-12-08 Kazuo Ishii Content recommendation device and content recommendation method
CN109740655A (zh) * 2018-12-26 2019-05-10 西安电子科技大学 基于矩阵分解及神经协同过滤的物品评分预测方法
CN110188283A (zh) * 2019-06-05 2019-08-30 中国人民解放军国防科技大学 一种基于联合神经网络协同过滤的信息推荐方法及其系统
CN110781409A (zh) * 2019-10-25 2020-02-11 东北大学秦皇岛分校 一种基于协同过滤的物品推荐方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KAVINKUMAR V ETC.: "A hybrid approach for recommendation system with added feedback component", 《2015 INTERNATIONAL CONFERENCE ON ADVANCES IN COMPUTING, COMMUNICATIONS AND INFORMATICS (ICACCI)》 *
王骏: "基于改进神经协同过滤模型的电影推荐系统研究", 《中国优秀硕士学位论文全文数据库》 *
薛峰等: "基于深度神经网络和加权隐反馈的个性化推荐", 《模式识别与人工智能》 *

Also Published As

Publication number Publication date
CN112529414B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN111222332B (zh) 一种结合注意力网络和用户情感的商品推荐方法
CN109299396B (zh) 融合注意力模型的卷积神经网络协同过滤推荐方法及系统
CN109255506B (zh) 一种基于大数据的互联网金融用户贷款逾期预测方法
CN110717098B (zh) 基于元路径的上下文感知用户建模方法、序列推荐方法
CN110362738B (zh) 一种基于深度学习的结合信任和影响力的个性化推荐方法
CN111737578B (zh) 一种推荐方法及系统
CN112364638B (zh) 一种基于社交文本的人格识别方法
CN112884551B (zh) 一种基于近邻用户和评论信息的商品推荐方法
CN110046943B (zh) 一种网络消费者细分的优化方法及优化系统
CN111259140A (zh) 一种基于lstm多实体特征融合的虚假评论检测方法
CN111753209A (zh) 一种基于改进时序卷积网络的序列推荐列表生成方法
CN112529638B (zh) 基于用户分类和深度学习的服务需求动态预测方法及系统
CN111681084A (zh) 一种基于社交关系影响因素的电商平台推荐方法
CN116304299A (zh) 一种融和用户兴趣演化和梯度提升算法的个性化推荐方法
CN116680363A (zh) 一种基于多模态评论数据的情感分析方法
CN112632377B (zh) 一种基于用户评论情感分析与矩阵分解的推荐方法
CN111611375B (zh) 一种基于深度学习和转折关系的文本情感分类方法
CN116911949A (zh) 基于边界排名损失和邻域感知图神经网络的物品推荐方法
Shen et al. Reconciling predictive and interpretable performance in repeat buyer prediction via model distillation and heterogeneous classifiers fusion
Lalitha et al. Analysis of customer reviews using deep neural network
CN115829683A (zh) 一种基于逆奖赏学习优化的电力积分商品推荐方法及系统
CN112529414B (zh) 基于多任务神经协同过滤网络的物品评分方法
CN113268657B (zh) 基于评论和物品描述的深度学习推荐方法及系统
Dattachaudhuri et al. Transparent neural based expert system for credit risk (TNESCR): an automated credit risk evaluation system
CN114238758A (zh) 一种基于多源跨界数据融合的用户画像预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant