CN113934939B - 基于多维度特征嵌入和特征提取网络的物品推荐方法 - Google Patents

基于多维度特征嵌入和特征提取网络的物品推荐方法 Download PDF

Info

Publication number
CN113934939B
CN113934939B CN202111370863.4A CN202111370863A CN113934939B CN 113934939 B CN113934939 B CN 113934939B CN 202111370863 A CN202111370863 A CN 202111370863A CN 113934939 B CN113934939 B CN 113934939B
Authority
CN
China
Prior art keywords
layer
feature
article
user
activation function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111370863.4A
Other languages
English (en)
Other versions
CN113934939A (zh
Inventor
慕彩红
刘逸
雷东昌
王蓉芳
冯婕
刘波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202111370863.4A priority Critical patent/CN113934939B/zh
Publication of CN113934939A publication Critical patent/CN113934939A/zh
Application granted granted Critical
Publication of CN113934939B publication Critical patent/CN113934939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种基于多维度特征嵌入和特征提取网络的物品推荐方法，实现步骤为：(1)提取用户属性数据和物品属性数据；(2)提取用户对物品的隐式评分数据；(3)生成训练样本集与测试样本集；(4)构建基于多维度特征嵌入和特征提取网络的物品推荐模型；(5)对物品推荐模型进行迭代训练；(6)获取待评分物品的评分预测结果；(7)获取物品推荐结果。本发明构建的物品推荐模型中包含有基于多维度特征嵌入网络和特征提取网络，在对该模型进行训练以及获取物品推荐结果的过程中，能够充分挖掘用户和物品之间的交互特征，充分使用用户属性特征和物品属性特征，有效提高了物品推荐的准确性。

Description

基于多维度特征嵌入和特征提取网络的物品推荐方法
技术领域
本发明属于计算机技术领域，涉及一种物品推荐方法，具体涉及一种基于多维度特征嵌入和特征提取网络的物品推荐方法。可应用于电商商品推荐、图书推荐、电影推荐、音乐推荐等技术领域。
背景技术
随着互联网的快速发展，用户和物品的数据规模越来越大，带来了严重的信息过载问题，推荐系统是缓解信息过载问题的有效技术手段。物品推荐方法是推荐系统的一种具体实施方法。物品推荐方法可以对用户没有评价过的电商商品、图书、电影和音乐等物品进行精准的评分预测，并给用户推荐其感兴趣的物品。物品推荐方法首先对客观数据和主观数据进行分析和建模，然后使用提取到的特征来预测用户对没有评价过的物品的评分，最后将预测评分较高的部分物品组成推荐列表推荐给用户，其中用户的性别、身高、体重、年龄、职业、籍贯和物品的名称、类型、颜色、大小、生产厂商、生产日期等客观数据主要用于提取属性特征，用户历史行为数据等主观数据主要用于提取用户和物品之间的交互特征。如何提高推荐准确性是物品推荐方法的重点和难点。衡量推荐准确性的指标主要有两个：命中率(HR)和归一化折损累计增益(NDCG)。HR表示用户的测试物品出现在推荐列表中的用户数量占所有用户的比例，值越大，说明推荐准确性越好。NDCG表示测试物品在推荐列表中的排序位置，排序越靠前，其值越接近于1，排序越靠后，其值越接近于0，值越大，说明推荐准确性越好。影响推荐准确性的主要因素是用户和物品的属性特征、交互特征能否得到充分提取。
随着深度学习在各个领域的广泛应用，物品推荐技术也在不断地融入深度学习的技术来提推荐准确性，基于深度学习的物品推荐方法可以自适应地提取特征，在样本数量充足的情况下可以取得较好的推荐结果，得到了研究人员的广泛应用。例如，湖北工业大学在其申请的专利文献“一种基于对抗矩阵分解的协调过滤卷积神经网络推荐系统及方法”(申请号：202110744530.7，申请公布号：CN 113486257A)中，公开了一种基于对抗矩阵分解的协调过滤卷积神经网络推荐方法，简称ConvNCF-AMF。该方法的实施步骤是：步骤1，利用两个嵌入方程分别输出两个维度大小为64的用户和物品的特征嵌入向量，并将用户、物品的特征嵌入向量送入外积层；步骤2，将用户、物品的特征嵌入向量进行外积得到用户-物品交互图；步骤3，基于用户-物品交互图输出表示高维度的信息张量，并将输出的张量输入预测层；步骤4，将预测层的对抗矩阵分解与卷积协调过滤网络一同训练得到物品的预测评分；步骤5，根据预测评分为用户生成推荐列表。该方法提高了物品推荐的准确性，但是其存在的不足之处在于，该方法将所有用户和物品的特征嵌入向量预先定义了一个固定且统一的维度，维度过于单一，导致特征嵌入向量所包含的信息不够全面，使得后续网络无法充分提取用户和物品之间的交互特征，进而影响推荐准确性的进一步提升。
又如，He等人在其发表的论文“Neural collaborative filtering”(Proceedingsof the 26th international conference on world wide web.2017:173-182)中，提出了一种基于神经协同过滤的物品推荐方法，简称NCF方法。该方法将用户和物品的编号信息作为模型的输入，通过嵌入层得到用户和物品的特征嵌入，通过广义矩阵分解(GMF)与多层感知机(MLP)网络对用户和物品之间的交互信息进行特征提取，通过评分预测层对提取的特征进行拼接并得到用户对物品的预测评分，最后根据预测评分为用户生成推荐列表。该方法相对于传统的基于矩阵分解的物品推荐方法在推荐准确性上有了显著的提升，但是其在对该模型进行训练以及获取物品推荐结果的过程中，仅利用用户编号和物品编号作为模型的输入，没有考虑用户的个人属性信息与物品的属性信息，导致属性特征提取不充分，进而影响推荐准确性的进一步提升。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于多维度特征嵌入和特征提取网络的物品推荐方法，用于解决现有技术中存在的物品推荐准确性较低的技术问题。
为实现上述目的，本发明采取的技术方案包括如下步骤：
(1)提取用户属性数据和物品属性数据：
(1a)从用户属性数据集中提取M个用户SU＝{U1,...,Um,...,UM}的属性数据SH＝{H1,...,Hm,...,HM}，每个属性数据Hm包括K1个属性特征，其中，M≥900，Um表示第m个用户，Hm表示Um的属性数据，表示Hm的第k1个属性特征，K1表示Hm的属性特征总数，K1≥3；
(1b)从物品属性数据集中提取N个物品SV＝{V1,...,Vn,...,VN}的属性数据SI＝{I1,...,In,...,IN}，每个属性数据In包括K2个属性特征，其中，N≥1000，Vn表示第n个物品，In表示Vn的属性数据，表示In的第k2个属性特征，K2表示In属性特征的总数，K2≥3；
(2)提取用户对物品的隐式评分数据：
从用户对物品的历史评分数据集中提取M个用户中的每个用户Um对N个物品中的部分物品的共L条隐式评分数据同时记录每条隐式评分数据/>对应的用户编号Uidl和物品编号Iidl，得到用户编号集合SUID＝{Uid1,...,Uidl,...,UidL}和物品编号集合SIID＝{Iid1,...,Iidl,...,IidL}，其中，L≥100000，/>表示通过用户Um对物品Vs评分确定的第l条隐式评分数据，S表示部分物品的个数，S＜N，Uidl表示/>对应的用户的编号，Iidl表示/>对应的物品的编号；
(3)生成训练样本集与测试样本集：
选取隐式评分数据集合SY中每个用户最近一次评价的隐式评分数据，以及所选取的每条隐式评分数据对应的用户的编号和属性特征、物品的编号和属性特征作为测试样本，组成包括M个测试样本的测试样本集，并将SY中剩余的P条隐式评分数据，以及剩余的每个隐式评分数据对应的用户的编号和属性特征、物品的编号和属性特征作为训练样本，组成包括P个训练样本的训练样本集，其中，P+M＝L；
(4)构建基于多维度特征嵌入和特征提取网络的物品推荐模型J：
构建包括多维度特征嵌入网络、特征提取网络和物品评分预测网络的物品推荐模型，其中：
多维度特征嵌入网络包括并行排布的用户多维度特征嵌入网络和物品多维度特征嵌入网络；用户多维度特征嵌入网络包括三个并行连接的用户特征嵌入提取分支，每个特征嵌入提取分支包括用户编号信息输入层、特征嵌入层、全连接层和两个激活函数层；物品多维度特征嵌入网络包括三个并行连接的物品特征嵌入提取分支，每个物品特征嵌入提取分支包括物品编号信息输入层、特征嵌入层、全连接层和两个激活函数层；
特征提取网络包括并行排布的属性信息特征提取网络、低阶交互特征提取网络和高阶交互特征提取网络；属性信息特征提取网络包括顺次连接的属性信息输入层、特征嵌入层和激活函数层；低阶交互特征提取网络包括元素积操作层、两个全连接层和两个激活函数层；高阶交互特征提取网络包括外积操作层、多个三维卷积层、全连接层和多个激活函数层；
物品评分预测网络包括拼接层、两个全连接层、输出层和两个激活函数层；
多维度特征嵌入网络的输出端与特征提取网络中的低阶交互特征提取网络和高阶交互特征提取网络的输入端连接，特征提取网络的输出端与物品评分预测网络的输入端连接，得到物品推荐模型J；
(5)对物品推荐模型J进行迭代训练：
(5a)初始化迭代次数为t，最大迭代次数为T，T≥200，当前物品推荐模型为Jt，并令t＝1，Jt＝J；
(5b)将从训练样本集随机且有放回选取的G个训练样本作为物品推荐模型Jt的输入：
(5b1)多维度特征嵌入网络中的用户多维度特征嵌入网络对每个训练样本中用户的三个特征嵌入进行提取，同时多维度特征嵌入网络中的物品多维度特征嵌入网络对每个训练样本中物品的三个特征嵌入进行提取；
(5b2)特征提取网络中的低阶交互特征提取网络对用户的每个特征嵌入与物品的每个特征嵌入进行元素积操作，并对元素积操作得到的九个低阶交互特征向量进行融合，得到低阶交互特征嵌入，同时高阶交互特征提取网络对用户的每个特征嵌入与物品的每个特征嵌入进行两两外积操作，并对外积操作得到的九个二维外积矩阵进行堆叠，得到三维矩阵C，然后对C进行三维卷积得到高阶交互特征嵌入；
(5b3)属性信息特征提取网络提取每个训练样本用户的属性特征和物品的属性特征，组成属性特征嵌入；
(5c)物品评分预测网络对低阶交互特征嵌入、高阶交互特征嵌入和属性特征嵌入进行顺次拼接，并对拼接后的特征嵌入进行特征交互，得到每个训练样本中用户Ua对物品Vb的评分预测值x≤P，a≤M，b＜S；
(5d)采用二分类交叉熵损失函数Lloss，计算每个训练样本的物品评分预测值与其对应的物品评分真实值/>之间的损失值/>再采用反向传播方法，通过损失值/>计算物品推荐模型的网络参数梯度/>然后采用梯度下降算法，并通过/>对物品推荐模型Jt的权值参数ω进行更新；
(5e)判断t≥T是否成立，若是，得到训练好的物品推荐模型J*，否则，令t＝t+1，并执行步骤(5b)；
(6)获取待评分物品的评分预测结果：
将测试样本集作为训练好的物品推荐模型J*的输入进行前向传播，得到M个测试样本中用户对待评分物品的评分预测值；
(7)获取物品推荐结果：
按照预测值从大到小排序对M个用户对待评分物品的评分预测值进行排序，并为每个用户选择前z个评分预测值对应的待评分物品组成用户的推荐列表。
本发明与现有技术相比，具有以下优点：
第一，本发明所构建的物品推荐模型，其中包含的多维度特征嵌入网络通过设置不同尺度的嵌入层，将用户和物品分别映射到多个维度空间得到用户和物品的多个维度的特征嵌入，使用户和物品的特征嵌入所包含的信息更加全面，推荐模型能够更加充分地提取用户和物品在不同空间维度上的交互特征，与现有技术相比，有效提高了物品推荐准确性。
第二，本发明所构建的物品推荐模型，其中包含的低阶交互特征提取网络通过使用元素积操作对用户和物品之间的低阶交互特征进行充分提取；高阶交互特征提取网络通过使用外积操作和三维卷积对用户和物品之间的高阶交互特征进行充分提取；属性信息特征提取网络可以对用户的属性信息和物品的属性信息加以充分利用，对用户和物品的属性特征进行提取，与现有技术相比，克服了用户和物品之间的交互特征挖掘不充分以及用户属性特征和物品属性特征使用不充分的问题，进一步提高了推荐准确性。
附图说明
图1是本发明的实现流程图。
具体实施方式
下面结合附图和具体实施例，对本发明作进一步的详细描述。
参照图1，本发明包括如下步骤：
步骤1)提取用户属性数据和物品属性数据：
(1a)从用户属性数据集中提取M个用户SU＝{U1,...,Um,...,UM}的属性数据SH＝{H1,...,Hm,...,HM}，每个属性数据Hm包括K1个属性特征，其中，M≥900，Um表示第m个用户，Hm表示Um的属性数据，表示Hm的第k1个属性特征，K1表示Hm的属性特征总数，K1≥3；用户的属性特征包括性别、身高、体重、年龄、职业、籍贯等属性特征，本实例中，M＝6040，K1＝3，用户的属性特征为性别、年龄和职业；
(1b)从物品属性数据集中提取N个物品SV＝{V1,...,Vn,...,VN}的属性数据SI＝{I1,...,In,...,IN}，每个属性数据In包括K2个属性特征，其中，N≥1000，Vn表示第n个物品，In表示Vn的属性数据，表示In的第k2个属性特征，K2表示In属性特征的总数，K2≥3；物品可以是电商商品、图书、电影和音乐等物品，物品的属性特征包括名称、类型、颜色、大小、生产厂商、生产日期等属性特征，本实例中，物品为电影，N＝3706，K2＝3，物品的属性特征为名称、类型和发布日期；
步骤2)提取用户对物品的隐式评分数据：
从用户对物品的历史评分数据集中提取M个用户中的每个用户Um对N个物品中的部分物品的共L条隐式评分数据同时记录每条隐式评分数据/>对应的用户编号Uidl和物品编号Iidl，得到用户编号集合SUID＝{Uid1,...,Uidl,...,UidL}和物品编号集合SIID＝{Iid1,...,Iidl,...,IidL}，其中，L≥100000，/>表示通过用户Um对物品Vs评分确定的第l条隐式评分数据，S表示部分物品的个数，S＜N，Uidl表示/>对应的用户的编号，Iidl表示/>对应的物品的编号；本实例中，L＝1000209；
由于物品的数量是非常多的，每个用户不可能对所有的物品都产生过评分，所以只能提取每个用户对部分物品的隐式评分数据；
所述第l条隐式评分数据是通过/>对应的用户Um对物品Vs的显式评分rms确定的：
其中，表示Um对Vs有评分记录，否则，/>表示Um对Vs没有评分记录；
步骤3)生成训练样本集与测试样本集：
选取隐式评分数据集合SY中每个用户最近一次评价的隐式评分数据，以及所选取的每条隐式评分数据对应的用户的编号和属性特征、物品的编号和属性特征作为测试样本，组成包括M个测试样本的测试样本集，并将SY中剩余的P条隐式评分数据，以及剩余的每个隐式评分数据对应的用户的编号和属性特征、物品的编号和属性特征作为训练样本，组成包括P个训练样本的训练样本集，其中，P+M＝L；本实例中，P＝994169；
在选取测试样本时，使用了现有技术leave-one-out方法，该方法已经被广泛应用到推荐系统中，具体操作是指根据评分数据集中所提供的时间戳，提取每个用户最新的一条评分记录，将所有用户最新评分记录组成测试集，将所有用户其余的评分记录组成训练集。由于用户最近一次评价的隐式评分数据，往往可以真实地反应用户近期的兴趣爱好，所以将最近一次评价的隐式评分数据作为测试样本是合理的。
步骤4)构建基于多维度特征嵌入和特征提取网络的物品推荐模型J：
构建包括多维度特征嵌入网络、特征提取网络和物品评分预测网络的物品推荐模型，其中：
多维度特征嵌入网络包括并行排布的用户多维度特征嵌入网络和物品多维度特征嵌入网络；用户多维度特征嵌入网络包括三个并行连接的用户特征嵌入提取分支，每个特征嵌入提取分支包括用户编号信息输入层、特征嵌入层、全连接层和两个激活函数层；物品多维度特征嵌入网络包括三个并行连接的物品特征嵌入提取分支，每个物品特征嵌入提取分支包括物品编号信息输入层、特征嵌入层、全连接层和两个激活函数层；
特征提取网络包括并行排布的属性信息特征提取网络、低阶交互特征提取网络和高阶交互特征提取网络；属性信息特征提取网络包括顺次连接的属性信息输入层、特征嵌入层和激活函数层；低阶交互特征提取网络包括元素积操作层、两个全连接层和两个激活函数层；高阶交互特征提取网络包括外积操作层、多个三维卷积层、全连接层和多个激活函数层；
物品评分预测网络包括拼接层、两个全连接层、输出层和两个激活函数层；
多维度特征嵌入网络的输出端与特征提取网络中的低阶交互特征提取网络和高阶交互特征提取网络的输入端连接，特征提取网络的输出端与物品评分预测网络的输入端连接，得到物品推荐模型J；
在本实例中，多维度特征嵌入网络包含的用户多维度特征嵌入网络中的三个用户特征嵌入提取分支，其中的用户编号信息输入层的神经元个数均为6040；该三个用户特征嵌入提取分支中特征嵌入层的神经元个数分别设置为2、8、16，全连接层神经元的个数均为16；第一激活函数层、第二激活函数层分别采用ReLU激活函数、Tanh激活函数；用户特征嵌入提取分支的结构为：用户编号信息输入层→特征嵌入层→第一激活函数层→全连接层→第二激活函数层；
多维度特征嵌入网络包含的物品多维度特征嵌入网络中的三个物品特征嵌入提取分支，其中的物品编号信息输入层的神经元个数均为3706；该三个物品特征嵌入提取分支中特征嵌入层的神经元个数分别设置为2、8、16，全连接层神经元的个数均为16；第一激活函数层、第二激活函数层分别采用ReLU激活函数、Tanh激活函数；物品特征嵌入提取分支的结构为：物品编号信息输入层→特征嵌入层→第一激活函数层→全连接层→第二激活函数层；
特征提取网络包含的属性信息提取网络中，属性信息输入层的神经元个数为96；特征嵌入层的神经元个数为16；激活函数层采用ReLU激活函数；
特征提取网络包含的低阶交互特征提取网络中，元素积操作层的神经元个数为144；第一、第二全连接层的神经元个数分别为10、16；两个激活函数层均采用ReLU激活函数；该低阶交互特征提取网络的结构为：元素积操作层→第一全连接层→第一激活函数层→第二全连接层→第二激活函数层；
特征提取网络包含的高阶交互特征提取网络中，外积操作层的神经元个数为2304；三维卷积层的层数为4，四个三维卷积层的卷积核个数均为16，卷积核尺寸均为2×2×3，卷积步长均为1；激活函数层的层数为5，五个激活函数层均采用ReLU激活函数；全连接层的神经元个数为16；该高阶交互特征提取网络的结构为：外积操作层→第一三维卷积层→第一激活函数层→第二三维卷积层→第二激活函数层→第三三维卷积层→第三激活函数层→第四三维卷积层→第四激活函数层→全连接层→第五激活函数层；
物品评分预测网络中拼接层的神经元个数为48；第一、第二全连接层的神经元个数分别为96、16；第一、第二激活函数层分别采用ReLU激活函数、sigmoid激活函数；输出层的神经元个数为1；该物品评分预测网络的结构为：拼接层→第一全连接层→第一激活函数层→第二全连接层→第二激活函数层→输出层。
步骤5)对物品推荐模型J进行迭代训练：
(5a)初始化迭代次数为t，最大迭代次数为T，T≥200，当前物品推荐模型为Jt，并令t＝1，Jt＝J，本实例中，T＝200；
(5b)将从训练样本集随机且有放回选取的G个训练样本作为物品推荐模型Jt的输入，本实例中，G＝256：
(5b1)多维度特征嵌入网络中的用户多维度特征嵌入网络对每个训练样本中用户的三个特征嵌入进行提取，同时多维度特征嵌入网络中的物品多维度特征嵌入网络对每个训练样本中物品的三个特征嵌入进行提取；
对于不同的用户和物品，其所包含的信息量是不同的，例如，活跃的用户会与很多物品产生交互，而有些用户只与很少的物品产生交互，因此活跃的用户可以提供大量的历史交互行为数据，活跃的用户相比于不活跃的用户所包含的信息量也会大一些。所以在嵌入层为每个用户或物品选择多种不同维度的特征嵌入是非常有必要的。多维度特征嵌入网络通过设置不同尺度的嵌入层，将用户和物品分别映射到三个维度空间得到用户和物品的多个维度的特征嵌入，特征嵌入的维度分别为2、8、16，使用户和物品的特征嵌入所包含的信息更加全面，从而使推荐模型能够更加充分地提取用户和物品在不同空间维度上的交互特征；
(5b2)特征提取网络中的低阶交互特征提取网络对用户的每个特征嵌入与物品的每个特征嵌入进行元素积操作，并对元素积操作得到的九个低阶交互特征向量进行融合，得到低阶交互特征嵌入，同时高阶交互特征提取网络对用户的每个特征嵌入与物品的每个特征嵌入进行两两外积操作，并对外积操作得到的九个二维外积矩阵进行堆叠，得到三维矩阵C，然后对C进行三维卷积得到高阶交互特征嵌入；
所述的每个特征嵌入与物品的每个特征嵌入进行元素积操作，得到九个低阶交互特征向量fEP，其表达式为：
其中，⊙代表元素积运算，p和q分别代表用户Ua和物品Vb的特征嵌入向量的编号，1≤p＜3，1≤q＜3，代表Ua经过全连接层的特征嵌入向量集合，/>代表Vb经过全连接层的特征嵌入向量集合，D表示嵌入空间的维数，D＝16，/>表示实数域；
所述每个二维外积矩阵以及三维矩阵C分别由以下公式得到：
其中，代表用户Ua的嵌入编号为p的特征嵌入向量/>与物品Vb嵌入编号为q的特征嵌入向量/>进行外积操作得到的二维外积矩阵，/>代表两个特征嵌入向量的外积运算；
(5b3)属性信息特征提取网络提取每个训练样本用户的属性特征和物品的属性特征，组成属性特征嵌入；
(5c)物品评分预测网络对低阶交互特征嵌入、高阶交互特征嵌入和属性特征嵌入进行顺次拼接，并对拼接后的特征嵌入进行特征交互，得到每个训练样本中用户Ua对物品Vb的评分预测值
(5d)采用二分类交叉熵损失函数Lloss，计算每个训练样本的物品评分预测值与其对应的物品评分真实值/>之间的损失值/>再采用反向传播方法，通过损失值/>计算物品推荐模型的网络参数梯度/>然后采用梯度下降算法，并通过/>对物品推荐模型Jt的权值参数ω进行更新，其中二分类交叉熵损失函数Lloss的表达式，以及权值参数ω的更新公式分别为：
其中,Σ表示求和操作，ω′表示ω的更新结果，η表示Lloss的学习率，表示求导操作，本实例中，学习率η＝0.001；
(5e)判断t≥T是否成立，若是，得到训练好的物品推荐模型J*，否则，令t＝t+1，并执行步骤(5b)；
步骤6)获取待评分物品的评分预测结果：
从用户属性数据中提取待推荐用户的性别、年龄、职业组成待推荐用户的特征。从物品属性数据中提取待评分物品的名称、类型、发布日期组成待评分物品特征。
将待推荐用户特征、待评分物品特征以及待推荐用户对待评分物品的隐式评分同时输入到训练好的物品推荐模型J*中进行前向传播，输出待推荐用户对待评分物品的评分预测值。
步骤7)获取物品推荐结果：
按照预测值从大到小排序对每个用户对待评分物品的评分预测值进行排序，并为每个用户选择前z个评分预测值对应的待评分物品组成用户的推荐列表，本实例中，z＝10。
下面结合仿真实验对本发明的效果作进一步的说明：
1.仿真实验条件和内容：
仿真实验采用的硬件测试平台为：处理器为Inter Core i7-10870H，主频为2.20GHz，内存24GB；软件平台为：Windows 10企业版64位操作系统和Python3.6进行仿真测试。
仿真实验中所使用的仿真实验数据为MovieLens数据集，是由GroupLens实验室在2003年从MovieLens用户那里收集的电影评分数据集合，此数据集被广泛地应用于推荐系统的性能评测中。数据集具体包括电影的评分(1-5)、电影的属性数据(名称、类型和发布日期)以及观众的属性数据(年龄、性别、职业)。根据MovieLens数据集中评分数量的不同，可以将数据集分别命名为MovieLens-1M等。MovieLens-1M数据集的统计信息如表1所示。
表1
对本发明、现有的ConvNCF-AMF方法和现有的NCF方法在上述仿真条件下进行仿真，利用两个评价指标(命中率HR、归一化折损累计增益NDCG)对推荐结果进行评价，其结果如表2所示。
表2
2.仿真结果分析：
从表2的实验结果中可以看出，本发明在MovieLens-1M数据集的评价指标HR与NDCG上，明显优于现有的两种技术，证明本发明对推荐性能具有更高的准确性。
综上所述，本发明利用多维度特征嵌入网络、低阶交互特征提取网络和高阶特征提取网络，能够充分提取用户和物品之间在不同空间维度中的交互特征，利用属性信息特征提取网络可以对用户的属性信息和物品的属性信息加以充分利用，更好地提取属性特征，利用训练好的多维度特征嵌入和特征提取网络的物品推荐网络，能够更加准确地得到用户对待评价物品的评分，从而提高推荐准确性，解决了现有技术方法中存在的对用户和物品之间的交互特征挖掘不充分，以及用户属性特征和物品属性特征使用不充分的问题，有效提高了物品推荐的准确性。

Claims (4)

1.一种基于多维度特征嵌入和特征提取网络的物品推荐方法，其特征在于，包括如下步骤：
(1)提取用户属性数据和物品属性数据：
(1a)从用户属性数据集中提取M个用户SU＝{U1,...,Um,...,UM}的属性数据SH＝{H1,...,Hm,...,HM}，每个属性数据Hm包括K1个属性特征，其中，M≥900，Um表示第m个用户，Hm表示Um的属性数据，表示Hm的第k1个属性特征，K1表示Hm的属性特征总数，K1≥3；
(1b)从物品属性数据集中提取N个物品SV＝{V1,...,Vn,...,VN}的属性数据SI＝{I1,...,In,...,IN}，每个属性数据In包括K2个属性特征，其中，N≥1000，Vn表示第n个物品，In表示Vn的属性数据，表示In的第k2个属性特征，K2表示In属性特征的总数，K2≥3；
(2)提取用户对物品的隐式评分数据：
从用户对物品的历史评分数据集中提取M个用户中的每个用户Um对N个物品中的部分物品的共L条隐式评分数据同时记录每条隐式评分数据/>对应的用户编号Uidl和物品编号Iidl，得到用户编号集合SUID＝{Uid1,...,Uidl,...,UidL}和物品编号集合SIID＝{Iid1,...,Iidl,...,IidL}，其中，L≥100000，/>表示通过用户Um对物品Vs评分确定的第l条隐式评分数据，S表示部分物品的个数，S＜N，Uidl表示/>对应的用户的编号，Iidl表示/>对应的物品的编号；
(3)生成训练样本集与测试样本集：
选取隐式评分数据集合SY中每个用户最近一次评价的隐式评分数据，以及所选取的每条隐式评分数据对应的用户的编号和属性特征、物品的编号和属性特征作为测试样本，组成包括M个测试样本的测试样本集，并将SY中剩余的P条隐式评分数据，以及剩余的每个隐式评分数据对应的用户的编号和属性特征、物品的编号和属性特征作为训练样本，组成包括P个训练样本的训练样本集，其中，P+M＝L；
(4)构建基于多维度特征嵌入和特征提取网络的物品推荐模型J：
构建包括多维度特征嵌入网络、特征提取网络和物品评分预测网络的物品推荐模型，其中：
多维度特征嵌入网络包括并行排布的用户多维度特征嵌入网络和物品多维度特征嵌入网络；用户多维度特征嵌入网络包括三个并行连接的用户特征嵌入提取分支，每个特征嵌入提取分支包括用户编号信息输入层、特征嵌入层、全连接层和两个激活函数层；物品多维度特征嵌入网络包括三个并行连接的物品特征嵌入提取分支，每个物品特征嵌入提取分支包括物品编号信息输入层、特征嵌入层、全连接层和两个激活函数层；
特征提取网络包括并行排布的属性信息特征提取网络、低阶交互特征提取网络和高阶交互特征提取网络；属性信息特征提取网络包括顺次连接的属性信息输入层、特征嵌入层和激活函数层；低阶交互特征提取网络包括元素积操作层、两个全连接层和两个激活函数层；高阶交互特征提取网络包括外积操作层、多个三维卷积层、全连接层和多个激活函数层；
物品评分预测网络包括拼接层、两个全连接层、输出层和两个激活函数层；
多维度特征嵌入网络的输出端与特征提取网络中的低阶交互特征提取网络和高阶交互特征提取网络的输入端连接，特征提取网络的输出端与物品评分预测网络的输入端连接，得到物品推荐模型J；
(5)对物品推荐模型J进行迭代训练：
(5a)初始化迭代次数为t，最大迭代次数为T，T≥200，当前物品推荐模型为Jt，并令t＝1，Jt＝J；
(5b)将从训练样本集随机且有放回选取的G个训练样本作为物品推荐模型Jt的输入：
(5b1)多维度特征嵌入网络中的用户多维度特征嵌入网络对每个训练样本中用户的三个特征嵌入进行提取，同时多维度特征嵌入网络中的物品多维度特征嵌入网络对每个训练样本中物品的三个特征嵌入进行提取；
(5b2)特征提取网络中的低阶交互特征提取网络对用户的每个特征嵌入与物品的每个特征嵌入进行元素积操作，并对元素积操作得到的九个低阶交互特征向量进行融合，得到低阶交互特征嵌入，同时高阶交互特征提取网络对用户的每个特征嵌入与物品的每个特征嵌入进行两两外积操作，并对外积操作得到的九个二维外积矩阵进行堆叠，得到三维矩阵C，然后对C进行三维卷积得到高阶交互特征嵌入；
(5b3)属性信息特征提取网络提取每个训练样本用户的属性特征和物品的属性特征，组成属性特征嵌入；
(5c)物品评分预测网络对低阶交互特征嵌入、高阶交互特征嵌入和属性特征嵌入进行顺次拼接，并对拼接后的特征嵌入进行特征交互，得到每个训练样本中用户Ua对物品Vb的评分预测值x≤P，a≤M，b＜S；
(5d)采用二分类交叉熵损失函数Lloss，计算每个训练样本的物品评分预测值与其对应的物品评分真实值/>之间的损失值/>再采用反向传播方法，通过损失值/>计算物品推荐模型的网络参数梯度/>然后采用梯度下降算法，并通过/>对物品推荐模型Jt的权值参数ω进行更新，其中二分类交叉熵损失函数Lloss的表达式为：
其中Σ表示求和操作；
(5e)判断t≥T是否成立，若是，得到训练好的物品推荐模型J*，否则，令t＝t+1，并执行步骤(5b)；
(6)获取待评分物品的评分预测结果：
将测试样本集作为训练好的物品推荐模型J*的输入进行前向传播，得到M个测试样本中用户对待评分物品的评分预测值；
(7)获取物品推荐结果：
按照预测值从大到小排序对M个用户对待评分物品的评分预测值进行排序，并为每个用户选择前z个评分预测值对应的待评分物品组成用户的推荐列表。
2.根据权利要求1所述的基于多维度特征嵌入和特征提取网络的物品推荐方法，其特征在于，步骤(2)中所述的第l条隐式评分数据是通过/>对应的用户Um对物品Vs的显式评分rms确定的：
其中，表示Um对Vs有评分记录，否则，/>表示Um对Vs没有评分记录。
3.根据权利要求1所述的基于多维度特征嵌入和特征提取网络的物品推荐方法，其特征在于，步骤(4)中所述的物品推荐模型J，其中：
多维度特征嵌入网络包含的用户多维度特征嵌入网络中的三个用户特征嵌入提取分支，其中的用户编号信息输入层的神经元个数均与用户的个数M相等；该三个用户特征嵌入提取分支中特征嵌入层的神经元个数分别设置为2、8、16，全连接层神经元的个数均为16；第一激活函数层、第二激活函数层分别采用ReLU激活函数、Tanh激活函数；
用户特征嵌入提取分支的结构为：用户编号信息输入层→特征嵌入层→第一激活函数层→全连接层→第二激活函数层；
多维度特征嵌入网络包含的物品多维度特征嵌入网络中的三个物品特征嵌入提取分支，其中的物品编号信息输入层的神经元个数均与物品的个数N相等；该三个物品特征嵌入提取分支中特征嵌入层的神经元个数分别设置为2、8、16，全连接层神经元的个数均为16；第一激活函数层、第二激活函数层分别采用ReLU激活函数、Tanh激活函数；
物品特征嵌入提取分支的结构为：物品编号信息输入层→特征嵌入层→第一激活函数层→全连接层→第二激活函数层；
特征提取网络包含的属性信息提取网络中，属性信息输入层的神经元个数为16×(K1+K2)；特征嵌入层的神经元个数为16；激活函数层采用ReLU激活函数；
特征提取网络包含的低阶交互特征提取网络中，元素积操作层的神经元个数为144；第一、第二全连接层的神经元个数分别为10、16；两个激活函数层均采用ReLU激活函数；该低阶交互特征提取网络的结构为：元素积操作层→第一全连接层→第一激活函数层→第二全连接层→第二激活函数层；
特征提取网络包含的高阶交互特征提取网络中，外积操作层的神经元个数为2304；三维卷积层的层数为4，四个三维卷积层的卷积核个数均为16，卷积核尺寸均为2×2×3，卷积步长均为1；激活函数层的层数为5，五个激活函数层均采用ReLU激活函数；全连接层的神经元个数为16；该高阶交互特征提取网络的结构为：外积操作层→第一三维卷积层→第一激活函数层→第二三维卷积层→第二激活函数层→第三三维卷积层→第三激活函数层→第四三维卷积层→第四激活函数层→全连接层→第五激活函数层；
物品评分预测网络中拼接层的神经元个数为48；第一、第二全连接层的神经元个数分别为96、16；第一、第二激活函数层分别采用ReLU激活函数、sigmoid激活函数；输出层的神经元个数为1；该物品评分预测网络的结构为：拼接层→第一全连接层→第一激活函数层→第二全连接层→第二激活函数层→输出层。
4.根据权利要求1所述的基于多维度特征嵌入和特征提取网络的物品推荐方法，其特征在于，步骤(5c)中所述的权值参数ω的更新公式为：
其中,ω′表示ω的更新结果，η表示Lloss的学习率，表示求导操作。
CN202111370863.4A 2021-11-18 2021-11-18 基于多维度特征嵌入和特征提取网络的物品推荐方法 Active CN113934939B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111370863.4A CN113934939B (zh) 2021-11-18 2021-11-18 基于多维度特征嵌入和特征提取网络的物品推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111370863.4A CN113934939B (zh) 2021-11-18 2021-11-18 基于多维度特征嵌入和特征提取网络的物品推荐方法

Publications (2)

Publication Number Publication Date
CN113934939A CN113934939A (zh) 2022-01-14
CN113934939B true CN113934939B (zh) 2024-02-09

Family

ID=79287055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111370863.4A Active CN113934939B (zh) 2021-11-18 2021-11-18 基于多维度特征嵌入和特征提取网络的物品推荐方法

Country Status (1)

Country Link
CN (1) CN113934939B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529415A (zh) * 2020-12-11 2021-03-19 西安电子科技大学 基于组合多感受野图神经网络的物品评分方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150187024A1 (en) * 2013-12-27 2015-07-02 Telefonica Digital España, S.L.U. System and Method for Socially Aware Recommendations Based on Implicit User Feedback

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529415A (zh) * 2020-12-11 2021-03-19 西安电子科技大学 基于组合多感受野图神经网络的物品评分方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于融合卷积神经网络的协同过滤模型;杨锡慧;;软件导刊(12);全文 *

Also Published As

Publication number Publication date
CN113934939A (zh) 2022-01-14

Similar Documents

Publication Publication Date Title
CN109299396B (zh) 融合注意力模型的卷积神经网络协同过滤推荐方法及系统
CN111222332B (zh) 一种结合注意力网络和用户情感的商品推荐方法
CN110717098B (zh) 基于元路径的上下文感知用户建模方法、序列推荐方法
CN111881671B (zh) 一种属性词提取方法
CN107239993A (zh) 一种基于拓展标签的矩阵分解推荐方法及系统
CN112529415B (zh) 基于组合多感受野图神经网络的物品评分方法
Roy et al. Predicting closed questions on community question answering sites using convolutional neural network
CN113159892B (zh) 一种基于多模态商品特征融合的商品推荐方法
CN110688405A (zh) 基于人工智能的专家推荐方法、装置、终端、及介质
CN111414555A (zh) 一种基于协同过滤的个性化推荐方法
CN111178986A (zh) 用户-商品偏好的预测方法及系统
Athukorala et al. An effective short-text topic modelling with neighbourhood assistance-driven NMF in Twitter
CN111930926B (zh) 结合评论文本挖掘的个性化推荐算法
US20220027722A1 (en) Deep Relational Factorization Machine Techniques for Content Usage Prediction via Multiple Interaction Types
CN113934939B (zh) 基于多维度特征嵌入和特征提取网络的物品推荐方法
Chen et al. Gaussian mixture embedding of multiple node roles in networks
CN109800424A (zh) 一种基于改进矩阵分解与跨通道卷积神经网络的推荐方法
CN109299291A (zh) 一种基于卷积神经网络的问答社区标签推荐方法
Hamad et al. Sentiment analysis of restaurant reviews in social media using naïve bayes
CN113111257A (zh) 一种基于协同过滤的融合多源异构信息的推荐方法
CN114238758A (zh) 一种基于多源跨界数据融合的用户画像预测方法
Cho et al. Effective purchase pattern mining with weight based on FRAT analysis for recommender in e-commerce
Liu et al. A new feature selection method for text categorization of customer reviews
CN112991025A (zh) 一种保险智能推荐方法、系统、设备及计算机可读存储介质
CN112529414B (zh) 基于多任务神经协同过滤网络的物品评分方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant