CN113987330A - 一种基于多层次潜在特征的个性化推荐模型的构建方法 - Google Patents

一种基于多层次潜在特征的个性化推荐模型的构建方法 Download PDF

Info

Publication number
CN113987330A
CN113987330A CN202111085515.2A CN202111085515A CN113987330A CN 113987330 A CN113987330 A CN 113987330A CN 202111085515 A CN202111085515 A CN 202111085515A CN 113987330 A CN113987330 A CN 113987330A
Authority
CN
China
Prior art keywords
user
features
article
network
potential features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111085515.2A
Other languages
English (en)
Inventor
申情
郭文宾
楼俊钢
茅立安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huzhou University
Original Assignee
Huzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huzhou University filed Critical Huzhou University
Priority to CN202111085515.2A priority Critical patent/CN113987330A/zh
Publication of CN113987330A publication Critical patent/CN113987330A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Evolutionary Biology (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种基于多层次潜在特征的个性化推荐模型的构建方法，包括以下步骤：S1.将用户与物品的基本属性信息向量化表示为用户‑物品联立特征向量，作为模型输入；S2.通过FM，WNN，CN，DNN分别提取用户与物品不同层次潜在特征；S3.将步骤S2中提取的用户与物品不同层次潜在特征进行融合，并提取用户‑物品层级融合潜在特征；S4.进行模型训练：利用训练集上用户对物品的评分作为标签，以预测评分与实际评分之间的均方根误差作为损失函数，采用随机梯度下降的方法进行模型训练。该模型能够发挥不同特征提取算法各自的优势，挖掘用户与物品之间的多层次潜在特征，能够有效提高个性化推荐的预测精度。

Description

一种基于多层次潜在特征的个性化推荐模型的构建方法
【技术领域】
本发明涉及互联网个性化推荐算法的技术领域，特别是一种基于多层次潜在特征的个性化推荐模型的构建方法。
【背景技术】
互联网的快速发展，为广大消费者带来了海量的信息，消费者难以轻松的获取其需要的信息，由于信息过量而引发的信息过载已成为日常生活中的重要问题。传统推荐算法往往只使用用户对物品的评分信息，而缺少对潜在特征的考虑。传统的推荐算法主要分为两种：基于内容的推荐与基于协同过滤(Collaborative Filtering,CF)的推荐。由于传统的推荐算法只采用用户对物品的评分信息进行推荐，并未采用用户与物品的基本信息，导致传统推荐算法数据稀疏性强，推荐精度一般。
为解决上述问题，有学者提出在推荐模型中融合用户与物品的潜在信息，并引入深度学习(Deep Learning,DL)技术，建立考虑潜在信息的深度学习个性化推荐模型。但目前大多数研究中，考虑潜在特征的层次较少，不能反映多种层次潜在特征之间的组合性质。为更全面挖掘用户和物品基本信息的多层次潜在特征，现提出一种基于多层次潜在特征的个性化推荐模型的构建方法。
【发明内容】
本发明的目的就是解决现有技术中的问题，提出一种基于多层次潜在特征的个性化推荐模型的构建方法，发挥不同特征提取算法各自的优势，挖掘用户与物品之间的多层次潜在特征，能够有效提高个性化推荐的预测精度。
为实现上述目的，本发明提出了一种基于多层次潜在特征的个性化推荐模型的构建方法，包括以下步骤：
S1.将用户与物品的基本属性信息向量化表示为用户-物品联立特征向量，作为模型输入；
S2.通过FM，WNN，CN，DNN分别提取用户与物品不同层次潜在特征，所述FM为因子分解机，用于提取用户-物品低层次潜在特征，所述WNN为宽神经网络，用于提取用户-物品低阶非线性潜在特征，所述CN为交叉网络，用于提取用户-物品线性交叉层次潜在特征，所述DNN为深度神经网络，用于提取用户-物品高阶非线性层次潜在特征；
S3.将步骤S2中提取的用户与物品不同层次潜在特征进行融合，并提取用户-物品层级融合潜在特征；
S4.进行模型训练：利用训练集上用户对物品的评分作为标签，以预测评分与实际评分之间的均方根误差作为损失函数，采用随机梯度下降的方法进行模型训练。
作为优选，步骤S1具体包括以下步骤：
S11.利用独热编码与多热编码对用户与物品的基本信息进行编码，物品ID经编码后得到代表每个ID的高维稀疏向量；
S12.使用嵌入层网络将高维稀疏向量映射为低维稠密向量，所述嵌入层网络进行降维的方式为：将高维稀疏向量输入到一个低维神经网络中得到降维后的低维稠密向量；
S13.再对低维稠密向量进行拼接操作，组合成为用户-物品联立特征向量。
作为优选，所述FM通过特征之间的线性结合与两两交互提取用户-物品低层次潜在特征，如公式(1)所示，FM在线性结合的基础上考虑特征之间的关联计算，表达式如公式(2)所示，
Figure BDA0003265539770000031
Figure BDA0003265539770000032
其中，w0为常数偏置，n为样本的特征个数，wi为第i个样本的权重，由于直接计算FM算法中交叉项的时间复杂度与空间复杂度都极高，故引入隐向量Vi＝(vi1,vi2,...,vik)来求解交叉项，如公式(3)所示：
Figure BDA0003265539770000033
用ViVj T对wij进行求解，如公式(4)所示：
Figure BDA0003265539770000034
故FM算法二次项求解过程，如公式(5)所示：
Figure BDA0003265539770000035
其中<vi,vj>为向量内积运算，计算规则如公式(6)所示：
Figure BDA0003265539770000036
作为优选，所述WNN通过一个具有单个神经元的神经网络，并在非线性激活函数的作用下提取用户-物品低阶非线性潜在特征，WNN计算规则如公式(7)所示：
Yi＝f(wi·xi+bi) (7)
其中，Yi为网络输出，f(*)为非线性激活函数，wi为网络权重，xi为输入，bi为偏置。
作为优选，所述DNN由若干层全连接神经网络构成，每层神经网络都经过非线性激活函数的作用，多层全连接神经网络叠加，以提取用户-物品高阶非线性层次潜在特征，每一层全连接神经网络的计算规则均如公式(7)所示。
作为优选，所述DNN中每层全连接神经网络都具有多个神经元，所述WNN中每层全连接神经网络具有单个神经元。
作为优选，所述CN通过若干层交叉网络结构实现对输入特征进行交叉潜在特征提取，交叉网络层计算规则为原始输入与当前层网络输入进行交叉之后考虑权重，再与当前层网络输入和偏置相加即为网络输出，特征交叉计算公式如(8)所示：
xl+1＝x0xl Twl+bl+xl＝f(xl,wl,bl)+xl (8)
其中xl+1代表网络输出，x0代表原始输入，xl代表当前层网络输入，wl与bl分别代表网络的权重与偏置。
作为优选，步骤S3具体步骤为：将步骤S2中提取的4种层次潜在特征进行拼接，并送入一个全连接神经网络内，以学习拼接向量中携带的用户-物品层级融合潜在特征，所应用全连接神经网络的计算规则同DNN内全连接神经网络计算规则。
作为优选，步骤S4还包括模型性能评估，在训练前将数据集划分为训练集与测试集，利用训练集进行模型训练，在训练完成后使用测试集以预测评分与实际评分之间的标准差与均方根误差对模型性能进行评估。
本发明的有益效果：本发明建立了一个考虑多层次潜在特征的个性化推荐模型，与传统的推荐算法与考虑潜在特征的混合推荐模型进行对比，本发明构建的模型可以有效地提升推荐性能。
本发明的特征及优点将通过实施例结合附图进行详细说明。
【附图说明】
图1是本发明的算法整体框架图；
图2是不同嵌入层维度与不同神经元数量下MAE与RMSE实验结果示意图。
【具体实施方式】
本发明所提出的基于多层次潜在特征的个性化推荐模型的模型框架如图1所示。考虑用户与物品的多层次潜在特征，以用户与物品的基本属性信息构建用户-物品特征作为模型输入，通过FM,WNN,CN,DNN分别提取用户与物品不同层次潜在特征，之后将各层次潜在特征进行融合以作为层级融合特征，将层级融合特征输入到一个全连接层之中进行评分预测。具体的来说，本发明所提出推荐模型主要由以下四部分构成。
第一部分：将用户与物品的基本属性信息向量化表示为用户-物品联立特征向量。如图1所示，利用独热(One-Hot)编码与多热(Multi-Hot)编码对用户与物品的一些基本信息进行编码，在编码过后会得到一批高维稀疏向量。独热编码操作如图1左下所示，物品ID经编码后得到代表每个ID的高维稀疏向量，每个向量内仅有1维包含信息；而多热编码与独热编码主要区别在于其每个向量内可能有2维或2维以上包含信息。之后使用嵌入层网络(Embedding Layer,EL)将高维稀疏向量映射为低维稠密向量。嵌入层网络进行降维的过程示意图如图1中下所示，将高维稀疏向量输入到一个低维神经网络中所得即为降维后的低维稠密向量。再对低维稠密向量进行拼接操作，组合成为用户-物品联立特征向量。
第二部分：提取用户-物品多层次的潜在特征。利用多种特征提取算法充分挖掘用户-物品多种层次潜在特征。FM提取用户-物品低层次潜在特征，WNN提取用户-物品低阶非线性潜在特征，CN提取用户-物品线性交叉层次潜在特征，DNN提取用户-物品高阶非线性层次潜在特征。
其中，FM通过特征之间的线性结合与两两交互提取用户-物品低层次潜在特征。如公式(1)所示，普通的线性模型仅仅是将各个特征进行加权求和，忽略了特征和特征之间的潜在交互关系。FM在线性结合的基础上考虑特征之间的关联计算，FM算法的表达式如公式(2)所示。
Figure BDA0003265539770000061
Figure BDA0003265539770000062
其中，w0为常数偏置，n为样本的特征个数，wi为第i个样本的权重。由于直接计算FM算法中交叉项的时间复杂度与空间复杂度都极高，故引入隐向量Vi＝(vi1,vi2,...,vik)来求解交叉项。即
Figure BDA0003265539770000063
用ViVj T对wij进行求解，即
Figure BDA0003265539770000064
故FM算法二次项求解过程如下：
Figure BDA0003265539770000071
其中<vi,vj>为向量内积运算，计算规则如下：
Figure BDA0003265539770000072
WNN通过一个具有单个神经元的神经网络，并在非线性激活函数的作用下提取用户-物品低阶非线性潜在特征。WNN计算规则如公式(7)所示：
Yi＝f(wi·xi+bi) (7)
其中，Yi为网络输出，f(*)为非线性激活函数，wi为网络权重，xi为输入，bi为偏置。
CN通过若干层交叉网络结构实现对输入特征进行交叉潜在特征提取。交叉网络结构示意图如图1所示，交叉网络层计算规则为原始输入与当前层网络输入进行交叉之后考虑权重，再与当前层网络输入和偏置相加即为网络输出。特征交叉计算公式如(8)所示：
xl+1＝x0xl Twl+bl+xl＝f(xl,wl,bl)+xl (8)
其中xl+1代表网络输出，x0代表原始输入，xl代表当前层网络输入，wl与bl分别代表网络的权重与偏置。
DNN由若干层全连接神经网络构成，每层神经网络都经过非线性激活函数的作用，多层全连接神经网络叠加，以提取用户-物品高阶非线性层次潜在特征。每一层全连接神经网络的计算规则都如公式(7)所示。但DNN中每层全连接神经网络都具有多个神经元，并非如WNN仅有单个神经元。
第三部分：将用户-物品多种层次潜在特征进行融合，并提取用户-物品层级融合潜在特征。在获取到用户-物品4种层次的潜在特征的基础上，将4种层次潜在特征进行拼接。并送入一个全连接神经网络内，以学习拼接向量中携带的用户-物品层级融合潜在特征。所应用全连接神经网络的计算规则同DNN内全连接神经网络计算规则。
第四部分：进行模型训练与性能评估。将数据集划分为训练集与测试集，利用训练集上用户对物品的评分作为标签，以预测评分与实际评分之间的均方根误差作为损失函数，采用随机梯度下降的方法进行模型训练。在训练完成后使用测试集以预测评分与实际评分之间的标准差与均方根误差对模型性能进行评估。
为了验证本发明算法的有效性，采用了MovieLens网站上的公开数据集MovieLens-100k与MovieLens-1m对本发明模型进行了性能测试，包括以下步骤。
A.数据集
实验采用数据集MovieLens-100k与MovieLens-1m是MovieLens官方网站提供的数据集，数据集获取地址为：https://grouplens.org/datasets/movielens/。数据集MovieLens-100k一共包含约100,000条评分数据，评分数据由943名用户对1682部电影所做出的评分构成，每位用户至少对20部电影进行过评分，评分区间为1-5分。此外，数据集还提供了用户与电影的基本属性信息，主要包括用户ID，用户年龄，用户性别，用户职业，电影ID，电影类别等。数据集MovieLens-1m一共包含约1000,000条评分数据，评分数据由6040名用户对3952部电影所做出的评分构成。
B.对比模型
1.基于用户的协同过滤算法(User Based Collaborative Filtering,UBCF)：该算法属于传统推荐算法，仅采用用户对物品的评分信息来对用户做出推荐，缺失对用户与物品基本信息的考虑。算法基本思想为根据用户对物品的历史评分来构建用户画像，之后计算用户间相似度，发现与当前用户相似度较高的K个用户，并推荐这K个用户所偏好的物品。
2.深度神经网络(Deep Neural Network,DNN)：由若干层全连接神经网络构成，每层全连接神经网络都应用了非线性激活函数，经多层全连接神经网络叠加所构建的深度神经网络。
3.因子分解机(Factorization Machines,FM)：由S Rendle提出一种称为FM的特征交互提取模型。该模型结合了支持向量机(Support Vector Machines,SVM)的优势之处，与SVM相比，FM使用分解参数对变量之间的两两交互进行建模，这样即便在数据稀疏的情况下仍然可以对特征之间的交互关系进行有效建模。
4.宽度&深度(Wide&Deep)：由H.-T.Cheng等人提出的一种名为Wide&Deep的推荐模型。在数据稀疏的情况下，深度神经网络往往会忽略用户项目互动稀疏但相关性较高的情况。故该模型结合了宽度神经网络与深度神经网络的特点，对两种网络模型共享输入层进行联合训练，以同时应用宽神经网络的强泛化性能与深度神经网络的强学习性能。
5.深度因子分解机(Deep Factorization Machines,DeepFM)：由H Guo等人提出的一种名为DeepFM的模型，该模型主要强调低阶特征和高阶特征交互的端到端学习。模型基本思路为，在新的神经网络体系结构中结合用于推荐的因子分解机和用于特征学习的深度神经网络，实现了低阶特征与高阶特征之间的交互。与Wide&Deep相比，该模型将Wide部分替换为FM。
6.深度交叉网络(Deep&Cross Network,DCN)：由Ruoxi Wang等人提出的一种名为DCN的点击率预测模型。该模型提出了一种新颖的交叉网络结构，这种网络结构每一层的输出都由上一层网络与网络输入进行交叉得到，随着其层数的增加，特征之间的交叉变得越来越深。相对于Wide&Deep与DeepFM，该模型是深度神经网络与交叉网络的并行组合。
C.评价指标
评价指标采用推荐系统中广泛应用的平均绝对误差(Mean Absolute Error,MAE)与均方根误差(Root Mean Square Error,RMSE)来衡量模型的性能。MAE与RMSE计算公式分别如(9)(10)所示。
Figure BDA0003265539770000101
Figure BDA0003265539770000102
其中f(x)i为预测评分，Yi为实际评分。显然，MAE与RMSE的值越小，算法的性能就越好。另外为验证模型在不同数据稀疏度(Sparsity Rate,SR)情况下的有效性。实验将数据集MovieLens-100k按不同比例对训练集与测试集进行划分，在训练集占比不同的情况下对训练集的SR进行计算，并且在不同的SR上分别计算预测评分与实际评分之间的MAE与RMSE。SR计算公式如(11)。
Figure BDA0003265539770000103
训练集占比不同的情况下对训练集的SR进行计算结果如表1所示。训练集占比越小，SR就越大，训练集数据就越稀疏，代表用户-物品评分矩阵中所含评分数据就越少，可用于训练的评分数据就越少。
表1不同比例划分的训练集与测试集情况下的SR
Figure BDA0003265539770000104
Figure BDA0003265539770000111
D.实验结果
表2与表3分别给出了本发明模型与所选对比模型在数据集MovieLens-100k训练集占比不同(即不同数据稀疏度)情况下的MAE与RMSE的实验结果，表中数据均为20次实验结果取平均值所得。
表2训练集占比不同(不同数据稀疏度)情况下的MAE
Figure BDA0003265539770000112
表3训练集占比不同(不同数据稀疏度)情况下的RMSE
Figure BDA0003265539770000113
由表2与表3实验结果可知，本发明模型在预测评分与实际评分之间的MAE与RMSE上均有所提高。在训练集占比80％时，模型表现效果最佳。相对于属于传统推荐算法的UB，在MAE上提升11.52％，在RMSE上提升11.85％。相对于考虑单层次潜在特征的FM与DNN，在MAE上分别提升3.58％与2.08％，在RMSE上分别提升3.45％与2.54％。相对于考虑两种层次潜在特征的DeepFM,DCN与Wide&Deep，在MAE上分别提升0.97％,1.3％与0.92％，在RMSE上分别提升1.03％,1.31％与0.96％。
实验还另外分析了对本发明模型性能有所影响的两个参数。模型在选取不同嵌入层维度与模型第三部分中全连接层网络不同神经元数量情况下MAE与RMSE的实验结果如图2所示。由图中可以看出，随着嵌入层维度与第三部分中全连接层神经元数量的增加，模型效果有所改善，在嵌入层维度为32，神经元数量为1024时，模型效果最佳。但当二者过大时，模型效果变得较差。这表明在适当增大嵌入层维度与第三部分全连接层神经元的数量会使得模型更好的学习用户与物品原始编码中携带的信息与拼接向量中携带的用户-物品层级融合潜在特征，但是当二者过大时会导致模型训练效率低下并且训练结果较差。
另外，由于本发明模型考虑潜在特征的层次较多，模型中特征提取算法数量较多，导致模型时间复杂度有所增加。表4给出了本发明模型与几种对比模型单次迭代所需时间对比。
表4模型与对比模型单次迭代所需时间对比
Figure BDA0003265539770000121
此外，还在数据集MovieLens-1m验证了本发明模型的有效性。数据集按8：2的比例划分训练集与测试集。实验结果如表5所示。
表5模型在数据集MovieLens-1m上实验结果
Figure BDA0003265539770000122
本发明所提出的一种考虑多层次潜在特征的个性化推荐模型，该模型结合DeepFM,DCN,Wide&Deep三者提取不同层次的潜在特征的优点，将多种层次的潜在特征考虑在内，构建评分预测模型。为验证该模型的有效性，将其与传统的推荐算法与考虑潜在特征的混合推荐模型进行对比，在数据集Movieslens上以不同数据稀疏度情况下对模型性能进行评估，实验结果证明该模型可以有效提升推荐性能。同时还评估了不同嵌入层维度与负责学习层级融合特征的全连接层神经元数量对模型性能的影响。
上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。

Claims (9)

1.一种基于多层次潜在特征的个性化推荐模型的构建方法，其特征在于：包括以下步骤：
S1.将用户与物品的基本属性信息向量化表示为用户-物品联立特征向量，作为模型输入；
S2.通过FM，WNN，CN，DNN分别提取用户与物品不同层次潜在特征，所述FM为因子分解机，用于提取用户-物品低层次潜在特征，所述WNN为宽神经网络，用于提取用户-物品低阶非线性潜在特征，所述CN为交叉网络，用于提取用户-物品线性交叉层次潜在特征，所述DNN为深度神经网络，用于提取用户-物品高阶非线性层次潜在特征；
S3.将步骤S2中提取的用户与物品不同层次潜在特征进行融合，并提取用户-物品层级融合潜在特征；
S4.进行模型训练：利用训练集上用户对物品的评分作为标签，以预测评分与实际评分之间的均方根误差作为损失函数，采用随机梯度下降的方法进行模型训练。
2.如权利要求1所述的一种基于多层次潜在特征的个性化推荐模型的构建方法，其特征在于：步骤S1具体包括以下步骤：
S11.利用独热编码与多热编码对用户与物品的基本信息进行编码，物品ID经编码后得到代表每个ID的高维稀疏向量；
S12.使用嵌入层网络将高维稀疏向量映射为低维稠密向量，所述嵌入层网络进行降维的方式为：将高维稀疏向量输入到一个低维神经网络中得到降维后的低维稠密向量；
S13.再对低维稠密向量进行拼接操作，组合成为用户-物品联立特征向量。
3.如权利要求1所述的一种基于多层次潜在特征的个性化推荐模型的构建方法，其特征在于：所述FM通过特征之间的线性结合与两两交互提取用户-物品低层次潜在特征，如公式(1)所示，FM在线性结合的基础上考虑特征之间的关联计算，表达式如公式(2)所示，
Figure FDA0003265539760000021
Figure FDA0003265539760000022
其中，w0为常数偏置，n为样本的特征个数，wi为第i个样本的权重，引入隐向量Vi＝(vi1,vi2,...,vik)来求解交叉项，如公式(3)所示：
Figure FDA0003265539760000023
用ViVj T对wij进行求解，如公式(4)所示：
Figure FDA0003265539760000024
故FM算法二次项求解过程，如公式(5)所示：
Figure FDA0003265539760000025
其中<vi,vj>为向量内积运算，计算规则如公式(6)所示：
Figure FDA0003265539760000026
4.如权利要求1所述的一种基于多层次潜在特征的个性化推荐模型的构建方法，其特征在于：所述WNN通过一个具有单个神经元的神经网络，并在非线性激活函数的作用下提取用户-物品低阶非线性潜在特征，WNN计算规则如公式(7)所示：
Yi＝f(wi·xi+bi) (7)
其中，Yi为网络输出，f(*)为非线性激活函数，wi为网络权重，xi为输入，bi为偏置。
5.如权利要求4所述的一种基于多层次潜在特征的个性化推荐模型的构建方法，其特征在于：所述DNN由若干层全连接神经网络构成，每层神经网络都经过非线性激活函数的作用，多层全连接神经网络叠加，以提取用户-物品高阶非线性层次潜在特征，每一层全连接神经网络的计算规则均如公式(7)所示。
6.如权利要求5所述的一种基于多层次潜在特征的个性化推荐模型的构建方法，其特征在于：所述DNN中每层全连接神经网络都具有多个神经元，所述WNN中每层全连接神经网络具有单个神经元。
7.如权利要求1所述的一种基于多层次潜在特征的个性化推荐模型的构建方法，其特征在于：所述CN通过若干层交叉网络结构实现对输入特征进行交叉潜在特征提取，交叉网络层计算规则为原始输入与当前层网络输入进行交叉之后考虑权重，再与当前层网络输入和偏置相加即为网络输出，特征交叉计算公式如(8)所示：
xl+1＝x0xl Twl+bl+xl＝f(xl,wl,bl)+xl (8)
其中xl+1代表网络输出，x0代表原始输入，xl代表当前层网络输入，wl与bl分别代表网络的权重与偏置。
8.如权利要求1所述的一种基于多层次潜在特征的个性化推荐模型的构建方法，其特征在于：步骤S3具体步骤为：将步骤S2中提取的4种层次潜在特征进行拼接，并送入一个全连接神经网络内，以学习拼接向量中携带的用户-物品层级融合潜在特征。
9.如权利要求1所述的一种基于多层次潜在特征的个性化推荐模型的构建方法，其特征在于：步骤S4还包括模型性能评估，在训练前将数据集划分为训练集与测试集，利用训练集进行模型训练，在训练完成后使用测试集以预测评分与实际评分之间的标准差与均方根误差对模型性能进行评估。
CN202111085515.2A 2021-09-16 2021-09-16 一种基于多层次潜在特征的个性化推荐模型的构建方法 Pending CN113987330A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111085515.2A CN113987330A (zh) 2021-09-16 2021-09-16 一种基于多层次潜在特征的个性化推荐模型的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111085515.2A CN113987330A (zh) 2021-09-16 2021-09-16 一种基于多层次潜在特征的个性化推荐模型的构建方法

Publications (1)

Publication Number Publication Date
CN113987330A true CN113987330A (zh) 2022-01-28

Family

ID=79735912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111085515.2A Pending CN113987330A (zh) 2021-09-16 2021-09-16 一种基于多层次潜在特征的个性化推荐模型的构建方法

Country Status (1)

Country Link
CN (1) CN113987330A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114897168A (zh) * 2022-06-20 2022-08-12 支付宝(杭州)信息技术有限公司 风控模型的基于知识表征学习的融合训练方法和系统
CN116562357A (zh) * 2023-07-10 2023-08-08 深圳须弥云图空间科技有限公司 点击预测模型训练方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114897168A (zh) * 2022-06-20 2022-08-12 支付宝(杭州)信息技术有限公司 风控模型的基于知识表征学习的融合训练方法和系统
CN116562357A (zh) * 2023-07-10 2023-08-08 深圳须弥云图空间科技有限公司 点击预测模型训练方法及装置
CN116562357B (zh) * 2023-07-10 2023-11-10 深圳须弥云图空间科技有限公司 点击预测模型训练方法及装置

Similar Documents

Publication Publication Date Title
CN111177575B (zh) 一种内容推荐方法、装置、电子设备和存储介质
CN111797321B (zh) 一种面向不同场景的个性化知识推荐方法及系统
Zhen et al. TagiCoFi: tag informed collaborative filtering
CN109657156A (zh) 一种基于循环生成对抗网络的个性化推荐方法
CN111127146B (zh) 基于卷积神经网络与降噪自编码器的信息推荐方法及系统
CN113987330A (zh) 一种基于多层次潜在特征的个性化推荐模型的构建方法
CN110909754A (zh) 一种属性生成对抗网络及基于该网络的搭配服饰生成方法
CN111143705A (zh) 一种基于图卷积网络的推荐方法
Kang Combining grey relationship analysis and neural network to develop attractive automobile booth design
CN114861050A (zh) 一种基于神经网络的特征融合推荐方法及系统
CN104008204A (zh) 一种动态的多维情境感知电影推荐系统及其实现方法
CN115221387A (zh) 一种基于深度神经网络的企业信息整合方法
Zhang et al. Selective knowledge transfer for cross-domain collaborative recommendation
Liang et al. Attentional neural factorization machine for web services classification via exploring content and structural semantics
CN110310012A (zh) 数据分析方法、装置、设备及计算机可读存储介质
CN112905906A (zh) 一种融合局部协同与特征交叉的推荐方法及系统
Lin et al. Transfer learning for collaborative recommendation with biased and unbiased data
Zhou et al. Self-attention mechanism enhanced user interests modeling for personalized recommendation services in cyber-physical-social systems
CN116228368A (zh) 一种基于深度多行为网络的广告点击率预测方法
Yan Development of International Agricultural Trade Using Data Mining Algorithms‐Based Trade Equality
Shen et al. Online teaching course recommendation based on autoencoder
CN115525819A (zh) 一种面向信息茧房的跨领域推荐方法
Tang Artificial intelligence-based e-commerce platform based on SaaS and neural networks
CN113836392B (zh) 一种基于bert与用户评论的深度学习可解释推荐方法
CN108805628A (zh) 一种电子商务推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination