CN116452293A - 一种融合物品受众特征的深度学习推荐方法及系统 - Google Patents
一种融合物品受众特征的深度学习推荐方法及系统 Download PDFInfo
- Publication number
- CN116452293A CN116452293A CN202310416927.2A CN202310416927A CN116452293A CN 116452293 A CN116452293 A CN 116452293A CN 202310416927 A CN202310416927 A CN 202310416927A CN 116452293 A CN116452293 A CN 116452293A
- Authority
- CN
- China
- Prior art keywords
- module
- feature
- user
- vector
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 239000013598 vector Substances 0.000 claims abstract description 82
- 230000003993 interaction Effects 0.000 claims abstract description 39
- 239000011159 matrix material Substances 0.000 claims abstract description 30
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 230000007246 mechanism Effects 0.000 claims abstract description 6
- 238000012417 linear regression Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 12
- 230000006399 behavior Effects 0.000 claims description 11
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 2
- 230000003247 decreasing effect Effects 0.000 claims 1
- 238000004140 cleaning Methods 0.000 abstract description 2
- 238000012163 sequencing technique Methods 0.000 abstract description 2
- 238000013480 data collection Methods 0.000 abstract 1
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Bioinformatics & Computational Biology (AREA)
- Marketing (AREA)
- Biophysics (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出一种融合物品受众特征的深度学习推荐方法及系统，属于推荐技术领域。包括有数据收集及数据清洗；转化评分为隐式反馈矩阵；获取物品的历史交互用户列表；运用注意力机制，自适应计算物品的个性化受众特征；通过线性回归与向量内积学习数据中的低阶特征；设计特征交互层以显式地进行特征交叉；利用多层全连接神经网络进一步学习高阶特征；融合低阶和高阶特征信息输出目标用户对物品的预测值；对预测集合排序，进行top‑N推荐；经过多次实验验证，本发明能够充分挖掘历史交互信息中的潜在价值，提高推荐质量，展现出良好的应用潜力。
Description
本发明属于推荐技术领域，具体的说是一种融合物品受众特征的深度学习推荐方法及系统。
背景技术
信息爆炸时代,如何从海量信息中快速过滤出适合用户的个性化产品和服务从而提高用户体验,是互联网数字平台需要解决的首要问题。推荐模型作为重要的决策支持工具,能够基于用户的历史行为(如评价,点击或浏览商品等)预测出用户接受推荐商品的可能性,从而有效缓解信息过载。目前,推荐系统已被广泛应用于电子商务、网络营销、新闻平台等诸多领域。
尽管引入深度学习的方法有效增强了模型对数据进行非线性建模的能力,但这些模型难以有效捕获数据内部蕴含的价值信息,因为它们只是简单地将用户特征和物品特征映射为低维稠密向量,未强调推荐应用背后的机理引导以及对用户与物品的历史交互信息的有效挖掘。许多模型将用户与物品的交互信息仅用于模型参数的优化过程,而忽略了数据中潜在的协同信息,其能够揭示用户之间的行为相似性,这严重阻碍了模型性能的进一步提升。其次,现有的基于深度学习的推荐模型主要利用向量拼接与神经网络相结合的方式来提取高阶特征。然而,随着神经网络层数的加深,在网络前向传播过程中可能存在信息丢失的问题。同时,神经网络通常是以隐式方式进行特征交叉,过程难以控制,因此可能会出现无法有效学习多种特征组合的情况。
发明内容
针对上述问题，本发明一种融合物品受众特征的深度学习推荐方法及系统，包括数据采集及处理模块、模型训练模块、模型预测模块以及推荐模块，其设置于服务器中，而服务器与多个数据库相连，所述数据库连接多个智能终端：
所述智能终端用于采集用户的行为数据，并交由数据库进行储存；
所述数据库用于存储用户的历史行为信息，并交由服务器进行处理
所述数据采集及处理模块，用于对数据库的数据信息进行加工处理，以获得满足系统需要的标准化数据；
所述模型训练模块，用于对标准化数据进行建模并训练直到模型收敛；
所述模型预测模块，用于利用完成训练的模型对用户的个性化偏好进行预测；
所述推荐模块，用于根据预测评分值大小进行排序并形成推荐物品列表，以提高用户满意度。
本发明所述的深度学习推荐系统，所述数据处理模块，用于将用户对物品的反馈信息转换为数值为0或1的隐式反馈矩阵其中数值为1代表用户与物品产生过交互，数值为0则代表用户与物品为产生过交互，|U|表示用户数，|I|表示物品数。采集物品的历史交互用户集合，并将物品和用户信息转换为低维稠密的特征向量e，其主要处理步骤如下：
S1：获取所有数据信息：用户id、物品id、评分信息、物品的历史交互用户集合H；
S2：根据评分信息生成隐式反馈矩阵R；
S3：将用户id转换为onehot向量xu；
S4：将项目id转换为onehot向量xi；
S5：将用户集合H中的用户分别转换为各自的onehot向量；
S6：随机初始化符合高斯分布的用户和物品的映射矩阵Wu、Wi
S7：将onehot向量转换为低维稠密的特征向量e，方式如下所示：
eu＝Wuxu
本发明所述的深度学习推荐系统，所述模型训练模块由物品受众特征聚合模块、低阶特征提取模块、特征交互模块、全连接神经网络模块、模型参数更新模块。
所述物品受众特征聚合模块包括如下几个步骤：
S1：利用基于多层感知机的注意力机制计算目标用户与物品的历史交互用户的相关性系数，方式如下所示：
sk＝hTσ(Wpoolf(eu，ek，eu⊙ek)+b)
其中,σ分别为权重矩阵、偏置向量、回归系数以及激活函数,eu为目标用户u的特征向量,t代表隐藏层的神经元个数,激活函数σ选择ReLU来增强非线性表达能力,f(x)为向量拼接操作函数,⊙代表向量对应元素积；
S2：通过softmax函数将相关性系数进行归一化得到注意力分布ak，方式如下所示：
S3：根据注意力分布ak，通过加权求和获取物品的受众特征向量，方式如下所示：
其中为物品i的历史交互用户集合，K为与物品i有交互的用户数量，为用户k的特征向量。
所述低阶特征提取模块，用于通过线性回归和向量内积学习数据中的低阶特征信息，其表达式如下：
其中,x为将目标用户和物品的one-hot向量拼接后的向量,eu，ei分别为目标用户和物品的特征向量,为物品受众的特征向量,/>为回归系数,·表示向量内积运算。
所述特征交互模块，用于进行显式地特征交叉来获取高阶特征信息并通过残差连接以保持信息在神经网络前向传播过程中的完整性，具体包含以下几个步骤：
S1：将目标用户的特征向量eu、物品的特征向量ei以及物品的受众特征向量并对所有输入向量进行堆叠,形成一个特定矩阵E；
S2：通过计算矩阵中任意两特征向量之间的对应元素积来进行显式的特征交叉,并将前一层的输出矩阵作为后一层的输入；
S3：利用残差连接将各层的输出矩阵融合成特征组合信息向量p：
其中，n特征交互层的层数,为第i层的输出矩阵，/>表示矩阵的第j行。
所述全连接神经网络模块，用于在特征组合信息向量p的基础上通过多层非线性神经网络进一步学习数据中的高阶特征，其表达式如下：
Z1＝σ1(W1p+b1)
Z2＝σ2(W2Z1+b2)
ZH＝σH(WH-1ZH-1+bH-1)
其中,H代表全连接神经网络的层数,p为特征交互层的输出,WH，bH，σH分别代表第H层的权重矩阵、偏置向量、激活函数。最后，结合低阶和高阶特征信息输出预测值。
所述模型参数更新模块，用于根据损失值更新模型参数直至收敛，具体包含以下几个步骤：
S1：构建损失函数，其表达式如下：
其中,Θ＝{Wembed，Wpool，WH，WL},其分别为模型嵌入层、物品受众特征聚合模块、高阶特征提取模块、低阶特征提取模块的权重参数，将特征交互模块与全连接神经网络模块合称为高阶特征提取模块；Y，Y-分别代表模型训练的正负样本集合；yui为真实值,为预测值,λ为正则项系数；
S2：根据预测值和真实值yui计算损失值；
S3：采用Adam优化器更新模型参数；
S4：循环遍历正负样本集合，直到损失函数值不再减小；
本发明所述的深度学习推荐系统，所述模型预测模块，用于利用完成训练融的模型获取低阶和高阶特征信息，将其融合并输出预测值，其表达式如下：
其中,ZL为低阶特征提取模块的输出,ZH为高阶特征提取模块的输出,激活函数σ为sigmoid函数，其表达式如下：
本发明所述的深度学习推荐系统，所述推荐模块，用于根据各个用户对不同物品的预测评分值大小进行排序推荐，并形成物品推荐列表，进而提高推荐质量。
本发明的有益效果在于：本发明利用注意力机制从用户与物品的历史交互记录中自适应地计算出物品的受众特征，将其作为反映目标用户偏好的重要补充信息,从而增强应对数据稀疏性问题的能力。提出了特征交互层,能够显式地控制各种特征的交叉,丰富特征交叉的方式，并通过残差连接来保证信息在神经网络前向传播的完整性。设计了低阶特征提取模块和高阶特征模块，同时学习数据中的低阶特征和高阶特征，以提高推荐性能。
附图说明
图1是本发明的系统框图；
图2是本发明的模型框架图
图3是本发明中特征交互层的示例图；
图4是本发明在三个数据集下不同推荐列表长度下的precision值变化情况；
图5是本发明在三个数据集下不同推荐列表长度下的recall值变化情况；
图6是本发明在三个数据集下不同推荐列表长度下的f1值变化情况；
图7是本发明在三个数据集下不同推荐列表长度下的ndcg值变化情况；
具体实施方式
为了使本发明的目的、技术方案及优点更加明确，下面结合附图对本发明的具体实施方式以及工作原理作进一步详细说明。
从图1可以看出，一种融合物品受众特征的深度学习推荐方法及系统，包括数据采集及处理模块、模型训练模块、模型预测模块以及推荐模块，其设置于服务器中，而服务器与多个数据库相连，所述数据库连接多个智能终端；用户在智能终端上产生行为信息；数据库负责采集不同智能终端的行为数据并进行储存；所述数据采集及处理模块，用于对数据库的数据信息进行加工处理，以获得满足系统需要的标准化数据；所述模型训练模块，用于对标准化数据进行建模并训练直到模型收敛；所述模型预测模块，用于利用完成训练的模型对用户的个性化偏好进行预测；所述推荐模块，用于根据预测评分值大小进行排序并形成推荐物品列表，以提高用户满意度。
从图2可以看出，本发明所述的深度学习推荐系统，所述模型训练模块由物品受众特征聚合模块、低阶特征提取模块、特征交互模块、全连接神经网络模块、模型参数更新模块。首先获取物品的历史交互用户集合，并将用户ID信息和物品ID信息转换为onehot向量；对onehot向量进行嵌入操作将其转换为低维稠密的特征向量；利用注意力机制计算目标用户与物品历史交互集合中的用户的相关性，并通过加权求和自适应地获取物品的个性化受众特征；在低阶特征提取模块利用线性回归和特征向量内积来学习数据中的低阶特征；提出特征交互层通过特征向量对应元素积以及残差连接来提取多阶特征信息组合；搭建多层全连接神经网络进一步学习数据中潜在的高阶特特征信息；融合低阶和高阶特征信息输出预测值；
图3是本发明中特征交互层的示例图。从图2可以看出，本发明设计的特征交互层首先将输入特征向量堆叠为一个特定矩阵；通过特征向量间的对应元素积以完成特征交叉，并将前层的输出作为后层的输入，因此交叉特征的阶数会随着特征交互层的加深而提高；最后通过残差连接融合各层捕获的交叉特征，其既能获取多阶特征组合信息，还能保持信息在神经网络前向传播的完整性，为后续神经网络进一步学习高阶特征奠定了良好基础。
进一步的，以下述情况为例子进行说明：
假设有m个用户U＝{u1，u2，...，um}和n个项目I＝{i1，i2，...，in}，用于将用户对物品的反馈信息转换为数值为0或1的隐式反馈矩阵其中数值为1代表用户与物品产生过交互，数值为0则代表用户与物品为产生过交互，|U|表示用户数，|I|表示物品数。物品i的历史交互用户集合Hi。
首先通过数据采集和数据清洗获取满足系统需要的标准化数据信息，整个所提的推荐系统的具体实施步骤如下所示：
S1：获取所有数据信息：用户id、物品id、评分信息、物品的历史交互用户集合H；
S2：根据评分信息生成隐式反馈矩阵R；将用户id转换为onehot向量xu；将项目id转换为onehot向量xi；将用户集合H中的用户分别转换为各自的onehot向量；
S3：随机初始化符合高斯分布的用户和物品的映射矩阵Wu、Wi；将onehot向量转换为低维稠密的特征向量e，方式如下所示：
eu＝Wuxu
S4：利用基于多层感知机的注意力机制计算目标用户与物品的历史交互用户的相关性系数，方式如下所示：
sk＝hTσ(Wpoolf(eu，ek，eu⊙ek)+b)
其中,σ分别为权重矩阵、偏置向量、回归系数以及激活函数,eu为目标用户u的特征向量,t代表隐藏层的神经元个数,激活函数σ选择ReLU来增强非线性表达能力,f(x)为向量拼接操作函数,⊙代表向量对应元素积；通过softmax函数将相关性系数进行归一化得到注意力分布ak，方式如下所示：
根据注意力分布ak，通过加权求和获取物品的受众特征向量，方式如下所示：
S5：在低阶特征提取模块中通过线性回归和向量内积学习数据中的低阶特征信息，其表达式如下：
S6：将目标用户的特征向量eu、物品的特征向量ei以及物品的受众特征向量并对所有输入向量进行堆叠,形成一个特定矩阵E；通过计算矩阵中任意两特征向量之间的对应元素积来进行显式的特征交叉,并将前一层的输出矩阵作为后一层的输入；利用残差连接将各层的输出矩阵融合成特征组合信息向量p：
S7：在全连接神经网络模块中，在特征组合信息向量p的基础上通过多层非线性神经网络进一步学习数据中的高阶特征，其表达式如下：
Z1＝σ1(W1p+b1)
Z2＝σ2(W2Z1+b2)
ZH＝σH(WH-1ZH-1+bH-1)
其中,H代表全连接神经网络的层数,p为特征交互层的输出,WH，bH，σH分别代表第H层的权重矩阵、偏置向量、激活函数。
S7：融合低阶和高阶特征信息输出预测值，其表达式如下：
其中,ZL为低阶特征提取模块的输出,ZH为高阶特征提取模块的输出,激活函数σ为sigmoid函数，其表达式如下：
S8：训练参数并完成推荐。基于交叉熵误差来构建损失函数,并采用L2正则化防止过拟合，其表达式如下：
其中,Θ＝{Wembed，Wpool，WH，WL},其分别为嵌入层、聚合层、高阶特征提取模块、低阶特征提取模块的权重参数；Y，Y-分别代表训练的正负样本集合；yui为真实值,为预测值,λ为正则项系数；采用Adam优化器更新参数；利用优化后的参数输出用户对物品的偏好预测值，并按照评分预测值大小形成推荐物品列表。
图4-7分别度量了模型在四个方面的指标表现，分别为推荐精确率(Precision)、召回率(Recall)、F1值以及归一化折损累计增益(NDCG)，其定义式如下:
其中,Sr(ui)为推荐给用户i的物品集,Sa(ui)为用户i实际交互过的物品集。Precision用于测试推荐给用户的物品集中用户真实交互过的数量与推荐的物品集数量的比例。
Recall用于测试推荐给用户的物品集中用户真实交互过的数量与用户实际所有交互过的物品集数量的比例。F1值综合考虑了精确率和召回率:
NDCG用来衡量推荐排序质量。其中,表示向用户i推荐K个物品的折损累计增益,rel表示位置k的推荐结果的相关性,若物品在用户的真实购买物品集中,则relk的值为1,否则为0。/>是在按relk降序排列的推荐列表上计算得到的理想/>。K表示推荐列表长度的大小。
应当指出的是，以上实施说明并非是对本发明的限制，本发明也不局限于上述举例，本技术领域的普通技术人员在本发明的示值范围内所做出的变化、改动、添加修改或替换，其均应涵盖在本发明的权利要求范围之中。
Claims (5)
1.一种融合物品受众特征的深度学习推荐方法及系统，其特征在于，包括数据采集及处理模块、模型训练模块、模型预测模块以及推荐模块，其设置于服务器中，而服务器与多个数据库相连，所述数据库连接多个智能终端；
所述智能终端用于采集用户的行为数据，并交由数据库进行储存；
所述数据库用于存储用户的历史行为信息，并交由服务器进行处理；
所述数据采集及处理模块，用于对数据库的数据信息进行加工处理，以获得满足系统需要的标准化数据；
所述模型训练模块，用于对标准化数据进行建模并训练直到模型收敛；
所述模型预测模块，用于利用完成训练的模型对用户的个性化偏好进行预测；
所述推荐模块，用于根据预测评分值大小进行排序并形成推荐物品列表，以提高用户满意度。
2.根据权利要求1所述的一种融合物品受众特征的深度学习推荐方法及系统，其特征在于，所述数据采集及处理模块，用于将用户对物品的反馈信息转换为数值为0或1的隐式反馈矩阵其中数值为1代表用户与物品产生过交互，数值为0则代表用户与物品为产生过交互，|U|表示用户数，|I|表示物品数。采集物品的历史交互用户集合，并将物品和用户信息转换为低维稠密的特征向量e，其主要处理步骤如下：
S1：获取所有数据信息：用户id、物品id、评分信息、物品的历史交互用户集合H；
S2：根据评分信息生成隐式反馈矩阵R；
S3：将用户id转换为onehot向量xu；
S4：将项目id转换为onehot向量xi；
S5：将用户集合H中的用户分别转换为各自的onehot向量；
S6：随机初始化符合高斯分布的用户和物品的映射矩阵Wu、Wi
S7：将onehot向量转换为低维稠密的特征向量e，方式如下所示：
eu＝Wuxu。
3.根据权利要求1所述的一种融合物品受众特征的深度学习推荐方法及系统，其特征在于，所述模型训练模块由物品受众特征聚合模块、低阶特征提取模块、特征交互模块、全连接神经网络模块、模型参数更新模块，所述物品受众特征聚合模块包括如下几个步骤：
S1：利用基于多层感知机的注意力机制计算目标用户与物品的历史交互用户的相关性系数，方式如下所示：
sk＝hTσ(Wpoolf(eu，ek，eu⊙ek)+b)
其中，其中,σ分别为权重矩阵、偏置向量、回归系数以及激活函数,eu为目标用户u的特征向量,t代表隐藏层的神经元个数,激活函数σ选择ReLU来增强非线性表达能力,f(x)为向量拼接操作函数,⊙代表向量对应元素积；
S2：通过softmax函数将相关性系数进行归一化得到注意力分布ak，方式如下所示：
S3：根据注意力分布ak，通过加权求和获取物品的受众特征向量，方式如下所示：
其中为物品i的历史交互用户集合，K为与物品i有交互的用户数量，/>为用户k的特征向量。
所述低阶特征提取模块，用于通过线性回归和向量内积学习数据中的低阶特征信息，其表达式如下：
其中,x为将目标用户和物品的one-hot向量拼接后的向量,eu，ei分别为目标用户和物品的特征向量,为物品受众的特征向量,/>为回归系数,·表示向量内积运算。
所述特征交互模块，用于进行显式地特征交叉来获取高阶特征信息并通过残差连接以保持信息在神经网络前向传播过程中的完整性，具体包含以下几个步骤：
S1：将目标用户的特征向量eu、物品的特征向量ei以及物品的受众特征向量并对所有输入向量进行堆叠,形成一个特定矩阵E；
S2：通过计算矩阵中任意两特征向量之间的对应元素积来进行显式的特征交叉,并将前一层的输出矩阵作为后一层的输入；
S3：利用残差连接将各层的输出矩阵融合成特征组合信息向量p：
其中，n特征交互层的层数,为第i层的输出矩阵，/>表示矩阵的第j行。
所述全连接神经网络模块，用于在特征组合信息向量p的基础上通过多层非线性神经网络进一步学习数据中的高阶特征，其表达式如下：
Z1＝σ1(W1p+b1)
Z2＝σ2(W2Z1+b2)
…
ZH＝σH(WH-1ZH-1+BH-1)
其中,H代表全连接神经网络的层数,p为特征交互层的输出,WH，bH，σH分别代表第H层的权重矩阵、偏置向量、激活函数。最后，结合低阶和高阶特征信息输出预测值。
所述模型参数更新模块，用于根据损失值更新模型参数直至收敛，具体包含以下几个步骤：
S1：构建损失函数，其表达式如下：
其中,Θ＝{Wembed，Wpool，WH，WL},其分别为模型嵌入层、物品受众特征聚合模块、高阶特征提取模块、低阶特征提取模块的权重参数，将特征交互模块与全连接神经网络模块合称为高阶特征提取模块；Y，Y-分别代表模型训练的正负样本集合；yui为真实值,为预测值,λ为正则项系数；
S2：根据预测值和真实值yui计算损失值；
S3：采用Adam优化器更新模型参数；
S4：循环遍历正负样本集合，直到损失函数值不再减小。
4.根据权利要求1所述的一种融合物品受众特征的深度学习推荐方法及系统，其特征在于，所述模型预测模块，用于利用完成训练融的模型获取低阶和高阶特征信息，将其融合并输出预测值，其表达式如下：
其中,ZL为低阶特征提取模块的输出,ZH为高阶特征提取模块的输出,激活函数σ为sigmoid函数，其表达式如下：
5.根据权利要求1所述的一种融合物品受众特征的深度学习推荐方法及系统，其特征在于，所述推荐模块，用于根据各个用户对不同物品的预测评分值大小进行排序推荐，并形成物品推荐列表，进而提高推荐质量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310416927.2A CN116452293A (zh) | 2023-04-18 | 2023-04-18 | 一种融合物品受众特征的深度学习推荐方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310416927.2A CN116452293A (zh) | 2023-04-18 | 2023-04-18 | 一种融合物品受众特征的深度学习推荐方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116452293A true CN116452293A (zh) | 2023-07-18 |
Family
ID=87133372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310416927.2A Pending CN116452293A (zh) | 2023-04-18 | 2023-04-18 | 一种融合物品受众特征的深度学习推荐方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116452293A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116977035A (zh) * | 2023-09-25 | 2023-10-31 | 临沂大学 | 一种基于LightGBM和深度学习的农产品推荐方法 |
-
2023
- 2023-04-18 CN CN202310416927.2A patent/CN116452293A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116977035A (zh) * | 2023-09-25 | 2023-10-31 | 临沂大学 | 一种基于LightGBM和深度学习的农产品推荐方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112598462B (zh) | 基于协同过滤和深度学习的个性化推荐方法及系统 | |
| CN109299396B (zh) | 融合注意力模型的卷积神经网络协同过滤推荐方法及系统 | |
| CN110956497B (zh) | 一种电子商务平台用户重复购买行为预测方法 | |
| CN111222332B (zh) | 一种结合注意力网络和用户情感的商品推荐方法 | |
| CN111310063B (zh) | 基于神经网络的记忆感知门控因子分解机物品推荐方法 | |
| CN112184391B (zh) | 一种推荐模型的训练方法、介质、电子设备和推荐模型 | |
| CN110910218B (zh) | 一种基于深度学习的多行为迁移推荐方法 | |
| CN110263257B (zh) | 基于深度学习处理多源异构数据的推荐方法 | |
| CN110955826B (zh) | 基于改进型循环神经网络单元的推荐系统 | |
| CN112950324B (zh) | 一种知识图谱辅助的成对排序个性化电商推荐方法及系统 | |
| CN112328900A (zh) | 一种融合评分矩阵和评论文本的深度学习推荐方法 | |
| CN113761359B (zh) | 数据包推荐方法、装置、电子设备和存储介质 | |
| CN113190751B (zh) | 一种融合关键词生成的推荐方法 | |
| CN112256916B (zh) | 一种基于图胶囊网络的短视频点击率预测方法 | |
| CN112765461A (zh) | 一种基于多兴趣胶囊网络的会话推荐方法 | |
| CN111949885A (zh) | 一种面向旅游景点的个性化推荐方法 | |
| CN112699310A (zh) | 基于深度神经网络的冷启动跨域混合推荐的方法及系统 | |
| CN114386513A (zh) | 一种集成评论与评分的交互式评分预测方法及系统 | |
| CN113326384A (zh) | 一种基于知识图谱的可解释推荐模型的构建方法 | |
| CN115982467A (zh) | 一种去偏化用户多兴趣推荐方法、装置及存储介质 | |
| CN116452293A (zh) | 一种融合物品受众特征的深度学习推荐方法及系统 | |
| CN117216281A (zh) | 一种基于知识图谱的用户兴趣扩散推荐方法及系统 | |
| CN116228368A (zh) | 一种基于深度多行为网络的广告点击率预测方法 | |
| CN115525819A (zh) | 一种面向信息茧房的跨领域推荐方法 | |
| CN110362774B (zh) | 点击率预估模型的建立方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |