CN112541130B - 一种基于深度交叉特征融合的推荐方法及装置 - Google Patents

一种基于深度交叉特征融合的推荐方法及装置 Download PDF

Info

Publication number
CN112541130B
CN112541130B CN202011416256.2A CN202011416256A CN112541130B CN 112541130 B CN112541130 B CN 112541130B CN 202011416256 A CN202011416256 A CN 202011416256A CN 112541130 B CN112541130 B CN 112541130B
Authority
CN
China
Prior art keywords
user
project
vector
feature
vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011416256.2A
Other languages
English (en)
Other versions
CN112541130A (zh
Inventor
于瑞云
张碧耘
叶德志
汪志鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN202011416256.2A priority Critical patent/CN112541130B/zh
Publication of CN112541130A publication Critical patent/CN112541130A/zh
Application granted granted Critical
Publication of CN112541130B publication Critical patent/CN112541130B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种基于深度交叉特征融合的推荐方法及装置，属于推荐系统协同过滤领域。输入初始数据后，对初始数据进行转换、稠密化、扩展和拼接处理后得到用户特征向量栈和项目特征向量栈；通过计算用户特征向量栈中用户的每个特征与项目特征向量栈中项目的每个特征之间的影响关系，将用户特征与项目特征做细粒度的融合，得到最终的用户嵌入向量和项目嵌入向量，再对这两个向量做内积，得到目标用户对该项目产生交互的预测分数，根据预测分数值为目标用户做出个性化推荐。通过将用户特征与项目特征融合，深度挖掘用户特征与项目特征之间的潜在关系，更加细粒度地考虑了用户和项目之间双向的影响关系，最终为目标用户提供个性化推荐。

Description

一种基于深度交叉特征融合的推荐方法及装置
技术领域
本发明属于推荐系统协同过滤领域，涉及一种基于深度交叉特征融合的推荐方法及装置。
背景技术
近年来，推荐系统通过生成高质量的个性推荐结果，已经成为电子商务和社交媒体服务的核心组成部分，改善了用户整体的使用体验。目前，大多数电商平台的推荐系统都是根据用户的购买、浏览、加入购物车等用户的历史行为数据为目标用户生成相应的商品推荐。其中，一种经典的推荐算法就是“协同过滤”。基于协同过滤的推荐主要是通过比较用户之间的共同交互行为来定义相似性，然后根据相似性来为目标用户生成个性化推荐。
但是，基于协同过滤的推荐方法存在着一定的缺陷。第一个缺陷就是冷启动的问题，若目标用户为新用户，他的历史交互数据是空的，那么传统的基于协同过滤的推荐方法很难为该新用户提供个性化服务。它的另一个缺陷就是在推荐过程中只利用了用户和物品的交互行为信息进行推荐，它无法利用用户特征、物品特征等多种不同的特征生成更全面的推荐结果。
发明内容
本发明为了解决上述问题，提供了一种基于深度交叉特征融合的推荐方法及装置，旨在一定程度上克服现有基于协同过滤推荐方法的不足，提升推荐质量。
为解决上述技术问题，本发明的基于深度交叉特征融合的推荐方法，包括以下步骤：
步骤1：获取初始数据；
所述初始数据，包括用户信息集合、项目信息集合以及用户和项目的交互矩阵；
步骤2：使用one-hot编码将用户信息集合中所有用户的ID和项目信息集合中所有项目的ID均转换为one-hot向量；
步骤3：将所有one-hot向量转换成嵌入向量，得到用户的初始嵌入向量和项目的初始嵌入向量；
步骤4：扩展用户特征向量和项目特征向量，将用户的初始嵌入向量输入到m个MLP中得到用户的m个特征向量，以及将项目的初始嵌入向量输入到m个MLP中得到项目的m个特征向量；
步骤5：对用户的m个特征向量做拼接操作得到用户特征向量栈，以及对项目的m个特征向量做拼接操作得到项目特征向量栈；
步骤6：通过计算用户特征向量栈的每个用户特征向量与项目特征向量栈中的每个项目特征向量之间的影响关系，将用户特征向量与项目特征向量做细粒度的融合，得到最终的用户嵌入向量和项目嵌入向量；
步骤7：将用户的最终嵌入向量和项目的最终嵌入向量做内积，得到目标用户可能对项目产生交互的预测分数；
步骤8：根据最终得到的目标用户可能对项目产生交互的预测分数值，为目标用户进行推荐。
进一步地，根据前述的基于深度交叉特征融合的推荐方法，在所述步骤3中，使用Embedding嵌入操作将所有one-hot向量转换成嵌入向量，得到用户的初始嵌入向量和项目的初始嵌入向量，公式如下：
eu＝PTvu (1)
ei＝QTvi (2)
其中，vu和vi分别为经过one-hot编码得到的用户的one-hot向量和项目的one-hot向量；P为用户的特征嵌入矩阵；Q为项目的特征嵌入矩阵；T表示转置运算；eu和ei分别为用户和项目的初始嵌入向量，u代表用户信息集合中的任一用户，i代表项目信息集合中的任一项目。
进一步地，根据前述的基于深度交叉特征融合的推荐方法，所述步骤7中所述的预测分数值在0到1的区间内。
进一步地，根据前述的基于深度交叉特征融合的推荐方法，所述m的取值设为4。
进一步地，根据前述的基于深度交叉特征融合的推荐方法，所述的步骤6包括如下步骤：
步骤6.1：使用局部self-attention自注意力机制计算出用户的m个特征向量与项目的m个特征向量间一一对应的注意力权重，得到m*m个注意力权重；
步骤6.2：分别用用户的每个特征向量对应项目的每个特征向量做哈达玛积计算，得到特征矩阵；
步骤6.3：将步骤6.2得到的特征矩阵与步骤6.1得到的注意力权重对应元素相乘，得到多偏好矩阵S；
步骤6.4：利用步骤6.3得到的多偏好矩阵S和点积加权运算对步骤5得到的原始的用户特征向量栈和项目特征向量栈进行处理，即对原始的用户特征向量栈由归一化多偏好矩阵加权，得到新的用户特征向量栈，以及对原始的项目特征向量栈由转置的归一化多偏好矩阵加权，得到新的项目特征向量栈；
步骤6.5：将新的项目特征向量栈与原始的用户特征向量栈做拼接操作后输入到全连接神经网络中得到最终的用户嵌入向量，以及将新的用户特征向量栈与原始的项目特征向量栈做拼接操作后输入到全连接神经网络中得到最终的项目嵌入向量。
进一步地，根据任一项所述的基于深度交叉特征融合的推荐方法，在所述步骤8中，将预测分数值填充到用户-项目评分矩阵中，为目标用户生成个性化推荐列表并进行个性化推荐。
根据前述的基于深度交叉特征融合的推荐方法的基于深度交叉特征融合的推荐装置，包括：
数据采集模块：用于采集初始数据，所述初始数据包括用户信息集合、项目信息集合以及用户和项目的交互矩阵Y，数据采集模块将其采集到的初始数据传送给数据处理模块；
数据处理模块：用于1)首先使用one-hot编码，将用户信息集合中所有用户的ID和项目信息集合中所有项目的ID均转换为one-hot向量；2)使用嵌入层将one-hot向量转换成嵌入向量，从而得到用户和项目的初始嵌入向量并传送给特征扩展模块；
特征扩展模块：由多个MLP组成，用于扩展用户特征和项目特征，具体地，将用户的初始嵌入向量输入到m个MLP中得到用户的m个特征向量，同时将项目的初始嵌入向量也输入到m个MLP中，得到项目的m个特征向量，并将扩展出用户的m个特征向量和项目的m个特征向量发送给拼接处理模块；
拼接处理模块：用于对其接收的用户的m个特征向量做拼接操作得到用户特征向量栈，以及对其接收的项目的m个特征向量做拼接操作得到项目特征向量栈，并将用户特征向量栈和项目特征向量栈均传送给深度交叉特征融合模块；
深度交叉特征融合模块：用于计算用户的每个特征与项目的每个特征之间的影响关系，将用户特征与项目特征做细粒度的融合，得到最终的用户嵌入向量和项目嵌入向量，并将这两个向量传送给交互预测模块；
交互预测模块：用于对最终的用户嵌入向量和项目嵌入向量做内积，得到目标用户对相应项目产生交互的预测分数，并将分数值传送给推荐生成模块；
推荐生成模块：用于根据预测分数值，为目标用户生成个性化推荐列表并进行个性化推荐。
本发明的有益效果：本发明的基于深度交叉特征融合的推荐方法及装置应用在互联网领域，更适用于用户特征对在推荐中占有重要地位的场景，如电商平台，主要是为了解决传统协同过滤算法冷启动的问题，以及无法利用用户特征和项目特征之间深层次关系进行推荐的问题。通过将用户特征与项目特征融合，深度挖掘用户特征与项目特征之间的潜在关系，更加细粒度地考虑了用户和项目之间双向的影响关系，能够在推荐过程中很好地考虑到用户和物品之间个性化的关系特征，最终为目标用户提供个性化推荐。
附图说明
图1是本发明基于深度交叉特征融合的推荐装置结构框图示意图；
图2是本发明基于深度交叉特征融合的推荐方法的流程图；
图3是本发明基于深度交叉特征融合的推荐方法的整体逻辑示意图；
图4是本发明基于深度交叉特征融合的推荐方法中步骤6的流程图；
图5是本发明基于深度交叉特征融合的推荐方法中步骤6的逻辑图。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的较佳实施方式。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本申请的公开内容理解的更加透彻全面。
本发明的基于深度交叉特征融合的推荐装置，如图1所示，包括数据采集模块、数据处理模块、特征扩展模块、拼接处理模块、深度交叉特征融合模块、交互预测模块和推荐生成模块，其中：
所述数据采集模块，用于采集初始数据，即将初始数据输入到数据采集模块中，所述初始数据包括用户信息集合、项目信息集合以及用户和项目的交互矩阵Y，数据采集模块将其采集到的初始数据传送给数据处理模块。
所述数据处理模块，用于1)首先使用one-hot编码，将用户信息集合中所有用户的ID(Identity Document，身份标识号)和项目信息集合中所有项目的ID均转换为one-hot向量；2)使用嵌入层将原本稀疏的one-hot向量转换成低维稠密的嵌入向量，从而得到用户和项目的初始嵌入向量并传送给特征扩展模块。
所述特征扩展模块，由多个MLP组成，用于扩展用户特征和项目特征，具体地，将用户的初始嵌入向量输入到m个MLP中得到用户的m个特征向量，同时将项目的初始嵌入向量也输入到m个MLP中，得到项目的m个特征向量，并将扩展出用户的m个特征向量和项目的m个特征向量发送给拼接处理模块。
所述拼接处理模块，用于对其接收的用户的m个特征向量做拼接操作得到用户特征向量栈，以及对其接收的项目的m个特征向量做拼接操作得到项目特征向量栈，并将用户特征向量栈和项目特征向量栈均传送给深度交叉特征融合模块。
所述深度交叉特征融合模块，用于计算用户的每个特征与项目的每个特征之间的影响关系，将用户特征与项目特征做细粒度的融合，得到最终的用户嵌入向量和项目嵌入向量，并将这两个向量传送给交互预测模块。
所述交互预测模块，用于对最终的用户嵌入向量和项目嵌入向量做内积，得到目标用户对相应项目产生交互的预测分数，并将分数值传送给推荐生成模块。
所述推荐生成模块，用于根据预测分数值，为目标用户生成个性化推荐列表并进行个性化推荐。
采用上述基于深度交叉特征融合的推荐装置的基于深度交叉特征融合的推荐方法，如图2所示，包括以下步骤：
步骤1：获取初始数据，将初始数据输入到数据采集模块中；
所述初始数据，包括用户信息集合、项目信息集合以及用户和项目的交互矩阵。
步骤2：将初始数据输入到数据处理模块中，在数据处理模块中使用one-hot编码，将用户信息集合中所有用户的ID(Identity Document，身份标识号)和项目信息集合中所有项目的ID均转换为one-hot向量。
步骤3：由于步骤2中使用one-hot编码得到的向量比较稀疏，因此在数据处理模块中继续使用Embedding嵌入操作将原本稀疏的one-hot向量转换成低维稠密的嵌入向量，得到用户和项目的初始嵌入向量，这个过程中采用的计算公式如下：
eu＝PTvu (1)
ei＝QTvi (2)
其中，vu和vi分别为经过one-hot编码得到的用户的one-hot向量和项目的one-hot向量；P为用户的特征嵌入矩阵；Q为项目的特征嵌入矩阵；T表示转置运算；eu和ei分别为用户和项目的初始嵌入向量，u代表用户信息集合中的任一用户，i代表项目信息集合中的任一项目。
步骤4：如图3所示，扩展用户特征向量和项目特征向量，将用户的初始嵌入向量和项目的初始嵌入向量均分别输入到m个MLP中，分别得到用户的m个特征向量和项目的m个特征向量，这方便对用户特征与项目特征之间的关系进行建模，公式如下：
Fum＝Selu(Wm*eu+bm) (3)
Fim＝Selu(Wm*ei+bm) (4)
其中，Fum和Fim分别为用户和项目的第m个特征向量，m是一个超参数，在本实施方式中将m的取值设为4，具体含义为特征的数量，根据实验结果，m取4可以取得最好的效果。到Selu(·)为可缩放指数型线性单元，Wm和bm为训练用户和项目的特征向量时学习到的参数。
步骤5：将用户的m个特征向量和项目的m个特征向量输入到拼接处理模块中，在拼接处理模块中，对用户的m个特征向量做拼接操作得到用户特征向量栈，以及对项目的m个特征向量做拼接操作得到项目特征向量栈，如图3所示，采用的公式如下：
Fu＝Concat[Fu1，Fu2，…，Fum] (5)
Fi＝Concat[Fi1，Fi2，…，Fim] (6)
其中，Fu和Fi分别为用户特征向量栈和项目特征向量栈，Concat[·]表示向量拼接操作，Fu1表示用户u的第1个特征向量，Fu2表示用户u的第2个特征向量，……，Fum表示用户u的第m个特征向量，Fi1表示项目i的第1个特征向量，Fi2表示项目i的第2个特征向量，……，Fim表示项目i的第m个特征向量。
步骤6：将用户特征向量栈和项目特征向量栈输入到深度交叉特征融合模块中，通过计算用户的每个特征与项目的每个特征之间的影响关系，将用户特征与项目特征做细粒度的融合，如图3所示，得到最终的用户嵌入向量和项目嵌入向量。如图4和图5所示，步骤6进一步包括如下步骤：
步骤6.1：使用局部self-attention自注意力机制计算出用户的m个特征向量与项目的m个特征向量间一一对应的注意力权重，得到m*m个注意力权重。公式如下：
Figure BDA0002820176250000061
其中，Softmax(·)为归一化指数函数，fut表示用户u的第t个特征向量，fih表示项目i的第h个特征向量，
Figure BDA0002820176250000062
表示点乘操作，d为特征向量的维度，
Figure BDA0002820176250000063
是一个尺度标量，ath表示用户的第t个特征向量与项目的第h个特征向量之间的注意力权重。
步骤6.2：分别用用户的每个特征向量对应项目的每个特征向量做哈达玛积计算，得到特征矩阵。
步骤6.3：将步骤6.2得到的特征矩阵与步骤6.1得到的注意力权重对应元素相乘，得到多偏好矩阵S，公式如下：
Sth＝Selu(Wth(ath⊙(fut⊙fih))+bth) (8)
其中，⊙表示哈达玛积运算，Sth为多偏好矩阵S其中的一个值，表示用户特征t与项目特征h之间的影响关系。Wth和bth为训练多偏好矩阵S时学习到的参数。
步骤6.4：利用步骤6.3得到的多偏好矩阵S和点积加权运算对步骤5得到的原始的用户特征向量栈和项目特征向量栈进行处理，得到新的户特征向量栈和新的项目特征向量栈。具体地说，用户特征向量栈Fu由归一化多偏好矩阵S′加权，得到新的用户特征向量栈Fu *。项目特征向量栈Fi由转置的归一化多偏好矩阵S′加权，得到新的项目特征向量栈Fi *，公式如下：
S′＝Softmax(S) (9)
Fu *＝Fu⊙S′ (10)
Fi *＝Fi⊙S′T (11)
新的用户特征向量栈和新的项目特征向量栈由于结合了自注意力机制，能够很好的分配特征与特征之间的权重关系，权重更大的特征，对用户和项目的影响程度也就越大。
步骤6.5：将新的项目特征向量栈Fi *与原始的用户特征向量栈Fu做拼接操作后输入到全连接神经网络中得到最终的用户嵌入向量vu，以及将新的用户特征向量栈Fu *与原始的项目特征向量栈Fi做拼接操作后输入到全连接神经网络中得到最终的项目嵌入向量vi，所采用的公式如下：
Fu′＝Concat[Fu，Fi *] (12)
vu＝Selu(Wn*Fu′+bn) (13)
其中，Fu′为经过拼接之后的用户向量，Wn、bn为训练最终的用户向量时学习到的参数。
Fi′＝Concat[Fi，Fu *] (14)
vi＝Selu(Wi*Fi′+bi) (15)
其中，Fi′为经过拼接之后的项目向量，Wi、bi为训练最终的项目向量时学习到的参数；
步骤7：将最终的用户嵌入向量和项目嵌入向量输入到交互预测模块中，对最终的用户嵌入向量和项目嵌入向量做内积，得到目标用户对该项目产生交互的预测分数
Figure BDA0002820176250000071
该分数在0到1区间，值越大表明目标用户与该项目产生交互的可能性也就越大，公式如下：
Figure BDA0002820176250000072
其中，sigmoid(·)是S型生长曲线。
步骤8：将预测分数值输入到推荐生成模块中，在推荐生成模块中，将最终得到的目标用户可能对项目产生交互的预测分数值填充到用户-项目评分矩阵中，为目标用户生成个性化推荐列表并进行个性化推荐。
例如，表1表示商品推荐系统中的部分用户和商品交互表，是上述用户和项目的交互矩阵中的部分数据，商品就是前述的项目。在表1中，每一行用不同的ID表示不同的用户，每一列用不同的ID表示不同的商品。表1的表格阵列中填充的1表示对应的用户和商品有过交互，例如购买、点击、加入购物车等行为，0表示对应的用户和商品没有交互过。
表1商品推荐系统中部分用户和商品的交互表
Figure BDA0002820176250000073
表2表示的是采用本实施方式的基于深度交叉特征融合的推荐方法对不同的用户对不同商品产生交互的预测结果，即用户-项目评分矩阵。其中，表2中的前四个用户ID与表1中的用户ID一致，后四行为与表2中商品没有交互过的新用户。表2的表格阵列中填充值为通过本方法得到的用户和商品之间的预测分数，取值范围为0～1，值越大表明用户对对应的商品交互的可能性越高。
表2不同用户对不同商品产生交互的预测结果
Figure BDA0002820176250000081
结合表1表2可以看出，本方法能够较好的拟合实际情况。并为新用户推荐预测分数较高的商品。例如，本方法更倾向于为新用户(1416)推荐商品(7866)、商品(3458)、商品(2567)；为新用户(471)推荐商品(14243)、商品(10252)、商品(7866)；为新用户(746)推荐商品(2567)；为新用户(865)推荐商品(2567)、商品(7866)、商品(3458)。
实验表明基于深度交叉特征融合的推荐方法及装置能够较好地利用用户特征与项目特征之间深层次的关系，进而提升推荐性能，对于用户特征在推荐中占有重要地位的场景，如电商平台，具有相当的应用价值。与传统的基于协同过滤的推荐方法相比，本方法能够较好的考虑到用户对项目不同特征的偏好情况，也在一定程度上解决了冷启动的问题，可以为用户提供更加全面的、个性化的推荐。
应当理解的是，本领域技术人员在本发明技术构思的启发下，在不脱离本发明内容的基础上，可以根据上述说明做出各种改进或变换，这仍落在本发明的保护范围之内。

Claims (6)

1.一种基于深度交叉特征融合的推荐方法，其特征在于，包括以下步骤：
步骤1：获取初始数据；
所述初始数据，包括用户信息集合、项目信息集合以及用户和项目的交互矩阵；
步骤2：使用one-hot编码将用户信息集合中所有用户的ID和项目信息集合中所有项目的ID均转换为one-hot向量；
步骤3：将所有one-hot向量转换成嵌入向量，得到用户的初始嵌入向量和项目的初始嵌入向量；
步骤4：将用户的初始嵌入向量输入到m个MLP中得到用户的m个特征向量，以及将项目的初始嵌入向量输入到m个MLP中得到项目的m个特征向量；
步骤5：对用户的m个特征向量做拼接操作得到用户特征向量栈，以及对项目的m个特征向量做拼接操作得到项目特征向量栈；
步骤6：通过计算用户特征向量栈的每个用户特征向量与项目特征向量栈中的每个项目特征向量之间的影响关系，将用户特征向量与项目特征向量做细粒度的融合，得到最终的用户嵌入向量和项目嵌入向量；
步骤7：将用户的最终嵌入向量和项目的最终嵌入向量做内积，得到目标用户可能对项目产生交互的预测分数；
步骤8：根据最终得到的目标用户可能对项目产生交互的预测分数值，为目标用户进行推荐；
所述的步骤6包括如下步骤：
步骤6.1：使用局部self-attention自注意力机制计算出用户的m个特征向量与项目的m个特征向量间一一对应的注意力权重，得到m*m个注意力权重；
步骤6.2：分别用用户的每个特征向量对应项目的每个特征向量做哈达玛积计算，得到特征矩阵；
步骤6.3：将步骤6.2得到的特征矩阵与步骤6.1得到的注意力权重对应元素相乘，得到多偏好矩阵S；
步骤6.4：利用步骤6.3得到的多偏好矩阵S和点积加权运算对步骤5得到的原始的用户特征向量栈和项目特征向量栈进行处理，即对原始的用户特征向量栈由归一化多偏好矩阵加权，得到新的用户特征向量栈，以及对原始的项目特征向量栈由转置的归一化多偏好矩阵加权，得到新的项目特征向量栈；
步骤6.5：将新的项目特征向量栈与原始的用户特征向量栈做拼接操作后输入到全连接神经网络中得到最终的用户嵌入向量，以及将新的用户特征向量栈与原始的项目特征向量栈做拼接操作后输入到全连接神经网络中得到最终的项目嵌入向量。
2.根据权利要求1所述的基于深度交叉特征融合的推荐方法，其特征在于，在所述步骤3中，使用Embedding嵌入操作将所有one-hot向量转换成嵌入向量，得到用户的初始嵌入向量和项目的初始嵌入向量，公式如下：
eu＝PTvu (1)
ei＝QTvi (2)
其中，vu和vi分别为经过one-hot编码得到的用户的one-hot向量和项目的one-hot向量；P为用户的特征嵌入矩阵；Q为项目的特征嵌入矩阵；T表示转置运算；eu和ei分别为用户和项目的初始嵌入向量，u代表用户信息集合中的任一用户，i代表项目信息集合中的任一项目。
3.根据权利要求1所述的基于深度交叉特征融合的推荐方法，其特征在于，所述步骤7中所述的预测分数值在0到1的区间内。
4.根据权利要求1所述的基于深度交叉特征融合的推荐方法，其特征在于，所述m的取值设为4。
5.根据前述任一项权利要求所述的基于深度交叉特征融合的推荐方法，其特征在于，在所述步骤8中，将预测分数值填充到用户-项目评分矩阵中，为目标用户生成个性化推荐列表并进行个性化推荐。
6.根据权利要求1所述的基于深度交叉特征融合的推荐方法的基于深度交叉特征融合的推荐装置，其特征在于，包括：
数据采集模块：用于采集初始数据，所述初始数据包括用户信息集合、项目信息集合以及用户和项目的交互矩阵Y，数据采集模块将其采集到的初始数据传送给数据处理模块；
数据处理模块：用于1)首先使用one-hot编码，将用户信息集合中所有用户的ID和项目信息集合中所有项目的ID均转换为one-hot向量；2)使用嵌入层将one-hot向量转换成嵌入向量，从而得到用户和项目的初始嵌入向量并传送给特征扩展模块；
特征扩展模块：由多个MLP组成，用于扩展用户特征和项目特征，具体地，将用户的初始嵌入向量输入到m个MLP中得到用户的m个特征向量，同时将项目的初始嵌入向量也输入到m个MLP中，得到项目的m个特征向量，并将扩展出用户的m个特征向量和项目的m个特征向量发送给拼接处理模块；
拼接处理模块：用于对其接收的用户的m个特征向量做拼接操作得到用户特征向量栈，以及对其接收的项目的m个特征向量做拼接操作得到项目特征向量栈，并将用户特征向量栈和项目特征向量栈均传送给深度交叉特征融合模块；
深度交叉特征融合模块：用于计算用户的每个特征与项目的每个特征之间的影响关系，将用户特征与项目特征做细粒度的融合，得到最终的用户嵌入向量和项目嵌入向量，并将这两个向量传送给交互预测模块；
交互预测模块：用于对最终的用户嵌入向量和项目嵌入向量做内积，得到目标用户对相应项目产生交互的预测分数，并将分数值传送给推荐生成模块；
推荐生成模块：用于根据预测分数值，为目标用户生成个性化推荐列表并进行个性化推荐。
CN202011416256.2A 2020-12-07 2020-12-07 一种基于深度交叉特征融合的推荐方法及装置 Active CN112541130B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011416256.2A CN112541130B (zh) 2020-12-07 2020-12-07 一种基于深度交叉特征融合的推荐方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011416256.2A CN112541130B (zh) 2020-12-07 2020-12-07 一种基于深度交叉特征融合的推荐方法及装置

Publications (2)

Publication Number Publication Date
CN112541130A CN112541130A (zh) 2021-03-23
CN112541130B true CN112541130B (zh) 2021-10-29

Family

ID=75016204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011416256.2A Active CN112541130B (zh) 2020-12-07 2020-12-07 一种基于深度交叉特征融合的推荐方法及装置

Country Status (1)

Country Link
CN (1) CN112541130B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113742594B (zh) * 2021-09-16 2024-02-27 中国银行股份有限公司 推荐系统召回的方法及装置
CN113934929A (zh) * 2021-09-30 2022-01-14 联想(北京)有限公司 推荐方法及装置、电子设备
CN115422446B (zh) * 2022-08-24 2023-09-26 江苏大学 一种基于注意力机制的融合特征推荐方法
CN116738034B (zh) * 2022-10-10 2024-06-28 荣耀终端有限公司 一种信息推送方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520442A (zh) * 2018-04-10 2018-09-11 电子科技大学 一种基于融合结构的展示广告点击率预测方法
CN108537624A (zh) * 2018-03-09 2018-09-14 西北大学 一种基于深度学习的旅游服务推荐方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007024736A2 (en) * 2005-08-19 2007-03-01 Biap Systems, Inc. System and method for recommending items of interest to a user

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537624A (zh) * 2018-03-09 2018-09-14 西北大学 一种基于深度学习的旅游服务推荐方法
CN108520442A (zh) * 2018-04-10 2018-09-11 电子科技大学 一种基于融合结构的展示广告点击率预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于轨迹挖掘模型的旅游景点推荐;张舜尧等;《模式识别与人工智能》;20190531;全文 *

Also Published As

Publication number Publication date
CN112541130A (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
CN112541130B (zh) 一种基于深度交叉特征融合的推荐方法及装置
CN111429234B (zh) 一种基于深度学习的商品序列推荐方法
CN107145518B (zh) 一种社交网络下基于深度学习的个性化推荐系统
CN111127165B (zh) 基于自注意力自编码器的序列推荐方法
US11586915B2 (en) Systems and methods for collaborative filtering with variational autoencoders
CN110083770B (zh) 一种基于特征层面更深的自注意力网络的序列推荐方法
CN111932336A (zh) 一种基于长短期兴趣偏好的商品列表推荐方法
CN112131469A (zh) 一种基于评论文本的深度学习推荐方法
CN110991464A (zh) 一种基于深度多模态数据融合的商品点击率预测方法
CN110781401A (zh) 一种基于协同自回归流实现的Top-n项目推荐方法
CN106157156A (zh) 一种基于用户社区的协作推荐系统
CN103377296A (zh) 一种多指标评价信息的数据挖掘方法
CN112541131B (zh) 一种基于邻居用户的多个兴趣影响的推荐方法
JP2023024932A (ja) マルチモーダルのトランスフォーマベースのアイテム分類システム、データ処理システム、データ処理方法、及びコンピュータ実行方法
CN108959655A (zh) 一种面向动态环境的自适应在线推荐方法
CN113298546A (zh) 销量预测方法及装置、商品处理方法及装置
Han et al. Multimodal-adaptive hierarchical network for multimedia sequential recommendation
Zeng et al. Collaborative filtering via heterogeneous neural networks
CN117635769A (zh) 基于关联感知跨模态注意网络的社交网中服饰推荐方法
CN108268900B (zh) 一种提升推荐系统多样性的方法
CN114139066A (zh) 一种基于图神经网络的协同过滤推荐系统
CN115309997B (zh) 一种基于多视图自编码特征的商品推荐方法及装置
Jang et al. Attention-based multi attribute matrix factorization for enhanced recommendation performance
CN114996566A (zh) 一种面向工业互联网平台的智能推荐系统及方法
CN115358820A (zh) 一种基于高清图像生成技术的兴趣画幅推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant