CN117290598A - 构建序列推荐模型的方法、序列推荐方法与装置 - Google Patents
构建序列推荐模型的方法、序列推荐方法与装置 Download PDFInfo
- Publication number
- CN117290598A CN117290598A CN202311231522.8A CN202311231522A CN117290598A CN 117290598 A CN117290598 A CN 117290598A CN 202311231522 A CN202311231522 A CN 202311231522A CN 117290598 A CN117290598 A CN 117290598A
- Authority
- CN
- China
- Prior art keywords
- user
- term
- long
- item
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000007774 longterm Effects 0.000 claims abstract description 113
- 230000004927 fusion Effects 0.000 claims abstract description 72
- 230000003993 interaction Effects 0.000 claims description 80
- 239000013598 vector Substances 0.000 claims description 48
- 230000007246 mechanism Effects 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims description 2
- 230000006399 behavior Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 8
- 241000220225 Malus Species 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 101100127285 Drosophila melanogaster unc-104 gene Proteins 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Algebra (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Operations Research (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种构建序列推荐模型的方法、序列推荐方法与装置。该方法包括：获取用户的融合特征以及长期兴趣表示和短期兴趣表示；根据长期兴趣表示和短期兴趣表示，确定用户的长期兴趣对短期兴趣的注意力得分；根据注意力得分确定用户的最终兴趣表示；根据用户的融合特征与最终兴趣表示确定某一候选项目的预测分数；确定所有候选项目的预测分数，并利用所有候选项目的预测分数，基于成对损失函数对当前序列推荐模型进行优化，以优化后的序列推荐模型作为下一次序列推荐的模型。本发明提供的方法，能够提高模型推荐的精确度。
Description
技术领域
本发明涉及信息处理技术领域，尤其涉及一种构建序列推荐模型的方法、序列推荐方法与装置。
背景技术
随着信息的快速增长，推荐系统是解决在电子商务，新闻，社交媒体和其他在线平台中信息过载问题的有效方法。序列推荐是根据用户与项目的历史交互信息，捕捉用户的兴趣。用户的兴趣是多样的，可能因为对商品的价格、品牌等属性感兴趣。用户的兴趣既有持久的长期兴趣，也有动态的短期兴趣。用户的短期兴趣主要体现在最近的几次交互中，而用户的长期兴趣则需要考虑完整的点击序列，以建立项目间的长期依赖关系。这意味着序列推荐模型需要捕捉用户的历史行为，以理解他们的兴趣演变过程。因此，在序列推荐中，需要综合考虑用户的短期兴趣、长期兴趣以构建一个全面的序列推荐模型。
然而，目前序列推荐模型通常独立地对用户的短期和长期兴趣进行建模，然后将它们线性连接起来以反映用户的最终兴趣。然而，这种线性连接方式缺乏对用户的习惯的建模，从而导致兴趣漂移问题的产生。
发明内容
本发明提供一种构建序列推荐模型的方法、序列推荐方法与装置，用以解决现有技术中序列推荐准确度不高的缺陷。
本发明提供一种构建序列推荐模型的方法，包括：
获取用户的融合特征以及长期兴趣表示和短期兴趣表示；
根据所述长期兴趣表示和短期兴趣表示，确定用户的长期兴趣对短期兴趣的注意力得分γt；
其中，γt表示注意力得分，表示用户的长期兴趣表示，ht表示用户的短期兴趣表示，ht为GRU的第t个隐藏状态，W是参数矩阵，hj表示累加求和的第j项；
根据所述注意力得分确定用户的最终兴趣表示；
根据用户的融合特征与所述最终兴趣表示确定某一候选项目的预测分数；
确定所有候选项目的预测分数，并利用所有候选项目的预测分数，基于成对损失函数对当前序列推荐模型进行优化，以优化后的序列推荐模型作为下一次序列推荐的模型。
根据本发明提供的方法，所述用户的融合特征的获取包括以下步骤：
获取用户的信息；
根据所述用户的信息提取用户的不同特征；
将用户的不同特征分别进行编码，将所有特征分别转化为与其对应的特征向量；
将所有的特征向量进行融合，最终得到用户的融合特征。
根据本发明提供的方法，获取用户的长期兴趣表示包括：
获取用户与项目交互形成的长期交互序列；
提取所述长期交互序列中的每个项目的特征，并对每个特征进行编码，对应得到每个项目的特征向量；
基于垂直注意力机制，将每个项目的所有特征向量进行融合，得到每个项目的融合特征；
根据所述长期交互序列以及其对应的每个项目的融合特征，得到用户与所有项目交互形成的长期融合序列；
将所述长期融合序列作为水平注意力机制的输入，最终输出用户的长期兴趣表示。
根据本发明提供的方法，所述基于垂直注意力机制，将每个项目的所有特征进行融合，得到每个项目的融合特征包括：
根据如下公式获取每个项目的融合特征：
其中，表示项目v的所有特征的融合结果，/>代表用户对项目V的第k个特征的权重；
其中，注意力得分采用以下公式得到：
其中，eu代表用户的融合特征，代表项目v中的第j个特征，j∈[1，K]，K为某个项目对应的所有特征的数量；/>表示项目v中的第k个特征，Pr(·)是投影函数。
根据本发明提供的方法，所述将所述长期融合序列作为水平注意力机制的输入，最终得到用户的长期兴趣表示包括：
将所述长期融合序列作为水平注意力机制的输入，通过水平注意力机制将长期融合序列中所有项目的融合特征聚合以生成用户的长期兴趣表示，其中，水平注意力机制采用以下公式表示：
其中，表示第l个项目的融合结果；/>为第l个项目对应的权重，/>表示用户融合特征的转置。
根据本发明提供的方法，获取用户的短期兴趣表示包括：
获取用户与项目交互形成的短期交互序列；
提取所述短期交互序列中的每个项目的特征，并对每个特征进行编码，对应得到每个项目的特征向量；
基于垂直注意力机制，将每个项目的所有特征向量进行融合，得到每个项目的融合特征；
根据所述短期交互序列以及其对应的每个项目的融合特征，得到用户与所有项目交互形成的短期融合序列
将所述短期特征融合序列作为GRU的输入，最终输出用户的短期兴趣表示。
根据本发明提供的方法，所述GRU表示如下：
其中，it是GRU的输入并且rt和ut分别是复位门和更新门；/>是GRU单元的存储能力，Wrt和Wrh分别为复位门的参数矩阵，br是偏置向量；Wut和Wuh分别为更新门的参数矩阵，bu是偏置向量；σ是sigmoid激活函数，⊙是元素乘积；ht是第t个隐藏状态，即所述短期兴趣表示。
本发明还提供一种序列推荐方法，包括：
获取待推荐用户与项目交互形成的长期兴趣表示和短期兴趣表示；
将所述长期兴趣表示和短期兴趣表示输入优化后的序列推荐模型，通过该优化后的序列推荐模型得到对某一候选项目的预测分数；
从所有候选项目中选择预测分数最高的前N个项目作为待推荐用户的推荐项目。
本发明还提供一种构建序列推荐模型的装置，包括：
获取单元，用于获取用户的融合特征以及长期兴趣表示和短期兴趣表示；
确定单元，用于根据所述长期兴趣表示和短期兴趣表示，确定用户的长期兴趣对短期兴趣的注意力得分γt；
其中，γt表示注意力得分，表示用户的长期兴趣表示，ht表示用户的短期兴趣表示，ht为GRU的第t个隐藏状态，W是参数矩阵，hj表示累加求和的第j项；
所述确定单元，还用于根据所述注意力得分γt确定用户的最终兴趣表示Fu；
所述确定单元，还用于根据用户的融合特征与所述最终兴趣表示Fu确定用户对某一候选项目的预测分数；
所述确定单元，还用于确定所有候选项目的预测分数；
优化单元，用于利用所有候选项目的预测分数，基于成对损失函数对当前序列推荐模型进行优化，以优化后的序列推荐模型作为下一次序列推荐的模型。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述构建序列推荐模型的方法或者实现如上所述序列推荐方法。
本发明提供的构建序列推荐模型的方法、序列推荐方法与装置，通过习惯引导注意力机制，使得能够动态调整用户长期和短期兴趣的权重，以适应用户的兴趣变化，减少了兴趣漂移对推荐结果的干扰，从而提升了模型推荐的个性化程度，更好地满足了用户的实时需求。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的构建序列推荐模型的方法；
图2为历史行为序列的划分图；
图3为本发明提供的序列推荐方法流程图；
图4为本发明提供序列推荐方法整体流程图；
图5为本发明提供序列推荐系统原理框图；
图6为本发明提供的构建序列推荐模型的装置结构框图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
所谓序列推荐，指系统以用户与项目交互而形成的一个历史行为序列作为依据，给用户推荐与其曾经浏览过的项目相关的物品。例如用户今天通过一个购物网站先后浏览了电脑、笔记本、手机，那么该用户的历史行为序列为{电脑、笔记本、手机}，序列推荐系统则根据该历史行为序列{电脑、笔记本、手机}，可能用户推荐耳机。
本发明为了解决兴趣漂移问题，采用了用户动态兴趣建模的方法，该方法通过对用户长期兴趣和短期兴趣进行分离建模，利用用户的习惯来引导短期偏好，减少兴趣漂移的干扰。从而更准确地预测用户的兴趣，为用户提供更符合其个性化需求的推荐结果。
图1为本发明提供的构建序列推荐模型的方法，该方法包括如下步骤：
步骤101：获取用户的融合特征以及长期兴趣表示和短期兴趣表示。
具体地，用户的长期兴趣表示为在某一段时间T内，用户与项目交互的信息表示；用户的短期兴趣表示，在该某一段时间T内，用户在最近某一固定时间段t内(t∈T)，与项目交互的信息表示。
下面对如何获取用户的融合特征进行详细说明：
首先，获取用户的信息，并根据用户的信息提取用户的不同特征，然后，将用户的不同特征分别进行编码，将所有特征分别转化为与其对应的特征向量；最后，将所有的特征向量进行融合，最终得到用户的融合特征。
具体的，本发明首先提取用户的不同特征，然后将所有的特征进行编码，从而分别将其转化为与每个特征对应的一组特征向量fup，即每个特征向量对应一个特征，最后将所有的特征向量进行融合，得到用户的融合特征eu。
每个特征对应的一组特征向量fup根据如下公式确定：
其中，fup是用户u的特征p对应的特征向量，是特征p的特征编码(one-hot编码)，/>是特征p的变化矩阵。
然后，连接用户的不同尺度的特征以表示用户的融合特征eu，其被定义为：
eu＝concat({fup|p∈P}) (2)
其中，P为用户的总特征数量，p代表用户u的某一具体特征。
举例来说，用户的特征可以为：年龄，性别。则此时P＝2，p指的是某一个具体的特征比如年龄或者性别，而最终的融合特征eu则为连接年龄对应的特征向量与性别对应的特征向量的融合结果。
步骤102：根据所述长期兴趣表示和短期兴趣表示，确定用户的长期兴趣对短期兴趣的注意力得分γt。
具体地，为了解决兴趣漂移问题，本发明引入了一个习惯引导注意力机制来平衡用户长期兴趣和用户短期兴趣，并减少兴趣漂移对推荐结果的干扰。其中，习惯引导注意力机制如下：
其中，γt表示注意力得分，本发明通过该注意力得分来确定用户长期兴趣对短期兴趣的重要性。表示用户的长期兴趣表示，ht表示用户的短期兴趣表示，该短期兴趣表示为GRU的第t个隐藏状态，W是参数矩阵，hj表示累加求和的第j项，即第j个隐藏状态。
本发明提供的方法，通过引入习惯引导注意力机制，得到注意力得分γt，通过该注意力得分γt来使长期兴趣指导短期兴趣，以减少兴趣漂移引起的误差，从而使得推荐模型可以根据用户的习惯和偏好来动态地调整用户的长期兴趣和短期兴趣的权重，从而使得模型可以更好地平衡用户在不同时间段内的兴趣变化，减少了兴趣漂移对推荐结果的影响。通过该习惯引导注意力机制，能够使模型提供更精准和个性化的推荐服务，提升用户对模型的满意度和使用体验。
步骤103：根据所述注意力得分γt确定用户的最终兴趣表示Fu。
具体地，用户最终偏好反映了用户最终的兴趣和偏好，本发明通过综合考虑用户的长期兴趣和短期兴趣，以及兴趣漂移的调节，得到用户的最终兴趣表示Fu，通过该最终兴趣表示Fu以提供更符合用户个性化需求的推荐结果。
下面对如何获取用户的最终兴趣表示Fu进行详细介绍：
在兴趣演化层，本发明使用一个GRU与注意力机制(AUGRU)来模拟用户兴趣的演化。由于AUGRU自适应地融合了用户的短期兴趣和长期兴趣，因此可以有效地避免兴趣漂移的干扰。AUGRU的计算公式如下：
其中，ut是GRU的原始更新门，并且u′t是AUGRU的注意更新门。是AUGRU的临时状态，h′t是第t个隐藏状态，h′t-1是h′t上一步的隐藏状态。AUGRU的输入由i′t＝ht表示，其中ht是对应于兴趣提取层的兴趣状态，最终隐藏状态由h′t表示，该最终隐藏状态则为用户的最终兴趣表示Fu。
本发明提供的方法，重新定义了GRU的更新门即公式(4)，通过公式(4)可以将用户的长期兴趣与短期兴趣进行融合，将AUGRU的最后一个隐藏状态作为用户的最终兴趣Fu，从而提升了模型的推荐精度。
步骤104：根据用户的融合特征与所述最终兴趣表示Fu确定用户对某一候选项目的预测分数。
具体地，本发明使用用户的融合特征eu与用户的最终兴趣表示Fu之间的点积来预测用户对某一候选项目v的归一化评级分数。通过计算用户与候选物品之间的点积，可以得到用户对每个候选物品的预测分数。这种预测分数可以用来衡量用户对候选物品的兴趣程度。预测分数计算如下所示：
其中，表示用户的融合特征的转置。
本发明提供的方法，通过提取用户的不同特征并进行编码从而得到融合特征，通过用户的融合特征能够提供更加细致的描述和区分不同用户的信息，从而最终提高了推荐模型的精确度。
步骤105：确定所有候选项目的预测分数，并利用所有候选项目的预测分数，基于成对损失函数对当前序列推荐模型进行优化，以优化后的序列推荐模型作为下一次序列推荐的模型。
具体地，本发明模型优化的目的是在用户短期交互序列和长期交互序列的基础上提供一个项目排名列表。因此，本发明优先考虑预测评级的相对排名，而不是它们的绝对值。设和/>为正样本集V+，未观察到的项目/>和/>均匀抽样形成负样本集V-，我们期望项目v∈V+的预测评分将大于项目v∈V-的预测评分，即本发明通过引入成对损失函数以遵守贝叶斯个性化排名(BPR)的原则，对模型的参数进行优化。该成对损失函数如下所示：
其中，Θ表示所有可学习参数，σ(·)是sigmoid函数，并且λ∥Θ∥2是防止过拟合的L2正则化。Adam算法用于优化。表示正样本的得分，/>表示负样本的得分，/>表示在用户长期交互序列中的观察到的样本即正样本。Lu表示用户的长期交互序/>列，/>代表用户长期交互序列中未观察到的样本即负样本。
本发明提供的方法，通过利用成对损失函数，可以得到序列推荐模型的最优的参数，然后利用最优的参数替换原模型的参数，从而得到优化后的序列推荐模型，并以优化后的序列推荐模型作为下一次序列推荐的模型。
本发明提供的方法，通过引入习惯引导注意力机制，来平衡用户的长期兴趣和用户的短期兴趣，减少了兴趣漂移对推荐结果的干扰；通过重新定义GRU的更新门，来将用户的长期兴趣与短期兴趣进行融合，最终提升了模型的推荐精度。
进一步地，下面对如何获取用户的长期兴趣表示进行详细介绍：
首先，获取用户与项目交互形成的长期交互序列；然后，提取所述长期交互序列中的每个项目的特征，并对每个特征进行编码，对应得到每个项目的特征向量；接着，基于垂直注意力机制，将每个项目的所有特征向量进行融合，得到每个项目的融合特征；再然后，根据所述长期交互序列以及其对应的每个项目的融合特征，得到用户与项目交互形成的长期融合序列；最后，将所述长期融合序列作为水平注意力机制的输入，最终得到用户的长期兴趣表示。
具体的，本发明通过日志系统可以获取用户在使用推荐模型过程中的各种交互行为，例如点击、购买、评分等。这些行为记录了用户对不同项目的交互情况，能够反映用户的兴趣和偏好。具体来说，本发明将用户与项目交互的历史数据表示为一个序列Su＝{i1,i2,i3,…in…,iN}。假设历史交互序列Su的长度为N，则表示用户在推荐系统中与N个物品进行了交互。序列中的每个元素in代表用户与第n个交互的项目，它可以是一个项目的唯一标识符或其他与项目相关的信息。本发明将用户的历史交互序列进行了划分，划分为长期交互序列和短期交互序列；其中，长期交互序列为 其中T表示总的时间步，即用户与项目交互的总时间，该长期交互序列能够反映出用户的长期兴趣。短期交互序列为/>S代表在该固定时间内用户交互的项目总数量，其能够能反映出用户的短期兴趣。举例来说，图2为历史行为序列的划分图，如图2所示，假设Su＝{i1,i2,…,iN}表示用户在某段时间内的所有交互记录,则N表示最后一个交互的物品。如果把用户的所有交互记录按照一天的间隔进行划分，则/>表示用户第一天的交互项目的记录，则/>表示用户第二天的交互项目的记录，则第T天的交互项目的记录为/>依次类推，取最后一个时间步T＝30即第30天的交互记录/>为用户的短期交互序列/>而第一天到第29天，将每一天的交互记录的集合取并集，则构成用户的长期交互序列
项目的特征即对应项目的属性，这些属性信息可以包括物品的类别、品牌、价格等。本发明首先提取每个项目的特征，然后将这些特征分别进行编码，从而得到每个项目对应的特征向量。譬如：用户交互的项目有电脑、手机、笔记本。则电脑对应的特征可以为：类别、品牌、价格。本发明对项目的特征进行编码，将其转换为显式特征，显式特征是对项目特征信息的向量表示。特征提取和编码的过程可以利用各种方法，本发明对此不做限制，只要能够将项目对应的特征转换为特征向量即可。例如可以基于统计的方法、深度学习模型或预训练模型的方式获取特征向量。通过这些方法，可以将项目的特征信息转化为一组特征向量，每个特征向量对应一个特征，这些特征能够提供更加细致的描述和区分不同项目的信息。假设一个项目v总共有K个特征，k为某一具体的特征，那么项目v的特征k可以表示为：
其中k∈[1,K],是特征k的one-hot编码，/>是特征k的变化矩阵，特征k为项目v的某一具体特征。
例如一部手机，用项目ID进行标识，它的属性包含：类别：手机，品牌：Apple，价格：1000$。通过公式(7)可以将项目的特征转换成对应的特征向量。比如：可以将手机的类别属性转换成类别特征向量fv1,将手机的品牌属性转换成品牌特征向量fv2，将手机的价格属性转换成价格特征向量fv3。
在特征向量的基础上，本发明利用垂直注意机制获取用户特征级偏好。由于现有技术中的模型往往忽略了不同的项目特征的重要性，相比之下，本发明提供的模型将每个项目与多个特征进行关联，为了从特征的角度更详细地描述用户的兴趣，本发明设计了特征的垂直注意力机制，该垂直注意力机制用于区分用户对不同商品特征的相关性，可以自适应学习每个特征对用户兴趣的贡献程度，并根据重要性加权考虑不同特征的影响。举例来说：用户选择浏览iMac，并有意查看同一品牌的其他产品。当用户浏览类似项目(如两个移动电话)时，他们更有可能对苹果手机产生兴趣，因为他们重视苹果这个品牌属性。
通过前面对特征向量的获取，可以每个项目的特征向量集合然后再基于个项目的特征向量集合，将每个项目的所有特征进行融合，得到每个项目的融合特征。本发明实现垂直注意的目的是通过为不同的项目特征分配不同的权重，并将所有的特征进行融合，从而得到某个项目所有特征的融合结果。某个项目所有特征的融合结果可以表示如下：
其中，表示项目v的所有特征的融合结果，/>代表注意力得分，通过/>代表用户对项目V的第k个特征的权重，即通过/>来确定项目v中的第k个特征对用户u的重要性。比如，用户在选购手机时，在电子商务平台中手机的品牌有多种(苹果，华为等)。在用户历史交互记录中，访问过苹果电脑iMac，所以用户可能更对苹果手机更感兴趣，即对苹果品牌这个特征更感兴趣，即/>的值更高。
其中，注意力得分采用以下公式得到：
其中，eu代表用户的融合特征，即公式(9)对应的结果。代表项目v中的第j个特征，j∈[1，K]。/>表示项目v中的第k个特征，Pr(·)是投影函数，并返回用户和特征向量的标量。本发明通过使用公式(9)，以用户的融合特征eu作为查询向量，并通过softmax函数归一化/>和u之间的相似度，可以计算注意力得分/>来确定特征k对u的重要性。因此，本发明通过使用垂直注意力方法，可以分配更低的注意力权重给不重要的特征，从而降低不重要特征的影响。
本发明提供的方法，通过垂直注意力机制，可以将每个项目与多个特征相关联，从而能够更加准确反映用户的兴趣和偏好，以进一步提高更精准的推荐结果。
在用户长期兴趣提取过程中，本发明还设计了一个水平注意力机制，旨在计算用户与项目之间的长期依赖关系，并从中提取用户的长期兴趣特征。提取的过程为：
首先根据用户的长期交互序列中的所有项目以及每个项目的融合特征，得到长期融合序列/>然后将得到长期融合序列作为水平注意力机制的输入，通过水平注意力机制将这些项目的融合特征聚合以生成用户的长期兴趣向量/>形式上，水平注意力网络可以定义如下：
其中，表示第l个项目的融合结果；/>为第l个项目对应的权重，其表示项目l对用户u的重要性。/>表示用户融合特征的转置。
本发明提供的方法，通过使用水平注意力机制计算用户与项目之间的长期依赖关系，使得模型可以分配更低的注意力权重给不重要的项目，从而降低不重要项目的影响，从而有效提取用户的长期兴趣特征，以能够更准确地捕捉用户的长期偏好，最终通过公式(10)得到用户的长期兴趣
进一步地，下面对如何用户的短期兴趣表示进行详细的介绍：
首先，获取用户与项目交互形成的短期交互序列；然后，提取所述短期交互序列中的每个项目的特征，并对每个特征进行编码，对应得到每个项目的特征向量；接着，基于垂直注意力机制，将每个项目的所有特征进行融合，得到每个项目的融合特征；再然后，根据所述短期交互序列以及其对应的每个项目的融合特征，得到用户交互的所有项目对应的短期融合序列最后，将所述短期特征融合序列/>作为GRU的输入，最终得到用户的短期兴趣表示ht。
具体地，短期交互序列专注于用户当前的行为和偏好，其能够捕捉用户的短期兴趣。例如：短期交互序列假设S＝3,则表示用户在固定的时间内交互了3个物品，通过该短期交互序列能够更好地理解用户的当前兴趣。短期交互序列考虑到用户最近行为对当前兴趣的影响，因为用户最近点击的项目可能更能反映其短期兴趣。
为了获取短期兴趣表示ht，本发明采用了门控循环单元(GRU)对用户最近的行为序列进行建模，来获取用户的短期兴趣表示。为此，本发明首先对短期交互序列中的所有项目进行特征融合，得到短期行为嵌入序列然后将用户最近的交互项目嵌入序列/>作为GRU的输入，GRU会根据每个时间步的输入和前一个时间步的隐藏状态来更新当前时间步的隐藏状态，将每个时间步的GRU隐藏状态进行组合，最终得到用户对项目的短期交互序列ht，即ht＝[h1,h2,…,hT]，其中ht别是第t个隐藏状态。
GRU可以描述为：
其中，it是GRU的输入并且rt和ut分别是复位门和更新门；/>是GRU单元的存储能力，ht是第t个隐藏状态；Wrt和Wrh分别为复位门的参数矩阵，br是偏置向量；Wut和Wuh分别为更新门的参数矩阵，bu是偏置向量；σ是sigmoid激活函数，⊙是元素乘积。
本发明提供的方法，通过分析用户最近的交互项目，捕捉用户的短期兴趣，更好地理解用户的当前兴趣，从而捕捉用户的兴趣变化和偏好，从而能够使模型的推荐结果更加精确。
图3为本发明提供的序列推荐方法流程图，如图3所示，该方法包括如下步骤：
步骤301：获取待推荐用户与项目交互形成的长期兴趣表示和短期兴趣表示；
步骤302：将所述长期兴趣表示和短期兴趣表示输入优化后的序列推荐模型，通过该优化后的序列推荐模型得到对某一候选项目的预测分数；
步骤303：从所有候选项目中选择预测分数最高的前N个项目作为待推荐用户的推荐项目。
图4为本发明提供序列推荐方法整体流程图，如图4所示，该方法包括：
步骤401：开始。
步骤402：通过日志系统获取用户的浏览记录和物品属性特征。
步骤403：对项目特征进行编码并融合，得到项目的融合特征。
步骤404：根据用户的历史交互序列，获取用户的长期交互序列和短期交互序列。
步骤405：利用注意力机制，根据长期交互序列获取用户的长期兴趣表示。
步骤406：利用门控循环单元，捕捉用户的短期兴趣表示。
步骤407：习惯引导注意力机制来自适应融合长短期兴趣表示以形成用户最终偏好。
步骤408：计算用户与候选集的预测分数。
步骤409：推荐预测分数最高的前N个项目给用户。
步骤410：结束。
图5为本发明提供序列推荐系统原理框图，如图5所示，该商品推荐系统是一种智能系统，通过分析用户的行为和兴趣，为用户提供个性化的商品推荐。该系统主要由以下模块组成：行为获取模块，长期兴趣获取模块，短期兴趣获取模块，评分模块，候选商品模块，商品推荐模块。
行为获取模块：该模块负责从数据库收集和记录用户的行为数据，包括浏览记录、购买记录、评价等。行为获取可以通过网站、移动应用或其他平台进行，数据可以存储在数据库或日志文件中。
长期兴趣获取模块：该模块通过分析用户的长期行为和历史数据，捕捉用户的长期兴趣和偏好。
短期兴趣获取模块：该模块主要关注用户当前的行为和偏好，捕捉用户的短期兴趣。它可以通过分析用户最近的行为数据和交互记录，了解用户当前的兴趣和需求。
评分预测模块：该模块根据用户的兴趣和候选商品的属性，预测用户对商品的评分或偏好程度。它将用户特征与商品属性进行匹配和计算，得出用户对商品的评分预测结果。
候选商品模块：该模块负责从数据库生成候选商品集合，即可能适合用户兴趣的商品列表。候选商品可以根据用户的历史行为、相似用户的行为以及商品的属性等进行筛选和推荐。常用的方法包括基于内容的推荐、协同过滤、基于标签的推荐等。
商品推荐模块：该模块根据用户的长期和短期兴趣以及评分预测结果，结合候选商品集合，生成最终的商品推荐列表，将最后用户的交互结果返回数据库。推荐算法可以根据用户的个性化需求和系统的目标进行调整，以提供最符合用户兴趣和偏好的商品推荐结果。
图6为本发明提供的构建序列推荐模型的装置结构框图，如图4所示，该装置包括：
获取单元601，用于获取用户的长期兴趣表示和短期兴趣表示；
确定单元602，用于根据所述长期兴趣表示和短期兴趣表示，确定用户的长期兴趣对短期兴趣的注意力得分γt；
其中，γt表示注意力得分，表示用户的长期兴趣表示，ht表示用户的短期兴趣表示，ht为GRU的第t个隐藏状态，W是参数矩阵，hj表示累加求和的第j项；
所述确定单元602，还用于根据所述注意力得分γt确定用户的最终兴趣表示Fu；
所述确定单元602，还用于根据用户的融合特征与所述最终兴趣表示Fu确定用户对某一候选项目的预测分数；
所述确定单元602，还用于确定所有候选项目的预测分数；
优化单元603，用于利用所有候选项目的预测分数，基于成对损失函数对当前序列推荐模型进行优化，以优化后的序列推荐模型作为下一次序列推荐的模型。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(CommunicationsInterface)720、存储器(memory)730和通信总线740，其中，处理器810，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行构建序列推荐模型的方法或者序列推荐方法。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种构建序列推荐模型的方法，其特征在于，包括：
获取用户的融合特征以及长期兴趣表示和短期兴趣表示；
根据所述长期兴趣表示和短期兴趣表示，确定用户的长期兴趣对短期兴趣的注意力得分γt；
其中，γt表示注意力得分，表示用户的长期兴趣表示，ht表示用户的短期兴趣表示，ht为GRU的第t个隐藏状态，W是参数矩阵，hj表示累加求和的第j项；
根据所述注意力得分γt确定用户的最终兴趣表示；
根据所述用户的融合特征与所述最终兴趣表示确定某一候选项目的预测分数；
确定所有候选项目的预测分数，并利用所有候选项目的预测分数，基于成对损失函数对当前序列推荐模型进行优化，以优化后的序列推荐模型作为下一次序列推荐的模型。
2.根据权利要求1所述的方法，其特征在于，所述获取用户的融合特征包括：
获取用户的信息；
根据所述用户的信息提取用户的不同特征；
将用户的不同特征分别进行编码，将所有特征分别转化为与其对应的特征向量；
将所有的特征向量进行融合，最终得到用户的融合特征。
3.根据权利要求1所述的方法，其特征在于，获取用户的长期兴趣表示包括：
获取用户与项目交互形成的长期交互序列；
提取所述长期交互序列中的每个项目的特征，并对每个特征进行编码，得到每个项目对应的特征向量；
基于垂直注意力机制，将每个项目的所有特征向量进行融合，得到每个项目的融合特征；
根据所述长期交互序列以及其对应的每个项目的融合特征，得到用户与所有项目交互形成的的长期融合序列；
将所述长期融合序列作为水平注意力机制的输入，最终输出用户的长期兴趣表示。
4.根据权利要求3所述的方法，其特征在于，所述基于垂直注意力机制，将每个项目的所有特征向量进行融合，得到每个项目的融合特征包括：
根据如下公式获取每个项目的融合特征：
其中，表示项目v的所有特征的融合结果，/>代表用户对项目V的第k个特征的权重；/>表示项目v中的第k个特征；
其中，采用以下公式得到：
其中，eu代表用户的融合特征，代表项目v中的第j个特征，j∈[1，K]，K为某个项目对应的所有特征的数量；Pr(·)是投影函数。
5.根据权利要求4所述的方法，其特征在于，所述将所述长期融合序列作为水平注意力机制的输入，最终输出用户的长期兴趣表示包括：
将所述长期融合序列作为水平注意力机制的输入，通过水平注意力机制将长期融合序列中所有项目的融合特征聚合以生成用户的长期兴趣表示，其中，水平注意力机制采用以下公式表示：
其中，表示第l个项目的融合结果；/>为第l个项目对应的权重，/>表示用户融合特征的转置。
6.根据权利要求1所述的方法，其特征在于，获取用户的短期兴趣表示包括：
获取用户与项目交互形成的短期交互序列；
提取所述短期交互序列中的每个项目的特征，并对每个特征进行编码，对应得到每个项目的特征向量；
基于垂直注意力机制，将每个项目的所有特征向量进行融合，得到每个项目的融合特征；
根据所述短期交互序列以及其对应的每个项目的融合特征，得到用户与所有项目交互形成的短期融合序列
将所述短期特征融合序列作为GRU的输入，最终输出用户的短期兴趣表示。
7.根据权利要求6所述的方法，其特征在于，所述GRU表示如下：
其中，it是GRU的输入并且rt和ut分别是复位门和更新门；/>是GRU单元的存储能力，Wrt和Wrh分别为复位门的参数矩阵，br是偏置向量；Wut和Wuh分别为更新门的参数矩阵，bu是偏置向量；σ是sigmoid激活函数，⊙是元素乘积；ht是第t个隐藏状态，即所述短期兴趣表示。
8.一种序列推荐方法，其特征在于，包括：
获取待推荐用户与项目交互形成的长期兴趣表示和短期兴趣表示；
将所述长期兴趣表示和短期兴趣表示输入优化后的序列推荐模型，通过该优化后的序列推荐模型得到对某一候选项目的预测分数；
从所有候选项目中选择预测分数最高的前N个项目作为待推荐用户的推荐项目。
9.一种构建序列推荐模型的装置，其特征在于，包括：
获取单元，用于获取用户的融合特征以及长期兴趣表示和短期兴趣表示；
确定单元，用于根据所述长期兴趣表示和短期兴趣表示，确定用户的长期兴趣对短期兴趣的注意力得分γt；
其中，γt表示注意力得分，表示用户的长期兴趣表示，ht表示用户的短期兴趣表示，ht为GRU的第t个隐藏状态，W是参数矩阵，hj表示累加求和的第j项；
所述确定单元，还用于根据所述注意力得分γt确定用户的最终兴趣表示Fu；
所述确定单元，还用于根据所述用户的融合特征与所述最终兴趣表示Fu确定用户对某一候选项目的预测分数；
所述确定单元，还用于确定所有候选项目的预测分数；
优化单元，用于利用所有候选项目的预测分数，基于成对损失函数对当前序列推荐模型进行优化，以优化后的序列推荐模型作为下一次序列推荐的模型。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述构建序列推荐模型的方法或者实现如权利要求8所述序列推荐方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311231522.8A CN117290598A (zh) | 2023-09-22 | 2023-09-22 | 构建序列推荐模型的方法、序列推荐方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311231522.8A CN117290598A (zh) | 2023-09-22 | 2023-09-22 | 构建序列推荐模型的方法、序列推荐方法与装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117290598A true CN117290598A (zh) | 2023-12-26 |
Family
ID=89243764
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311231522.8A Pending CN117290598A (zh) | 2023-09-22 | 2023-09-22 | 构建序列推荐模型的方法、序列推荐方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117290598A (zh) |
-
2023
- 2023-09-22 CN CN202311231522.8A patent/CN117290598A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110162700B (zh) | 信息推荐及模型的训练方法、装置、设备以及存储介质 | |
| KR102012676B1 (ko) | 콘텐츠 추천 방법, 장치 및 시스템 | |
| US10489688B2 (en) | Personalized digital image aesthetics in a digital medium environment | |
| CN109684538A (zh) | 一种基于用户个人特征的推荐方法及推荐系统 | |
| CN115917535A (zh) | 推荐模型的训练方法、推荐方法、装置及计算机可读介质 | |
| CN112308650B (zh) | 推荐理由生成方法、装置、设备及存储介质 | |
| CN110110233B (zh) | 信息处理方法、装置、介质和计算设备 | |
| CN111898032A (zh) | 基于人工智能的信息推荐方法、装置、电子设备及存储介质 | |
| CN113627995B (zh) | 商品推荐列表更新方法及其装置、设备、介质、产品 | |
| CN113742572B (zh) | 一种数据的推荐方法、装置、电子设备及存储介质 | |
| CN111695024A (zh) | 对象评估值的预测方法及系统、推荐方法及系统 | |
| CN118043802A (zh) | 一种推荐模型训练方法及装置 | |
| CN114595323B (zh) | 画像构建、推荐、模型训练方法、装置、设备及存储介质 | |
| Zheng et al. | Incorporating price into recommendation with graph convolutional networks | |
| Manimurugan et al. | A user-based video recommendation approach using CAC filtering, PCA with LDOS-CoMoDa | |
| CN114637920A (zh) | 对象推荐方法以及装置 | |
| CN118349897A (zh) | 基于离散化处理的模型训练方法、预测方法及其设备 | |
| CN117573973A (zh) | 资源推荐方法、装置、电子设备以及存储介质 | |
| CN111860870A (zh) | 交互行为确定模型的训练方法、装置、设备及介质 | |
| CN113836388A (zh) | 信息推荐方法、装置、服务器及存储介质 | |
| CN116977019A (zh) | 一种商户推荐方法、装置、电子设备及存储介质 | |
| CN116910357A (zh) | 一种数据处理方法及相关装置 | |
| CN116484092A (zh) | 基于用户长短期偏好的分层注意力网络序列推荐方法 | |
| CN116975426A (zh) | 业务数据处理方法、装置、设备以及介质 | |
| Wang et al. | Jointly modeling intra-and inter-transaction dependencies with hierarchical attentive transaction embeddings for next-item recommendation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |