CN116628332A - 一种基于提示学习的个性化推荐方法 - Google Patents

Abstract

本发明属于信息推荐技术领域，具体涉及一种基于提示学习的个性化推荐方法。本发明包含以下步骤：S1：将用户属性和历史行为数据组织成序列形式，并进行序列填充；S2：根据用户属性设计提示模板构建个性化提示并生成嵌入表征，并将其插入到S1中历史行为序列的开头，生成用户行为序列；S3：将S1中的用户属性序列，S2中的用户行为序列进行拼接，获得最终的输入表示并进行嵌入操作，获得嵌入矩阵；S4：在自注意力层中学习和集成项目间的注意力权重，通过叠加注意力层学习更加复杂的项目间注意力权重；S5：将用户嵌入与最终的项目进行运算，将排名Top‑K的项目推荐给用户。本发明可以适应不同领域和场景的个性化推荐需求，具有更大的灵活性和准确性。

Description

一种基于提示学习的个性化推荐方法

技术领域

本发明属于信息推荐技术领域，具体涉及一种基于提示学习的个性化推荐方法。

背景技术

随着互联网的快速发展，人们面临着越来越多的信息和选择。在这种信息过载的环境下，用户很难找到他们感兴趣的内容或产品。推荐系统的出现就是为了解决信息过载问题，帮助用户发现和获取符合其个人兴趣的内容。推荐系统的核心是预测用户是否会与商品之间进行交互。协同过滤(CF)是利用过去的用户和商品的交互来实现预测，这是实现有效的个性化推荐的基本任务。但是这种相对较独立的推荐方法，忽略了用户的历史行为和上下文信息，无法有效地理解用户的偏好和兴趣演化。于是，个性化序列推荐模型(如SASRec)应运而生，它针对用户在时间上连续的行为序列中进行推荐。其关键是建模用户的行为序列，使用序列建模技术，如循环神经网络(RNN)和长短期记忆网络(LSTM)，来捕捉序列中的时序信息和用户的行为演化。这些模型能够学习用户的偏好演变、行为模式和转换，从而进行更准确的推荐。此外，它还考虑了上下文信息的影响。上下文信息可以是时间、地点、设备、社交关系等与用户行为相关的环境因素。通过将上下文信息与用户行为序列相结合，系统可以更好地理解用户行为的背景和动机，提供更具针对性的推荐。

这种序列推荐模型虽然考虑到了用户行为的时序信息，但仍然存在一些问题：1)主要依赖用户历史行为数据进行推荐，而用户的历史行为数据通常是稀疏的。这会导致在数据不足的情况下，难以准确地捕捉用户的偏好和行为模式，影响推荐的准确性和个性化程度。2)在新用户加入或新物品上线时会面临冷启动问题。由于缺乏足够的用户行为数据，传统方法难以对新用户或新物品进行准确的推荐，导致推荐结果可能不够精准或个性化。3)传统推荐系统往往无法直接获取用户的意图和偏好信息，而是通过分析用户的历史行为进行推断。这种间接的推断方式可能存在误差，无法充分理解用户的真实需求，导致推荐结果可能不够精准或满足用户期望。4)传统推荐系统通常采用固定的模型和算法，难以灵活地应对不同领域和场景的个性化需求。这限制了推荐系统的灵活性和适应性，可能无法充分发挥推荐系统的潜力。5)传统推荐系统主要是基于用户历史行为进行推荐，用户在推荐过程中的主动参与度较低。这可能导致用户对推荐结果的满意度降低，因为用户无法直接表达其偏好、意图和特殊需求。

发明内容

本发明的目的是解决上述问题，提出了一种基于提示学习的个性化推荐方法，该方法在个性化序列推荐模型SASRec的基础上，加入了提示学习Prompt Learning，以缓解数据稀疏性、冷启动等问题，从而提高推荐系统的准确性和适应性。

本发明为实现上述发明目的，采取的技术方案如下：

一种基于提示学习的个性化推荐方法，包括以下步骤：

S1：将用户属性和历史行为数据组织成序列形式，并进行序列填充；

S2：根据用户属性设计提示模板构建个性化提示并生成嵌入表征，并将其插入到S1中历史行为序列的开头，生成用户行为序列；

S3：将S1中的用户属性序列，S2中的用户行为序列进行拼接，获得最终的输入表示并进行嵌入操作，获得嵌入矩阵；

S4：在自注意力层中学习和集成项目间的注意力权重，通过叠加注意力层学习更加复杂的项目间注意力权重；

S5：将用户嵌入与最终的项目进行运算，将排名Top-K的项目推荐给用户。

进一步的作为本发明的优选技术方案，用户属性数据包括用户的个人信息和兴趣偏好等静态数据；历史行为数据是通过用户在系统中的行为收集得到的，包括用户的点击、购买、评价、收藏、分享等行为相关的动态数据；每个用户都有m个属性A^u＝{a₁，a₂，...，a_m}；每个用户u都有一个按时间排序的历史行为序列S^u＝{S₁，S₂，...，S_t，...，S_n}；其中，S_t为由行为对象和行为类型组成的二元组；t表示用户与第t次与项目的交互。

进一步的作为本发明的优选技术方案，得到用户u的每个属性的嵌入表征后，拼接他们得到X^u＝[a1||a2||··||am]，其中a_i是第i个用户属性嵌入表征；然后经过MLP得到包含n个token的个性化提示嵌入表征P^u＝{p₁，p₂，...，p_n}：

P^u＝PPG(X^u|θ)＝W₂σ(W₁X^u+b₁)+b₂

其中，和/>是θ中的可训练参数；d₁、d′和d₂分别是拼接后的用户属性序列X^u、隐藏层和输出提示的嵌入大小；

将个性化提示嵌入表征P^u和历史行为序列S^u拼接后得到用户行为表征：

进一步的作为本发明的优选技术方案，将S1中的用户静态属性表征X^u结合S2中的用户行为表征得到最终计算相似度的嵌入表征E：

θ和分别是生成个性化提示嵌入表征P^u和深度模型MLP的参数；E表示拼接后的嵌入表示，M表示用户静态属性序列的嵌入表征；S表示用户行为序列的嵌入表示。

进一步的作为本发明的优选技术方案，使用自注意力机制将嵌入S3中得到的E，映射到子空间中，在自注意力中，K，Q，V，都来自同一对象；计算过程可表示为如下：

其中，W^Q，W^K，W^V是三个线性投影矩阵；注意力机制本质上仍是线性模型，为了使模型具有非线性能力和不同维度间的交互能力，因此增加双层前馈神经网络：

F_i＝FFN(S_i)＝Relu(S_iW¹+b¹)W²+b²

其中，W¹和W²为权重矩阵，b¹和b²为偏置向量；由于F_i中汇集了前面步骤中的所有嵌入项，因此，通过该注意力块进行注意力块堆叠，来学习项目间更复杂的依赖关系：

S^b＝SA(F^b-1)

进一步的作为本发明的优选技术方案，在自注意层自适应分层提取之前交互过的项目信息后，采用Sigmoid函数输出，来预测下一个项目i的可能性：

其中，r_i，t表示项给定前t项时项目i是下一项的可能性，N是项目的嵌入矩阵。

本发明所述的一种基于提示学习的个性化推荐方法，采用以上技术方案与现有技术相比，具有以下技术效果：

(1)本发明根据用户静态属性利用提示学习获得提示数据，用于补充用户行为数据或获取用户的偏好和意图。

(2)本发明根据不同的用户数据和任务需求设计和调整提示模板，使得本发明可以适应不同领域和场景的个性化推荐需求，具有更大的灵活性。

(3)本发明通过用户提供的提示数据来获得更准确的推荐。鼓励用户积极参与推荐过程，这使得用户在推荐过程中拥有更大的主动性和参与度，可以更好地满足其个性化需求。

附图说明

图1为本发明的方法流程示意图；

图2为本发明实施例中用户历史交互行为序列的示意图。

具体实施方式

下面结合附图详细的描述本发明的作进一步的解释说明，以使本领域的技术人员可以更深入地理解本发明并能够实施，但下面通过参考实例仅用于解释本发明，不作为本发明的限定。

在现有的SASRec个性化序列推荐的基础上，加入提示学习模块，提出一种基于提示学习的个性化推荐方法，如图1所示。在输入嵌入层之前，增加对用户数据序列进行处理的过程，并引进提示学习模块，使用户行为序列中包含的语义更加丰富，提高模型的灵活性和准确性。

一种基于提示学习的个性化推荐方法，包含以下步骤：

S1：将用户的属性和历史行为数据组织成序列形式，并进行序列填充；

S2：根据用户属性设计提示模板构建个性化提示并生成嵌入表征，并将其插入到S1中历史行为序列的开头，生成用户行为序列；

S3：将S1中的用户属性序列，S2中的用户行为序列进行拼接，获得最终的输入表示并进行嵌入操作，获得嵌入矩阵；

S4：在自注意力层中学习和集成项目间的注意力权重，通过叠加注意力层学习更加复杂的项目间注意力权重；

S5：将用户嵌入与最终的项目进行运算，将排名Top-K的项目推荐给用户。

S1具体为：用户属性数据包括用户的个人信息(年龄、性别、职业等)和兴趣偏好(爱好、喜欢的主题、类型)等静态数据。历史行为数据是通过用户在系统中的行为收集得到的，例如用户的点击、购买、评价、收藏、分享等行为相关的动态数据。每个用户都有m个属性A^u＝{a₁，a₂，...，a_m}。每个用户u都有一个按时间排序的历史行为序列S^u＝{S₁，S₂，...，S_t，...，S_n}。其中，S_t为由行为对象(即项目)和行为类型(点击、购买、评价、收藏、分享等)组成的二元组，如图2所示，c表示行为对象，o表示行为类型。t表示用户与第t次与项目的交互。

在S2中，为了有效和自动化的生成提示，我们基于用户的自身属性设计模板来构建提示。在得到用户u的每个属性的嵌入表征后，拼接他们得到X^u＝[a1||a2||··||am]，其中a_i是第i个用户属性嵌入表征。然后经过MLP得到包含n个token的个性化提示嵌入表征P^u＝{p₁，p₂，...，p_n}：

P^u＝PPG(X^u|θ)＝W₂σ(W₁X^u+b₁)+b₂

其中，和/>是θ中的可训练参数。d₁、d′和d₂分别是拼接后的用户属性序列X^u、隐藏层和输出提示的嵌入大小。选择PPG(·)函数，因为它简单有效。将上述个性化提示嵌入表征P^u和历史行为序列S^u拼接后得到用户行为表征：

S3具体为：将S1中的用户静态属性表征X^u结合S2中的用户行为表征得到最终计算相似度的嵌入表征E：

θ和分别是生成个性化提示嵌入表征P^u和深度模型MLP的参数。E表示拼接后的嵌入表示，M表示用户静态属性序列的嵌入表征。S表示用户行为序列的嵌入表示。

在S4的自注意力层中，自注意力机制将单个序列与它自身进行对照来表示，降低了对外部信息的依赖，并且能够更好地捕捉到序列内部特征间的相关性。在该层中，使用自注意力机制将嵌入S3中得到的E，映射到子空间中，在自注意力中，K，Q，V，都来自同一对象。因此，具体的计算过程可表示为如下：

其中，W^Q，W^K，W^V是三个线性投影矩阵。注意力机制本质上仍是线性模型，为了使模型具有非线性能力和不同维度间的交互能力，因此增加双层前馈神经网络：

F_i＝FFN(S_i)＝Relu(S_iW¹+b¹)W²+b²

其中，W¹和W²为权重矩阵，b¹和b²为偏置向量。由于F_i中汇集了前面步骤中的所有嵌入项，因此，通过该注意力块进行注意力块堆叠，来学习项目间更复杂的依赖关系：

S^b＝SA(F^b-1)

在S5中的预测层中，采用Sigmoid函数输出，来预测下一个项目i的可能性：

其中，r_i，t表示项给定前t项时项目i是下一项的可能性，N是项目的嵌入矩阵。最终得到预测概率，将排名Top-K的项目推荐给用户。

本发明提出了一种基于提示学习的个性化推荐方法，通过提示学习，既能够的有效的缓解一般序列推荐模型数据稀疏性的问题，又在一定程度上解决了冷启动的问题。且基于不同的用户数据和任务需求设计和调整提示模板，使得本发明可以适应不同领域和场景的个性化推荐需求，具有更大的灵活性。

以上所述的具体实施方案，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，所应理解的是，以上所述仅为本发明的具体实施方案而已，并非用以限定本发明的范围，任何本领域的技术人员，在不脱离本发明的构思和原则的前提下所做出的等同变化与修改，均应属于本发明保护的范围。

Claims (6)

1.一种基于提示学习的个性化推荐方法，其特征在于，包括以下步骤：

S1：将用户属性和历史行为数据组织成序列形式，并进行序列填充；

S2：根据用户属性设计提示模板构建个性化提示并生成嵌入表征，并将其插入到S1中历史行为序列的开头，生成用户行为序列；

S3：将S1中的用户属性序列，S2中的用户行为序列进行拼接，获得最终的输入表示并进行嵌入操作，获得嵌入矩阵；

S4：在自注意力层中学习和集成项目间的注意力权重，通过叠加注意力层学习更加复杂的项目间注意力权重；

S5：将用户嵌入与最终的项目进行运算，将排名Top-K的项目推荐给用户。

2.根据权利要求1所述的一种基于提示学习的个性化推荐方法，其特征在于，用户属性数据包括用户的个人信息和兴趣偏好等静态数据；历史行为数据是通过用户在系统中的行为收集得到的，包括用户的点击、购买、评价、收藏、分享等行为相关的动态数据；每个用户都有m个属性A^u＝{a₁，a₂，...，a_m}；每个用户u都有一个按时间排序的历史行为序列S^u＝{S₁，S₂，...，S_t，...，S_n}；其中，S_t为由行为对象和行为类型组成的二元组；t表示用户与第t次与项目的交互。

3.根据权利要求2所述的一种基于提示学习的个性化推荐方法，其特征在于，得到用户u的每个属性的嵌入表征后，拼接他们得到X^u＝[a1||a2||··||am]，其中a_i是第i个用户属性嵌入表征；然后经过MLP得到包含n个token的个性化提示嵌入表征P^u＝{p₁，p₂，...，p_n}：

P^u＝PPG(X^u|θ)＝W₂σ(W₁X^u+b₁)+b₂

其中，和/>是θ中的可训练参数；d₁、d′和d₂分别是拼接后的用户属性序列X^u、隐藏层和输出提示的嵌入大小；

将个性化提示嵌入表征P^u和历史行为序列S^u拼接后得到用户行为表征：

4.根据权利要求3所述的一种基于提示学习的个性化推荐方法，其特征在于，将S1中的用户静态属性表征X^u结合S2中的用户行为表征得到最终计算相似度的嵌入表征E：

θ和分别是生成个性化提示嵌入表征P^u和深度模型MLP的参数；E表示拼接后的嵌入表示，M表示用户静态属性序列的嵌入表征；S表示用户行为序列的嵌入表示。

5.根据权利要求4所述的一种基于提示学习的个性化推荐方法，其特征在于，使用自注意力机制将嵌入S3中得到的E，映射到子空间中，在自注意力中，K，Q，V，都来自同一对象；计算过程可表示为如下：

其中，W^Q，W^K，W^V是三个线性投影矩阵；注意力机制本质上仍是线性模型，为了使模型具有非线性能力和不同维度间的交互能力，因此增加双层前馈神经网络：

F_i＝FFN(S_i)＝Relu(S_iW¹+b¹)W²+b²

其中，W¹和W²为权重矩阵，b¹和b²为偏置向量；由于F_i中汇集了前面步骤中的所有嵌入项，因此，通过该注意力块进行注意力块堆叠，来学习项目间更复杂的依赖关系：

S^b＝SA(F^b-1)

6.根据权利要求5所述的一种基于提示学习的个性化推荐方法，其特征在于，在自注意层自适应分层提取之前交互过的项目信息后，采用Sigmoid函数输出，来预测下一个项目i的可能性：

其中，r_i，t表示项给定前t项时项目i是下一项的可能性，N是项目的嵌入矩阵。