CN116881548A - 代理感知的跨域序列推荐方法、设备、介质和产品 - Google Patents

代理感知的跨域序列推荐方法、设备、介质和产品 Download PDF

Info

Publication number
CN116881548A
CN116881548A CN202310709833.4A CN202310709833A CN116881548A CN 116881548 A CN116881548 A CN 116881548A CN 202310709833 A CN202310709833 A CN 202310709833A CN 116881548 A CN116881548 A CN 116881548A
Authority
CN
China
Prior art keywords
cross
sequence
domain
user
domain sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310709833.4A
Other languages
English (en)
Inventor
宋洪涛
肖世桐
陈睿
韩启龙
刘鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN202310709833.4A priority Critical patent/CN116881548A/zh
Publication of CN116881548A publication Critical patent/CN116881548A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

代理感知的跨域序列推荐方法、设备、介质和产品，属于信息处理技术领域，解决跨域序列推荐存在局限性而导致推荐准确度低问题。本发明的方法包括：使用代理编码器模块对每个物品的文本描述进行编码，以获得一个更普遍的表征，该表征用于跨域序列，通过揭示更高层次的语义互连来传递跨域共享信息；设计了一个时间间隔感知的注意力编码器模块，其中任何两个物品之间的顺序次序和相对时间间隔都被利用；为了更好地理解跨域序列中不同领域的物品之间的相关性，提出了一个对比学习的辅助任务模块，以加强对跨域序列的表述。本发明适用于处理信息过载问题，捕获用户动态偏好。

Description

代理感知的跨域序列推荐方法、设备、介质和产品
技术领域
本申请涉及信息处理技术领域，尤其涉及跨域序列推荐。
背景技术
推荐系统作为一种有效处理信息过载问题的工具已经被广泛应用于许多真实场景，其目的是用于提升用户的使用性和帮助企业留住用户，促进商业发展。在推荐系统的众多领域当中，序列推荐在捕获用户动态偏好方面表现出强大的能力，成为研究的热点，因此，序列推荐被广泛应用于各种场景，例如：电子商务，新闻推荐和广告推荐等等。
序列推荐旨在对用户行为序列，例如购买物品的序列进行建模，学习到用户表征，用于预测用户下一次可能购买的物品。随着深度学习技术的发展，已有多种深度模型用于建模用户行为的序列性，例如循环神经网络、卷积神经网络、自注意力机制、以及图神经网络。然而，在现实中，用户的意图可能会随着时间而变化，它是很难根据有限的历史数据来捕捉这种变化。为了解决这一难题，跨域顺序推荐在国际上得到了广泛的关注。
跨域序列推荐通过结合用户在不同领域的历史交互，协作捕捉用户的偏好，这可以丰富目标领域的数据，从而获得更准确的推荐。关键的挑战是如何学习和转移跨领域的共享信息。开拓性的工作是π-Net和PSJNet它们依靠精心设计的门控机制来转移单域信息。为了捕捉相关物品之间的复杂关系，DA-GCN、TiDA-GCN和MIFN构建了不同领域物品之间的交互图(或知识图)来指导跨领域的信息传输。其他一些工作，如RecGURU和UniSRec，旨在通过生成一般化的表征来减少跨领域的信息转移差异。
然而，现有的关于跨域序列推荐的工作通常是通过共同的用户将不同领域之间的物品联系起来来转移知识，这存在以下局限性：(1)由于各领域之间固有的差异，跨领域的信息转移会受到不同领域中相关物品的不同表示的影响。(2)现有的研究都没有考虑物品之间的时间间隔信息，而这在顺序推荐中对于捕捉用户在一段时间内的意图至关重要。
发明内容
本发明目的是为了解决现有跨域序列推荐存在局限性而导致推荐准确度低的问题，提供了代理感知的跨域序列推荐方法、设备、介质和产品。
本发明是通过以下技术方案实现的，本发明一方面，提供一种代理感知的跨域序列推荐方法，所述方法包括：
步骤1、获得序列数据，对数据集预处理将其分为训练集，验证集和测试集；
步骤2、构建代理感知的跨域序列推荐模型；
步骤3、对步骤2所述代理感知的跨域序列推荐模型进行训练；
步骤4、将当前序列数据输入到步骤3训练后的代理感知的跨域序列推荐模型，计算候选物品相对于学习到的用户下一时刻感兴趣的物品表示的推荐得分，根据得分选择出用户感兴趣的物品。
进一步地，步骤1，具体包括：
步骤1.1、分别过滤两个不同域A/B数据集中过短的用户交互记录以及过于冷门的物品；所述过短的用户交互记录的确定方法为：当用户交互序列小于预设值时，该用户交互记录则被确定为过短的用户交互记录；
所述过于冷门的物品的确定方法为：当物品被交互次数小于预设值时，该物品则被确定为过于冷门的物品；
步骤1.2、提取两个域中重叠的用户的交互记录以及用户ID信息、物品ID信息和时间ID信息；
步骤1.3、根据步骤1.2中用户在两个域的交互记录以及时间信息按照时间戳的先后顺序合并成该用户的跨域序列；
步骤1.4、根据步骤1.2中物品ID信息从物品属性数据集中提取物品对应的文本信息拼接成物品的文档信息；
步骤1.5、应用数据增强技术，对于步骤1.2和步骤1.3的数据中每一条序列，将其划分为多个子序列；
步骤1.6、按留一法规则，将数据最后一个物品用于测试，倒数第二个物品用于验证，剩下数据用于训练。
进一步地，步骤2，具体包括：
步骤2.1、分别获得用户在不同单域交互序列中的物品初始嵌入表示和时间嵌入表示；
步骤2.2、将步骤1.4中物品文档信息输入代理嵌入编码器中得到物品在跨域序列中的嵌入表示；
步骤2.3、将步骤2.1中获得的用户在不同域A/B交互序列中的物品嵌入和时间嵌入分别输入到基于时间间隔的注意力编码器中，得到用户在两个不同域中序列表示；
步骤2.4、将步骤2.2中获得的用户跨域序列中的物品嵌入和时间嵌入输入到基于时间间隔的注意力编码器中，得到用户在跨域中序列表示；
步骤2.5、将步骤2.3中得到的同一用户在两个不同域A/B的序列表示计算相似度权重然后根据相似度权重得到增强后的跨域序列并将其输入到步骤2.3中的注意力编码器中得到增强跨域序列嵌入；
步骤2.6、将步骤2.4中的跨域序列表示和步骤2.5中的增强跨域序列表示输入到对比学习模块中去捕获跨域序列中来自不同域的物品之间的相关性。
进一步地，步骤2.1，具体包括：
步骤2.1.1、对每个单域的交互序列使用独热编码获得每个物品的ID编码，再通过可训练的参数矩阵将该编码变换为物品初始嵌入表示，对于其在序列中相应的位置信息，同样使用可训练的参数将位置编码变换为嵌入，获取物品初始嵌入表示和位置嵌入表示；
步骤2.1.2、对于任意序列中的两个物品的时间间隔信息由两者的交互时间之差构成，通过可训练的参数矩阵Wt将其独热编码组合，获取时间间隔嵌入表示。
进一步地，步骤2.3，具体包括：
步骤2.3.1、基于时间间隔的注意力编码器模块，第一步考虑序列中的位置信息，为序列中的每个物品注入一个位置嵌入表示以得到初始嵌入M0用于注意力层，输入为步骤2.1得到的物品初始嵌入ei和位置嵌入pi：
M0＝[e1+p1,e2+p2,…,el+pl]
步骤2.3.2、采用缩放点击注意力机制来建模序列关系：
其中为可学习的参数，/>和/>分别为物品p和物品q在第x层的表示，l为序列长度，/>为编码器第x层输出结果；在上述注意力机制的基础上设计一个掩码打分函数，融入步骤2.1得到的时间间隔信息：
其中，θpq用于计算和tpq之间的相关性，/>和bL为可学习参数，wpk与wpq的计算方法一样，θpk与θpq的计算方法一样；
步骤2.3.3、使用残差链接网络和点式前馈网络用于下一层的生成：
Mx+1＝LN(Mx+FFNx(Zx))
其中，Mx为物品第x层矩阵表示形式，Zx为编码器第x层输出矩阵表示形式，FFNx为第x层前向网络，LN为线性层；
步骤2.3.4、步骤2.3中基于时间间隔的注意力编码器模块使用函数TiAttEncoder来表示整个编码过程，对于步骤2.3中输入用户在不同域A/B的交互序列得到：
HA＝TiAttEncoderA(EA),
HB＝TiAttEncoderB(EB)
其中，EA、EB分别表示用户在A、B域的交互序列初始表征，HA、HB分别其表示经过两个序列编码器后的输出结果。
进一步地，步骤2.6，具体包括：
步骤2.6.1、将步骤2.4和步骤2.5得到的序列表示HC和分别进行平均池化操作：
其中，为一个提取并计算属于域A序列中每个项目的输出表示均值的函数，表示跨域序列中隶属于A域的项目集合；
步骤2.6.2、使用对比学习中的InfoNCE loss去构建辅助任务：
其中，表示同一批次内其他用户的跨域序列，/>表示其对应的输出表征，/>表示对比学习损失函数。
进一步地，步骤3，具体包括：
步骤3.1、将训练集中的数据输入到步骤2所述的代理感知的跨域序列推荐模型；分别得到用户下一时刻在不同域可能感兴趣的物品表示；
步骤3.2、将步骤3.1所述的用户下一时刻在不同域可能感兴趣的物品表示分别输入到对应域的预测模块，得到候选物品的推荐得分；
步骤3.3、联立单域和跨域的交叉熵损失函数以及步骤2.6中的对比损失函数构建整体损失函数并最小化以训练模型。
第二方面，本发明提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时执行如上文所述的一种代理感知的跨域序列推荐方法的步骤。
第三方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质中存储有多条计算机指令，所述多条计算机指令用于使计算机执行如上文所述的一种代理感知的跨域序列推荐方法。
第四方面，本发明提供一种计算机程序产品，所述计算机程序被处理器执行时实现如上文所述的一种代理感知的跨域序列推荐方法。
本发明的有益效果：
与现有技术相比，本发明针对现有跨域序列推荐模型的一些局限性，提出了一个代理感知的跨域序列推荐模型。该模型主要由三个模块组成：
首先，使用代理编码器模块对每个物品的文本描述进行编码，以获得一个更普遍的表征，该表征用于跨域序列，通过揭示更高层次的语义互连来传递跨域共享信息。
然后，设计了一个时间间隔感知的注意力编码器模块，其中任何两个物品之间的顺序次序和相对时间间隔都被利用。
最后，为了更好地理解跨域序列中不同领域的物品之间的相关性，提出了一个对比学习的辅助任务模块，以加强对跨域序列的表述。
本发明适用于有效处理信息过载问题，捕获用户动态偏好，并被广泛应用于各种场景，例如：电子商务，新闻推荐和广告推荐等。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为代理感知的跨域序列推荐方法模型框架图；
图2为代理感知的跨域序列推荐方法的流程图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
具体实施方式一、一种代理感知的跨域序列推荐方法，所述方法包括：
步骤1、获得序列数据，对数据集预处理将其分为训练集，验证集和测试集；
步骤2、构建代理感知的跨域序列推荐模型；
步骤3、对步骤2所述代理感知的跨域序列推荐模型进行训练；
步骤4、将当前序列数据输入到步骤3训练后的代理感知的跨域序列推荐模型，计算候选物品相对于学习到的用户下一时刻感兴趣的物品表示的推荐得分，根据得分选择出用户感兴趣的物品。
本实施方式中，与现有技术相比，本实施方式针对现有跨域序列推荐模型的一些局限性，提出了一个代理感知的跨域序列推荐模型。该模型主要由三个模块组成：首先使用代理编码器模块对每个物品的文本描述进行编码，以获得一个更普遍的表征，该表征用于跨域序列，通过揭示更高层次的语义互连来传递跨域共享信息。然后，设计了一个时间间隔感知的注意力编码器模块，其中任何两个物品之间的顺序次序和相对时间间隔都被利用。最后，为了更好地理解跨域序列中不同领域的物品之间的相关性，提出了一个对比学习的辅助任务模块，以加强对跨域序列的表述。
具体实施方式二，本实施方式是对实施方式一所述的一种代理感知的跨域序列推荐方法的进一步限定，本实施方式中，对步骤1，做了进一步限定，具体包括：
步骤1，具体包括：
步骤1.1、分别过滤两个不同域A/B数据集中过短的用户交互记录以及过于冷门的物品；所述过短的用户交互记录的确定方法为：当用户交互序列小于预设值时，该用户交互记录则被确定为过短的用户交互记录；
所述过于冷门的物品的确定方法为：当物品被交互次数小于预设值时，该物品则被确定为过于冷门的物品；
步骤1.2、提取两个域中重叠的用户的交互记录以及用户ID信息、物品ID信息和时间ID信息；
步骤1.3、根据步骤1.2中用户在两个域的交互记录以及时间信息按照时间戳的先后顺序合并成该用户的跨域序列；
步骤1.4、根据步骤1.2中物品ID信息从物品属性数据集中提取物品对应的文本信息拼接成物品的文档信息；
步骤1.5、应用数据增强技术，对于步骤1.2和步骤1.3的数据中每一条序列，将其划分为多个子序列；
步骤1.6、按留一法规则，将数据最后一个物品用于测试，倒数第二个物品用于验证，剩下数据用于训练。
本实施方式通过使用代理编码器模块对每个物品的文本描述进行编码，可以获得一个更普遍的表征，该表征用于跨域序列，通过揭示更高层次的语义互连来传递跨域共享信息。
具体实施方式三，本实施方式是对实施方式一所述的一种代理感知的跨域序列推荐方法的进一步限定，本实施方式中，对步骤2，做了进一步限定，具体包括：
步骤2，具体包括：
步骤2.1、分别获得用户在不同单域交互序列中的物品初始嵌入表示和时间嵌入表示；
步骤2.2、将步骤1.4中物品文档信息输入代理嵌入编码器中得到物品在跨域序列中的嵌入表示；
步骤2.3、将步骤2.1中获得的用户在不同域A/B交互序列中的物品嵌入和时间嵌入分别输入到基于时间间隔的注意力编码器中，得到用户在两个不同域中序列表示；
步骤2.4、将步骤2.2中获得的用户跨域序列中的物品嵌入和时间嵌入输入到基于时间间隔的注意力编码器中，得到用户在跨域中序列表示；
步骤2.5、将步骤2.3中得到的同一用户在两个不同域A/B的序列表示计算相似度权重然后根据相似度权重得到增强后的跨域序列并将其输入到步骤2.3中的注意力编码器中得到增强跨域序列嵌入；
步骤2.6、将步骤2.4中的跨域序列表示和步骤2.5中的增强跨域序列表示输入到对比学习模块中去捕获跨域序列中来自不同域的物品之间的相关性。
本实施方式中，设计了一个时间间隔感知的注意力编码器模块，其中任何两个物品之间的顺序次序和相对时间间隔都被利用。本实施方式考虑物品之间的时间间隔信息，而这在顺序推荐中对于捕捉用户在一段时间内的意图至关重要。
具体实施方式四，本实施方式是对实施方式三所述的一种代理感知的跨域序列推荐方法的进一步限定，本实施方式中，对步骤2.1，做了进一步限定，具体包括：
步骤2.1，具体包括：
步骤2.1.1、对每个单域的交互序列使用独热编码获得每个物品的ID编码，再通过可训练的参数矩阵将该编码变换为稠密的物品初始嵌入表示，对于其在序列中相应的位置信息，同样使用可训练的参数将位置编码变换为稠密的嵌入，获取物品初始嵌入表示和位置嵌入表示；
步骤2.1.2、对于任意序列中的两个物品的时间间隔信息由两者的交互时间之差构成，通过可训练的参数矩阵Wt将其独热编码组合，获取时间间隔嵌入表示。
本实施方式给出了用户在不同单域交互序列中的物品初始嵌入表示、位置嵌入表示和时间嵌入表示方法。
具体实施方式五，本实施方式是对实施方式四所述的一种代理感知的跨域序列推荐方法的进一步限定，本实施方式中，对步骤2.3，做了进一步限定，具体包括：
步骤2.3，具体包括：
步骤2.3.1、基于时间间隔的注意力编码器模块，第一步考虑序列中的位置信息，为序列中的每个物品注入一个位置嵌入表示以得到初始嵌入M0用于注意力层，输入为步骤2.1得到的物品初始嵌入ei和位置嵌入pi：
M0＝[e1+p1,e2+p2,…,el+pl]
步骤2.3.2、采用缩放点击注意力机制来建模序列关系：
其中为可学习的参数，/>和/>分别为物品p和物品q在第x层的表示，l为序列长度，/>为编码器第x层输出结果；在上述注意力机制的基础上设计一个掩码打分函数，融入步骤2.1得到的时间间隔信息：
其中，θpq用于计算和tpq之间的相关性，/>和bL为可学习参数，wpk与wpq的计算方法一样，θpk与θpq的计算方法一样；
步骤2.3.3、使用残差链接网络和点式前馈网络用于下一层的生成：
Mx+1＝LN(Mx+FFNx(Zx))
其中，Mx为物品第x层矩阵表示形式，Zx为编码器第x层输出矩阵表示形式，FFNx为第x层前向网络，LN为线性层；
步骤2.3.4、步骤2.3中基于时间间隔的注意力编码器模块使用函数TiAttEncoder来表示整个编码过程，对于步骤2.3中输入用户在不同域A/B的交互序列得到：
H]＝TiAttEncoderA(EA),
HB＝TiAttEncoderB(EB)
其中，EA、EB分别表示用户在A、B域的交互序列初始表征，HA、HB分别其表示经过两个序列编码器后的输出结果。
本实施方式中，首先，此外为了考虑时间间隔信息对序列的影响，在上述注意力机制的基础上设计一个掩码打分函数；
其次，为了防止过度拟合和实现稳定的训练过程，使用残差链接网络和点式前馈网络用于下一层的生成。
具体实施方式六，本实施方式是对实施方式五所述的一种代理感知的跨域序列推荐方法的进一步限定，本实施方式中，对步骤2.6，做了进一步限定，具体包括：
步骤2.6，具体包括：
步骤2.6.1、将步骤2.4和步骤2.5得到的序列表示HC和分别进行平均池化操作：
其中，为一个提取并计算属于域A序列中每个项目的输出表示均值的函数，表示跨域序列中隶属于A域的项目集合；
步骤2.6.2、使用对比学习中的InfoNCE loss去构建辅助任务：
其中，表示同一批次内其他用户的跨域序列，/>表示其对应的输出表征，/>表示对比学习损失函数。
本实施方式中，为了更好地理解跨域序列中不同领域的物品之间的相关性，提出了一个对比学习的辅助任务模块，以加强对跨域序列的表述。
具体实施方式七，本实施方式是对实施方式一至六任一项所述的一种代理感知的跨域序列推荐方法的进一步限定，本实施方式中，对步骤3，做了进一步限定，具体包括：
步骤3，具体包括：
步骤3.1、将训练集中的数据输入到步骤2所述的代理感知的跨域序列推荐模型；分别得到用户下一时刻在不同域可能感兴趣的物品表示；
步骤3.2、将步骤3.1所述的用户下一时刻在不同域可能感兴趣的物品表示分别输入到对应域的预测模块，得到候选物品的推荐得分；
步骤3.3、联立单域和跨域的交叉熵损失函数以及步骤2.6中的对比损失函数构建整体损失函数并最小化以训练模型。
本实施方式中，所述步骤3.3中跨域的交叉熵损失函数，与单域序列不同，可能存在由一个数据丰富的领域主导的情况，为此将跨域损失函数分解成两个同样独立的部分，即域A和域B，进行优化，即使跨域序列包含另一域的多个连续项，也能保持对当前域的预测能力。
具体实施方式八，本实施方式是如上文所述的一种代理感知的跨域序列推荐方法的实施例1，具体包括：
通过以下步骤实现：
步骤1：获得序列数据，对数据集预处理将其分为训练集，验证集和测试集；
步骤2：构建代理感知的跨域序列推荐模型，具体包含如下步骤：
步骤2.1：分别获得用户在不同单域交互序列中的物品初始嵌入表示和时间嵌入表示；
步骤2.2：将步骤1.4中物品文档信息输入代理嵌入编码器中得到物品在跨域序列中的嵌入表示；
步骤2.3：将步骤2.1中获得的用户在不同域A/B交互序列中的物品嵌入和时间嵌入分别输入到基于时间间隔的注意力编码器中，得到用户在两个不同域中序列表示；
步骤2.4：将步骤2.2中获得的用户跨域序列中的物品嵌入和时间嵌入输入到基于时间间隔的注意力编码器中，得到用户在跨域中序列表示；
步骤2.5：将步骤2.3中得到的同一用户在两个不同域A/B的序列表示计算相似度权重然后根据相似度权重得到增强后的跨域序列并将其输入到步骤2.3中的注意力编码器中得到增强跨域序列嵌入；
步骤2.6：将步骤2.4中的跨域序列表示和步骤2.5中的增强跨域序列表示输入到对比学习模块中去捕获跨域序列中来自不同域的物品之间的相关性。
步骤3：对步骤2所述代理感知的跨域序列推荐模型进行训练，具体包含如下步骤：
步骤3.1：将训练集中的数据输入到步骤2所述的代理感知的跨域序列推荐模型。分别得到用户下一时刻在不同域可能感兴趣的物品表示；
步骤3.2：将步骤3.1所述的用户下一时刻在不同域可能感兴趣的物品表示分别输入到对应域的预测模块，得到候选物品的推荐得分；
步骤3.3：联立单域和跨域的交叉熵损失函数以及步骤2.6中的对比损失函数构建整体损失函数并最小化以训练模型。
步骤4：将当前序列数据输入到步骤3训练后的融合多方面时域信息的序列推荐模型，计算候选物品相对于学习到的用户下一时刻感兴趣的物品表示的推荐得分，根据得分选择出用户感兴趣的物品。
具体实施方式九，本实施方式是如上文所述的一种代理感知的跨域序列推荐方法的实施例2，具体包括：
如图1至图2所示，本实施例提供了代理感知的跨域序列推荐方法，具体包括以下步骤：
步骤1：获得序列数据，对数据集预处理将其分为训练集，验证集和测试集；
所述步骤1具体包含以下步骤：
步骤1.1：分别过滤两个不同域A/B数据集中过短的用户交互记录以及过于冷门的物品，例如用户交互序列小于5、物品被交互次数小于5；
步骤1.2：提取两个域中重叠的用户的交互记录以及用户ID信息、物品ID信息和时间ID信息；
步骤1.3：根据步骤1.2中用户在两个域A/B的交互记录SA＝[a1,a2,…,ai,…]和SB＝[B1,b2,…,bj,…]以及时间信息按照时间戳的先后顺序合并成该用户的跨域序列SC＝[a1,b1,ai,…,bj,…]；
步骤1.4：根据步骤1.2中物品ID信息从物品属性数据集中提取物品对应的类别、描述等文本信息拼接成物品的文档信息，对于物品ai，其文档表示为：
其中wk表示文档中第k个单词；
步骤1.5：应用数据增强技术，对于步骤1.2和步骤1.3的数据中每一条序列，将其划分为多个子序列，子序列最后一个物品为标签数据，例如某条序列数据为[a1,a2,a3,a4]则划分子序列为([a1],[a2])，([a1,a2],[a3])，([a1,a2,a3],[a4])；
步骤1.6：按留一法规则，将数据最后一个物品用于测试，倒数第二个物品用于验证，剩下数据用于训练，进而划分成训练集，验证集和测试集。
步骤2：构建代理感知的跨域序列推荐模型；
所述步骤2具体包含以下步骤：
步骤2.1：分别获得用户在不同单域交互序列中的物品初始嵌入表示、位置嵌入表示和时间嵌入表示；
所述步骤2.1中，首先以用户在A域的交互序列为例，其中A域的交互序列SA＝[a1,a2,…,ai,…],使用独热编码获得每个物品ai的ID编码xai，再通过可训练的参数矩阵WA将该编码变换为稠密的物品初始嵌入表示，对于其在序列中相应的位置信息同样使用可训练的参数Wp将位置编码变换为稠密的嵌入，最终物品初始嵌入表示和位置嵌入表示为：
其中d为嵌入向量的维度；
同样，对于该用户在B域的交互序列SB＝[b1,b2,…,bj,…]，使用同样的方式得到其物品的初始嵌入表示和位置嵌入表示。
此外，对于任意序列中的两个物品p和q的时间间隔信息由两者的交互时间之差构成，即tpq＝|tp-tq|，这里也利用同样的方式，通过可训练的参数矩阵Wt将其独热编码组合变成稠密的时间间隔嵌入表示：
rpq＝tpqWt
其中rpq∈Rd，其中d为嵌入向量的维度；
步骤2.2：将步骤1.4中物品文档信息输入代理嵌入编码器中得到物品在跨域序列中的嵌入表示；所述文档信息是由文本信息构成；
所述步骤2.2中代理嵌入编码器模块，输入为步骤1.4得到的物品的文档信息编码器使用目前广泛使用的预训练语言模型BERT来学习通用文本表示：
其中，其中d为嵌入向量的维度；
步骤2.3：将步骤2.1中获得的用户在不同域A/B交互序列中的物品嵌入和时间嵌入分别输入到基于时间间隔的注意力编码器中，得到用户在两个不同域中序列表示；
所述步骤2.3中基于时间间隔的注意力编码器模块，第一步考虑序列中的位置信息，为序列中的每个物品注入一个位置嵌入表示以得到初始嵌入M0用于注意力层，输入为步骤2.1得到的物品初始嵌入ei和位置嵌入pi：
M0＝[e1+p1,e2+p2,…,el+pl]
接着采用缩放点击注意力机制来建模序列关系：
其中为可学习的参数，/>和/>分别为物品p和物品q在第x层的表示，l为序列长度，/>为编码器第x层输出结果。此外为了考虑时间间隔信息对序列的影响，在上述注意力机制的基础上设计一个掩码打分函数，融入步骤2.1得到的时间间隔信息：
其中为θpq用于计算和tpq之间的相关性，/>和bL为可学习参数，wpk与wpq的计算方法一样，θpk与θpq的计算方法一样；
为了防止过度拟合和实现稳定的训练过程，使用残差链接网络和点式前馈网络用于下一层的生成：
Mx+1＝LN(Mx+FFNx(Zx)).
其中Mx为物品第x层矩阵表示形式，Zx为编码器第x层输出矩阵表示形式，FFNx为第x层前向网络，LN为线性层。
最后所述步骤2.3中基于时间间隔的注意力编码器模块可以使用函数TiAttEncoder来表示整个编码过程，对于步骤2.3中输入用户在不同域A/B的交互序列可以得到：
HA＝TiAttEncoderA(EA),
HB＝TiAttEncoderB(EB)
其中EA、EB分别表示用户在A、B域的交互序列初始表征，HA、HB分别其表示经过两个序列编码器后的输出结果。
步骤2.4：将步骤2.2中获得的用户跨域序列中的物品嵌入和时间嵌入输入到基于时间间隔的注意力编码器中，得到用户在跨域中序列表示：
HC＝TiAttEncoderC(HC)
其中EC分别表示用户在跨域的交互序列初始表征，HC分别其表示经过跨域序列编码器后的输出结果。
步骤2.5：将步骤2.3中得到的同一用户在两个不同域A/B的序列表示计算相似度权重，然后根据相似度权重得到增强后的跨域序列并将其输入到步骤2.3中的注意力编码器中得到增强跨域序列嵌入。
所述步骤2.5中权重相似度过程为，首先计算用户在两个域的交互序列之间的相似度ΦB：
其中为HA经过池化操作后的结果。
接着对于权重小于0.5(预设权重)的物品，这里使用掩码符号[m]替换，替换后得到增强的跨域序列：
最后将得到的增强跨域序列输入步骤2.4中的基于时间间隔的注意力编码器中得到增强跨域序列嵌入：
步骤2.6:将步骤2.4中的跨域序列表示和步骤2.5中的增强跨域序列表示输入到对比学习模块中去捕获跨域序列中来自不同域的物品之间的相关性。
所述步骤2.6中对比学习模块的过程为，首先先将步骤2.4和步骤2.5得到的序列表示HC和分别进行平均池化操作：
其中为一个提取并计算属于域A序列中每个项目的输出表示均值的函数，表示跨域序列中隶属于A域的项目集合。
接着再使用对比学习中的InfoNCE loss去构建辅助任务：
其中表示同一批次内其他用户的跨域序列，/>表示其对应的输出表征，/>表示对比学习损失函数。
步骤3：对步骤2所述代理感知的跨域序列推荐模型进行训练，具体包含如下步骤：
步骤3.1：将训练集中的数据输入到步骤2所述的代理感知的跨域序列推荐模型。分别得到用户下一时刻在不同域可能感兴趣的物品表示。
步骤3.2：将步骤3.1所述的用户下一时刻在不同域可能感兴趣的物品表示分别输入到对应域的预测模块，得到候选物品的推荐得分。
所述步骤3.2中计算推荐得分的过程为，对于用户任意一单域的下一项交互ak+1/bk+1为用户在该域下可能感兴趣的物品表示和跨域下的表示/>共同决定，其打分为：
对于用户在跨域序列中的下一项交互物品，其打分为：
其中WA、WB为可学习的参数。
步骤3.3：联立单域和跨域的交叉熵损失函数以及步骤2.6中的对比损失函数构建整体损失函数并最小化以训练模型；
所述步骤3.3中单域的交叉熵损失函数为：
所述步骤3.3中跨域的交叉熵损失函数，与单域序列不同，可能存在由一个数据丰富的领域主导的情况，为此将跨域损失函数分解成两个同样独立的部分，即域A和域B，进行优化，即使跨域序列包含另一域的多个连续项，也能保持对当前域的预测能力：
所述步骤3.3中联立构建的整体损失函数为：
其中为B域损失函数，/>为对比损失函数，λ为平衡推荐损失和对比损失的超参数。
步骤4：将当前序列数据输入到步骤3中训练后的代理感知的跨域序列推荐推荐模型，计算待推荐物品相对于当前序列的推荐得分，根据推荐得分将物品推荐给当前用户。
所述步骤4中，将所述物品推荐得分进行排序，将得分最高的前K个物品推荐给用户。
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (10)

1.一种代理感知的跨域序列推荐方法，其特征在于，所述方法包括：
步骤1、获得序列数据，对数据集预处理将其分为训练集，验证集和测试集；
步骤2、构建代理感知的跨域序列推荐模型；
步骤3、对步骤2所述代理感知的跨域序列推荐模型进行训练；
步骤4、将当前序列数据输入到步骤3训练后的代理感知的跨域序列推荐模型，计算候选物品相对于学习到的用户下一时刻感兴趣的物品表示的推荐得分，根据得分选择出用户感兴趣的物品。
2.根据权利要求1所述的一种代理感知的跨域序列推荐方法，其特征在于，步骤1，具体包括：
步骤1.1、分别过滤两个不同域A/B数据集中过短的用户交互记录以及过于冷门的物品；所述过短的用户交互记录的确定方法为：当用户交互序列小于预设值时，该用户交互记录则被确定为过短的用户交互记录；
所述过于冷门的物品的确定方法为：当物品被交互次数小于预设值时，该物品则被确定为过于冷门的物品；
步骤1.2、提取两个域中重叠的用户的交互记录以及用户ID信息、物品ID信息和时间ID信息；
步骤1.3、根据步骤1.2中用户在两个域的交互记录以及时间信息按照时间戳的先后顺序合并成该用户的跨域序列；
步骤1.4、根据步骤1.2中物品ID信息从物品属性数据集中提取物品对应的文本信息拼接成物品的文档信息；
步骤1.5、应用数据增强技术，对于步骤1.2和步骤1.3的数据中每一条序列，将其划分为多个子序列；
步骤1.6、按留一法规则，将数据最后一个物品用于测试，倒数第二个物品用于验证，剩下数据用于训练。
3.根据权利要求1所述的一种代理感知的跨域序列推荐方法，其特征在于，步骤2，具体包括：
步骤2.1、分别获得用户在不同单域交互序列中的物品初始嵌入表示和时间嵌入表示；
步骤2.2、将步骤1.4中物品文档信息输入代理嵌入编码器中得到物品在跨域序列中的嵌入表示；
步骤2.3、将步骤2.1中获得的用户在不同域A/B交互序列中的物品嵌入和时间嵌入分别输入到基于时间间隔的注意力编码器中，得到用户在两个不同域中序列表示；
步骤2.4、将步骤2.2中获得的用户跨域序列中的物品嵌入和时间嵌入输入到基于时间间隔的注意力编码器中，得到用户在跨域中序列表示；
步骤2.5、将步骤2.3中得到的同一用户在两个不同域A/B的序列表示计算相似度权重然后根据相似度权重得到增强后的跨域序列并将其输入到步骤2.3中的注意力编码器中得到增强跨域序列嵌入；
步骤2.6、将步骤2.4中的跨域序列表示和步骤2.5中的增强跨域序列表示输入到对比学习模块中去捕获跨域序列中来自不同域的物品之间的相关性。
4.根据权利要求3所述的一种代理感知的跨域序列推荐方法，其特征在于，步骤2.1，具体包括：
步骤2.1.1、对每个单域的交互序列使用独热编码获得每个物品的ID编码，再通过可训练的参数矩阵将该编码变换为物品初始嵌入表示，对于其在序列中相应的位置信息，同样使用可训练的参数将位置编码变换为嵌入，获取物品初始嵌入表示和位置嵌入表示；
步骤2.1.2、对于任意序列中的两个物品的时间间隔信息由两者的交互时间之差构成，通过可训练的参数矩阵Wt将其独热编码组合，获取时间间隔嵌入表示。
5.根据权利要求4所述的一种代理感知的跨域序列推荐方法，其特征在于，步骤2.3，具体包括：
步骤2.3.1、基于时间间隔的注意力编码器模块，第一步考虑序列中的位置信息，为序列中的每个物品注入一个位置嵌入表示以得到初始嵌入M0用于注意力层，输入为步骤2.1得到的物品初始嵌入ei和位置嵌入pi：
M0＝[e1+p1，e2+p2，…，el+pl]
步骤2.3.2、采用缩放点击注意力机制来建模序列关系：
其中为可学习的参数，/>和/>分别为物品p和物品q在第x层的表示，l为序列长度，/>为编码器第x层输出结果；在上述注意力机制的基础上设计一个掩码打分函数，融入步骤2.1得到的时间间隔信息：
其中，θpq用于计算和tpq之间的相关性，/>和bL为可学习参数，wpk与wpq的计算方法一样，θpk与θpq的计算方法一样；
步骤2.3.3、使用残差链接网络和点式前馈网络用于下一层的生成：
Mx+1＝LN(Mx+FFNx(Zx))
其中，Mx为物品第x层矩阵表示形式，Zx为编码器第x层输出矩阵表示形式，FFNx为第x层前向网络，LN为线性层；
步骤2.3.4、步骤2.3中基于时间间隔的注意力编码器模块使用函数TiAttEncoder来表示整个编码过程，对于步骤2.3中输入用户在不同域A/B的交互序列得到：
HA＝TiAttEncoderA(EA)，
HB＝TiAttEncoderB(EB)
其中，EA、EB分别表示用户在A、B域的交互序列初始表征，HA、HB分别其表示经过两个序列编码器后的输出结果。
6.根据权利要求5所述的一种代理感知的跨域序列推荐方法，其特征在于，步骤2.6，具体包括：
步骤2.6.1、将步骤2.4和步骤2.5得到的序列表示HC和分别进行平均池化操作：
其中，为一个提取并计算属于域A序列中每个项目的输出表示均值的函数，/>表示跨域序列中隶属于A域的项目集合；
步骤2.6.2、使用对比学习中的InfoNCE loss去构建辅助任务：
其中，SC′表示同一批次内其他用户的跨域序列，表示其对应的输出表征，/>表示对比学习损失函数。
7.根据权利要求1-6任一项所述的一种代理感知的跨域序列推荐方法，其特征在于，步骤3，具体包括：
步骤3.1、将训练集中的数据输入到步骤2所述的代理感知的跨域序列推荐模型；分别得到用户下一时刻在不同域可能感兴趣的物品表示；
步骤3.2、将步骤3.1所述的用户下一时刻在不同域可能感兴趣的物品表示分别输入到对应域的预测模块，得到候选物品的推荐得分；
步骤3.3、联立单域和跨域的交叉熵损失函数以及步骤2.6中的对比损失函数构建整体损失函数并最小化以训练模型。
8.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，当所述处理器运行所述存储器存储的计算机程序时执行权利要求1至7中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有多条计算机指令，所述多条计算机指令用于使计算机执行权利要求1至7中任一项所述的方法。
10.一种计算机程序产品，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。
CN202310709833.4A 2023-06-15 2023-06-15 代理感知的跨域序列推荐方法、设备、介质和产品 Pending CN116881548A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310709833.4A CN116881548A (zh) 2023-06-15 2023-06-15 代理感知的跨域序列推荐方法、设备、介质和产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310709833.4A CN116881548A (zh) 2023-06-15 2023-06-15 代理感知的跨域序列推荐方法、设备、介质和产品

Publications (1)

Publication Number Publication Date
CN116881548A true CN116881548A (zh) 2023-10-13

Family

ID=88267133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310709833.4A Pending CN116881548A (zh) 2023-06-15 2023-06-15 代理感知的跨域序列推荐方法、设备、介质和产品

Country Status (1)

Country Link
CN (1) CN116881548A (zh)

Similar Documents

Publication Publication Date Title
CN110162749B (zh) 信息提取方法、装置、计算机设备及计算机可读存储介质
CN106599226B (zh) 一种内容推荐方法及内容推荐系统
CN111339415B (zh) 一种基于多交互式注意力网络的点击率预测方法与装置
Yu et al. The neural noisy channel
WO2018112696A1 (zh) 一种内容推荐方法及内容推荐系统
CN111382361A (zh) 信息推送方法、装置、存储介质和计算机设备
CN113987169A (zh) 基于语义块的文本摘要生成方法、装置、设备及存储介质
Xiao et al. Hierarchical neural variational model for personalized sequential recommendation
CN112016002A (zh) 融合评论文本层级注意力和时间因素的混合推荐方法
CN111325571A (zh) 一种多任务学习的商品评论标签自动生成方法、装置及系统
CN113569001A (zh) 文本处理方法、装置、计算机设备及计算机可读存储介质
Rafailidis et al. Adversarial training for review-based recommendations
Liu et al. UAMNer: uncertainty-aware multimodal named entity recognition in social media posts
Xiong et al. DNCP: An attention-based deep learning approach enhanced with attractiveness and timeliness of News for online news click prediction
CN113128196A (zh) 文本信息处理方法及其装置、存储介质
CN116245097A (zh) 训练实体识别模型的方法、实体识别方法及对应装置
CN113420212A (zh) 基于深度特征学习的推荐方法、装置、设备及存储介质
Zhang et al. Learning sequential and general interests via a joint neural model for session-based recommendation
CN116680363A (zh) 一种基于多模态评论数据的情感分析方法
He et al. Deep learning in natural language generation from images
Firdaus et al. Sentiment guided aspect conditioned dialogue generation in a multimodal system
Wang et al. Application of an emotional classification model in e-commerce text based on an improved transformer model
Alshehri et al. Generative adversarial zero-shot learning for cold-start news recommendation
CN117033804A (zh) 一种主客观视角引导下的点击诱导检测方法
CN116881548A (zh) 代理感知的跨域序列推荐方法、设备、介质和产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination