CN113761383B - 一种基于统一用户行为建模的搜索和推荐融合系统 - Google Patents

一种基于统一用户行为建模的搜索和推荐融合系统 Download PDF

Info

Publication number
CN113761383B
CN113761383B CN202111191029.9A CN202111191029A CN113761383B CN 113761383 B CN113761383 B CN 113761383B CN 202111191029 A CN202111191029 A CN 202111191029A CN 113761383 B CN113761383 B CN 113761383B
Authority
CN
China
Prior art keywords
user
unified
history
document
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111191029.9A
Other languages
English (en)
Other versions
CN113761383A (zh
Inventor
窦志成
姚菁
文继荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renmin University of China
Original Assignee
Renmin University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renmin University of China filed Critical Renmin University of China
Priority to CN202111191029.9A priority Critical patent/CN113761383B/zh
Publication of CN113761383A publication Critical patent/CN113761383A/zh
Application granted granted Critical
Publication of CN113761383B publication Critical patent/CN113761383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明通过人工智能处理领域的方法，实现了一种基于统一用户行为建模的搜索和推荐融合系统。通过四个组成模块构成的统一的搜索推荐模型，解决搜索和推荐两个独立的任务；所述四个组成模块包括：文本编码器，用于学习文档和查询的表示向量；会话编码器，用于建模当前会话中的用户行为序列来明确用户的信息需求；历史编码器，从长期历史中挖掘信息来增强用户意图的表示；统一任务框架，以统一的方式完成个性化搜索和推荐任务，最终得到对于候选文档的个性化得分。本发明同时关注了个性化搜索和推荐两个任务，合并了用户的搜索行为和推荐中的浏览行为，并设计了一个统一的搜索和推荐模型基于合并的数据来同时解决这两个问题，从而提升两个任务的效果。

Description

一种基于统一用户行为建模的搜索和推荐融合系统
技术领域
本发明涉及人工智能领域，尤其涉及一种基于统一用户行为建模的搜索和推荐融合系统。
背景技术
搜索和推荐是用户获取信息的两种主要途径，为了提升用户对搜索结果和推荐列表的满意度，很多个性化搜索模型和推荐模型陆续被提出。这些模型旨在于从用户的历史行为中挖掘用户兴趣从而推断用户当前的个性化意图。
根据是否使用深度学习，现有的个性化搜索模型可以分为两大类：传统的个性化搜索模型和基于深度学习的个性化搜索模型。传统的个性化搜索模型主要依靠特征或启发式算法来分析用户兴趣。一部分工作认为用户的点击行为充分体现了用户兴趣，使用点击特征来帮助个性化排序；一部分工作则利用话题模型(Topic Model)从用户历史点击过的文档中抽取话题，并根据这些话题在话题空间中建立用户的兴趣画像；还有一部分工作采用特征工程，从用户的查询历史中抽取一系列与用户兴趣相关的特征来构成用户兴趣的表示。然而，这些传统方法基于经验对用户兴趣进行分析建模，对特征合理性和有效性的要求极高，而且得到的兴趣向量涵盖范围也很有限。为了解决这些问题以更好地挖掘用户兴趣，一系列基于深度学习的个性化搜索模型被提出。其中一部分模型不显式地设计特征来表示用户兴趣，而是直接从用户的查询日志中学习得到用户兴趣的分布式表示向量；另一部分模型则是直接利用单个用户的查询日志作为训练数据来训练满足个性化搜索的个人排序模型；还有一部分模型从直接消除查询歧义的角度出发来提升个性化效果。
传统的推荐模型主要依赖于协同过滤CF(Collaborative Filtering)和分解机FM(Factorization Machine)。随着深度学习的兴起，很多模型还融入了低阶和高阶的特征交互。对于新闻文章的推荐，由于其包含丰富的文本信息，很多基于表示的模型被提出。这些模型主要由两个模块构成：文本编码器和用户编码器。文本编码器用于获得新闻文章的表示向量，用户编码器则基于用户的浏览历史来建模用户表示。然后，我们依据新闻和用户的相关性来对待推荐的新闻文章进行排序。很多网络结构被用于学习文本和用户的表示向量，包括RNN，自编码器，多头自注意力机制等。新闻的各个部分，包括标题、正文、话题类别都被使用了。此外，为了丰富新闻的语义表示向量，实体信息和知识图谱也被使用。图神经网络也被用于捕捉新闻文章和用户之间更高阶的关联。
有少量方法简单地结合了推荐和搜索两个任务。在电商领域，一个早期的搜索&推荐联合系统合并了两者的特征；Zamani等人提出了一个联合训练框架——通过优化两个任务的联合损失来同时训练两个任务模型；搜索历史也被用于增强推荐任务的效果。
现有的个性化搜索模型或推荐模型都只是针对其中一个单独的任务设计的，忽略了另一个任务。实际上，搜索和推荐任务是非常相似的，他们都有一个共同的目标——在特定时刻帮助用户获得想要的信息。因此，挖掘两个任务之间的关联应该有助于同时促进两者。当前，越来越多的移动应用和网站平台都同时为用户提供了搜索和推荐服务。在这些平台上，用户既会主动地输入查询来查找信息，也会浏览系统推荐的内容，而且用户在从互联网上获取信息的过程中也经常交替使用这两种服务。比如，当一个用户在浏览推荐文章时，点击阅读了一篇文章“下一个社交浪潮即将到来，TikTok和Discord会成为引领者吗？”这篇文章提到了很多社交媒体，包括Facebook,Snapchat,Twitter等。由于用户对Snapchat不了解，她会在搜索引擎中输入相关查询查找更多关于Snapchat的信息。这样混合了搜索和浏览的信息获取方式在我们日常上网的过程中是非常常见的。从上面的例子中，我们发现用户的搜索行为和浏览行为都反映了他的兴趣爱好和信息需求，浏览行为可能会刺激搜索行为，同样搜索行为也可能会影响浏览行为。这也为同时研究搜索和推荐两个任务提供了机会。而目前已有的联合模型只是简单地考虑将两个任务结合起来，并没有深入探索两者之间的联系。在本文中，我们希望充分挖掘两个任务之间的关联，来帮助提升两个任务的效果。
发明内容
为此，本发明提出一种基于统一用户行为建模的搜索和推荐融合系统，通过四个组成模块构成的统一的搜索推荐模型，同时解决搜索和推荐两个独立的任务；所述四个组成模块包括：文本编码器，用于学习文档和查询的表示向量；会话编码器，用于建模当前会话中的用户行为序列来明确用户的信息需求；历史编码器，从长期历史中挖掘信息来增强用户意图的表示；统一任务框架，以统一的方式完成个性化搜索和推荐任务。即以相同的方式计算候选文档的个性化得分，并基于个性化得分的高低排序得到最终的文档排序结果。。
所述文本编码器分为三层，第一层是词向量层，对于一个浏览文档B＝[w1，w2，...，wM]，将词序列转换为词向量矩阵EmbB＝[v1，v2，...，vM]，其中vi对应词wi的低维词向量，第二层为词层面的transformer，通过捕捉单词之间的交互来获得融入上下文的词向量CB：CB＝Transformerw(EmbB)，第三层是词层面的注意力层；
所述词层面的注意力层运用词级别的注意力机制赋予词权重，设置一个可训练的向量qw作为注意力机制中的query，所有词的权重α：
Figure BDA0003301204360000031
Figure BDA0003301204360000032
所有词向量的加权和rB表示为：/>
Figure BDA0003301204360000033
Figure BDA0003301204360000034
作为浏览文档B对应的表示向量。查询Q和对应的若干个点击文档D＝[D1，D2，...，Di]的向量计算也同上。对于查询Q，/>
Figure BDA0003301204360000035
Figure BDA0003301204360000036
对于点击文档D1，/>
Figure BDA0003301204360000037
Figure BDA0003301204360000038
所述会话编码器首先对搜索或推荐的意图进行初始化，并采用co-attention结构融合历史查询Q和对应的若干点击文档Di的交互信息，然后用transformer结构来处理在整个会话中的行为，计算各个行为的融入了会话上下文之后的意图表示；
所述初始化方法为：在当前时刻t，对于用户主动输入的查询Qt，用该查询的文本表示向量
Figure BDA00033012043600000310
来初始化意图It，用户未主动输入查询时用可训练的用户向量Embu进行初始化
Figure BDA0003301204360000039
得到初始化意图It；
所述用于融合历史查询Q和对应的若干点击文档Di的交互信息的co-attention结构的计算方法为：第一步，通过所述文本编码器中的词向量层和transformer层，得到查询和每个文档的上下文表示向量矩阵CQ，
Figure BDA0003301204360000041
所有点击文档的向量拼接在一起，即/>
Figure BDA0003301204360000042
第二步，计算查询和文档之间的交互矩阵A：A＝tanh((CQ)TWlCD)，其中Wl是待训练的参数，查询和文档的注意力权重基于交互矩阵的特征计算如下：HQ＝tanh(WqCQ+(WdCD)A)，
Figure BDA0003301204360000043
HQ＝tanh(WdCD+(WqCQ)AT)，/>
Figure BDA0003301204360000044
Figure BDA0003301204360000045
Wq，Wd，Whq，Whd是参数，αQ和αD是查询和文档的注意力权重；第三步，计算查询和文档的表示向为上下文向量的加权和：/>
Figure BDA0003301204360000046
Figure BDA0003301204360000047
将向量/>
Figure BDA0003301204360000048
拼接到一起再通过一个全连接层得到一个历史搜索行为的表示向量即为由所述文本编码器计算的该文章的表示向量rs；
在此基础上，计算得到当前会话中所有短期历史行为的表示。当前会话的历史行为为
Figure BDA0003301204360000049
将短期历史Hs和用户的目标意图It拼接在一起经过一个会话层面的transformer进行交互，为每个行为加上位置和搜索、浏览两类类别信息，最后一个位置的输出/>
Figure BDA00033012043600000410
即表示融入了会话上下文之后的意图表示：
Figure BDA00033012043600000411
[Hs，It]P，[Hs，It]T是位置向量和类别向量，
Figure BDA00033012043600000412
表示取最后一个位置的输出。
所述历史编码器通过建模长期历史来明确用户意图
Figure BDA00033012043600000413
首先，用所述会话编码器处理每个历史会话，捕捉异质性行为之间的关联，得到所有历史行为的上下文表示
Figure BDA00033012043600000414
(注：l表示长期历史，s表示短期历史)，带有下脚标s表示通过会话编码器融入了短期历史之后的表示，上角标表示对应的是历史浏览行为还是搜索行为的表示，将所有会话的子序列连接起来并拼接上目标行为得到/>
Figure BDA00033012043600000415
然后用一个历史层面的transformer模块处理长期的异质序列将历史信息融入到当前意图中并加入每个行为的位置，最后，取最后一个位置的输出作为由长期历史增强得到的意图表示向量/>
Figure BDA00033012043600000416
Figure BDA00033012043600000417
对于候选文档，我们首先用所述文本编码器计算文档的向量
Figure BDA0003301204360000051
然后，我们用长期历史来增强其表示，得到/>
Figure BDA0003301204360000052
计算如下：/>
Figure BDA0003301204360000053
Figure BDA0003301204360000054
所述统一任务框架用余弦相似度计算所述文档的向量
Figure BDA0003301204360000055
所述融入了会话上下文之后的意图表示/>
Figure BDA0003301204360000056
所述由长期历史增强得到的意图表示向量/>
Figure BDA0003301204360000057
所述增强表示的文档的向量/>
Figure BDA0003301204360000058
两两之间的相似性，利用基于交互的模型KNRM来计算交互得分为/>
Figure BDA0003301204360000059
并采用一些额外的相关性特征Fq，d(包括文档的点击次数、点击交叉熵等)用于计算个性化得分，得到
Figure BDA00033012043600000510
最后，候选文档的得分通过一个全连接层聚合所有以上的得分得到所述个性化得分punified(Dt|It，Qt，H)：punified(Dt|It，Qt，H)＝MLP(funified)。
所述系统的训练方法为：对于搜索和推荐任务，每个训练样本是一组文档，包括在一个列表中返回的一个正例文档和K个负例文档，表示为
Figure BDA00033012043600000511
对每一组文档，最大化整理文档的得分并最小化负例文档的得分，损失L计算如下：
Figure BDA00033012043600000512
punified(·)是punified(·|It，Qt，H)的缩写；用Adam优化器来最小化模型损失；并在训练过程中，首先用两个任务的数据训练一个统一的搜索推荐模型，然后为每个任务复制一份模型参数并且用对应的任务数据对其进行调整以适应该任务的数据分布情况。
本发明所要实现的技术效果在于：
本发明同时关注了个性化搜索和推荐两个任务，合并了用户的搜索行为和推荐中的浏览行为，并设计了一个统一的搜索和推荐模型基于合并的数据来同时解决这两个问题。这样有以下几个好处：(1)合并了用户的搜索和浏览日志可以缓解数据稀疏性问题；(2)基于合并的用户行为，可以建模更准确的用户兴趣画像；(3)我们可以挖掘搜索和浏览行为之间的关联来共同促进两个任务。
附图说明
图1整合的行为序列示意图；
图2统一搜索推荐模型；
具体实施方式
以下是本发明的优选实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于此实施例。
本发明提出了一种基于统一用户行为建模的搜索和推荐融合系统。
系统整合了搜索和推荐两这个独立的任务并设计了一个统一的搜索推荐模型以统一的方式来解决这两个任务。
整合行为的定义：
在一个同时有搜索引擎和推荐系统的网络平台上，用户u会浏览推荐系统中的文章，在搜索引擎中输入查询来查找信息并点击相关的文档。所有行为是序列化的，我们按照时间顺序将其整合为一个异质性的行为序列。参考现有的搜索会话切分方式，我们以30分钟不活动时间为间隔将用户完整的行为序列划分成若干个会话。当前会话的历史行为作为短期历史，之前的会话构成长期历史。具体地，我们将用户的历史序列表示为H＝{Hl，Hs}＝{{S1，...，SN-1}，SN}，N是会话总数。每个会话S对应一个行为子序列，比如
Figure BDA0003301204360000061
B表示在推荐系统中浏览的文章，Q指代在搜索引擎中用户输入的查询，D则是在查询下点击的文档。完整的行为序列如图1所示，水平的边指示两个连续行为之间的序列化关系，倾斜的边指向查询下的点击文档，蓝色的垂直线用于划分会话。比如，在当前会话Session N中，用户首先在推荐系统中浏览了两篇文章；然后，她在搜索引擎中输入了一个查询并点击了一个文档。在当前时刻t，用户可能会进行搜索或浏览推荐的文章。在本文中，我们将推荐任务看做查询为空的个性化搜索任务，并以统一的个性化排序方法来解决两个任务——面对当前查询Qt或者空查询，模型需要根据查询和历史行为所反映的用户兴趣为用户返回个性化的排序结果。
图1为整合的行为序列示意图。若目标是搜索，则用户输入查询Qt；推荐则认为查询为空。
搜索和推荐融合系统的整体架构：
统一搜索和推荐融合系统的整体架构如图2所示，一共包括四个组成模块：(1)文本编码器，用于学习文档和查询的表示向量；(2)会话编码器，用于建模当前会话中的用户行为序列来明确用户的信息需求；(3)历史编码器，从长期历史中挖掘信息来增强用户意图的表示；(4)统一任务框架，以统一的方式完成个性化搜索和推荐任务。
文本编码器
对于每个查询、点击文档和浏览文档，用文本编码器来学习它们的语义表示。以一个浏览文档B＝[w1，w2，...，wM]的计算为例，整个文本编码器可以分为三个子层。第一层是词向量层，将词序列转换为词向量矩阵EmbB＝[v1，v2，...，vM]，其中vi对应词wi的低维词向量。此外，文本中的上下文也有助于帮助用户明确某个词的具体含义。比如，同一个词“Apple”在“Apple fruit”和“Apple company”的不同含义可以根据不同的上下文来进行区分。因此，设置一个词层面的transformer作为第二层，通过捕捉单词之间的交互来获得融入上下文的词向量CB。
CB＝Transformerw(EmbB).
第三层是词层面的注意力层。在一段文本中，不同的词对于表示这段文本的语义具有不同的重要程度。比如，在句子“symptoms of novel coronavirus pneumonia”中，单词“symptoms”传达了丰富的信息，而“of”则几乎不含有效信息。为了突出一段文本中重要的词，运用词级别的注意力机制赋予这些词更大的权重。设置一个可训练的向量qw作为注意力机制中的query，所有词的权重α计算如下：
Figure BDA0003301204360000071
最后，浏览文档的上下文表示rB是所有词向量的加权和。
Figure BDA0003301204360000072
查询Q和点击文档D的向量计算也同上。
会话编码器
在当前时刻t，用户会有一个目标行为——搜索或推荐用向量It来表示她的意图。如果用户主动输入了查询Qt进行搜索，用该查询的文本表示向量
Figure BDA0003301204360000087
来初始化意图It；否则，用可训练的用户向量Embu来进行初始化。这个步骤通过一个选择门来实现，如下：
Figure BDA0003301204360000081
然后从用户的历史行为中挖掘信息来明确她的个性化意图。
根据现有工作，同一个会话中的行为通常在用户信息需求上表现出一致性。因此，用户在当前会话中的历史行为能够对推断她当前的意图提供丰富的上下文信息。在搜索和推荐同一场景下，用户在同一个会话中既有搜索行为也有浏览行为。分析这个异质性行为序列中的行为可能会有如下几种关联：(1)对于一个查询下的点击文档，这个文档满足了用户通过这个查询所表达的信息需求，这个查询和文档之间具有很强的相关性。(2)在用户浏览了一系列推荐文章后，他可能会被触发去主动搜索更多的相关信息；(3)查询是用户主动输入的，显式地表达了用户的兴趣偏好。基于查询和对应的点击文档，我们可以反过来明确用户在浏览文档是所关注的兴趣点。设计一个会话编码器来捕捉一个会话中行为之间存在的以上几种关联，并用这个会话上下文来增强意图表示。
首先，对于一个历史查询和对应的点击文档，捕捉他们之间的强相关性。点击文档反映了查询关键词中包含的用户意图，查询也突出了文档中的重要词汇。因此，采用co-attention结构来融合两者的交互信息从而计算他们的表示向量。以一个查询Q和若干对应的点击文档D1，D2，...为例，详细的计算过程如下。第一步，通过文本编码器中的词向量层和transformer层，得到查询和每个文档的上下文表示向量矩阵CQ，
Figure BDA0003301204360000082
所有点击文档的向量拼接在一起，即/>
Figure BDA0003301204360000083
Figure BDA0003301204360000084
然后，计算查询和文档之间的交互矩阵A如下。
A＝tanh((CQ)TWlCD)
Wl是待训练的参数。查询和文档的注意力权重基于交互矩阵的特征计算如下：
Figure BDA0003301204360000085
Figure BDA0003301204360000086
Wq，Wd，Whq，Whd是参数，αQ和αD是查询和文档的注意力权重。计算查询和文档的表示向为上下文向量的加权和。
Figure BDA0003301204360000091
这两个向量被拼接到一起再通过一个全连接层得到一个历史搜索行为的表示向量rS。对于一个在推荐系统中的浏览行为，它只对应一个浏览文档B。因此，浏览行为的表示就是由文本编码器计算的该文章的表示向量rB。
计算得到当前会话中所有历史行为的表示，
Figure BDA0003301204360000092
捕捉搜索和浏览行为之间的关联，并将当前会话的上下文融入到用户的当前意图表示中。将短期历史Hs和用户的目标意图It拼接在一起经过一个会话层面的transformer进行交互。考虑到这些行为是序列化且异质的，为每个行为加上了位置和类别信息，行为类别包括搜索和浏览。最后一个位置的输出/>
Figure BDA0003301204360000093
表示融入了会话上下文之后的意图表示。
Figure BDA0003301204360000094
[Hs，It]P，[Hs，It]T是位置向量和类别向量。
Figure BDA0003301204360000095
表示取最后一个位置的输出。
历史编码器
通过会话编码器，利用短期历史澄清了用户当前的信息需求。但是对于没有短期历史的场景，仍然没有办法进行澄清。用户的长期行为历史反映了相对稳定的兴趣，也可以提供一些辅助信息。因此，进一步建模长期历史来明确用户意图
Figure BDA00033012043600000910
首先，用会话编码器来处理每个历史会话，捕捉异质性行为之间的关联，得到所有历史行为的上下文表示
Figure BDA0003301204360000096
将所有会话的子序列连接起来并拼接上目标行为得到/>
Figure BDA0003301204360000097
然后用一个历史层面的transformer模块处理长期的异质序列将历史信息融入到当前意图中。为了保留行为之间的序列信息，加入了每个行为的位置。最后，取最后一个位置的输出作为由长期历史增强得到的意图表示向量/>
Figure BDA0003301204360000098
Figure BDA0003301204360000099
参考一些新闻推荐模型，发现用户对文档的注意也会被其兴趣所影响。而且用户有时可能特意希望查找某个历史中出现过的文档。为了获得更好的候选文档表示，首先用文本编码器计算文档的向量
Figure BDA0003301204360000101
然后，按照上面相同的方式用长期历史来增强其表示，得到/>
Figure BDA0003301204360000102
Figure BDA0003301204360000103
Figure BDA0003301204360000104
和/>
Figure BDA0003301204360000105
也用于计算候选文档的个性化得分。
1.2.4统一任务框架
搜索和推荐任务有共同的目标——在特定时刻帮助用户获取需要的信息，两者主要的区别在于是否有一个明确的查询。将用户当前的意图表示为It，用输入的查询Qt或者用户向量Embu进行初始化。统一的任务是基于个性化相关性得分来对候选文档进行排序，个性化相关性得分基于用户当前的意图It，查询Qt和用户历史H计算得到，表示为punified(Dt|It，Qt，H)。
通过文本编码器、会话编码器和历史编码器，得到用户当前意图和候选文档的表示，即
Figure BDA0003301204360000106
用余弦相似度计算他们两两之间的相似性。对于个性化搜索任务而言，候选文档和查询之间的相关性也非常重要。因此，考虑查询和文档之间的交互特征，利用基于交互的模型KNRM来计算交互得分为/>
Figure BDA0003301204360000107
此外，参考现有的个性化搜索模型抽取了一些额外的相关性特征Fq，d用于计算个性化得分。在推荐任务中计算候选文档得分时，查询和文档的交互的分以及相关性特征都为空。最后，候选文档的得分通过一个全连接层(MLP)聚合所有以上的得分得到：
Figure BDA0003301204360000108
punified(Dt|It，Qt，H)＝MLP(funified)
对于搜索和推荐任务，我们都用这个方法来计算候选文档的个性化得分。
训练和优化
采用文档对的方式来训练模型。对于搜索和推荐任务，每个训练样本是一组文档，包括在一个列表中返回的一个正例文档和K个负例文档，表示为
Figure BDA0003301204360000111
对每一组文档，需要最大化整理文档的得分并最小化那些负例文档的得分。损失L计算如下：
Figure BDA0003301204360000112
punified(·)是punified(·|It，Qt，H)的缩写。我们用Adam优化器来最小化模型损失。
然而，搜索任务和推荐任务的数据之间可能会存在一些差异，共同训练的一个模型很难在两个任务上都取得最好的表现。因此，本发明使用另一种训练算法。首先用两个任务的数据训练一个统一的搜索&推荐模型，然后为每个任务复制一份模型参数并且用对应的任务数据对其进行调整以适应该任务的数据分布情况。这样的话，得到的模型不仅能够受益于更多的训练数据，也能够更好地适应于特定的任务。

Claims (5)

1.一种基于统一用户行为建模的搜索和推荐融合系统，其特征在于：通过四个组成模块构成的统一的搜索推荐模型，同时解决搜索和推荐两个独立的任务；所述四个组成模块包括：文本编码器，用于学习文档和查询的表示向量；会话编码器，用于建模当前会话中的用户行为序列来明确用户的信息需求；历史编码器，从长期历史中挖掘信息来增强用户意图的表示；统一任务框架，以统一的方式完成个性化搜索和推荐任务，即以相同的方式计算候选文档的个性化得分，并基于个性化得分的高低排序得到最终的文档排序结果；
所述文本编码器分为三层，第一层是词向量层，对于一个浏览文档B＝[w1,w2,…,wM]，将词序列转换为词向量矩阵EmbB＝[v1,v2,…,vM]，其中vM对应词wM的低维词向量，第二层为词层面的transformer，通过捕捉单词之间的交互来获得融入上下文的词向量CB：CB＝Transformerw(EmbB)，第三层是词层面的注意力层；
所述会话编码器首先对搜索或推荐的意图进行初始化，并采用co-attention结构融合历史查询Q和对应的若干点击文档Di的交互信息，然后用transformer结构来处理整个会话中的行为，计算各个行为融入了会话上下文之后的意图表示；
所述统一任务框架用余弦相似度计算所述文档的向量
Figure QLYQS_1
所述融入了会话上下文之后的意图表示/>
Figure QLYQS_2
所述由长期历史增强得到的意图表示向量/>
Figure QLYQS_3
所述增强表示的文档的向量
Figure QLYQS_4
两两之间的相似性，利用基于交互的模型KNRM来计算交互得分为/>
Figure QLYQS_5
并引入一些文档的点击次数、点击交叉熵作为相关性特征Fq,d用于辅助计算个性化得分，得到
Figure QLYQS_6
最后，候选文档的得分通过一个全连接层聚合所有以上的得分得到所述个性化得分punified(Dt|It,Qt,H)：punified(Dt|It,Qt,H)＝MLP(funified)。
2.如权利要求1所述的一种基于统一用户行为建模的搜索和推荐融合系统，其特征在于：所述词层面的注意力层运用词级别的注意力机制赋予词权重，设置一个可训练的向量qw作为注意力机制中的query，所有词的权重α：
Figure QLYQS_8
Figure QLYQS_10
所有词向量的加权和rB表示为：/>
Figure QLYQS_12
Figure QLYQS_9
得到浏览文档B对应的表示向量，查询Q和对应的若干个点击文档D＝[D1,D2,…,Di…]的向量计算方法具体为，对于查询Q，/>
Figure QLYQS_11
Figure QLYQS_13
对于点击文档D1，/>
Figure QLYQS_14
Figure QLYQS_7
3.如权利要求2所述的一种基于统一用户行为建模的搜索和推荐融合系统，其特征在于：所述初始化方法为：在当前时刻t，对于用户主动输入的查询Qt，用该查询的文本表示向量
Figure QLYQS_15
来初始化意图It，用户未主动输入查询时用可训练的用户向量Embu进行初始化
Figure QLYQS_16
得到初始化意图It；
所述用于融合历史查询Q和对应的若干点击文档Di的交互信息的co-attention结构的计算方法为：第一步，通过所述文本编码器中的词向量层和transformer层，得到查询和每个文档的上下文表示向量矩阵CQ，
Figure QLYQS_19
所有点击文档的向量拼接在一起，即/>
Figure QLYQS_20
第二步，计算查询和文档之间的交互矩阵A：A＝tanh((CQ)TWlCD)，其中Wl是待训练的参数，查询和文档的注意力权重基于交互矩阵的特征计算如下：HQ＝tanh(WqCQ+(WdCD)A),
Figure QLYQS_22
HD＝tanh(WdCD+(WqCQ)AT),/>
Figure QLYQS_18
Figure QLYQS_21
Wq,Wd,Whq,Whd是参数，αQ和αD是查询和文档的注意力权重；第三步，计算查询和文档的表示向量为上下文向量的加权和：/>
Figure QLYQS_23
Figure QLYQS_24
将向量/>
Figure QLYQS_17
拼接到一起再通过一个全连接层得到一个历史搜索行为的表示向量即为由所述文本编码器计算的该文章的表示向量rB；
在此基础上，计算得到当前会话中所有短期历史行为的表示，当前会话的历史行为
Figure QLYQS_25
将短期历史Hs和用户的目标意图It拼接在一起经过一个会话层面的transformer进行交互，其中/>
Figure QLYQS_26
中的S表示一次搜索行为，为每个行为加上位置和搜索、浏览两类类别信息，最后一个位置的输出/>
Figure QLYQS_27
即表示融入了会话上下文之后的意图表示：
Figure QLYQS_28
[Hs,It]P,[Hs,It]T是位置向量和类别向量，
Figure QLYQS_29
表示取最后一个位置的输出。
4.如权利要求3所述的一种基于统一用户行为建模的搜索和推荐融合系统，其特征在于：所述历史编码器通过建模长期历史来明确用户意图
Figure QLYQS_30
首先，用所述会话编码器处理每个历史会话，捕捉异质性行为之间的关联，得到基于用户的长期搜索历史的所有历史行为的上下文表示/>
Figure QLYQS_31
rs表示经过文本编码器融入了短期历史之后的表示，将所有会话的子序列连接起来并拼接上目标行为得到/>
Figure QLYQS_32
其中l表示长期用户历史，s表示短期用户历史，然后用一个历史层面的transformer模块处理长期的异质序列将历史信息融入到当前意图中并加入每个行为的位置，最后，取最后一个位置的输出作为由长期历史增强得到的意图表示向量/>
Figure QLYQS_33
Figure QLYQS_34
用所述文本编码器计算文档的向量
Figure QLYQS_35
然后，用长期历史来增强其表示得到/>
Figure QLYQS_36
首先，将所有会话的子序列连接起来并拼接上目标文档得到/>
Figure QLYQS_37
然后用一个历史层面的transformer模块处理长期的异质序列将历史信息融入到当前意图中并加入每个行为的位置，最后，取最后一个位置的输出作为由长期历史增强得到的意图表示向量/>
Figure QLYQS_38
Figure QLYQS_39
5.如权利要求1所述的一种基于统一用户行为建模的搜索和推荐融合系统，其特征在于：所述系统的训练方法为：对于搜索和推荐任务，每个训练样本是一组文档，包括在一个列表中返回的一个正例文档和K个负例文档，表示为
Figure QLYQS_40
对每一组文档，最大化整理文档的得分并最小化负例文档的得分，损失L计算如下：
Figure QLYQS_41
punified(·)是punified(·|It,Qt,H)的缩写；用Adam优化器来最小化模型损失；并在训练过程中，首先用两个任务的数据训练一个统一的搜索推荐模型，然后为每个任务复制一份模型参数并且用对应的任务数据对其进行调整以适应该任务的数据分布情况。
CN202111191029.9A 2021-10-13 2021-10-13 一种基于统一用户行为建模的搜索和推荐融合系统 Active CN113761383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111191029.9A CN113761383B (zh) 2021-10-13 2021-10-13 一种基于统一用户行为建模的搜索和推荐融合系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111191029.9A CN113761383B (zh) 2021-10-13 2021-10-13 一种基于统一用户行为建模的搜索和推荐融合系统

Publications (2)

Publication Number Publication Date
CN113761383A CN113761383A (zh) 2021-12-07
CN113761383B true CN113761383B (zh) 2023-06-20

Family

ID=78799393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111191029.9A Active CN113761383B (zh) 2021-10-13 2021-10-13 一种基于统一用户行为建模的搜索和推荐融合系统

Country Status (1)

Country Link
CN (1) CN113761383B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114417817B (zh) * 2021-12-30 2023-05-16 中国电信股份有限公司 一种会话信息切割方法和装置
CN114443967B (zh) * 2022-04-08 2022-07-08 北京并行科技股份有限公司 一种相似应用推荐方法、计算设备及存储介质
CN116108162B (zh) * 2023-03-02 2024-03-08 广东工业大学 一种基于语义增强的复杂文本推荐方法及系统
CN117114695B (zh) * 2023-10-19 2024-01-26 本溪钢铁（集团）信息自动化有限责任公司 基于钢铁行业智能客服的交互方法及装置
CN118094028A (zh) * 2024-04-28 2024-05-28 北方健康医疗大数据科技有限公司 一种疾病搜索排序方法、系统、终端及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136694A (zh) * 2013-03-20 2013-06-05 焦点科技股份有限公司 基于搜索行为感知的协同过滤推荐方法
CN103164521A (zh) * 2013-03-11 2013-06-19 亿赞普(北京)科技有限公司 一种基于用户浏览和搜索行为的关键词计算方法及装置
CN103399883A (zh) * 2013-07-19 2013-11-20 百度在线网络技术（北京）有限公司 根据用户兴趣点/关注点进行个性化推荐的方法和系统
CN107526807A (zh) * 2017-08-22 2017-12-29 中国联合网络通信集团有限公司 信息推荐方法及装置
CN108710622A (zh) * 2018-03-13 2018-10-26 北京光宇之勋科技有限公司 基于机器学习的网页信息推荐方法及推荐系统
CN111506831A (zh) * 2020-04-13 2020-08-07 蔡梓超 一种协同过滤的推荐模块、方法、电子设备及存储介质
CN112487274A (zh) * 2020-12-02 2021-03-12 重庆邮电大学 一种基于文本点击率的搜索结果推荐方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164521A (zh) * 2013-03-11 2013-06-19 亿赞普(北京)科技有限公司 一种基于用户浏览和搜索行为的关键词计算方法及装置
CN103136694A (zh) * 2013-03-20 2013-06-05 焦点科技股份有限公司 基于搜索行为感知的协同过滤推荐方法
CN103399883A (zh) * 2013-07-19 2013-11-20 百度在线网络技术（北京）有限公司 根据用户兴趣点/关注点进行个性化推荐的方法和系统
CN107526807A (zh) * 2017-08-22 2017-12-29 中国联合网络通信集团有限公司 信息推荐方法及装置
CN108710622A (zh) * 2018-03-13 2018-10-26 北京光宇之勋科技有限公司 基于机器学习的网页信息推荐方法及推荐系统
CN111506831A (zh) * 2020-04-13 2020-08-07 蔡梓超 一种协同过滤的推荐模块、方法、电子设备及存储介质
CN112487274A (zh) * 2020-12-02 2021-03-12 重庆邮电大学 一种基于文本点击率的搜索结果推荐方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Hamed Zamani等.Joint Modeling and Optimization of Search and Recommendation.《the First Biennial Conference on Design of Experimental Search &amp Information Retrieval Systems》.2018,36-41. *
Jing Yao等.USER: A Unified Information Search and RecommendationModel based on Integrated Behavior Sequence.《the 30th ACM International Conference on Information &amp Knowledge Management》.2021,2373-2382. *
Learning a Joint Search and Recommendation Model fromUser-Item Interactions;Hamed Zamani等;《the 13th International Conference on Web Search and Data Mining》;717-725 *
基于用户画像的个性化搜索推荐系统;丁海涛;《电子技术与软件工程》;161-162 *

Also Published As

Publication number Publication date
CN113761383A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN113761383B (zh) 一种基于统一用户行为建模的搜索和推荐融合系统
Yang et al. Image-text multimodal emotion classification via multi-view attentional network
US20200410401A1 (en) System and Method for Searching and Matching Content Over Social Networks to an Individual
Min et al. Cross-platform multi-modal topic modeling for personalized inter-platform recommendation
US20240004934A1 (en) Multi-modal virtual experiences of distributed content
Kesorn et al. Personalized attraction recommendation system for tourists through check-in data
Sang et al. Context-dependent propagating-based video recommendation in multimodal heterogeneous information networks
CN112966091B (zh) 一种融合实体信息与热度的知识图谱推荐系统
CN105139211B (zh) 产品简介生成方法及系统
Zhang et al. Event recommendation in social networks with linked data enablement
CN111222049A (zh) 语义增强的异构信息网络上Top-k相似度搜索方法
JP6928044B2 (ja) 提供装置、提供方法及び提供プログラム
CN113744032A (zh) 一种图书推荐的方法、相关装置、设备及存储介质
CN114281976A (zh) 一种模型训练方法、装置、电子设备及存储介质
Liu et al. A multi-task dual attention deep recommendation model using ratings and review helpfulness
Xu et al. Do adjective features from user reviews address sparsity and transparency in recommender systems?
Chen et al. Exploiting aesthetic features in visual contents for movie recommendation
CN116956183A (zh) 多媒体资源推荐方法、模型训练方法、装置及存储介质
Liu et al. Personalized Recommender System for Children's Book Recommendation with A Realtime Interactive Robot
Wasim et al. Extracting and modeling user interests based on social media
CN116186413A (zh) 一种用于多模态特征推荐的方法和系统
Posea et al. Bringing the social semantic web to the personal learning environment
CN112257517B (zh) 一种基于景点聚类和群体情感识别的旅游景点推荐系统
Amendola et al. Social search: Retrieving information in Online Social platforms–A survey
Bouadjenek Infrastructure and algorithms for information retrieval based on social network analysis/mining

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant