CN115098763B - 基于动静态兴趣建模与持续时间感知的序列服务推荐方法 - Google Patents

基于动静态兴趣建模与持续时间感知的序列服务推荐方法 Download PDF

Info

Publication number
CN115098763B
CN115098763B CN202210479741.7A CN202210479741A CN115098763B CN 115098763 B CN115098763 B CN 115098763B CN 202210479741 A CN202210479741 A CN 202210479741A CN 115098763 B CN115098763 B CN 115098763B
Authority
CN
China
Prior art keywords
interest
duration
service
dynamic
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210479741.7A
Other languages
English (en)
Other versions
CN115098763A (zh
Inventor
张新
王东京
殷昱煜
邓水光
俞东进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202210479741.7A priority Critical patent/CN115098763B/zh
Publication of CN115098763A publication Critical patent/CN115098763A/zh
Application granted granted Critical
Publication of CN115098763B publication Critical patent/CN115098763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于动静态兴趣建模与持续时间感知的序列服务推荐方法，由三个主要步骤组成：动态兴趣挖掘建模、静态兴趣挖掘建模和兴趣融合推荐。在动态兴趣挖掘中，利用时间感知神经霍克斯过程中的时间感知连续长短期记忆网络挖掘用户的动态兴趣，其中通过个性化的时间桶嵌入在服务之间嵌入持续时间信息，并在TCLSTM上添加持续时间门，以利用持续时间协助进行动态兴趣挖掘。在静态兴趣挖掘中，通过设计辅助信息感知的自注意力机制来挖掘静态兴趣，将辅助信息作为自我注意机制的辅助部分，以非侵入性的方式学习更好的注意力分布，从而避免信息过度泛滥的问题，有效挖掘并建模用户的静态兴趣。

Description

基于动静态兴趣建模与持续时间感知的序列服务推荐方法
技术领域
本发明涉及数字经济的个性化服务技术领域，针对利用移动互联网等信息技术采集的用户与服务的交互记录或日志数据进行用户兴趣需求建模与行为预测的问题，结合用户的行为数据中的详细的时间信息，具体指一种基于动静态兴趣建模与持续时间感知的序列服务推荐方法。
背景技术
近年来，随着信息技术(Information Technology，IT)不断创新突破，数字化、网络化及智能化迅速发展普及，互联网用户数量不断增加，网络信息资源的数量呈现指数增长，大数据(Big Data)时代已经到来，信息过载(Information Overload)问题愈加严重：内容服务提供商难以从中海量数据中选出符合目标用户需求的资源并通过传统的方式展现给用户，而用户难以在可接受的时间与精力开销内选择自己需要的信息。因此，如何从海量数据中提取特定的信息资源并推送给对其感兴趣的用户，充分利用数据资源并提高用户体验，已经成为促进信息技术以及互联网产业持续高速发展过程中亟待解决的关键问题。
目前，国内外学者在服务推荐领域做了较多工作。基于内容的推荐算法依靠用户的档案属性(例如年龄、性别、收入、职业、地理位置等)以及物品的内容特征(例如数码产品配置、食物口味、电影风格、音乐流派等)实施推荐，其核心策略是基于用户和物品的相关度进行排序和推荐。基于协同过滤的推荐算法包括基于用户的协同过滤和基于物品的协同过滤两种策略，是工业界和学术界广泛应用研究的推荐算法，这类算法利用群体智慧的思想从用户的历史交互记录中挖掘用户的兴趣和需求。上下文感知的推荐算法能够从用户交互记录或评分数据中挖掘用户上下文信息与其兴趣偏好之间的关联关系，基于目标用户当前上下文预测其潜在的兴趣偏好，改进推荐结果。
通常，用户访问在线项目(服务、产品或物品)是按时间顺序排列的。因此，序列推荐成为学术界和工业界的热门话题。具体来说，给定用户的历史行为序列，序列推荐旨在预测用户可能感兴趣的下一个项目。其中，如何准确挖掘用户偏好并设计有效的兴趣表示是一项重要且具有挑战性的任务。用户兴趣表征分为长期兴趣和短期兴趣。长期兴趣和短期兴趣的区别在于兴趣挖掘的行为序列长度不同。传统的序列推荐系统尝试使用序列建模方法挖掘交互序列中的短期兴趣，包括马尔可夫链和递归神经网络。此外，自注意力机制使模型能够访问历史记录的任何部分，非常适合挖掘长期依赖关系，在推荐任务也得到了较多实践。
然而，现有的推荐系统中长期和短期兴趣建模方法不能准确地产生用户的兴趣表征。特别是，用户对其行为序列的兴趣应该在动态和静态视图中建模。动态兴趣和静态兴趣的区别在于兴趣是否在一段时间内保持稳定。动态兴趣随时间不断变化，而静态兴趣在两个相邻的行为记录之间几乎保持不变。具体来说，大多数短期兴趣挖掘方法将用户兴趣的变化视为一个离散的过程，无法挖掘两个不连续行为之间的关系，因此难以准确挖掘用户的动态兴趣。作为一种可能的解决方案，神经霍克斯过程利用连续长短期记忆网络来学习用户兴趣的动态变化，并且无需先验知识。然而，神经霍克斯过程和其他类似的兴趣挖掘方法仅使用交互序列信息或项目之间的时间间隔，而没有考虑与兴趣变化密切相关的持续时间。此外，多数基于自注意机制的方法聚合整个序列的输出以产生长期兴趣，这种方式产生的长期兴趣主要属于静态兴趣，并且许多现有方法侵入性地利用辅助信息，这可能导致信息过度泛滥。此外，自注意力机制最初设计为只接受一种类型的输入(即项目ID)，限制了其利用辅助信息的能力。
发明内容
本发明针对上述问题，提出了一种基于动静态兴趣建模与持续时间感知的序列服务推荐方法，利用时间感知神经霍克斯过程来精确学习动态兴趣，并利用一种辅助信息感知自注意力机制来有效地学习静态兴趣。在此基础上利用门控机制对用户的动态兴趣和静态兴趣进行自适应融合并实现精准的序列服务推荐。
本发明首先获取一定时间内的用户与服务的交互序列数据集Su＝{S1,…,Su,…,S|U|}，其中用户u∈U的交互序列定义为U是所有用户集合，|U|表示用户数目。Su中的第i个元素表示用户u与服务的交互记录，其中V表示所有服务集合，是对应交互行为的辅助信息，包括当前服务与下一个服务间隔时间以及当前服务的持续时间本发明要解决的序列服务推荐问题定义为：给定用户u的历史交互序列预测用户的下一次将要使用的服务。
本发明提供了一种基于动静态兴趣建模与持续时间感知的序列服务推荐方法，包括如下步骤：
S1、数据采集，获取一定时间内多个用户与服务的序列交互数据，并构建数据集；
S2、对数据预处理；
S3、表征学习，将服务和辅助信息表示为低维实数嵌入向量；
S4、兴趣挖掘建模，用户的动态和静态兴趣分别通过时间感知神经霍克斯过程和辅助信息感知自我注意机制进行挖掘和建模；
S5、兴趣融合推荐。
作为优选，所述步骤S1中构建的数据集表达式为：
Su＝{S1,…,Su,…,S|U|}，其中用户u∈U的交互序列定义为U是所有用户集合，|U|表示用户数目，Su中的第i个元素表示用户u与服务的交互记录，其中V表示所有服务的集合，是对应交互行为的辅助信息，包括当前服务与下个服务间隔时间以及当前服务的持续时间时间g和持续时间d均为非负实数。
作为优选，所述数据预处理的方法为：将用户的历史行为序列S截断为一系列连续的固定长度为L的子序列，对于长度小于L的序列，在开头添加一些填充项，即0值，直到长度达到L。
作为优选，所述低维实数嵌入向量包括服务嵌入向量和时间值嵌入向量。
作为优选，所述步骤S3具体包括以下子步骤：
S31、对于服务嵌入向量，使用嵌入矩阵来嵌入服务，其中N是服务的数量，d是嵌入向量的维度；
S32、对于时间值嵌入向量，采用个性化的时间桶嵌入方法将持续时间表示为时间值嵌入向量，对于同一用户的所有持续时间，将它们除以最小的持续时间以产生个性化的持续时间，如果最小持续时间为0，我们手动将其设置为1，用户的最小持续时间记为dmin，持续时间di可以转换为持续时间桶离散时间桶通过可学习的嵌入矩阵变为时间桶嵌入向量，其中D是持续时间桶数。
作为优选，所述步骤S4具体包括以下子步骤：
S41、用户动态兴趣建模挖掘，提出时间感知神经霍克斯过程，基于时间感知连续长短期记忆网络进行动态兴趣挖掘，在动态兴趣挖掘过程中，对于每个输入的服务交互序列S，只关注最后ld交互项用户的动态兴趣为 为时间感知连续长短期记忆网络的最后一个单元的状态表示；
S42、用户静态兴趣建模挖掘，静态兴趣代表整体稳定的偏好，使用整个输入序列进行静态兴趣挖掘，用户的静态兴趣定义为
作为优选，所述步骤S41中的时间感知连续长短期记忆网络中的更新方程如下：
ik+1＝σi(Wxixk+Whih(tk)+bi)
fk+1＝σf(Wxfxk+Whfh(tk)+bf)
dk+1＝σd(Wxdxk+σ′d(Whdedk)+bδ)
ck+1＝fk+1⊙c(tk)+ik+1⊙σc(Wxcxk+Whch(tk)+bc)⊙dk+1
其中ik+1,fk+1,ok+1,dk+1分别代表第k项的输入、遗忘、输出门和持续时间门，持续时间门d能够控制持续时间的影响，并过滤单元状态c来控制当前服务的影响，ck是带有历史信息的单元状态向量，xk是输入特征向量，h(tk)和c(tk)是第k个服务到达时的隐藏输出状态和单元状态向量，⊙表示逐元素乘法，σi、σf、σo、σd和σ′d是sigmoid激活函数，σc是tanh激活函数，可学习权重参数矩阵W的下标表示它们的连接作用，下标x、h、i、f、o、d分别表示输入层、隐藏层、输入门、遗忘门、输出门、持续时间门，Wxi是输入层-输入门矩阵，bi,bf,bc,bo,bδ均为偏置，
t∈(tk,tk+1]时，随着t＞tk增加，单元状态c(t)以δk+1的速率从ck+1向衰减：
δk+1＝σδ(Wxδxk+Whδh(tk)+bδ)
其中，σδ是softplus激活函数，Wxδ和Whδ是可学习的权重参数，bδ是偏置，和的定义与fk+1和ik+1一致，随着时间的变化，h(t)由c(t)连续产生，h(t)＝ok+1⊙σh(c(t))，其中σh是tanh激活函数，当t∈(tk,tk+1]并且下一个服务没有来临时，c(t)和h(t)均成立。
作为优选，所述步骤S42中，用户的静态兴趣定义为其中是可学习的变换向量，是利用多头注意力机制得到的特征向量，定义为：H＝Concat(head1,head2,…,headh)，其中Concat表示向量拼接操作，其中 和为可学习的参数矩阵，为混合嵌入向量，定义为：其中为向量拼接操作，和b为参数矩阵和参数向量，σIS为sigmoid激活函数，为输入服务序列的嵌入向量，为输入服务序列的辅助信息的嵌入向量，注意力函数定义为
作为优选，所述步骤S5中，利用可学习的门控机制控制动态兴趣和静态兴趣的自适应融合获得用户的混合兴趣pu，并进行推荐。
作为优选，所述步骤S5用户的混合兴趣定义为其中gu是可学习的参数向量，定义为其中和是门控参数，在获取用户u混合兴趣pu的基础上，可计算预测分数并进行推荐，用户u对于服务j的兴趣分数定义为其中qj是服务j的特征嵌入向量。
本发明具有以下的特点和有益效果：
本发明提出了一种基于动静态兴趣建模与持续时间感知的序列服务推荐方法，具体来说，本发明由三个主要部分组成：动态兴趣挖掘建模、静态兴趣挖掘建模和兴趣融合推荐。在动态兴趣挖掘中，利用时间感知神经霍克斯过程中的时间感知连续长短期记忆网络挖掘用户的动态兴趣，其中通过个性化的时间桶嵌入在服务之间嵌入持续时间信息，并在时间感知连续长短期记忆网络上添加持续时间门，以利用持续时间协助动态兴趣挖掘。在静态兴趣挖掘中，通过辅助信息感知的自注意力机制来挖掘静态兴趣，将辅助信息作为自我注意机制的辅助部分，以非侵入性的方式学习更好的注意力分布，从而避免信息过度泛滥的问题。最后，本发明设计了一种门控机制来自适应地融合动态兴趣和静态兴趣以产生混合兴趣并进行精准服务推荐。
附图说明
图1为本发明实施例的模型架构图。
图2为本发明实施例中时间感知连续长短期记忆网络示意图。
具体实施方式
接下来结合附图具体阐述实施步骤。
本发明公开了一种基于动静态兴趣建模与持续时间感知的序列服务推荐方法，具体包括如下步骤
S1、如图1所示，获取一定时间内多个用户与服务的序列交互数据集Su＝{S1,…,Su,…,SU}，其中用户u∈U的交互序列定义为U是所有用户集合，|U|表示用户数目。Su中的第i个元素表示用户u与服务的交互记录，其中V表示所有服务集合，是对应交互行为的辅助信息，包括当前服务与下个服务间隔时间以及当前服务的持续时间时间g和持续时间d均为非负实数。
S2、由于用户的历史行为序列S可能很长，我们将其截断为一系列连续的固定长度为L的子序列，以提高计算效率和并行处理能力。对于长度小于L的序列，我们在开头添加一些填充项(0值)，直到长度达到L。
S3、如图1中的嵌入层所示，将服务和辅助信息表示为低维实数嵌入向量。本发明考虑了两种类型的嵌入向量，即服务嵌入向量和时间值嵌入向量。
S3-1、对于服务嵌入向量，我们使用嵌入矩阵来嵌入服务，其中N是服务的数量，d是嵌入向量的维度。
S3-2、本发明采用个性化的时间桶嵌入方法把持续时间表示为时间值嵌入向量。对于同一用户的所有持续时间，我们将它们除以最小的持续时间以产生个性化的持续时间。如果最小持续时间为0，我们手动将其设置为1。用户的最小持续时间记为dmin，然后持续时间di可以转换为持续时间桶离散时间桶通过可学习的嵌入矩阵变为时间桶嵌入向量，其中D是持续时间的桶数。
S4、通过时间感知神经霍克斯过程和辅助信息感知自我注意机制分别对用户的动态兴趣和静态兴趣进行挖掘和建模。
S4-1、如图1中的动态兴趣挖掘建模部分所示，本发明用时间感知神经霍克斯过程挖掘并建模用户的动态兴趣。如图2所示，该方法基于时间感知连续长短期记忆网络进行动态兴趣挖掘。在动态兴趣挖掘过程中，对于每个输入的服务交互序列S，我们只关注最后ld交互项用户的动态兴趣为其中为时间感知连续长短期记忆网络的最后一个单元的状态表示。
时间感知连续长短期记忆网络用于模拟服务在连续时间内的强度动态变化，其中强度表示服务在短时间内交互的概率。在时间感知连续长短期记忆网络中，当一个新服务到达时，随着间隔时间增加，记忆单元c以速率δ呈指数衰减并朝着稳态值下降，隐藏状态h随着c的变化而变化。此外，我们添加了一个持续时间门d来控制持续时间的影响。具体而言，时间感知连续长短期记忆网络中的更新方程如下：
ik+1＝σi(Wxixk+Whih(tk)+bi)，
fk+1＝σf(Wxfxk+Whfh(tk)+bf)，
dk+1＝σd(Wxdxk+σ′d(Whdedk)+bδ)，
ck+1＝fk+1⊙c(tk)+ik+1⊙σc(Wxcxk+Whch(tk)+bc)⊙dk+1，
其中ik+1,fk+1,ok+1,dk+1分别代表第k项的输入、遗忘、输出门和持续时间门。ck是带有历史信息的单元状态向量，xk是输入特征向量，h(tk)和c(tk)是第k个服务到达时的隐藏输出状态和单元状态向量。⊙表示逐元素乘法。σi、σf、σo、σd和σ′d是sigmoid激活函数，σc是tanh激活函数。可学习权重参数矩阵W的下标表示它们的连接作用(下标x、h、i、f、o、d分别表示输入层、隐藏层、输入门、遗忘门、输出门、持续时间门)。例如，Wxi是输入层-输入门矩阵，而Who是隐藏层-输出门矩阵。bi,bf,bc,bo,bδ均为偏置。持续时间门d可以通过过滤单元状态c来控制当前item的影响。此外，存储在dk中的时长信息会被传递给ck和ck，之后会不断地传播到单元中。因此持续时间门可以帮助更全面地挖掘用户的动态兴趣。
t∈(tk,tk+1]时，随着t＞tk增加，单元状态c(t)以δk+1的速率从ck+1向衰减：
δk+1＝σδ(Wxδxk+Whδh(tk)+bδ)，
其中，σδ是softplus激活函数。Wxδ和Whδ是可学习的权重参数，bδ是偏置。和的定义与fk+1和ik+1一致，但权重不同。随着时间的变化，h(t)由c(t)连续产生：
h(t)＝ok+1⊙σh(c(t))，
其中σh是tanh激活函数。当t∈(tk,tk+1]并且下一个服务没有来临时，c(t)和h(t)均成立。
S4-2、对用户静态兴趣进行建模挖掘。静态兴趣主要代表整体稳定的偏好，我们使用整个输入序列进行静态兴趣挖掘。用户的静态兴趣定义为其中是可学习的变换向量，是利用多头注意力机制得到的特征向量，定义为：
H＝Concat(head1,head2,…,headh)，
其中Concat表示向量拼接操作，单头注意力定义为：
其中和为可学习的参数矩阵，为混合嵌入向量，定义为：
其中为向量拼接操作，和b为参数矩阵和参数向量，σIS为sigmoid激活函数，为输入服务序列的嵌入向量，为输入服务序列的辅助信息的嵌入向量，注意力函数定义为
S5、利用可学习的门控机制控制动态兴趣和静态兴趣的自适应融合获得用户的混合兴趣pu，并进行推荐。用户的混合兴趣定义为：
其中gu是可学习的参数向量，定义为：
其中和是门控参数。
在获取用户u混合兴趣pu的基础上，可计算预测分数并进行推荐。
用户u对于服务j的兴趣分数定义为：
其中qj是服务j的特征嵌入向量。
以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式包括部件进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

Claims (6)

1.一种基于动静态兴趣建模与持续时间感知的序列服务推荐方法，其特征在于，包括如下步骤：
S1、数据采集，获取一定时间内多个用户与服务的序列交互数据，并构建数据集；
所述步骤S1中构建的数据集表达式为：
Su＝{S1,…,Su,…,SU}，其中用户u∈U的交互序列定义为
Figure FDA0004068227920000011
U是所有用户集合，|U|表示用户数目，Su中的第i个元素
Figure FDA0004068227920000012
表示用户u与服务
Figure FDA0004068227920000013
的交互记录，其中V表示所有服务的集合，
Figure FDA0004068227920000014
是对应交互行为的辅助信息，包括当前服务
Figure FDA0004068227920000015
与下个服务
Figure FDA0004068227920000016
间隔时间
Figure FDA0004068227920000017
以及当前服务
Figure FDA0004068227920000018
的持续时间
Figure FDA0004068227920000019
时间g和持续时间d均为非负实数；
S2、对数据预处理，将用户的历史行为序列S截断为一系列连续的固定长度为L的子序列，对于长度小于L的序列，在开头添加一些填充项，即0值，直到长度达到L；
S3、表征学习，将服务和辅助信息表示为低维实数嵌入向量；
S4、兴趣挖掘建模，用户的动态和静态兴趣分别通过时间感知神经霍克斯过程和辅助信息感知自我注意机制进行挖掘和建模；
所述步骤S4具体包括以下子步骤：
S41、用户动态兴趣建模挖掘，提出时间感知神经霍克斯过程，基于时间感知连续长短期记忆网络进行动态兴趣挖掘，在动态兴趣挖掘过程中，对于每个输入的服务交互序列S，只关注最后ld交互项
Figure FDA00040682279200000110
用户的动态兴趣为
Figure FDA00040682279200000111
Figure FDA00040682279200000112
为时间感知连续长短期记忆网络的最后一个单元的状态表示，
所述时间感知连续长短期记忆网络中的更新方程如下：
ik+1＝σi(Wxixk+Whih(tk)+bi)
fk+1＝σf(Wxfxk+Whfh(tk)+bf)
Figure FDA0004068227920000021
ck+1＝fk+1⊙c(tk)+ik+1⊙σc(Wxcxk+Whch(tk)+bc)⊙dk+1
Figure FDA0004068227920000022
其中ik+1,fk+1,ok+1,dk+1分别代表第k项的输入、遗忘、输出门和持续时间门，持续时间门d能够控制持续时间的影响，并过滤单元状态c来控制当前服务的影响，ck是带有历史信息的单元状态向量，xk是输入特征向量，h(tk)和c(tk)是第k个服务到达时的隐藏输出状态和单元状态向量，⊙表示逐元素乘法，σi、σf、σo、σd和σ′d是sigmoid激活函数，σc是tanh激活函数，可学习权重参数矩阵W的下标表示它们的连接作用，下标x、h、i、f、o、d分别表示输入层、隐藏层、输入门、遗忘门、输出门、持续时间门，Wxi是输入层-输入门矩阵，bi,bf,bc,bo,bδ均为偏置，
t∈(tk,tk+1]时，随着t＞tk增加，单元状态c(t)以δk+1的速率从ck+1向
Figure FDA0004068227920000023
衰减：
Figure FDA0004068227920000024
δk+1＝σδ(Wxδxk+Whδh(tk)+bδ)
Figure FDA0004068227920000025
其中，σδ是softplus激活函数，Wxδ和Whδ是可学习的权重参数，bδ是偏置，
Figure FDA0004068227920000026
和
Figure FDA0004068227920000027
的定义与fk+1和ik+1一致，随着时间的变化，h(t)由c(t)连续产生，h(t)＝ok+1⊙σh(c(t))，其中σh是tanh激活函数，当t∈(tk,tk+1]并且下一个服务没有来临时，c(t)和h(t)均成立；
S42、用户静态兴趣建模挖掘，静态兴趣代表整体稳定的偏好，使用整个输入序列进行静态兴趣挖掘，用户的静态兴趣定义为
Figure FDA0004068227920000031
其中
Figure FDA0004068227920000032
是可学习的变换向量，
Figure FDA0004068227920000033
是利用多头注意力机制得到的特征向量；
S5、兴趣融合推荐。
2.根据权利要求1所述的基于动静态兴趣建模与持续时间感知的序列服务推荐方法，其特征在于，所述低维实数嵌入向量包括服务嵌入向量和时间值嵌入向量。
3.根据权利要求2所述的基于动静态兴趣建模与持续时间感知的序列服务推荐方法，其特征在于，所述步骤S3具体包括以下子步骤：
S31、对于服务嵌入向量，使用嵌入矩阵
Figure FDA0004068227920000034
来嵌入服务，其中N是服务的数量，d是嵌入向量的维度；
S32、对于时间值嵌入向量，采用个性化的时间桶嵌入方法将持续时间表示为时间值嵌入向量，对于同一用户的所有持续时间，将它们除以最小的持续时间以产生个性化的持续时间，如果最小持续时间为0，我们手动将其设置为1，用户的最小持续时间记为dmin，持续时间di可以转换为持续时间桶
Figure FDA0004068227920000035
离散时间桶通过可学习的嵌入矩阵
Figure FDA0004068227920000036
变为时间桶嵌入向量，其中D是持续时间桶数。
4.根据权利要求3所述的基于动静态兴趣建模与持续时间感知的序列服务推荐方法，其特征在于，所述步骤S42中，用户的静态兴趣定义为
Figure FDA0004068227920000037
其中H＝Concat(head1,head2,…,headh)，其中Concat表示向量拼接操作，
Figure FDA0004068227920000038
其中
Figure FDA0004068227920000039
Figure FDA00040682279200000310
和
Figure FDA00040682279200000311
为可学习的参数矩阵，
Figure FDA00040682279200000312
为混合嵌入向量，定义为：
Figure FDA0004068227920000041
其中
Figure FDA0004068227920000042
为向量拼接操作，
Figure FDA0004068227920000043
和b为参数矩阵和参数向量，σIS为sigmoid激活函数，
Figure FDA0004068227920000044
为输入服务序列的嵌入向量，
Figure FDA0004068227920000045
为输入服务序列的辅助信息的嵌入向量，注意力函数定义为
Figure FDA0004068227920000046
5.根据权利要求4所述的基于动静态兴趣建模与持续时间感知的序列服务推荐方法，其特征在于，所述步骤S5中，利用可学习的门控机制控制动态兴趣
Figure FDA0004068227920000047
和静态兴趣
Figure FDA0004068227920000048
的自适应融合获得用户的混合兴趣pu，并进行推荐。
6.根据权利要求5所述的基于动静态兴趣建模与持续时间感知的序列服务推荐方法，其特征在于，所述步骤S5用户的混合兴趣定义为
Figure FDA0004068227920000049
其中gu是可学习的参数向量，定义为
Figure FDA00040682279200000410
其中
Figure FDA00040682279200000411
和
Figure FDA00040682279200000412
是门控参数，在获取用户u混合兴趣pu的基础上，可计算预测分数并进行推荐，用户u对于服务j的兴趣分数定义为
Figure FDA00040682279200000413
其中qj是服务j的特征嵌入向量。
CN202210479741.7A 2022-05-05 2022-05-05 基于动静态兴趣建模与持续时间感知的序列服务推荐方法 Active CN115098763B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210479741.7A CN115098763B (zh) 2022-05-05 2022-05-05 基于动静态兴趣建模与持续时间感知的序列服务推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210479741.7A CN115098763B (zh) 2022-05-05 2022-05-05 基于动静态兴趣建模与持续时间感知的序列服务推荐方法

Publications (2)

Publication Number Publication Date
CN115098763A CN115098763A (zh) 2022-09-23
CN115098763B true CN115098763B (zh) 2023-04-07

Family

ID=83287424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210479741.7A Active CN115098763B (zh) 2022-05-05 2022-05-05 基于动静态兴趣建模与持续时间感知的序列服务推荐方法

Country Status (1)

Country Link
CN (1) CN115098763B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008409A (zh) * 2019-04-12 2019-07-12 苏州市职业大学 基于自注意力机制的序列推荐方法、装置及设备
CN110688565B (zh) * 2019-09-04 2021-10-15 杭州电子科技大学 基于多维霍克斯过程和注意力机制的下一个物品推荐方法
CN110929164B (zh) * 2019-12-09 2023-04-21 北京交通大学 一种基于用户动态偏好与注意力机制的兴趣点推荐方法
CN111581519B (zh) * 2020-05-25 2022-10-18 中国人民解放军国防科技大学 基于会话中用户意图的物品推荐方法和系统
CN114399193A (zh) * 2022-01-11 2022-04-26 电子科技大学 一种基于深度时序点过程和lstm的缺资料地区径流事件检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Hongyuan Mei.The Neural Hawkes Process: A Neurally Self-Modulating Multivariate Point Process.《31st Conference on Neural Information Processing Systems》.2017,全文. *

Also Published As

Publication number Publication date
CN115098763A (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
US20210004682A1 (en) Adapting a sequence model for use in predicting future device interactions with a computing system
CN104268292B (zh) 画像系统的标签词库更新方法
Chen et al. Deep reinforcement learning in recommender systems: A survey and new perspectives
Chen et al. Combining factorization model and additive forest for collaborative followee recommendation
Cleger-Tamayo et al. Top-N news recommendations in digital newspapers
Zhang et al. Modeling the heterogeneous duration of user interest in time-dependent recommendation: A hidden semi-Markov approach
Hu et al. Playlist recommendation based on reinforcement learning
Wang et al. A personalized electronic movie recommendation system based on support vector machine and improved particle swarm optimization
Wang et al. A learning resource recommendation algorithm based on online learning sequential behavior
Guo et al. PCCF: Periodic and continual temporal co-factorization for recommender systems
Linda et al. Effective context-aware recommendations based on context weighting using genetic algorithm and alleviating data sparsity
Tang et al. Dropout rate prediction of massive open online courses based on convolutional neural networks and long short-term memory network
Ding et al. Event participation recommendation in event-based social networks
Wang et al. Marked temporal dynamics modeling based on recurrent neural network
Busemeyer Old and new directions in strategy selection
Zhuang et al. Sequential transfer learning: Cross-domain novelty seeking trait mining for recommendation
Tabares et al. Seca: A feedback rules model in a ubiquitous microlearning context
CN114817692A (zh) 确定推荐对象的方法、装置和设备及计算机存储介质
CN115098763B (zh) 基于动静态兴趣建模与持续时间感知的序列服务推荐方法
Quan et al. A hybrid recommender system based on AHP that awares contexts with Bayesian networks for smart TV
Jarboui et al. Markov decision process for mooc users behavioral inference
Kompan et al. The short-term user modeling for predictive applications
Abu-Salih et al. Predictive analytics using Social Big Data and machine learning
Korotaev et al. Method for the Development of Recommendation Systems, Customizable to Domains, with Deep GRU Network.
Chalyi et al. Temporal Modeling of User Preferences in Recommender System.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant