CN115098763A - 一种基于动静态兴趣建模与持续时间感知的序列服务推荐方法 - Google Patents

一种基于动静态兴趣建模与持续时间感知的序列服务推荐方法 Download PDF

Info

Publication number
CN115098763A
CN115098763A CN202210479741.7A CN202210479741A CN115098763A CN 115098763 A CN115098763 A CN 115098763A CN 202210479741 A CN202210479741 A CN 202210479741A CN 115098763 A CN115098763 A CN 115098763A
Authority
CN
China
Prior art keywords
duration
interest
dynamic
service
static
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210479741.7A
Other languages
English (en)
Other versions
CN115098763B (zh
Inventor
张新
王东京
殷昱煜
邓水光
俞东进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202210479741.7A priority Critical patent/CN115098763B/zh
Publication of CN115098763A publication Critical patent/CN115098763A/zh
Application granted granted Critical
Publication of CN115098763B publication Critical patent/CN115098763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于动静态兴趣建模与持续时间感知的序列服务推荐方法，由三个主要步骤组成：动态兴趣挖掘建模、静态兴趣挖掘建模和兴趣融合推荐。在动态兴趣挖掘中，利用时间感知神经霍克斯过程中的时间感知连续长短期记忆网络挖掘用户的动态兴趣，其中通过个性化的时间桶嵌入在服务之间嵌入持续时间信息，并在TCLSTM上添加持续时间门，以利用持续时间协助进行动态兴趣挖掘。在静态兴趣挖掘中，通过设计辅助信息感知的自注意力机制来挖掘静态兴趣，将辅助信息作为自我注意机制的辅助部分，以非侵入性的方式学习更好的注意力分布，从而避免信息过度泛滥的问题，有效挖掘并建模用户的静态兴趣。

Description

一种基于动静态兴趣建模与持续时间感知的序列服务推荐 方法
技术领域
本发明涉及数字经济的个性化服务技术领域，针对利用移动互联网等信息技术采集的用户与服务的交互记录或日志数据进行用户兴趣需求建模与行为预测的问题，结合用户的行为数据中的详细的时间信息，具体指一种基于动静态兴趣建模与持续时间感知的序列服务推荐方法。
背景技术
近年来，随着信息技术(Information Technology，IT)不断创新突破，数字化、网络化及智能化迅速发展普及，互联网用户数量不断增加，网络信息资源的数量呈现指数增长，大数据(Big Data)时代已经到来，信息过载(Information Overload)问题愈加严重：内容服务提供商难以从中海量数据中选出符合目标用户需求的资源并通过传统的方式展现给用户，而用户难以在可接受的时间与精力开销内选择自己需要的信息。因此，如何从海量数据中提取特定的信息资源并推送给对其感兴趣的用户，充分利用数据资源并提高用户体验，已经成为促进信息技术以及互联网产业持续高速发展过程中亟待解决的关键问题。
目前，国内外学者在服务推荐领域做了较多工作。基于内容的推荐算法依靠用户的档案属性(例如年龄、性别、收入、职业、地理位置等)以及物品的内容特征(例如数码产品配置、食物口味、电影风格、音乐流派等)实施推荐，其核心策略是基于用户和物品的相关度进行排序和推荐。基于协同过滤的推荐算法包括基于用户的协同过滤和基于物品的协同过滤两种策略，是工业界和学术界广泛应用研究的推荐算法，这类算法利用群体智慧的思想从用户的历史交互记录中挖掘用户的兴趣和需求。上下文感知的推荐算法能够从用户交互记录或评分数据中挖掘用户上下文信息与其兴趣偏好之间的关联关系，基于目标用户当前上下文预测其潜在的兴趣偏好，改进推荐结果。
通常，用户访问在线项目(服务、产品或物品)是按时间顺序排列的。因此，序列推荐成为学术界和工业界的热门话题。具体来说，给定用户的历史行为序列，序列推荐旨在预测用户可能感兴趣的下一个项目。其中，如何准确挖掘用户偏好并设计有效的兴趣表示是一项重要且具有挑战性的任务。用户兴趣表征分为长期兴趣和短期兴趣。长期兴趣和短期兴趣的区别在于兴趣挖掘的行为序列长度不同。传统的序列推荐系统尝试使用序列建模方法挖掘交互序列中的短期兴趣，包括马尔可夫链和递归神经网络。此外，自注意力机制使模型能够访问历史记录的任何部分，非常适合挖掘长期依赖关系，在推荐任务也得到了较多实践。
然而，现有的推荐系统中长期和短期兴趣建模方法不能准确地产生用户的兴趣表征。特别是，用户对其行为序列的兴趣应该在动态和静态视图中建模。动态兴趣和静态兴趣的区别在于兴趣是否在一段时间内保持稳定。动态兴趣随时间不断变化，而静态兴趣在两个相邻的行为记录之间几乎保持不变。具体来说，大多数短期兴趣挖掘方法将用户兴趣的变化视为一个离散的过程，无法挖掘两个不连续行为之间的关系，因此难以准确挖掘用户的动态兴趣。作为一种可能的解决方案，神经霍克斯过程利用连续长短期记忆网络来学习用户兴趣的动态变化，并且无需先验知识。然而，神经霍克斯过程和其他类似的兴趣挖掘方法仅使用交互序列信息或项目之间的时间间隔，而没有考虑与兴趣变化密切相关的持续时间。此外，多数基于自注意机制的方法聚合整个序列的输出以产生长期兴趣，这种方式产生的长期兴趣主要属于静态兴趣，并且许多现有方法侵入性地利用辅助信息，这可能导致信息过度泛滥。此外，自注意力机制最初设计为只接受一种类型的输入(即项目ID)，限制了其利用辅助信息的能力。
发明内容
本发明针对上述问题，提出了一种基于动静态兴趣建模与持续时间感知的序列服务推荐方法，利用时间感知神经霍克斯过程来精确学习动态兴趣，并利用一种辅助信息感知自注意力机制来有效地学习静态兴趣。在此基础上利用门控机制对用户的动态兴趣和静态兴趣进行自适应融合并实现精准的序列服务推荐。
本发明首先获取一定时间内的用户与服务的交互序列数据集 Su＝{S1,…,Su,…,SU}，其中用户u∈U的交互序列定义为
Figure RE-GDA0003790438980000031
U是所有用户集合，|U|表示用户数目。Su中的第i 个元素
Figure RE-GDA0003790438980000032
表示用户u与服务
Figure RE-GDA0003790438980000033
的交互记录，其中V表示所有服务集合，
Figure RE-GDA0003790438980000034
是对应交互行为的辅助信息，包括当前服务
Figure RE-GDA0003790438980000035
与下一个服务
Figure RE-GDA0003790438980000036
间隔时间
Figure RE-GDA0003790438980000037
以及当前服务
Figure RE-GDA0003790438980000038
的持续时间
Figure RE-GDA0003790438980000039
本发明要解决的序列服务推荐问题定义为：给定用户u的历史交互序列
Figure RE-GDA00037904389800000310
预测用户的下一次将要使用的服务。
本发明提供了一种基于动静态兴趣建模与持续时间感知的序列服务推荐方法，包括如下步骤：
S1、数据采集，获取一定时间内多个用户与服务的序列交互数据，并构建数据集；
S2、对数据预处理；
S3、表征学习，将服务和辅助信息表示为低维实数嵌入向量；
S4、兴趣挖掘建模，用户的动态和静态兴趣分别通过时间感知神经霍克斯过程和辅助信息感知自我注意机制进行挖掘和建模；
S5、兴趣融合推荐。
作为优选，所述步骤S1中构建的数据集表达式为：
Su＝{S1,…,Su,…,S|U|}，其中用户u∈U的交互序列定义为
Figure RE-GDA0003790438980000041
U是所有用户集合，|U|表示用户数目，Su中的第i 个元素
Figure RE-GDA0003790438980000042
表示用户u与服务
Figure RE-GDA0003790438980000043
的交互记录，其中V表示所有服务的集合，
Figure RE-GDA0003790438980000044
是对应交互行为的辅助信息，包括当前服务
Figure RE-GDA0003790438980000045
与下个服务
Figure RE-GDA0003790438980000046
间隔时间
Figure RE-GDA0003790438980000047
以及当前服务
Figure RE-GDA0003790438980000048
的持续时间
Figure RE-GDA0003790438980000049
时间g 和持续时间d均为非负实数。
作为优选，所述数据预处理的方法为：将用户的历史行为序列S 截断为一系列连续的固定长度为L的子序列，对于长度小于L的序列，在开头添加一些填充项，即0值，直到长度达到L。
作为优选，所述低维实数嵌入向量包括服务嵌入向量和时间值嵌入向量。
作为优选，所述步骤S3具体包括以下子步骤：
S31、对于服务嵌入向量，使用嵌入矩阵
Figure RE-GDA00037904389800000410
来嵌入服务，其中N是服务的数量，d是嵌入向量的维度；
S32、对于时间值嵌入向量，采用个性化的时间桶嵌入方法将持续时间表示为时间值嵌入向量，对于同一用户的所有持续时间，将它们除以最小的持续时间以产生个性化的持续时间，如果最小持续时间为0，我们手动将其设置为1，用户的最小持续时间记为dmin，持续时间di可以转换为持续时间桶
Figure RE-GDA00037904389800000411
离散时间桶通过可学习的嵌入矩阵
Figure RE-GDA00037904389800000412
变为时间桶嵌入向量，其中D是持续时间桶数。
作为优选，所述步骤S4具体包括以下子步骤：
S41、用户动态兴趣建模挖掘，提出时间感知神经霍克斯过程，基于时间感知连续长短期记忆网络进行动态兴趣挖掘，在动态兴趣挖掘过程中，对于每个输入的服务交互序列S，只关注最后ld交互项
Figure RE-GDA0003790438980000051
用户的静态兴趣为
Figure RE-GDA0003790438980000052
Figure RE-GDA0003790438980000053
为TCLSTM的最后一个单元的状态表示；
S42、用户静态兴趣建模挖掘，静态兴趣代表整体稳定的偏好，使用整个输入序列进行静态兴趣挖掘，用户的静态兴趣定义为
Figure RE-GDA0003790438980000054
作为优选，所述步骤S41中的TCLSTM中的更新方程如下：
ik+1＝σi(Wxixk+Whih(tk)+bi)
fk+1＝σf(Wxfxk+Whfh(tk)+bf)
Figure RE-GDA0003790438980000055
ck+1＝fk+1⊙c(tk)+ik+1⊙σc(Wxcxk+Whch(tk)+bc)⊙dk+1
Figure RE-GDA0003790438980000056
其中ik+1,fk+1,ok+1,dk+1分别代表第k项的输入、遗忘、输出门和持续时间门，持续时间门d能够控制持续时间的影响，并过滤单元状态 c来控制当前服务的影响，ck是带有历史信息的单元状态向量，xk是输入特征向量，h(tk)和c(tk)是第k个服务到达时的隐藏输出状态和单元状态向量，⊙表示逐元素乘法，σi、σf、σo、σd和σ′d是sigmoid 激活函数，σc是tanh激活函数，可学习权重参数矩阵W的下标表示它们的连接作用，下标x、h、i、f、o、d分别表示输入层、隐藏层、输入门、遗忘门、输出门、持续时间门，Wxi是输入层-输入门矩阵， bi,bf,bc,bo,bδ均为偏置，
t∈(tk,tk+1]时，随着t＞tk增加，单元状态c(t)以δk+1的速率从ck+1向
Figure RE-GDA0003790438980000057
衰减：
Figure RE-GDA0003790438980000061
δk+1＝σδ(Wxδxk+Whδh(tk)+bδ)
Figure RE-GDA0003790438980000062
其中，σδ是softplus激活函数，Wxδ和Whδ是可学习的权重参数， bδ是偏置，
Figure RE-GDA0003790438980000063
和
Figure RE-GDA0003790438980000064
的定义与fk+1和ik+1类似，随着时间的变化，h(t)由 c(t)连续产生，h(t)＝ok+1⊙σh(c(t))，其中σh是tanh激活函数，当t∈(tk,tk+1] 并且下一个服务没有来临时，c(t)和h(t)均成立。
作为优选，所述步骤S42中，用户的静态兴趣定义为
Figure RE-GDA0003790438980000065
其中
Figure RE-GDA0003790438980000066
是可学习的变换向量，
Figure RE-GDA0003790438980000067
是利用多头注意力机制得到的特征向量，定义为：H＝Concat(head1,head2,…,headh)，其中Concat 表示向量拼接操作，
Figure RE-GDA0003790438980000068
其中
Figure RE-GDA0003790438980000069
Figure RE-GDA00037904389800000610
和
Figure RE-GDA00037904389800000611
为可学习的参数矩阵，
Figure RE-GDA00037904389800000612
为混合嵌入向量，定义为：
Figure RE-GDA00037904389800000613
其中
Figure RE-GDA00037904389800000614
为向量拼接操作，
Figure RE-GDA00037904389800000615
和b为参数矩阵和参数向量，σIS为sigmoid激活函数，
Figure RE-GDA00037904389800000616
为输入服务序列的嵌入向量，
Figure RE-GDA00037904389800000617
为输入服务序列的辅助信息的嵌入向量，注意力函数定义为
Figure RE-GDA00037904389800000618
作为优选，所述步骤S5中，利用可学习的门控机制控制动态兴趣
Figure RE-GDA00037904389800000619
和静态兴趣
Figure RE-GDA00037904389800000620
的自适应融合获得用户的混合兴趣pu，并进行推荐。
作为优选，所述步骤S5用户的混合兴趣定义为
Figure RE-GDA00037904389800000621
其中gu是可学习的参数向量，定义为
Figure RE-GDA00037904389800000622
其中
Figure RE-GDA00037904389800000623
和
Figure RE-GDA00037904389800000624
是门控参数，在获取用户u混合兴趣pu的基础上，可计算预测分数并进行推荐，用户u 对于服务j的兴趣分数定义为
Figure RE-GDA0003790438980000071
其中
Figure RE-GDA0003790438980000072
是服务j的特征嵌入向量。
本发明具有以下的特点和有益效果：
本发明提出了一种基于动静态兴趣建模与持续时间感知的序列服务推荐方法，具体来说，本发明由三个主要部分组成：动态兴趣挖掘建模、静态兴趣挖掘建模和兴趣融合推荐。在动态兴趣挖掘中，利用时间感知神经霍克斯过程中的时间感知连续长短期记忆网络(TCLSTM)挖掘用户的动态兴趣，其中通过个性化的时间桶嵌入在服务之间嵌入持续时间信息，并在TCLSTM上添加持续时间门，以利用持续时间协助动态兴趣挖掘。在静态兴趣挖掘中，通过辅助信息感知的自注意力机制来挖掘静态兴趣，将辅助信息作为自我注意机制的辅助部分，以非侵入性的方式学习更好的注意力分布，从而避免信息过度泛滥的问题。最后，本发明设计了一种门控机制来自适应地融合动态兴趣和静态兴趣以产生混合兴趣并进行精准服务推荐。
附图说明
图1为本发明实施例的模型架构图。
图2为本发明实施例中TCLSTM示意图。
具体实施方式
接下来结合附图具体阐述实施步骤。
本发明公开了一种基于动静态兴趣建模与持续时间感知的序列服务推荐方法，具体包括如下步骤
S1、如图1所示，获取一定时间内多个用户与服务的序列交互数据集Su＝{S1,…,Su,…,S|U|}，其中用户u∈U的交互序列定义为
Figure RE-GDA0003790438980000081
U是所有用户集合，|U|表示用户数目。Su中的第 i个元素
Figure RE-GDA0003790438980000082
表示用户u与服务
Figure RE-GDA0003790438980000083
的交互记录，其中V表示所有服务集合，
Figure RE-GDA0003790438980000084
是对应交互行为的辅助信息，包括当前服务
Figure RE-GDA0003790438980000085
与下个服务
Figure RE-GDA0003790438980000086
间隔时间
Figure RE-GDA0003790438980000087
以及当前服务
Figure RE-GDA0003790438980000088
的持续时间
Figure RE-GDA0003790438980000089
时间 g和持续时间d均为非负实数。
S2、由于用户的历史行为序列S可能很长，我们将其截断为一系列连续的固定长度为L的子序列，以提高计算效率和并行处理能力。对于长度小于L的序列，我们在开头添加一些填充项(0值)，直到长度达到L。
S3、如图1中的嵌入层所示，将服务和辅助信息表示为低维实数嵌入向量。本发明考虑了两种类型的嵌入向量，即服务嵌入向量和时间值嵌入向量。
S3-1、对于服务嵌入向量，我们使用嵌入矩阵
Figure RE-GDA00037904389800000810
来嵌入服务，其中N是服务的数量，d是嵌入向量的维度。
S3-2、本发明采用个性化的时间桶嵌入方法把持续时间表示为时间值嵌入向量。对于同一用户的所有持续时间，我们将它们除以最小的持续时间以产生个性化的持续时间。如果最小持续时间为0，我们手动将其设置为1。用户的最小持续时间记为dmin，然后持续时间di可以转换为持续时间桶
Figure RE-GDA00037904389800000811
离散时间桶通过可学习的嵌入矩阵
Figure RE-GDA00037904389800000812
变为时间桶嵌入向量，其中D是持续时间的桶数。
S4、通过时间感知神经霍克斯过程和辅助信息感知自我注意机制分别对用户的动态兴趣和静态兴趣进行挖掘和建模。
S4-1、如图1中的动态兴趣挖掘建模部分所示，本发明用时间感知神经霍克斯过程挖掘并建模用户的动态兴趣。如图2所示，该方法基于时间感知连续长短期记忆网络(TCLSTM)进行动态兴趣挖掘。在动态兴趣挖掘过程中，对于每个输入的服务交互序列S，我们只关注最后ld交互项
Figure RE-GDA0003790438980000091
用户的静态兴趣为
Figure RE-GDA0003790438980000092
其中
Figure RE-GDA0003790438980000093
为TCLSTM的最后一个单元的状态表示。
TCLSTM用于模拟服务在连续时间内的强度动态变化，其中强度表示服务在短时间内交互的概率。在TCLSTM中，当一个新服务到达时，随着间隔时间增加，记忆单元c以速率δ呈指数衰减并朝着稳态值
Figure RE-GDA0003790438980000096
下降，隐藏状态h随着c的变化而变化。此外，我们添加了一个持续时间门d来控制持续时间的影响。具体而言，TCLSTM中的更新方程如下：
ik+1＝σi(Wxixk+Whih(tk)+bi)，
fk+1＝σf(Wxfxk+Whfh(tk)+bf)，
Figure RE-GDA0003790438980000094
ck+1＝fk+1⊙c(tk)+ik+1⊙σc(Wxcxk+Whch(tk)+bc)⊙dk+1，
Figure RE-GDA0003790438980000095
其中ik+1,fk+1,ok+1,dk+1分别代表第k项的输入、遗忘、输出门和持续时间门。ck是带有历史信息的单元状态向量，xk是输入特征向量， h(tk)和c(tk)是第k个服务到达时的隐藏输出状态和单元状态向量。⊙表示逐元素乘法。σi、σf、σo、σd和σ′d是sigmoid激活函数，σc是tanh激活函数。可学习权重参数矩阵W的下标表示它们的连接作用 (下标x、h、i、f、o、d分别表示输入层、隐藏层、输入门、遗忘门、输出门、持续时间门)。例如，Wxi是输入层-输入门矩阵，而Who是隐藏层-输出门矩阵。bi,bf,bc,bo,bδ均为偏置。持续时间门d可以通过过滤单元状态c来控制当前item的影响。此外，存储在dk中的时长信息会被传递给ck和ck，之后会不断地传播到单元中。因此持续时间门可以帮助更全面地挖掘用户的动态兴趣。
t∈(tk,tk+1]时，随着t＞tk增加，单元状态c(t)以δk+1的速率从ck+1向
Figure RE-GDA0003790438980000101
衰减：
Figure RE-GDA0003790438980000102
δk+1＝σδ(Wxδxk+Whδh(tk)+bδ)，
Figure RE-GDA0003790438980000103
其中，σδ是softplus激活函数。Wxδ和Whδ是可学习的权重参数， bδ是偏置。
Figure RE-GDA0003790438980000104
和
Figure RE-GDA0003790438980000105
的定义与fk+1和ik+1类似，但权重不同。随着时间的变化，h(t)由c(t)连续产生：
h(t)＝ok+1⊙σh(c(t))，
其中σh是tanh激活函数。当t∈(tk,tk+1]并且下一个服务没有来临时，c(t)和h(t)均成立。
S4-2、对用户静态兴趣进行建模挖掘。静态兴趣主要代表整体稳定的偏好，我们使用整个输入序列进行静态兴趣挖掘。用户的静态兴趣定义为
Figure RE-GDA0003790438980000106
其中
Figure RE-GDA0003790438980000107
是可学习的变换向量，
Figure RE-GDA0003790438980000108
是利用多头注意力机制得到的特征向量，定义为：
H＝Concat(head1,head2,…,headh)，
其中Concat表示向量拼接操作，单头注意力定义为：
Figure RE-GDA0003790438980000109
其中
Figure RE-GDA00037904389800001010
和
Figure RE-GDA00037904389800001011
为可学习的参数矩阵，
Figure RE-GDA00037904389800001012
为混合嵌入向量，定义为：
Figure RE-GDA0003790438980000111
其中
Figure RE-GDA0003790438980000112
为向量拼接操作，
Figure RE-GDA0003790438980000113
和b为参数矩阵和参数向量，σIS为sigmoid激活函数，
Figure RE-GDA0003790438980000114
为输入服务序列的嵌入向量，
Figure RE-GDA0003790438980000115
为输入服务序列的辅助信息的嵌入向量，注意力函数定义为
Figure RE-GDA0003790438980000116
S5、利用可学习的门控机制控制动态兴趣
Figure RE-GDA0003790438980000117
和静态兴趣
Figure RE-GDA0003790438980000118
的自适应融合获得用户的混合兴趣pu，并进行推荐。用户的混合兴趣定义为：
Figure RE-GDA0003790438980000119
其中gu是可学习的参数向量，定义为：
Figure RE-GDA00037904389800001110
其中
Figure RE-GDA00037904389800001111
和
Figure RE-GDA00037904389800001112
是门控参数。
在获取用户u混合兴趣pu的基础上，可计算预测分数并进行推荐。
用户u对于服务j的兴趣分数定义为：
Figure RE-GDA00037904389800001113
其中
Figure RE-GDA00037904389800001114
是服务j的特征嵌入向量。
以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式包括部件进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

Claims (10)

1.一种基于动静态兴趣建模与持续时间感知的序列服务推荐方法，其特征在于，包括如下步骤：
S1、数据采集，获取一定时间内多个用户与服务的序列交互数据，并构建数据集；
S2、对数据预处理；
S3、表征学习，将服务和辅助信息表示为低维实数嵌入向量；
S4、兴趣挖掘建模，用户的动态和静态兴趣分别通过时间感知神经霍克斯过程和辅助信息感知自我注意机制进行挖掘和建模；
S5、兴趣融合推荐。
2.根据权利要求1所述的基于动静态兴趣建模与持续时间感知的序列服务推荐方法，其特征在于，所述步骤S1中构建的数据集表达式为：
Su＝{S1,…,Su,…,S|U|}，其中用户u∈U的交互序列定义为
Figure FDA0003627272700000011
U是所有用户集合，|U|表示用户数目，Su中的第i个元素
Figure FDA0003627272700000012
表示用户u与服务
Figure FDA0003627272700000013
的交互记录，其中V表示所有服务的集合，
Figure FDA0003627272700000014
是对应交互行为的辅助信息，包括当前服务
Figure FDA0003627272700000015
与下个服务
Figure FDA0003627272700000016
间隔时间
Figure FDA0003627272700000017
以及当前服务
Figure FDA0003627272700000018
的持续时间
Figure FDA0003627272700000019
时间g和持续时间d均为非负实数。
3.根据权利要求2所述的基于动静态兴趣建模与持续时间感知的序列服务推荐方法，其特征在于，所述数据预处理的方法为：将用户的历史行为序列S截断为一系列连续的固定长度为L的子序列，对于长度小于L的序列，在开头添加一些填充项，即0值，直到长度达到L。
4.根据权利要求1所述的基于动静态兴趣建模与持续时间感知的序列服务推荐方法，其特征在于，所述低维实数嵌入向量包括服务嵌入向量和时间值嵌入向量。
5.根据权利要求4所述的基于动静态兴趣建模与持续时间感知的序列服务推荐方法，其特征在于，所述步骤S3具体包括以下子步骤：
S31、对于服务嵌入向量，使用嵌入矩阵
Figure FDA0003627272700000021
来嵌入服务，其中N是服务的数量，d是嵌入向量的维度；
S32、对于时间值嵌入向量，采用个性化的时间桶嵌入方法将持续时间表示为时间值嵌入向量，对于同一用户的所有持续时间，将它们除以最小的持续时间以产生个性化的持续时间，如果最小持续时间为0，我们手动将其设置为1，用户的最小持续时间记为dmin，持续时间di可以转换为持续时间桶
Figure FDA0003627272700000022
离散时间桶通过可学习的嵌入矩阵
Figure FDA0003627272700000023
变为时间桶嵌入向量，其中D是持续时间桶数。
6.根据权利要求1所述的基于动静态兴趣建模与持续时间感知的序列服务推荐方法，其特征在于，所述步骤S4具体包括以下子步骤：
S41、用户动态兴趣建模挖掘，提出时间感知神经霍克斯过程，基于时间感知连续长短期记忆网络进行动态兴趣挖掘，在动态兴趣挖掘过程中，对于每个输入的服务交互序列S，只关注最后ld交互项
Figure FDA0003627272700000024
用户的静态兴趣为
Figure FDA0003627272700000025
Figure FDA0003627272700000026
为TCLSTM的最后一个单元的状态表示；
S42、用户静态兴趣建模挖掘，静态兴趣代表整体稳定的偏好，使用整个输入序列进行静态兴趣挖掘，用户的静态兴趣定义为
Figure FDA0003627272700000031
7.根据权利要求6所述的基于动静态兴趣建模与持续时间感知的序列服务推荐方法，其特征在于，所述步骤S41中的TCLSTM中的更新方程如下：
ik+1＝σi(Wxixk+Whih(tk)+bi)
fk+1＝σf(Wxfxk+Whfh(tk)+bf)
Figure FDA0003627272700000032
ck+1＝fk+1⊙c(tk)+ik+1⊙σc(Wxcxk+Whch(tk)+bc)⊙dk+1
Figure FDA0003627272700000033
其中ik+1,fk+1,ok+1,dk+1分别代表第k项的输入、遗忘、输出门和持续时间门，持续时间门d能够控制持续时间的影响，并过滤单元状态c来控制当前服务的影响，ck是带有历史信息的单元状态向量，xk是输入特征向量，h(tk)和c(tk)是第k个服务到达时的隐藏输出状态和单元状态向量，⊙表示逐元素乘法，σi、σf、σo、σd和σ′d是sigmoid激活函数，σc是tanh激活函数，可学习权重参数矩阵W的下标表示它们的连接作用，下标x、h、i、f、o、d分别表示输入层、隐藏层、输入门、遗忘门、输出门、持续时间门，Wxi是输入层-输入门矩阵，bi,bf,bc,bo,bδ均为偏置，
t∈(tk,tk+1]时，随着t＞tk增加，单元状态c(t)以δk+1的速率从ck+1向
Figure FDA0003627272700000034
衰减：
Figure FDA0003627272700000035
δk+1＝σδ(Wxδxk+Whδh(tk)+bδ)
Figure FDA0003627272700000036
其中，σδ是softplus激活函数，Wxδ和Whδ是可学习的权重参数，bδ是偏置，
Figure FDA0003627272700000041
和
Figure FDA0003627272700000042
的定义与fk+1和ik+1类似，随着时间的变化，h(t)由c(t)连续产生，h(t)＝ok+1⊙σh(c(t))，其中σh是tanh激活函数，当t∈(tk,tk+1]并且下一个服务没有来临时，c(t)和h(t)均成立。
8.根据权利要求6所述的基于动静态兴趣建模与持续时间感知的序列服务推荐方法，其特征在于，所述步骤S42中，用户的静态兴趣定义为
Figure FDA0003627272700000043
其中
Figure FDA0003627272700000044
是可学习的变换向量，
Figure FDA0003627272700000045
是利用多头注意力机制得到的特征向量，定义为：H＝Concat(head1,head2,…,headh)，其中Concat表示向量拼接操作，
Figure FDA0003627272700000046
其中
Figure FDA0003627272700000047
和
Figure FDA0003627272700000048
为可学习的参数矩阵，
Figure FDA0003627272700000049
为混合嵌入向量，定义为：
Figure FDA00036272727000000410
其中
Figure FDA00036272727000000411
为向量拼接操作，
Figure FDA00036272727000000412
和b为参数矩阵和参数向量，σIS为sigmoid激活函数，
Figure FDA00036272727000000413
为输入服务序列的嵌入向量，
Figure FDA00036272727000000414
为输入服务序列的辅助信息的嵌入向量，注意力函数定义为
Figure FDA00036272727000000415
9.根据权利要求6所述的基于动静态兴趣建模与持续时间感知的序列服务推荐方法，其特征在于，所述步骤S5中，利用可学习的门控机制控制动态兴趣
Figure FDA00036272727000000416
和静态兴趣
Figure FDA00036272727000000417
的自适应融合获得用户的混合兴趣pu，并进行推荐。
10.根据权利要求9所述的基于动静态兴趣建模与持续时间感知的序列服务推荐方法，其特征在于，所述步骤S5用户的混合兴趣定义为
Figure FDA00036272727000000418
其中gu是可学习的参数向量，定义为
Figure FDA00036272727000000419
其中
Figure FDA00036272727000000420
和
Figure FDA00036272727000000421
是门控参数，在获取用户u混合兴趣pu的基础上，可计算预测分数并进行推荐，用户u对于服务j的兴趣分数定义为
Figure FDA0003627272700000051
其中
Figure FDA0003627272700000052
是服务j的特征嵌入向量。
CN202210479741.7A 2022-05-05 2022-05-05 基于动静态兴趣建模与持续时间感知的序列服务推荐方法 Active CN115098763B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210479741.7A CN115098763B (zh) 2022-05-05 2022-05-05 基于动静态兴趣建模与持续时间感知的序列服务推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210479741.7A CN115098763B (zh) 2022-05-05 2022-05-05 基于动静态兴趣建模与持续时间感知的序列服务推荐方法

Publications (2)

Publication Number Publication Date
CN115098763A true CN115098763A (zh) 2022-09-23
CN115098763B CN115098763B (zh) 2023-04-07

Family

ID=83287424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210479741.7A Active CN115098763B (zh) 2022-05-05 2022-05-05 基于动静态兴趣建模与持续时间感知的序列服务推荐方法

Country Status (1)

Country Link
CN (1) CN115098763B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2626220A (en) * 2022-11-29 2024-07-17 Univ Hangzhou Dianzi Sequence recommendation method based on extracting and modeling of complex multi-mode user interests

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008409A (zh) * 2019-04-12 2019-07-12 苏州市职业大学 基于自注意力机制的序列推荐方法、装置及设备
CN110688565A (zh) * 2019-09-04 2020-01-14 杭州电子科技大学 基于多维霍克斯过程和注意力机制的下一个物品推荐方法
CN110929164A (zh) * 2019-12-09 2020-03-27 北京交通大学 一种基于用户动态偏好与注意力机制的兴趣点推荐方法
US20210366025A1 (en) * 2020-05-25 2021-11-25 National University Of Defense Technology Item recommendation method based on user intention in session and system thereof
CN114399193A (zh) * 2022-01-11 2022-04-26 电子科技大学 一种基于深度时序点过程和lstm的缺资料地区径流事件检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008409A (zh) * 2019-04-12 2019-07-12 苏州市职业大学 基于自注意力机制的序列推荐方法、装置及设备
CN110688565A (zh) * 2019-09-04 2020-01-14 杭州电子科技大学 基于多维霍克斯过程和注意力机制的下一个物品推荐方法
CN110929164A (zh) * 2019-12-09 2020-03-27 北京交通大学 一种基于用户动态偏好与注意力机制的兴趣点推荐方法
US20210366025A1 (en) * 2020-05-25 2021-11-25 National University Of Defense Technology Item recommendation method based on user intention in session and system thereof
CN114399193A (zh) * 2022-01-11 2022-04-26 电子科技大学 一种基于深度时序点过程和lstm的缺资料地区径流事件检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HONGYUAN MEI: "The Neural Hawkes Process: A Neurally Self-Modulating Multivariate Point Process" *
贾伟涛: "基于用户动态兴趣的推荐算法研究", 《信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2626220A (en) * 2022-11-29 2024-07-17 Univ Hangzhou Dianzi Sequence recommendation method based on extracting and modeling of complex multi-mode user interests

Also Published As

Publication number Publication date
CN115098763B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
Zhao et al. Where to go next: A spatio-temporal gated network for next poi recommendation
US20210004682A1 (en) Adapting a sequence model for use in predicting future device interactions with a computing system
Wang et al. A fuzzy logic-based hybrid estimation of distribution algorithm for distributed permutation flowshop scheduling problems under machine breakdown
Zhang et al. Modeling the heterogeneous duration of user interest in time-dependent recommendation: A hidden semi-Markov approach
Chen et al. Combining factorization model and additive forest for collaborative followee recommendation
Alshmrany Adaptive learning style prediction in e-learning environment using levy flight distribution based CNN model
CN104268292A (zh) 画像系统的标签词库更新方法
Hu et al. Playlist recommendation based on reinforcement learning
Lin et al. Applying gray model to predicting trend of textile fashion colors
Tapia-Rosero et al. Fusion of preferences from different perspectives in a decision-making context
Cortez et al. Multi-step time series prediction intervals using neuroevolution
Boppana et al. Web crawling based context aware recommender system using optimized deep recurrent neural network
Rosaci et al. Cloning mechanisms to improve agent performances
Linda et al. Effective context-aware recommendations based on context weighting using genetic algorithm and alleviating data sparsity
CN115098763B (zh) 基于动静态兴趣建模与持续时间感知的序列服务推荐方法
Tang et al. Dropout Rate Prediction of Massive Open Online Courses Based on Convolutional Neural Networks and Long Short‐Term Memory Network
Li et al. Research on the application of multimedia entropy method in data mining of retail business
Verma et al. An automatic college library book recommendation system using optimized Hidden Markov based weighted fuzzy ranking model
Li et al. Probability matrix factorization algorithm for course recommendation system fusing the influence of nearest neighbor users based on cloud model
Caschera et al. MONDE: a method for predicting social network dynamics and evolution
CN114817692A (zh) 确定推荐对象的方法、装置和设备及计算机存储介质
Yan et al. Collaborative filtering recommendation algorithm based on user preferences
Deenadayalan et al. User Feature Similarity Supported Collaborative Filtering for Page Recommendation Using Hybrid Shuffled Frog Leaping Algorithm.
Boppana et al. Distributed focused web crawling for context aware recommender system using machine learning and text mining algorithms
Chalyi et al. Temporal Modeling of User Preferences in Recommender System.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant