CN114912984A - 基于自注意力的时间评分感知上下文的推荐方法及系统 - Google Patents
基于自注意力的时间评分感知上下文的推荐方法及系统 Download PDFInfo
- Publication number
- CN114912984A CN114912984A CN202210611580.2A CN202210611580A CN114912984A CN 114912984 A CN114912984 A CN 114912984A CN 202210611580 A CN202210611580 A CN 202210611580A CN 114912984 A CN114912984 A CN 114912984A
- Authority
- CN
- China
- Prior art keywords
- time
- context
- user
- recommendation
- scoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000003993 interaction Effects 0.000 claims abstract description 24
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims description 21
- 230000000694 effects Effects 0.000 claims description 13
- 230000002123 temporal effect Effects 0.000 claims description 11
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 10
- 241001522296 Erithacus rubecula Species 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 10
- 230000006399 behavior Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 11
- 238000012549 training Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及推荐方法技术领域，公开了一种基于自注意力的时间评分感知上下文的推荐方法及系统，包括以下步骤：步骤1：采集特征数据，并形成信息序列；所述信息序列中包括用户历史交互序列；步骤2：自用户历史交互序列中获取评分上下文、时间上下文及物品信息并输入推荐模型；步骤3：推荐模型采用自注意力机制捕捉时间‑评分影响；所述时间‑评分影响为时间上下文及评分上下文对用户爱好的影响；步骤4：推荐模型依据时间‑评分影响预测获得数个推荐的物品，并按照预设排名策略对推荐的物品进行排名；步骤5：按照排名向用户推荐物品。本发明能够结合用户动态的爱好变化，精准地预测用户下一次选择的物品，进而实现准确推荐。
Description
技术领域
本发明涉及推荐方法技术领域，具体涉及一种基于自注意力的时间评分感知上下文的推荐方法及系统。
背景技术
随着互联网和大数据技术的快速发展，用户数量快速攀升，各大平台为用户们提供了多样化的海量的信息数据，这些海量数据为用户提供了充足的参考选择的同时，也为人们找到自己所需要的物品增加了许多的难度。但是，推荐系统的出现帮人们很好的解决了这个问题。它根据用户浏览的历史记录来给用户推荐不同的物品，使得人们可以快速的找到自己所需要的物品。它可以为用户提供个性化的商品推荐，针对用户需求和兴趣进行个性化计算，引导用户主动的发现自己的兴趣点。如今，推荐系统在电子商务和一些在线平台上取得了较好的应用效果。
但是，现有的推荐系统性能并不完善，推荐方法仍存在较大优化空间。例如，现有的一种物品推荐方法，应用的是基于马尔科夫链的推荐方法，该方法属于基于上下文的序列推荐方法(即将用户最近的行为与用户最近的意图结合起来,从用户的最近行为中去捕捉用户接下来的意图)的一种，它能够以假设下一个的行为只与前一个的行为有关为条件，进而预测并推荐下一个物品。但是，基于马尔科夫链的方法严重依赖于上一次的行为。在序列很长的情况下，会损失很多序列信息，不能进行准确的推荐，推荐效果较差。而还有的基于协同过滤的推荐方法，由于协同过滤没有考虑序列之间的顺序性，不能捕捉用户的短期爱好和长期爱好，更不能给用户推荐从来没有浏览过的物品，推荐效果也较差。
故，需要提供一种新的推荐效果更佳、整体性能表现更好的推荐方法及系统。
发明内容
本发明意在提供一种基于自注意力的时间评分感知上下文的推荐方法及系统，能够结合用户动态的爱好变化，精准地预测用户下一次选择的物品，进而实现准确推荐。
为达到上述目的，本发明提供以下方案：
方案一：
基于自注意力的时间评分感知上下文的推荐方法，包括以下步骤：
步骤1：采集特征数据，并形成信息序列；所述信息序列中包括用户历史交互序列；
步骤2：自用户历史交互序列中获取评分上下文、时间上下文及物品信息并输入推荐模型；
步骤3：推荐模型采用自注意力机制捕捉时间-评分影响；所述时间-评分影响为时间上下文及评分上下文对用户爱好的影响；
步骤4：推荐模型依据时间-评分影响预测获得数个推荐的物品，并按照预设排名策略对推荐的物品进行排名；
步骤5：按照排名向用户推荐物品。
本方案的工作原理及优点在于：利用用户历史交互序列获知评分上下文、时间上下文及物品信息等与用户爱好和用户意图存在关联的内容，并利用推荐模型自上述内容中捕捉时间-评分影响，即捕捉用户爱好，并基于用户爱好与用户的历史交互行为，对用户下一次选择的物品进行预测，预测依据可靠且充分，能够准确地完成推荐预测。
最重要的是，本方案特别关注了用户历史交互序列中的评分相关信息和时间相关信息，并提取了评分上下文和时间上下文，利用自注意力机制学习时间上下文、评分上下文和用户爱好之间的关系，以捕捉得到时间-评分影响，时间-评分影响反映时间、评分与用户爱好的关系，即捕捉得到了在不同的时间段物品的评分对用户下一行为的影响。本方案这样设置，关键在于，本方案突破性地发现了常规的推荐方案中所忽略的重要一点——评分对预测物品的影响。
常规的推荐方案，往往关注的是用户行为本身，关注的是用户的选择动作、选择对象和选择频率，侧重于行为表象，而忽略了用户对物品的不同反馈及反馈的动态变化。具体地，在不同的时间段内，用户对物品的评分可能会影响用户对下一个物品的选择。现有的推荐方案均未考虑到这一点，而实际上，在不同的时间段，针对同一个物品的评分拥有不同的重要程度。因为对物品评分的主体——用户，其行为是动态改变的，而处于不同时间段的同一用户对同一物品的爱好程度也是动态改变的，反馈为具体的行为表现，即处于不同时间段的同一用户对同一物品给出的评分可能是不一致的，评分的改变表示了用户对该物品随着时间变化有不同的爱好程度。而该动态的爱好程度变化，与用户的下一行为，与用户其下一次选择的物品存在重要关联。
本方案则对这一重要关联进行了捕捉，在进行物品预测时，将评分上下文、时间上下文、物品信息与用户爱好进行关联考量，准确捕捉时间-评分影响，准确确认了时间及评分对用户爱好的影响，进而依据于时间-评分影响进行物品推荐，推荐结合了用户动态的爱好变化，使得本方案能够精准地预测用户下一次选择的物品，进而实现准确推荐。
进一步，在步骤1中，所述用户历史交互序列包括用户的物品序列、与用户的物品序列中的物品对应的时间序列和与用户的物品序列中的物品对应的评分序列。
用户历史交互序列中囊括了充分的用户行为信息，包括物品序列、时间序列和评分序列，能够为推荐模型提供充分的推荐分析依据，保证推荐模型能够有效运作。
进一步，在步骤2中，获取时间上下文时，采用门控循环单元捕捉时间序列对用户行为的影响并形成时间上下文。
门控循环单元，即GRU(gated recurrent unit)，为一种常用的门控循环神经网络，常用于解决长期记忆和反向传播中的梯度等问题，能够较好地捕捉时序数据中间隔较大的依赖关系。
本方案这样设置，采用门控循环单元处理时间序列，能够较好地将时间序列中所隐藏的时间序列对用户行为的影响捕捉出来，进而确定时间因素对用户爱好的影响，有助于后续准确预测物品。
进一步，所述门控循环单元捕捉时间序列对用户行为的影响时，依据时间序列、物品序列和用户信息进行捕捉；其中，用户信息输入至门控循环单元的隐藏层中，时间序列和物品序列融入门控循环单元的主体网络结构中。
本方案中特别地将用户信息也输入到门循环单元中，因为本方案中发现了在多种多样的用户行为中，针对不同的用户，即使他们表现出的时间序列、物品序列是一致的，但是其各自的更深层次的动作逻辑、选择逻辑也是存在区别的。而常规方案中却没有发现该问题，以致于常规方案在处理时间上下文时往往仅关注时间序列、物品序列本身，而不关注其表象下的动作逻辑，导致后续得出的推荐内容与不同用户的对应性较差，推荐准确度较差。而本方案这样设置，能够将物品序列和时间序列相同的用户行为再做区分，在捕捉时间序列对用户行为的影响时，捕捉得到的影响的针对性更强，后续得出的推荐内容也更具对应性，更为准确。
进一步，所述推荐模型为SATSA模型；所述推荐模型包括依次设置的自注意力层、残差连接层和标准化层。
SATSA模型为本方案中所设计的推荐模型的简称，为本方案定义的特殊专用名词。其中，自注意力层的设置用于通过自注意力机制捕捉时间-评分影响；残差连接层的设置能够较好地将自注意力机制捕捉得到的时间-评分影响进行进一步处理，进而得到推荐物品的初步嵌入信息，并且残差连接层的设置能够有效提升推荐模型的神经网络表征能力，提升模型整体性能；标准化层的设置，能够进一步地增强推荐模型的能力，并加速模型中的神经网络训练。
进一步，所述推荐模型还包括逐点前馈神经网络；所述逐点前馈神经网络中设有GELU函数。
逐点前馈神经网络，属于前馈神经网络(Feedforward neural network，FNN)中的一种。前馈神经网络采用一种单向多层结构，其中每一层包含若干个神经元。在此种神经网络中，各神经元可以接收前一层神经元的信号，并产生输出到下一层。
本方案采用逐点前馈神经网络，其中设有GELU函数，能够赋予推荐模型非线性，使之成为非线性模型，并使得推荐模型能够考虑到不同潜在维度之间的相互作用，推荐模型的分析能力更强，整体性能更好，进而能够达到更好的推荐效果。
进一步，所述推荐模型采用dropout进行训练。
dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。Dropout常用于解决神经网络的过拟合问题。本方案采用dropout训练模型，能够有效解决推荐模型的过拟合问题，推荐模型性能表现更好，推荐效果更佳。
进一步，所述推荐模型还包括预测层；所述预测层用于预测用户下一次选择的物品并对物品按照预设排名策略排名；在步骤4和步骤5中所述的物品为预测层预测的用户下一次选择的物品；所述预设排名策略为按照时间-评分影响大小自高向低排列物品。
由预测层预测用户下一次选择的物品作为推荐的物品，并且依照时间-评分影响大小进行排名以便于推荐，这样设置，推荐的物品与用户爱好正相关，推荐准确度较高。
进一步，所述推荐模型还包括损失函数；所述损失函数为二元交叉熵损失函数；且采用Adam优化器对推荐模型进行优化，所述损失函数为Adam优化器的目标函数。
损失函数常用来表现预测与实际数据的差距程度，本方案中通过设置二元交叉熵损失函数能够帮助衡量模型预测的好坏；同时，采用Adam优化器对推荐模型进行优化，Adam优化器能够有效优化损失函数的参数使之达到最合适的值，也就是使损失函数达到最小，使得模型达到最佳预测效果。
方案二：
基于自注意力的时间评分感知上下文的推荐系统，用于如方案一所述的基于自注意力的时间评分感知上下文的推荐方法，包括：采集模块、输入模块和推荐模块；所述采集模块用于采集特征数据，并形成信息序列；所述输入模块用于获取评分上下文、时间上下文及物品信息并输入推荐模块；所述推荐模块内设有推荐模型，所述推荐模型用于捕捉时间-评分影响；所述时间-评分影响为时间上下文及评分上下文对用户爱好的影响；所述推荐模型还依据时间-评分影响预测推荐的物品并对推荐的物品进行排名，并按照排名向用户推荐物品。
本方案的效果及优点在于：各个模块相互配合，并由推荐模型确认时间-评分影响并依据于时间-评分影响进行预测排名，在预测时能够通过时间-评分影响，结合时间、评分与用户爱好的关系，结合用户动态的爱好变化，精准地预测用户下一次选择的物品，进而实现准确推荐。
附图说明
图1为本发明基于自注意力的时间评分感知上下文的推荐方法及系统实施例的方法流程示意图；
图2为本发明基于自注意力的时间评分感知上下文的推荐方法及系统实施例的时间上下文模块示意图；
图3为本发明基于自注意力的时间评分感知上下文的推荐方法及系统实施例的推荐模型示意图。
具体实施方式
下面通过具体实施方式进一步详细的说明：
实施例基本如附图1所示：
基于自注意力的时间评分感知上下文的推荐方法，包括以下步骤：
步骤1：采集特征数据，并形成信息序列；所述信息序列中包括用户历史交互序列；
所述特征数据为用户信息、物品信息、时间信息、评分信息等，可基于用户与物品的历史交互信息，包括用户对物品的行为、用户对物品的行为频率、用户对物品产生行为的时间及时间间隔、用户对物品的评分等获得。且，本实施例中的用户信息指代用户ID信息。所述用户历史交互序列包括用户的物品序列、与用户的物品序列中的物品对应的时间序列和与用户的物品序列中的物品对应的评分序列。
为便于描述及理解，本实施例中采用U、I、S、T分别表示用户信息、物品信息、评分信息、时间信息的集合。
对于用户u，u∈U；采用
表示与用户的物品序列中的物品对应的时间序列，采用
表示用户的物品序列，
表示与用户的物品序列中的物品对应的评分序列。并且，为便于上述序列数据能够顺利输入至推荐模型中，还需要将序列数据等转换为嵌入表示。具体地，在进行嵌入表示的过程中，定义固定输入长度为m。如果用户的物品序列的长度小于m，则在物品序列的左侧添加填充项0。如果用户的物品序列的长度大于m，则选择物品序列中最近的m个物品作为推荐模型的输入。得到的嵌入层如下：
其中
表示与用户u的物品序列中的物品对应的时间序列的嵌入，
表示用户u的物品序列的嵌入，
表示用户u的嵌入，
表示与用户u的物品序列中的物品对应的评分序列的嵌入。
步骤2：自用户历史交互序列中获取评分上下文、时间上下文及物品信息并输入推荐模型。
获取时间上下文时，采用门控循环单元捕捉时间序列对用户行为的影响并形成时间上下文。所述门控循环单元捕捉时间序列对用户行为的影响时，依据时间序列、物品序列和用户信息进行捕捉；其中，用户信息输入至门控循环单元的隐藏层中，时间序列和物品序列融入门控循环单元的主体网络结构中，这样设置，将用户信息也纳入时间上下文考量，以便于针对于不同的用户做出差异化推荐，使得后续得出的推荐内容更具针对性更为准确，因为对于不同的用户而言，即使物品序列和时间序列一样，其更深层次的交互逻辑也是存在区别的，最后做出的推荐应该也有所差异。此外，特别的是，相比于常规的循环神经网络，常规网络中在捕捉时间序列对用户的影响时往往没有将用户信息也输入到网络中，因为常规方案武断认为用户信息与上述影响不相关，而实际上，二者是存在特殊关联的，用户信息能够帮助网络更好地将捕捉得到的影响指向各个用户本身，故而本方案这样设置更能够准确捕捉时间信息对用户自身爱好的影响。
具体地，如附图2所示，获取时间上下文时，采用时间上下文模块获取，时间上下文模块通过门控循环单元建立门控循环网络来捕捉时间序列对用户行为的影响。
以下是输入门控循环单元的输入层和隐藏层的初始值，其中，时间序列和物品序列输入输入层，用户信息输入隐藏层：
其中
表示用户在t时刻的时间嵌入向量，
表示在t时刻的物品嵌入表示。进一步地，通过门控循环网络(GRU)可以得到一个时间上下文
其中，
是包含了用户信息和物品时间信息的时间上下文。
在获取评分上下文时，将评分序列的嵌入信息与物品序列的嵌入信息融合得到评分上下文。具体地，
其中，
表示融合了评分序列的嵌入信息与物品序列的嵌入信息的评分上下文，即融合了用户历史交互序列中物品信息和用户历史交互序列中物品对应评分信息的评分上下文。
在获取物品信息时，从物品序列的嵌入信息中得到物品信息。
步骤3：推荐模型采用自注意力机制捕捉时间-评分影响；所述时间-评分影响为时间上下文及评分上下文对用户爱好的影响。
所述推荐模型为SATSA模型；所述推荐模型包括依次设置的自注意力层、残差连接层、标准化层、逐点前馈神经网络和预测层。SATSA模型的自注意力层利用自注意力机制来捕捉时间和评分对用户爱好的影响，即捕捉时间-评分影响。该时间-评分影响也是预测用户下一次选择的物品，即推荐的物品的预嵌入信息。
具体地，如附图3所示，其中，SATSA模型的自注意力层定义如下：
其中，Q代表评分上下文，K代表时间上下文，V代表物品信息。
自注意力层捕捉得到的时间-评分影响信息，即推荐的物品的预嵌入信息如下：
其中Zu∈Rm×d。
进一步地，残差连接层将评分上下文信息和通过自注意力机制捕捉到的信息即(1)式中得到的时间-评分影响信息，进行残差连接。操作定义如下：
进一步地，标准化层对上述残差连接得到的Zu信息进行进一步处理。且为了增强模型的能力和加速神经网络训练，标准化层中使用的统计数据独立于同一批次中的其他样本，具体的操作定义如下：
Zu＝LayerNorm(Zu)…………(2)
其中LayerNorm(x)定义如下：
其中，⊙是逐元素乘积，μ和σ是x的均值和方差，α和β分别是比例因子和偏差项。
更进一步地，采用逐点前馈神经网络对(2)式中的Zu再次处理，且逐点前馈神经网络中设有GELU函数。因为，尽管自注意力层能够用自适应权重聚合时间上下文和评分上下文，但仅基于自注意力层形成的模型是一个线性的模型，得到的数据效果欠佳，采用GELU函数能够推荐赋予模型非线性并考虑不同潜在维度之间的相互作用，以使得模型性能表现更好，得到的信息更为可靠。同时，采用dropout对SATSA模型进行训练，具体地：
FFN(Zu)＝Dropout(GELU(Zu))。
进而，SATSA模型堆叠自注意力层，得到推荐的物品的嵌入信息：
此处得到的Zu表示用户u下一次选择的物品的嵌入信息。
所述预测层用于预测用户下一次选择的物品并对物品按照预设排名策略排名；在步骤4和步骤5中所述的物品为预测层预测的用户下一次选择的物品；所述预设排名策略为按照时间-评分影响大小自高向低排列物品。具体地，预测层采用以下计算方式对物品进行排名：
其中
为物品i的嵌入。
最后，预测层得到m个物品的排名，并把排名靠前的物品推荐给用户u。
所述推荐模型还包括损失函数；所述损失函数为二元交叉熵损失函数；且采用Adam优化器对推荐模型进行优化，所述损失函数为Adam优化器的目标函数。
具体地，损失函数和Adam优化器均用于训练SATSA模型。在训练SATSA模型时，输入的物品序列为：
固定长度为
本方案预期在时刻t的得到输出为：
其中<pad>表示填充的物品。Ot表示期待的输出。
具体地，采用二元交叉熵损失作为Adam优化器的目标函数:
对于填充的物品，选择忽略掉它的损失。进而训练得到最终的SATSA模型，此时模型达到最佳预测效果。
步骤4：推荐模型依据时间-评分影响预测获得数个推荐的物品，并按照预设排名策略对推荐的物品进行排名。具体地，由推荐模型的预测层得到m个物品的排名。
步骤5：按照排名向用户推荐物品。
具体地，推荐模型将m个物品中排名靠前的物品推荐给用户u。所述排名靠前的物品为排在前20％的物品，这样设置，选取推荐的物品数量相对较多，给用户提供的选择更多。优选地，所述排名靠前的物品还可设置为排在前8％的物品，这样设置，选取推荐的物品数量虽相对较少，但是推荐的物品均为精选物品，给用户的体验感更好。
本实施例还提供一种基于自注意力的时间评分感知上下文的推荐系统，用于如上述的基于自注意力的时间评分感知上下文的推荐方法，包括：采集模块、输入模块和推荐模块；所述采集模块用于采集特征数据，并形成信息序列；所述输入模块用于获取评分上下文、时间上下文及物品信息并输入推荐模块；所述推荐模块内设有推荐模型，所述推荐模型用于捕捉时间-评分影响；所述时间-评分影响为时间上下文及评分上下文对用户爱好的影响；所述推荐模型还依据时间-评分影响预测推荐的物品并对推荐的物品进行排名，并按照排名向用户推荐物品。
本实施例提供的基于自注意力的时间评分感知上下文的推荐方法及系统，能够结合用户动态的爱好变化，精准地预测用户下一次选择的物品，进而实现准确推荐。本方案中建立了时间上下文模块，利用门控循环神经单元对用户信息、物品序列和时间序列进行建模，以得到时间上下文，通过时间上下文可获知用户爱好随时间的动态变化。并且，通过融合物品序列和评分序列得到评分上下文，并以自注意力机制学习捕捉时间和评分对用户爱好的影响，进而能够准确获知用户动态的爱好变化。进而依据时间、评分、物品信息、用户爱好变化等多重因素作出准确推荐。本方案特别考虑到了不同时间段的评分对预测物品的影响，对于用户爱好的预测更为准确，作出的推荐也更为有效。
并且，本方案中特别设计了SATSA模型，自注意力层、残差连接、标准化层、逐点前馈神经网络等模型结构的设置，使得该模型在进行时间-评分影响捕捉、物品预测时的整体性能表现较好，推荐表现较佳。
为证明本方案中SATSA模型的有效性和高性能，本实施例中还采用指标命中率为对比标准，来评估对比本SATSA模型和其他现有推荐模型或推荐方法。具体地，指标命中率包括：Hit@10和NDCG@10。其中，Hit@10计算前10项中基本事实物品的比率；NDCG@10则会考虑位置，并为更高的位置分配更高的权重。对于每个用户，随机抽样m-1个负物品，并用基本事实物品对这些物品进行排名，并根据这m个物品的排名来计算Hit@10和NDCG@10。
参与比对的现有模型包括：BPR模型：贝叶斯排名是一种个性化排名，常用作矩阵分解推荐器。GRURec算法：它是使用RNNs为基于会话的推荐建模用户动作序列。将每个用户的反馈序列视为一个会话，从而进行推荐的算法。Caser算法：基于卷积的算法，旨在捕获用户的一般偏好和顺序模式。SASRec模型：一个基于自注意力机制的顺序推荐模型。MARank推荐方法：此方法考虑最近的物品，并应用多订单关注来捕获单个和联合级别的物品相关性。HGN模型：一个包含特征选取和实例选取模块并与贝叶斯个性化排名相结合(BPR)以获取长期和短期用户的兴趣的序列模型。TiSASRec模型：最近提出的先进模型，这个模型主要考虑时间间隔建模的自我注意的顺序推荐。
在比对时，对各模型和算法均使用了完全相同的数据集和实验参数设置，采用的数据集为公共数据集，如附表1所示，包括：Movies-1M数据集，其中包含了100万条用户评级的电影记录；Amazon数据集，此处仅使用其中的Amazon-movies和Amazon-CDs数据集。这3个数据集都包括用户的评分和时间戳，并过滤掉数据集中的冷启动用户和交互序列小于3个的用户。在计算相邻物品的时间间隔时，本方案设置了一个最大的时间间隔值。如果用户交互序列中相邻物品的时间间隔大于设置的时间间隔值，那么就把相邻物品的时间间隔设置为固定的值。在3个数据集中设置的最大时间间隔值是2048。对于每一个用户，均使用交互记录最新的物品进行测试，使用倒数第二个物品进行验证，剩余的物品用作训练。
所有的数据集使用的学习率为0.001，并且训练的次数相同。自注意力头数和自注意力层数都设置为1，dropout的值为0.2，m和d都设置为50；m值选取为[10,20,30,40,50]，潜在维度d选择[10,20,30,40,50]，对不同的取值都进行对比。如果所有指标都低于上一次的评价指标，则终止训练。最大训练次数为200次。
最终比对计算得到的每个模型对应的指标命中率(Hit@10和NDCG@10)如附表2所示，可明显看出本方案提供的SATSA模型，相较于其他推荐模型或算法，在不同数据集中都具备明显优势，性能表现更优，命中率更高。
附表1
| Dataset | Users | Items | Ratings |
| Movies-1M | 6040 | 3416 | 999611 |
| Amazon-Movies | 40928 | 37564 | 1163413 |
| Amazon-CDs | 26875 | 42779 | 770188 |
附表2
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。
Claims (10)
1.基于自注意力的时间评分感知上下文的推荐方法，其特征在于，包括以下步骤：
步骤1：采集特征数据，并形成信息序列；所述信息序列中包括用户历史交互序列；
步骤2：自用户历史交互序列中获取评分上下文、时间上下文及物品信息并输入推荐模型；
步骤3：推荐模型采用自注意力机制捕捉时间-评分影响；所述时间-评分影响为时间上下文及评分上下文对用户爱好的影响；
步骤4：推荐模型依据时间-评分影响预测获得数个推荐的物品，并按照预设排名策略对推荐的物品进行排名；
步骤5：按照排名向用户推荐物品。
2.根据权利要求1所述的基于自注意力的时间评分感知上下文的推荐方法，其特征在于，在步骤1中，所述用户历史交互序列包括用户的物品序列、与用户的物品序列中的物品对应的时间序列和与用户的物品序列中的物品对应的评分序列。
3.根据权利要求2所述的基于自注意力的时间评分感知上下文的推荐方法，其特征在于，在步骤2中，获取时间上下文时，采用门控循环单元捕捉时间序列对用户行为的影响并形成时间上下文。
4.根据权利要求3所述的基于自注意力的时间评分感知上下文的推荐方法，其特征在于，所述门控循环单元捕捉时间序列对用户行为的影响时，依据时间序列、物品序列和用户信息进行捕捉；其中，用户信息输入至门控循环单元的隐藏层中，时间序列和物品序列融入门控循环单元的主体网络结构中。
5.根据权利要求1所述的基于自注意力的时间评分感知上下文的推荐方法，其特征在于，所述推荐模型为SATSA模型；所述推荐模型包括依次设置的自注意力层、残差连接层和标准化层。
6.根据权利要求5所述的基于自注意力的时间评分感知上下文的推荐方法，其特征在于，所述推荐模型还包括逐点前馈神经网络；所述逐点前馈神经网络中设有GELU函数。
7.根据权利要求6所述的基于自注意力的时间评分感知上下文的推荐方法，其特征在于，所述推荐模型采用dropout进行训练。
8.根据权利要求7所述的基于自注意力的时间评分感知上下文的推荐方法，其特征在于，所述推荐模型还包括预测层；所述预测层用于预测用户下一次选择的物品并对物品按照预设排名策略排名；在步骤4和步骤5中所述的物品为预测层预测的用户下一次选择的物品；所述预设排名策略为按照时间-评分影响大小自高向低排列物品。
9.根据权利要求8所述的基于自注意力的时间评分感知上下文的推荐方法，其特征在于，所述推荐模型还包括损失函数；所述损失函数为二元交叉熵损失函数；且采用Adam优化器对推荐模型进行优化，所述损失函数为Adam优化器的目标函数。
10.基于自注意力的时间评分感知上下文的推荐系统，其特征在于，用于如权利要求1-9任一项所述的基于自注意力的时间评分感知上下文的推荐方法，包括：采集模块、输入模块和推荐模块；所述采集模块用于采集特征数据，并形成信息序列；所述输入模块用于获取评分上下文、时间上下文及物品信息并输入推荐模块；所述推荐模块内设有推荐模型，所述推荐模型用于捕捉时间-评分影响；所述时间-评分影响为时间上下文及评分上下文对用户爱好的影响；所述推荐模型还依据时间-评分影响预测推荐的物品并对推荐的物品进行排名，并按照排名向用户推荐物品。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210611580.2A CN114912984A (zh) | 2022-05-31 | 2022-05-31 | 基于自注意力的时间评分感知上下文的推荐方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210611580.2A CN114912984A (zh) | 2022-05-31 | 2022-05-31 | 基于自注意力的时间评分感知上下文的推荐方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114912984A true CN114912984A (zh) | 2022-08-16 |
Family
ID=82770497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210611580.2A Pending CN114912984A (zh) | 2022-05-31 | 2022-05-31 | 基于自注意力的时间评分感知上下文的推荐方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114912984A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110008409A (zh) * | 2019-04-12 | 2019-07-12 | 苏州市职业大学 | 基于自注意力机制的序列推荐方法、装置及设备 |
| CN110532471A (zh) * | 2019-08-27 | 2019-12-03 | 华侨大学 | 基于门控循环单元神经网络的主动学习协同过滤方法 |
| CN111506814A (zh) * | 2020-04-09 | 2020-08-07 | 苏州大学 | 一种基于变分自注意力网络的序列推荐方法 |
| CN113297487A (zh) * | 2021-05-24 | 2021-08-24 | 中南大学 | 一种基于注意力机制增强门控循环单元的序列推荐系统及方法 |
| CN113822742A (zh) * | 2021-09-18 | 2021-12-21 | 电子科技大学 | 一种基于自注意力机制的推荐方法 |
-
2022
- 2022-05-31 CN CN202210611580.2A patent/CN114912984A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110008409A (zh) * | 2019-04-12 | 2019-07-12 | 苏州市职业大学 | 基于自注意力机制的序列推荐方法、装置及设备 |
| CN110532471A (zh) * | 2019-08-27 | 2019-12-03 | 华侨大学 | 基于门控循环单元神经网络的主动学习协同过滤方法 |
| CN111506814A (zh) * | 2020-04-09 | 2020-08-07 | 苏州大学 | 一种基于变分自注意力网络的序列推荐方法 |
| CN113297487A (zh) * | 2021-05-24 | 2021-08-24 | 中南大学 | 一种基于注意力机制增强门控循环单元的序列推荐系统及方法 |
| CN113822742A (zh) * | 2021-09-18 | 2021-12-21 | 电子科技大学 | 一种基于自注意力机制的推荐方法 |
Non-Patent Citations (1)
| Title |
|---|
| 查永富: "基于自注意力网络和自监督学习的序列推荐研究", 1 June 2023 (2023-06-01), pages 1 - 57 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | Session-based recommendation with graph neural networks | |
| CN109299396B (zh) | 融合注意力模型的卷积神经网络协同过滤推荐方法及系统 | |
| CN110717098B (zh) | 基于元路径的上下文感知用户建模方法、序列推荐方法 | |
| CN110503531B (zh) | 时序感知的动态社交场景推荐方法 | |
| Li et al. | Interest-based real-time content recommendation in online social communities | |
| CN109785062B (zh) | 一种基于协同过滤模型的混合神经网络推荐系统 | |
| CN109902753B (zh) | 用户推荐模型训练方法、装置、计算机设备和存储介质 | |
| CN110442790A (zh) | 推荐多媒体数据的方法、装置、服务器和存储介质 | |
| CN110717099B (zh) | 一种推荐影片的方法及终端 | |
| CN109543840B (zh) | 一种基于多维分类强化学习的动态推荐系统设计方法 | |
| CN109903103B (zh) | 一种推荐物品的方法和装置 | |
| US20220171760A1 (en) | Data processing method and apparatus, computer-readable storage medium, and electronic device | |
| CN109902823B (zh) | 一种基于生成对抗网络的模型训练方法及设备 | |
| CN112396492A (zh) | 基于图注意力网络和双向长短期记忆网络的会话推荐方法 | |
| CN114896517A (zh) | 一种商品推荐方法、系统、设备及存储介质 | |
| CN115438787A (zh) | 行为预测系统的训练方法及装置 | |
| CN104272304A (zh) | 信息处理设备、信息处理方法以及程序 | |
| Mehta et al. | Collaborative personalized web recommender system using entropy based similarity measure | |
| CN114529077A (zh) | 一种基于会话内异构行为的点击率预测方法 | |
| Jalal | Big data and intelligent software systems | |
| Tomeo et al. | Addressing the cold start with positive-only feedback through semantic-based recommendations | |
| CN114912984A (zh) | 基于自注意力的时间评分感知上下文的推荐方法及系统 | |
| CN112559905B (zh) | 一种基于双模式注意力机制和社交相似度的会话推荐方法 | |
| CN114861079A (zh) | 一种融合商品特征的协同过滤推荐方法和系统 | |
| Ren et al. | A hybrid recommender approach based on widrow-hoff learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |