CN111967941B - 一种构建序列推荐模型的方法和序列推荐方法 - Google Patents

一种构建序列推荐模型的方法和序列推荐方法 Download PDF

Info

Publication number
CN111967941B
CN111967941B CN202010844315.XA CN202010844315A CN111967941B CN 111967941 B CN111967941 B CN 111967941B CN 202010844315 A CN202010844315 A CN 202010844315A CN 111967941 B CN111967941 B CN 111967941B
Authority
CN
China
Prior art keywords
recommendation model
sequence recommendation
sequence
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010844315.XA
Other languages
English (en)
Other versions
CN111967941A (zh
Inventor
陈磊
杨敏
原发杰
李成明
姜青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202010844315.XA priority Critical patent/CN111967941B/zh
Publication of CN111967941A publication Critical patent/CN111967941A/zh
Application granted granted Critical
Publication of CN111967941B publication Critical patent/CN111967941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种构建序列推荐模型的方法和序列推荐方法。所述构建序列推荐模型的方法包括：构建第一序列推荐模型和第二序列推荐模型，其中，第一序列推荐模型设有多个空洞卷积残差块，第二序列推荐模型包含与第一序列推荐模型一一对应的轻量级空洞卷积残差块；训练第一序列推荐模型，获得预训练的第一序列推荐模型；对第二序列推荐模型和预训练的第一序列推荐模型进行协同训练，并使第二序列推荐模型学习预训练的第一序列推荐模型的行为；基于经协同训练的第二序列推荐模型构建用于预测推荐项的序列推荐模型。利用本发明能够减少计算开销、加速推断过程，为用户提供快速而准确的推荐服务。

Description

一种构建序列推荐模型的方法和序列推荐方法
技术领域
本发明涉及序列推荐技术领域，更具体地，涉及一种构建序列推荐模型的方法和序列推荐方法。
背景技术
推荐系统是近年来研究十分火热，发展也十分迅速的领域，因其广阔的应用场景以及巨大的商业价值而备受瞩目，其定义为利用电子商务网站向客户提供商品信息和建议，帮助用户决定应该购买什么产品，模拟销售人员帮助客户完成购买过程，而个性化推荐是根据用户的兴趣特点和购买行为，向用户推荐用户感兴趣的信息和商品。序列推荐系统是推荐系统中的一个重要分支，其目的是通过分析用户的历史浏览序列，对用户进行精准推荐，一直是学术界和工业界关注的热点研究问题。
以常用的序列推荐模型NextItNet为例，其结合了空洞卷积神经网络以及残差网络，能够较好地对用户历史浏览序列进行建模，从而更好地为用户提供推荐服务，在序列推荐系统中发挥出优异的效果。
NextItNet的模型结构如图1所示，其总体上由多个结构相同的空洞卷积残差块堆叠而成，将用户历史浏览序列输入整个网络，进行建模，在通过最后一个空洞卷积残差块后，得到用户喜好表征，最后再通过一个Softmax分类器，预测下一时刻向用户进行推荐的项(item)。
NextItNet中空洞卷积残差块的输出表示为：
Xl+1＝Xl+F(Xl)
即每个空洞卷积残差块的输出Xl+1为输入Xl加上本残差块处理后的结果F(Xl)。F(Xl)处理过程为依次输入空洞卷积层1(Dilated Conv1)、层归一化层1(Layer Norm1)、ReLU激活层1(ReLU1)、空洞卷积层2(Dilated Conv2)、层归一化层2(Layer Norm2)和ReLU激活层2(ReLU2)处理后输出。
然而，利用现有的序列推荐模型进行推荐服务时，存在模型参数量、模型所需计算开销高、推断时间过长等问题。例如，NextItNet需要堆叠大量的空洞卷积残差块才能发挥出更佳的效果，导致模型参数量巨大，而且针对每个输入进来的用户历史浏览序列都需要经过完整的模型才能完成输出预测，这样将训练好的模型部署于实际应用时较为困难，计算开销大，在进行推断时花费时间也较长，难以满足用户的实际需求。
发明内容
本发明的目的是克服上述现有技术的缺陷，提供一种构建序列推荐模型的方法和序列推荐方法，其是简洁高效的序列推荐模型压缩算法，能够通过逐步替换的方式，将一个大模型逐步替换成小模型，而不损失模型精度。
根据本发明的第一方面，提供一种构建序列推荐模型的方法。该方法包括以下步骤：
构建第一序列推荐模型和第二序列推荐模型，其中，第一序列推荐模型设有多个空洞卷积残差块，第二序列推荐模型包含与第一序列推荐模型一一对应的轻量级空洞卷积残差块；
以设定的第一损失函数为目标，训练第一序列推荐模型，获得预训练的第一序列推荐模型；
以设定的第二损失函数为目标，对预训练的第一序列推荐模型和第二序列推荐模型进行协同训练，并使第二序列推荐模型学习预训练的第一序列推荐模型的行为；
基于经协同训练的第二序列推荐模型构建用于预测推荐项的序列推荐模型。
在一个实施例中，对预训练的第一序列推荐模型和第二序列推荐模型进行协同训练包括：
冻结第二序列推荐模型的参数，以用户的历史浏览序列作为输入，以后续时刻的推荐项作为输出，训练第一序列推荐模型；
冻结预训练的第一序列推荐模型的参数，加入第二序列推荐模型进行协同训练，并在协同训练过程中，利用生成的随机变量探索预训练的第二序列推荐模型的空洞卷积残差块的输出，以控制学习预训练的第二序列推荐模型的行为。
在一个实施例中，利用生成的随机变量探索预训练的第二序列推荐模型的空洞卷积残差块的输出，以控制学习预训练的第二序列推荐模型的行为包括：在协同训练中，将第l+1个空洞卷积残差块的输出设置为：
表示第一序列推荐模型第l+1个空洞卷积残差块的输出，/>表示第二序列推荐模型第l+1个空洞卷积残差块的输出，/>表示整体模型第l+1个空洞卷积残差块的总输出，rl+1是生成的随机变量。
在一个实施例中，所述随机变量是独立的伯努利随机变量，其取值为1的概率是p，取值为0的概率为1-p，p是设定的概率值。
在一个实施例中，第一序列推荐模型的各空洞卷积残差块的结构相同，依次包括第一空洞卷积层、第一层归一化层、第一激活层、第二空洞卷积层、第二层归一化层和第二激活层；第二序列推荐模型的各空洞卷积残差块的结构相同，依次包括第一空洞卷积层、第一层归一化层和第一激活层。
在一个实施例中，所述第一损失函数和所述第二损失函数一致，均设置为正确项与预测项之间的交叉熵。
在一个实施例中，该方法还包括利用样本集将经协同训练的第二序列推荐模型重新进行微调训练后，作为预测推荐项的所述序列推荐模型。
根据本发明的第二方面，提供一种序列推荐方法。该方法包括：将待推荐用户的历史浏览序列输入本发明提供的序列推荐模型，以输出后续时刻用户推荐项的预测结果。
与现有技术相比，本发明的优点在于，能够通过逐步替换的方式，将一个大模型逐步替换成小模型，而不损失模型精度，显著减少了计算开销，加速了序列推荐的整体推断过程，能够为用户提供快速而准确的推荐服务，具有十分重要的现实意义和广阔的应用前景。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1是现有的NextItNet模型结构示意图；
图2是根据本发明一个实施例的构建序列推荐模型方法的流程图；
图3是根据本发明一个实施例的整体模型结构示意图；
图4是根据本发明一个实施例所构建的序列推荐模型结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
参见图2所示，该实施例提供的构建序列推荐模型的方法包括以下步骤：
步骤S210，搭建包含第一序列推荐模型和第二序列推荐模型的整体模型，其中第二序列推荐模型是与第一序列模型相对应的轻量级模型。
为清楚起见，以NextItNet模型为例进行介绍。整体模型结构如图3所示，其包含左侧的NextItNet大模型(或称为第一序列推荐模型)和右侧的NextItNet小模型(或称为第二序列推荐模型)。
NextItNet大模型由N个结构相同的空洞卷积残差块堆叠而成，其以用户历史浏览序列(表示为(x1,x2,...,xi-1))为输入进行建模，在通过最后一个空洞卷积残差块后，得到用户喜好表征，最后通过Softmax分类器，预测下一时刻向用户进行推荐的item(xi)。
NextItNet小模型结构是轻量化版的NextItNet大模型结构，同样由N个结构相同的空洞卷积残差块堆叠而成，在NextItNet小模型中空洞卷积残差块表示为：
Xl+1＝Xl+F(X'l) (1)
每个空洞卷积残差块的输出Xl+1为输入Xl加上本残差块处理后的结果F(Xl')，在该实施例中，F(Xl')处理过程变为输入→空洞卷积层1(Dilated Conv1)→层归一化层1(Layer Norm1)→ReLU激活层1(ReLU1)→输出，仅经过一次空洞卷积操作，可以认为模型尺寸变为了原NextItNet大模型中空洞卷积残差块的一半。
因此，在NextItNet小模型中，其参数量几乎只有原NextItNet大模型的一半，如通过逐步替换的方式，将大模型逐步替换成小模型，将会显著减少模型的计算开销，并加速模型的整体推断过程。
步骤S220，预训练第一序列推荐模型，并对第二序列推荐模型和预训练的第一序列推荐模型进行协同训练。
在搭建好整体模型后，首先，利用样本数据集对NextItNet大模型进行预训练，输入为用户的历史浏览序列，输出为下一时刻向用户进行推荐的item。训练过程以设定的损失函数为优化目标，例如，可采用交叉熵损失或平方误差损失等衡量模型的效果。
在一个实施例中，损失函数为正确item与预测item之间的交叉熵。总损失Loss计算为：
其中为正确item标签，yi为预测item标签，T为训练样本总数。
训练直至模型收敛，得到一个预训练效果良好的NextItNet大模型。在此阶段，仅训练NextItNet大模型，而冻结住NextItNet小模型的参数，不进行训练。
NextItNet大模型预训练完成后，已经具备比较好的知识抽取能力，Softmax分类器也能在后续时刻的item预测上实现良好的效果。
接下来，冻结住NextItNet大模型参数，加入NextItNet小模型进行协同训练，在协同训练过程中，通过设置随机变量来利用大模型已经学习的行为和优势，以实现用小模型逐步替换大模型的目的。
具体地，在协同训练中，对于第l+1个空洞卷积残差块，首先生成一个独立Bernoulli(伯努利)随机变量rl+1，该变量取值为1的概率是p，取值为0的概率是1-p，表示为：
rl+1～Berboulli(p) (3)
其中，p是设定的概率值，可根据预训练的大模型对协同训练的影响等因素设定，例如取值为0.5或其它值。
然后，通过第l+1个空洞卷积残差块的输出表示为：
其中，表示NextItNet大模型第l+1个空洞卷积残差块的输出，/>表示NextItNet小模型第l+1个空洞卷积残差块的输出，/>表示整体模型第l+1个空洞卷积残差块的总输出。
通过设定随机变量，能够控制NextItNet大模型和NextItNet小模型进行协同训练，即协同训练过程包含了对预训练的大模型的结构和行为的探索或遍历，能够利用已学习的行为。由于变量rl+1是随机生成的，在经过足够充分的训练后，NextItNet小模型也能得到很好的训练，在此阶段，NextItNet大模型参数是冻结住的，仅更新NextItNet小模型的参数，通过迭代协同训练过程，能够实现小模型逐步替换大模型的目的，并且小模型的精度与大模型相当。
在一个实施例中，在协同训练阶段，输入为用户的历史浏览序列，输出为下一时刻向用户进行推荐的item，损失函数依旧为正确item与预测item之间的交叉熵。总损失Loss计算为：
其中为正确item标签，yi为预测item标签，T为训练样本总数。
综上，经过协同训练，包括NextItNet大模型以及NextItNet小模型在内的整体模型训练完成，由于在协同训练过程中，利用生成的随机变量来探索预训练的大模型的空洞卷积残差块的输出，能够利用大模型已经学习的行为和优势，这种方式既缩减了训练时间，也提高了模型的训练精度。
步骤S230，将经协同训练的第二序列推荐模型组合为新的序列推荐模型，并进行微调训练。
在此步骤中，将完成协同训练的NextItNet小模型组合成一个新模型，参见图4所示。优选地，再利用训练数据对新模型进行一次微调训练，以达到更好的模型效果，得到最终的序列推荐模型。
例如，微调训练的输入为用户的历史浏览序列，输出为下一时刻向用户进行推荐的item，损失函数例如依旧为正确item与预测item之间的交叉熵。总损失Loss计算为：
其中为正确item标签，yi为预测item标签，T为训练样本总数。
步骤S240，将待推荐用户的历史浏览序列输入经微调训练的序列推荐模型，输出后续时刻用户推荐项的预测结果。
在实际应用中，进行序列推荐相当于模型的一次测试过程。给定用户的历史浏览序列，利用已经训练好的最终序列推荐模型，即NextItNet小模型，找出下一时刻用户最可能感兴趣的item，从而向用户提供快速而准确的推荐服务。
需要说明的是，在不违背本发明精神和范围的前提下，本领域技术人员可对上述实施例进行适当的改变或变型。例如，采用不同结构的第一序列推荐模型或第二序列推荐模型，只要其包含相对应的空洞卷积残差块即可；在预训练、协同训练和微调训练中，均可采用相同或不相同的损失函数来衡量模型精度；训练过程可在云端或服务器离线进行，或采用其他具有多个空洞卷积残差块的模型代替NextItNet模型；或者采用其他形式的随机变量来控制协同训练过程。
为了验证本发明所提出方法的有效性及先进性，在序列推荐系统领域公开数据集MovieLens上进行了广泛的实验，实验结果表明本发明在模型计算开销、推断时间以及模型性能上都达到了当前最好效果，能够为用户提供快速而准确的推荐服务，非常适合部署应用于序列推荐系统。
综上所述，本发明提出的简洁高效序列推荐模型压缩算法，能够通过逐步替换的方式，将一个大模型逐步替换成小模型，而不损失模型精度，并显著减少了模型的计算开销，加速了模型的整体推断过程，能够为用户提供快速而准确的推荐服务，具有十分重要的现实意义和广阔的应用前景。例如，利用本发明可以根据用户的属性(如性别、年龄、学历、地域、职业)，以及用户在系统里过去的行为(例如浏览、点击、搜索、购买、收藏等)，为其推荐可能感兴趣的物品或信息。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (8)

1.一种构建序列推荐模型的方法，包括以下步骤：
构建第一序列推荐模型和第二序列推荐模型，其中，第一序列推荐模型设有多个空洞卷积残差块，第二序列推荐模型包含与第一序列推荐模型一一对应的轻量级空洞卷积残差块；
以设定的第一损失函数为目标，训练第一序列推荐模型，获得预训练的第一序列推荐模型；
以设定的第二损失函数为目标，对第二序列推荐模型和预训练的第一序列推荐模型进行协同训练，并使第二序列推荐模型学习预训练的第一序列推荐模型的行为；
基于经协同训练的第二序列推荐模型构建用于预测推荐项的序列推荐模型；
其中，对第二序列推荐模型和预训练的第一序列推荐模型进行协同训练包括：
冻结第二序列推荐模型的参数，以用户的历史浏览序列作为输入，以后续时刻的推荐项作为输出，训练第一序列推荐模型，所述推荐项是商品或信息；
冻结预训练的第一序列推荐模型的参数，加入第二序列推荐模型进行协同训练，并在协同训练过程中，利用生成的随机变量探索预训练的第二序列推荐模型的空洞卷积残差块的输出，以控制学习预训练的第二序列推荐模型的行为；
其中，利用生成的随机变量探索预训练的第二序列推荐模型的空洞卷积残差块的输出，以控制学习预训练的第二序列推荐模型的行为包括：在协同训练中，将第l+1个空洞卷积残差块的输出设置为：
表示第一序列推荐模型第l+1个空洞卷积残差块的输出，/>表示第二序列推荐模型第l+1个空洞卷积残差块的输出，/>表示整体模型第l+1个空洞卷积残差块的总输出，rl+1是生成的随机变量。
2.根据权利要求1所述的方法，其中，所述随机变量是独立的伯努利随机变量，其取值为1的概率是p，取值为0的概率为1-p，p是设定的概率值。
3.根据权利要求1所述的方法，其中，第一序列推荐模型的各空洞卷积残差块的结构相同，依次包括第一空洞卷积层、第一层归一化层、第一激活层、第二空洞卷积层、第二层归一化层和第二激活层；第二序列推荐模型的各空洞卷积残差块的结构相同，依次包括第一空洞卷积层、第一层归一化层和第一激活层。
4.根据权利要求1所述的方法，其中，所述第一损失函数和所述第二损失函数一致，均设置为正确项与预测项之间的交叉熵。
5.根据权利要求1所述的方法，其中，还包括利用样本集将经协同训练的第二序列推荐模型重新进行微调训练后，作为预测推荐项的所述序列推荐模型。
6.一种序列推荐方法，包括：将待推荐用户的历史浏览序列输入根据权利要求1至5任一项所述方法获得的序列推荐模型，以输出后续时刻用户推荐项的预测结果。
7.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至6中任一项所述的方法的步骤。
8.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6中任一项所述的方法的步骤。
CN202010844315.XA 2020-08-20 2020-08-20 一种构建序列推荐模型的方法和序列推荐方法 Active CN111967941B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010844315.XA CN111967941B (zh) 2020-08-20 2020-08-20 一种构建序列推荐模型的方法和序列推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010844315.XA CN111967941B (zh) 2020-08-20 2020-08-20 一种构建序列推荐模型的方法和序列推荐方法

Publications (2)

Publication Number Publication Date
CN111967941A CN111967941A (zh) 2020-11-20
CN111967941B true CN111967941B (zh) 2024-01-05

Family

ID=73389447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010844315.XA Active CN111967941B (zh) 2020-08-20 2020-08-20 一种构建序列推荐模型的方法和序列推荐方法

Country Status (1)

Country Link
CN (1) CN111967941B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112559861B (zh) * 2020-12-11 2024-03-29 中国科学院深圳先进技术研究院 序列推荐模型的训练方法、信息推荐方法及相关装置
CN113254785B (zh) * 2021-06-21 2021-10-08 腾讯科技（深圳）有限公司 推荐模型训练方法、推荐方法和相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110442684A (zh) * 2019-08-14 2019-11-12 山东大学 一种基于文本内容的类案推荐方法
CN110837596A (zh) * 2019-09-16 2020-02-25 中国平安人寿保险股份有限公司 一种智能推荐方法、装置、计算机设备及存储介质
CN111553479A (zh) * 2020-05-13 2020-08-18 鼎富智能科技有限公司 一种模型蒸馏方法、文本检索方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102492318B1 (ko) * 2015-09-18 2023-01-26 삼성전자주식회사 모델 학습 방법 및 장치, 및 데이터 인식 방법
CN108062573A (zh) * 2017-12-29 2018-05-22 广东欧珀移动通信有限公司 模型训练方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110442684A (zh) * 2019-08-14 2019-11-12 山东大学 一种基于文本内容的类案推荐方法
CN110837596A (zh) * 2019-09-16 2020-02-25 中国平安人寿保险股份有限公司 一种智能推荐方法、装置、计算机设备及存储介质
CN111553479A (zh) * 2020-05-13 2020-08-18 鼎富智能科技有限公司 一种模型蒸馏方法、文本检索方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A Generic Network Compression Framework for Sequential Recommender Systems;Yang Sun等;SIGIR ’20;1299-1308 *

Also Published As

Publication number Publication date
CN111967941A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN110366734B (zh) 优化神经网络架构
US9990558B2 (en) Generating image features based on robust feature-learning
TWI698807B (zh) 以類別為基礎修剪之人工類神經網路
CN111931057B (zh) 一种自适应输出的序列推荐方法和系统
US11087861B2 (en) Creation of new chemical compounds having desired properties using accumulated chemical data to construct a new chemical structure for synthesis
WO2022063151A1 (en) Method and system for relation learning by multi-hop attention graph neural network
WO2019155064A1 (en) Data compression using jointly trained encoder, decoder, and prior neural networks
CN110737778A (zh) 基于知识图谱和Transformer的专利推荐方法
WO2019152929A1 (en) Regularized neural network architecture search
CN111931054B (zh) 一种基于改进残差结构的序列推荐方法和系统
CN110610234B (zh) 将外部应用程序集成到深度神经网络中
CN111406264A (zh) 神经架构搜索
CN112507209B (zh) 一种基于陆地移动距离进行知识蒸馏的序列推荐方法
CN111967941B (zh) 一种构建序列推荐模型的方法和序列推荐方法
US20190138929A1 (en) System and method for automatic building of learning machines using learning machines
CN111708876A (zh) 生成信息的方法和装置
CN112836502A (zh) 一种金融领域事件隐式因果关系抽取方法
US11281867B2 (en) Performing multi-objective tasks via primal networks trained with dual networks
CN110782016A (zh) 用于优化神经网络架构搜索的方法和装置
CN112905809B (zh) 知识图谱学习方法和系统
US20230059708A1 (en) Generation of Optimized Hyperparameter Values for Application to Machine Learning Tasks
US11989656B2 (en) Search space exploration for deep learning
EP3742355A2 (en) Quantum recommendation system
JP7361121B2 (ja) デュアル・ネットワークと共に訓練された主ネットワークを介した多目的タスクの実行
CN111931058B (zh) 一种基于自适应网络深度的序列推荐方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant