CN111931057A - 一种自适应输出的序列推荐方法和系统 - Google Patents

一种自适应输出的序列推荐方法和系统 Download PDF

Info

Publication number
CN111931057A
CN111931057A CN202010830579.XA CN202010830579A CN111931057A CN 111931057 A CN111931057 A CN 111931057A CN 202010830579 A CN202010830579 A CN 202010830579A CN 111931057 A CN111931057 A CN 111931057A
Authority
CN
China
Prior art keywords
classifier
student
output
sequence
teacher
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010830579.XA
Other languages
English (en)
Other versions
CN111931057B (zh
Inventor
陈磊
杨敏
原发杰
李成明
姜青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202010830579.XA priority Critical patent/CN111931057B/zh
Publication of CN111931057A publication Critical patent/CN111931057A/zh
Application granted granted Critical
Publication of CN111931057B publication Critical patent/CN111931057B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种自适应输出的序列推荐方法和系统。该方法包括：构建序列推荐模型，该序列推荐模型包括N个空洞卷积残差块和连接第N个空洞卷积残差块的教师分类器作为主干网络，其中，前N‑1个空洞卷积残差块分别独立连接学生分类器作为分支网络，N为大于等于2的整数；以设定的损失函数为目标，利用样本集训练所述序列推荐模型；将待推荐用户的历史浏览序列输入经训练的序列推荐模型，并根据学生分类器的不确定度判断选择教师分类器或学生分类器的输出，作为后续时刻用户推荐项的预测结果。利用本发明，能够显著加速推断过程，为用户提供快速而准确的推荐服务，具有十分重要的现实意义和广阔的应用前景。

Description

一种自适应输出的序列推荐方法和系统
技术领域
本发明涉及序列推荐技术领域，更具体地，涉及一种自适应输出的序列推荐方法和系统。
背景技术
推荐系统是近年来发展十分繁荣的领域，因其广阔的应用场景以及巨大的商业价值而备受瞩目，其定义为利用电子商务网站向客户提供商品信息和建议，帮助用户决定应该购买什么产品，模拟销售人员帮助客户完成购买过程，而个性化推荐是根据用户的兴趣特点和购买行为，向用户推荐感兴趣的信息和商品。序列推荐系统是推荐系统中的一个重要分支，其目的是通过分析用户的历史浏览序列，对用户进行精准推荐，一直是学术界和工业界关注的热点研究问题。
以常用的序列推荐模型NextItNet为例，其结合了空洞卷积神经网络以及残差网络，能够较好地对用户历史浏览序列进行建模，从而更好地为用户提供推荐服务，在序列推荐系统中发挥出优异的效果。
NextItNet的模型结构如图1所示，其总体上由多个结构相同的空洞卷积残差块堆叠而成，将用户历史浏览序列输入整个网络，进行建模，在通过最后一个空洞卷积残差块后，得到用户喜好表征，最后再通过一个Softmax分类器，预测下一时刻向用户进行推荐的项(item)。
NextItNet中空洞卷积残差块的输出表示为：
Xl+1＝Xl+F(Xl)
即每个空洞卷积残差块的输出Xl+1为输入Xl加上本残差块处理后的结果F(Xl)。F(Xl)处理过程为依次输入空洞卷积层1(Dilated Conv1)、层归一化层1(Layer Norm1)、ReLU激活层1(ReLU1)、空洞卷积层2(Dilated Conv2)、层归一化层2(Layer Norm2)和ReLU激活层2(ReLU2)处理后输出。
现有技术的缺点主要是在进行推荐服务时，模型参数量大，推断时间较长，难以满足在现实世界中的需求。NextItNet需要堆叠大量的空洞卷积残差块才能发挥出更佳的效果，导致模型参数量巨大，而且针对每个输入的用户历史浏览序列都需要经过完整的模型才能完成输出预测，这样将训练好的模型部署于实际应用时较为困难，计算开销大，在进行推断时花费时间也较长，难以满足用户的实际需求。
发明内容
本发明的目的是克服上述现有技术的缺陷，提供一种自适应输出的序列推荐方法和系统，能够根据用户历史浏览序列的复杂程度，自适应选择在浅层或深层输出预测的推荐项。
根据本发明的第一方面，提供了一种自适应输出的序列推荐方法。该方法包括：
构建序列推荐模型，该序列推荐模型包括N个空洞卷积残差块和连接第N个空洞卷积残差块的教师分类器作为主干网络，其中，前N-1个空洞卷积残差块分别独立连接学生分类器作为分支网络，N为大于等于2的整数；
以设定的损失函数为目标，利用样本集训练所述序列推荐模型；
将待推荐用户的历史浏览序列输入经训练的序列推荐模型，并根据学生分类器的不确定度判断选择教师分类器或学生分类器的输出，作为后续时刻用户推荐项的预测结果。
根据本发明的第二方面，提供了一种自适应输出的序列推荐系统。该系统包括：
模型构建单元：用于构建序列推荐模型，设有N个空洞卷积残差块和连接第N个空洞卷积残差块的教师分类器作为主干网络，其中，前N-1个空洞卷积残差块分别独立连接学生分类器作为分支网络，N为大于等于2的整数；
模型训练单元：用于以设定的损失函数为目标，利用样本集训练所述序列推荐模型；
序列推荐单元：用于将待推荐用户的历史浏览序列输入经训练的序列推荐模型，并根据学生分类器的不确定度判断选择教师分类器或学生分类器的输出，作为后续时刻用户推荐项的预测结果。
与现有技术相比，本发明的优点在于，所提出的序列推荐模型，能够根据用户历史浏览序列的复杂程度来自适应地进行输出，通过在每一个空洞卷积残差块后接一个分类器进行输出判断，简单的用户序列可以在比较浅层的分类器中进行输出预测，而较为复杂的用户序列则通过深层的分类器进行输出预测，实现了根据输入样本的难易程度来决定输出时所需的模型深度，从而减少了模型的计算开销，显著加速了模型的整体推断过程，能够为用户提供快速而准确的推荐服务，具有十分重要的现实意义和广阔的应用前景。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1是现有的NextItNet模型结构示意图；
图2是根据本发明一个实施例的自适应输出的序列推荐方法的流程图；
图3是根据本发明一个实施例的自适应输出的序列推荐模型的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
针对目前的序列推荐模型参数量巨大、计算开销过高、推断时间过长，导致其部署应用困难，难以在实际应用中发挥作用的问题，本发明以目前的NextItNet模型为例，提出一种快速推断的序列推荐模型(或称为Fast-NextItNet)。参见图2所示，所提供的自适应输出的序列推荐方法包括：
步骤S210，构建序列推荐模型，该序列推荐模型包括N个空洞卷积残差块和连接第N个空洞卷积残差块的教师分类器作为主干网络，其中，前N-1个空洞卷积残差块分别独立连接学生分类器作为分支网络。
目前，NextItNet需要堆叠大量的空洞卷积残差块才能发挥更佳的效果，并且针对所有输入都需要经过整个模型才能完成输出，这样将训练好的模型部署于实际应用时较为困难，模型计算开销过大，在进行推断时花费时间过长，难以满足用户的实际需求。
针对上述技术问题，本发明提供了如图2所示的序列推荐模型，该模型整体上分为主干网络和分支网络两部分。主干网络结构和NextItNet模型类似，由N个结构相同的空洞卷积残差块堆叠而成，将用户历史浏览序列输入整个网络，进行建模，在通过最后一个空洞卷积残差块后，得到用户喜好表征，最后再通过一个分类器(如Softmax分类器)，预测下一时刻向用户进行推荐的item。在本文中主干网络的分类器称之为教师分类器，用于item预测以及指导学生分类器的训练。分支网络包含N-1个Softmax分类器，称为学生分类器，接在每一个空洞卷积残差块输出后，用于提前输出结果。
步骤S220，以设定的损失函数为目标，基于样本集训练所述序列推荐模型。
在搭建好图2的整体模型后，利用训练数据对主干网络进行训练，以达到良好的模型效果。输入为用户的历史浏览序列，输出为下一时刻向用户进行推荐的item，损失函数为正确item与预测item之间的交叉熵。总损失Loss计算为：
Figure BDA0002637811300000051
其中
Figure BDA0002637811300000052
为正确item标签，yi为预测item标签，T为训练样本总数。
训练直至模型收敛，得到一个效果良好的主干网络模型。在此阶段，只训练主干网络模型，冻结住分支网络各学生分类器的参数，不进行训练。
在主干网络训练好后，进一步自蒸馏分支网络，冻结住主干网络参数，利用训练数据对分支网络进行训练，以达到良好的模型效果，使得整体模型训练完成。具体地，主干网络训练完成后，已经具备比较好的知识抽取能力，教师分类器也能在下一时刻item预测上实现良好的效果，通过知识蒸馏教师分类器的输出分布，来指导分支网络各学生分类器的训练。值得注意的是，因为在知识蒸馏过程中，充当教师模型的是主干网络的教师分类器，充当学生模型的是分支网络的各学生分类器，都在一个整体模型中，无需添加额外的预训练模型，所以整个知识蒸馏过程可以看作是一个自蒸馏过程。
在一个实施例中，采用KL散度(相对熵)来衡量分支网络各学生分类器输出分布与主干网络教师分类器输出分布的差异，由于分支网络各学生分类器是相互独立的，所以针对分支网络每个学生分类器输出分布，都可以与主干网络教师分类器输出分布计算一个KL散度，计算方式如下：
Figure BDA0002637811300000053
其中ps为学生分类器输出分布，pt为教师分类器输出分布，M为所有item集合。
除教师分类器外，总共还有N-1个学生分类器，整个自蒸馏过程的总损失为这N-1个学生分类器输出分布与主干网络教师分类器输出分布计算得到的N-1个KL散度的总和，计算方式如下：
Figure BDA0002637811300000061
其中
Figure BDA0002637811300000062
为第i个学生分类器输出分布，pt为教师分类器输出分布，N-1为学生分类器数量。
由于主干网络已经训练完成，在自蒸馏分支网络训练过程中，将冻结住主干网络参数，包括教师分类器参数，只训练分支网络，更新分支网络各学生分类器参数，利用训练数据对分支网络进行训练，优化上述自蒸馏过程总损失，使得分支网络各学生分类器输出分布逼近主干网络教师分类器输出分布，训练直至模型收敛，以达到良好的模型效果。至此，包括主干网络以及分支网络在内的整体模型训练完成。
步骤S230，将待推荐用户的历史浏览序列输入经训练的序列推荐模型，并根据设定的评价指标选择教师分类器或学生分类器的输出，作为后续时刻用户推荐项的预测结果。
在此步骤中，利用已经训练好的模型，进行自适应推断，为用户提供快速而准确的推荐服务。
在实际应用中，进行序列推荐相当于模型的一次测试过程。当给定用户的历史浏览序列，通过已经训练好的模型，根据输入自适应选择输出分类器，找出下一时刻用户最可能感兴趣的item，向用户提供快速而准确的推荐服务。
在一个实施例中，关于自适应选择输出分类器，设计了一个评价指标“不确定度”并设定了一个阈值“Threshold”，当通过某个学生分类器的输出“不确定度”低于阈值“Threshold”时，将直接进行输出预测。反之，当通过某个学生分类器的输出“不确定度”高于阈值“Threshold”时，数据将流向下一个空洞卷积残差块，并在下一个学生分类器处进行输出判断，如此往复，直至完成输出，如果在经过第N-1个学生分类器时都还无法完成输出，则将通过最后一个空洞卷积残差块后的教师分类器进行输出，不再进行输出判断。
在一个实施例中，“不确定度”的计算方式如下：
Figure BDA0002637811300000071
其中ps为学生分类器输出分布，pt为教师分类器输出分布，M为所有item集合。“不确定度”计算结果在0到1之间，阈值“Threshold”的设定也在0到1之间(例如设定为0.5等)。
通过在每个学生分类器处进行输出判断，可以根据输入实现自适应地输出，显著加速了推断过程，为用户提供快速而准确的推荐服务。
相应地，本发明还提供一种自适应输出的序列推荐系统，用于实现上述方法的一个方面或多个方面。例如，该系统包括：模型构建单元，其用于构建序列推荐模型，设有N个空洞卷积残差块和连接第N个空洞卷积残差块的教师分类器作为主干网络，其中，前N-1个空洞卷积残差块分别独立连接学生分类器作为分支网络，N为大于等于2的整数；模型训练单元，其用于以设定的损失函数为目标，利用样本集训练所述序列推荐模型；序列推荐单元，其用于将待推荐用户的历史浏览序列输入经训练的序列推荐模型，并根据分类器的不确定度判断选择教师分类器或学生分类器的输出，作为后续时刻用户推荐项的预测结果。
为了验证本发明所提出方法的有效性及先进性，在序列推荐系统领域公开数据集MovieLens上进行了广泛的实验。实验结果表明，本发明所提出的快速推断的序列推荐模型Fast-NextItNet在模型计算开销、推断时间以及模型性能上都达到了当前最好效果，能够为用户提供快速而准确的推荐服务，非常适合部署应用于序列推荐系统中，具有十分重要的现实意义和广阔的应用前景。
综上所述，本发明提出了一种快速推断的序列推荐模型，能够根据用户历史浏览序列的复杂程度来自适应地进行输出，通过在每一个空洞卷积残差块后接一个分类器进行输出判断，简单的用户序列可以在比较浅层的分类器中进行输出预测，输出下一时刻向用户进行推荐的item，而较为复杂的用户序列则通过深层的分类器进行输出预测，这样很好地实现了根据输入样本的难易程度来决定输出时所需的模型深度，从而减少了模型的计算开销，显著加速了模型的整体推断过程，能够为用户提供快速而准确的推荐服务，具有十分重要的现实意义和广阔的应用前景。本发明所提模型Fast-NextItNet在部署序列推荐系统实际应用时能够做到自适应输出，模型计算开销小，推断速度快，还能保证较高的模型准确率，可以较好地满足用户需求，具有十分重要的现实意义和广阔的应用前景。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (9)

1.一种自适应输出的序列推荐方法，包括：
构建序列推荐模型，该序列推荐模型设有N个空洞卷积残差块和连接第N个空洞卷积残差块的教师分类器作为主干网络，其中，前N-1个空洞卷积残差块分别独立连接学生分类器作为分支网络，N为大于等于2的整数；
以设定的损失函数为目标，利用样本集训练所述序列推荐模型；
将待推荐用户的历史浏览序列输入经训练的序列推荐模型，并根据学生分类器的不确定度判断选择教师分类器或学生分类器的输出，作为后续时刻用户推荐项的预测结果。
2.根据权利要求1所述的方法，其中，根据以下步骤训练所述序列推荐模型：
冻结分支网络各学生分类器的参数，利用样本集仅对主干网络进行训练；
在主干网络训练完成后，冻结主干网络参数，将教师分类器的输出分布蒸馏给各学生分类器，以指导分支网络中各学生分类器的训练。
3.根据权利要求2所述的方法，其中，在主干网络训练中，损失函数设置为：
Figure FDA0002637811290000011
其中，
Figure FDA0002637811290000012
为正确项标签，yi为预测推荐项的标签，T为样本集中训练样本总数。
4.根据权利要求2所述的方法，其中，在分支网络训练中，总损失是N-1个学生分类器输出分布与主干网络教师分类器输出分布计算得到的N-1个KL散度的总和，表示为：
Figure FDA0002637811290000013
其中，
Figure FDA0002637811290000014
Figure FDA0002637811290000015
为第i个学生分类器的输出分布，N-1为学生分类器数量，ps为学生分类器输出分布，pt为教师分类器输出分布，M为所有推荐项集合。
5.根据权利要求1所述的方法，其中，根据以下步骤判断选择教师分类器或学生分类器的输出，作为后续时刻用户推荐项的预测结果：
以所述序列推荐模型的输入层为参考，依次将各学生分类器的输出不确定度与设定阈值进行比较，直到学生分类器的输出不确定度低于设定阈值时，将其输出作为后续时刻用户推荐项的预测结果；
在所有学生分类器的输出不确定度均不低于设定阈值的情况下，选择教师分类器进行输出。
6.根据权利要求1所述的方法，其中，学生分类器的不确定度的计算方式表示为：
Figure FDA0002637811290000021
其中ps为学生分类器的输出分布，M为所有推荐项集合。
7.根据权利要求1所述的方法，其中，每个空洞卷积残差块包括多个叠加的空洞卷积层、层归一化层和激活层。
8.一种自适应输出的序列推荐系统，包括：
模型构建单元：用于构建序列推荐模型，设有N个空洞卷积残差块和连接第N个空洞卷积残差块的教师分类器作为主干网络，其中，前N-1个空洞卷积残差块分别独立连接学生分类器作为分支网络，N为大于等于2的整数；
模型训练单元：用于以设定的损失函数为目标，利用样本集训练所述序列推荐模型；
序列推荐单元：用于将待推荐用户的历史浏览序列输入经训练的序列推荐模型，并根据学生分类器的不确定度判断选择教师分类器或学生分类器的输出，作为后续时刻用户推荐项的预测结果。
9.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至7中任一项所述方法的步骤。
CN202010830579.XA 2020-08-18 2020-08-18 一种自适应输出的序列推荐方法和系统 Active CN111931057B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010830579.XA CN111931057B (zh) 2020-08-18 2020-08-18 一种自适应输出的序列推荐方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010830579.XA CN111931057B (zh) 2020-08-18 2020-08-18 一种自适应输出的序列推荐方法和系统

Publications (2)

Publication Number Publication Date
CN111931057A true CN111931057A (zh) 2020-11-13
CN111931057B CN111931057B (zh) 2024-05-14

Family

ID=73305717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010830579.XA Active CN111931057B (zh) 2020-08-18 2020-08-18 一种自适应输出的序列推荐方法和系统

Country Status (1)

Country Link
CN (1) CN111931057B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095079A (zh) * 2021-06-03 2021-07-09 苏州大学 基于bert的自适应分层输出的中文分词方法
CN113220892A (zh) * 2021-06-15 2021-08-06 苏州大学 基于bert的自适应文本分类方法及装置
CN113297383A (zh) * 2021-06-22 2021-08-24 苏州大学 基于知识蒸馏的语音情感分类方法
CN113360777A (zh) * 2021-08-06 2021-09-07 北京达佳互联信息技术有限公司 内容推荐模型训练方法、内容推荐方法及相关设备
CN113590958A (zh) * 2021-08-02 2021-11-02 中国科学院深圳先进技术研究院 基于样本回放的序列推荐模型的持续学习方法
CN113837167A (zh) * 2021-08-31 2021-12-24 北京捷通华声科技股份有限公司 一种文本图像识别方法、装置、设备及存储介质
CN116151353A (zh) * 2023-04-14 2023-05-23 中国科学技术大学 一种序列推荐模型的训练方法和对象推荐方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060166174A1 (en) * 2005-01-21 2006-07-27 Rowe T P Predictive artificial intelligence and pedagogical agent modeling in the cognitive imprinting of knowledge and skill domains
EP3144859A2 (en) * 2015-09-18 2017-03-22 Samsung Electronics Co., Ltd. Model training method and apparatus, and data recognizing method
CN110852390A (zh) * 2019-11-13 2020-02-28 山东师范大学 一种基于校园行为序列的学生成绩分类预测方法及系统
CN111159542A (zh) * 2019-12-12 2020-05-15 中国科学院深圳先进技术研究院 一种基于自适应微调策略的跨领域序列推荐方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060166174A1 (en) * 2005-01-21 2006-07-27 Rowe T P Predictive artificial intelligence and pedagogical agent modeling in the cognitive imprinting of knowledge and skill domains
EP3144859A2 (en) * 2015-09-18 2017-03-22 Samsung Electronics Co., Ltd. Model training method and apparatus, and data recognizing method
US20170083829A1 (en) * 2015-09-18 2017-03-23 Samsung Electronics Co., Ltd. Model training method and apparatus, and data recognizing method
CN110852390A (zh) * 2019-11-13 2020-02-28 山东师范大学 一种基于校园行为序列的学生成绩分类预测方法及系统
CN111159542A (zh) * 2019-12-12 2020-05-15 中国科学院深圳先进技术研究院 一种基于自适应微调策略的跨领域序列推荐方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
康嘉钰等: ""基于生成对抗网络的长短兴趣推荐模型"", 《计算机技术与发展》, 10 June 2020 (2020-06-10) *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095079A (zh) * 2021-06-03 2021-07-09 苏州大学 基于bert的自适应分层输出的中文分词方法
CN113220892A (zh) * 2021-06-15 2021-08-06 苏州大学 基于bert的自适应文本分类方法及装置
CN113297383A (zh) * 2021-06-22 2021-08-24 苏州大学 基于知识蒸馏的语音情感分类方法
CN113297383B (zh) * 2021-06-22 2023-08-04 苏州大学 基于知识蒸馏的语音情感分类方法
CN113590958A (zh) * 2021-08-02 2021-11-02 中国科学院深圳先进技术研究院 基于样本回放的序列推荐模型的持续学习方法
CN113590958B (zh) * 2021-08-02 2023-10-24 中国科学院深圳先进技术研究院 基于样本回放的序列推荐模型的持续学习方法
CN113360777A (zh) * 2021-08-06 2021-09-07 北京达佳互联信息技术有限公司 内容推荐模型训练方法、内容推荐方法及相关设备
CN113360777B (zh) * 2021-08-06 2021-12-07 北京达佳互联信息技术有限公司 内容推荐模型训练方法、内容推荐方法及相关设备
CN113837167A (zh) * 2021-08-31 2021-12-24 北京捷通华声科技股份有限公司 一种文本图像识别方法、装置、设备及存储介质
CN116151353A (zh) * 2023-04-14 2023-05-23 中国科学技术大学 一种序列推荐模型的训练方法和对象推荐方法

Also Published As

Publication number Publication date
CN111931057B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
CN111931057A (zh) 一种自适应输出的序列推荐方法和系统
CN110366734B (zh) 优化神经网络架构
US20210089936A1 (en) Opinion snippet detection for aspect-based sentiment analysis
US11151324B2 (en) Generating completed responses via primal networks trained with dual networks
CN110807515A (zh) 模型生成方法和装置
CN108090218B (zh) 基于深度强化学习的对话系统生成方法和装置
CN111931054B (zh) 一种基于改进残差结构的序列推荐方法和系统
US20170103337A1 (en) System and method to discover meaningful paths from linked open data
CN110402445B (zh) 使用递归神经网络浏览序列数据的方法和系统
CN116010684A (zh) 物品推荐方法、装置及存储介质
US11449731B2 (en) Update of attenuation coefficient for a model corresponding to time-series input data
CN112182281B (zh) 一种音频推荐方法、装置及存储介质
US10733537B2 (en) Ensemble based labeling
CN111967941B (zh) 一种构建序列推荐模型的方法和序列推荐方法
CN110162191A (zh) 一种表情推荐方法、装置及存储介质
US11281867B2 (en) Performing multi-objective tasks via primal networks trained with dual networks
CN111639247A (zh) 用于评估评论的质量的方法、装置、设备以及计算机可读存储介质
CN111340220A (zh) 用于训练预测模型的方法和装置
US12020160B2 (en) Generation of neural network containing middle layer background
CN114841142A (zh) 文本生成方法、装置、电子设备和存储介质
CN115801980A (zh) 视频生成方法和装置
US11650717B2 (en) Using artificial intelligence to iteratively design a user interface through progressive feedback
CN111444335B (zh) 中心词的提取方法及装置
CN110728371A (zh) 用于执行自动机器学习方案的系统、方法及电子设备
CN113657468A (zh) 预训练模型的生成方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant