CN112884552A - 一种基于生成对抗和知识蒸馏的轻量级多模推荐方法 - Google Patents
一种基于生成对抗和知识蒸馏的轻量级多模推荐方法 Download PDFInfo
- Publication number
- CN112884552A CN112884552A CN202110199089.9A CN202110199089A CN112884552A CN 112884552 A CN112884552 A CN 112884552A CN 202110199089 A CN202110199089 A CN 202110199089A CN 112884552 A CN112884552 A CN 112884552A
- Authority
- CN
- China
- Prior art keywords
- user
- gru
- network
- generator
- discriminator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013140 knowledge distillation Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000013135 deep learning Methods 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 81
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 abstract description 9
- 238000004364 calculation method Methods 0.000 abstract description 3
- 230000000644 propagated effect Effects 0.000 abstract description 2
- 230000006399 behavior Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000000873 masking effect Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/067—Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Game Theory and Decision Science (AREA)
- Data Mining & Analysis (AREA)
- Educational Administration (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种基于生成对抗和知识蒸馏的轻量级多模推荐方法，首先生成对抗网络会根据用户的点击向量和购买向量进行对抗训练，生成出与原始用户数据相似的用户历史数据。然后将生成出来的数据分别输入到生成对抗网络中的判别器和学生模型中进行深度学习训练。接着判别器作为教师网络与学生网络进行交叉熵的损失函数的训练，直至学生网络输出能拟合教师网络的输出后，反向传播更新参数直至训练结束。最后用户只需要在云端下载最终的学生模型即可进行在线推荐，提升推荐的效率。本发明基于多模态的用户画像提高推荐的精确度，采用知识蒸馏和生成对抗解决推荐模型的轻量级部署问题，同时保证用户的隐私安全，实现推荐精度和计算效率之间的平衡。
Description
技术领域
本发明涉及数据推荐技术领域，具体涉及一种基于生成对抗和知识蒸馏的轻量级多模推荐方法。
背景技术
随着科技的发展和科技产品的普及，以及大数据时代带来的跨时代变化，人们所能使用的数据信息量也在不断增大，如何在繁杂无序的信息中快速精准的找到自己所喜欢的信息变成每个用户所苦恼的问题。因此应运而生的推荐系统能根据用户行为特征等信息进行分析，为用户推荐所喜欢的项目信息极大的方便了用户日常行为生活。
在众多推荐系统的相关技术研究中，协同过滤算法虽然在工业和研究中得到了较好的推荐效果，但是由于单个用户购买、点击或者评论的商品数量相对于所有商品而言是极小的一部分，尤其是目前用户和项目数量急剧增长，使得数据稀疏问题更为严重。另外，由于不同用户之间购买的物品重叠性较低，因此推荐系统无法找到其有效的相似用户，导致推荐结果不准确，进而影响用户体验度。有相关研究表明，基于深度学习技术的推荐系统能够有效缓解该问题，然而目前的深度学习模型加入到推荐系统当中存在推荐模型的模型参数比常规模型数量更多的问题，这就大大增加了模型的复杂性，其推荐模型无法部署于资源受限的运行环境下。因此，如何在担保推荐的准确性的同时提高计算效率是目前推荐领域关注的热点之一。
发明内容
本发明所要解决的是推荐系统中数据稀疏性和计算效率性问题，提供一种基于生成对抗和知识蒸馏的轻量级多模推荐方法。
为解决上述问题，本发明是通过以下技术方案实现的：
一种基于生成对抗和知识蒸馏的轻量级多模推荐方法，包括步骤如下：
步骤1、采集各用户的原始数据，对原始数据中的点击数据和购买数据进行过滤，分别得到用户真实点击序列和用户真实购买向量；
步骤2、利用各用户的用户真实点击序列对GRU生成对抗网络的GRU生成器和GRU判别器进行对抗训练，并输出各用户的最终的用户生成点击序列；
步骤3、利用各用户的用户真实购买向量对CF生成对抗网络的CF生成器和CF判别器进行对抗训练，并输出各用户的最终的用户生成购买向量；
步骤4、将GRU生成对抗网络对抗训练后所得到的GRU判别器和CF生成对抗网络对抗训练后所得到的CF判别器组成教师网络，并将一个独立的神经网络组成学生网络；
步骤5、将各用户的最终的用户生成点击序列和最终的用户生成购买向量分别送入到教师网络和学生网络中进行深度学习，得到深度学习后的教师网络和学生网络；
步骤6、基于知识蒸馏方法，深度学习后的教师网络和深度学习后的学生网络在网络的softmax层传递预测值，以让学生网络最后的输出值与教师网络最后的输出值尽可能相同，得到知识蒸馏后的教师网络和学生网络；
步骤7、用户从云端下载知识蒸馏后的学生网络，并利用该知识蒸馏后的学生网络对用户感兴趣的商品进行推荐。
上述步骤2的具体过程如下：
步骤2.1、从大样本空间中，生成用户随机点击序列；
步骤2.2、将用户随机点击序列输入GRU生成对抗网络的GRU生成器，GRU生成器生成与用户真实点击序列同分布的用户生成点击序列；
步骤2.3、GRU生成对抗网络的GRU判别器将当前的用户生成点击序列与用户真实点击序列进行真假判别，GRU判别器根据当前的判别结果指导GRU生成器进行参数更新，让用户真实点击序列输出概率尽可能接近100％，当前的用户生成点击序列输出概率尽可能接近0％；
步骤2.4、固定GRU判别器，并将当前的判别结果输出给GRU生成器，GRU生成器根据当前的判别结果指导GRU生成器进行参数更新，使得GRU生成器后续生成的用户生成点击序列能让CF判别器难以区别是否真实；
步骤2.5、重复步骤2.3-2.4，GRU生成器和GRU判别器进行迭代的对抗训练，直到双方结果收敛，并输出最终的用户生成点击序列。
上述步骤3的具体过程如下：
步骤3.1、从大样本空间中，生成用户随机购买向量；
步骤3.2、将用户随机购买向量输入CF生成对抗网络的CF生成器，CF生成器生成与用户真实购买向量同分布的用户生成购买向量；
步骤3.3、CF生成器根据用户真实购买向量，从当前的用户生成购买向量随机选取其中部分用户未购买商品的用户生成购买向量作为用户虚假购买向量，并用户虚假购买向量与用户真实购买向量相乘，更新当前的用户生成购买向量；
步骤3.4、CF生成对抗网络的CF判别器将当前的用户生成购买向量与用户真实购买向量进行真假判别，CF判别器根据当前的判别结果指导CF生成器进行参数更新，让用户真实购买向量输出概率尽可能接近100％，当前的用户生成购买向量输出概率尽可能接近0％；
步骤3.5、固定CF判别器，并将当前的判别结果输出给CF生成器，CF生成器根据当前的判别结果指导CF生成器进行参数更新，使得CF生成器后续生成的用户生成购买向量能让CF判别器难以区别是否真实；
步骤3.6、重复步骤3.3-3.5，CF生成器和CF判别器进行迭代的对抗训练，直到双方结果收敛，并输出最终的用户生成购买向量。
与现有技术相比，本发明具有如下特点：
1、本发明提出一种多模态的基于生成对抗网络的推荐方法，该方法可以根据用户多种历史交互数据，如点击，购买等数据来进行学习，并输入到生成对抗网络中进行对抗训练，识别用户长短期偏好，增强用户的历史交互数据，最终刻画出用户完整画像，来帮助推荐系统解决数据稀疏性问题，提高推荐精度。
2、本发明提出一种知识蒸馏的推荐方法，该方法可以将复杂模型通过传递预测值的方式传递给简单的模型，从而让简单模型在推荐性能上达到跟复杂模型一样的效果。而且简单的模型(学生模型)也相对于复杂模型来说更加利于部署于资源受限的设备上面，实现轻量级推荐，提高推荐效率。
3、本发明提出一种能保障用户隐私的推荐方法，用户最终所接触的学生模型的训练只受到生成对抗网络所生成的数据和通过GRU判别器和CF判别器所传递的预测值。相当于直接使用模型而言，更加保障的用户隐私，实现隐私保护的属性。
附图说明
图1为一种基于生成对抗和知识蒸馏的轻量级多模推荐方法的原理图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，对本发明进一步详细说明。
一种基于生成对抗和知识蒸馏的轻量级多模推荐方法，如图1所示，其具体包括步骤如下：
S101、分别采集各用户的原始数据，对用户给定的隐式反馈(例如：是否点击过商品或者购买过商品)进行过滤，分别得到各用户的用户真实点击序列和用户真实购买向量。
推荐系统的原始数据包括显示反馈和隐式反馈，本发明针对隐式反馈中的点击数据和购买数据进行过滤，将分别得到用户真实点击序列数据(包括:用户ID，商品ID和点击商品的时间)和用户真实购买向量数据(包括：用户ID和商品ID)。其中用户购买或者点击过商品在向量中表示为1，未进行交互在向量中表示为0。
S102、利用各用户的用户真实点击序列对GRU生成对抗网络进行训练，并输出各用户的最终的用户生成点击序列。
S102.1、基于门控循环神经网络的GRU生成对抗网络包括GRU生成器和GRU判别器。初始化GRU生成对抗网络参数为：
其中，
表示当前输入的序列，
表示上一个输入的隐藏状态，
表示GRU的一个重置门控，σ表示一个sigmoid函数，RELU()和tanh()都为激活函数。
表通过重置门控之后一个数据。
表示当前状态一个隐藏状态。
都为
与
的加权矩阵。
S102.2、从大样本空间中随机抽取序列生成用户随机点击序列，并将用户随机点击序列输入进GRU生成器，GRU生成器输出符合用户分布的初始的用户生成点击序列。
S102.3、GRU判别器将当前的用户生成点击序列与用户真实点击序列进行判别真假，根据判别结果，GRU判别器会通过以下损失函数更新其自身参数，使得用户生成点击序列和用户真实点击序列区别尽可能的大，从而让用户真实点击序列输出概率尽可能接近100％，用户生成点击序列输出概率尽可能接近0％。
其中，D(r|i,j,t)表示判别器所学习到的一种分布，Ex～pdata表示数学期望，结果的概率乘其结果的总和。
S102.4、固定GRU判别器，将当前的用户生成点击序列的判别结果输出给GRU生成器，GRU生成器通过以下损失函数更新其自身参数，加强生成出与用户真实点击序列相似的生成数据，从而让GRU生成器后续生成的用户序列能让GRU判别器难以区别是否真实。
S102.5、重复S102.3和S102.4，将GRU生成器和GRU判别器二者进行不断对抗训练，直至收敛，并输出最终的用户生成点击序列。
S102.3中已经针对V(D,G)进行了求解max，S102.4对其求解之后再求min，两个步骤保障了我们GRU判别器和GRU生成器能进行训练保障其收敛。
S103、利用各用户的用户真实购买向量对CF生成对抗网络进行训练，并输出各用户的最终的用户生成购买向量。
S103.1、基于协同过滤神经网络的CF生成对抗网络包括CF生成器和CF判别器。初始化CF生成对抗网络包括1层输入层，3层的隐藏层和1层输出softmax层。输入层神经元设置是(项目统计，1024)，三层隐藏层神经元设置分别为(1024，128)，(128，16)，(16，1)，最后一层为softmax层。每层神经网络满足线性关系：
Zi＝ωixi+b
其中，wi各层的线性关系系数，b表示偏移修正。
S103.2、从大样本空间中随机抽取向量生成用户随机购买向量，并将用户随机购买向量输入CF生成器，CF生成器输出符合用户分布的初始的用户生成购买向量。
S103.3、CF生成器根据用户真实购买向量，随机选择20％用户未购买商品的用户向量内容让其成为负样本即用户虚假购买向量，并将用户虚假购买向量与用户真实购买向量做masking(叉积)公式操作，虚假购买向量其乘上0，真实购买的商品乘上1，最终输出masking操作后的用户操作购买向量去更新当前的用户生成购买向量。
i＝ru⊙eu
其中，其中i表示做masking后续输出的用户购买向量，⊙表示逻辑运算符“同或”，两个值相同，同或结果为真，反之则为假。ru表示生成出来的向量。eu表示用户是否购买的真是向量。
S103.4、CF判别器将当前的用户生成购买向量与用户真实向量进行判别真假。根据判别结果，GRU判别器会通过以下损失函数更新其自身参数，使得用户操作购买向量和用户真实向量区别尽可能的大，让真实向量输出概率尽可能接近100％，生成的向量输出概率尽可能接近0％。
JD＝-Ex～pdata[l0gD(ru|cu)]-Ex～pdata[log(1-D(ru⊙eu|cu))]
其中，D(ru|cu)表示生成的向量和真实向量之间的分布。D(ru⊙eu|cu)表示masking之后所输出的向量和真实向量之间的分布。
S103.5、固定CF判别器，将当前用户生成向量的判别结果输出给CF生成器，CF生成器通过以下损失函数更新其自身参数，加强生成出与用户真实购买向量相似的生成数据，从而让CF生成器后续生成的用户生成购买向量能让CF判别器难以区别是否真实。
JG＝Ex～pdata[log1-D((ru⊙eu)|cu)]
S103.6、重复S103.3至S103.5，将CF生成器和CF判别器二者进行不断对抗训练，直至收敛，并输出最终的用户操作购买向量。
S104、将GRU生成对抗网络对抗训练后所得到的GRU判别器和CF生成对抗网络对抗训练后所得到的CF判别器组成教师网络，并将一个独立的神经网络组成学生网络。
GRU判别器和CF判别器作为教师网络常常是比较复杂的神经网络结构，学生网络是一个独立于整体模型的轻量级的神经网络结构，两者区别在于作为教师网络往往能学到比学生网络更为细节的偏好行为。
S105、将各用户的最终的用户生成点击序列和最终的用户生成购买向量分别送入到教师网络和学生网络中进行深度学习，得到深度学习后的教师网络和学生网络。
教师网络输入的是GRU生成器和CF生成器所生成出来的最终的用户生成点击序列和最终的用户生成购买向量，得到某个用户个性化的推荐偏好行为。学生网络输入的是GRU生成器和CF生成器所生成出来的最终的用户生成点击序列和最终的用户生成购买向量，得到某个用户个性化的推荐偏好行为。由于教师网络往往能学到比学生网络更为细节的偏好行为，从而更加方便后续对学生网络进行指导。
S106、基于知识蒸馏方法，深度学习后的教师网络和深度学习后的学生网络在网络的softmax层传递预测值，以让学生网络最后的输出值与教师网络最后的输出值尽可能相同，得到知识蒸馏后的教师网络和学生网络。
教师网络的GRU判别器和CF判别器会分别在网络的softmax层与学生网络通过以下公式来传递预测值，目的是让softmax层预测值尽可能相同。
其中，qi表示softmax层的输出。zi表示神经网络Logit层的输出值，T表示温度。当T等于1时，该公式就与正常softmax激活函数相同。
其中，Lkd表示我们进行知识蒸馏的损失。S表示学生网络，t表示CF判别器和GRU判别器。其中α作为超参数将会根据用户自身的情况自动进行更新。
S107、用户从云端下载知识蒸馏后的学生网络，并利用该知识蒸馏后的学生网络对用户感兴趣的商品进行推荐。
用户通过手机，电脑等移动设备可以直接访问云端服务器，下载最终的学生网络即知识蒸馏后的学生网络，当用户有购物请求时，输入用户历史信息后，学生网络可以输出推荐给用户的商品列表。后续用户所购买，点击的商品信息技术会反馈到学生网络中进行进一步训练。
本发明是一种基于生成对抗网络和知识蒸馏技术来建立轻量级推荐系统的方法，首先会根据某个用户的点击向量和购买向量分别放入生成对抗网络中，生成对抗网络会根据输入的数据进行对抗训练，生成出与原始用户数据相似的用户历史数据。然后将生成出来的数据分别输入到生成对抗网络中的判别器和学生模型中进行深度学习训练。其次，判别器作为教师网络将通过在softmax层与学生网络softmax进行交叉熵的损失函数的训练，直至学生网络输出能拟合教师网络的输出后，反向传播更新参数直至训练结束。最后，用户只需要在云端下载最终的学生模型即可进行在线推荐，完成轻量级的部署，提升推荐的效率。本发明基于多模态(两个以上)的用户画像提高推荐的精确度，采用知识蒸馏和生成对抗解决推荐模型的轻量级部署问题，同时保证用户的隐私安全，实现推荐精度和计算效率之间的平衡。
需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。
Claims (3)
1.一种基于生成对抗和知识蒸馏的轻量级多模推荐方法，其特征是，包括步骤如下：
步骤1、采集各用户的原始数据，对原始数据中的点击数据和购买数据进行过滤，分别得到用户真实点击序列和用户真实购买向量；
步骤2、利用各用户的用户真实点击序列对GRU生成对抗网络的GRU生成器和GRU判别器进行对抗训练，并输出各用户的最终的用户生成点击序列；
步骤3、利用各用户的用户真实购买向量对CF生成对抗网络的CF生成器和CF判别器进行对抗训练，并输出各用户的最终的用户生成购买向量；
步骤4、将GRU生成对抗网络对抗训练后所得到的GRU判别器和CF生成对抗网络对抗训练后所得到的CF判别器组成教师网络，并将一个独立的神经网络组成学生网络；
步骤5、将各用户的最终的用户生成点击序列和最终的用户生成购买向量分别送入到教师网络和学生网络中进行深度学习，得到深度学习后的教师网络和学生网络；
步骤6、基于知识蒸馏方法，深度学习后的教师网络和深度学习后的学生网络在网络的softmax层传递预测值，以让学生网络最后的输出值与教师网络最后的输出值尽可能相同，得到知识蒸馏后的教师网络和学生网络；
步骤7、用户从云端下载知识蒸馏后的学生网络，并利用该知识蒸馏后的学生网络对用户感兴趣的商品进行推荐。
2.根据权利要求1所述的一种基于生成对抗和知识蒸馏的轻量级多模推荐方法，其特征是，步骤2的具体过程如下：
步骤2.1、从大样本空间中，生成用户随机点击序列；
步骤2.2、将用户随机点击序列输入GRU生成对抗网络的GRU生成器，GRU生成器生成与用户真实点击序列同分布的用户生成点击序列；
步骤2.3、GRU生成对抗网络的GRU判别器将当前的用户生成点击序列与用户真实点击序列进行真假判别，GRU判别器根据当前的判别结果指导GRU生成器进行参数更新，让用户真实点击序列输出概率尽可能接近100％，当前的用户生成点击序列输出概率尽可能接近0％；
步骤2.4、固定GRU判别器，并将当前的判别结果输出给GRU生成器，GRU生成器根据当前的判别结果指导GRU生成器进行参数更新，使得GRU生成器后续生成的用户生成点击序列能让CF判别器难以区别是否真实；
步骤2.5、重复步骤2.3-2.4，GRU生成器和GRU判别器进行迭代的对抗训练，直到双方结果收敛，并输出最终的用户生成点击序列。
3.根据权利要求1所述的一种基于生成对抗和知识蒸馏的轻量级多模推荐方法，其特征是，步骤3的具体过程如下：
步骤3.1、从大样本空间中，生成用户随机购买向量；
步骤3.2、将用户随机购买向量输入CF生成对抗网络的CF生成器，CF生成器生成与用户真实购买向量同分布的用户生成购买向量；
步骤3.3、CF生成器根据用户真实购买向量，从当前的用户生成购买向量随机选取其中部分用户未购买商品的用户生成购买向量作为用户虚假购买向量，并用户虚假购买向量与用户真实购买向量相乘，更新当前的用户生成购买向量；
步骤3.4、CF生成对抗网络的CF判别器将当前的用户生成购买向量与用户真实购买向量进行真假判别，CF判别器根据当前的判别结果指导CF生成器进行参数更新，让用户真实购买向量输出概率尽可能接近100％，当前的用户生成购买向量输出概率尽可能接近0％；
步骤3.5、固定CF判别器，并将当前的判别结果输出给CF生成器，CF生成器根据当前的判别结果指导CF生成器进行参数更新，使得CF生成器后续生成的用户生成购买向量能让CF判别器难以区别是否真实；
步骤3.6、重复步骤3.3-3.5，CF生成器和CF判别器进行迭代的对抗训练，直到双方结果收敛，并输出最终的用户生成购买向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110199089.9A CN112884552B (zh) | 2021-02-22 | 2021-02-22 | 一种基于生成对抗和知识蒸馏的轻量级多模推荐方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110199089.9A CN112884552B (zh) | 2021-02-22 | 2021-02-22 | 一种基于生成对抗和知识蒸馏的轻量级多模推荐方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112884552A true CN112884552A (zh) | 2021-06-01 |
| CN112884552B CN112884552B (zh) | 2023-11-21 |
Family
ID=76056844
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110199089.9A Active CN112884552B (zh) | 2021-02-22 | 2021-02-22 | 一种基于生成对抗和知识蒸馏的轻量级多模推荐方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112884552B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113486257A (zh) * | 2021-07-01 | 2021-10-08 | 湖北工业大学 | 一种基于对抗矩阵分解的协调过滤卷积神经网络推荐系统及方法 |
| CN113806632A (zh) * | 2021-08-26 | 2021-12-17 | 上海交通大学 | 一种基于双重一致性自集成学习的个性化推荐方法 |
| CN114493781A (zh) * | 2022-01-25 | 2022-05-13 | 工银科技有限公司 | 用户行为预测方法、装置、电子设备及存储介质 |
| CN114943101A (zh) * | 2022-05-18 | 2022-08-26 | 广州大学 | 一种隐私保护的生成模型构建方法 |
| CN116911951A (zh) * | 2023-07-28 | 2023-10-20 | 北京数聚智连科技股份有限公司 | 一种电商数据分析处理方法及系统 |
| CN117097797A (zh) * | 2023-10-19 | 2023-11-21 | 浪潮电子信息产业股份有限公司 | 云边端协同方法、装置、系统、电子设备及可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111027060A (zh) * | 2019-12-17 | 2020-04-17 | 电子科技大学 | 基于知识蒸馏的神经网络黑盒攻击型防御方法 |
| KR20200046189A (ko) * | 2018-10-19 | 2020-05-07 | 네이버 주식회사 | 생성적 적대 신경망에 기반한 협업 필터링을 위한 방법 및 시스템 |
| US20200302295A1 (en) * | 2019-03-22 | 2020-09-24 | Royal Bank Of Canada | System and method for knowledge distillation between neural networks |
| CN111931062A (zh) * | 2020-08-28 | 2020-11-13 | 腾讯科技（深圳）有限公司 | 一种信息推荐模型的训练方法和相关装置 |
| CN111967534A (zh) * | 2020-09-03 | 2020-11-20 | 福州大学 | 基于生成对抗网络知识蒸馏的增量学习方法 |
-
2021
- 2021-02-22 CN CN202110199089.9A patent/CN112884552B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200046189A (ko) * | 2018-10-19 | 2020-05-07 | 네이버 주식회사 | 생성적 적대 신경망에 기반한 협업 필터링을 위한 방법 및 시스템 |
| US20200302295A1 (en) * | 2019-03-22 | 2020-09-24 | Royal Bank Of Canada | System and method for knowledge distillation between neural networks |
| CN111027060A (zh) * | 2019-12-17 | 2020-04-17 | 电子科技大学 | 基于知识蒸馏的神经网络黑盒攻击型防御方法 |
| CN111931062A (zh) * | 2020-08-28 | 2020-11-13 | 腾讯科技（深圳）有限公司 | 一种信息推荐模型的训练方法和相关装置 |
| CN111967534A (zh) * | 2020-09-03 | 2020-11-20 | 福州大学 | 基于生成对抗网络知识蒸馏的增量学习方法 |
Non-Patent Citations (2)
| Title |
|---|
| 姜慧明: "基于生成对抗网络与知识蒸馏的人脸修复与表情识别", 硕士电子期刊出版, vol. 2020, no. 08 * |
| 康嘉钰;苏凡军;: "基于生成对抗网络的长短兴趣推荐模型", 计算机技术与发展, no. 06 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113486257A (zh) * | 2021-07-01 | 2021-10-08 | 湖北工业大学 | 一种基于对抗矩阵分解的协调过滤卷积神经网络推荐系统及方法 |
| CN113806632A (zh) * | 2021-08-26 | 2021-12-17 | 上海交通大学 | 一种基于双重一致性自集成学习的个性化推荐方法 |
| CN114493781A (zh) * | 2022-01-25 | 2022-05-13 | 工银科技有限公司 | 用户行为预测方法、装置、电子设备及存储介质 |
| CN114943101A (zh) * | 2022-05-18 | 2022-08-26 | 广州大学 | 一种隐私保护的生成模型构建方法 |
| CN114943101B (zh) * | 2022-05-18 | 2024-05-17 | 广州大学 | 一种隐私保护的生成模型构建方法 |
| CN116911951A (zh) * | 2023-07-28 | 2023-10-20 | 北京数聚智连科技股份有限公司 | 一种电商数据分析处理方法及系统 |
| CN116911951B (zh) * | 2023-07-28 | 2024-03-08 | 北京数聚智连科技股份有限公司 | 一种电商数据分析处理方法及系统 |
| CN117097797A (zh) * | 2023-10-19 | 2023-11-21 | 浪潮电子信息产业股份有限公司 | 云边端协同方法、装置、系统、电子设备及可读存储介质 |
| CN117097797B (zh) * | 2023-10-19 | 2024-02-09 | 浪潮电子信息产业股份有限公司 | 云边端协同方法、装置、系统、电子设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112884552B (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | EDMF: Efficient deep matrix factorization with review feature learning for industrial recommender system | |
| CN112884552B (zh) | 一种基于生成对抗和知识蒸馏的轻量级多模推荐方法 | |
| CN109087178A (zh) | 商品推荐方法和装置 | |
| CN109783738B (zh) | 一种基于多相似度的双极限学习机混合协同过滤推荐方法 | |
| CN110321422A (zh) | 在线训练模型的方法、推送方法、装置以及设备 | |
| CN108230058A (zh) | 产品推荐方法及系统 | |
| Li et al. | Product innovation concept generation based on deep learning and Kansei engineering | |
| Ong et al. | Deep learning based-recommendation system: an overview on models, datasets, evaluation metrics, and future trends | |
| CN111949887A (zh) | 物品推荐方法、装置及计算机可读存储介质 | |
| CN110858226A (zh) | 对话管理方法和装置 | |
| CN111695024A (zh) | 对象评估值的预测方法及系统、推荐方法及系统 | |
| CN110738314A (zh) | 一种基于深度迁移网络的点击率预测方法及装置 | |
| CN112712418A (zh) | 推荐商品信息的确定方法和装置、存储介质及电子设备 | |
| CN113190751A (zh) | 一种融合关键词生成的推荐算法 | |
| Chen et al. | Automated creative optimization for e-commerce advertising | |
| Liang et al. | Top-N-rank: A scalable list-wise ranking method for recommender systems | |
| CN117216281A (zh) | 一种基于知识图谱的用户兴趣扩散推荐方法及系统 | |
| CN113344648B (zh) | 一种基于机器学习的广告推荐方法及系统 | |
| Muncsan et al. | Transferability of fast gradient sign method | |
| Shan et al. | NASM: nonlinearly attentive similarity model for recommendation system via locally attentive embedding | |
| Li et al. | Meta hierarchical reinforced learning to rank for recommendation: a comprehensive study in moocs | |
| CN113159891B (zh) | 一种基于多种用户表示融合的商品推荐方法 | |
| Zeng et al. | RACMF: robust attention convolutional matrix factorization for rating prediction | |
| Latha et al. | Product recommendation using enhanced convolutional neural network for e-commerce platform | |
| CN111460302A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |