CN108959655B - 一种面向动态环境的自适应在线推荐方法 - Google Patents

一种面向动态环境的自适应在线推荐方法 Download PDF

Info

Publication number
CN108959655B
CN108959655B CN201810889330.9A CN201810889330A CN108959655B CN 108959655 B CN108959655 B CN 108959655B CN 201810889330 A CN201810889330 A CN 201810889330A CN 108959655 B CN108959655 B CN 108959655B
Authority
CN
China
Prior art keywords
classifier
expert
recommendation
dynamic environment
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810889330.9A
Other languages
English (en)
Other versions
CN108959655A (zh
Inventor
张利军
卢世银
周志华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201810889330.9A priority Critical patent/CN108959655B/zh
Publication of CN108959655A publication Critical patent/CN108959655A/zh
Application granted granted Critical
Publication of CN108959655B publication Critical patent/CN108959655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种面向动态环境的自适应在线推荐方法，通过将推荐任务建模成一个在线多分类问题，然后使用自适应在线分类方法进行推荐。首先，获取应用场景的历史数据集。接着，选择分类器和损失函数，并计算出分类器在历史数据集上的最优参数作为初始值。然后，在每个回合根据分类器的预测决定推荐项目，并通过一个自适应方法更新分类器参数。该自适应方法包含一个元方法和多个专家方法。与现有技术相比，本发明能自适应地进行在线推荐，适用于变化速度和幅度无法事先预测的动态环境。

Description

一种面向动态环境的自适应在线推荐方法
技术领域
本发明涉及数据挖掘和机器学习领域中的在线推荐方法，特别涉及在动态环境中进行自适应在线推荐的方法，可应用于新闻推荐、广告推荐和商品推荐等场景。
背景技术
在线推荐方法能够在进行推荐的同时从与用户的交互数据中学习兴趣偏好，并且实时地调整推荐策略以适应用户的兴趣偏好。在每个推荐回合，推荐方法先观察到用户和所有候选项目的特征，然后根据推荐策略决定推荐项目，最后根据用户实际所选项目更新推荐策略。随着可观测数据量的急速增长和硬件计算能力的大幅度提高，在线推荐方法已经被大量地应用在经济、教育、游戏和多媒体等领域。如在互联网广告投放中，在线推荐方法可以在每个用户到来的时候根据用户和所有候选广告的特征决定投放的广告，并且在用户进行反馈(点击某一个广告)后更新模型以提高接下来的投放效果。在新闻推荐系统中，在线推荐方法可以在每个用户到来的时候根据用户和所有候选新闻的特征预测用户感兴趣的新闻类别从而进行推荐，并在用户进行反馈(阅读某一类别新闻)后更新模型以提高接下来的推荐效果。在股票投资中，在线推荐方法可以在每个投资周期开始的时候根据市场特征预测接下来的市场涨跌情况从而推荐优质标的，并在投资周期结束的时候根据实际涨跌情况更新模型以提高在下一周期的投资收益。
传统的在线推荐方法主要致力于在降低运算开销的同时达到静态离线推荐方法的性能。虽然有很多在线推荐方法已经在理论上被证明当推荐回合足够多的时候，平均意义上其性能与最好的离线推荐方法相当，但是对于一个动态变化的环境来说，静态离线推荐方法往往表现很差，这些在线推荐方法的理论保证也就没有了实际意义。最近也有一些可以应用于动态环境、具有理论保证的在线推荐方法被提出，但是这些方法都要求环境的变化速度和幅度可以事先确定，这些要求限制了他们的适用范围。在很多现实场景中，推荐方法面对的环境的变化情况难以提前控制和估计。如在股票投资中，当有重大事件发生的时候，股票的价格往往变化十分剧烈；在互联网广告投放和新闻推荐系统中，用户流充满了随机性和偶然性。为了能够应用于高度变化、不可事先确定的动态环境，我们需要一种自适应的在线推荐方法。
发明内容
发明目的：目前的在线推荐方法只适用于有先验知识、变化缓慢的动态环境，而现实中很多场景下环境的变化是快速且无法提前预知的。针对此问题，本发明提供了一种面向动态环境的自适应在线推荐方法。
技术方案：一种面向动态环境的自适应在线推荐方法，用于新闻推荐、广告推荐和商品推荐等应用场景。具体来说，首先，获取应用场景的历史数据集。接着，选择分类器和损失函数，并计算出分类器在历史数据集上的最优参数作为初始值。然后，在每个回合根据分类器的预测决定推荐项目，并通过一个自适应方法更新分类器参数。该自适应方法包含一个元方法和多个专家方法。每个专家方法针对一类可能的动态环境，被配置不同的学习率，在每个回合用梯度下降的方式更新决策；元方法在每个回合接收所有专家方法的决策，然后按照每个专家方法在动态环境中的近期推荐表现给每个专家方法赋予不同的权值，最后基于这些权值组合专家方法的决策确定最终的推荐项目。
一种面向动态环境的自适应在线推荐方法，包括元方法和专家方法。
所述元方法的具体步骤为：
步骤100，获取推荐场景历史数据集H＝{(xi,yi),i＝1,2,…,m}，其中xi表示用户特征和所有候选项目特征拼接而成的向量，yi表示用户实际选择的项目；
步骤101，选择分类器c(x,w)和损失函数l(p,y)，其中x表示用户特征和所有候选项目特征拼接而成的向量，y表示用户实际选择的项目，w表示分类器的参数，p表示分类器输出的推荐项目；
步骤102，在历史数据集上，根据所选的分类器和损失函数，在分类器参数可行域W中计算最优参数
Figure BDA0001756506390000021
步骤103，设置步长参数α；
步骤104，设置专家方法个数N；
步骤105，设置每个专家方法的学习率η；
步骤106，初始化每个专家方法的权重
Figure BDA0001756506390000022
步骤107，在每个推荐回合t＝1,2,…,T执行以下步骤：
步骤108，获取用户特征和所有候选项目特征拼接而成的向量xt；
步骤109，接收每个专家方法的输出
Figure BDA0001756506390000031
步骤110，计算分类器参数
Figure BDA0001756506390000032
η表示学习率，
Figure BDA0001756506390000033
表示专家方法的权重，t表示推荐回合数；
步骤111，根据分类器输出的推荐项目c(xt,wt)进行推荐；
步骤112，获取该回合用户实际选择的项目yt；
步骤113，计算函数ft(w)＝l(c(xt,w),yt)在wt处的梯度
Figure BDA0001756506390000034
步骤114，将
Figure BDA0001756506390000035
发送给每个专家方法；
步骤115，构造替代损失函数st(·)；
步骤116，更新每个专家方法的权重
Figure BDA0001756506390000036
每个专家方法的具体步骤为：
步骤200，初始化
Figure BDA0001756506390000037
步骤201，在每个推荐回合t＝1,2,…,T执行以下步骤：
步骤202，将
Figure BDA0001756506390000038
发送给元方法；
步骤203，接收
Figure BDA0001756506390000039
步骤204，更新输出
Figure BDA00017565063900000310
所述步骤101中可供选择的分类器包括常用的线性分类器c(x,w)＝wTx、softmax分类器和神经网络分类器等；可供选择的损失函数为所有凸的可微损失函数，包括平方损失l(p,y)＝(p-y)2、Hinge损失l(p,y)＝max(0,1-yp)和交叉熵损失l(p,y)＝-∑iyi log(pi)等。
所述步骤103中步长参数α的设置方式为
Figure BDA00017565063900000311
其中D是分类器参数可行域W的直径；G是使得下式成立的任意值：
Figure BDA00017565063900000312
Figure BDA00017565063900000313
所述步骤104中专家方法个数N的设置方式为
Figure BDA00017565063900000314
所述步骤105中每个专家方法的学习率η的设置方式为：第i(＝1,2,…,N)个专家的学习率为
Figure BDA00017565063900000315
所述步骤115中构造的替代损失函数st(·)的具体定义为
Figure BDA00017565063900000316
wt指第t轮分类器的参数值。
所述步骤204中的投影操作符ΠW[·]的具体定义为ΠW[u]＝argminv∈W‖u-v‖,u∈W。
有益效果：与现有技术相比，本发明能自适应地进行在线推荐，适用于变化速度和幅度无法事先预测的动态环境。
附图说明
图1为本发明的元方法工作流程图；
图2为本发明的专家方法工作流程图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
以电子商务网站中的商品推荐为例。
元方法的工作流程如图1所示。首先，获取网站最近一段时间所有用户的购买记录H＝{(xi,yi),i＝1,2,…,m}，其中xi表示用户和所有商品的特征拼接而成的向量，yi表示用户购买的商品。用户特征包括性别、年龄、居住地、经济收入、教育程度等，商品特征包括价格、销量、点击率、购物车转化率等。
接着，选择该场景下常用的softmax分类器和交叉熵损失l(p,y)＝-∑iyi log(pi)。在购买记录数据集上，根据所选的分类器和损失函数，计算最优分类器参数
Figure BDA0001756506390000041
这可以通过梯度下降等凸优化方法完成。
之后，确定推荐回合数T，设置步长参数
Figure BDA0001756506390000042
和专家方法个数
Figure BDA0001756506390000043
其中D是使得下式成立的任意值：
Figure BDA0001756506390000044
Figure BDA0001756506390000045
G是使得下式成立的任意值：
Figure BDA0001756506390000046
Figure BDA0001756506390000047
W是分类器参数的可行域。
然后，设置每个专家方法的学习率：将第i(＝1,2,…,N)个专家方法的学习率设置为
Figure BDA0001756506390000048
初始化每个专家方法的权重
Figure BDA0001756506390000049
最后，开始每个推荐回合的在线运行。在每个推荐回合中，元方法首先获取该回合用户和所有候选商品的特征向量，拼接得到xt。接着元方法接收每个专家方法的输出
Figure BDA0001756506390000051
计算softmax分类器的参数
Figure BDA0001756506390000052
根据softmax分类器的输出c(xt,wt)推荐商品。之后元方法获取该回合用户实际购买的商品yt，计算函数ft(w)＝l(c(xt,w),yt)在wt处的梯度
Figure BDA0001756506390000053
并将其发送给所有专家方法。最后元方法构造替代损失函数st(·)，更新每个专家方法的权重
Figure BDA0001756506390000054
每个专家方法的工作流程如图2所示。完成初始化后，在每个推荐回合，专家方法首先将当前回合的输出发送给元方法，然后从元方法处接收梯度信息，最后使用梯度下降更新下一回合的输出。

Claims (7)

1.一种面向动态环境的自适应在线推荐方法，其特征在于：包括元方法和专家方法；
所述元方法的具体步骤为：
步骤100，获取推荐场景历史数据集H＝{(xi,yi),i＝1,2,…,m}，其中xi表示用户特征和所有候选项目特征拼接而成的向量，yi表示用户实际选择的项目；
步骤101，选择分类器c(x,w)和损失函数l(p,y)，其中x表示用户特征和所有候选项目特征拼接而成的向量，y表示用户实际选择的项目，w表示分类器的参数，p表示分类器输出的推荐项目；
步骤102，在历史数据集上，根据所选的分类器和损失函数，在分类器参数可行域W中计算最优参数
Figure FDA0002356077920000011
步骤103，设置步长参数α；
步骤104，设置专家方法个数N；
步骤105，设置每个专家方法的学习率η；
步骤106，初始化每个专家方法的权重
Figure FDA0002356077920000012
步骤107，在每个推荐回合t＝1,2,…,T执行以下步骤：
步骤108，获取用户特征和所有候选项目特征拼接而成的向量xt；
步骤109，接收每个专家方法的输出
Figure FDA0002356077920000013
步骤110，计算分类器参数
Figure FDA0002356077920000014
其中
Figure FDA0002356077920000015
表示学习率为η的专家在第t回合的权重；
步骤111，根据分类器输出的推荐项目c(xt,wt)进行推荐；
步骤112，获取该回合用户实际选择的项目yt；
步骤113，计算第t回合的代价函数ft(w)＝l(c(xt,w),yt)在wt处的梯度
Figure FDA0002356077920000016
步骤114，将
Figure FDA0002356077920000017
发送给每个专家方法；
步骤115，构造替代损失函数st(·)；
步骤116，更新每个专家方法的权重
Figure FDA0002356077920000018
每个专家方法的具体步骤为：
步骤200，初始化
Figure FDA0002356077920000019
步骤201，在每个推荐回合t＝1,2,…,T执行以下步骤，其中T表示回合总数：
步骤202，将
Figure FDA0002356077920000021
发送给元方法；
步骤203，接收
Figure FDA0002356077920000022
步骤204，更新输出
Figure FDA0002356077920000023
其中ΠW[·]表示投影操作符。
2.如权利要求1所述的面向动态环境的自适应在线推荐方法，其特征在于：所述步骤101中可供选择的分类器包括常用的线性分类器c(x,w)＝wTx、softmax分类器和神经网络分类器；可供选择的损失函数为所有凸的可微损失函数，包括平方损失l(p,y)＝(p-y)2、Hinge损失l(p,y)＝max(0,1-yp)和交叉熵损失l(p,y)＝-∑iyilog(pi)。
3.如权利要求1所述的面向动态环境的自适应在线推荐方法，其特征在于：所述步骤103中步长参数α的设置方式为
Figure FDA0002356077920000024
其中T是回合总数；D是分类器参数可行域W的直径；G是使得下式成立的任意值：
Figure FDA0002356077920000025
4.如权利要求1所述的面向动态环境的自适应在线推荐方法，其特征在于：所述步骤104中专家方法个数N的设置方式为
Figure FDA0002356077920000026
5.如权利要求1所述的面向动态环境的自适应在线推荐方法，其特征在于：所述步骤105中每个专家方法的学习率η的设置方式为：第i＝1,2,…,N个专家的学习率为
Figure FDA0002356077920000027
其中T是回合总数；D是分类器参数可行域W的直径；G是使得下式成立的任意值：
Figure FDA0002356077920000028
6.如权利要求1所述的面向动态环境的自适应在线推荐方法，其特征在于：所述步骤115中构造的替代损失函数st(·)的具体定义为
Figure FDA0002356077920000029
Figure FDA00023560779200000210
7.如权利要求1所述的面向动态环境的自适应在线推荐方法，其特征在于：所述步骤204中的投影操作符ΠW[·]的具体定义为ΠW[u]＝argminv∈W‖u-v‖,u∈W。
CN201810889330.9A 2018-08-07 2018-08-07 一种面向动态环境的自适应在线推荐方法 Active CN108959655B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810889330.9A CN108959655B (zh) 2018-08-07 2018-08-07 一种面向动态环境的自适应在线推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810889330.9A CN108959655B (zh) 2018-08-07 2018-08-07 一种面向动态环境的自适应在线推荐方法

Publications (2)

Publication Number Publication Date
CN108959655A CN108959655A (zh) 2018-12-07
CN108959655B true CN108959655B (zh) 2020-04-03

Family

ID=64468227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810889330.9A Active CN108959655B (zh) 2018-08-07 2018-08-07 一种面向动态环境的自适应在线推荐方法

Country Status (1)

Country Link
CN (1) CN108959655B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210065276A1 (en) * 2019-08-28 2021-03-04 Fuji Xerox Co., Ltd. Information processing apparatus and non-transitory computer readable medium
CN110966937B (zh) * 2019-12-18 2021-03-09 哈尔滨工业大学 一种基于激光视觉传感的大型构件三维构形拼接方法
CN111754313B (zh) * 2020-07-03 2023-09-26 南京大学 一种通讯高效无需投影的分布式数据在线分类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104166668A (zh) * 2014-06-09 2014-11-26 南京邮电大学 基于folfm模型的新闻推荐系统及方法
CN105740430A (zh) * 2016-01-29 2016-07-06 大连理工大学 一种融合社会化信息的个性化推荐方法
CN108108351A (zh) * 2017-12-05 2018-06-01 华南理工大学 一种基于深度学习组合模型的文本情感分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9449288B2 (en) * 2011-05-20 2016-09-20 Deem, Inc. Travel services search

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104166668A (zh) * 2014-06-09 2014-11-26 南京邮电大学 基于folfm模型的新闻推荐系统及方法
CN105740430A (zh) * 2016-01-29 2016-07-06 大连理工大学 一种融合社会化信息的个性化推荐方法
CN108108351A (zh) * 2017-12-05 2018-06-01 华南理工大学 一种基于深度学习组合模型的文本情感分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种联合的时序数据特征序列分类学习算法;史苇杭等;《计算机工程》;20160630;第196-200页 *

Also Published As

Publication number Publication date
CN108959655A (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
US12038986B2 (en) Recommendation model training method, recommendation method, apparatus, and computer-readable medium
CN106651542B (zh) 一种物品推荐的方法及装置
CN110969516A (zh) 一种商品推荐方法及装置
CN108959655B (zh) 一种面向动态环境的自适应在线推荐方法
CN111932336A (zh) 一种基于长短期兴趣偏好的商品列表推荐方法
CN109903103B (zh) 一种推荐物品的方法和装置
CN111242748B (zh) 用于向用户推荐项目的方法、装置和存储介质
CN105809474B (zh) 一种层次化商品信息过滤推荐方法
CN110069699B (zh) 排序模型训练方法和装置
US11188579B2 (en) Personalized dynamic content via content tagging and transfer learning
CN106610970A (zh) 基于协同过滤的内容推荐系统与方法
CN114219169A (zh) 颖幡供应链销售和库存预测算法模型和应用系统
CN110781409A (zh) 一种基于协同过滤的物品推荐方法
CN105787100A (zh) 一种基于深度神经网络的用户会话推荐方法
CN111798280A (zh) 多媒体信息推荐方法、装置和设备及存储介质
JP7441270B2 (ja) 機械学習方法、訓練方法、予測システム、及び非一時的コンピュータ可読媒体
CN115860870A (zh) 一种商品推荐方法、系统、装置及可读介质
Afshar et al. A decision support method to increase the revenue of ad publishers in waterfall strategy
AU2019200721B2 (en) Online training and update of factorization machines using alternating least squares optimization
Han et al. Optimizing ranking algorithm in recommender system via deep reinforcement learning
CN115809374B (zh) 纠正推荐系统主流偏差的方法、系统、设备及存储介质
CN107527128A (zh) 一种确定资源参数的方法和设备
CN110555719A (zh) 一种基于深度学习的商品点击率预测方法
CN113821682A (zh) 基于深度学习的多目标视频推荐方法、装置及存储介质
CN110544129A (zh) 一种面向社交电商用户的个性化推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant