CN105447145A - 一种基于项目的迁移学习推荐方法及其推荐装置 - Google Patents

Abstract

本发明公开了一种基于项目的迁移学习推荐方法及其推荐装置，迁移学习推荐方法包括：分别建立辅助域和目标域的用户-项目评分矩阵；标准化辅助域和目标域的用户-项目评分矩阵；分解标准化后的辅助域的用户-项目评分矩阵，获取项目特性矩阵；利用项目特性矩阵扩充目标域的用户-项目评分矩阵；根据扩充后的目标域的用户-项目评分矩阵生成推荐。迁移学习推荐装置包括：建立模块、标准化模块、获取模块、扩充模块、以及推荐模块。本发明更准确更合理的为用户推荐所需项目，使其更个性化和智能化，提升用户使用效率，有效节约用户时间，提高相关产业的服务质量，并有效解决互联网信息过载的问题；可以提高用户-项目评分矩阵的稠密度和准确度。

Description

一种基于项目的迁移学习推荐方法及其推荐装置

技术领域

本发明涉及人工智能，数据挖掘，推荐系统，知识推荐，迁移学习等领域，尤其涉及一种基于项目的迁移学习推荐方法。

背景技术

推荐系统是由外国学者首先提出的，它通常包括三大部分：用户信息收集和偏好分析部分、推荐算法部分和推荐实施部分。其中推荐算法部分是整个推荐系统的核心，它通常可分为三种：基于内容的推荐算法(Content-BasedRecommendationAlgorithm)、协同过滤推荐算法(CollaborativeFilteringRecommendationAlgorithm)和混合推荐算法(HybridRecommendationAlgorithm)。其中协同过滤推荐算法目前应用较为广泛。

基于内容的推荐算法结合概率统计，机器学习等技术，利用用户信息建立用户模型来表示用户偏好，利用资源信息建立资源模型表示资源特征，将用户偏好与资源特征进行比较，生成推荐。基于内容的推荐算法具有独立性和透明性的优点，它不需要过分依赖其他用户的意见，即使系统中只有一个用户也可以为用户进行推荐，即使新增某一资源也可以在得到该资源特征后将其推荐给用户。但基于内容的推荐算法在提取资源的特征时较为困难，尤其是视频等，这使得它在应用时收到了一定的限制。

协同过滤推荐算法是1992年由Goldberg、Necols、Oki及Terry等人提出的。也是目前最流行最成熟的推荐算法。协同过滤算法的主要思想有：和某用户相似的用户喜欢的资源，该用户很可能也喜欢；某用户喜欢某资源，他很可能也喜欢与该资源相似的其他资源。即用户们可以齐心协力通过自己在网站上的行为，如对资源的评价、浏览等，互相帮助挖掘过滤出自己感兴趣的内容。协同过滤推荐算法自动化程度高不过分依赖人为的干预，同时能够处理非结构化的对象。但却有冷启动的问题，当新用户或新项目加入时很难做出正确的推荐。协同过滤推荐算法又可分为基于用户的协同过滤算法，基于项目的协同过滤算法和基于模型的协同过滤算法。

其中，基于项目的协同过滤推荐算法主要研究项目与项目之间的相似性关系，根据用户原有的项目喜好，挑选出相似项目，生成推荐。它适合项目较少而用户较多的环境，对于每个项目具有的有效评价和信息越多就越容易准确找到项目与项目之间的相似性关系。

知识推荐是推荐系统的一种，即推荐的内容为知识。它目前研究仍处于起步阶段，并且大多数研究都基于在线网络学习平台。JieLu曾提出个性化学习推荐系统的框架，为不同风格、需求、背景的学生提供合适其学习的材料。Chih-Ming和他的同事们曾提出一个基于项目反应理论的个性化网络学习系统，将学习者的信息和课程的信息独立存储在数据库中。

综上来看，在线网络学习平台中个性化建设已经得到了研究者的充分重视，并相应的展开一些研究，但这些研究主要集中在通过学习者学习记录，定位学习者正在学习的知识资源。而仅给学习者推荐同一类型，同等水平，与所学知识及其相近的知识，难以满足学习者学习要求的，同时也无法进一步挖掘学习者的兴趣与潜力。

发明内容

本发明提供了一种基于项目的迁移学习推荐方法及其推荐装置，本发明提高了推荐算法的精确度，推动建设更加智能化个性化的互联网环境，详见下文描述：

一种基于项目的迁移学习推荐方法，所述迁移学习推荐方法包括以下步骤：

分别建立辅助域和目标域的用户-项目评分矩阵；标准化辅助域和目标域的用户-项目评分矩阵；

分解标准化后的辅助域的用户-项目评分矩阵，获取项目特性矩阵；

利用项目特性矩阵V扩充目标域的用户-项目评分矩阵；根据扩充后的目标域的用户-项目评分矩阵生成推荐。

其中，所述标准化辅助域和目标域的用户-项目评分矩阵具体为：

若辅助域的用户-项目评分矩阵为二元评分，目标域的用户-项目评分矩阵为数值型评分，将目标域的用户-项目评分矩阵转化为0-1区间的数值型评分；

若辅助域的用户-项目评分矩阵为二元评分，目标域的用户-项目评分矩阵为a-b区间数值型评分，将目标域的用户-项目评分矩阵中的某一评分x转化为(x-a)/(b-a)。

其中，所述分解标准化后的辅助域的用户-项目评分矩阵，获取项目特性矩阵具体为：

采用规范化的奇异值分解方法分解标准化后的辅助域的用户-项目评分矩阵R_aux；

R_aux＝μ+b_i+b_j+U_iV_j

分解为全局平均值μ、用户偏差b_i、项目偏差b_j、用户特性矩阵U以及项目特性矩阵V；其中，矩阵U的第i行向量U_i为用户i的特性；项目特性矩阵V的第j行向量V_j为项目j的特性。

其中，所述利用项目特性矩阵V扩充目标域的用户-项目评分矩阵具体为：

分解目标域的用户-项目评分矩阵的目标函数为：

其中，为损失函数； ${\hat{R}}_{ij}=\mathrm{\μ}+b_i+b_j+U_i({\mathrm{\αV}}_j^T+(1-\mathrm{\α})V_j^T)$ 为R_ij的估计值；α为学习速率；Y_ij为指示矩阵，若用户i评价过项目j则Y_ij＝1，否则Y_ij＝0；为正规化项，防止目标域评分矩阵分解过程中出现过拟合；α_u、α_v、β_u和β_v均为梯度学习速率。

一种基于项目的迁移学习推荐装置，所述迁移学习推荐装置包括：

建立模块，用于分别建立辅助域和目标域的用户-项目评分矩阵；

标准化模块，用于标准化辅助域和目标域的用户-项目评分矩阵；

获取模块，用于分解标准化后的辅助域的用户-项目评分矩阵，获取项目特性矩阵；

扩充模块，用于利用项目特性矩阵V扩充目标域的用户-项目评分矩阵；

推荐模块，用于根据扩充后的目标域的用户-项目评分矩阵生成推荐。

本发明提供的技术方案的有益效果是：本发明利用迁移学习的技术对用户-项目评分矩阵进行填充，较好的评分预测效果，从而更准确更合理的为用户推荐所需项目，使其更个性化和智能化，提升用户使用效率，有效节约用户时间，提高相关产业的服务质量，并有效解决互联网信息过载的问题；可以提高用户-项目评分矩阵的稠密度和准确度，从而进一步提高推荐的准确率。

附图说明

图1为一种基于项目的迁移学习推荐方法的流程图；

图2为本方法相比于PMF的MAE提升率的示意图；

图3为本方法相比于PMF的RMSE提升率的示意图；

图4为一种基于项目的迁移学习推荐装置的结构示意图。

附图中，各标号所代表的部件列表如下：

1：建立模块；2：标准化模块；

3：获取模块；4：扩充模块；

5：推荐模块。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

迁移学习的研究工作主要有：“迁移什么”、“如何迁移”以及“何时迁移“。它的主要目的是通过已知领域的数据信息帮助提高其他领域问题，降低数据收集成本。按照具体技术可分为：基于实例的迁移学习、基于特征的迁移学习、基于参数的迁移学习和基于关系知识的迁移学习。迁移学习技术的理论成果已广泛的应用于图像识别等问题上。在推荐领域，通过人类在某一领域的偏好探测其在其他领域的偏好，符合人类的行为特征，又可以降低数据成本。因此将迁移学习和推荐算法进行跨领域结合是可行的。

实施例1

一种基于项目的迁移学习推荐方法，参见图1，该推荐方法包括以下步骤：

101：分别建立辅助域和目标域的用户-项目评分矩阵；

对辅助域和目标域进行用户建模，根据辅助域或目标域数据的模型(例如：星级评分、语言描述，和浏览次数等)，提取用户对项目的评分，分别建立辅助域和目标域的用户-项目评分矩阵，其中辅助域的用户-项目评分矩阵记为R_aux，目标域的用户-项目评分矩阵记为R。具体地，用户数记为n，项目数记为m，建立评分矩阵R，则用户i对项目j进行的评分值表示为R_ij，其中i为用户编号且满足1≤i≤n，j为用户编号且满足1≤j≤m，评分值可以是二元属性值也可以是数值型评分。

102：标准化辅助域和目标域的用户-项目评分矩阵；

其中，目标域的用户-项目评分矩阵通常是数值型评分，辅助域的用户-项目评分矩阵可能为数值型评分或二元评分。若为二元评分，应将目标域的的用户-项目评分矩阵转化为0-1区间的数值型评分，从而保证辅助域的用户-项目评分矩阵、与目标域的用户-项目评分矩阵的统一。

若辅助域的用户-项目评分矩阵为二元评分，而目标域的用户-项目评分矩阵为a-b区间数值型评分，应把目标域的用户-项目评分矩阵转为0-1区间，具体的对于目标域的用户-项目评分矩阵中的某一评分x可转化为(x-a)/(b-a)。

103：分解标准化后的辅助域的用户-项目评分矩阵，获取项目特性矩阵V；

采用规范化的奇异值分解方法(RegularizedSingularValueDecomposition，RSVD)分解标准化后的辅助域的用户-项目评分矩阵R_aux，分解为全局平均值μ、用户偏差b_i、项目偏差b_j、以及用户特性矩阵U。其中矩阵U的第i行向量U_i为用户i的特性，项目特性矩阵V的第j行向量V_j为项目j的特性，则分解方程为R_aux＝μ+b_i+b_j+U_iV_j。分解后得到项目特性矩阵V即可用于下一步骤104，帮助提高目标域的评分准确度。

104：利用项目特性矩阵V扩充目标域的用户-项目评分矩阵R；

分解目标域的用户-项目评分矩阵的目标函数为：

其中为损失函数； ${\hat{R}}_{ij}=\mathrm{\μ}+b_i+b_j+U_i({\mathrm{\αV}}_j^T+(1-\mathrm{\α})V_j^T)$ 为R_ij的估计值；α为学习速率；Y_ij为指示矩阵，若用户i评价过项目j则Y_ij＝1，否则Y_ij＝0；为正规化项，防止目标域评分矩阵分解过程中出现过拟合；α_u、α_v、β_u和β_v均为梯度学习速率。

105：根据扩充后的目标域的用户-项目评分矩阵R生成推荐。

根据最终得到的扩充后的目标域的用户-项目评分矩阵R，可使用基于项目的协同过滤推荐算法，生成推荐项目列表，推荐给用户。

综上所述，本发明实施例通过上述步骤101-步骤105提高了推荐算法的精确度，推动建设更加智能化个性化的互联网环境。

实施例2

下面结合具体的计算公式、例子对实施例1中的方案进行详细介绍，详见下文描述：

201：在个性化推荐过程中，首先使用用户对项目的评分关系和评分值进行建模，通过用户建模，分别建立辅助域的用户-项目评分矩阵R_aux、目标域的用户-项目评分矩阵R；

用户数记做n，项目数记作m，则用户i对项目j进行的评分值表示为R_ij或(R_aux)_ij，其中i为用户编号且满足1≤i≤n，j为用户编号且满足1≤j≤m，评分值可以是二元属性值也可以是数值型评分。通常项目和用户的数量是非常巨大的，形成的矩阵相对稀疏，如果直接利用该矩阵生成推荐，将无法产生较好的效果，同时带来巨大的开销。

202：标准化辅助域和目标域的的用户-项目评分矩阵；

通常目标域的用户-项目评分矩阵为数值型评分矩阵。若辅助域的用户-项目评分矩阵同为数值型矩阵不需要转变。若辅助域的用户-项目评分矩阵是二元数据矩阵，而目标域的用户-项目评分矩阵为a-b区间数值型评分，应把目标域的用户-项目评分矩阵转为0-1区间，具体的对于目标域的用户-项目评分矩阵中的某一评分x可转化为(x-a)/(b-a)。将两个评分矩阵统一，可以保证接下来步骤中得到良好的迁移效果。

203：采用规范化的奇异值分解方法分解标准化后的辅助域的用户-项目评分矩阵R_aux；

将辅助域的用户-项目评分矩阵R_aux分解为全局平均值μ，用户偏差b_i，项目偏差b_j，用户特性矩阵U，用户i的特性为U_i，项目特性矩阵V，项目j的特性为V_j，即R_aux＝μ+b_i+b_j+U_iV_j，得到项目特性矩阵V即可用于下一步骤204，帮助提高目标域的评分准确度。具体分解时采用梯度下降算法寻求最优分解结果，各参数梯度的更新规则如下：

定义为矩阵分解的子目标，其中为损失函数； ${\hat{R}}_{ij}=\mathrm{\μ}+b_i+b_j+U_i({\mathrm{\αV}}_j^T+(1-\mathrm{\α})V_j^T)$ 为R_ij的估计值；α为学习速率；Y_ij为指示矩阵，若用户i评价过项目j则Y_ij＝1，否则Y_ij＝0；

为正规化项，防止目标域评分矩阵分解过程中出现过拟合；α_u、α_v、β_u和β_v均为梯度学习速率。则该目标关于各参数的梯度为 $\▿U_i=\frac{\∂f_{ij}}{\∂U_i},\▿V_j=\frac{\∂f_{ij}}{\∂V_j},\▿b_i=\frac{\∂f_{ij}}{\∂b_i},\▿b_j=\frac{\∂f_{ij}}{\∂b_j},$ 其中为求偏导数运算。

如式(1)、(2)、(3)、(4)、(5)，估计偏差为

其中，为赋值符号。此时，采用随机梯度下降，各参数的更新规则为：

204：使用项目特性矩阵V帮助分解目标域的用户-项目评分矩阵，得到扩充后的目标域的用户-项目评分矩阵R。

分解目标域评分矩阵的目标函数为：

其中为损失函数； ${\hat{R}}_{ij}=\mathrm{\μ}+b_i+b_j+U_i({\mathrm{\αV}}_j^T+(1-\mathrm{\α})V_j^T)$ 为R_ij的估计值；α为学习速率；y_ij为指示矩阵，若用户i评价过项目j则Y_ij＝1，否则Y_ij＝0；为正规化项，防止目标域评分矩阵分解过程中出现过拟合；α_u、α_v、β_u和β_v均为梯度学习速率。

具体地，对于每个用户u及项目i，若Y_ij＝1，按公式(1)、(2)、(3)、(4)、(5)计算梯度。按公式(6)、(7)、(8)、(9)、(10)更新参数值，直至收敛为止。

205：利用已填充的用户-项目评分矩阵，选用一种推荐算法，如基于项目的协同过滤算法，选取一些项目，生成推荐。

综上所述，本发明实施例所述的一种基于项目的迁移学习推荐方法，是将迁移学习应用于推荐系统的跨领域应用。利用迁移学习的技术对用户-项目评分矩阵进行填充，较好的评分预测效果，从而使推荐系统更准确更合理的为用户推荐所需项目，使其更个性化和智能化，提升用户使用效率，有效节约用户时间，提高相关产业的服务质量，并有效解决互联网信息过载的问题。

实施例3

下面结合具体的公式、图2和图3对实施例1和2中的方案进行详细介绍，详见下文描述：

使用Netflix和MovieLens两个电影评分数据集来进行评估。将MovieLens数据作为目标数据集，并分为训练集T_R和测试集T_E，随机选取T_E中每个用户的5、10、20、30个评价作为观测集。为避免实验的随机性，在所有实验中，根据目标训练评分集T_R生成观测评分时，随机运行5次实验，取平均值。

采用两种评价方法：平均绝对误差(MAE)和均方根误差(RMSE)。

$MAE=\frac{\underset{(i,j,R_{ij})\∈T_E}{\Σ}|R_{ij}-{\hat{R}}_{ij}|}{\left|T_E\right|}---\left(11\right)$

$RMSE=\sqrt{\frac{\underset{(i,j,R_{ij})\∈T_E}{\Σ}(R_{ij}-{\hat{R}}_{ij})2}{\left|T_E\right|}---}\left(12\right)$

其中，R_ij和分别是真实评分及预测评分，|T_E|是测试评分的数目。从公式上可以看出，MAE和RSME都是值越小代表评价越精确。

为了更为直观的表述算法的效果，进入提升率，MAE2相较于MAE1的提升率为公式(13)。

$upgrade\_rate=\frac{MAE1-MAE2}{MAE1}---\left(13\right)$

本实验将本方法与概率矩阵分解方法(PMF)方法进行比较提升率如图1和图2所示。从实验结果可以看出本方法的矩阵预测效果较PMF好，这是因为用户的基数较大，使得从项目维度看矩阵较为稠密。同时辅助域的用户-项目评分矩阵与目标域的数据同构即同为数值型评分时，比异构即辅助域评分矩阵为二元评分、而目标域评分矩阵为数值型评分时的填充效果要好。其中可观测数为5时提升率最高为5左右，即迁移效果最好。而可观测数为10时提升率最低为3左右。

实施例4

一种基于项目的迁移学习推荐装置，参见图4，该迁移学习推荐装置包括：

建立模块1，用于分别建立辅助域和目标域的用户-项目评分矩阵；

标准化模块2，用于标准化辅助域和目标域的用户-项目评分矩阵；

获取模块3，用于分解标准化后的辅助域的用户-项目评分矩阵，获取项目特性矩阵；

扩充模块4，用于利用项目特性矩阵V扩充目标域的用户-项目评分矩阵；

推荐模块5，用于根据扩充后的目标域的用户-项目评分矩阵生成推荐。

综上所述，本发明实施例所述的一种基于项目的迁移学习推荐装置，是将迁移学习应用于推荐系统的跨领域应用。利用迁移学习的技术对用户-项目评分矩阵进行填充，较好的评分预测效果，从而使推荐系统更准确更合理的为用户推荐所需项目，使其更个性化和智能化，提升用户使用效率，有效节约用户时间，提高相关产业的服务质量，并有效解决互联网信息过载的问题。

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于项目的迁移学习推荐方法，其特征在于，所述迁移学习推荐方法包括以下步骤：

分别建立辅助域和目标域的用户-项目评分矩阵；标准化辅助域和目标域的用户-项目评分矩阵；

分解标准化后的辅助域的用户-项目评分矩阵，获取项目特性矩阵；

利用项目特性矩阵V扩充目标域的用户-项目评分矩阵；根据扩充后的目标域的用户-项目评分矩阵生成推荐。

2.根据权利要求1所述的一种基于项目的迁移学习推荐方法，其特征在于，所述标准化辅助域和目标域的用户-项目评分矩阵具体为：

若辅助域的用户-项目评分矩阵为二元评分，目标域的用户-项目评分矩阵为数值型评分，将目标域的用户-项目评分矩阵转化为0-1区间的数值型评分；

若辅助域的用户-项目评分矩阵为二元评分，目标域的用户-项目评分矩阵为a-b区间数值型评分，将目标域的用户-项目评分矩阵中的某一评分x转化为(x-a)/(b-a)。

3.根据权利要求1所述的一种基于项目的迁移学习推荐方法，其特征在于，所述分解标准化后的辅助域的用户-项目评分矩阵，获取项目特性矩阵具体为：

采用规范化的奇异值分解方法分解标准化后的辅助域的用户-项目评分矩阵R_aux；

R_aux＝μ+b_i+b_j+U_iV_j

分解为全局平均值μ、用户偏差b_i、项目偏差b_j、用户特性矩阵U以及项目特性矩阵V；其中，矩阵U的第i行向量U_i为用户i的特性，矩阵V的第j行向量V_j为项目j的特性。

4.根据权利要求1所述的一种基于项目的迁移学习推荐方法，其特征在于，所述利用项目特性矩阵V扩充目标域的用户-项目评分矩阵具体为：

分解目标域的用户-项目评分矩阵的目标函数为：

其中，为损失函数； ${\hat{R}}_{ij}=\mathrm{\μ}+b_i+b_j+U_i({{\mathrm{\αV}}_j}^T+(1-\mathrm{\α}\left){V_j}^T\right)$ 为R_ij的估计值；α为学习速率；Y_ij为指示矩阵，若用户i评价过项目j则Y_ij＝1，否则Y_ij＝0；为正规化项，防止目标域评分矩阵分解过程中出现过拟合；α_u、α_v、β_u和β_v均为梯度学习速率。

5.一种基于项目的迁移学习推荐装置，其特征在于，所述迁移学习推荐装置包括：

建立模块，用于分别建立辅助域和目标域的用户-项目评分矩阵；

标准化模块，用于标准化辅助域和目标域的用户-项目评分矩阵；

获取模块，用于分解标准化后的辅助域的用户-项目评分矩阵，获取项目特性矩阵；

扩充模块，用于利用项目特性矩阵V扩充目标域的用户-项目评分矩阵；

推荐模块，用于根据扩充后的目标域的用户-项目评分矩阵生成推荐。