CN105183748B - 一种基于内容和评分的组合预测方法 - Google Patents

Abstract

本发明公开了一种基于内容和评分的组合预测方法，属于推荐系统领域。本发明包括：根据用户信息以及物品信息生成用户和物品特征，根据现有用户对物品的评分生成内容特征，使用评分作为类标，将类标与生成的内容特征结合，作为分类器的输入进行训练得到基于内容的评分预测模型，通过对现有的用户‑物品评分矩阵进行填充形成更为稠密的用户‑物品评分矩阵，通过对稠密的用户‑物品评分矩阵进行学习从而形成最终的预测结果。本发明通过利用用户的个人信息以及物品的信息来提高最终评分预测的精确度。

Description

一种基于内容和评分的组合预测方法

技术领域

本发明属于推荐系统技术领域，具体涉及推荐系统中一种基于内容以及评分的组合预测方法。

背景技术

随着互联网的飞速发展，产生了各种各样的Web应用，信息的爆发式增长使得人们在大量信息面前变得无所适从，为了解决这种由信息爆发式增长而造成的问题，搜索引擎技术得以快速发展，然而搜索引擎只是一种主动查找信息的工具，在用户不知道自身需求的情况下，是无法借助于搜索引擎找到用户所感兴趣的信息。为了解决这个问题，对于推荐系统的研究逐渐得到了重视。随着推荐系统的研究的深入，各种各样的推荐系统正在各种商业性网站中得到运用。

推荐系统是一种分析用户的历史行为并且根据用户的历史行为推荐用户所感兴趣信息的一种技术。目前现有的推荐系统的算法通常使用基于邻居的推荐算法，典型的算法包括基于用户的协同过滤以及基于物品的系统过滤。除了基于邻居的推荐算法之外还有使用奇异值分解进行推荐的算法，该算法属于基于模型的推荐算法。此外深度学习也逐渐在推荐系统中崭露头角，目前有基于限制性玻尔兹曼机的协同过滤算法，该算法取得了较为不错的预测精度。

然而上述算法的性能却不是那么地令人满意，其中基于邻居的算法其局限性在于当用户数和物品数增大之后，在进行用户或者物品之间的相似度计算所需要的时间将增大。奇异值分解算法虽然不会随着用户和物品的数量的增大而导致计算量迅速增大，但是其在冷启动的时候其性能却受到非常大的影响。此外奇异值分解算法以及限制性玻尔兹曼机协同过滤算法都只局限在了分析用户所产生的评分数据上，并不能利用用户以及物品的其他信息，比如用户的个人信息，物品的描述信息等。此外仅仅利用用户所产生的评分进行预测的精度也较为有限。

本发明采用内容特征生成预测评分，通过筛选基于内容特征生成的预测评分，并对预测评分进行阈值筛选，将经过筛选的预测评分填充用户-物品评分矩阵中的部分缺失值，使用限制性玻尔兹曼机对填充过的矩阵进行学习，最终使用该模型对缺失评分进行预测。该方法充分利用用户以及物品的信息，能够克服推荐系统冷启动问题，并且该方法还考虑到了评分矩阵的稀疏性对于最终预测的影响，将内容特征融合到现有推荐方法中，进一步提高了推荐算法的性能。

发明内容

本发明的发明目的在于：传统的推荐系统算法的缺点主要是仅仅使用了用户对于物品的评分数据，并没有使用用户以及物品的信息，这从信息的利用率上是不够的，此外传统的推荐系统算法不能够处理用户数以及物品数较大的情况，在面对推荐系统冷启动问题时性能急剧下降。本发明通过引入用户特征以及物品特征所形成的内容特征，将现有的评分作为类标，训练基于内容的分类器，使用该分类器根据缺失评分所生成的内容特征得出缺失评分的预测值，采用阈值筛选出较为合适的预测值以及现有的评分值作为基于限制性玻尔兹曼机协同过滤算法的输入进行训练，得出更为优秀的模型，然后使用该模型进行预测，从而改善预测精度。

本发明的技术方案分为如下几个基本的步骤：

步骤a.将评分数据集进行划分通过将评分数据集进行划分，划分为训练集a、训练集b以及测试集。其中训练集a作为学习最优参数所需要的集合，训练集b作为学习最优限制性玻尔兹曼机协同过滤模型所需要的模型，测试集为了测试系统性能。

步骤b.获取最优筛选阈值

通过训练集a、用户数据、物品数据获得最优的筛选阈值。

步骤c.获取最优限制性玻尔兹曼机协同过滤模型

通过训练集b、用户数据、物品数据、以及在步骤b获得的最优筛选阈值获得最优限制性玻尔兹曼机协同过滤模型。

步骤d.对数据进行预测

通过使用步骤c所获得的最优限制性玻尔兹曼机协同过滤模型对测试数据集进行预测。

2、如权利要求1所述的方法，其特征在于，所述步骤b中获取最优筛选阈值的过程如下：

(b1)通过给定的用户信息和物品信息生成用户特征以及物品特征。

(b2)生成已有评分的内容特征。根据训练集b(包含用户编号以及物品编号以及评分)中已有评分的用户编号以及物品编号在步骤(b1)所生成的用户特征以及物品特征进行查找获得用户特征以及物品特征然后将这两个特征进行融合形成已有评分的内容特征，对应的评分作为类标。

(b3)输入到分类器进行训练。将步骤(b2)中所形成的已有评分的内容特征以及类标作为输入，在超限学习机分类器上进行训练，获得在训练集a上基于内容的分类器模型。

(b4)生成缺失评分的内容特征。根据训练集a(包含用户编号以及物品编号以及评分)中缺失评分的用户编号以及物品编号在步骤(b1)所生成的用户特征以及物品特征进行查找获得用户特征以及物品特征然后将这两个特征进行融合形成缺失评分的内容特征。

(b5)输入到分类器进行预测。将步骤(b4)中所形成的缺失评分的内容特征作为输入，使用在训练集a上训练好的基于内容的分类器模型进行预测，得到缺失评分的填充值。

(b6)在0-2范围内生成筛选阈值的范围集合。

(b7)使用阈值范围集合筛选填充值。将步骤(b5)中所得到的缺失评分的填充值进行阈值筛选，去掉一部分填充值，形成若干个填充值集合。

(b8)对稀疏矩阵进行填充。将步骤(b7)中经过筛选的填充值集合分别填充到训练集a中，形成若干个经过填充的训练集a。

(b9)将步骤(b8)中若干个经过填充的训练集a输入基于RBM的算法进行训练，选择其中训练结果最佳的那个阈值范围作为最优筛选阈值。

3、如权利要求1所述的方法，其特征在于，所述步骤c中获取最优限制性玻尔兹曼机协同过滤模型的过程如下：

(c1)通过给定的用户信息和物品信息生成用户特征以及物品特征。

(c2)生成已有评分的内容特征。根据训练集b(包含用户编号以及物品编号以及评分)中已有评分的用户编号以及物品编号在步骤(c1)所生成的用户特征以及物品特征进行查找获得用户特征以及物品特征，然后将这两个特征进行融合形成已有评分的内容特征，对应的评分作为类标。

(c3)输入到分类器进行训练。将步骤(c2)中所形成的已有评分的内容特征以及类标作为输入，在超限学习机分类器上进行训练，获得在训练集b上基于内容的分类器模型。

(c4)生成缺失评分的内容特征。根据训练集a(包含用户编号以及物品编号以及评分)中缺失评分的用户编号以及物品编号在步骤(c1)所生成的用户特征以及物品特征进行查找获得用户特征以及物品特征然后将这两个特征进行融合形成缺失评分的内容特征。

(c5)输入到分类器进行预测。将步骤(c4)中所形成的缺失评分的内容特征作为输入，使用在训练集a上训练好的基于内容的分类器模型进行预测，得到缺失评分的填充值。

(c6)使用最优筛选阈值筛选填充值。将步骤(c5)中所得到的缺失评分的填充值进行阈值筛选，去掉一部分填充值，形成一个填充值集合。

(c7)对稀疏矩阵进行填充。将步骤(c6)中经过筛选的填充值集合分别填充到训练集b中，形成若一个经过填充的训练集b。

(c8)将步骤(c7)中若干个经过填充的训练集b输入基于RBM的算法进行训练，得到最佳的限制性玻尔兹曼机协同过滤模型。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是本发明具体实施方法的数据集划分示意图；

图2是本发明具体实施方法的在训练集a上训练基于内容特征分类器示意图；图3是本发明具体实施方法的在训练集a上学习筛选阈值示意图；

图4是本发明具体实施方法的在训练集b上训练基于内容特征分类器示意图；图5是本发明具体实施方法的在训练集b上训练限制性玻尔兹曼机示意图；

图6是本发明具体实施方法的在测试集上通过限制性玻尔兹曼机进行预测示意图；

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明是以基于内容的推荐算法以及基于限制性玻尔兹曼机协同过滤为基础，提出一种基于内容以及评分的组合预测方法，该方法能够应对推荐系统冷启动问题，此外还充分利用了用户信息以及物品信息。通过将用户信息以及物品信息生成内容特征，将现有评分作为类标训练基于内容的分类器。通过将缺失评分的内容特征作为输入，使用训练好的分类器生成缺失评分的预测值，进一步使用阈值筛选出一部分缺失评分的预测值与现有的评分一起作为输入，使用基于限制性玻尔兹曼机协同过滤算法获得最终的预测值。

本发明的具体实现如下：

步骤S100.数据集划分，参照图1将现有用户对于物品的评分进行划分生成训练集(分为a和b)以及测试集。

步骤S200.在训练集a上获取筛选的最优筛选阈值：

将用户信息生成用户特征，物品信息生成物品特征，将用户特征向量以及物品特征向量合并成内容特征向量并且将训练集a中用户对于物品的评分作为类标。输入到超限学习机分类器中进行训练，得到基于内容的分类器模型。根据训练集a、用户特征、物品特征，生成缺失评分的内容特征，再使用训练好的基于内容的分类器模型对生成的缺失评分的内容特征进行预测，然后使用不同的阈值范围对预测出来的评分进行筛选，分别将不同阈值筛选的评分集合与现有的评分集合进行合并，得到若干经过填充的训练集合，最后用该训练集合输入到基于限制性玻尔兹曼机协同过滤算法中进行训练，挑选出其中训练结果最好的阈值。

步骤S201：将用户信息生成用户特征，物品信息生成物品特征，将用户特征向量以及物品特征向量合并成内容特征向量，并且将训练集a中用户对于物品的评分作为类标。输入到超限学习机分类器中进行训练，得到基于内容的分类器模型。参照图2本过程的具体实现如下：

步骤S201-a：根据用户信息生成的用户i的特征为UserFeature_i＝[u₁,u₂,…u_m]，根据物品信息生成的物品j的特征为ItemFeature_j＝[i₁,i₂,…i_n]，将用户特征与物品特征融合，融合形成用户i对于物品j的内容特征为ContentFeature_i,j＝[u₁,u₂,…u_m,i₁,i₂,…i_n]，将在训练集a中的用户i对于物品j的已有的r_i,j评分作为类标。已有评分所形成的用户和物品二元组集合记为(U×I)_rating，记已有的评分集合为R_rating，这些在训练集a中已有评分所对应的用户和物品所生成的内容特征集合为ContentFeatures，其中ContentFeature_i,j∈ContentFeatures，(i,j)∈(U×I)_rating。

步骤S201-b：使用超限学习机分类器对输入的内容特征集合ContentFeatures及其所对应的类标R_rating进行学习得到训练集上的基于内容的分类器模型。

步骤S202：根据训练集a、用户特征、物品特征，生成缺失评分的内容特征使用训练好的基于内容的分类器模型进行预测，然后使用不同的阈值对预测出来的评分进行筛选，分别将不同阈值筛选的评分集合与现有的评分集合进行合并，得到若干经过填充的训练集合。参照图3，本过程的具体实现如下：

步骤S202-a：根据训练集a中已有的评分数据，得出用户的集合U以及物品的集合I。生成用户与物品的二元组集合U×I，遍历已有的评分数据中的用户和物品，去除二元组集合U×I中的已有评分数据的二元组(U×I)_rating得到缺失评分的二元组集合(U×I)_missing，根据缺失评分的二元组集合中的用户以及物品，获取对应的用户特征以及物品特征形成缺失评分的内容特征MissingContentFeature_i,j形成缺失评分的内容特征集合MissingContentFeatures，其中MissingContentFeature_i,j∈MissingContentFeatures，(i,j)∈(U×I)_missing。

步骤S202-b：将生成的缺失评分的内容特征集合MissingContentFeatures作为超限学习机的输入，使用步骤S201中训练得到的模型得出缺失评分所对应的各个评分的值(假设评分为1-5，那么得到一个内容特征的输出结果为resulti,j＝{1:v₁,2:v₂,3:v₃,4:v₄,5:v₅}，其中vk(k＝1,...,5)表示超限学习机分类器类别k的输出，定义Result为所有缺失评分的超限学习机的输出结果集合，则result_i,j∈Result，其中(i,j)∈(U×I)_missing。

步骤S202-c：生成从0到2，步长为0.1的阈值范围集合Th＝{[0，0.1],[0.1,0.2],...,[1.9,2]}，使用Th中的每一个阈值范围，分别对步骤S202-b中每一个result_i,j的最大和次最大的差进行筛选，如果差在阈值范围内，则保留该预测值，否则丢弃。每一个阈值范围都会对Result进行一遍筛选。对经过筛选的result_i,j，将其中最大的vk对应的类标k作为最终的预测值结果。将符合阈值范围的预测值集合记为R_filter＝{R_{filter[0,0.1]},R_{filter[0.1,0.2]}…R_{filter[1.9,2]}}。预测值所对应的用户和物品二元组集合为(U×I)_filter＝{(U×I)_{filter[0,0.1]},(U×I)_{filter[0.1,0.2]}…(U×I)_{filter[1.9,2]}}，然后将每一个经过筛选的预测值集合与已有评分的集合进行融合得出经过填充的评分集合为

R_filing＝{R_rating∪R_{filter[0,0.1]},R_rating∪R_{filter[0.1,0.2]}R_rating∪R_{filter[1.9,2]}}，经过填充的用户和物品二元组集合为(U×I)_filing＝{(U×I)_rating∪(U×I)_{filter[0,0.1]},(U×I)_rating∪(U×I)_{filter[0.1,0.2]}…(U×Irating∪U×Ifilter[1.9,2]。

步骤S202-d：将步骤S203-c中所生成的经过填充的评分集合R_filling及其对应的经过填充的用户和物品的二元组集合(U×I)_filling作为基于限制性玻尔兹曼机协同过滤算法的输入，进行训练，选择其中训练结果最佳的阈值范围记为th_optimal。

步骤S 300.在训练集b上得到限制性玻尔兹曼机协同过滤模型

将用户信息生成用户特征，物品信息生成物品特征。根据训练集b中已有评分的用户以及物品的二元组集合，查找已有评分的用户特征向量以及物品特征向量，然后将其合并成已有评分的内容特征向量集合，已有的评分集合作为类标，输入到超限学习机分类器中进行训练，得到基于内容的分类器模型。根据训练集b、用户特征、物品特征，生成缺失评分的内容特征，使用训练好的基于内容的分类器模型进行预测，使用在训练集a上取得的最优阈值范围th_optimal对预测的评分进行筛选，将经过阈值筛选的评分集合与已有评分的集合进行合并，得到经过填充的评分集合，然后用该集合输入到基于限制性玻尔兹曼机协同过滤算法中进行训练得到最优的限制性玻尔兹曼机协同过滤模型。

步骤S301：将用户信息生成用户特征，物品信息生成物品特征，将用户特征向量以及物品特征向量合并成内容特征向量并且将训练集b中用户对于物品的评分作为类标。输入到超限学习机分类器中进行训练，得到基于内容的分类器模型。参照图4本过程的具体实现如下：

步骤S301-a：采用跟步骤S202-a相同的方法处理训练集b。

步骤S301-b：采用跟步骤S202-b相同的方法处理训练集b。

步骤S301-c：将在训练集a上得到的最优阈值范围th_optimal对步骤S301-b中得到的结果Result中每一个result_,j的最大和次最大的差进行筛选，如果差在阈值th_optimal范围内，则保留该预测值，否则丢弃。对经过筛选的result_i,j，将其中最大的vk对应的类标k作为最终的预测值结果。将符合最优阈值的预测值的集合记为R_{filter[optimal]}，预测值所对应的用户和物品二元组集合为(U×I)_{filter[optimal]}。将每一个经过筛选的预测值集合与已有评分的集合进行融合经过填充的评分集合为R_{fillingoptimal}＝R_rating∪R_{filter[optimal]}。将上述所生成的经过填充的评分集合R_{fillingoptimal}及其对应的经过填充的用户和物品的二元组集合(U×I)_{filter[optimal]}作为基于限制性玻尔兹曼机协同过滤算法的输入，进行训练，得到最优的限制性玻尔兹曼机协同过滤模型。

步骤S 400.在测试集上使用限制性玻尔兹曼机协同过滤模型进行预测

参照图6将数据划分阶段的测试集输入到限制性玻尔兹曼机协同过滤算法中，使用在测试集b上得到的模型进行预测。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (3)

1.一种基于内容和评分的组合预测方法，其特征在于，包括下列步骤：

步骤a.将评分数据集进行划分

通过将评分数据集进行划分，划分为训练集a、训练集b以及测试集；其中训练集a作为学习最优参数所需要的集合，训练集b作为学习最优限制性玻尔兹曼机协同过滤模型所需要的模型，测试集为了测试系统性能；

步骤b.获取最优筛选阈值

通过训练集a、用户数据、物品数据获得最优的筛选阈值；

步骤c.获取最优限制性玻尔兹曼机协同过滤模型

通过训练集b、用户数据、物品数据、以及在步骤b获得的最优筛选阈值获得最优限制性玻尔兹曼机协同过滤模型；

步骤d.对数据进行预测

通过使用步骤c所获得的最优限制性玻尔兹曼机协同过滤模型对测试集进行预测。

2.如权利要求1所述的方法，其特征在于，所述步骤b中获取最优筛选阈值的过程如下：

(b1)通过给定的用户信息和物品信息生成用户特征以及物品特征；

(b2)生成已有评分的内容特征；根据训练集a中已有评分的用户编号以及物品编号在步骤(b1)所生成的用户特征以及物品特征进行查找获得用户特征以及物品特征，然后将这两个特征进行融合形成已有评分的内容特征，对应的评分作为类标；

(b3)输入到分类器进行训练；将步骤(b2)中所形成的已有评分的内容特征以及类标作为输入，在超限学习机分类器上进行训练，获得在训练集a上基于内容的分类器模型；

(b4)生成缺失评分的内容特征；根据训练集a中缺失评分的用户编号以及物品编号在步骤(b1)所生成的用户特征以及物品特征进行查找获得用户特征以及物品特征，然后将这两个特征进行融合形成缺失评分的内容特征；

(b5)输入到分类器进行预测；将步骤(b4)中所形成的缺失评分的内容特征作为输入，使用在训练集a上训练好的基于内容的分类器模型进行预测，得到缺失评分的填充值；

(b6)生成在0-2范围内，步长为0.1的筛选阈值的范围集合；

(b7)使用阈值范围集合筛选填充值；将步骤(b5)中所得到的缺失评分的填充值进行阈值筛选，去掉一部分填充值，形成若干个填充值集合；

(b8)对训练集a进行填充；将步骤(b7)中经过筛选的填充值集合分别填充到训练集a中，形成若干个经过填充的训练集a；

(b9)将步骤(b8)中若干个经过填充的训练集a输入基于限制性玻尔兹曼机协同过滤的模型进行训练，选择其中训练结果最佳的那个阈值范围作为最优筛选阈值。

3.如权利要求1所述的方法，其特征在于，所述步骤c中获取最优限制性玻尔兹曼机协同过滤模型的过程如下：

(c1)通过给定的用户信息和物品信息生成用户特征以及物品特征；

(c2)生成已有评分的内容特征；根据训练集b中已有评分的用户编号以及物品编号在步骤(c1)所生成的用户特征以及物品特征进行查找获得用户特征以及物品特征，然后将这两个特征进行融合形成已有评分的内容特征,对应的评分作为类标；

(c3)输入到分类器进行训练；将步骤(c2)中所形成的已有评分的内容特征以及类标作为输入，在超限学习机分类器上进行训练，获得在训练集b上基于内容的分类器模型；

(c4)生成缺失评分的内容特征；根据训练集b中缺失评分的用户编号以及物品编号在步骤(c1)所生成的用户特征以及物品特征进行查找获得用户特征以及物品特征，然后将这两个特征进行融合形成缺失评分的内容特征；

(c5)输入到分类器进行预测；将步骤(c4)中所形成的缺失评分的内容特征作为输入，使用在训练集b上训练好的基于内容的分类器模型进行预测，得到缺失评分的填充值；

(c6)使用最优筛选阈值筛选填充值；将步骤(c5)中所得到的缺失评分的填充值进行阈值筛选，去掉一部分填充值，形成一个填充值集合；

(c7)对稀疏矩阵进行填充；将步骤(c6)中经过筛选的填充值集合分别填充到训练集b中，形成若干个经过填充的训练集b；

(c8)将步骤(c7)中若干个经过填充的训练集b输入基于限制性玻尔兹曼机协同过滤的模型进行训练，得到最优的限制性玻尔兹曼机协同过滤模型。