CN109711925A - 具有多个辅助域的跨域推荐数据处理方法、跨域推荐系统 - Google Patents

Abstract

本发明属于电子商务信息处理技术领域，公开了一种具有多个辅助域的跨域推荐数据处理方法、跨域推荐数据处理系统；获取辅助域的评分矩阵，计算用户的评分可靠性，等比例分段映射阈值，将辅助域中评分数量低于阈值的评分清空；使用K‑means聚类算法得到所有域的聚类级评分矩阵，进行矩阵分解；同时分解目标域评分矩阵，为冷启动用户学习特征映射函数；使用平均绝对误差来评估预测到的评分矩阵。与现有技术相比，本发明在数据处理的过程当中使用K‑means聚类算法得到联合所有域的聚类级的用户‑项目评分矩阵，降低了冷启动用户的数据稀疏性；缓解了传统单个辅助域矩阵分解模型预测准确度不佳而造成推荐效果不理想的问题，提升推荐系统的推荐效果，而且更具有通用性。

Description

具有多个辅助域的跨域推荐数据处理方法、跨域推荐系统

技术领域

本发明属于电子商务信息处理技术领域，尤其涉及一种具有多个辅助域的跨域推荐数据处理方法、跨域推荐数据处理系统。

背景技术

目前，业内常用的现有技术是这样的：随着互联网技术和Web技术的高速发展，电子商务成为一种新的商务活动形式，越来越多的消费者愿意通过网络购买自己需要的商品。通过线上购物的方式，消费者可以浏览各种各样的商品；相对于传统的线下购物方式，线上购物使消费者拥有更多的选择权。但是另一方面，网络上各类信息更新速度之快，又使消费者很容易迷失在种类繁多的“产品海洋”中。在给消费者带来诸多便利的同时，“信息过载”问题随之而来，互联网上的消费者很难找到自己需要的信息。为了帮助消费者找到他们真正需要的商品，提高消费者的购物体验，推荐系统成为电子商务应用中不可或缺的一部分。推荐系统作为一种有效的消息过滤手段，是当前解决信息过载问题及实现个性化信息服务的有效方法之一。一般来说，内容过滤和协同过滤是推荐系统中最基本的两种推荐策略。其中内容过滤往往需要搜集一些外部信息，比如产品的特性、用户的特征等等，而这些信息有时并不容易甚至无法获得。协同过滤仅仅依赖于用户的历史行为——如浏览历史、交易记录、历史评分等，不仅不需要专业的领域知识和特征文本信息，还能够对数据潜在的特征进行建模，实现比内容过滤更准确的推荐，这也使得协同过滤成为一种广泛使用的推荐技术。

近年来，为了应对普遍存在的数据稀疏性问题，跨领域推荐技术被提出，其目的是使用多个领域中更丰富的数据，通过迁移学习的思想，在不同领域之间有效地进行知识的迁移，获得比单一领域推荐更好的推荐效果。但是现阶段的大多数跨领域推荐模型往往只集中于解决单一领域中的数据稀疏性问题，对冷启动用户问题却缺乏广泛而深入的研究。

现有技术提出了一种基于近邻的跨域潜在特征映射方法。该方法从三个不同的角度观察用户之间评分行为的相似度，并给出了三个相似度度量的计算方法；最后将三个相似度度量值的加权平均作为用户之间评分行为相似度的值。该文方法存在的不足是，该方法针对的是两个域中存在锚用户情况下的目标域冷启动用户问题，不能对多个辅助域的情况进行跨域推荐。因此，希望能够提出一种通用性更强的跨域推荐模型，来实现多个辅助域情况下目标域冷启动用户问题。

综上所述，现有技术存在的问题是：现有技术针对的是两个域中存在锚用户情况下的目标域冷启动用户问题，不能对多个辅助域的情况进行跨域推荐。

解决上述技术问题的难度和意义：针对目标域冷启动用户的跨领域协同过滤问题，其实是极富挑战性的。第一，在不同的产品域中，数据稀疏性问题是普遍存在的。如何利用稀疏的评分数据完成对用户和产品的有效建模，一直都是困扰协同过滤模型的难题。第二，用户在不同的领域中具有不同的偏好和行为特征，对于不同领域中的评分数据，不可以简单地混合使用。因此，考虑领域因素的影响，计算具有领域特点的用户特征，是保证准确跨域推荐的重要前提。第三，虽然同一个用户在不同领域中的偏好和特征是相关的，但同时它们也存在着很大的差异。因此在辅助域中应该提取关于冷启动用户的哪些知识，如何将这些知识迁移至目标域中的评分预测，这些都是亟待解决的问题。正是因为这样，跨域推荐通过整合冷启动用户或产品在不同领域中的信息，可以减少数据的稀疏性，丰富其在目标域中的知识，进而缓解目标域中的冷启动问题。因此，研究跨域推荐具有深远的实践意义。

发明内容

针对现有技术存在的问题，本发明提供了一种具有多个辅助域的跨域推荐数据处理方法、电子商务信息处理。

本发明是这样实现的，一种具有多个辅助域的跨域推荐数据处理方法，所述具有多个辅助域的跨域推荐数据处理方法包括以下步骤：

步骤一，获取辅助域的评分矩阵，计算用户的评分可靠性，等比例分段映射阈值，将辅助域中评分数量低于阈值的评分清空；

步骤二，使用K-means聚类算法得到所有域的聚类级评分矩阵，进行矩阵分解；同时分解目标域评分矩阵，利用基于近邻的特征映射方法，为冷启动用户学习特征映射函数；

步骤三，使用平均绝对误差来评估预测到的评分矩阵。如果推荐效果好于上一次，则将阈值加1；重新从预处理阶段的开始执行，直到目标域的推荐效果不再提高为止。

进一步，所述步骤一具体包括：

首先，获取辅助域中用户-项目评分矩阵；接着计算每个用户的评分可靠性并据此为每个用户个性化地设置阈值；

然后将辅助域中项目的评分数量低于阈值的用户评分清空；

最后，获取预处理后的辅助域中的用户-项目评分矩阵。

进一步，所述用户评分可靠性表示为：

其中，Var_u是用户对所有项目的评分与该项目评分的平均值的标准差；N_u为用户u评分过的项目的数量；r_ui为用户u对项目i的评分；为项目i的评分的平均值；

由用户评分可靠性的计算公式可知，Var_u的值越小，该用户的评分可靠性越高。

进一步，所述步骤二包括：对辅助域数据的处理、对目标域数据的处理以及从辅助域到目标域的知识迁移过程；对辅助域数据的处理，具体步骤如下：

步骤一：采用偏置矩阵分解，将评分矩阵R映射到低维度的潜在空间和其中R＝PQ^T；

步骤二：将K-means聚类算法应用于用户潜在空间P和项目潜在空间Q，使得用户和项目分类到不同的聚类中；

某类用户对某类项目的聚类级评分矩阵R^c的表示为：

的表达式为：

的表达式为：

是第j个域中的第u个用户聚类，是第j'个域中的第i个项目聚类；

是聚类用户评分过的聚类项目的数量；

是聚类用户评分过的聚类项目的评分；

对目标域数据的处理，首先对目标域的用户-项目评分矩阵进行分解，并将用户之间评分行为的相似度整合到传统的矩阵分解过程中。

进一步，所述用户评分行为相似度的计算包含三个方面：基于共同评分的相似度、基于不感兴趣猜测的相似度以及基于评分偏好值的相似度；

基于共同评分的相似度的计算方式为：

其中，矩阵表示用户u和用户v在项目集c_uv上的评分，其元素和分别表示用户u和用户v对项目i的评分；

根据和计算得到用户u和用户v之间的第一个相似度度量

γ₁是一个自定义的参数，用户调整相似度的值随着评分差异增大而减小的速度；

基于不感兴趣猜测的相似度的计算方式为：

矩阵表示用户u和用户v对项目不感兴趣的概率，其元素和分别表示用户u和用户v对项目i不感兴趣的概率；

根据和计算得到用户u和用户v之间的第二个相似度度量

基于评分偏好值的相似度的计算方式为：

矩阵A⁽³⁾∈{(0,1)}^n×5表示用户对不同评分值的偏好，其元素表示用户u对评分值r∈{1,2,3,4,5}的偏好；

根据和计算得到用户u和用户v之间的第三个相似度度量

最终用户u和用户v之间评分行为的相似度表示为：

其中，整合用户相似度的矩阵分解模型，其目标函数的表达式为：

进一步，所述步骤三具体包括：根据学得的特征映射函数F_u以及用户u在辅助域中的潜在特征通过计算得到其在目标域中的映射特征u；冷启动用户u对目标域中全体项目P_t的评分预测可以按照以下表达式进行计算：

使用MAE评估预测到的评分矩阵；如果此次的推荐效果好于上一次，则将用户的阈值加1，然后重新预处理阶段的“将辅助域中评分数量低于阈值的评分清空”开始执行，直到目标域的推荐效果不再提高为止。

本发明的另一目的在于提供一种实现所述具有多个辅助域的跨域推荐数据处理方法的具有多个辅助域的跨域推荐数据处理系统，所述具有多个辅助域的跨域推荐数据处理系统包括：

预处理模块，用于获取辅助域的评分矩阵，计算用户的评分可靠性，等比例分段映射阈值，将辅助域中评分数量低于阈值的评分清空；

在处理模块，用于使用K-means聚类算法得到所有域的聚类级评分矩阵，进行矩阵分解；同时分解目标域评分矩阵，利用基于近邻的特征映射方法，为冷启动用户学习特征映射函数；

在评估模块，用于使用平均绝对误差来评估预测到的评分矩阵。如果推荐效果好于上一次，则将阈值加1，然后重新从预处理阶段的开始执行，直到目标域的推荐效果不再提高为止。

本发明的另一目的在于提供一种应用所述具有多个辅助域的跨域推荐数据处理方法的电子商务信息处理。

综上所述，本发明的优点及积极效果为：与现有技术相比，本发明在数据处理的过程当中使用K-means聚类算法得到联合所有域的聚类级的用户-项目评分矩阵，也即，从单个辅助域推广到了多个辅助域，从而降低了冷启动用户的数据稀疏性。本发明提供的一种具有多个辅助域的跨域推荐方法，随着阈值的增大，设置阈值的推荐效果不如没有设置阈值的推荐效果好。在将辅助域中的数据迁移到目标域的过程中，整体上，设置阈值比不设置阈值的跨域推荐具有更高的预测评分的准确度，个性化的设置阈值比统一的设置阈值的跨域推荐具有更高的预测评分的准确度。本发明提供的一种具有多个辅助域的跨域推荐方法，缓解了传统单个辅助域矩阵分解模型预测准确度不佳而造成推荐效果不理想的问题，提升推荐系统的推荐效果，而且更具有通用性。

附图说明

图1是本发明实施例提供的具有多个辅助域的跨域推荐数据处理方法流程图。

图2是本发明实施例提供的数据预处理阶段示意图。

图3是本发明实施例提供的数据处理阶段示意图。

图4是本发明实施例提供的效果评估阶段示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现有技术针对的是两个域中存在锚用户情况下的目标域冷启动用户问题，不能对多个辅助域的情况进行跨域推荐。本发明具有多个辅助域的跨域推荐方法，缓解了传统单个辅助域矩阵分解模型预测准确度不佳而造成推荐效果不理想的问题，提升推荐系统的推荐效果，而且更具有通用性。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的具有多个辅助域的跨域推荐数据处理方法包括以下步骤：

S101：在预处理阶段，首先获取辅助域的评分矩阵，计算用户的评分可靠性，等比例分段映射阈值，将辅助域中评分数量低于阈值的评分清空；

S102：在处理阶段，使用K-means聚类算法得到所有域的聚类级评分矩阵，进行矩阵分解；同时分解目标域评分矩阵，利用基于近邻的特征映射方法，为冷启动用户学习特征映射函数；

S103：在评估阶段，使用平均绝对误差来评估预测到的评分矩阵。如果推荐效果好于上一次，则将阈值加1，然后重新从预处理阶段的开始执行，直到目标域的推荐效果不再提高为止。

下面结合附图对本发明的应用原理作详细的描述。

如图2-图4所示，本发明包括数据预处理阶段、数据处理阶段以及推荐效果评估阶段三个阶段。

(1)数据预处理阶段：

在预处理阶段，首先，获取辅助域中用户-项目评分矩阵；接着计算每个用户的评分可靠性并据此为每个用户个性化地设置阈值；然后将辅助域中项目的评分数量低于阈值的用户评分清空；最后，获取预处理后的辅助域中的用户-项目评分矩阵。

更具体地，用户评分可靠性表示为：

其中，Var_u是用户对所有项目的评分与该项目评分的平均值的标准差；N_u为用户u评分过的项目的数量；r_ui为用户u对项目i的评分；为项目i的评分的平均值。

由用户评分可靠性的计算公式可知，Var_u的值越小，该用户的评分可靠性越高。

(2)数据处理阶段：

如图3，描述了本发明的数据处理阶段。数据处理阶段又分为对辅助域数据的处理、对目标域数据的处理以及从辅助域到目标域的知识迁移过程，也即特征映射函数的学习过程。

其中，对辅助域数据的处理，具体步骤如下：

步骤一：转换。采用偏置矩阵分解，将评分矩阵R映射到低维度的潜在空间和其中R＝PQ^T。

步骤二：聚类。将K-means聚类算法应用于用户潜在空间P和项目潜在空间Q，使得用户和项目分类到不同的聚类中。在转换步骤中，我们减少了矩阵R的稀疏度和大小，这使得聚类步骤在计算上有效。

其中，某类用户对某类项目的聚类级评分矩阵R^c的表示为：

其中，的表达式为：

其中，的表达式为：

其中，是第j个域中的第u个用户聚类，是第j'个域中的第i个项目聚类。

其中，是聚类用户评分过的聚类项目的数量。

其中，是聚类用户评分过的聚类项目的评分。

其中，对所述目标域数据的处理，首先对目标域的用户-项目评分矩阵进行分解，并将用户之间评分行为的相似度整合到传统的矩阵分解过程中，这样分解出来的潜在特征，不仅能够刻画用户的潜在偏好，也能体现用户在领域内评分行为的相似度。

其中，所述的用户评分行为相似度的计算包含三个方面：基于共同评分的相似度、基于不感兴趣猜测的相似度以及基于评分偏好值的相似度。

其中，基于共同评分的相似度的计算方式为：

其中，矩阵表示用户u和用户v在项目集c_uv上的评分，其元素和分别表示用户u和用户v对项目i的评分。

其中，根据和可以计算得到用户u和用户v之间的第一个相似度度量

其中，γ₁是一个自定义的参数，用户调整相似度的值随着评分差异增大而减小的速度。

其中，基于不感兴趣猜测的相似度的计算方式为：

其中，矩阵表示用户u和用户v对这些项目不感兴趣的概率，其元素和分别表示用户u和用户v对项目i不感兴趣的概率。

其中，根据和可以计算得到用户u和用户v之间的第二个相似度度量

其中，基于评分偏好值的相似度的计算方式为：

其中，矩阵A⁽³⁾∈{(0,1)}^n×5表示用户对不同评分值的偏好，其元素表示用户u对评分值r∈{1,2,3,4,5}的偏好。

其中，根据和可以计算得到用户u和用户v之间的第三个相似度度量

其中，最终用户u和用户v之间评分行为的相似度表示为：

其中，整合用户相似度的矩阵分解模型，其目标函数的表达式为：

其中，从辅助域到目标域的知识迁移过程，也即特征映射函数的学习过程，根据计算出的辅助域中的用户潜在特征矩阵、项目潜在特征矩阵，以及目标域中的用户潜在特征矩阵、项目潜在特征矩阵，采用基于近邻的潜在特征映射方法，得到冷启动用户从辅助域潜在特征到目标域潜在特征的映射函数F_u。

(3)推荐效果评估阶段：

根据学得的特征映射函数F_u以及用户u在辅助域中的潜在特征通过计算得到其在目标域中的映射特征u。因为学得的映射特征u与目标域项目的潜在特征在同一个潜在特征空间中，所以冷启动用户u对目标域中全体项目P_t的评分预测可以按照以下表达式进行计算：

使用MAE评估预测到的评分矩阵。如果此次的推荐效果好于上一次，则将用户的阈值加1，然后重新预处理阶段的“将辅助域中评分数量低于阈值的评分清空”开始执行，直到目标域的推荐效果不再提高为止。此时，每个用户对应的阈值为最佳阈值，目标域的推荐效果也达到最好。

本发明结合K-means聚类算法提供了一种跨域推荐方法，在数据处理的过程当中使用K-means聚类算法得到联合所有域的聚类级的用户-项目评分矩阵，降低了冷启动用户的数据稀疏性。本发明提供的一种具有多个辅助域的跨域推荐方法，缓解了传统单个辅助域矩阵分解模型预测准确度不佳而造成推荐效果不理想的问题，提升推荐系统的推荐效果，而且具有更强的通用性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种具有多个辅助域的跨域推荐数据处理方法，其特征在于，所述具有多个辅助域的跨域推荐数据处理方法包括以下步骤：

步骤一，获取辅助域的评分矩阵，计算用户的评分可靠性，等比例分段映射阈值，将辅助域中评分数量低于阈值的评分清空；

步骤二，使用K-means聚类算法得到所有域的聚类级评分矩阵，进行矩阵分解；同时分解目标域评分矩阵，利用基于近邻的特征映射方法，为冷启动用户学习特征映射函数；

步骤三，使用平均绝对误差来评估预测到的评分矩阵；如果推荐效果好于上一次，则将阈值加1；重新从预处理阶段的开始执行，直到目标域的推荐效果不再提高为止。

2.如权利要求1所述的具有多个辅助域的跨域推荐数据处理方法，其特征在于，所述步骤一具体包括：

首先，获取辅助域中用户-项目评分矩阵；接着计算每个用户的评分可靠性并据此为每个用户个性化地设置阈值；

然后将辅助域中项目的评分数量低于阈值的用户评分清空；

最后，获取预处理后的辅助域中的用户-项目评分矩阵。

3.如权利要求2所述的具有多个辅助域的跨域推荐数据处理方法，其特征在于，所述用户评分可靠性表示为：

其中，Var_u是用户对所有项目的评分与该项目评分的平均值的标准差；N_u为用户u评分过的项目的数量；r_ui为用户u对项目i的评分；为项目i的评分的平均值；

由用户评分可靠性的计算公式可知，Var_u的值越小，该用户的评分可靠性越高。

4.如权利要求1所述的具有多个辅助域的跨域推荐数据处理方法，其特征在于，所述步骤二包括：对辅助域数据的处理、对目标域数据的处理以及从辅助域到目标域的知识迁移过程；对辅助域数据的处理，具体步骤如下：

步骤一：采用偏置矩阵分解，将评分矩阵R映射到低维度的潜在空间和其中R＝PQ^T；

步骤二：将K-means聚类算法应用于用户潜在空间P和项目潜在空间Q，使得用户和项目分类到不同的聚类中；

某类用户对某类项目的聚类级评分矩阵R^c的表示为：

的表达式为：

的表达式为：

是第j个域中的第u个用户聚类，是第j'个域中的第i个项目聚类；

是聚类用户评分过的聚类项目的数量；

是聚类用户评分过的聚类项目的评分；

对目标域数据的处理，首先对目标域的用户-项目评分矩阵进行分解，并将用户之间评分行为的相似度整合到传统的矩阵分解过程中。

5.如权利要求4所述的具有多个辅助域的跨域推荐数据处理方法，其特征在于，所述用户评分行为相似度的计算包含三个方面：基于共同评分的相似度、基于不感兴趣猜测的相似度以及基于评分偏好值的相似度；

基于共同评分的相似度的计算方式为：

其中，矩阵表示用户u和用户v在项目集c_uv上的评分，其元素和分别表示用户u和用户v对项目i的评分；

根据和计算得到用户u和用户v之间的第一个相似度度量

γ₁是一个自定义的参数，用户调整相似度的值随着评分差异增大而减小的速度；

基于不感兴趣猜测的相似度的计算方式为：

矩阵表示用户u和用户v对项目不感兴趣的概率，其元素和分别表示用户u和用户v对项目i不感兴趣的概率；

根据和计算得到用户u和用户v之间的第二个相似度度量

基于评分偏好值的相似度的计算方式为：

矩阵A⁽³⁾∈{(0,1)}^n×5表示用户对不同评分值的偏好，其元素表示用户u对评分值r∈{1,2,3,4,5}的偏好；

根据和计算得到用户u和用户v之间的第三个相似度度量

最终用户u和用户v之间评分行为的相似度表示为：

其中，整合用户相似度的矩阵分解模型，其目标函数的表达式为：

6.如权利要求1所述的具有多个辅助域的跨域推荐数据处理方法，其特征在于，所述步骤三具体包括：根据学得的特征映射函数F_u以及用户u在辅助域中的潜在特征通过计算得到其在目标域中的映射特征u；冷启动用户u对目标域中全体项目P_t的评分预测按照以下表达式进行计算：

使用MAE评估预测到的评分矩阵；如果此次的推荐效果好于上一次，则将用户的阈值加1，然后重新预处理阶段的“将辅助域中评分数量低于阈值的评分清空”开始执行，直到目标域的推荐效果不再提高为止。

7.一种实现权利要求1所述具有多个辅助域的跨域推荐数据处理方法的具有多个辅助域的跨域推荐数据处理系统，其特征在于，所述具有多个辅助域的跨域推荐数据处理系统包括：

预处理模块，用于获取辅助域的评分矩阵，计算用户的评分可靠性，等比例分段映射阈值，将辅助域中评分数量低于阈值的评分清空；

在处理模块，用于使用K-means聚类算法得到所有域的聚类级评分矩阵，进行矩阵分解；同时分解目标域评分矩阵，利用基于近邻的特征映射方法，为冷启动用户学习特征映射函数；

在评估模块，用于使用平均绝对误差来评估预测到的评分矩阵；如果推荐效果好于上一次，则将阈值加1，然后重新从预处理阶段的开始执行，直到目标域的推荐效果不再提高为止。

8.一种应用权利要求1～6任意一项所述具有多个辅助域的跨域推荐数据处理方法的跨域推荐平台。