CN107341687B - 一种基于多维标签与分类排序的推荐算法 - Google Patents

Abstract

本发明公开了一种基于多维标签与分类排序的推荐算法，包括步骤：1)对标签数据进行组合构成多维标签信息；2)利用多维标签信息计算多维标签相似度，融入用户协同过滤中并预测评分，得到推荐候选集1；3)利用多维标签信息作为隐式反馈信息输入到矩阵分解中并预测评分，得到推荐候选集2，并结合推荐候选集1得到最终推荐候选集；4)将得到的最终推荐候选集输入到逻辑回归分类模型中分类排序，根据输出分值排序得到Top‑N推荐列表。本发明将标签信息组合成多维标签，融入到协同过滤中得到推荐候选集，再通过逻辑回归分类排序得到Top‑N推荐列表，有效缓解推荐系统的冷启动问题，稀疏性问题和可拓展性问题，提高推荐效果。

Description

一种基于多维标签与分类排序的推荐算法

技术领域

本发明涉及数据挖掘的推荐系统技术领域，尤其是指一种基于多维标签与分类排序的推荐算法。

背景技术

协同过滤的推荐算法是目前使用最广泛且发展成熟的个性化推荐算法。基于近邻协同过滤是利用相似近邻进行推荐，冷启动和稀疏性问题可能导致计算得到的用户相似度不准确,进而影响协同过滤的推荐性能。对基于用户的协同过滤来说，核心是计算用户相似度，计算两个用户之间相似度需要这两个用户评价过相同的项目，然而在推荐系统中对于大量的物品，用户操作过的物品只占很小一部分，也就是推荐系统存在稀疏性。本来两个相似的用户，可能因为他们评价的项目较少而导致了他们之间没有共同评价过的项目，稀疏性会导致这两个相似的用户在相似度计算的时候相似度为0，引起比较大的误差。

Top-N推荐更加符合推荐系统的本质，不少研究将Top-N推荐问题看作是排序问题，使用排序学习解决。常见的方法有基于点的排序，基于对的排序，基于列表的排序。但是不是所有的排序学习算法都适合用于协同过滤。基于对的排序学习将排序问题转化为多个二分类问题，对任意两个文档进行比较，时间复杂度较高。基于对的排序学习贴近排序学习的本质，但是该方法计算复杂度高，只能应用在比较小规模的问题中，面对协同过滤这种大规模数据集应用问题，仍然没有一个比较好的解决方案。

本发明提供的一种基于多维标签与分类排序的推荐算法，将标签信息转化构成多维标签信息，然后融入协同过滤中，从而缓解协同过滤的稀疏性和冷启动问题，得出推荐候选集，最后使用逻辑回归分类模型进行分类排序进行Top-N推荐，缓解可拓展性的同时提高推荐效果。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供了一种基于多维标签与分类排序的推荐算法，缓解传统协同过滤常见的冷启动和稀疏性问题，同时利用逻辑回归分类模型进行分类排序，获得更好的推荐效果，也缓解了Top-N推荐的可拓展性问题。

为实现上述目的，本发明所提供的技术方案为：一种基于多维标签与分类排序的推荐算法，包括以下步骤：

1)对标签数据进行组合构成多维标签信息；

2)利用多维标签信息计算多维标签相似度，融入用户协同过滤中并预测评分，得到推荐候选集1；

3)利用多维标签信息作为隐式反馈信息输入到矩阵分解中并预测评分，得到推荐候选集2，并结合推荐候选集1得到最终推荐候选集；

4)将得到的最终推荐候选集输入到逻辑回归分类模型中分类排序，根据输出分值排序得到Top-N推荐列表。

在步骤1)中，所述多维标签信息是指通过用户标签和物品标签组合，并根据不同物品标签之间的联系进行组合，包含以下步骤：

1.1)一个用户标签对应多个取值，将用户标签离散化，设用户标签集合为M＝{m₁,m₂,m₃...m_z}，z为用户标签的取值个数；

1.2)假设物品标签集合N₁＝{t₁,t₂,...,t_n}，n为物品标签的个数，利用符号﹒表示将不同标签组合到一块，则二阶标签集合表示为N₂＝{t₁·t₂,t₁·t₃...t_n-1·t_n}；

1.3)将用户标签M，物品标签N₁，物品标签组合N₂整合一起组成多维标签集合，为M∪N₁∪N₂。

在步骤2)中，利用多维标签计算用户相似度，包括以下步骤：

2.1)定义用户集合{u₁,u₂,u₃...u_N}，多维标签集合为{t₁,t₂,t₃...t_K}，其中N为用户数量，K为多维标签集合中标签数量，用户u_j对物品的操作得到用户u_j对标签t_k的操作次数为n_jk，得到用户u_j的多维标签操作向量I_j＝(n_j1,n_j2,n_j3...n_jK)，其中j＝1,2,3,…,N，则得到用户-多维标签操作矩阵I_N×K为：

2.2)利用余弦相似度计算用户u，v的多维标签向量I_u，I_v的相似度，计算公式为：

2.3)使用线性加权的方法在用户协同过滤中综合考虑多维标签信息的相似度，使用参数λ控制多维标签相似度在协同过滤相似度中的权重，用户相似度组成如下面式子所示；

sim(u,v)＝(1-λ)sim1(u,v)+λsim2(u,v)

式中，sim1(u,v)为原始的相似度，sim2(u,v)为多维标签相似度；

2.4)最后根据以下式子计算用户u对物品i的评分

得出多个高评分的推荐物品集合；

式中，

为活跃用户u的评分均值，r_vi为用户v对物品i的评分，

为近邻用户v的评分均值，N(u)为用户u的近邻集合，sim(u,v)为用户u与他的近邻用户v的相似度；

在步骤3)中，将用户-多维标签操作矩阵I_N×K转化为二元反馈矩阵，输入矩阵分解中，包括以下步骤：

3.1)将多维标签信息转化为二元反馈信息，将用户-多维标签矩阵I_N×K通过下面式子转化为二元的用户-多维标签反馈矩阵；

如果用户操作过某个设定标签，则值为1，反之值为0，在矩阵分解SVD中加入多维标签反馈信息，式子如下：

式中，

为预测评分，b_u是用户u的评分偏置，b_i则是物品的偏置项，p_u为用户特征向量，q_i为物品特征向量，N(u)为用户u评过分的物品集合，T(u)为用户u操作过的多维标签集合，y_j为物品j的反馈特征向量，z_a为标签a的反馈特征向量；

3.2)加入矩阵分解中并使用随机梯度下降求解得到用户特征矩阵和物品特征矩阵，通过用户特征矩阵和物品特征矩阵相乘得到评分矩阵，得出多个高评分的推荐物品集合；其中，加入多维标签信息的矩阵分解更新公式如下：

b_u←b_u+γ·(e_ui-λ₁·b_u)

b_i←b_i+γ·(e_ui-λ₁·b_i)

p_u←p_u+γ·(e_ui·q_i-λ₂·p_u)

式中，r_ui为用户u对物品i的真实评分，

为预测评分，e_ui为预测误差，b_u是用户u的评分偏置，b_i则是物品的偏置项，p_u为用户特征向量，q_i为物品特征向量，N(u)为用户u评过分的物品集合，T(u)为用户u操作过的多维标签集合，y_j为物品j的反馈特征向量，z_a为标签a的反馈特征向量，λ₁、λ₂为不同的正则化系数，γ是学习速率。

在步骤4)中，所述逻辑回归分类模型使用多维标签信息作为模型输入特征，并使用FTRL作为逻辑回归的优化算法，具体如下：

逻辑回归分类模型使用多维标签信息作为模型输入特征；模型训练过程，利用训练数据集所带的用户标签信息，物品标签信息得到标签类特征，同时利用多维标签信息组成特征，得到训练样本，同时利用流行的在线学习的优化算法FTRL对逻辑回归分类模型进行训练；在推荐过程，首先，利用多维标签协同过滤给出用户的候选推荐物品列表，同时对该用户的标签和候选物品的标签进行离散化和组合得到特征向量，并利用模型训练过程得到的逻辑回归分类模型进行预测，最后利用预测得到的数值的大小对候选列表进行排序得到最终的Top-N推荐列表。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明首次对相关联标签进行组合，结合用户标签和物品标签构成多维标签信息，丰富了标签信息。

2、本发明首次对利用多维标签信息计算相似度和作为反馈信息融入协同过滤中，缓解了协同过滤的稀疏性和冷启动问题，提高了协同过滤的推荐效果。

3、本发明通过使用逻辑回归分类模型对推荐候选集进行分类排序，能够缓解可拓展性问题，同时能够得到更好的Top-N推荐效果。

4、本发明方法在具有标签信息的推荐系统中具有广泛的使用空间，运算简单、可拓展性强，能得到很好的推荐效果。

附图说明

图1为基于多维标签与分类排序的推荐算法流程图。

图2为用户对标签操作图。

图3为多维标签构成图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1所示，本实施例所提供的基于多维标签与分类排序的推荐算法，是通过不同的标签组合，融入协同过滤中，得到推荐候选集，并通过逻辑回归分类模型进行分类排序，其包括以下步骤：

1)对标签数据进行组合构成多维标签信息；物品可以看作是多个标签构成的对象，我们把用户对物品的操作看作一种“打标签”行为，但是不同于社会化标签用户主动对标签操作，我们将物品作为用户和标签的桥梁，用户对标签的操作是被动的，如图2所示，我们可以把用户对物品的操作看作为用户对标签的操作。

1.1)一个用户标签对应多个取值，我们将用户标签离散化。如用户标签有年纪、职业标签，这离散为：0-10,11-20……医生,老师,设用户标签集合为M＝{m₁,m₂,m₃...m_z}，z为用户标签的取值个数；

1.2)假设物品标签集合N₁＝{t₁,t₂,...,t_n}，n为物品标签的个数，利用符号﹒表示将不同标签组合到一块，则二阶标签集合表示为N₂＝{t₁·t₂,t₁·t₃...t_n-1·t_n}；

1.3)我们将用户标签M，物品标签N₁，物品标签组合N₂整合一起组成多维标签集合，为M∪N₁∪N₂，如图3所示。

2)利用多维标签信息计算多维标签相似度，融入用户协同过滤中并预测评分，得到推荐候选集1。

2.1)定义所有用户集合{u₁,u₂,u₃...u_N},多维标签集合为{t₁,t₂,t₃...t_K}，其中N为用户数量，K为多维标签集合中标签数量。用户uj对物品的操作得到用户uj对标签t_k的操作次数为n_jk，得到用户u_j的多维标签操作向量，I_j＝(n_j1,n_j2,n_j3...n_jK)，其中j＝1,2,3,…,N，则我们可以得到用户-多维标签操作矩阵I_N×K。

2.2)利用余弦相似度计算用户u，v的多维标签向量I_u，I_v的相似度。

2.3)使用线性加权的方法在用户协同过滤中综合考虑多维标签信息的相似度，使用参数λ控制多维标签相似度在协同过滤相似度中的权重，用户相似度组成如下面式子所示；

sim(u,v)＝(1-λ)sim1(u,v)+λsim2(u,v)

式中，sim1(u,v)为原始的相似度，sim2(u,v)为多维标签相似度。

2.4)最后根据以下式子计算用户u对物品i的评分

得出多个高评分的推荐物品集合；

式中，

为活跃用户u的评分均值，r_vi为用户v对物品i的评分，

为近邻用户v的评分均值，N(u)为用户u的近邻集合，sim(u,v)为用户u与他的近邻用户v的相似度。

3)利用多维标签信息作为隐式反馈信息输入到矩阵分解中并预测评分，得到推荐候选集2，并结合推荐候选集1得到最终推荐候选集。

3.1)将多维标签信息转化为二元反馈信息，将用户-多维标签矩阵I_N×K通过下面式子转化为二元的用户-多维标签反馈矩阵；

如果用户操作过某个标签，则值为1，反之值为0。在矩阵分解SVD中加入多维标签反馈信息，式子如下：

为预测评分，b_u是用户u的评分偏置，b_i则是物品的偏置项，p_u为用户特征向量，q_i为物品特征向量，N(u)为用户u评过分的物品集合，T(u)为用户u操作过的多维标签集合，y_j为物品j的反馈特征向量，z_a为标签a的反馈特征向量。

3.2)使用随机梯度下降求解得到用户特征矩阵和物品特征矩阵，通过用户特征矩阵和物品特征矩阵相乘得到评分矩阵，得出多个高评分的推荐物品集合；其中，加入多维标签信息的矩阵分解更新公式如下：

b_u←b_u+γ·(e_ui-λ₁·b_u)

b_i←b_i+γ·(e_ui-λ₁·b_i)

p_u←p_u+γ·(e_ui·q_i-λ₂·p_u)

式中，r_ui为用户u对物品i的真实评分，

为预测评分，e_ui为预测误差，b_u是用户u的评分偏置，b_i则是物品的偏置项，p_u为用户特征向量，q_i为物品特征向量，N(u)为用户u评过分的物品集合，T(u)为用户u操作过的多维标签集合，y_j为物品j的反馈特征向量，z_a为标签a的反馈特征向量，λ₁，λ₂为不同的正则化系数，γ是学习速率。

4)将得到的最终推荐候选集输入到逻辑回归分类模型中分类排序，根据输出分值排序得到Top-N推荐列表；其中，所述逻辑回归分类模型使用多维标签信息作为模型输入特征，并使用FTRL作为逻辑回归的优化算法。

逻辑回归分类模型使用多维标签信息作为模型输入特征；模型训练过程，我们利用训练数据集所带的用户标签信息，物品标签信息得到标签类特征，同时利用多维标签信息组成特征，得到训练样本。同时利用流行的在线学习的优化算法FTRL对逻辑回归分类模型进行训练。在推荐过程，首先利用多维标签协同过滤给出用户的候选推荐物品列表，同时对该用户的标签和候选物品的标签进行离散化和组合得到特征向量，并利用模型训练过程得到的逻辑回归分类模型进行预测，最后利用预测得到的数值的大小对候选列表进行排序得到最终的Top-N推荐列表。

综上所述，在采用以上方案后，本发明为具有标签信息的推荐系统提供了新的推荐方法，将多维标签信息融入到协同过滤中，得到候选集并用逻辑回归分类排序得到Top-N推荐列表，能够有效缓解推荐系统的冷启动、稀疏性和可拓展性问题，提高推荐效果，值得推广。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (3)

1.一种基于多维标签与分类排序的推荐算法，其特征在于，包括以下步骤：

1)对标签数据进行组合构成多维标签信息；

2)利用多维标签信息计算多维标签相似度，融入用户协同过滤中并预测评分，得到推荐候选集1；利用多维标签计算用户相似度，包括以下步骤：

2.1)定义用户集合{u₁,u₂,u₃...u_N}，多维标签集合为{t₁,t₂,t₃...t_K}，其中N为用户数量，K为多维标签集合中标签数量，用户u_j对物品的操作得到用户u_j对标签t_k的操作次数为n_jk，得到用户u_j的多维标签操作向量I_j＝(n_j1,n_j2,n_j3...n_jK)，其中j＝1,2,3,…,N，则得到用户-多维标签操作矩阵I_N×K为：

2.2)利用余弦相似度计算用户u，v的多维标签向量I_u，I_v的相似度，计算公式为：

2.3)使用线性加权的方法在用户协同过滤中综合考虑多维标签信息的相似度，使用参数λ控制多维标签相似度在协同过滤相似度中的权重，用户相似度组成如下面式子所示；

sim(u,v)＝(1-λ)sim1(u,v)+λsim2(u,v)

式中，sim1(u,v)为原始的相似度，sim2(u,v)为多维标签相似度；

2.4)最后根据以下式子计算用户u对物品i的评分

得出多个高评分的推荐物品集合；

式中，

为活跃用户u的评分均值，r_vi为用户v对物品i的评分，

为近邻用户v的评分均值，N(u)为用户u的近邻集合，sim(u,v)为用户u与他的近邻用户v的相似度；

3)利用多维标签信息作为隐式反馈信息输入到矩阵分解中并预测评分，得到推荐候选集2，并结合推荐候选集1得到最终推荐候选集；将用户-多维标签操作矩阵I_N×K转化为二元反馈矩阵，输入矩阵分解中，包括以下步骤：

3.1)将多维标签信息转化为二元反馈信息，将用户-多维标签矩阵I_N×K通过下面式子转化为二元的用户-多维标签反馈矩阵；

如果用户操作过某个设定标签，则值为1，反之值为0，在矩阵分解SVD中加入多维标签反馈信息，式子如下：

式中，

为预测评分，b_u是用户u的评分偏置，b_i则是物品的偏置项，p_u为用户特征向量，q_i为物品特征向量，N(u)为用户u评过分的物品集合，T(u)为用户u操作过的多维标签集合，y_j为物品j的反馈特征向量，z_a为标签a的反馈特征向量；

3.2)加入矩阵分解中并使用随机梯度下降求解得到用户特征矩阵和物品特征矩阵，通过用户特征矩阵和物品特征矩阵相乘得到评分矩阵，得出多个高评分的推荐物品集合；其中，加入多维标签信息的矩阵分解更新公式如下：

b_u←b_u+γ·(e_ui-λ₁·b_u)

b_i←b_i+γ·(e_ui-λ₁·b_i)

p_u←p_u+γ·(e_ui·q_i-λ₂·p_u)

式中，r_ui为用户u对物品i的真实评分，

为预测评分，e_ui为预测误差，b_u是用户u的评分偏置，b_i则是物品的偏置项，p_u为用户特征向量，q_i为物品特征向量，N(u)为用户u评过分的物品集合，T(u)为用户u操作过的多维标签集合，y_j为物品j的反馈特征向量，z_a为标签a的反馈特征向量，λ₁、λ₂为不同的正则化系数，γ是学习速率；

4)将得到的最终推荐候选集输入到逻辑回归分类模型中分类排序，根据输出分值排序得到Top-N推荐列表。

2.根据权利要求1所述的一种基于多维标签与分类排序的推荐算法，其特征在于：在步骤1)中，所述多维标签信息是指通过用户标签和物品标签组合，并根据不同物品标签之间的联系进行组合，包含以下步骤：

1.1)一个用户标签对应多个取值，将用户标签离散化，设用户标签集合为M＝{m₁,m₂,m₃...m_z}，z为用户标签的取值个数；

1.2)假设物品标签集合N₁＝{t₁,t₂,...,t_n}，n为物品标签的个数，利用符号﹒表示将不同标签组合到一块，则二阶标签集合表示为N₂＝{t₁·t₂,t₁·t₃...t_n-1·t_n}；

1.3)将用户标签M，物品标签N₁，物品标签组合N₂整合一起组成多维标签集合，为M∪N₁∪N₂。

3.根据权利要求1所述的一种基于多维标签与分类排序的推荐算法，其特征在于：在步骤4)中，所述逻辑回归分类模型使用多维标签信息作为模型输入特征，并使用FTRL作为逻辑回归的优化算法，具体如下：

逻辑回归分类模型使用多维标签信息作为模型输入特征；模型训练过程，利用训练数据集所带的用户标签信息，物品标签信息得到标签类特征，同时利用多维标签信息组成特征，得到训练样本，同时利用流行的在线学习的优化算法FTRL对逻辑回归分类模型进行训练；在推荐过程，首先，利用多维标签协同过滤给出用户的候选推荐物品列表，同时对该用户的标签和候选物品的标签进行离散化和组合得到特征向量，并利用模型训练过程得到的逻辑回归分类模型进行预测，最后利用预测得到的数值的大小对候选列表进行排序得到最终的Top-N推荐列表。

Images