CN102591915B - 一种基于标签迁移学习的推荐方法 - Google Patents

Abstract

一种基于标签迁移学习的推荐方法，利用迁移技术解决标签数据稀疏的问题，迁移的知识是标签之间的关系，利用已有标签信息密集的数据集，聚类得到标签的topic，通过迁移学习的方式将标签的topic迁移到其他相关的但是标签信息相对稀疏的数据集上，然后根据迁移来的标签topic结合评分数据计算得到用户的相似度，最后利用协同过滤技术完成推荐。本发明提供的方法通过引入另外一个相似的但数据密集的领域的标签信息，来计算新领域的标签topic，从而提高计算用户相似性的准确性，进而达到更好的推荐效果。

Description

一种基于标签迁移学习的推荐方法

技术领域

本发明属于WEB应用技术领域，涉及迁移学习及网络标签技术，为一种基于标签迁移学习的推荐方法。

背景技术

随着互联网的不断发展，互联网的信息快速膨胀，个性化推荐技术越来越重要。个性化推荐技术能够帮助用户在海量信息中快速找到自己需要的信息。个性化推荐技术根据对用户特征以及用户历史行为的分析发现客户的真正兴趣，对每个特定用户都进行专门的推荐，使得推荐的产品或服务最大程度上符合客户的需要。

迁移学习，它的目标是将从一个环境中学到的知识用来帮助新环境中的学习任务。我们看到web应用领域的发展非常快速。大量新的领域不断涌现，而传统的个性化推荐技术在实际应用中需要对每个领域都标定大量的训练数据，但是在现实中，很多新出现的领域中的大量训练数据非常难得到，但是如果我们有了大量的，但是处于不同分布下的训练数据，我们期望能够合理的利用这些数据来进行个性化推荐，迁移学习研究的主要问题就是如何合理的利用这些数据。

标签，在人类认识世界的过程中，为了记忆和查找的便利，常常要对所认识的对象进行标签。近年来，随着一种以用户为中心的网络概念的发展，网络用户在不断创造信息的同时，也需要按照自己的需求，以不同的方式有效地组织各类信息，于是，不受传统信息组织规范约束，完全出于个人喜好的标签方式，逐渐成为人们推崇的数字信息组织的主要方法。

在传统的结合评分数据和标签数据的个性化推荐方法中，根据用户对产品的评分数据和产品被标记的标签数据计算生成用户对标签的评分数据，然后采用基于用户的协同过滤思想来根据用户对标签的评分数据计算用户间的相似度。

在计算用户对标签的评分数据时，为了解决数据稀疏问题，有人提出了先计算标签的共同发生概率分布，然后再计算用户对标签的评分，计算标签z的共同发生概率分布计算的公式如等式(1)所示：

p_z(t)＝∑_m∈Iq(t|m)Q(m|z)  (1)

但是如果是一个新出现的领域，标签数据比较稀疏，在计算q(t|m)和Q(m|z)时，分子会出现很多零值，那么标签z的共现概率分布按照(1)中的公式计算就可能不精确，从而导致用户之间的相似度计算不准确，最终导致个性化推荐的结果不准确。

结合用户的评分数据和标签数据进行推荐的个性化推荐方法要求有比较丰富的标签数据，而实际上，对一个新的领域进行标签是一个很耗费人力和物力的活动。

发明内容

本发明所要解决的技术问题是：现有的结合用户的评分数据和标签数据进行协同过滤推荐的个性化推荐方法在标签数据稀少的情况下，计算得到的用户相似度可能不精确，从而影响推荐的效果。

本发明的技术方案为：一种基于标签迁移学习的推荐方法，从标签数据丰富的源数据集学习知识迁移到标签数据不足的目标数据集，用于标签数据不足的网站对用户进行个性化推荐，迁移的知识是标签之间的关系，具体表现形式是标签聚类后形成的主题topic，包括以下步骤：

1)分别在源数据集和目标数据集预先对标签数据进行清洗，对源数据集的标签进行聚类，得到标签的topic集合；

2)迁移标签的topic集合到目标数据集：迁移标签的topic集合的目标是将目标数据集上的每一个标签都放到一个与该标签距离最小的topic中，如果从源数据集上迁移过来的所有topic与该标签的距离都比较远，则该标签将形成一个新的topic，具体步骤如下：

遍历目标数据集上的所有标签，对每一个标签：

2.1)如果该标签也存在于源数据集上，则它本来就存在于迁移过来的某一个topic中；

2.2)如果该标签在源数据集上不存在，则在目标数据集上计算它和每一个topic的距离，并设定划分阈值：

A：如果最近的距离不大于划分阈值，把这个标签放在距离最近的topic中；

B：如果最近的距离大于划分阈值，把这个标签作为一个新的topic；

3)在目标数据集上进行推荐，根据步骤2)中得到的topic集合，同时结合用户评分数据，计算得到用户对标签topic的评分，根据用户对标签topic的评分采用基于用户的协同过滤技术完成推荐。

步骤1)具体为：

1.1)分别在源数据集和目标数据集预先对标签数据进行清洗，包括筛选和去除两种方法：一、选择被两个以上用户使用过，并被用于5个以上产品的标签；

二、设定删除关键词，去除含有所设定关键词的标签；

1.2)对源数据集中的标签通过层次聚类，得到标签的topic集合，计算标签的共现概率分布，再用延森-香农分歧JSD来计算标签之间的距离，根据JSD距离，对源数据集上面的标签进行聚类。

步骤1.2)具体为：

1.2.1)对源数据集中的标签的共现概率分布进行计算，得到标签的相关度矩阵，标签z的共现概率分布为(p_z(t₁)，p_z(t₂)，p_z(t₃)，.....，p_z(t_i)，.......p_z(t_n))，其中，n表示数据集中标签的总数，t_i表示数据集中的第i个标签，p_z(t_i)表示标签z和标签t_i的共现概率；

标签z和数据集中任意一个标签t的共现概率的计算公式如式(1)：

p_z(t)＝∑_m∈Iq(t|m)Q(m|z)  (1)

其中，I代表所有产品的集合，q(t|m)代表在确定产品m的前提条件下，对m使用标签t的概率，Q(m|z)代表在确定标签z的前提条件下，z被用于产品m的概率，p_z(t)代表在确定标签z的前提条件下，标签t也被用于同一件产品的概率；

1.2.2)利用JSD计算标签之间的距离，JSD算法的输入是两个标签的共现概率分布，输出是两个标签的距离；

设一个标签的共现概率分布是向量P，另一个标签的共现概率分布是向量Q，那么利用JSD计算这两个标签距离的如公式(4)和公式(5)：

$\mathrm{JSD}\left(P\right|\left|Q\right)=\frac{1}{2}D\left(P\right|\left|M\right)+\frac{1}{2}D\left(Q\right|\left|M\right)---\left(4\right)$

$M=\frac{1}{2}(P+Q)$

$D\left(P\right|\left|Q\right)=\underset{i}{\mathrm{\Σ}}P\left(i\right)\log \frac{P\left(i\right)}{Q\left(i\right)}---\left(5\right)$

在计算D(P‖Q)时，如果P(i)为0，即出现0log0项，该项的取值为0；

1.2.3)根据JSD距离，对源数据集上面的标签进行聚类，聚类采用层次聚类方法，具体步骤如下：

1.2.3.1)将每个标签归为一类，共得到N类，每类仅包含一个标签，类与类之间的距离就是它们所包含的标签之间的距离；

1.2.3.2)找到距离最近的两个类并合并成一类；

1.2.3.3)重新计算新合并的类与所有旧类之间的距离，计算两个类的之间的距离时，计算全部两个类之中的标签的距离，然后对这些标签的距离进行加和求平均，得到新合并的类与所有旧类之间的距离；

1.2.3.4)重复步骤1.2.3.2)和1.2.3.3)，直到最后剩余的类的数目到确定的阈值为止。

步骤3)包括以下具体步骤：

3.1)在目标数据集上计算每个用户对每一个topic的评分，每个产品item对应有标签，根据用户对item的评分和item与topic之间的关系来计算用户对topic的评分：

用户u对一个topic的评分的计算如式(6)：

$r_{u,\mathrm{tt}}=\frac{{\mathrm{\Σ}}_{m\∈I_{u}w(m,\mathrm{tt})r_{u,m}}}{{\mathrm{\Σ}}_{m\∈I_{u}w(m,\mathrm{tt})}}---\left(6\right)$

$w(m,\mathrm{tt})=\frac{1}{n}{\mathrm{\Σ}}_{t\∈T_{\mathrm{tt}}}w(m,t)---\left(7\right)$

$w(m,t)=\frac{{\mathrm{\Σ}}_{z\∈T_m}n(m,z)*p_z\left(t\right)}{{\mathrm{\Σ}}_{z\∈T_m}n(m,z)}$

$\left(8\right)$

其中，tt代表一个topic，I_u代表用户u评过分的产品的集合；w(m，tt)代表topic tt在item m中的权重；T_tt表示topic tt中的标签集合，n表示T_tt中的标签个数；w(m，t)代表标签t在产品m中的权重；T_m代表产品m上的标签的集合；n(m，z)代表标签z被用于产品m的次数；

3.2)在目标数据集上根据每个用户对每一个topic的评分，计算用户之间的相似度，两个用户u和v间的相似度计算如等式(9)：

$S^{\′}(u,v)=\frac{{\mathrm{\Σ}}_{\mathrm{tt}\∈T_{u,v}}(r_{u,\mathrm{tt}}-{\stackrel{\‾}{r}}_{u,\mathrm{tt}})(r_{v,\mathrm{tt}}-{\stackrel{\‾}{r}}_{v,\mathrm{tt}})}{\sqrt{{\mathrm{\Σ}}_{\mathrm{tt}\∈T_{u,v}}{(r_{u,\mathrm{tt}}-{\stackrel{\‾}{r}}_{u,\mathrm{tt}})}^2{\mathrm{\Σ}}_{\mathrm{tt}\∈T_{u,v}}{(r_{v,\mathrm{tt}}-{\stackrel{\‾}{r}}_{v,\mathrm{tt}})}^2}}---\left(9\right)$

其中，T_u，v代表用户u和v共同评过分的标签topic的集合；r_u，tt和r_v，tt分别代表用户u和v对T_u，v中所有topic的平均评分；

3.3)根据用户之间的相似度来预测用户对产品的评分，用户u对产品m的评分计算公式如等式(10)：

$r_{u,m}={\stackrel{\‾}{r}}_{u,m}+\frac{{\mathrm{\Σ}}_{v\∈\mathrm{Um},s^{\′}(u,v)>0}{s}^{\′}(u,v)(r_{v,m}-{\stackrel{\‾}{r}}_{v,m})}{{\mathrm{\Σ}}_{v\∈\mathrm{Um},s^{\′}(u,v)>0}{s}^{\′}(u,v)}---\left(10\right)$

其中，U_m代表所有对m评过分的用户集合，r_u，m和r_v，m分别代表用户u和v对所有产品m的平均评分；

根据预测目标用户u对产品的实时评分r_u，m，对目标用户进行个性化推荐。

本发明为一种个性化推荐技术，它利用迁移技术解决标签数据稀疏的问题，迁移的知识是标签之间的关系。它的特征是利用已有标签信息密集的数据集，聚类得到标签的topic，然后通过迁移学习的方式将标签的topic迁移到其他相关的但是标签信息相对稀疏的数据集上，然后根据迁移来的标签topic结合评分数据计算得到用户的相似度，最后利用协同过滤技术完成推荐。

本发明提供的方法通过引入另外一个相似的但数据密集的领域的标签信息，来计算新领域的标签topic，从而提高计算用户相似性的准确性，进而达到更好的推荐效果。

附图说明

图1为本发明的流程示意图。

具体实施方式

本发明的特征如下：

1)预先对标签数据进行清洗，提高标签数据的质量；

2)目标数据集上同时采用用户对产品的评分数据与产品被标记的标签数据，并有效结合计算生成用户对标签topic的评分数据；

3)在目标数据集中计算步骤2)中的用户对标签topic的评分数据时，充分利用了标签信息密集的源数据集中的迁移过来的标签信息，从而有效地降低了目标数据集中计算用户的相似度时对标签信息的依赖性；

4)采用基于用户的协同过滤思想来根据用户对标签topic的评分数据计算用户间的相似度，生成目标用户的相似用户。

如图1所示，本发明具体的实施步骤如下：

1)分别在源数据集和目标数据集预先对标签数据进行清洗，提高标签数据的质量。标签数据是用户自由创建的，往往存在标签数据的质量不高。对标签进行有效地清洗是最终能够产生好的推荐结果的关键。本发明设定的清洗的方法有两个：一是选择被两个以上用户使用过，并被用于5个以上产品的标签，目的是去除一些使用很少的意义不大的标签；二是去除一些仅仅代表用户个人喜好的，没有什么具体含义的词，这些词不适用于评分，例如“好”，“差”等。

2)在源数据集上选择标签数目大于一定数目的产品进行实验。因为我们希望从源数据集中得出标签topic，这要求源数据集上面的tag信息不能太过于稀疏。

3)在源数据集上计算标签间的共现概率分布标签z的共现概率分布为(p_z(t₁)，p_z(t₂)，p_z(t₃)，.....，p_z(t_i)，.......p_z(t_n))，其中，n表示数据集中标签的总数，t_i表示数据集中的第i个标签，p_z(t_i)表示标签z和标签t_i的共现概率。

标签z和数据集中任意一个标签t的共现概率的计算公式如式(1)：

p_z(t)＝∑_m∈Iq(t|m)Q(m|z)                 (1)

其中，I代表所有产品的集合，q(t|m)代表在确定产品m的前提条件下，对m使用标签t的概率，Q(m|z)代表在确定标签z的前提条件下，z被用于产品m的概率，p_z(t)代表在确定标签z的前提条件下，标签t也被用于同一件产品的概率。

4)利用延森-香农分歧JSD(Jensen-Shannon divergence)计算标签之间的距离。

如果一个标签的共现概率分布是向量P，另一个标签的共现概率分布是向量Q，那么利用JSD计算这两个标签距离的如公式(4)和公式(5)：

$\mathrm{JSD}\left(P\right|\left|Q\right)=\frac{1}{2}D\left(P\right|\left|M\right)+\frac{1}{2}D\left(Q\right|\left|M\right)---\left(4\right)$

$M=\frac{1}{2}(P+Q)$

$D\left(P\right|\left|Q\right)=\underset{i}{\mathrm{\Σ}}P\left(i\right)\log \frac{P\left(i\right)}{Q\left(i\right)}---\left(5\right)$

在计算D(P‖Q)时，如果P(i)为0，即出现0log0项，该项的取值为0。

5)根据JSD距离，对源数据集上面的标签进行聚类。聚类采用层次聚类方法，具体步骤如下：

5.1)将每个标签归为一类，共得到N类，每类仅包含一个标签.类与类之间的距离就是它们所包含的标签之间的距离；

5.2)找到距离最近的两个类并合并成一类，于是总的类数少了一个；

5.3)重新计算新的类与所有旧类之间的距离，计算两个类的之间的距离采用完全计算两个类之中的标签的距离，然后对这些标签的距离进行加和求平均；

5.4)重复5.2)和5.3)，直到最后剩余的类的数目到确定的阈值为止，数目阈值根据所需聚类精度自行设定。

6)迁移标签topic到目标数据集。具体步骤如下：

遍历目标数据集上的所有标签，对每一个标签：

6.1)如果该标签也存在于源数据集上，那么它本来就存在于迁移过来的某一个topic中

6.2)如果该标签在源数据集上不存在，那么就在目标数据集上计算它和每一个topic的距离。

A：如果最近的距离不大于阈值，就把这个标签放在距离最近的topic中。

B：如果最近的距离大于阈值，就把这个标签作为一个新的topic。

7)在目标数据集上计算每个用户对每一个topic的评分。根据用户对item的评分和item与topic之间的关系来计算用户对topic的评分

计算一个用户u对一个topic的评分的计算如式(6)：

$r_{u,\mathrm{tt}}=\frac{{\mathrm{\Σ}}_{m\∈I_{u}w(m,\mathrm{tt})r_{u,m}}}{{\mathrm{\Σ}}_{m\∈I_{u}w(m,\mathrm{tt})}}---\left(6\right)$

$w(m,\mathrm{tt})=\frac{1}{n}{\mathrm{\Σ}}_{t\∈T_{\mathrm{tt}}}w(m,t)---\left(7\right)$

$w(m,t)=\frac{{\mathrm{\Σ}}_{z\∈T_m}n(m,z)*p_z\left(t\right)}{{\mathrm{\Σ}}_{z\∈T_m}n(m,z)}---\left(8\right)$

其中，tt代表一个topic，I_u代表用户u评过分的产品的集合；w(m，tt)代表topic tt在产品m中的权重；Ttt表示topic tt中的标签集合，n表示Ttt中的标签个数；w(m，t)代表标签t在产品m中的权重；T_m代表产品m上的标签的集合；n(m，z)代表标签z被用于产品m的次数；

8)计算用户间的相似度，两个用户u和v间的相似度计算公式如等式(9)：

$S^{\′}(u,v)=\frac{{\mathrm{\Σ}}_{\mathrm{tt}\∈T_{u,v}}(r_{u,\mathrm{tt}}-{\stackrel{\‾}{r}}_{u,\mathrm{tt}})(r_{v,\mathrm{tt}}-{\stackrel{\‾}{r}}_{v,\mathrm{tt}})}{\sqrt{{\mathrm{\Σ}}_{\mathrm{tt}\∈T_{u,v}}{(r_{u,\mathrm{tt}}-{\stackrel{\‾}{r}}_{u,\mathrm{tt}})}^2{\mathrm{\Σ}}_{\mathrm{tt}\∈T_{u,v}}{(r_{v,\mathrm{tt}}-{\stackrel{\‾}{r}}_{v,\mathrm{tt}})}^2}}---\left(9\right)$

其中，T_u，v代表用户u和v共同评过分的标签topic的集合；

和

分别代表用户u和v对T_u，v中所有标签topic的平均评分；

9)预测用户对产品的未知评分，用户u对产品m的评分计算公式如等式(10)

$r_{u,m}={\stackrel{\‾}{r}}_{u,m}+\frac{{\mathrm{\Σ}}_{v\∈\mathrm{Um},s^{\′}(u,v)>0}{s}^{\′}(u,v)(r_{v,m}-{\stackrel{\‾}{r}}_{v,m})}{{\mathrm{\Σ}}_{v\∈\mathrm{Um},s^{\′}(u,v)>0}{s}^{\′}(u,v)}$

$\left(10\right)$

其中，U_m代表所有对m评过分的用户集合，和

分别代表用户u和v对所有产品m的平均评分；

根据预测目标用户对产品的未知评分，对目标用户进行个性化推荐。

Claims (3)

1.一种基于标签迁移学习的推荐方法，其特征是从标签数据丰富的源数据集学习知识迁移到标签数据不足的目标数据集，用于标签数据不足的网站对用户进行个性化推荐，迁移的知识是标签之间的关系，具体表现形式是标签聚类后形成的主题topic，包括以下步骤：

1）分别在源数据集和目标数据集预先对标签数据进行清洗，对源数据集的标签进行聚类，得到标签的topic集合；

2）迁移标签的topic集合到目标数据集：迁移标签的topic集合的目标是将目标数据集上的每一个标签都放到一个与该标签距离最小的topic中，如果从源数据集上迁移过来的所有topic与该标签的距离都比较远，则该标签将形成一个新的topic，具体步骤如下：

遍历目标数据集上的所有标签，对每一个标签：

2.1）如果该标签也存在于源数据集上，则它本来就存在于迁移过来的某一个topic中；

2.2）如果该标签在源数据集上不存在，则在目标数据集上计算它和每一个topic的距离，并设定划分阈值：

A:如果最近的距离不大于划分阈值，把这个标签放在距离最近的topic中；

B:如果最近的距离大于划分阈值，把这个标签作为一个新的topic；

3）在目标数据集上进行推荐，根据步骤2）中得到的topic集合，同时结合用户评分数据，计算得到用户对标签topic的评分，根据用户对标签topic的评分采用基于用户的协同过滤技术完成推荐，包括以下具体步骤：

3.1）在目标数据集上计算每个用户对每一个topic的评分，每个产品item对应有标签，根据用户对item的评分和item与topic之间的关系来计算用户对topic的评分：

用户u对一个topic的评分的计算如式(6)：

$r_{u,\mathrm{tt}}=\frac{{\mathrm{\Σ}}_{{m\∈I}_u}w(m,\mathrm{tt})r_{u,m}}{{\mathrm{\Σ}}_{{m\∈I}_u}w(m,\mathrm{tt})}---\left(6\right)$

$w(m,\mathrm{tt})=\frac{1}{n}{\mathrm{\Σ}}_{{t\∈T}_{\mathrm{tt}}}w(m,t)---\left(7\right)$

$w(m,t)=\frac{{\mathrm{\Σ}}_{{z\∈T}_m}n(m,z)*p_z\left(t\right)}{{\mathrm{\Σ}}_{{z\∈T}_m}n(m,z)}---\left(8\right)$

其中，tt代表一个topic，I_u代表用户u评过分的产品的集合；w(m,tt)代表topic tt在item m中的权重；T_tt表示topic tt中的标签集合，n表示T_tt中的标签个数；w(m,t)代表标签t在产品m中的权重；T_m代表产品m上的标签的集合；n(m,z)代表标签z被用于产品m的次数；

3.2）在目标数据集上根据每个用户对每一个topic的评分，计算用户之间的相似度，两个用户u和v间的相似度计算如等式(9)：

$S^{\′}(u,v)=\frac{{\mathrm{\Σ}}_{{\mathrm{tt}\∈T}_{u,v}}(r_{u,\mathrm{tt}}-{\stackrel{\‾}{r}}_{u,\mathrm{tt}})(r_{v,\mathrm{tt}}-{\stackrel{\‾}{r}}_{v,\mathrm{tt}})}{\sqrt{{\mathrm{\Σ}}_{{\mathrm{tt}\∈T}_{u,v}}{(r_{u,\mathrm{tt}}-{\stackrel{\‾}{r}}_{u,\mathrm{tt}})}^2{\mathrm{\Σ}}_{{\mathrm{tt}\∈T}_{u,v}}{(r_{v,\mathrm{tt}}-{\stackrel{\‾}{r}}_{v,\mathrm{tt}})}^2}}---\left(9\right)$

其中，T_u,v代表用户u和v共同评过分的标签topic的集合；

和

分别代表用户u和v对T_u,v中所有topic的平均评分；

3.3）根据用户之间的相似度来预测用户对产品的评分，用户u对产品m的评分计算公式如等式(10)：

$r_{u,m}={\stackrel{\‾}{r}}_{u,m}+\frac{{\mathrm{\Σ}}_{v\∈\mathrm{Um},s^{\′}(u,v)>0}{s}^{\′}(u,v)(r_{v,m}-{\stackrel{\‾}{r}}_{v,m})}{{\mathrm{\Σ}}_{v\∈\mathrm{Um},s^{\′}(u,v)>0}{s}^{\′}(u,v)}---\left(10\right)$

其中，U_m代表所有对m评过分的用户集合，和分别代表用户u和v对所有产品m的平均评分；

根据预测目标用户u对产品的实时评分r_u,m，对目标用户进行个性化推荐。

2.根据权利要求1所述的一种基于标签迁移学习的推荐方法，其特征是步骤1）具体为：

1.1）分别在源数据集和目标数据集预先对标签数据进行清洗，包括筛选和去除两种方法：一、选择被两个以上用户使用过，并被用于5个以上产品的标签；二、设定删除关键词，去除含有所设定关键词的标签；

1.2）对源数据集中的标签通过层次聚类，得到标签的topic集合，计算标签的共现概率分布，再用延森－香农分歧JSD来计算标签之间的距离，根据JSD距离，对源数据集上面的标签进行聚类。

3.根据权利要求2所述的一种基于标签迁移学习的推荐方法，其特征是步骤1.2）具体为：

1.2.1）对源数据集中的标签的共现概率分布进行计算，得到标签的相关度矩阵，标签z的共现概率分布为（p_z(t₁),p_z(t₂),p_z(t₃),.....,p_z(t_i),.......p_z(t_n)），其中，n表示数据集中标签的总数，t_i表示数据集中的第i个标签，p_z(t_i)表示标签z和标签t_i的共现概率；

标签z和数据集中任意一个标签t的共现概率的计算公式如式（1）：

pz(t)＝Σ_m∈Iq(t|m)Q(m|z)    （1）

其中，I代表所有产品的集合，q(t|m)代表在确定产品m的前提条件下，对m使用标签t的概率，Q(m|z)代表在确定标签z的前提条件下，z被用于产品m的概率，p_z(t)代表在确定标签z的前提条件下，标签t也被用于同一件产品的概率；

1.2.2）利用JSD计算标签之间的距离，JSD算法的输入是两个标签的共现概率分布，输出是两个标签的距离；

设一个标签的共现概率分布是向量P，另一个标签的共现概率分布是向量Q，那么利用JSD计算这两个标签距离的如公式（4）和公式（5）：

$\mathrm{JSD}\left(P\right|\left|Q\right)=\frac{1}{2}D\left(P\right|\left|M\right)+\frac{1}{2}D\left(Q\right|\left|M\right)---\left(4\right)$

$M=\frac{1}{2}(P+Q)$

$D\left(P\right|\left|Q\right)=\underset{i}{\mathrm{\Σ}}P\left(i\right)\log \frac{P\left(i\right)}{Q\left(i\right)}---\left(5\right)$

在计算D(P||Q)时，如果P(i)为0，即出现0log0项，该项的取值为0；

1.2.3）根据JSD距离，对源数据集上面的标签进行聚类，聚类采用层次聚类方法，具体步骤如下：

1.2.3.1）将每个标签归为一类，共得到N类，每类仅包含一个标签，类与类之间的距离就是它们所包含的标签之间的距离；

1.2.3.2）找到距离最近的两个类并合并成一类；

1.2.3.3）重新计算新合并的类与所有旧类之间的距离，计算两个类的之间的距离时，计算全部两个类之中的标签的距离，然后对这些标签的距离进行加和求平均，得到新合并的类与所有旧类之间的距离；

1.2.3.4）重复步骤1.2.3.2）和1.2.3.3），直到最后剩余的类的数目到确定的阈值为止。