CN103530689B - 一种基于深度学习的聚类方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的聚类方法，该方法包括以下步骤：得到深度神经网络的初始网络权重；对样本进行随机分组并映射到特征空间；将原始深度神经网络的目标函数加入特征层的类内约束函数；更新深度神经网络的网络权重，计算得到新的特征层；将每个样本分配至最近聚类中心所在的类组，计算新的聚类中心；以新的聚类中心代替类内约束函数的聚类中心，返回网络权重更新步骤进行迭代，得到并输出最终聚类分组结果。本发明将样本从不易聚类的原始数据空间，通过深度神经网络的非线性映射，得到高度可分的特征用于聚类，并且可以不断优化网络结构得到更好的聚类效果，本发明以较小的内存消耗以及较高的聚类精度优于常规聚类算法。

Description

一种基于深度学习的聚类方法

技术领域

本发明涉及模式识别、机器学习技术领域，特别涉及一种基于深度学习的聚类方法。

背景技术

目前，传统聚类算法只是适用于在数据空间线性可分的情形，比如K均值算法。但是，随着数据量的增加以及数据复杂度的增大，传统的聚类算法已经无法胜任复杂大规模数据背景下的聚类任务。虽然最近有一些聚类算法被提出用于解决这种问题，如谱聚类等算法，但是由于此类算法需要极大的内存消耗，以至于无法胜任大数据的背景环境。

因此，鉴于以往的方法很难满足目前对于大规模复杂数据聚类的需要，本发明提出一种基于深度学习的聚类方法来实现对于大规模复杂数据的聚类，该方法可以将在原始数据空间相互交叠的数据通过非线性映射得到高度可分的特征空间，并可以利用类内约束通过迭代更新非线性映射网络以得到最佳聚类效果。本发明方法既解决了传统聚类方法无法解决的原始数据空间交叠状况下的聚类问题，也解决了最近提出的其他聚类方法大量消耗内存的问题，使得当前复杂的大数据背景下的聚类问题得到很好的解决。

发明内容

为了解决现有技术存在的问题，本发明的目的在于提供一种基于深度学习的聚类方法，本发明将样本从不易聚类的原始数据空间，通过深度神经网络的非线性映射，得到高度可分的特征用于聚类，并且可以不断优化网络结构得到更好的聚类效果，本发明以较小的内存消耗以及较高的聚类精度优于常规聚类算法。

本发明提出的一种基于深度学习的大规模聚类方法包括以下步骤：

步骤S1，对于一样本集合，得到深度神经网络的初始网络权重；

步骤S2，对所述样本集合中所有的样本进行随机分组，得到所述样本集合的初始聚类分组，并为每个样本分配初始聚类标签；

步骤S3，将所述样本集合中所有的样本通过所述深度神经网络映射到特征空间，并计算所有初始聚类分组的平均值，作为相应聚类分组的新的聚类中心；

步骤S4，将原始深度神经网络的目标函数加入特征层的类内约束函数，得到新的深度神经网络，使得每个聚类分组中的所有样本在特征层与所述新的聚类中心的距离最小；

步骤S5，利用所述步骤S4得到的新的深度神经网络更新其网络权重；

步骤S6，利用所述步骤S5得到的更新网络权重后的深度神经网络，计算得到新的特征层，并基于此与之前的所有聚类中心进行比较，将每个样本分配至与其距离最近的聚类中心所在的类组，并为每个样本分配新的聚类标签；

步骤S7，对于所述步骤S6中得到的新的聚类分组计算每个分组的均值作为新的聚类中心；

步骤S8，以所述步骤S7中得到的新的聚类中心代替所述步骤S4中类内约束函数的聚类中心；

步骤S9，返回所述步骤S5进行迭代，直到聚类效果达到最优或者满足迭代次数要求，得到并输出最终聚类分组结果。

根据本发明的方法，可以将样本从不易分类的原始数据空间通过深度神经网络的非线性映射将其投影至高度可分的特征空间，并通过在特征空间加入类内约束，使得特征空间的样本类内分布更加紧致，非常适合聚类。本发明既解决了传统聚类方法（如K均值）无法解决的非线性分布的数据聚类问题，也解决了谱聚类等方法的大内存消耗问题。

附图说明

图1是本发明基于深度学习的聚类方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明采用深度神经网络的非线性映射的方法进行聚类。传统的聚类主要包括空间映射，选取聚类中心并分组，更新聚类中心等三部分。在此基础上，本发明首先采用深度神经网络的非线性映射将原始数据映射至特征空间，然后在特征空间分组并计算每组均值作为聚类中心，在此基础上对深度神经网络的目标函数加入类内约束继续训练网络，最后利用训练好的网络将数据映射至特征空间并再次聚类，直到聚类效果达到最优。

图1是本发明基于深度学习的聚类方法的流程图，如图1所示，所述方法包括以下步骤：

步骤S1，对于一样本集合，利用深度神经网络进行训练得到所述深度神经网络的初始网络权重；

在本发明一实施例中，利用由四层约束玻兹曼机（RBM，RestrictedBoltzmannMachine）组成的深度神经网络进行训练得到初始网络权重，所述四层深度神经网络的网络结构可表示为N-1000-500-250-10，其中N表示样本维数，其实，所述深度神经网络的初始网络权重也可以随机给定。

其中，对于神经网络进行训练得到初始网络权重属于本领域的现有技术，在此不作赘述。

步骤S2，对所述样本集合中所有的样本进行随机分组，得到所述样本集合的初始聚类分组，并为每个样本分配初始聚类标签；

在本发明一实施例中，将所有的样本随机分为k组，得到每个样本的初始聚类标签L＝[l₁，l₂，…，l_N]，其中N表示样本的数量，l表示样本的聚类标签，即所属的类组，计算每类样本的均值，并通过所述初始网络权重得到对应的特征层表达作为初始的聚类中心C；

步骤S3，将所述样本集合中所有的样本通过所述深度神经网络映射到特征空间，并计算所有初始聚类分组的平均值，作为相应聚类分组的新的聚类中心；

该步骤意为对样本进行非线性映射，得到特征空间，形成适合聚类的分布。在本发明一实施例中，所述四层深度神经网络为自编码auto-encoder网络，所述自编码网络分为编码（encode）和解码（decode）两部分，其中编码部分的映射函数为f(x)，解码部分的映射函数为g(x)，其都是由高度非线性sigmoid函数组成的。

步骤S4，将原始深度神经网络的目标函数加入特征层的类内约束函数，得到新的深度神经网络，使得每个聚类分组中的所有样本在特征层与所述新的聚类中心的距离最小；

其中，加入特征层的类内约束函数的新的深度神经网络目标函数表示为：

$\min {\left|\right|X-X^{\′}\left|\right|}^2-\mathrm{\λ}\·{\mathrm{\Σ}}_{i=1}^N(f^t\left(x_i\right)-c^{*}),$

其中，c^*是对应样本x_i的在特征空间的聚类中心，X是输入样本的集合，X′＝g(f(x))，是输出样本的集合，λ为权重系数，f^t(x_i)为第t次迭代时第i个样本x_i在特征层的表达式，表示类内约束函数。

步骤S5，利用所述步骤S4得到的新的深度神经网络更新其网络权重，使得每个聚类分组内的样本分布更加紧致；

步骤S6，利用所述步骤S5得到的更新网络权重后的深度神经网络，计算得到新的特征层，并基于此与之前的所有聚类中心进行比较，将每个样本分配至与其距离最近的聚类中心所在的类组，并为每个样本分配新的聚类标签；

该步骤中，利用所述更新网络权重后的深度神经网络编码部分的映射函数f(x)来计算得到新的特征层。

步骤S7，对于所述步骤S6中得到的新的聚类分组计算每个分组的均值作为新的聚类中心；

步骤S8，以所述步骤S7中得到的新的聚类中心代替所述步骤S4中类内约束函数的聚类中心；

步骤S9，返回所述步骤S5进行迭代，直到聚类效果达到最优或者满足迭代次数要求，得到并输出最终聚类分组结果。

在本发明一实施例中，使用聚类的纯度（purity）和标准互信熵（NMI）

作为聚类分组的评价指标。

在应用本发明时，对于大型数据库，需要把所有的样本分为多个包（batch）分别按照上述方法进行聚类操作。

为了详细说明本发明的具体实施方式，接下来以某手写数字数据集为例进行说明。该数据集包含60000余张图像，分别包括0-9共10类不同的数字图像，每张图像大小为28*28。本发明能够对该数据库进行聚类，在无监督的情况下，可将样本准确地分为10类。具体步骤如下：

步骤S0，将数据集中的样本分为多个包batch，每个batch包含1000个样本；

步骤S1，将所述步骤S0中的每个batch输入到四层深度神经网络（由四层RBM组成，网络结构为28*28-1000-500-250-10）进行训练得到一网络结构，并利用此网络结构作为初始权重；

步骤S2，对所有的样本进行随机分组，得到初始的聚类分组，并为每个样本分配聚类标签；

步骤S3，将所有样本通过所述深度神经网络的编码部分（f(x)）映射到特征空间，并计算每一聚类分组的平均值，作为相应聚类分组的新的聚类中心；

步骤S4，在原始深度神经网络的目标函数中加入特征层的类内约束函数。

步骤S5，利用目标函数加入类内约束的深度神经网络更新所述网络结构，使得每个聚类分组内的样本分布更加紧致。

步骤S6，利用所述步骤S5得到的更新后的网络结构，利用编码部分的映射函数f(x)计算得到新的特征层，并依此与之前的10个聚类中心进行比较，将样本分配至距离最近的聚类中心所在的类组，并为每个样本分配新的聚类标签。

步骤S7，对所述步骤S6中得到的样本按新的聚类分组计算每个类组的均值作为新的聚类中心。

步骤S8，以所述步骤S7中得到的新的聚类中心代替所述步骤S4中类内约束函数的聚类中心。

步骤S9，返回所述步骤S5，直到网络结构和聚类效果达到最优（或者迭代次数epoch>50）。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的大规模聚类方法，其特征在于，该方法包括以下步骤：

步骤S1，对于一图像样本集合，得到深度神经网络的初始网络权重；

步骤S2，对所述图像样本集合中所有的样本进行随机分组，得到所述图像样本集合的初始聚类分组，并为每个样本分配初始聚类标签；

步骤S3，将所述图像样本集合中所有的样本通过所述深度神经网络映射到特征空间，并计算所有初始聚类分组的平均值，作为相应聚类分组的新的聚类中心；

步骤S4，将特征层的类内约束函数加入到原始深度神经网络的目标函数，得到新的深度神经网络，使得每个聚类分组中的所有样本在特征层与所述新的聚类中心的距离最小；

步骤S5，利用所述步骤S4得到的新的深度神经网络更新其网络权重；

步骤S6，利用所述步骤S5得到的更新网络权重后的深度神经网络，计算得到新的特征层，并基于此与之前的所有聚类中心进行比较，将每个样本分配至与其距离最近的聚类中心所在的类组，并为每个样本分配新的聚类标签；

步骤S7，对于所述步骤S6中得到的新的聚类分组计算每个分组的均值作为新的聚类中心；

步骤S8，以所述步骤S7中得到的新的聚类中心代替所述步骤S4中类内约束函数的聚类中心；

步骤S9，返回所述步骤S5进行迭代，直到聚类效果达到最优或者满足迭代次数要求，得到并输出最终聚类分组结果。

2.根据权利要求1所述的方法，其特征在于，所述深度神经网络为由四层约束玻兹曼机(RBM)组成的深度神经网络。

3.根据权利要求2所述的方法，其特征在于，所述深度神经网络的网络结构表示为N-1000-500-250-10，其中，N表示样本维数。

4.根据权利要求1所述的方法，其特征在于，所述步骤S1中，利用深度神经网络进行训练得到所述深度神经网络的初始网络权重，或者随机给定所述深度神经网络的初始网络权重。

5.根据权利要求1所述的方法，其特征在于，所述深度神经网络为自编码网络。

6.根据权利要求5所述的方法，其特征在于，所述自编码网络分为编码和解码两部分，其中编码部分的映射函数为f(x)，解码部分的映射函数为g(x)，其都是由高度非线性sigmoid函数组成的。

7.根据权利要求1所述的方法，其特征在于，所述步骤S2中，将所有的样本随机分为k组，得到每个样本的初始聚类标签L=[l₁,l₂,…,N]，其中N表示样本的数量，l表示样本的聚类标签。

8.根据权利要求1所述的方法，其特征在于，所述步骤S2中得到所述图像样本集合的初始聚类分组时，计算每类样本的均值，并通过所述初始网络权重得到对应的特征层表达作为初始的聚类中心C。

9.根据权利要求1所述的方法，其特征在于，加入特征层的类内约束函数的新的深度神经网络目标函数表示为：

$min\left|\right|X-X^{\′}|{|}^2-\mathrm{\λ}\·{\mathrm{\Σ}}_{i=1}^N\left(f^t\right(x_i)-c^{*}),$

其中，c*是对应样本x_i的在特征空间的聚类中心，X是输入样本的集合，X′=g(f(x))，是输出样本的集合，为权重系数，f^t(x_i)为第t次迭代时第i个样本x_i在特征层的表达式，表示类内约束函数。

10.根据权利要求1所述的方法，其特征在于，所述步骤S9中，使用聚类的纯度和标准互信熵作为聚类分组的评价指标。