CN109325515B - 基于局部学习正则化的深度矩阵分解方法及图像聚类方法 - Google Patents

Abstract

本发明提供了一种基于局部学习正则化的深度矩阵分解方法及图像聚类方法，其中，在深度矩阵分解方法中包括：S10根据待聚类图片获取数据矩阵Y；S20基于数据矩阵Y构建目标函数：S30根据目标函数C^**，使用迭代加权的方法，输出基矩阵N_i和系数矩阵M_i，完成对数据矩阵Y的分解。与传统的严格意义上的绝对非负矩阵分解相比，不仅通过深度半非负矩阵分解精准高效地完成了数据的分类，同时将部分属性信息进行合并，实现了对各个区域的预测代价最小化。

Description

基于局部学习正则化的深度矩阵分解方法及图像聚类方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于局部学习正则化的深度矩阵分解方法及图像聚类方法。

背景技术

在很多情况下，为了处理数据的分类和聚类问题，我们常常面临着处理高维数据的难题。这类问题的常规解决方法是将高维数据低维化，即建立某种数据表示方法，用低维数据近似表示高维数据。常用的数据表示方法主要分为两类：一类是线性表示方法，另一类是非线性表示方法。对于线性表示方法来说，只要求采样数据所在的低维流形是线性即可，具有使用简单的特点，但在对原始数据进行线性分解时，常常会忽略甚至丢失各种模型的潜在的属性之间的可能存在的非线性关系，进而无法处理新的样本。对于非线性表示方法来说，其通过引入不同层之间的非线性函数，可以从初始输入空间中对模型的潜在属性进行较高精度和更高准确度地提取特征，并同时保证数据的几何流形结构，从而确保忠于原始数据集，保证较多的有效信息和特征的同时，增加了数据的使用效率。

近来，稀疏编码(SC)渐渐地在图像处理、目标分类、语言信号等领域普及，其原理是将少量的训练样本表示测试样本，从而达到将表达系数稀疏化的目的。一种常用的稀疏编码的方法是非负矩阵分解，通过将绝对的非负矩阵分解成两个绝对非负矩阵的乘积的形式。但是严格意义上的非负矩阵很难满足数据的多属性性质所要求的层次结构，在实际应用中局限性较大。

发明内容

针对上述问题，本发明提供了一种基于局部学习正则化的深度矩阵分解方法及图像聚类方法，有效解决现有非负矩阵难以满足数据的多属性性质所要求的层次结构的技术问题。

本发明提供的技术方案如下：

一种基于局部学习正则化的深度矩阵分解方法，包括：

S10根据待聚类图片获取数据矩阵Y；

S20基于所述数据矩阵Y构建目标函数：

其中，Y＝[y₁,y₂,…,y_N]，其中，Y_j＝y_j,j＝1,2,…,N，j表示对数据矩阵Y观测的次数，N表示对数据矩阵Y观测的总次数；m为数据矩阵Y的维度；

表示不限制内部正负的基矩阵，其中，i＝1,2,…,m，对应重建的层数；M_m表示第m层基矩阵

对应的系数；D＝(Q-E)(Q-E)，Q表示数据矩阵Y对应图片的最邻近图，且Q＝(V,E)，V＝Y，E是一个X×X子集；

S30根据目标函数C^**，使用迭代加权的方法，输出基矩阵N_i和系数矩阵M_i，完成对数据矩阵Y的分解。

进一步优选地，在步骤S30中包括，目标函数C^**对基矩阵N_i求偏导，得到基矩阵N_i的更新迭代式：

其中，ψ＝N₁...N_i-1，

代表Moore-Penrose伪逆，

代表对第i层的重建。

进一步优选地，在步骤S30中还包括，根据数据矩阵Y中m层的数据分解过程，得到系数矩阵M_i的更新迭代式：

其中，[M]^pos表示矩阵中所有负元素都被0替换，[M]^neg表示矩阵中所有正元素都被0替换。

本发明还提供了一种图像聚类方法，包括：

S1从图像库中提取出m个图像，并构造Q个最邻近图；

S2采用如权利要求1-3任意一项所述的深度矩阵分解方法得到系数矩阵M_i；

S3利用k-means算法对系数矩阵M_i进行分析，完成图像聚类。

本发明提供的基于局部学习正则化的深度矩阵分解方法及图像聚类方法，与传统的严格意义上的绝对非负矩阵分解相比，不仅通过深度半非负矩阵分解精准高效地完成了数据的分类，同时将部分属性信息进行合并，实现了对各个区域的预测代价最小化；此外，该深度矩阵分解方法不仅可以保持原始数据的流形结构和鉴别结构，而且还能够高效地利用数据集，提取更为潜在的数据属性和特征。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对上述特性、技术特征、优点及其实现方式予以进一步说明。

图1为本发明中基于局部学习正则化的深度矩阵分解方法流程示意图；

图2为本发明中图像聚类方法流程示意图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

对于深度半非负矩阵分解(Deep Semi-NMF)来说，是将给定的不限制内部元素正负的原始数据集矩阵Y^±分解成(m+1)个因子，使这(m+1)个因子的乘积尽可能与原始数据集矩阵Y^±近似相等。在系数矩阵非负的限制下，深半非负矩阵正则化尽可能保持信息不变，将高维的随机模式简化为低维的随机模式，简化的基础是估计出数据中的本质结构Y^±。因此，从维数简约的角度，由于基矩阵N^±和系数矩阵M^±同时由原始数据矩阵确定，系数矩阵M^±并非是原始数据矩阵Y^±在基矩阵N^±上的投影，故深度半非负矩阵分解的根本方法是非线性的维数约简。对一个m维的随机变量Y，进行N次观测，分别将这些观测记为Y_j，j＝1,2,…,N，令Y＝[y₁,y₂,...y_n]，其中，Y_j＝y_j，j＝1,2,…,N，求出m个不限制内部元素正负的基矩阵N^±＝[n₁,n₂,…,n_N]和非负系数矩阵M^±＝[e₁,e₂,...e_N]，使得满足式(1)：

为了减少模式全部重建的错误，建立了如式(2)的损失函数，即目标函数C_deep：

其中，||·||_F表示弗罗贝尼乌斯范数。以此，对于深度半非负矩阵的分解，转化为目标函数C_deep的最小化问题。

由于其中包括m层结构，具体的分解过程如式(3)：

对式(3)进行变形得到式(4)：

通过式(4)进一步限制这些隐含的表示

也是非负的，且任意一层的表示层都适合一个聚类解释。

虽然其是稀疏编码常用的分解方法，但是严格意义上的非负矩阵很难满足数据的多属性性质所要求的层次结构，在实际应用中局限性较大。因此，本申请中提出了一种基于局部学习正则化的深度矩阵分解方法，不仅可以精准高效地完成了数据的分类，同时可以将部分属性信息进行合并，实现对各个区域的预测代价最小化。如图1所示，在该分解方法中包括：

S10根据待聚类图片获取数据矩阵Y。

S20基于数据矩阵Y构建由深半非负矩阵正则化的目标损失函数和局部学习正则化的预测损失函数两部分构成的目标函数：

其中，Y＝[y₁,y₂,…,y_N]，其中，Y_j＝y_j,j＝1,2,…,N，j表示对数据矩阵Y观测的次数，N表示对数据矩阵Y观测的总次数；m为数据矩阵Y的维度；

表示不限制内部正负的基矩阵，其中，i＝1,2,…,m，对应重建的层数；M_m表示第m层基矩阵

对应的系数；D＝(Q-E)(Q-E)，Q表示数据矩阵Y对应图片的最邻近图，且Q＝(V,E)，V＝Y，E是一个X×X子集。

在该步骤中，假定

以下对其由来进行说明：

对于任意一个数据点Y_i,使用T(Y_i)表示它周围的点。通过建立预测函数

来预测

的类标签，其中，l代表第l簇，i代表在y_i的临近点内进行训练，将式(6)表示的预测函数最小化：

其中，

P是正定核函数，

是膨胀系数，其中，

是Y_i的邻域上定义的核矩阵，

是指向量[p(y_i,y_j)]^T，y_j∈T(y_i)。

通过局部学习正则化技术，可以用监督式学习的办法解决无监督式问题。因此，局部学习正则化方法的目标函数如(6)式所示，默认ω₁＝...＝ω_n＝ω，n₁＝n₂＝...＝n_n＝b，根据Representor Theorem定理可得式(7)：

将式(7)代入式(6)，可得到函数的变形式(8)：

限定

得到式(9)：

其中，矩阵E代表单位矩阵，且满足：

将(9)式代入(6)式中得到式(10)：

其中，

将所有的预测组合在一起并将预测错误最小化：

之后引入最近邻图，对于任意的特征向量y_j∈Y，若其近邻图T(y_i)在Y中首次被发现，则可将Y作为其中的一个最近邻图。以此这里根据用户特定的度量，从数据集Y，Y＝{Y₁,...,Y_n}，Y_i∈R^d，构造的最近邻图Q(一个节点连接到C个最近邻居)是一个有向图，其中Q＝(V,E)是一个有向图，其中V＝X，E是一个X×X子集，并且(x_i,x_j)∈E，则N_k(x_i,Q)在图形Q上是x_i的C个近邻。构造图Q，Q∈R^n×n，当y_j∈T(y_i)时，Q_ij＝γ_ij；否则，Q_ij＝0。将(10)式代入(11)式，令D＝(Q-E)(Q-E)(E是单位矩阵)，得到预测代价函数式(12)：

其中，e^l是矩阵M的第l行。

S30根据目标函数C^**，使用迭代加权的方法，输出基矩阵N_i和系数矩阵M_i，完成对数据矩阵Y的分解。

具体，在该步骤中，对C^**求偏导时，考虑到(13)式中的第二项

对N_i的偏导数为常数0，所以只需通过利用等式

便可以得到基矩阵的N_i更新迭代规则：

其中，ψ＝N₁...N_i-1，

代表Moore-Penrose伪逆，

代表对第i层的重建。

根据数据矩阵Y中m层的数据分解过程(与式(4)同理)，得到系数矩阵M_i的更新迭代式：

其中，[M]^pos表示矩阵中所有负元素都被0替换，[M]^neg表示矩阵中所有正元素都被0替换，可以通过式(15)实现：

[ψ^Tψ]^neg和[ψ^Tψ]^neg也可以通过相同的方式加以实现。

基于基矩阵N_i和系数矩阵M_i的迭代式，循环迭代m次得到更新的基矩阵和系数矩阵。

本发明还提供了一种图像聚类方法，如图2所示，在该图像聚类方法中包括：S1从图像库中提取出m个图像，并构造Q个最邻近图；S2采用上述深度矩阵分解方法得到系数矩阵M_i；S3利用k-means算法对系数矩阵M_i进行分析，完成图像聚类。具体，该图像聚类方法除了可以应用于正常的图片聚类之外，可以应用于人脸图像聚类等。

应当说明的是，上述实施例均可根据需要自由组合。以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通相关人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (1)

1.一种图像聚类方法，其特征在于，所述图像聚类方法中包括：

S1从图像库中提取出m个图像，并构造Q个最邻近图；

S2采用深度矩阵分解方法得到系数矩阵M_i；

S3利用k-means算法对系数矩阵M_i进行分析，完成图像聚类；

深度矩阵分解方法中包括：

S10根据待聚类图片获取数据矩阵Y；

S20基于所述数据矩阵Y构建目标函数：

其中，Y＝[y₁,y₂,…,y_N]，其中，Y_j＝y_j,j＝1,2,…,N，j表示对数据矩阵Y观测的次数，N表示对数据矩阵Y观测的总次数；m为数据矩阵Y的维度；N_m表示第m层基矩阵，其中，m是重建的层数；M_m表示第m层基矩阵

对应的系数矩阵；M_m表示第m层基矩阵

对应的系数矩阵，D＝(Q-E)(Q-E)，Q表示数据矩阵Y对应图片的最邻近图，且Q＝(V,E)，V＝Y，E是一个X×X子集；

S30根据目标函数C^**，使用迭代加权的方法，输出基矩阵N_i和系数矩阵M_i，完成对数据矩阵Y的分解；

在步骤S30中包括，目标函数C^**对基矩阵N_i求偏导，得到基矩阵N_i的更新迭代式：

其中，ψ＝N₁...N_i-1，

代表Moore-Penrose伪逆，

代表对第i层的重建；

在步骤S30中还包括，根据数据矩阵Y中m层的数据分解过程，得到系数矩阵M_i的更新迭代式：

其中，[M]^pos表示矩阵中所有负元素都被0替换，[M]^neg表示矩阵中所有正元素都被0替换。

Images