CN107609596B - 无参数自动加权多图正则化非负矩阵分解及图像聚类方法 - Google Patents

Abstract

本发明提供了一种无参数自动加权多图正则化非负矩阵分解及图像聚类方法，其中，无参数自动加权多图正则化非负矩阵分解方法中包括：获取m个图像的图像数据；基于m个图像的图像数据构造q个最邻近图并计算相应的拉普拉斯算子图；根据计算得到的拉普拉斯算子图建立多图正则算子的目标函数；根据建立的多图正则算子的目标函数得到无参数自动加权正则项；根据得到的无参数自动加权正则项建立非负矩阵分解的目标函数；根据非负矩阵分解的目标函数得到两个非负矩阵的迭代式，完成多图正则化非负矩阵的分解。其不但可以为所有的邻域图自动分配一个合适的权值，而且消除了现有正则算子中的固定参数，使其更容易应用到实际问题中，大大扩展了应用领域。

Description

无参数自动加权多图正则化非负矩阵分解及图像聚类方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种无参数自动加权多图正则化非负矩阵分解及图像聚类方法。

背景技术

在图像处理，目标分类和内容检索等实际应用中，我们经常需要处理一些高维度数据。然而，传统的聚类和分类方法在低维数据特征空间上性能表现优异，但是它们在处理高维数据时其性能却出现了急剧下降。

几十年来，在数据表达和维度约简方法上，运用最广泛的是主成分分析和线性判别分析。但是，这两种方法都不能发现隐藏在数据中的几何流形结构。

目前，非负矩阵分解是一种非常有效的基于部分表示方法，因其在心理和生理上具有良好的解释性而被广泛应用。它假定每个数据样本都是一系列基的非负线性组合构成。在非负矩阵分解中，由于基向量的系数限定了只能非负，这个限制直接导致了数据的部分表示。但是，非负矩阵分解最主要的缺陷是在变换的数据空间里(如再生核希尔伯特空间)，非负矩阵分解是否能有效地发挥作用。

目前，由多图正则化的非负矩阵分解方法能挖掘数据中固有的几何流形结构信息而受到广泛地应用。该方法根据提供的多个拉普拉斯图的初值估计，赋予不同的权重，使其能逼近固有的几何结构信息。在多个标准图像数据集上的实验结果也证明了多图正则化非负矩阵分解算法的有效性。在实际应用中，该方法需要设置一个多图正则算子的正则化参数。但是，该参数在某个特定数据集上的值并不一定适合于其它出数据库。因此，当使用的数据发生变化时，多图正则算子的正则化参数也需要重新设定，非常的繁琐。

发明内容

针对上述问题，本发明提供了一种无参数自动加权多图正则化非负矩阵分解及图像聚类方法，有效解决现有技术中多图正则算子的正则化参数随数据的变化需要重新设定的技术问题。

本发明提供的技术方案如下：

一种无参数自动加权多图正则化非负矩阵分解方法，包括：

获取m个图像的图像数据；

基于所述m个图像的图像数据构造q个最邻近图并计算相应的拉普拉斯算子图；

根据计算得到的拉普拉斯算子图建立多图正则算子的目标函数；

根据建立的多图正则算子的目标函数得到无参数自动加权正则项；

根据得到的无参数自动加权正则项建立非负矩阵分解的目标函数；

根据所述非负矩阵分解的目标函数得到两个非负矩阵的迭代式，完成多图正则化非负矩阵的分解。

进一步优选地，在步骤根据计算得到的拉普拉斯图像建立多图正则算子的目标函数中，多图正则算子的目标函数具体为：

其中，Tr(·)为矩阵的迹，系数矩阵V∈R^n×k，L_i为第i个图像的拉普拉斯算子图；

在步骤根据建立的多图正则算子的目标函数得到无参数自动加权正则项中，得到的无参数自动加权正则项具体为：

其中，第i个图像的权值

进一步优选地，在步骤根据得到的无参数自动加权正则项建立非负矩阵分解的目标函数中，非负矩阵分解的目标函数具体为：

其中，X为邻域图的数据矩阵，α为正则化参数，τ_i为第i个图的权值，基矩阵U∈R^{m ×k}。

进一步优选地，在步骤根据所述非负矩阵分解的目标函数得到两个非负矩阵和权重的迭代式中，包括：

根据所述非负矩阵分解的目标函数建立拉格朗日函数L：

其中，Ψ＝[ψ_ik]，Φ＝[φ_ik]；

分别对基矩阵U和系数矩阵V求偏导，使用Karush-Kuhn-Tucker条件φ_jkν_jk＝0，分别得到基矩阵U和系数矩阵V的迭代式：

进一步优选地，在步骤分别对矩阵U和矩阵V求偏导，使用Karush-Kuhn-Tucker条件φ_jkν_jk＝0，得到两个非负矩阵的迭代式之后，还包括：

根据初始化权重、基矩阵U和系数矩阵V的迭代式及权重τ_i进行循环迭代；

循环达到预先设定的迭代次数t之后，输出基矩阵U和系数矩阵V，完成多图正则化非负矩阵的分解。

本发明还提供了一种图像聚类方法，包括：

从图像库中提m个图像，并构造q个最邻近图；

采用上述无参数自动加权多图正则化非负矩阵分解方法得到系数矩阵V；

利用k-means算法对系数矩阵V进行分析，完成图像聚类。

与传统的图像表示方法(如主成分分析、线性判别分析、非负矩阵分解等)相比，本发明提供的无参数自动加权多图正则化非负矩阵分解方法能有效找出图像数据中固有的流形结构信息，以体现数据的语义结构信息；

与传统的多图正则化的非负矩阵分解方法相比，本发明提供的无参数自动加权多图正则化非负矩阵分解方法不但可以为所有的邻域图自动分配一个合适的权值，而且消除了现有正则算子中的固定参数(β)，使其更容易应用到实际问题中，大大扩展了应用领域；

在计算复杂度上，本发明提供的无参数自动加权多图正则化非负矩阵分解方法所需要的运算次数与多图正则化的非负矩阵分解方法相差无几，并不需要额外的计算与时间。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对上述特性、技术特征、优点及其实现方式予以进一步说明。

图1为本发明中无参数自动加权多图正则化非负矩阵分解方法流程示意图；

图2为本发明中实例中数据库中包含物体种类图片。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

本发明提供了一种无参数自动加权多图正则化非负矩阵分解方法，该方法建立在非负矩阵分解和多图正则算子的基础之上，具体：

非负矩阵分解的目标是将一个非负的数据矩阵分解成两个非负矩阵的乘积。假设X＝[x₁,x₂,L,x_n]∈R^m×n是非负矩阵，其中X的每一列代表一个样本。非负矩阵分解的目的是寻找非负矩阵U∈R^m×k(基矩阵)和V∈R^n×k(系数矩阵)，使两个矩阵的乘积逼近原来的矩阵X。因此，在该方法中，采用欧几里德距离作为重建误差的度量标准，其目标函数可表示为：

其中||·||_F是Frobenius范式。

多图正则算子是利用多个邻域图的线性组合来揭露了隐藏在数据中固有的流形结构信息。从数学方面来看，将其表示成如下优化问题：

其中Tr(·)是矩阵的迹，τ＝[τ₁,τ₂,L,τ_q]是权重向量，q是邻域图的个数，β||τ||²是正则项(用于避免参数τ对一个独立的图过度拟合。

基于此，如图1所示，在本发明提供的无参数自动加权多图正则化非负矩阵分解方法中包括：

S10获取m个图像的图像数据；

S20基于m个图像的图像数据构造q个最邻近图并计算相应的拉普拉斯算子图；

S30根据计算得到的拉普拉斯算子图建立多图正则算子的目标函数；

S40根据建立的多图正则算子的目标函数得到无参数自动加权正则项；

S50根据得到的无参数自动加权正则项建立非负矩阵分解的目标函数；

S60根据非负矩阵分解的目标函数得到两个非负矩阵的迭代式，完成多图正则化非负矩阵的分解。

虽然MGR可以为多个最近邻图自动分配合适的权重，但是不可能寻找一个合适的固定的值τ适合于所有的数据集，为了解决这一技术问题，我们根据计算得到的拉普拉斯图像得到多图的总体框架：

其中，Tr(·)为矩阵的迹，系数矩阵V∈R^n×k，L_i为第i个图像的拉普拉斯算子图。

之后，根据式(3)建立拉格朗日函数：

其中，Λ为拉格朗日乘数，

为约束项。

之后，对对式(4)中的拉格朗日函数中的V求偏导，并另其为0，可得：

其中，

如果固定参数τ_i，那么式子(5)可以被转化为如下问题：

以此得到无参数自动加权正则项。

由于非负矩阵分解不能发现数据潜在的流形结构，因此我们采用式(7)中的无参数自动加权正则算子对非负矩阵分解进行约束，建立得到无参数自动加权多图正则化非负矩阵分解方法的目标函数：

其中，α为正则化参数，τ_i为第i个图的权值。具体来说，正则化参数由实际需求而定，如设定为10^-2、10^-1、10⁰、10¹、10²等，这里不做具体限定。在一实例中，将正则化参数α设定为10¹。

由该目标函数不是矩阵U和V同时为变量的凸函数，因此不可能找到一个共同的最优解。但是，我们通过乘性迭代方法能找到一个局部最小值。根据矩阵的特征属性，目标函数(8)可表示为：

因为U>0，V>0，且由于u_ik≥0，v_jk≥0的约束，这里引入Ψ＝[ψ_ik]，Φ＝[φ_ik]，因此拉格朗日函数L可表示为：

其中，Ψ＝[ψ_ik]，Φ＝[φ_ik]。

之后，对基矩阵U求偏导：

使用Karush-Kuhn-Tucker(KKT)条件φ_jkν_jk＝0，得到：

-(XV)_iku_ik+(UV^TV)_iku_ik＝0 (12)

以此得到基矩阵U的迭代式：

之后对系数矩阵V求偏导：

使用Karush-Kuhn-Tucker(KKT)条件φ_jkv_jk＝0，得到：

以此得到系数矩阵V的迭代式

此外，为了给每个最近邻图寻找一个合适的权值，在每次迭代过程中系数τ_i均需要进行更新。根据式(5)，τ_i的更新迭代规则具体为：

由上式可知，参数τ_i的值取决于变量V。以此，只要获取了最新的V值，就能通过式(17)计算得到权重τ_i的值。

本发明还提供了一种图像聚类方法，具体在该图像聚类方法中包括：从图像库中提m个图像，并构造q个最邻近图；采用上述无参数自动加权多图正则化非负矩阵分解方法得到系数矩阵V；利用k-means算法对系数矩阵V进行聚类，完成图像聚类分析。具体，该图像聚类方法除了可以应用于正常的图片聚类之外，可以应用于人脸图像聚类等。

在一实例中，数据库中包括如图2(其中的灰度无实际含义)所示20个物体的1440张图片，随机从每个2类，每个类别中包括50张图片，采用上述无参数自动加权多图正则化非负矩阵分解方法进行分解得到系数矩阵V，并计算其与数据库中其他图像之间的距离，将距离最近的图片作为聚类结果。实验结果表面，采用本发明提供的图像聚类方法的平均准确率为80.6±6.6％，采用多图正则化的非负矩阵分解方法的平均准确率为78.9±6.6％，采用非负矩阵分解方法的平均准确率则为72.4±7.0％，可以看出，采用本发明提供的方法一定程度上提高了图像准确率；此外，在本发明中，不但可以为所有的邻域图自动分配一个合适的权值，而且消除了现有正则算子中的固定参数β(现有技术中，每次有新的应用都需要手动调整该参数值)，使其更容易应用到实际问题中，大大扩展了应用领域，节约人力。

应当说明的是，上述实施例均可根据需要自由组合。以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种无参数自动加权多图正则化非负矩阵分解方法，其特征在于，所述无参数自动加权多图正则化非负矩阵分解方法中包括：

获取m个图像的图像数据；

基于所述m个图像的图像数据构造q个最邻近图并计算相应的拉普拉斯算子图；

根据计算得到的拉普拉斯算子图建立多图正则算子的目标函数；

根据建立的多图正则算子的目标函数得到无参数自动加权正则项；

根据得到的无参数自动加权正则项建立非负矩阵分解的目标函数；

根据所述非负矩阵分解的目标函数得到两个非负矩阵的迭代式，完成多图正则化非负矩阵的分解；

在步骤根据计算得到的拉普拉斯图像建立多图正则算子的目标函数中，多图正则算子的目标函数具体为：

其中，Tr(·)为矩阵的迹，系数矩阵V∈R^n×k，L_i为第i个图像的拉普拉斯算子图；

在步骤根据建立的多图正则算子的目标函数得到无参数自动加权正则项中，得到的无参数自动加权正则项具体为：

其中，第i个图像的权值

2.如权利要求1所述的无参数自动加权多图正则化非负矩阵分解方法，其特征在于，在步骤根据得到的无参数自动加权正则项建立非负矩阵分解的目标函数中，非负矩阵分解的目标函数具体为：

其中，X为邻域图的数据矩阵，α为正则化参数，τ_i为第i个图的权值，基矩阵U∈R^m×k。

3.如权利要求2所述的无参数自动加权多图正则化非负矩阵分解方法，其特征在于，在步骤根据所述非负矩阵分解的目标函数得到两个非负矩阵和权重的迭代式中，包括：

根据所述非负矩阵分解的目标函数建立拉格朗日函数L：

其中，Ψ＝[ψ_ik]，Φ＝[φ_ik]；

分别对基矩阵U和系数矩阵V求偏导，使用Karush-Kuhn-Tucker条件φ_jkν_jk＝0，分别得到基矩阵U和系数矩阵V的迭代式：

4.如权利要求3所述的无参数自动加权多图正则化非负矩阵分解方法，其特征在于，在步骤分别对矩阵U和矩阵V求偏导，使用Karush-Kuhn-Tucker条件φ_jkν_jk＝0，得到两个非负矩阵的迭代式之后，还包括：

根据初始化权重、基矩阵U和系数矩阵V的迭代式及权重τ_i进行循环迭代；

循环达到预先设定的迭代次数t之后，输出基矩阵U和系数矩阵V，完成多图正则化非负矩阵的分解。

5.一种图像聚类方法，其特征在于，所述图像聚类方法中包括：

从图像库中提m个图像，并构造q个最邻近图；

采用如权利要求1-4任意一项所述的无参数自动加权多图正则化非负矩阵分解方法得到系数矩阵V；

利用k-means算法对系数矩阵V进行分析，完成图像聚类。

Images