CN112488187B - 一种基于核二维岭回归子空间聚类的图像处理方法 - Google Patents

Abstract

本发明公开了一种基于核二维岭回归子空间聚类的图像处理方法，包括以下步骤：S1.对于数据集

中的每一个样本采用岭回归模型寻求数据的低维表示；S2.引入一个投影矩阵p，将数据投影到多个子空间中，从而得到数据信息最丰富的二维特征；S3.引入核方法，充分考虑数据的非线性结构,建立了一个非线性模型；S4.提出一个交替最小化算法来进行优化：交替进行求解，对一个变量进行求解的时候，保持其他变量不变，重复这个过程直到收敛；S5.利用谱聚类的方法对系数矩阵Z进行聚类，得到最终的聚类结果。本发明中特征学习和低维表示构造相结合且相互增强，引入了核方法，提高了模型的非线性关系捕获能力，有助于提高图像处理的准确性。

Description

一种基于核二维岭回归子空间聚类的图像处理方法

技术领域

本发明属于图像模式识别领域，特别是提出一种基于核二维岭回归子空间聚类的图像处理方法。

背景技术

近年来，子空间聚类方法得到了广泛的研究，其中基于谱聚类的方法是最常用的。当数据是二维(2D)的，即每个数据样本都是一个矩阵时，现有的子空间聚类方法通常将它们转换为一维向量。LRR和SSC的基本思想是数据的自我表达，这意味着数据可以相对于数据本身的字典来表示。根据表示矩阵的特殊结构要求，LRR和SSC的学习表示矩阵具有低秩性和稀疏性。在理想情况下，这种低秩或稀疏结构清楚地显示了数据的组信息。因研究秩近似的核范数不精确，使LRR学习数据精确结构的能力降低。为了克服这一缺点，最近人们提出了各种更精确的秩函数非凸逼近，如对数行列式秩逼近，这显著地改善了学习性能。研究表明特征学习对子空间聚类的重要性，寻求在潜在的低维空间中的数据的稀疏表示，从而得到数据信息最丰富的特征。为了考虑数据的非线性结构，人们尝试了各种方法。例如，在LRR中引入了grpah Laplacian算子，分别在LRR和SSC中引入了核函数，在非线性特征空间中寻求数据的稀疏表示。这些方法在二维数据的预处理阶段进行向量化的操作，严重损失了数据的结构信息。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于核二维岭回归子空间聚类的图像处理方法，直接使用原始的二维数据而不是矢量化的数据作为输入，学习表示从数据的二维信息中获得，这有助于提高图像处理的准确性。

本发明的目的是通过以下技术方案来实现的：一种基于核二维岭回归子空间聚类的图像处理方法，包括以下步骤：

S1.设待处理的图像共n张，对于每张待处理的图像，将其每个像素点上所对应的灰度值存储在二维矩阵的相应位置上，这就形成该图像对应的样本，n张图像共形成n个样本，组成数据集

对于一个数据集

中每一个样本X_i∈R^a*b,采用如下的岭回归模型寻求数据的低维表示：

其中

是Forbenius范数，γ是一个平衡参数；X_i为数据集的第i个样本，X_j为数据集的第j个样本，Z表示系数矩阵,若X_i∈R^a*b，则Z∈R^b*b，z_ji表示Z矩阵的第j行第i列；R^a*b代表矩阵大小为a行b列，R^b*b代表矩阵大小为b行b列；

表示在系数矩阵Z的基础上求最小值；

S2.引入一个投影矩阵p，将数据投影到多个子空间中，从而得到数据信息最丰富的二维特征；

对于每个样本X_i，将其投影到子空间得到为X_ipp^T；单一的投影向量往往不能满足要求，因为数据的主要信息可能存在于几个不同的子空间中，则需要多个投影方向，投影矩阵为p＝[p₁,p₂,p₃,...,p_r]∈R^b*r，p^Tp＝I_r其中I_r是大小为r的单位矩阵，在投影矩阵p扩张的正交子空间中包含数据信息最丰富的二维特征，这有助于更好地理解数据，本发明中投影学习和表示构造相互结合且相互增强，从而产生强大的表示，加上投影矩阵p后模型如下：

其中，λ，γ是平衡参数；

在系数矩阵Z以及p^Tp＝I_r成立的前提下求最小值；I_r表示r*r的单位矩阵；

S3.引入核方法，充分考虑数据的非线性结构，建立了一个非线性模型如下：

Φ()为非线性映射，采用核函数实现，用于将数据从原始空间映射到高维特征空间；核函数的选择可以为径向基核函数(Radial Basis Function)或者多项式核函数(Polynomial kernel function)等；引入核方法，即在步骤S2得到的模型中，将X_i映射为Φ(X_i)，将X_j映射为Φ(X_j)，作用是使得线性空间中非线性可分的数据映射到高维空间中，使得这些数据在非线性空间中线性可分，从而得到上述的非线性模型；

S4.采用交替最小化算法来对系数矩阵Z和投影矩阵p进行优化，交替优化过程中，对一个变量进行求解时，保持另一个变量不变，最终得到优化后的系数矩阵Z和投影矩阵p；

所述步骤S4包括：

S401.根据步骤S3中得到的非线性模型，确定系数矩阵Z和投影矩阵p的优化方式：

A、交替优化过程中，固定z优化p时，由于z已经固定，故实际优化过程中

为常量，得到对应的优化方式：

B、交替优化过程中，固定p优化关于z时，由于p已经固定，故

为常量，得到对应的优化方式:

S402.系数矩阵Z是通过优化目标函数值得到的；初始化Z、p为全零矩阵，Z的大小为R^b*b，具体优化过程如下

重复以下过程直到收敛，具体优化目标函数值过程如下：

(1)输入样本X、参数λ、γ收敛公差ε和最大迭代次数t_max；

(2)初始化状态：z⁰，p⁰，t＝0；z⁰与Z矩阵行数与列数相同，p⁰矩阵与投影矩阵p行数与列数相同，且z⁰，p⁰均为全零矩阵；

(3)创建核矩阵，核矩阵中第i行第j列的元素为

(4)按照步骤S401中的方法固定z^t，对投影矩阵进行优化，并利用优化后的结果对投影矩阵进行更新得到p^t+1；

(5)按照步骤S401中的方法p^t+1，对系数矩阵进行优化，并利用优化后的结果对系数矩阵进行更新得到z^t+1；

(6)令t＝t+1；

(7)重复(4)和(5)直到t＞t_max或者目标函数值收敛后进入(8)，其中目标函数值收敛是指：相邻两次更新得到的系数矩阵之差的绝对值小于收敛公差ε；

(8)将更新得到的z和p对外输出，即优化后的系数矩阵Z和投影矩阵p。

S5.利用谱聚类的方法对系数矩阵Z进行聚类，得到最终的聚类结果。

本发明的有益效果是：本发明中投影学习和表示构造相结且相互增强，从而产生强大的表示。并引入了二维核方法，提高模型的非线性关系捕获能力，有助于提高图像处理的准确性。

附图说明

图1为本发明的方法流程图；

图2是Jaffe数据在聚类准确度，交互信息以及纯度上的和现在常用五种聚类方法的对比示意图；

图3是Jaffe和Alphadigit数据的目标值收敛曲线示意图；

图4是Jaffe数据上学习的表示矩阵Z(在顶部)和构造的亲和矩阵A(在底部)示意图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

当数据是二维(2D)的，即每个数据样本都是一个矩阵时，现有的子空间聚类方法通常将它们转换为一维向量，该策略虽然被广泛采用，但严重破坏了原始二维数据的固有结构信息和关系。为了克服这一缺点，本申请直接使用原始的二维数据而不是矢量化的数据作为输入，因此，学习表示从数据的二维信息中获得。特别地，本发明中投影学习和表示构造相互结合且相互增强，从而产生强大的表示，具体方案如下:

如图1所示，一种基于核二维岭回归子空间聚类的图像处理方法，包括以下步骤：

S1.设待处理的图像共n张，对于每张待处理的图像，将其每个像素点上所对应的灰度值存储在二维矩阵的相应位置上形成该图像对应的样本，n张图像共形成n个样本，组成数据集

对于一个数据集

中每一个样本X_i∈R^a*b,采用如下的岭回归模型寻求数据的低维表示：

其中

是Forbenius范数，γ是一个平衡参数；X_i为数据集的第i个样本，X_j为数据集的第j个样本，Z表示系数矩阵,若X_i∈R^a*b，则Z∈R^b*b，z_ji表示Z矩阵的第j行第i列；R^a*b代表矩阵大小为a行b列，R^b*b代表矩阵大小为b行b列；

表示在系数矩阵Z的基础上求最小值。

S2.本发明与现有方法对二维数据进行预处理的方法不同，为了保留数据在学习过程中固有的结构信息，我们引入了一个投影矩阵p，它将数据投影到多个子空间中，从而得到数据信息最丰富的二维特征。然而在实际应用中，单一的投影向量往往不能满足要求，因为数据的主要信息可能存在于几个不同的子空间中，这就需要多个投影方向。投影矩阵为p＝[p₁,p₂,p₃,...,p_r]∈R^b*r，p^Tp＝I_r其中I_r是大小为r的单位矩阵，在投影矩阵p扩张的正交子空间中包含数据信息最丰富的二维特征，这有助于更好地理解数据，本发明中投影学习和表示构造相结合且相互增强，从而产生强大的表示。具有投影数据的表示如下：

其中，λ，γ是平衡参数；

在系数矩阵Z以及p^Tp＝I_r成立的前提下求最小值；I_r表示r*r的单位矩阵；

模型中的投影会执行降维，给出以下两种观点：

(1)原始示例的大小为a×b，而投影将示例的大小减小到a×r；

(2)原始的例子有c＝min{a，b}2D特征；通过投影，在构造数据表达矩阵Z的过程中只使用了r个特征；将2D要素的数量视为维，因此，投影实际上提取了数据信息最丰富的二维特征并进行尺寸缩小。

S3.在现实问题中，数据的非线性关系经常存在，本发明充分考虑了数据的非线性结构，在我们的模型引入了核方法，建立了一个非线性模型如下：

Φ()为非线性映射，采用核函数实现，用于将数据从原始空间映射到高维特征空间；核函数的选择可以为径向基核函数(Radial Basis Function)或者多项式核函数(Polynomial kernel function)等；引入核方法，即在步骤S2得到的模型中，将X_i映射为Φ(X_i)，将X_j映射为Φ(X_j)，作用是使得线性空间中非线性可分的数据映射到高维空间中，使得这些数据在非线性空间中线性可分，从而得到上述的非线性模型；Φ(X_i)和Φ(X_j)的相似性<Φ(X_i),Φ(X_j)>可以通过相应的核函数进行计算。

S4.对于优化部分，我们将提出一个交替最小化算法来优化系数矩阵Z和投影矩阵p。具体来说，交替进行求解对一个变量进行求解的时候，保持其他变量不变，重复这个过程直到收敛。

S5.利用谱聚类的方法对系数矩阵Z进行聚类，得到最终的聚类结果。在本申请中谱聚类方法采用K-means算法。

在本申请的实施例中，我们进行了广泛的实验以验证该算法的有效性，特别是，我们将我们的方法与几种最新的子空间聚类算法，包括LRR，LapLRR，SCLA，SSC和S3C进行对比。实验采用了三个评估指标，包括聚类准确性(Accuracy)，标准化互信息(NMI)和纯度(Purity)。图二是Jaffe数据(10位不同个体带来7种面部表情，收集了213张图像)在聚类准确度，交互信息以及纯度上的和现在常用五种聚类方法的对比示意图，通过示意图可以很清楚的看到我们的算法在Jaffe这个数据集上具有很好的效果，在所有的情况下都表现了最好的性能。

为了更好地理解这种算法的收敛性，我们通过实例证明了算法的收敛性。在这个实验中中，我们使用Jaffe和Alphadigit数据集作为例证，并迭代算法50次。我们在图3中绘制了目标函数值随迭代次数的增加而产生的变化曲线，结果表明，该算法在几次迭代内收敛。

为了表明了该算法的有效性。为了更好地理解该方法的聚类行为，在这个实验中，我们直观地展示了学习表示矩阵Z的一些例子，我们展示了Jaffe数据集上的矩阵，其中我们考虑了类数为7、8、9、10的情形。我们在图4中直观地显示了这些矩阵。结果表明，学习后的表示矩阵具有明显的块对角结构，清晰地显示了数据的组信息,从而使结构化效果更加明显。

在本申请的实施例中，对于YaleB15数据集它包含165张15人的灰度图像，每人有11张大小为32×32的图像，放入我们的模型中：

对模型进行优化：

在申请中，提出一种交替的最小化算法以对其进行优化。具体来说，交替进行求解，对一个变量进行求解的时候，保持其他变量不变，重复这个过程直到收敛。

固定z优化关于p的子问题：

固定p优化关于z的子问题:

我们重复直到程序收敛。具体优化过程如下：

(1)输入样本X,参数λγ收敛公差ε和最大迭代次数t_max；

(2)初始化状态：z⁰ p⁰ t＝0；

(3)创建核矩阵

(4)固定z^t更新p^t+1；

(5)固定p^t+1更新z^t+1；

(6)t＝t+1；

(7)重复(4)和(5)直到t＞t_max或者目标函数值收敛；

(8)输出z和p；

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种基于核二维岭回归子空间聚类的图像处理方法，其特征在于：包括以下步骤：

S1.设待处理的图像共n张，对于每张待处理的图像，将其每个像素点上所对应的灰度值存储在二维矩阵的相应位置上，形成该图像对应的样本；n张图像共形成n个样本，组成数据集

对于一个数据集

中每一个样本X_i∈R^a*b,采用如下的岭回归模型寻求数据的低维表示：

其中

是Forbenius范数，γ是一个平衡参数；X_i为数据集的第i个样本，X_j为数据集的第j个样本，Z表示系数矩阵，若X_i∈R^a*b，则Z∈R^b*b，z_ji表示Z矩阵的第j行第i列；R^a*b代表矩阵大小为a行b列，R^b*b代表矩阵大小为b行b列,

表示在系数矩阵Z的基础上求最小值；

S2.引入一个投影矩阵p，将数据投影到多个子空间中，从而得到数据信息最丰富的二维特征，加入投影后的模型表示如下：

其中，λ，γ是平衡参数；

在系数矩阵Z以及p^Tp＝I_r成立的前提下求最小值；I_r表示r*r的单位矩阵；

S3.引入核方法，充分考虑数据的非线性结构，建立了一个非线性模型如下：

Φ()为非线性映射，采用核函数实现，用于将数据从原始空间映射到高维特征空间；引入核方法，即在步骤S2得到的模型后，采用核函数将X_i映射为Φ(X_i)，将X_j映射为Φ(X_j)，从而得到上述的非线性模型；

S4.采用交替最小化算法来对系数矩阵Z和投影矩阵p进行优化，交替优化过程中，对一个变量进行求解时，保持另一个变量不变，最终得到优化后的系数矩阵Z和投影矩阵p；

S5.利用谱聚类的方法对系数矩阵Z进行聚类，得到最终的聚类结果。

2.根据权利要求1所述的一种基于核二维岭回归子空间聚类的图像处理方法，其特征在于：所述步骤S2包括：

对于每个样本X_i，将其投影到子空间得到为X_ipp^T；单一的投影向量往往不能满足要求，因为数据的主要信息可能存在于几个不同的子空间中，则需要多个投影方向，投影矩阵为p＝[p₁,p₂,p₃,...,p_r]∈R^b*r，p^Tp＝I_r其中I_r是大小为r的单位矩阵，在投影矩阵p扩张的正交子空间中包含数据信息最丰富的二维特征，这有助于更好地理解数据，本发明中投影学习和表示构造相互结合且相互增强，从而产生强大的表示，加上投影矩阵p后模型如下：

3.根据权利要求1所述的一种基于核二维岭回归子空间聚类的图像处理方法，其特征在于：步骤S3中所述的核函数包括径向基核函数或者多项式核函数。

4.根据权利要求1所述的一种基于核二维岭回归子空间聚类的图像处理方法，其特征在于：所述步骤S4包括：

S401.根据步骤S3中得到的非线性模型，确定系数矩阵Z和投影矩阵p的优化方式：

A、交替优化过程中，固定z优化p时，由于z已经固定，故实际优化过程中

为常量，得到对应的优化方式：

B、交替优化过程中，固定p优化关于z时，由于p已经固定，故

为常量，得到对应的优化方式:

S402.系数矩阵Z是通过优化目标函数值得到的；初始化Z、p为全零矩阵，Z的大小为R^{b *b}，具体优化过程如下

重复以下过程直到收敛，具体优化目标函数值过程如下：

(1)输入样本X、参数λ、γ收敛公差ε和最大迭代次数t_max；

(2)初始化状态：z⁰，p⁰，t＝0；z⁰与Z矩阵行数与列数相同，p⁰矩阵与投影矩阵p行数与列数相同，且z⁰，p⁰均为全零矩阵；

(3)创建核矩阵，核矩阵中第i行第j列的元素为

(4)按照步骤S401中的方法固定z^t，对投影矩阵进行优化，并利用优化后的结果对投影矩阵进行更新得到p^t+1；

(5)按照步骤S401中的方法p^t+1，对系数矩阵进行优化，并利用优化后的结果对系数矩阵进行更新得到z^t+1；

(6)令t＝t+1；

(7)重复(4)和(5)直到t＞t_max或者目标函数值收敛后进入(8)，其中目标函数值收敛是指：相邻两次更新得到的系数矩阵之差的绝对值小于收敛公差ε；

(8)将更新得到的z和p对外输出，即优化后的系数矩阵Z和投影矩阵p。

Images