CN109886315A - 一种基于核保持的图像相似性度量方法 - Google Patents

Abstract

本发明提出了一种基于核保持的图像相似性度量方法，首先定义损失函数，然后通过定义核函数简化损失函数，并在损失函数中增加正则化函数得到完整的目标函数，最后优化和求解目标函数得到最终的重构变换矩阵，并采用准确率和正则化互信息量两个指标衡量最终的重构变换矩阵性能。该方法通过定义核函数最小化重构误差并对原始图像数据样本进行相似性学习，使得图像数据样本之间的相似性信息保留了更好的全局关系，基于该相似性信息，利用谱聚类算法对图像进行更准确的聚类。本发明具有通用性，可用于聚类、分类、推荐系统等问题，为基于相似性学习的方法提供了一种有效的基础模块，同时在图像映射至低维的应用中也有非常大的潜力。

Description

一种基于核保持的图像相似性度量方法

技术领域

本发明属于图像处理领域，特别涉及一种基于核保持的图像相似性度量方法。

背景技术

如今，文字、图像和视频等高维数据能够非常容易的从低廉的传感器或者网络上获得，如何从海量的高维数据中提取有用的信息成为了一项关键技术。其中，高维数据相似性是非常多高维数据分析方法，例如谱聚类、近邻分类、图像分割、人物重识别、图片检索、图像降维和基于图的分类方法的输入信息；同时，也是机器学习、模式识别和数据挖掘的基础问题，因此高维数据相似性的度量准确性直接影响了上述方法后续处理的性能。

目前已有一些常用的相似性度量方法，例如余弦法、杰卡德系数(JaccardCoefficient)、欧氏距离(Euclidean Distance)、高斯函数(Gaussian function)，但是，这些方法通常对噪声特别敏感，不同的度量方法会引起结果的巨大不同。同时，已有一些高维数据降维上常用的方法，他们采用了局部线性嵌入或局部保留映射等保留近邻信息的方法，但是，这些方法也有一些固有的缺点，包括：1.难以确定邻域大小k或邻域半径r；2.难以选择合适的确定邻域的相似性度量方法；3.难以抵消噪声和离群点带来的副作用；4.难以处理不同尺度和密度结构下的数据。

总之，现有的相似性度量方法都不能处理好数据在高维上的相关性结构。

发明内容

为解决现有方法不能处理好数据，尤其是图像数据在高维上的相关性结构的问题，本发明提出了一种基于核保持的图像相似性度量方法，该方法包括提出新的目标函数和设计新的优化方法，相比现有技术本发明在相似性度量的准确性上有较大的提升。

本发明提出的一种基于核保持的图像相似性度量方法，包括如下步骤：

S1)定义损失函数：

其中，X表示图像数据样本集合，X的大小为m×n，其中m为图像数据样本集合中每一个图像数据样本点的维度，n为图像数据样本集合中图像数据样本点的总个数，Z表示重构变换矩阵，Z≥0并且其大小为n×n，表示X的一种预设映射函数，上标T表示矩阵的转置，||·||_F表示范数，m，n均为正整数；

S2)定义核函数以简化损失函数：

定义核函数其中，x₁，y₁为两个任意高维图像数据，核函数用于表示两个任意高维图像数据在预设映射函数映射下的内积，将上述核函数代入步骤S1) 的损失函数中，损失函数的表达式简化为：

S3)在损失函数中增加正则化函数得到完整的目标函数：

在损失函数中增加正则化函数ρ(Z)约束重构变换矩阵Z的低秩性和稀疏性，此时，包含步骤S2)中的损失函数的完整目标函数为：

其中，γ是正则化函数ρ(Z)的权值，其取值可调；

S4)优化和求解目标函数：

得到步骤S3)的目标函数后，采用以下方法对该目标函数进行优化和求解：

S41)引入辅助变量J和W，使其满足Z＝J，Z＝W，此时，目标函数转化为：

S42)构建拉格朗日方程：

对步骤S41)中的目标函数构建拉格朗日方程：

其中，μ是惩罚参数，Y₁,Y₂均为拉格朗日乘子；

S43)迭代更新拉格朗日方程中的参数得到最终的重构变换矩阵Z：

迭代更新步骤S42)中拉格朗日方程的参数J，W，Z以及Y₁，Y₂的值，直到满足预设收敛条件，得到最终的重构变换矩阵Z；

S44)采用两个指标衡量最终的重构变换矩阵Z的性能：

采用图像数据样本集合X聚类结果的准确率和正则化互信息量两个指标衡量步骤S43) 计算出的最终的重构变换矩阵Z的性能，准确率越高表示聚类结果越准确，正则化互信息量越高表示聚类结果越好：准确率定义为正则化互信息量定义为

其中，δ(·)为克罗内克(Kronecker)函数；为图像数据样本集合X中第i₁个图像数据样本点的真实标签，为图像数据样本集合X中第i₁个图像数据样本点的预测标签；map(·)为置换函数，其将真实标签的序号做置换，使得置换后的真实标签与预测标签相似程度最高； p(l)和分别表示图像数据样本集合X中图像数据样本点真实标签和预测标签的边缘分布，表示图像数据样本集合X中图像数据样本点真实标签和样本预测标签的联合分布，图像数据样本集合X的真实标签为L，图像数据样本集合X的预测标签为并且H(L)＝∑_l∈L-p(l)log(p(l))，均为熵函数。

本发明提出的一种基于核保持的图像相似性度量方法，通过引入核函数，保留了图像数据样本间的全局联系，为后续的依赖数据相似性的任务带来性能上的提高，例如聚类的准确率；学得的图像数据样本的低阶表示或重构变换矩阵具有通用性，可用于对图像数据相似性敏感的问题，例如聚类、分类、推荐系统等；对于输入图像数据不能表示成数字特征向量形式的情况，由于本发明只依赖核函数，所以依然能够解决此类问题。总之，本发明不但对于高维图像数据的相似性学习具有通用性，而且相比传统的图像相似性度量方法可以得到更准确的图像相似性结果。

附图说明

图1为本发明准确率与γ的关系图

图2为本发明正则化互信息量与γ的关系图

具体实施方式

为便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明的技术内容作进一步阐释。

下面结合JAFFE人脸分类数据样本集合，对本发明的技术方案进行描述。本发明提出的一种基于核保持的图像相似性度量方法，包括如下步骤：

S1)定义损失函数：

其中，X表示图像数据样本集合，X的大小为m×n，其中m为图像数据样本集合中每一个图像数据样本点的维度，n为图像数据样本集合中图像数据样本点的总个数，Z表示重构变换矩阵，Z≥0并且其大小为n×n，表示X的一种预设映射函数，上标T表示矩阵的转置，||·||_F表示范数，m，n均为正整数，在本实施例中，X表示JAFFE人脸分类数据样本集合，其大小为676×213，其中676表示JAFFE人脸分类数据样本集合中每一个人脸分类数据样本点的维度，213表示JAFFE人脸分类数据样本集合中的人脸分类数据样本点的总个数，重构变换矩阵Z的维度为213×213。

S2)定义核函数其中，x₁，y₁为两个任意高维图像数据，核函数用于表示两个任意高维图像数据在预设映射函数映射下的内积，那么将上述核函数代入步骤S1)的损失函数中，损失函数的表达式简化为：

本发明设计了12种核函数来检验图像相似性度量方法的准确性，这12种核函数分别是：

7个高斯核函数，其形式为其中，k为常数，d_max为图像数据样本集合X中任意两个图像数据样本点之间的最大距离，定义x、y为图像数据样本集合X中任意两个图像数据样本点，x、y两个图像数据样本点之间的距离为x、y各维度逐项求差的平方和开根号：其中，为图像数据样本点x在第i₂个维度上的值，为图像数据样本点y在第i₂个维度上的值，k的取值分别为0.01、0.05、0.1、1、10、50和100；1个线性核函数：其形式为K(x₁,y₁)＝x₁ ^Ty₁；4个多项式核函数，形式为K(x₁,y₁)＝(a+x₁ ^Ty₁)^b，其中，a、b均为常数。

优选地，a的取值为0或1，b的取值为2或4。同时，上述12种核函数都被归一化到[0，1]的区间内。

S3)针对我们对重构变换矩阵Z结构的特定假设，例如低秩性和稀疏性，我们用一个正则化函数ρ(Z)来约束这种性质。当采用核范数时就得到了低秩性的重构变换矩阵Z的表示，采用1范数时则得到了稀疏性的重构变换矩阵Z的表示。从而，包含步骤S2)中的损失函数的完整目标函数为：

其中，γ是ρ(Z)的权值，其取值可调。对于低秩性和稀疏性的重构变换矩阵Z，我们会通过具体实施方式分别深入介绍。

S4)得到步骤S3)的目标函数后，采用以下方法对该目标函数进行优化和求解：

S41)引入辅助变量J和W，使其满足Z＝J，Z＝W，利用变量替换达到降维求解的目的。将目标函数转化为：

S42)对步骤S41)中的目标函数构建拉格朗日方程：

其中，μ是惩罚参数，Y₁,Y₂均为拉格朗日乘子。

S43)迭代更新J，W，Z以及Y₁，Y₂的值，直到满足预设收敛条件，得到最终的重构变换矩阵Z。迭代更新的具体方法如下：

记上一次迭代后形成的参数为J^t，W^t，Z^t以及Y₁ ^t和Y₂ ^t，本次迭代后形成的参数为J^{t +1}， W^t+1，Z^t+1以及Y₁ ^t+1和Y₂ ^t+1，其中，t为正整数。

对于参数J：由于步骤S42)中的拉格朗日方程是J的强凸函数，所以使步骤S42)中描述的拉格朗日方程对于J的一阶导数为零即可求得J的迭代更新值：

J^t+1＝(μI+K(X,X)W^t(W^t)^TK(X,X)^T)¹(μZ^t+Y₁ ^t+K(X,X)W^tK(X,X)^T)

对于参数W，由于步骤S42)中的拉格朗日方程同样也是W的强凸函数，所以使步骤S4 2)中描述的拉格朗日方程对于W的一阶导数为零即可求得W的迭代更新值：

W^t+1＝(μI+K(X,X)^TJ^t(J^t)^TK(X,X))¹(μZ^t+Y₂ ^t+K(X,X)^TJ^tK(X,X))

对于参数Z的迭代更新，Z的更新值为如下优化问题的解：

具体解法为：定义矩阵对Ht做奇异值分解得到 H^t＝U^tdiag(σ^t)(V^T)^t，其中，diag(σ^t)为半正定对角矩阵，σ^t为diag(σ^t)对角线上的元素且为H^t的奇异值，U^t、(V^T)^t均为酉矩阵，

对于低秩表达形式的重构变换矩阵Z，正则化函数ρ(Z)＝||Z||_*，其中，||·||_*表示核范数，此时

对于稀疏表达形式的重构变换矩阵Z，正则化函数ρ(Z)＝||Z||₁，其中，||·||₁表示1范数，重构变换矩阵Z中的每个元素的更新值为

其中，表示本次迭代更新后重构变换矩阵Z^t+1中第i行第j列的元素，表示上一次迭代更新后矩阵H^t中第i行第j列的元素，sign(·)表示符号函数，i、j的取值范围为 i＝1，2，...，n、j＝1，2，...，n；

对于Y₁,Y₂的迭代更新：

Y₁ ^t+1＝Y₁ ^t+μ(Z^t-J^t)

其中，所述预设收敛条件为

S44)采用两个指标衡量S43)计算出的重构变换矩阵Z的性能：使用图像数据样本集合X 的聚类结果来衡量重构变换矩阵Z的性能，对于聚类结果我们使用了两个指标：

1.准确率：

2.正则化互信息量：

其中，δ(·)为克罗内克(Kronecker)函数；为图像数据样本集合X中第i₁个图像数据样本点的真实标签，为图像数据样本集合X中第i₁个图像数据样本点的预测标签；map(·)为置换函数，其将真实标签的序号做置换，使得置换后的真实标签与预测标签相似程度最高； p(l)和分别表示图像数据样本集合X中图像数据样本点真实标签和预测标签的边缘分布，表示图像数据样本集合X中图像数据样本点真实标签和样本预测标签的联合分布，图像数据样本集合X(即JAFFE人脸分类数据样本集合)的真实标签为L，图像数据样本集合X的预测标签为并且H(L)＝∑_l∈L-p(l)log(p(l))，均为熵函数。

本实施例分别采用稀疏性表示模型(SLKE-S)和低秩性表示模型(SLKE-R)获得重构变换矩阵Z，并采用谱聚类的方法，得到JAFFE人脸分类数据样本集合的预测标签

实验结果如表1所示，本实施例的稀疏性表示模型(SLKE-S)和低秩性表示模型(SLKE-R) 的聚类结果相比现有方法中的稀疏聚类(SSR)和谱聚类(SC)有显著提升。

表1本发明的相似性度量方法与现有方法的测试精度对比

方法	SSR	SC	SLKE-S	SLKE-R
					ACC(％)	87.32	74.88	96.71	99.85
NMI	92.93	82.08	94.80	99.49

本发明在JAFFE人脸分类数据样本集合下测试权值γ与准确率Acc和正则化互信息量的关系，此处，核函数为k＝100的高斯核函数，其结果如图1和图2所示，图1表明在权值γ取10^-6～10^-1的范围时，本实施例的稀疏性表示模型(SLKE-S)的准确率保持在89％～97％的范围内，本实施例的低秩性表示模型(SLKE-R)在γ较小时可以达到非常高的准确率，并随着γ的增大而减小；图2表明在权衡系数γ取10^-6～10^-1的范围时，本实施例的稀疏性表示模型(SLKE-S)的正则化互信息量保持在90％～95％的范围内，本实施例的低秩性表示模型 (SLKE-R)在γ较小时可以达到非常高的正则化互信息量，并随着γ的增大而减小。上述测试结果表明：在合理挑选权衡系数γ后，本发明的稀疏性表示模型(SLKE-S)的聚类结果较为稳定；取较小的权值γ时，本发明的低秩性表示模型(SLKE-R)可以达到更高的准确率和正则化互信息量。

本发明提出了一种基于核保持的图像相似性度量方法，首先定义了损失函数，然后通过定义核函数简化损失函数，并在损失函数中增加正则化函数得到完整的目标函数，最后优化和求解目标函数得到目标函数中最终的重构变换矩阵，同时采用两个指标衡量最终的重构变换矩阵的性能。该方法通过定义核函数最小化重构误差并对原始图像数据样本进行相似性学习，使得图像数据样本之间的相似性信息保留了更好的全局关系，基于该相似性信息，可以利用谱聚类算法对图像进行更准确的聚类。本发明具有通用性，可用于聚类、分类、推荐系统等问题，为基于相似性学习的方法提供了一种有效的基础模块，同时在图像映射至低维的应用中也有非常大的潜力。

本领域的普通技术人员将会意识到，这里所述的具体实施方式是为了帮助理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施方式。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (6)

1.一种基于核保持的图像相似性度量方法，其特征在于，包括如下步骤：

S1)定义损失函数：

其中，X表示图像数据样本集合，X的大小为m×n，其中m为图像数据样本集合中每一个图像数据样本点的维度，n为图像数据样本集合中图像数据样本点的总个数，Z表示重构变换矩阵，Z≥0，并且其大小为n×n，表示X的一种预设映射函数，上标T表示矩阵的转置，||·||_F表示范数，m，n均为正整数；

S2)定义核函数以简化损失函数：

定义核函数其中，x₁，y₁为两个任意高维图像数据，核函数用于表示两个任意高维图像数据在预设映射函数映射下的内积，将上述核函数代入步骤S1)的损失函数中，损失函数的表达式简化为：

S3)在损失函数中增加正则化函数得到完整的目标函数：

在损失函数中增加正则化函数ρ(Z)约束重构变换矩阵Z的低秩性和稀疏性，此时，包含步骤S2)中的损失函数的完整目标函数为：

其中，γ是正则化函数ρ(Z)的权值，其取值可调；

S4)优化和求解目标函数：

得到步骤S3)的目标函数后，采用以下方法对该目标函数进行优化和求解：

S41)引入辅助变量J和W，使其满足Z＝J，Z＝W，此时，目标函数转化为：

S42)构建拉格朗日方程：

对步骤S41)中的目标函数构建拉格朗日方程：

其中，μ是惩罚参数，Y₁,Y₂均为拉格朗日乘子；

S43)迭代更新拉格朗日方程中的参数得到最终的重构变换矩阵Z：

迭代更新步骤S42)中拉格朗日方程的参数J，W，Z以及Y₁，Y₂的值，直到满足预设收敛条件，得到最终的重构变换矩阵Z；

S44)采用两个指标衡量最终的重构变换矩阵Z的性能：

采用图像数据样本集合X聚类结果的准确率和正则化互信息量两个指标衡量步骤S43)计算出的最终的重构变换矩阵Z的性能，准确率越高表示聚类结果越准确，正则化互信息量越高表示聚类结果越好：准确率定义为正则化互信息量定义为

其中，δ(·)为克罗内克(Kronecker)函数；为图像数据样本集合X中第i₁个图像数据样本点的真实标签，为图像数据样本集合X中第i₁个图像数据样本点的预测标签；map(·)为置换函数，其将真实标签的序号做置换，使得置换后的真实标签与预测标签相似程度最高；p(l)和分别表示图像数据样本集合X中图像数据样本点真实标签和预测标签的边缘分布，表示图像数据样本集合X中图像数据样本点真实标签和样本预测标签的联合分布，图像数据样本集合X的真实标签为L，图像数据样本集合X的预测标签为并且H(L)＝∑_l∈L-p(l)log(p(l))，均为熵函数。

2.根据权利要求1所述的基于核保持的图像相似性度量方法，其特征在于，迭代更新步骤S42)中拉格朗日方程的参数J，W，Z以及Y₁，Y₂的值的具体方法如下：

记上一次迭代更新后形成的参数为J^t，W^t，Z^t以及Y₁ ^t和Y₂ ^t，本次迭代更新后形成的参数为J^t+1，W^t+1，Z^t+1以及Y₁ ^t+1和Y₂ ^t+1，其中，t为正整数。

对于参数J的迭代更新：使得步骤S42)中的拉格朗日方程对于J的一阶导数为零，得到：

J^t+1＝(μI+K(X,X)W^t(W^t)^TK(X,X)^T)^-1(μZ^t+Y₁ ^t+K(X,X)W^tK(X,X)^T)

对于参数W的迭代更新，使得步骤S42)中的拉格朗日方程对于W的一阶导数为零，得到：

W^t+1＝(μI+K(X,X)^TJ^t(J^t)^TK(X,X))^-1(μZ^t+Y₂ ^t+K(X,X)^TJ^tK(X,X))

对于参数Z的迭代更新，Z的更新值为如下优化问题的解：

具体解法为：定义矩阵对H^t做奇异值分解得到H^t＝U^tdiag(σ^t)(V^T)^t，其中，diag(σ^t)为半正定对角矩阵，σ^t为diag(σ^t)对角线上的元素且为H^t的奇异值，U^t、(V^T)^t均为酉矩阵，

对于低秩表达形式的重构变换矩阵Z，正则化函数ρ(Z)＝||Z||_*，其中，||·||_*表示核范数，此时

对于稀疏表达形式的重构变换矩阵Z，正则化函数ρ(Z)＝||Z||₁，其中，||·||₁表示1范数，重构变换矩阵Z中的每个元素的更新值为

其中，表示本次迭代更新后重构变换矩阵Z^t+1中第i行第j列的元素，表示上一次迭代更新后矩阵H^t中第i行第j列的元素，sign(·)表示符号函数，i、j的取值范围为i＝1，2，...，n、j＝1，2，...，n；

对于参数Y₁,Y₂的迭代更新：

Y₁ ^t+1＝Y₁ ^t+μ(Z^t-J^t)

。

3.根据权利要求2所述的基于核保持的图像相似性度量方法，其特征在于，所述步骤S43)中的所述预设收敛条件为

4.根据权利要求3所述的基于核保持的图像相似性度量方法，其特征在于，所述步骤S2)中的核函数有12种，分别是：7个高斯核函数，其形式为其中，k为常数，d_max为图像数据样本集合X中任意两个图像数据样本点之间的最大距离，定义x、y为图像数据样本集合X中任意两个图像数据样本点，x、y两个图像数据样本点之间的距离为x、y各维度逐项求差的平方和开根号：其中，为图像数据样本点x在第i₂个维度上的值，为图像数据样本点y在第i₂个维度上的值，k的取值分别为0.01、0.05、0.1、1、10、50和100；1个线性核函数：其形式为K(x₁,y₁)＝x₁ ^Ty₁；4个多项式核函数，形式为K(x₁,y₁)＝(a+x₁ ^Ty₁)^b，其中，a、b均为常数。

5.根据权利要求4所述的基于核保持的图像相似性度量方法，其特征在于，a的取值为0或1，且b的取值为2或4。

6.根据权利要求1-5任意一项所述的基于核保持的图像相似性度量方法，其特征在于，所述图像数据样本集合X为JAFFE人脸分类数据样本集合。