CN105005797B - 一种基于阴阳双目标样本的太极相对距离度量方法 - Google Patents

Abstract

本发明公开了一种基于阴阳双目标样本的太极相对距离度量方法，本发明为每个阳样本（原始样本）建立虚拟阴样本，通过平衡与阴阳样本间的距离，也即采用相对距离来学出距离函数变换矩阵。该发明首先提出三种方法为样本建立对应的阴样本，最后分别从阳样本中估计出类内、类间阳样本对的协方差矩阵，从阴样本对估计出类内、类间样本对的协方差，再分别计算阳样本类内、类间协方差矩阵的逆矩阵的差和阴样本类内、类间协方差矩阵的逆矩阵的差，得到互补而又互斥的两种马氏距离变换矩阵。在几大数据集上测试的结果证明该度量学习方法不仅继承了KISS算法训练速度快的优点，而且在应用上也能取得更好的效果。

Description

一种基于阴阳双目标样本的太极相对距离度量方法

技术领域

本发明属于度量学习技术领域，涉及一种距离度量方法，尤其涉及一种基于阴阳双目标样本的太极距离度量方法。

背景技术

度量学习一般指的是为数据学习出一个合适的度量，使得同类样本在空间中有较小的度量，同时使异类样本间尽可能有大的度量。度量在众多重要的机器学习算法中，比如最近邻分类和k均值聚类等，扮演着重要的角色，也常应用于图像检索，人脸识别，目标跟踪等实际领域。在已有的度量学习算法中，马氏度量的学习(Mahalanobis Metric)最为流行和普遍，而马氏度量的学习相当于学习一个线性变换，实现样本向量从原线性空间到另一个线性空间的变换，而基于此，目前已提出多种度量方法，如[文献1]的LMNN方法，[文献2]的ITML方法，[文献3]的IDML方法，然而所有这些算法都涉及耗时的优化，甚至包括非凸优化，计算速度也难以满足大规模问题的需要，[文献4]Kostinger Martin等人提出了一个简单的度量学习算法即KISS算法，它假设成对约束之间的差满足高斯分布，该算法是基于统计上的向量正态分布似然比测试，从而避免了耗时的迭代优化过程，然而所有这些算法运用的都是绝对距离。

尽管KISS算法简单有效，但它只依赖于单一尺度，考虑的亦是绝对距离，在实际应用中，相对距离就足以满足需要，因此本申请将原样本看做阳样本，同时建立与之对立的虚拟阴样本，通过相对距离也即阴阳双目标样本间距离的平衡来训练出最佳的距离度量方法。

【文献1】K.Q.Weinberger,J.Blitzer,and L.K.Saul.Distance metric learningfor large margin nearest neighbor classification.In NIPS,pages 1473–1480,2005.

【文献2】J.V.Davis,B.Kulis,P.Jain,S.Sra,and I.S.Dhillon.Information-theoretic metric learning.In ICML,pages 209–216.ACM,2007.

【文献3】M.Guillaumin,J.Verbeek,and C.Schmid.Is that you？metriclearning approaches for face identification.In ICCV,pages 498–505.IEEE,2009.

【文献4】M.Kostinger,M.Hirzer,P.Wohlhart,P.M.Roth,and H.Bischof.Largescale metric learning from equivalence constraints.In CVPR,pages 2288–2295.IEEE,2012.

发明内容

针对现有KISS算法的不足，在中国阴阳哲学的启发下，本发明提供了一种基于阴阳双目标样本的太极相对距离度量方法，该方法将原样本看做阳样本，并设计了三种方法来建立虚拟阴样本，通过计算与阴阳样本间的距离来学习出两种马氏距离矩阵。

本发明所采用的技术方案是：一种基于阴阳双目标样本的太极相对距离度量方法，其特征在于：首先将数据集随机均匀地分为两部分：训练集、测试集，然后对训练集进行训练和对测试集进行测试；

所述的对训练集进行训练，其具体实现包括以下步骤；

步骤1：从训练集中通过随机配对构成训练样本对(x_i,x_j)，S＝{(x_i,x_j)|y(x_i)＝y(x_j)}D＝{(x_i,x_j)|y(x_i)≠y(x_j)}，其中S代表相似样本对，D代表不相似样本对，y(·)表示样本类标签，引入阳样本和阴样本原样本x_i为阳样本阴样本的构建方法包括以下三种：

①阳样本的相反数，即

②阳样本K近邻聚类中心的相反数，即∑knn(x_i)是指最靠近x_i的多个样本的和；

③与阳样本距离最远的样本，Set是阳样本及其相反样本形成的补充集，f_s代表选择集合中最远样本；

从而得到阳样本对阴样本对相似阳样本对集合不相似阳样本集合相似阴样本对集合和不相似阴样本对集合

步骤2：定义为阳样本对差的外积，相应的为阴样本对差的外积，则相似阳样本对的协方差为不相似阳样本对的协方差为相似阴样本的协方差为不相似阴样本对的协方差为

步骤3：通过计算测试样本对似然比获取测试样本对是否属于同类或异类信息；其中H₀和H′₀为假设检验中的零假设，表示样本对属于异类；H₁和H′₁为备择假设，表示样本对属于同类；δ值越高，表明阳样本对越相似，阴样本对越不相似；δ值越低，表明阳样本对越不相似，阴样本对越相似；

步骤4：在样本对的差空间中独立地定义同类和异类样本对的分布，假设样本差分布为零均值高斯分布，则：

去除常数项，化简可得：

进一步变化得到：

其中，阳度量矩阵为M_yang，相应的阴度量矩阵为M_yin；简化过程将概率比值形式的距离转换成了两个马氏距离之差的形式；

所述的对测试集进行测试，其具体实现过程为：测试集分为gallery集和probe集两个部分，将probe集中的图片作为查询，为gallery集中的样本建立阴样本，那么样本间距离可表示为：

其中：x_i和x_j分别表示来自probe集和gallery集的图片，并通过步骤1中引入阳样本和阴样本原样本x_i为阳样本阴样本的构建方法与步骤1中的构建原理相同；

根据距离计算排序后的CMC值，此处CMC值是指N次查询中，返回前r个结果中有正确行人对象的概率，当返回前r个结果时，CMC值越高，表示行人检索性能越好。

作为优选，步骤5中所述的阳度量矩阵M_yang和阴度量矩阵M_yin为：

与现有距离尺度学习算法相比，本发明具有以下优点和有益效果：

①与现有专利相比，本发明着眼于为数据提供一个合适的度量，为度量学习方法提供了一个很好的可拓展的思路；

②与现有技术相比，本发明在基于KISS算法的基础上，考虑阴阳样本间的相对距离，能学习到更好的相似度度量方法；

③本发明提及了三种阴样本建立方法，建立了阴阳样本的思想来进行尺度学习，使得方法的拓展性和适用性很强。

附图说明

图1：为本发明实施例的方法流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明是基于阴阳双目标样本的太极相对距离度量方法。训练过程中：首先为训练样本建立对应的阴样本，相应的原样本为阳样本，本发明设计了三种阴样本构建方法。然后从阳样本中估计出类内、类间阳样本对的协方差矩阵，从阴样本对估计出类内、类间样本对的协方差，最后分别计算阳样本类内、类间协方差矩阵的逆矩阵的差和阴样本类内、类间协方差矩阵的逆矩阵的差，得到马氏距离函数参数矩阵。测试过程：同样的先建立阴样本，再利用学习到的马氏距离参数矩阵计算测试样本间距离，由距离输出相应实验结果。

本实例采用MATLAB7作为仿真实验平台，在数据集VIPeR上进行行人重识别测试。VIPeR数据集有两个摄像头下的632个行人图像对，两个摄像头之间存在明显的视角、光照等差异。以下针对上述实施例对本发明的做进一步的阐述。

请见图1，本发明提供的一种基于阴阳双目标样本的太极相对距离度量方法，首先将数据集随机均匀地分为两部分：训练集、测试集，然后对训练集进行训练和对测试集进行测试；对训练集进行训练，其具体实现包括以下步骤；

步骤1：300个同类样本对和300个异类样本对从训练集中通过随机配对构成，训练样本对记为(x_i,x_j)，S＝{(x_i,x_j)|y(x_i)＝y(x_j)}D＝{(x_i,x_j)|y(x_i)≠y(x_j)}，其中S代表相似样本对，D代表不相似样本对，y(·)表示样本类标签，引入阳样本和阴样本原样本x_i为阳样本阴样本的构建方法包括以下三种：

①阳样本的相反数，即

②阳样本K近邻聚类中心的相反数，即∑knn(x_i)是指最靠近x_i的多个样本的和；

③与阳样本距离最远的样本，Set是阳样本及其相反样本形成的补充集，f_s代表选择集合中最远样本；

从而得到阳样本对阴样本对相似阳样本对集合不相似阳样本集合相似阴样本对集合和不相似阴样本对集合

这里的阴阳样本与研究中常用的正负样本有所区别。正负样本是相对类别而言。对特定的行人重识别问题而言，正样本表示相对于给定样本，该样本与给定样本行人属于同一行人，而负样本表示不是给定行人。它们都是真实存在的样本，本文所提出的阴阳样本与正负样本的概念有差距，首先，阳样本作为样本的另外一种描述，而阴样本是一种构造的样本，在某种构造方式下，阴样本可能不存在，它只是与阳样本在特征上是相对的样本。

步骤2：定义为阳样本对差的外积，相应的为阴样本对差的外积，则相似阳样本对的协方差为不相似阳样本对的协方差为相似阴样本的协方差为不相似阴样本对的协方差为

步骤3：通过计算测试样本对似然比获取测试样本对是否属于同类或异类信息；其中H₀和H′₀为假设检验中的零假设，表示样本对属于异类；H₁和H′₁为备择假设，表示样本对属于同类；δ值越高，表明阳样本对越相似，阴样本对越不相似；δ值越低，表明阳样本对越不相似，阴样本对越相似；

步骤4：在样本对的差空间中独立地定义同类和异类样本对的分布，假设样本差分布为零均值高斯分布，则：

去除常数项，化简可得：

进一步变化得到：

简化过程将概率比值形式的距离转换成了两个马氏距离之差的形式；说明书对应位置也做了相同修改；其中，阳度量矩阵为相应的阴度量矩阵为

对测试集进行测试，其具体实现过程为：测试集分为gallery集和probe集两个部分，将probe集中的图片作为查询，为gallery集中的样本建立阴样本，那么样本间距离可表示为：

其中：x_i和x_j分别表示来自probe集和gallery集的图片，并通过步骤1中引入阳样本和阴样本原样本x_i为阳样本阴样本的构建方法与步骤1中的构建原理相同；根据距离计算排序后的CMC值，此处CMC值是指N次查询中，返回前r个结果中有正确行人对象的概率，当返回前r个结果时，CMC值越高，表示行人检索性能越好。

上述过程采用同[文献5]的特征表示样本，对每个测试样本进行K次查询，计算K次查询平均CMC值，并输出，此处K取20。对比初始的基于[文献1]方法和基于[文献2]方法的行人重识别方法的平均CMC值，见表1。从表1中可以发现，本发明的行人重识别方法的检索性能有明显的提高。TAICHI_YANG、TAICHI_KNN、TAICHI_FS分别对应三种阴样本建立方法，可见当阴样本为原样本的相反数时，检索性能最好。

表1 在VIPER上分别返回前1、5、10、25个结果时的平均CMC值(％)

方法	1	5	10	25
					TAICHI_YANG	20.89	68.35	86.39	94.94
TAICHI_KNN	17.25	63.92	83.54	93.99
					TAICHI_FS	15.19	57.59	77.85	90.51
KISSME[文献5]	19.46	62.34	80.06	91.46
					LMNN[文献6]	16.93	54.59	74.37	87.03
ITML[文献7]	15.03	51.9	74.05	88.2

[文献5]M.Kostinger,M.Hirzer,P.Wohlhart,P.M.Roth,and H.Bischof.Largescale metric learning from equivalence constraints.In CVPR,pages 2288–2295.IEEE,2012.

[文献6]K.Q.Weinberger,J.Blitzer,and L.K.Saul.Distance metric learningfor large margin nearest neighbor classification.In NIPS,pages 1473–1480,2005.

[文献7]J.V.Davis,B.Kulis,P.Jain,S.Sra,and I.S.Dhillon.Information-theoretic metric learning.In ICML,pages 209–216.ACM,2007.

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (2)

1.一种基于阴阳双目标样本的太极相对距离度量方法，其特征在于：首先将数据集随机均匀地分为两部分：训练集、测试集，然后对训练集进行训练和对测试集进行测试；

所述的对训练集进行训练，其具体实现包括以下步骤；

步骤1：从训练集中通过随机配对构成训练样本对(x_i,x_j)，S＝{(x_i,x_j)|y(x_i)＝y(x_j)}D＝{(x_i,x_j)|y(x_i)≠y(x_j)}，其中S代表相似样本对，D代表不相似样本对，y(·)表示样本类标签，引入阳样本和阴样本原样本x_i为阳样本阴样本的构建方法包括以下三种：

①阳样本的相反数，即

②阳样本K近邻聚类中心的相反数，即∑knn(x_i)是指最靠近x_i的多个样本的和；

③与阳样本距离最远的样本，Set是阳样本及其相反样本形成的补充集，f_s代表选择集合中最远样本；

从而得到阳样本对阴样本对相似阳样本对集合不相似阳样本集合相似阴样本对集合和不相似阴样本对集合

步骤2：定义为阳样本对差的外积，相应的为阴样本对差的外积，则相似阳样本对的协方差为不相似阳样本对的协方差为相似阴样本的协方差为不相似阴样本对的协方差为

步骤3：通过计算测试样本对似然比获取测试样本对是否属于同类或异类信息；其中H₀和H'₀为假设检验中的零假设，表示样本对属于异类；H₁和H′₁为备择假设，表示样本对属于同类；δ值越高，表明阳样本对越相似，阴样本对越不相似；δ值越低，表明阳样本对越不相似，阴样本对越相似；

步骤4：在样本对的差空间中独立地定义同类和异类样本对的分布，样本差分布为零均值高斯分布，则：

去除常数项，化简得：

进一步变化得到：

其中，阳度量矩阵为M_yang，相应的阴度量矩阵为M_yin；简化过程将概率比值形式的距离转换成了两个马氏距离之差的形式；

所述的对测试集进行测试，其具体实现过程为：测试集分为查询集probe集和目标集gallery集两个部分，将probe集中的图片作为查询，为gallery集中的样本建立阴样本，那么样本间距离表示为：

其中：x_i和x_j分别表示来自probe集和gallery集的图片，并通过步骤1中引入阳样本和阴样本原样本x_i为阳样本阴样本的构建方法与步骤1中的构建原理相同；

根据距离计算排序后的CMC值，此处CMC值是指N次查询中，返回前r个结果中有正确行人对象的概率，当返回前r个结果时，CMC值越高，表示行人检索性能越好。

2.根据权利要求1所述的基于阴阳双目标样本的太极相对距离度量方法，其特征在于：步骤4中所述的阳度量矩阵M_yang和阴度量矩阵M_yin为：