CN109447123A - 一种基于标签一致性约束与拉伸正则化字典学习的行人再识别方法 - Google Patents

Abstract

本发明涉及一种基于标签一致性约束与拉伸正则化字典学习的行人再识别方法，属于数字图像识别技术领域。本发明首先将原始图像特征映射到低维判别空间，用于降低不同视角下同一行人之间的发散性；此外，为进一步提升字典的判别性，假设同一行人在低维空间中享有同一编码系数，增加拉伸正则项用于迫使视觉特征相似但身份不一致的行人之间的编码系数具有大的距离；为充分挖掘标记样本的标签信息，增加标签一致性约束项，并以此构建了字典与分类器联合的字典学习模型；在测试阶段，根据字典学习模型中学习到的参数进行相似性度量，从而进行行人再识别。本发明提出的方法相对于传统方法具有更高的识别率。

Description

一种基于标签一致性约束与拉伸正则化字典学习的行人再识 别方法

技术领域

本发明涉及一种基于标签一致性约束与拉伸正则化字典学习的行人再识别方法，属于数字图像识别技术领域。

背景技术

行人再识别也被称为行人重识别或重验证，是判断来自非重叠摄像头所拍摄到的行人是否为同一个行人的技术。由于该技术是智能监控中的重要任务之一，因此具有较强的使用价值。在现实中，所采集到的行人视频图像往往分辨率较低，很多情况下行人的多种生物特征并不明显，因此不能使用传统的基于生物特征的方法来对其进行身份鉴定。同时，由于视角与光照的变化以及摄像机成像风格的不同，使得同一行人在不同视角、不同光照条件、不同姿态下表现出不同的视觉特征，从而使不同视角下的同一行人图像具有较大的歧义性，这给跨视角行人身份的认定带来了极大挑战。

为解决这一问题，研究者开展了大量研究并取得了一系列成果。根据研究侧重点的不同将这些成果分为两大类：基于特征的行人再识别和基于度量学习的行人再识别。在基于特征的行人再识别中，特征的设计与选择是研究的重点，也是影响最终识别性能的关键因素。然而，底层视觉特征往往面临表达能力弱、鲁棒性差、判别力有限的缺陷。为克服该问题，基于度量学习的行人再识别受到了研究者的关注。为提升算法的识别性能，该方法往往先将行人图像的底层视觉特征投影的低维特征空间内，同时使不同行人图像特征之间的发散性达到最大，同一行人图像之间的歧义性达到最小。基于度量学习的行人再识别方法由于使用了判别性度量，因此具有较好的识别性能。但这类方法的侧重点是考虑如何学习一个判别空间，来降低不同视角下同一行人图像特征的歧义性。在此过程中，预先提取的行人图像特征被投影的判别子空间以后，往往被直接用来进行行人图像相似性度量，而这些特征通常具有较弱的表达能力和判别性，因此限制了算法的性能的进一步提升。

为克服原始视觉特征表现出的不足，基于字典学习的行人再识别受到了研究者的关注，并提出了一些性能优异的识别算法。与度量学习不同，基于字典学习的行人再识别常根据原始视觉特征，为来自不同视角下的行人图像构建更具鲁棒性的特征表示。具体地，基于字典学习的方法首先根据训练样本图像的特征，学习得到一个具有判别性的字典，然后利用字典的判别性，产生更具表达能力与判别性的编码系数，来代替原始视觉特征进行行人的相似性度量。

发明内容

本发明提供了一种基于标签一致性约束与拉伸正则化字典学习的行人再识别方法，以用于解决现有技术因不同行人往往表现出极大的相似性、光照和姿态的变化导致的行人匹配困难问题。

本发明的技术方案是：一种基于标签一致性约束与拉伸正则化字典学习的行人再识别方法，首先将原始图像特征映射到低维判别空间，用于降低不同视角下同一行人之间的发散性；此外，为进一步提升字典的判别性，假设同一行人在低维空间中享有同一编码系数，增加拉伸正则项用于迫使视觉特征相似但身份不一致的行人之间的编码系数具有大的距离；为充分挖掘标记样本的标签信息，增加标签一致性约束项，并以此构建了字典与分类器联合的字典学习模型；在测试阶段，根据字典学习模型中学习到的参数进行相似性度量，从而进行行人再识别。

进一步的，所述基于标签一致性约束与拉伸正则化字典学习的行人再识别方法的具体步骤如下：

Step1、构建特征数据在两个视角下的训练样本、测试样本；

所述步骤Step1的具体步骤如下：

Step1.1、从公开数据集上的图片进行LOMO特征提取；

Step1.2、然后对特征数据进行降维，降维后的每张图片的数据为一个列向量(n×1)，作为一个行人在一个视角下的样本；所有行人在一个视角下的样本数据为特征矩阵(n×m)，n为特征的维数，m为行人的个数；

Step1.3、再以同样的方法得到行人在另一个视角下的样本数据特征矩阵，分别得到在两个视角下的特征矩阵，即得到特征数据两个视角下的训练样本、测试样本。

Step2、构建基于标签一致性约束与拉伸正则化的字典学习模型：

所述步骤Step2的具体步骤如下：

Step2.1、在两个视角下引入投影矩阵P_a，P_b，用于缩小同一行人的外貌特征差异；引入投影矩阵P_a，P_b后的目标函数为式(1)：

其中，l＝a,b，X_a和X_b分别表示a和b视角下的训练样本，D表示字典，d_i为字典D中的任意一列，C_a和C_b表示a和b视角下行人的编码系数，β₁＞0，且β₁∈R，用于调整在模型中起到作用的权重，λ₁＞0，λ₁∈R用于调整编码系数的稀疏程度，‖·‖_F表示Frobenius范数，||·||₂表示范数，||·||₁表示范数，||·||²表示范数的平方运算符；

Step2.2、在引入投影矩阵P_a，P_b后的目标函数中增加正则项后的目标函数为式(2)：

其中，β₂＞0，β₂∈R，用于调整在模型中起到作用的权重；

Step2.3、在上述步骤Step2.2中目标函数的基础上再增加拉伸正则项，同时，考虑到不同视角下相同行人之间应该具有相同的编码系数即C_a＝C_b＝C，得到式(3)的字典学习模型

其中，c_i和c_j为编码系数C的第i和j列，为拉伸正则项，其定义为

Step2.4、在上述步骤Step2.3中目标函数充分利用了行人图像对之间的对应关系，但未充分利用训练样本的标签信息，为弥补这一缺陷，提出如下的字典学习模型：

其中，α₁＞0，α₁∈R，为标签一致性约束项，Y表示行人的标签信息，W为分类器。

Step3、根据字典学习模型中学习到的参数进行相似性度量，从而进行行人再识别。

所述步骤Step3的具体步骤如下：

由字典学习模型式(4)获得字典D，投影矩阵P_a，P_b、以及分类器W之后，再通过式(5)和(6)，求得a和b视角下的稀疏编码系数C_a和C_b；

其中，Z_a和Z_b分别表示a和b视角下的测试样本；基于C_a和C_b，以及分类器W，提出式(7)的相似性度量方案，从而进行行人再识别：

其中，为两个不同视角编码系数列向量之间的距离，此距离最小时即再识别成功，不同视角编码系数列向量距离最小时编码系数所对应的行人为同一行人，c_a,i表示编码系数C_a中的第i列，c_b,j表示编码系数C_b中的第j列。

本发明的设计原理：

本发明设计一种学习模型使其可以匹配同一行人在多个不同摄像头视角下的行人图片。本发明首先准备多个不同摄像头视角下采集到的图片，再进行特征提取作为训练样本、测试样本。由于不同视角下的同一行人往往表现出极大的相似性，导致现有技术的识别率较低。针对该问题，本发明将度量学习的思想引入到字典学习框架内，提出了标签一致性约束与拉伸正则化的字典学习方法，并设计了判别编码系数与行人身份信息相集成的相似度量方案。具体地，首先将原始行人的图像特征投影到低维判别子空间内，并假设在该空间相同行人具有相同的编码系数，以此来解决同一行人在不同视角下表现出来的差异性。同时，为降低不同行人图像特征所表现出来的相似性，设计了拉伸正则项来优化编码系数的解空间，以提升学习字典的判别性能从而提升区分开不同行人的性能。通过迭代求解此模型，得到每个训练样本的编码系数，最后通过编码系数相似性度量，数值最小的为匹配成功。实验结果表明，本文提出的方法相对于传统方法具有更高的识别性能。

本发明的有益效果是：在行人再识别中，不同视角下的同一行人往往表现出极大的相似性，导致现有技术的识别率较低。针对该问题，本发明将度量学习的思想引入到字典学习框架内，提出了标签一致性约束与拉伸正则化的字典学习方法。本发明的行人再识别方法对行人姿态和光照变换及复杂背景的行人图片效果较好。

附图说明

图1为本发明中的流程图；

图2为本发明中从行人再识别常用的公开数据集VIPeR中随机抽取的两个视角下的行人图像，上一列为a视角的行人图像，下一列为b视角的行人图像。

具体实施方式

实施例1：如图1所示，一种基于标签一致性约束与拉伸正则化字典学习的行人再识别方法，所述基于标签一致性约束与拉伸正则化字典学习的行人再识别方法的具体步骤如下：

Step1、构建特征数据在两个视角下的训练样本、测试样本；

所述步骤Step1的具体步骤如下：

Step1.1、从公开数据集上的图片进行LOMO特征提取；

Step1.2、然后对特征数据进行降维，降维后的每张图片的数据为一个列向量(n×1)，作为一个行人在一个视角下的样本；所有行人在一个视角下的样本数据为特征矩阵(n×m)，n为特征的维数，m为行人的个数；

Step1.3、再以同样的方法得到行人在另一个视角下的样本数据特征矩阵，分别得到在两个视角下的特征矩阵，即得到特征数据两个视角下的训练样本、测试样本。

Step2、构建基于标签一致性约束与拉伸正则化的字典学习模型：

所述步骤Step2的具体步骤如下：

Step2.1、在两个视角下引入投影矩阵P_a，P_b，用于缩小同一行人的外貌特征差异；引入投影矩阵P_a，P_b后的目标函数为式(1)：

其中，l＝a,b，X_a和X_b分别表示a和b视角下的训练样本，D表示字典，d_i为字典D中的任意一列，C_a和C_b表示a和b视角下行人的编码系数，β₁＞0，且β₁∈R，用于调整在模型中起到作用的权重，λ₁＞0，λ₁∈R用于调整编码系数的稀疏程度，||·||_F表示Frobenius范数，||·||₂表示范数，||·||₁表示范数，||·||²表示范数的平方运算符；

Step2.2、在引入投影矩阵P_a，P_b后的目标函数中增加正则项后的目标函数为式(2)：

其中，β₂＞0，β₂∈R，用于调整在模型中起到作用的权重；

Step2.3、在上述步骤Step2.2中目标函数的基础上再增加拉伸正则项，同时，考虑到不同视角下相同行人之间应该具有相同的编码系数即C_a＝C_b＝C，得到式(3)的字典学习模型

其中，c_i和c_j为编码系数C的第i和j列，为拉伸正则项，其定义为

Step2.4、在上述步骤Step2.3中目标函数充分利用了行人图像对之间的对应关系，但未充分利用训练样本的标签信息，为弥补这一缺陷，提出如下的字典学习模型：

其中，α₁＞0，α₁∈R，为标签一致性约束项，Y表示行人的标签信息，W为分类器。

Step3、根据字典学习模型中学习到的参数进行相似性度量，从而进行行人再识别。

所述步骤Step3的具体步骤如下：

由字典学习模型式(4)获得字典D，投影矩阵P_a，P_b、以及分类器W之后，再通过式(5)和(6)，求得a和b视角下的稀疏编码系数C_a和C_b；

其中，Z_a和Z_b分别表示a和b视角下的测试样本；基于C_a和C_b，以及分类器W，提出式(7)的相似性度量方案，从而进行行人再识别：

其中，为两个不同视角编码系数列向量之间的距离，此距离最小时即再识别成功，不同视角编码系数列向量距离最小时编码系数所对应的行人为同一行人，c_a,i表示编码系数C_a中的第i列，c_b,j表示编码系数C_b中的第j列。

实施例2：如图1所示，一种基于标签一致性约束与拉伸正则化字典学习的行人再识别方法，所述基于标签一致性约束与拉伸正则化字典学习的行人再识别方法的具体步骤如下：

Step1、构建特征数据在两个视角下的训练样本、测试样本；

所述步骤Step1的具体步骤如下：

Step1.1、从公开的VIPeR数据集上的图片随机选择316个行人分为训练集，剩下316个行人作为测试集，进行LOMO特征提取；图2为本发明中从行人再识别常用的公开数据集VIPeR中随机抽取的两个视角下的行人图像，上一列为a视角的行人图像，下一列为b视角的行人图像；

Step1.2、然后对特征数据进行降维，降维后的每张图片的数据为一个列向量(446×1)，作为一个行人在一个视角下的样本；所有行人在一个视角下的样本数据为特征矩阵(446×316)，446为特征的维数，316为行人的个数；

Step1.3、再以同样的方法得到行人在另一个视角下的样本数据特征矩阵，分别得到在两个视角下的特征矩阵，即得到特征数据两个视角下的训练样本、测试样本。

Step2、构建基于标签一致性约束与拉伸正则化的字典学习模型：

所述步骤Step2的具体步骤如下：

Step2.1、在两个视角下引入投影矩阵P_a，P_b，用于缩小同一行人的外貌特征差异；引入投影矩阵P_a，P_b后的目标函数为式(1)：

其中，l＝a,b，X_a和X_b分别表示a和b视角下的训练样本，D表示字典，d_i为字典D中的任意一列，C_a和C_b表示a和b视角下行人的编码系数，β₁＞0，且β₁∈R，用于调整在模型中起到作用的权重，λ₁＞0，λ₁∈R用于调整编码系数的稀疏程度，||·||_F表示Frobenius范数，||·||₂表示范数，||·||₁表示范数，||·||²表示范数的平方运算符；

Step2.2、在引入投影矩阵P_a，P_b后的目标函数中增加正则项后的目标函数为式(2)：

其中，β₂＞0，β₂∈R，用于调整在模型中起到作用的权重；

Step2.3、在上述步骤Step2.2中目标函数的基础上再增加拉伸正则项，同时，考虑到不同视角下相同行人之间应该具有相同的编码系数即C_a＝C_b＝C，得到式(3)的字典学习模型

其中，c_i和c_j为编码系数C的第i和j列，为拉伸正则项，其定义为

Step2.4、在上述步骤Step2.3中目标函数充分利用了行人图像对之间的对应关系，但未充分利用训练样本的标签信息，为弥补这一缺陷，提出如下的字典学习模型：

其中，α₁＞0，α₁∈R，为标签一致性约束项，Y表示行人的标签信息，W为分类器。

Step3、根据字典学习模型中学习到的参数进行相似性度量，从而进行行人再识别。

所述步骤Step3的具体步骤如下：

由字典学习模型式(4)获得字典D，投影矩阵P_a，P_b、以及分类器W之后，再通过式(5)和(6)，求得a和b视角下的稀疏编码系数C_a和C_b；

其中，Z_a和Z_b分别表示a和b视角下的测试样本；基于C_a和C_b，以及分类器W，提出式(7)的相似性度量方案，从而进行行人再识别：

其中，为两个不同视角编码系数列向量之间的距离，此距离最小时即再识别成功，不同视角编码系数列向量距离最小时编码系数所对应的行人为同一行人，c_a,i表示编码系数C_a中的第i列，c_b,j表示编码系数C_b中的第j列。

本发明与其他先进的方法在Rank1，Rank5，Rank10，Rank20上进行对比，结果如表1：

表1：VIPeR数据集本发明的方法和其他方法匹配率(％)比较

方法	Rank1	Rank5	Rank10	Rank20
					PolyMap(2015)	36.80	70.40	83.70	91.70
LOMO+XQDA(2015)	40.00	68.10	80.50	91.10
					RD(2016)	33.29	41.50	78.35	88.48
DR-KISS(2016)	43.10	74.40	86.80	94.80
					DMLLV-LADF(2017)	44.30	74.40	84.70	92.70
JDL(2017)	44.30	71.60	82.50	92.90
					LOMO+CSPL(2018)	42.97	73.01	84.21	92.75
本发明的方法	48.40	79.92	87.59	95.19

从表中可以看出，本发明所提出的方法相对于传统方法具有更高的识别率。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (5)

1.一种基于标签一致性约束与拉伸正则化字典学习的行人再识别方法，其特征在于：首先将原始图像特征映射到低维判别空间，用于降低不同视角下同一行人之间的发散性；此外，为进一步提升字典的判别性，假设同一行人在低维空间中享有同一编码系数，增加拉伸正则项用于迫使视觉特征相似但身份不一致的行人之间的编码系数具有大的距离；为充分挖掘标记样本的标签信息，增加标签一致性约束项，并以此构建了字典与分类器联合的字典学习模型；在测试阶段，根据字典学习模型中学习到的参数进行相似性度量，从而进行行人再识别。

2.根据权利要求1所述的基于标签一致性约束与拉伸正则化字典学习的行人再识别方法，其特征在于：所述基于标签一致性约束与拉伸正则化字典学习的行人再识别方法的具体步骤如下：

Step1、构建特征数据在两个视角下的训练样本、测试样本；

Step2、构建基于标签一致性约束与拉伸正则化的字典学习模型：

其中，l＝a,b，X_a和X_b分别表示a和b视角下的训练样本，D表示字典，d_i为字典D中的任意一列，C_a和C_b表示a和b视角下行人的编码系数，β₁＞0，且β₁∈R，用于调整tr(P_l ^TP_l)在模型中起到作用的权重，λ₁＞0，λ₁∈R用于调整编码系数的稀疏程度，||·||_F表示Frobenius范数，||·||₂表示范数，||·||₁表示范数，||·||²表示范数的平方运算符；β₂＞0，β₂∈R，用于调整在模型中起到作用的权重；c_i和c_j为编码系数C的第i和j列，为拉伸正则项，其定义为α₁＞0，α₁∈R，为标签一致性约束项，Y表示行人的标签信息，W为分类器；

Step3、根据字典学习模型中学习到的参数进行相似性度量，从而进行行人再识别。

3.根据权利要求1所述的基于标签一致性约束与拉伸正则化字典学习的行人再识别方法，其特征在于：所述步骤Step1的具体步骤如下：

Step1.1、从公开数据集上的图片进行LOMO特征提取；

Step1.2、然后对特征数据进行降维，降维后的每张图片的数据为一个列向量(n×1)，作为一个行人在一个视角下的样本；所有行人在一个视角下的样本数据为特征矩阵(n×m)，n为特征的维数，m为行人的个数；

Step1.3、再以同样的方法得到行人在另一个视角下的样本数据特征矩阵，分别得到在两个视角下的特征矩阵，即得到特征数据两个视角下的训练样本、测试样本。

4.根据权利要求1所述的基于标签一致性约束与拉伸正则化字典学习的行人再识别方法，其特征在于：所述步骤Step2的具体步骤如下：

Step2.1、在两个视角下引入投影矩阵P_a，P_b，用于缩小同一行人的外貌特征差异；引入投影矩阵P_a，P_b后的目标函数为式(1)：

其中，l＝a,b，X_a和X_b分别表示a和b视角下的训练样本，D表示字典，d_i为字典D中的任意一列，C_a和C_b表示a和b视角下行人的编码系数，β₁＞0，且β₁∈R，用于调整tr(P_l ^TP_l)在模型中起到作用的权重，λ₁＞0，λ₁∈R用于调整编码系数的稀疏程度，||·||_F表示Frobenius范数，||·||₂表示范数，||·||₁表示范数，||·||²表示范数的平方运算符；

Step2.2、在引入投影矩阵P_a，P_b后的目标函数中增加正则项后的目标函数为式(2)：

其中，β₂＞0，β₂∈R，用于调整在模型中起到作用的权重；

Step2.3、在上述步骤Step2.2中目标函数的基础上再增加拉伸正则项，同时，考虑到不同视角下相同行人之间应该具有相同的编码系数即C_a＝C_b＝C，得到式(3)的字典学习模型

其中，c_i和c_j为编码系数C的第i和j列，为拉伸正则项，其定义为

Step2.4、在上述步骤Step2.3中目标函数充分利用了行人图像对之间的对应关系，但未充分利用训练样本的标签信息，为弥补这一缺陷，提出如下的字典学习模型：

其中，α₁＞0，α₁∈R，为标签一致性约束项，Y表示行人的标签信息，W为分类器。

5.根据权利要求4所述的基于标签一致性约束与拉伸正则化字典学习的行人再识别方法，其特征在于：所述步骤Step3的具体步骤如下：

由字典学习模型式(4)获得字典D，投影矩阵P_a，P_b、以及分类器W之后，再通过式(5)和(6)，求得a和b视角下的稀疏编码系数C_a和C_b；

其中，Z_a和Z_b分别表示a和b视角下的测试样本；基于C_a和C_b，以及分类器W，提出式(7)的相似性度量方案，从而进行行人再识别：

其中，为两个不同视角编码系数列向量之间的距离，此距离最小时即再识别成功，不同视角编码系数列向量距离最小时编码系数所对应的行人为同一行人，c_a,i表示编码系数C_a中的第i列，c_b,j表示编码系数C_b中的第j列。