CN111339857B

CN111339857B - 基于身份一致性和不相关约束的跨视角行人重识别方法

Info

Publication number: CN111339857B
Application number: CN202010096005.4A
Authority: CN
Inventors: 颜悦
Original assignee: Kunming University of Science and Technology
Current assignee: Kunming University of Science and Technology
Priority date: 2020-02-17
Filing date: 2020-02-17
Publication date: 2022-08-30
Anticipated expiration: 2040-02-17
Also published as: CN111339857A

Abstract

本发明涉及一种基于身份一致性和不相关约束的跨视角行人重识别方法，属于数字图像处理技术领域。首先针对不同视角下的行人图像学习字典；对每个视角采用不同的分类器实现行人视觉特征到身份信息空间的转换，分类的同时引入身份一致性和不相关约束，使不同行人之间的身份信息保持一定距离，相同行人的身份信息则尽可能接近；然后采用稀疏正则项和惩罚项使身份信息的判别能力得到进一步增强；最后，通过行人身份信息构建相似性度量空间完成行人重识别。本发明提出的行人重识别方法不仅考虑到了不同视角的差异问题，还考虑了身份信息对识别结果的影响，因此能产生更好的识别效果。

Description

基于身份一致性和不相关约束的跨视角行人重识别方法

技术领域

本发明涉及一种基于身份一致性和不相关约束的跨视角行人重识别方法，属于数字图像处理技术领域。

背景技术

行人重识别是利用计算机视觉技术从不同摄像机拍摄的图像或视频序列中判断目标行人是否存在的技术。但是由于不同摄像设备之间的差异，同时行人兼具刚性和柔性的特性，外观易受穿着、光照、遮挡、姿态和视角等影响，使得行人重识别作为智能监控系统的重要分支，成为安全管理应用中不可或缺的研究方向。因此，研究鲁棒的行人重识别模型和算法具有很高的理论价值。

发明内容

本发明要解决的技术问题是提供一种基于身份一致性和不相关约束的跨视角行人重识别方法，用以解决仅基于视觉特征进行行人重识别技术的局限问题。

本发明的技术方案是：一种基于身份一致性和不相关约束的跨视角行人重识别方法，包括如下步骤：

1)针对不同视角下的行人图像学习视觉特征字典；

2)采用分类器把学习到的行人视觉特征转换到身份信息空间里，同时引入身份一致性和不相关约束来强制不同行人的身份信息保持一定距离，而同一行人的身份信息则尽可能接近；

3)采用稀疏正则项和惩罚项进一步提高身份信息的判别力，同时确定基于身份一致性和不相关约束的跨视角行人重识别的总体目标函数；

4)对总体目标函数中的要更新的变量进行求解；

5)通过行人身份信息构建相似性度量空间。

具体地，所述的步骤1)的视觉特征字典包括：

设从a、b视角下的图像中选择训练样本

其中每个样本x_i可表示为一个m维特征向量，n₁和n₂表示视角a、b所对应的行人图像样本数。学习两个字典D_a,D_b分别表示视角a、b下的行人图像：

式中，

用于表示两视角的图像信息，

分别对应特征字典D_a,D_b的第i个原子，

是Frobenius范数，Y_a,Y_b是通过字典学习得到的对应特征X_a,X_b的编码系数矩阵。最小化

与

之和建立视觉特征和编码系数之间的关系。

具体地，所述的步骤2)的分类器与身份一致性和不相关约束包括：

使用两个分类器W_a,W_b实现两视角下行人视觉特征到身份信息空间的转换。同时，建立相同行人身份间的一致性和不同行人身份间的不相关约束来赋予模型更高的判别能力，公式(1)可重写为：

式中，

分别为视角a、b的身份信息矩阵，k表示行人类别。当视角a下的第q个行人图像样本属于第p个行人类别时，B_a(p,q)＝1，否则B_a(p,q)＝0，B_b亦如此。

表示不同视角间的身份信息矩阵，当视角a的第j个视觉特征和视角b的第k个视觉特征来自同一人时，E(j,k)＝1，否则E(j,k)＝0。α₁和α₂是两个标量参数，分别代表着

和

项的权重信息。通过最小化

可以使相同行人的身份信息相似度更高，不同行人间的身份信息相似度更低。

具体地，所述的步骤3)的稀疏正则项和惩罚项与总体目标函数包括：

E中的大多数元素都是0而少数是1，该矩阵是稀疏的，因此(W_aY_a)^T(W_bY_b)也应该是稀疏的，公式(2)可重写为：

式中，α₃,α₄是两个标量参数，分别代表着

和||(W_aY_a)^T(W_bY_b)||₁项的权重信息。||(W_aY_a)^T(W_bY_b)||₁是稀疏正则项，该L1范数的约束使得身份信息的判别能力得到进一步增强。

是惩罚项，能降低模型复杂度，防止过拟合。

具体地，所述的步骤4)的变量求解包括：

在公式(3)中，固定其他变量不变，采用交替迭代算法单独求解每一个变量D_a,D_b,W_a,W_b,Y_a,Y_b：

假设D_a,D_b,W_a,W_b,Y_b不变，更新变量Y_a，关于Y_a有以下目标函数：

引入松弛变量A求解上述问题，公式(4)可写为：

可以通过迭代收缩算法求解以上关于变量A的l₁范数最小化问题。确定A后，需要引入一个中间变量M才能对Y_a进行更新：

M可通过直接求导获得：

式中，

是单位矩阵。在确定M后，Y_a的解析解可表示为：

通过固定D_a,D_b,W_a,W_b,Y_a来更新Y_b，有以下目标函数：

类似公式(5)采用的方法，引入松弛变量C求解公式(9)中的l₁范数最小化问题，此时Y_b可以通过直接求导得到：

固定其他变量不变更新变量D_a，得到D_a的最优化模型如下：

D_a的最优解可以通过拉格朗日对偶法得到。方程(11)的解析解是：

D_a＝(X_aY_a ^T)(Y_aY_a ^T+Λ₁)^-1 (12)

式中，Λ₁是由所有拉格朗日对偶变量构造的对角矩阵。

同理，用上述方法可以求出D_b的解析解：

D_b＝(X_bY_b ^T)(Y_bY_b ^T+Λ₂)^-1 (13)

固定D_a,D_b,W_b,Y_a,Y_b更新变量W_a，关于W_a的目标函数可写为：

引入松弛变量F，公式(14)写为：

关于变量F也是一个典型的l₁范数最小化问题，对应的最优解也可以通过迭代收缩算法得到。接下来，引入一个新的中间变量U：

U可以通过直接求导获得：

式中，

是单位矩阵，在确定了U后，通过直接求导可以得到W_a的解析解：

式中，

是单位矩阵。

同理，用上述方法可以求出W_b的解析解：

式中，

具体地，所述的步骤5)具体包括：

首先利用已学习的字典D_a,D_b，通过以下公式获得每个测试样本X_a1,X_b1的编码系数Y_a1,Y_b1：

然后使用训练中得到的分类器W_a,W_b，通过以下方法获得每个测试样本的身份信息B_a1,B_b1：

B_a1＝W_aY_a1 (22)

B_b1＝W_bY_b1 (23)

最后，利用身份信息进行相似性度量，即通过公式

测量行人身份之间的距离。其中，b_a1,b_b1是B_a1,B_b1的列向量。

本发明的有益效果是：

1、在当前的行人重识别方法中，大多数基于稀疏表示和字典学习的行人重识别研究都是基于行人底层视觉特征直接进行的，这样做会使视觉特征在训练过程中丢失甚至被修改。本发明提出的行人重识别方法能通过分类器将学习到的行人视觉特征转换到身份信息空间里，建立视觉特征与行人身份信息的关联，弥补了仅有视觉特征进行识别的不足，提升了模型的判别能力。

2、本发明提出的行人重识别方法相比其他方法识别性能明显提升。

附图说明

图1是本发明的流程图；

图2是本发明实施例提供的PRID2011数据集上两相机视角下的行人图像对；

图3是本发明实施例提供的基于PRID2011数据集上针对算法中参数α₁的CMC曲线；

图4是本发明实施例提供的基于PRID2011数据集上针对算法中参数α₂的CMC曲线；

图5是本发明实施例提供的基于PRID2011数据集上针对算法中参数α₃的CMC曲线；

图6是本发明实施例提供的基于PRID2011数据集上针对算法中参数α₄的CMC曲线。

具体实施方式

下面结合附图和具体实施方式，对本发明作进一步说明。

实施例1：为充分利用样本的标签信息，构建一种将视觉特征与其身份信息联系起来的行人重识别算法。该算法通过分类器建立了从行人视觉特征到身份信息空间的转换，同时引入身份一致性和不相关约束，使同一视角下和不同视角间的行人身份进行有效对应。在此过程中，分类器由稀疏特征和行人身份学习得到，该分类器弥补了仅有视觉特征进行识别的不足。在基于身份一致性和不相关约束的行人重识别算法中，首先针对不同视角下的行人图像学习字典，然后对每个视角采用不同的分类器实现行人视觉特征到身份信息空间的转换。同时，在分类时引入身份一致性和不相关约束，使不同行人之间的身份信息保持一定距离，相同行人的身份信息则尽可能接近。最后，仅通过身份信息设计相似性度量方案。

如图1所示，一种基于身份一致性和不相关约束的跨视角行人重识别方法，包括如下步骤：

1)针对不同视角下的行人图像学习视觉特征字典；

4)对总体目标函数中的要更新的变量进行求解；

5)通过行人身份信息构建相似性度量空间。

具体实施过程如下：该算法首先针对不同视角学习字典；然后通过分类器把学习到的行人视觉特征转换到身份信息空间，同时引入身份一致性和不相关约束；由于同一视角下的行人身份具有较强相似性，本算法还增加了分类信息的正则项；最后针对仅有行人身份信息的模型设计匹配方案。

进一步地，所述的步骤1)的视觉特征字典包括：

设从a、b视角下的图像中选择训练样本

式中，

用于表示两视角的图像信息，

分别对应特征字典D_a,D_b的第i个原子，

是Frobenius范数，Y_a,Y_b是通过字典学习得到的对应特征X_a,X_b的编码系数矩阵，最小化

与

之和建立视觉特征和编码系数之间的关系。

进一步地，所述的步骤2)的分类器与身份一致性和不相关约束包括：

使用两个分类器W_a,W_b实现两视角下行人视觉特征到身份信息空间的转换，同时，建立相同行人身份间的一致性和不同行人身份间的不相关约束来赋予模型更高的判别能力，公式(1)可重写为：

式中，

分别为视角a、b的身份信息矩阵，k表示行人类别；当视角a下的第q个行人图像样本属于第p个行人类别时，B_a(p,q)＝1，否则B_a(p,q)＝0，B_b亦如此；

表示不同视角间的身份信息矩阵，当视角a的第j个视觉特征和视角b的第k个视觉特征来自同一人时，E(j,k)＝1，否则E(j,k)＝0；α₁和α₂是两个标量参数，分别代表着

和

项的权重信息；通过最小化

使相同行人的身份信息相似度更高，不同行人间的身份信息相似度更低。

进一步地，所述的步骤3)的稀疏正则项和惩罚项与总体目标函数包括：

式中，α₃,α₄是两个标量参数，分别代表着

和||(W_aY_a)^T(W_bY_b)||₁项的权重信息，||(W_aY_a)^T(W_bY_b)||₁是稀疏正则项，

是惩罚项。

进一步地，所述的步骤4)的变量求解包括：

引入松弛变量A求解上述问题，公式(4)可写为：

可以通过迭代收缩算法求解以上关于变量A的l₁范数最小化问题，确定A后，需要引入一个中间变量M才能对Y_a进行更新：

M可通过直接求导获得：

式中，

是单位矩阵，在确定M后，Y_a的解析解可表示为：

通过固定D_a,D_b,W_a,W_b,Y_a来更新Y_b，有以下目标函数：

固定其他变量不变更新变量D_a，得到D_a的最优化模型如下：

D_a的最优解可以通过拉格朗日对偶法得到，方程(11)的解析解是：

D_a＝(X_aY_a ^T)(Y_aY_a ^T+Λ₁)^-1 (12)

式中，Λ₁是由所有拉格朗日对偶变量构造的对角矩阵；

同理，用上述方法可以求出D_b的解析解：

D_b＝(X_bY_b ^T)(Y_bY_b ^T+Λ₂)^-1 (13)

固定D_a,D_b,W_b,Y_a,Y_b更新变量W_a，关于W_a的目标函数可写为：

引入松弛变量F，公式(14)写为：

关于变量F也是一个典型的l₁范数最小化问题，对应的最优解也可以通过迭代收缩算法得到，接下来，引入一个新的中间变量U：

U可以通过直接求导获得：

式中，

式中，

是单位矩阵，

同理，用上述方法可以求出W_b的解析解：

式中，

进一步地，所述的步骤5)具体包括：

B_a1＝W_aY_a1 (22)

B_b1＝W_bY_b1 (23)

最后，利用身份信息进行相似性度量，即通过公式

测量行人身份之间的距离，其中，b_a1,b_b1是B_a1,B_b1的列向量。

所述步骤2)中，引入身份一致性和不相关约束项，将不同视角下的行人身份进行有效对应，可以使分类器具有较强的判别能力。

所述步骤5)中，算法将编码系数通过分类器转换成身份信息进行行人匹配，有效地利用了行人的身份信息，避免了视觉特征丢失或被修改给识别结果带来的不利影响。

下面结合具体实验数据对本发明做进一步地说明。

实验中将图像数据集随机分为两组：一组用于训练，另一组用于测试。重复此过程10次，获得行人匹配率的平均性能。采用累积匹配特性(CMC)曲线对性能进行定量评估。在所提出的模型中有七个参数，包括训练迭代次数M，字典D_a,D_b的原子数d_a,d_b，四个标量参数，即α₁,α₂,α₃,α₄。在整个实验过程中，将上述参数的值设置为M＝25,d_a＝d_b＝84,α₁＝3.4,α₂＝2,α₃＝0.05,α₄＝0.5。参数α₁,α₂,α₃,α₄对识别性能的影响在图3-图6中给出。表1所示的是基于PRID2011数据集上的最新结果的性能比较，对最大值进行加粗。

表1：基于PRID2011数据集上最新结果的性能比较

比较结果表明，所提出的方法在不同等级上的识别率最高，甚至比等级1、5、10、20的次优方法分别高4.60％，4.30％，6.00％，1.00％。

以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。