CN109214442A - 一种基于列表和身份一致性约束的行人重识别算法 - Google Patents

Abstract

本发明公开了一种基于列表和身份一致性约束的行人重识别算法，属于智能监控技术领域，本发明通过列表一致性获得每个行人的列表相似性，从而利用样本中包含的大量判别信息，通过对编码系数施加身份一致性约束以进一步改善字典判别能力，采用两个不对称的投影字典将行人特征映射到统一的子空间，用于克服非重叠摄像机视图的外观变化，最后，通过整合编码系数和分类结果，提出了一种修正的余弦相似性度量匹配行人的融合策略。本发明克服了由于照明变化，相机视点角度，姿态和遮挡等原因造成的图像之间的行人外貌差异很大对行人重识别这一任务带来的困难。我们的发明取得了较好的效果，在维护社会稳定，公安，刑侦等方面有着十分广阔的应用前景。

Description

一种基于列表和身份一致性约束的行人重识别算法

技术领域

本发明涉及一种基于距离正则化投影和字典学习的行人重识别算法，属于智能监控技术领域。

背景技术

行人重识别是一个重要的视频监控主题，描述了一个人在不同物理位置分布的多个不重叠的摄像机视图的匹配过程。这种技术可以广泛用于重新识别，跟踪或搜索先前在摄像机网络中的某个时间点观察到的人员。旨在弥补目前固定的摄像头的视觉局限，并可与行人检测、行人跟踪技术相结合，被广泛应用于计算机视觉、安全监控、行人搜索以及刑事调查等领域。

近几年来，行人重识别日益受到关注，国内外学者在行人重识别方面取得了一系列重大研究进展，发展起了很多方法。虽然行人重识别近来受到了重大的研究关注，但由于照明变化，相机视点角度，姿态和遮挡等原因造成的图像之间的行人外观差异很大，因此这项任务仍然具有挑战性。已经发展了多种方法来解决这些挑战，这些方法大致可以分为两类：基于特征和基于距离度量的学习方法。前者的重点在于设计不受环境变化影响的行人特征描述符，而后者侧重于设计一个距离度量学习算法来匹配非重叠摄像机视图中的行人。尽管这些方法对于行人重识别任务是有效的，但由于图像的各种视点条件和学习词典的有限判别能力，其性能远不能令人满意。

发明内容

本发明的目的在于提供一种基于列表和身份一致性约束的行人重识别方法，本发明通过列表一致性获得每个行人的列表相似性，从而利用样本中包含的大量判别信息，通过对编码系数施加身份一致性约束以进一步改善字典判别能力，采用两个不对称的投影字典将行人特征映射到统一的子空间，用于克服克服非重叠摄像机视图的外观变化，最后，通过整合编码系数和分类结果，我们提出了一种修正的余弦相似性度量匹配行人的融合策略。本发明将非对称投影字典对与判别式字典联合学习。学习的投影字典对用于将从不同视图中提取的特征映射到低维子空间，这有效地缓解了在非重叠视图中的行人外观之间的差距，确保了在不同视图中的同一个人有最大的特征相关性。为了产生具有强大判别能力的字典，加入了列表相似度和身份一致性约束，通过以上方法使字典学习算法可以捕获所有的成对相似性，并允许学习分类器正确识别个体，在此过程中，假设每个分类器由低阶和稀疏分量组成，低阶分量在不同视角下传递所有行人共享的相似度，而稀疏分量代表不一致性。

本发明的技术方案是：一种基于列表和身份一致性约束的行人重识别算法，具体步骤如下：

(1)从一个以上的摄像机中任意选取两个a，b摄像机，并从a，b摄像机的视频中分别选出同一行人的图像，且同一行人只选一张图像，设从a，b两个摄像机下分别选出M张行人图像，且a，b摄像机下选出的M张行人图像一一对应，然后从M张行人图像中抽取N张行人图像作为训练集，其余图像作为测试集，并分别提取选出的N张行人图像的特征向量，定义X_a＝[x_a1，x_a2，…x_aN]，X_b＝[x_b1，x_b2，…x_bN]分别表示a，b两个摄像机下N张行人图像特征向量的集合，其中x_a1，x_a2，…x_aN分别表示a摄像机下每张行人图像的特征向量，x_b1，x_b2，…x_bN分别表示b摄像机下每张行人图像的特征向量，定义X_l表示a摄像机下或b摄像机下的图像特征向量的集合，其中l＝a，b，定义表示行人外观的、具有稀疏性的学习字典D，D∈R^p×m，D＝[d₁，d₂，…d_m]，其中，p表示字典D的维度，m表示字典D的原子个数，d₁，d₂，…d_m分别表示字典D的原子，d_i表示字典D的某个原子，且i＝1，2，，，m，设字典D关于a，b两个摄像机视图下选出的行人图像的编码系数矩阵分别为Z_a，Z_b，则Z_a＝[z_a1，z_a2，…z_aN]，Z_b＝[z_b1，z_b2，…z_bN]，其中，z_a1，z_a2，…z_aN分别表示a摄像机视图下选出的每张行人图像特征向量的编码系数，z_b1，z_b2，…z_bN分别表示b摄像机视图下选出的每张行人图像特征向量的编码系数，定义a，b两个摄像机视图下选出的行人图像的编码系数矩阵为Z_l，其中l＝a，b，建立如下最小化目标函数公式(1)：

其中公式(1)约束条件为即字典D的每个原子的l₂范数的平方小于等于1，||·||_F为F范数运算符，||·||₂为l₂范数运算符，||·||₁为l₁范数运算符，为F范数的平方运算符；

(2)向公式(1)中引入一对投影变换矩阵W_a和W_b，投影变换矩阵W_a和W_b用来处理视点和相关外观变化，且W_a和W_b均为p行h列的矩阵，即 用W_l来表示一对投影变换矩阵，其中l＝a，b，得到如下公式(2)：

其中，λ₁为超参数，且λ₁＞0；

(3)引入相似性矩阵H，使同一行人的编码系数的相似性更高，则得如下公式(3)：

其中，H为N行N列矩阵；

(4)为了提高编码系数的判别能力，引入L和P矩阵，其中用来表示N个行人的身份信息，P是识别算子，为m行N列的矩阵，令P由低秩分量R和稀疏分量S组成，则得到如下式子(4)：

其中，λ₂＞0，为超参数，L_l中的l＝a，b，T₁、T₂均为超参数，且T₁＞0，T₂＞0；

(5)将步骤(4)的约束条件进行修改，从而降低求解的复杂度，得到公如下：

其中，||·||_*表示核范数，用于求解矩阵的奇异值之和，||·||₁表示l₁范数；

(6)对公式(5)进行求解，通过交替迭代进行优化，具体为首先优化编码系数矩阵Z_a和Z_b，假设D，P，W_a和W_b是固定的，则得到公式(6)：

对公式(6)交替更新Z_a和Z_b，更新Z_a得到如下公式(7)：

删除公式(7)中不相关的项，公式(7)可写为公式(8)：

其中，是一个单位矩阵，因此Z_a具有如下的封闭形式的解：

同理，Z_b的封闭形式解可以表示为：

其中

其次，在编码系数矩阵Z_a和Z_b被更新之后，通过固定Z_a，Z_b和P来更新字典D和投影矩阵W_a和W_b，得到如下式子：

对于更新后的字典D，为了方便优化，引入变量B＝[b₁，b₂，…，b_m]，得到

对式子(13)通过ADMM算法进行求解，得到如下求解结果：

其中，η是学习率，t表示第t次迭代，利用ADMM算法，分别得到更新后的D和B，并计算D和B之间的对偶差值，当T^t+1-T^t的值小于0.001时，停止迭代，此时更新得到的字典D为最优解；

对于投影矩阵W_a和W_b，有以下闭式解：

最后，当编码系数Z_a，Z_b，字典D和投影矩阵W_a和W_b的更新后，通过解决以下优化问题来更新P，有如下式子：

s.t.P＝R+S，||R||_*＜T₁，||S||₁＜T₂，

为了便于优化，将式子(17)写为如下式子：

其中，τ＞0，β₁＞0和β₂＞0，均为标量常量；

固定R和S，通过求解以下式子(19)的最小问题来获得最优的P：

得到如下封闭形式的解：

其中，其中是一个单位矩阵，更新P后，通过固定S，求解R，求解式子如下(21)所示，

得到最优的P和R，最优S可以通过求解下式(22)得到：

(7)通过以上不断的迭代得到最优模型后，将测试集中的行人图像特征输入至最优模型中，进行行人重识别。

步骤(1)采用LOMO特征提取选出的N张行人图像的特征向量。

步骤(2)中λ₁的取值为0.001，步骤(4)中λ₂的取值为0.001，步骤(6)中常量τ，β₁，η和β₂的值分别为τ＝0.00001，β₁＝0.001，η＝0.00001，β₂＝0.015。

所述步骤(4)中T₁、T₂的取值均为10。

与现有技术相比，本发明的有益效果是：

(1)本发明解决了图像视点条件多样以及学习字典的有限判别力的问题，具有一定的应用前景。

(2)本发明引入了非对称投影字典以及列表相似性和身份一致性约束，在一定程度上提高了行人重识别任务的性能。

附图说明

图1是本发明方法的实现结构图；

图2是本发明实施例1中来自PRID450S数据集上的行人图像。

具体实施方式

为了更好的理解本发明的技术方案，接下来结合附图对本发明的具体实施方式做进一步的说明。

实施例1：为了证明我们算法的有效性和优势，应用本算法对VIPeR数据集进行行人重识别的具体步骤如下：

如图1所示，应用本算法对VIPeR数据集进行行人重识别的具体步骤如下：

(1)VIPeR数据集被广泛用作基准评估来评价行人重识别算法的性能，其包含632个行人在2个不同相机视角下的共1264张图像。a相机视角下含632张行人图像，b相机视角下含632张行人图像，且a，b相机下的行人图像一一对应，然后从a，b相机下的632张行人图像中分别抽取316张行人图像作为训练集，其余a，b相机下的316张图像作为测试集，并采用LOMO特征提取的方法分别提取选出的316张行人图像的特征向量，定义X_a＝[x_a，1，x_a，2，…x_a，316]，X_b＝[x_b，1，x_b，2，…x_b，316]分别表示a，b两个摄像机下N张行人图像特征向量的集合，其中x_a，1，x_a，2，…x_a，N分别表示a摄像机下每张行人图像的特征向量，x_b，1，x_b，2，…x_b，N分别表示b摄像机下每张行人图像的特征向量。此外，我们还定义了学习字典其中p表示字典D的维度，取439，m表示字典D的原子个数，取值316，d₁，d₂，…d₃₁₆分别表示字典D的原子，d_i表示字典D的某个原子，且i＝1，2，…316。另外，我们设字典D关于a，b两个摄像机视图下选出的行人图像的编码系数矩阵分别为Z_a，Z_b，其中，Z_a＝[z_a，1，z_a，2，…z_a，316]，z_a，1，z_a，2，…z_a，316分别表示a摄像机视图下选出的每张行人图像特征向量的编码系数，Z_b＝[z_b，1，z_b，2，…z_b，316]，z_b，1，z_b，2，…z_b，316分别表示b摄像机视图下选出的每张行人图像特征向量的编码系数，建立如下目标函数(1)：

其中公式(1)约束条件为即字典D的每个原子的l₂范数的平方小于等于1，||·||_F为F范数运算符，||·||₂为l₂范数运算符，||·||₁为l₁范数运算符，为F范数的平方运算符；

(2)向公式(1)中引入一对投影变换矩阵W_a和W_b，投影变换矩阵W_a和W_b用来处理视点和相关外观变化，且W_a和W_b均为p行h列的矩阵，即 这里p取439，h取316，用W_l来表示一对投影变换矩阵，其中l＝a，b，得到如下公式(2)：

其中，λ₁为超参数，且λ₁＞0；

(3)引入相似性矩阵H，使同一行人的编码系数的相似性更高，则得如下公式(3)：

其中，H为N行N列矩阵，N取316；

(4)为了提高编码系数的判别能力，引入L和P矩阵，其中是一个单位矩阵，N取316，用来表示行人的身份信息，P是识别算子，为m行N列的矩阵，令P由低秩分量R和稀疏分量S组成，得到如下式子(4)：

其中λ₂是一个超参数，取0.001，P是一个m行N列的矩阵，m和N取都316，此外令P由低秩和稀疏分量组成，故有约束条件P＝R+S，rank(R)＜T₁，||S||₀＜T₂，这里T₁＞0，T₂＞0是两个超参数，这里都取10，用于约束R和S。

(5)对(4)中公式的约束条件进行修改以降低求解的复杂度，得到目标函数如下形式(5)：

这里||·||_*表示核范数，用于求解矩阵的奇异值之和，||·||₁表示l₁范数。

(6)对公式(5)进行求解，通过交替迭代进行优化，具体为首先优化编码系数矩阵Z_a和Z_b，假设D，P，W_a和W_b是固定的，则得到公式(6)：

对公式(6)交替更新Z_a和Z_b，更新Z_a得到如下公式(7)：

删除公式(7)中不相关的项，公式(7)可写为公式(8)：

其中并且是一个单位矩阵，p取439，m取316。因此Z_a具有如下的封闭形式的解：

同理，Z_b的封闭形式解可以表示为：

其中

其次，在编码系数矩阵Z_a和Z_b被更新之后，通过固定Z_a，Z_b和P来更新字典D和投影矩阵W_a和W_b，得到如下式子：

对于更新后的字典D，为了方便优化，引入变量B＝[b₁，b₂，…，b_m]，得到

对式子(13)通过ADMM算法进行求解，得到如下求解结果：

其中，η是学习率，t表示第t次迭代，利用ADMM算法，分别得到更新后的D和B，并计算D和B之间的对偶差值，当T^t+1-T^t的值小于0.001时，停止迭代，此时更新得到的字典D为最优解；

对于投影矩阵W_a和W_b，有以下闭式解：

最后，当编码系数Z_a，Z_b，字典D和投影矩阵W_a和W_b的更新后，通过解决以下优化问题来更新P，有如下式子：

s.t.P＝R+S，||R||_*＜T₁，||S||₁＜T₂，

为了便于优化，将式子(17)写为如下式子：

其中τ＞0，β₁＞0和β₂＞0是常量，分别取0.00001，0.001，0.015。

固定R和S，通过求解以下式子(19)的最小问题来获得最优的P：

得到如下封闭形式的解：

其中是一个单位矩阵，p，m分别取439，316。更新P后，通过固定S，求解R，求解式子如下(21)所示，

得到最优的P和R，最优S可以通过求解下式(22)得到：

(7)当模型通过不断的迭代训练后得到最优模型，我们将测试集中的行人图像特征输入模型，进行行人重识别。

分别用以前提出的KISSME(2012)、RS-KISS(2013)、SalMatch(2013)、Mid-Filtet、PolyMap(2015)、LOMO+XQDA(2015)、RD(2016)、SR(2016)、LSSCDL(2016)、RD-KISS(2016)、MHF(2017)、LOMO+DMLV(2017)方法对VIPeR数据集进行行人再识别，并将结果与本算法进行对比，对比结果如表1所示：

表1本发明与其它方法在VIPeR数据集上识别的对比结果

表中的“-”该方法下没有相应级别的结果，最佳结果以粗体突出显示；从表1可以看出，通过我们的方法，在Rank1、Rank5、Rank10上都优于其它方法，而在Rank20上，也优于大多数方法，故在VIPeR数据集上的最佳识别率是通过我们的方法实现的。

实施例2：本实施例方法同实施例1，不同之处在于本实施例在PRID450S数据集上进行行人重识别，PRID450S包含450个行人在2个相机视角下的共900张图像，与其它方法的对比结果如表2所示：

表2本发明与其它方法在PRID450S数据集上识别的对比结果

从表2可以看出，在对PRID450S数据集进行行人重识别上，我们发明的方法除了在Rank1上略低外，在Rank5、Rank10、Rank20上都明显优于其它方法，故本发明方法的效果较其它方法好。

实施例3：本实施例方法同实施例3，不同之处在于本实施例在QMUL-GRID数据集上进行行人重识别，第三个实验是在QMUL-GRID上进行的，该数据集的行人图像是从地铁站的8个不相交的摄像机视图中捕获的，尽管该数据集包含8个相机视角，但只选2个相机视角包含250个行人的共500张图像，余下的相机视角下的775张图像为干扰图像，因此随机选取125个行人的图像进行训练，其余的与另外不想管的775张行人图像结合供测试用，本发明方法与其它方法的对比结果如表3所示：

表3本发明与其它方法在QMUL-GRID数据集上识别的对比结果

从表3可以看出，在对QMUL-GRID数据集进行行人重识别上，我们发明的方法Rank1为26.40％，Rank5为52.80％，Rank10为68.00％，Rank20为79.20％均达到了最好的性能，匹配率最高，故本发明方法的效果较其它方法好。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (4)

1.一种基于列表和身份一致性约束的行人重识别算法，其特征在于，具体步骤如下：

(1)从一个以上的摄像机中任意选取两个a，b摄像机，并从a，b摄像机的视频中分别选出同一行人的图像，且同一行人只选一张图像，设从a，b两个摄像机下分别选出M张行人图像，且a，b摄像机下选出的M张行人图像一一对应，然后从M张行人图像中抽取N张行人图像作为训练集，其余图像作为测试集，并分别提取选出的N张行人图像的特征向量，定义X_a＝[x_a1，x_a2，…x_aN]，X_b＝[x_b1，x_b2，…x_bN]分别表示a，b两个摄像机下N张行人图像特征向量的集合，其中x_a1，x_a2，…x_aN分别表示a摄像机下每张行人图像的特征向量，x_b1，x_b2，…x_bN分别表示b摄像机下每张行人图像的特征向量，定义X_l表示a摄像机下或b摄像机下的图像特征向量的集合，其中l＝a，b，定义表示行人外观的、具有稀疏性的学习字典D，D∈R^p×m，D＝[d₁，d₂，…d_m]，其中，p表示字典D的维度，m表示字典D的原子个数，d₁，d₂，…d_m分别表示字典D的原子，d_i表示字典D的某个原子，且i＝1，2，，，m，设字典D关于a，b两个摄像机视图下选出的行人图像的编码系数矩阵分别为Z_a，Z_b，则Z_a＝[z_a1，z_a2，…z_aN]，Z_b＝[z_b1，z_b2，…z_bN]，其中，z_a1，z_a2，…z_aN分别表示a摄像机视图下选出的每张行人图像特征向量的编码系数，z_b1，z_b2，…z_bN分别表示b摄像机视图下选出的每张行人图像特征向量的编码系数，定义a，b两个摄像机视图下选出的行人图像的编码系数矩阵为Z_l，其中l＝a，b，建立如下最小化目标函数公式(1)：

其中公式(1)约束条件为即字典D的每个原子的l₂范数的平方小于等于1，||·||_F为F范数运算符，||·||₂为l₂范数运算符，||·||₁为l₁范数运算符，为F范数的平方运算符；

(2)向公式(1)中引入一对投影变换矩阵W_a和W_b，投影变换矩阵W_a和W_b用来处理视点和相关外观变化，且W_a和W_b均为p行h列的矩阵，即 用W_l来表示一对投影变换矩阵，其中l＝a，b，得到如下公式(2)：

其中，λ₁为超参数，且λ₁＞0；

(3)引入相似性矩阵H，使同一行人的编码系数的相似性更高，则得如下公式(3)：

其中，H为N行N列矩阵；

(4)为了提高编码系数的判别能力，引入L和P矩阵，其中用来表示N个行人的身份信息，P是识别算子，为m行N列的矩阵，令P由低秩分量R和稀疏分量S组成，则得到如下式子(4)：

其中，λ₂＞0，为超参数，L_l中的l＝a，b，T₁、T₂均为超参数，且T₁＞0，T₂＞0；

(5)将步骤(4)的约束条件进行修改，从而降低求解的复杂度，得到公如下：

其中，||·||_*表示核范数，用于求解矩阵的奇异值之和，||·||₁表示l₁范数；

(6)对公式(5)进行求解，通过交替迭代进行优化，具体为首先优化编码系数矩阵Z_a和Z_b，假设D，P，W_a和W_b是固定的，则得到公式(6)：

对公式(6)交替更新Z_a和Z_b，更新Z_a得到如下公式(7)：

删除公式(7)中不相关的项，公式(7)可写为公式(8)：

其中，是一个单位矩阵，因此Z_a具有如下的封闭形式的解：

同理，Z_b的封闭形式解可以表示为：

其中

其次，在编码系数矩阵Z_a和Z_b被更新之后，通过固定Z_a，Z_b和P来更新字典D和投影矩阵W_a和W_b，得到如下式子：

对于更新后的字典D，为了方便优化，引入变量B＝[b₁，b₂，…，b_m]，得到

对式子(13)通过ADMM算法进行求解，得到如下求解结果：

其中，η是学习率，t表示第t次迭代，利用ADMM算法，分别得到更新后的D和B，并计算D和B之间的对偶差值，当T^t+1-T^t的值小于0.001时，停止迭代，此时更新得到的字典D为最优解；

对于投影矩阵W_a和W_b，有以下闭式解：

最后，当编码系数Z_a，Z_b，字典D和投影矩阵W_a和W_b的更新后，通过解决以下优化问题来更新P，有如下式子：

s.t.P＝R+S，‖R‖_*＜T₁，‖S‖₁＜T₂，

为了便于优化，将式子(17)写为如下式子：

其中，τ＞0，β₁＞0和β₂＞0，均为标量常量；

固定R和S，通过求解以下式子(19)的最小问题来获得最优的P：

得到如下封闭形式的解：

其中，其中是一个单位矩阵，更新P后，通过固定S，求解R，求解式子如下(21)所示，

得到最优的P和R，最优S可以通过求解下式(22)得到：

(7)通过以上不断的迭代得到最优模型后，将测试集中的行人图像特征输入至最优模型中，进行行人重识别。

2.根据权利要求1所述的基于列表和身份一致性约束的行人重识别算法，其特征在于：步骤(1)采用LOMO特征提取选出的N张行人图像的特征向量。

3.根据权利要求1所述的基于列表和身份一致性约束的行人重识别算法，其特征在于：步骤(2)中λ₁的取值为0.001，步骤(4)中λ₂的取值为0.001，步骤(6)中常量τ，β₁，η和β₂的值分别为τ＝0.00001，β₁＝0.001，η＝0.00001，β₂＝0.015。

4.根据权利要求1所述的基于列表和身份一致性约束的行人重识别算法，其特征在于：所述步骤(4)中T₁、T₂的取值均为10。