CN109784288B - 一种基于判别感知融合的行人再识别方法 - Google Patents

Abstract

本发明实施例公开了一种基于判别感知融合的行人再识别方法，该方法包括：确定行人图像特征深度学习模型；获取M个数据源，基于其得到M个行人图像特征深度学习模型；获取每个训练行人图像样本的M个特征向量，提取每个特征向量相同维度的元素值形成新特征向量；将所述训练行人图像样本同一维度形成的新特征向量输入到支持向量机中，学习得到融合权重；结合行人图像特征深度学习模型和融合权重得到测试行人图像样本的最终特征表达；搜索目标图像得到行人识别结果。本发明充分利用卷积神经网络的优势，利用不同的训练样本从不同的角度学习图像特征，最终利用学习的融合权重将多个特征融合在一起表示行人图像，进一步提高了行人再识别的正确搜索率。

Description

一种基于判别感知融合的行人再识别方法

技术领域

本发明属于模式识别、人工智能领域，具体涉及一种基于判别感知融合的行人再识别方法。

背景技术

为了给人们营造一个安全的生活环境，保障人们的生命、财产安全。近年来，学校、公园、医院、商场等一系列的公共场合都安装了监控摄像头，构成了大规模分布式的监控系统。这能够对犯罪嫌疑人进行跟踪与定位，在维护社会稳定中发挥了重要作用。然而，依靠人工监察效率低下，利用计算机快速、准确解决此问题已成为必然的趋势。因此，行人再识别(Person Re-Identification)技术引起了研究者广泛的关注。然而，由于真实场景中行人姿势、摄像机拍摄角度、光照等因素都在不停的变化，因此行人再识别这项技术面临着巨大的挑战。

由于深度学习算法可以提取判别性的特征，它在行人再识别领域引起了广泛的关注。Li等人首先将深度学习算法应用到行人再识别领域，使得行人再识别性能得到显著的提升。Cheng等人利用三元组损失函数减小行人类内变化，增加行人类间变化，进一步提高了行人再识别正确识别率。为了充分利用行人图像的标签信息，Zheng等人对行人图像实施了分类任务，在全连接层后提取行人特征，运用交叉熵损失函数对行人特征进行优化，进一步提高了行人再识别的性能。之后，为了在深度模型中学习判别性特征，一些研究者提出了特征融合策略。Sun等人将卷积激活图水平地划分为六部分来学习行人图像的局部特征，然后将局部特征串联起来表示行人。Zhang等人提出融合卷积神经网络(IntegrationConvolutional Neural Network，ICNN)，该网络能同时学习行人图像的整体特征和局部特征，然后将这两种特征按不同权重串联起来作为行人图像的最终表示。Wang等人设计多粒度网络(Multiple Granularity Network,MGN)融合行人图形的三种特征来提高行人再识别的性能。然而，以上特征融合方法通常只进行了简单的串联操作，或者为特征设置固定的权重。此外，他们主要研究训练单模型，没有考虑利用多模型来提高行人再识别的性能。

发明内容

本发明的目的是要解决深度模型没有被充分利用，并且多种特征没有充分的融合在一起的技术问题，为此，本发明提供一种基于判别感知融合的行人再识别方法。

为了实现所述目的，本发明提出的一种基于判别感知融合的行人再识别方法包括以下步骤：

步骤S1，利用预训练深度学习模型确定行人图像特征深度学习模型；

步骤S2，在训练集中随机选取P个行人图像样本作为一个新的数据源，重复该随机选取过程M次，得到M个新的数据源；

步骤S3，对得到的M个数据源进行预处理，并利用预处理后的M个数据源，分别独立地训练所述行人图像特征深度学习模型，得到M个训练好的行人图像特征深度学习模型；

步骤S4，基于训练好的M个行人图像特征深度学习模型，获取每个训练行人图像样本的M个特征向量，然后提取每个特征向量相同维度的元素值形成相应训练行人图像样本的新的特征向量；

步骤S5，将所述训练行人图像样本同一维度形成的新特征向量输入到支持向量机中，学习得到融合权重，用以对于M个特征向量进行融合得到最终特征表达；

步骤S6，将测试集中的测试行人图像样本输入至训练好的M个行人图像特征深度学习模型中提取得到所述测试行人图像样本的M个特征向量，结合所述融合权重得到所述测试行人图像样本的最终特征表达；

步骤S7，基于获得的测试行人图像样本的最终特征表达，在测试集中搜索与所述最终特征表达相匹配的行人图像作为目标图像，得到行人识别结果。

可选地，所述步骤S1包括以下步骤：

步骤S11，获取预训练的深度学习模型，并对其使用的模型结构进行参数初始化，得到初始深度模型结构；

步骤S12，在所述初始深度模型结构后增加卷积层和全连接层；

步骤S13，对于全连接层的输出进行类别预测，得到图像特征属于k类别的类别预测概率p(k)；

步骤S14，基于所述类别预测概率，利用交叉熵损失函数对于所述图像特征进行学习优化，得到所述行人图像特征深度学习模型。

可选地，所述预测概率p(k)表示为：

其中，a_k表示全连接层中输出的第k个神经元的激活值，a_j表示全连接层中输出的第j个神经元的激活值，C为训练集中行人的总类别数目。

可选地，所述交叉熵损失函数L表示为：

其中，如果获取的图像特征属于k类，那么q(k)＝1，否则q(k)＝0，C为训练集中行人的总类别数目。

可选地，所述步骤S3包括以下步骤：

步骤S31，将M个数据源分别进行预处理；

步骤S32，将预处理之后的数据源用相同的方法分别独立地训练所述行人图像特征深度学习模型，得到M个训练好的行人图像特征深度学习模型。

可选地，所述步骤S31中对数据源进行预处理包括：将行人图像的大小裁剪为预设大小，把所述行人图像所有的像素值按比例缩小至预设范围内，将所述行人图像中的每个像素值减去所述训练集中行人图像的像素平均值，再除以所述训练集中行人图像的像素方差。

可选地，所述步骤S4包括以下步骤：

步骤S41，基于训练好的M个行人图像特征深度学习模型，对于第p个训练行人图像样本可提取得到M个特征向量；

步骤S42，基于获得的训练行人图像样本的M个特征向量，提取这M个特征向量相同维度处对应的元素值形成行人图像新的特征向量，最终每幅训练行人图像样本得到N个新特征向量。

可选地，所述第n个支持向量机的决策函数可表示为：

其中，w_n＝[w_n1,w_n2,…,w_nm,…,w_nM]表示支持向量机的法向量，b代表偏置，φ()是一个能把特征向量映射到另一个空间的转换函数，

表示第p个训练行人图像样本的M个特征向量的第n个维度组合形成的新特征向量。

可选地，所述步骤S6包括以下步骤：

步骤S61，将测试行人图像样本进行预处理后输入至训练好的M个行人图像特征深度学习模型中，得到M个特征向量；

步骤S62，对第n个支持向量机的法向量中的元素进行归一化操作；

步骤S63，重新组合N个法向量中的第m个元素获得第m个行人图像特征深度学习模型对应的融合权重；

步骤S64，将M个特征向量中的每个特征向量乘以对应的融合权重并相加，得到所述测试行人图像样本的最终特征表达。

可选地，第p个测试行人图像样本的最终特征表达F^p表示为：

其中，W_m表示第m个融合权重，⊙表示向量中对应元素相乘，

表示第p个测试行人图像样本M个特征向量中的第m个特征向量的值。

本发明的有益效果为：本发明通过判别感知融合利用多个深度模型从不同的角度学习行人图像的特征，同时学习融合权重来选择具有判别性的特征，然后利用学习的融合权重将行人图像特征充分地融合在一起，来表示行人图像，提高了行人再识别搜索的正确率。

需要说明的是，本发明得到了国家自然科学基金项目No.61501327、No.61711530240，天津市自然科学基金重点项目No.17JCZDJC30600，天津师范大学“青年科研拔尖人才培育计划”No.135202RC1703，模式识别国家重点实验室开放课题基金No.201800002，中国国家留学基金No.201708120040、No.201708120039和天津市高等教育创新团队基金项目的资助。

附图说明

图1是根据本发明一实施例的一种基于判别感知融合的行人再识别方法的流程图；

图2是根据本发明一实施例的行人特征深度学习模型的结构框架示意图；

图3是根据本发明一实施例的特征融合的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

图1是根据本发明一实施例的一种基于判别感知融合的行人再识别方法的流程图，下面以图1为例来说明本发明的一些具体实现流程，如图1所示，所述基于判别感知融合的行人再识别方法包括以下步骤：

步骤S1，利用预训练深度学习模型确定行人图像特征深度学习模型，所述行人图像特征学习模型的结构框架如图2所示；

进一步地，所述步骤S1包括以下步骤：

步骤S11，获取预训练的深度学习模型，并对其使用的模型结构进行参数初始化，得到初始深度模型结构；

在本发明一实施例中，所采用的已预训练的深度学习模型为ResNet-50，而且仅选择该模型中最后一个整体池化及之前的模型成分，其中将第四个块的步长由原来默认的2改为1(ResNet-50模型中不同的块包含不同数量的卷积层)。

步骤S12，在所述初始深度模型结构后增加卷积层，以把图像特征降低到N维度作为行人图像的特征向量，然后增加全连接层对降维后的特征向量进行分类；

在本发明一实施例中，所述降维后的特征向量维度为256。

步骤S13，对于全连接层的输出进行类别预测，得到图像特征属于k类别的类别预测概率p(k)；

进一步地，所述步骤S13中，所述预测概率p(k)表示为：

其中，a_k表示全连接层中输出的第k个神经元的激活值，a_j表示全连接层中输出的第j个神经元的激活值，C为训练集中行人的总类别数目。

在本发明一实施例中，在DukeMTMC-reID数据库中进行测试时，C＝702。

步骤S14，基于所述类别预测概率，利用交叉熵损失函数对于所述图像特征进行学习优化，得到所述行人图像特征深度学习模型。

进一步地，所述步骤S14中，所述交叉熵损失函数L表示为：

其中，如果获取的图像特征属于k类，那么q(k)＝1，否则q(k)＝0。

步骤S2，在训练集中随机选取P个行人图像样本作为一个新的数据源，重复该随机选取过程M次，得到M个新的数据源；

进一步地，所述步骤S2包括以下步骤：

步骤S21，在训练集中随机选取P个行人图像样本作为一个新的数据源；

在本发明一实施例中，在DukeMTMC-reID数据库中测试时，训练集中总共的行人图像样本为16,522个，随机选取的行人图像样本P＝15,000。

步骤S22，重复该随机选取样本的过程M次，得到M个不同的数据源，其中，每个数据源中均包括P个行人图像样本。

在本发明一实施例中，所述选取的数据源数量M＝15。

步骤S3，对得到的M个数据源进行预处理，并利用预处理后的M个数据源，分别独立地训练所述行人图像特征深度学习模型，得到M个训练好的行人图像特征深度学习模型；

进一步地，所述步骤S3包括以下步骤：

步骤S31，将M个数据源分别进行预处理；

在本发明一实施例中，所述对数据源进行预处理包括：将行人图像的大小裁剪为预设大小，比如384×128，并把所述行人图像所有的像素值按比例缩小至预设范围内，比如0到1之间，然后将所述行人图像中的每个像素值减去所述训练集中行人图像的像素平均值，再除以所述训练集中行人图像的像素方差。

步骤S32，将预处理之后的数据源用相同的方法分别独立地训练所述行人图像特征深度学习模型，得到M个训练好的行人图像特征深度学习模型。

步骤S4，基于训练好的M个行人图像特征深度学习模型，获取每个训练行人图像样本的M个特征向量，然后提取每个特征向量相同维度的元素值形成相应训练行人图像样本的新的特征向量；

进一步地，所述步骤S4包括以下步骤：

步骤S41，基于训练好的M个行人图像特征深度学习模型，对于第p个训练行人图像样本可提取得到M个特征向量

其中

为来自第m个行人图像特征深度学习模型的特征向量，其可以表示为：

其中，N表示特征向量的维度。

步骤S42，基于获得的训练行人图像样本的M个特征向量，提取这M个特征向量相同维度处对应的元素值形成行人图像新的特征向量，最终每幅训练行人图像样本得到N个新特征向量，其中，第p个行人图像第n个维度组合形成的新特征向量

表示为：

步骤S5，将所述训练行人图像样本同一维度形成的新特征向量输入到支持向量机中，学习得到融合权重，用以对于M个特征向量进行融合得到最终特征表达；

进一步地，所述步骤S5中，总共训练N个支持向量机，将新特征向量

输入到第n个支持向量机中，得到对应该维度的融合权重。所述第n个支持向量机的决策函数可表示为：

其中，w_n＝[w_n1,w_n2,…,w_nm,…,w_nM]表示支持向量机的法向量，b代表偏置，φ()是一个能把特征向量映射到另一个空间的转换函数。

在本发明一实施例中，总共学习了256个支持向量机。

步骤S6，在测试阶段，将测试集中的测试行人图像样本输入至训练好的M个行人图像特征深度学习模型中提取得到所述测试行人图像样本的M个特征向量，结合所述融合权重得到所述测试行人图像样本的最终特征表达，整个融合结构图如图3所示；

进一步地，所述步骤S6包括以下步骤：

步骤S61，将测试行人图像样本进行预处理后输入至训练好的M个行人图像特征深度学习模型中，得到M个特征向量；

在本发明一实施例中，所述测试阶段的行人图像样本预处理方法与训练阶段行人图像样本预处理方法相同。

步骤S62，对第n个支持向量机的法向量中的元素进行归一化操作，所述归一化之后的法向量表示为：

步骤S63，重新组合N个法向量中的第m个元素获得第m个行人图像特征深度学习模型对应的融合权重，所述对应的融合权重表示为：

其中，

表示来自第n个支持向量机中法向量的第m个元素进行归一化之后的值。

步骤S64，将M个特征向量中的每个特征向量乘以对应的融合权重并相加，得到所述测试行人图像样本的最终特征表达，其中，所述测试集中第p个测试行人图像样本的最终特征表达F^p表示为：

其中，W_m表示对应于第p个测试行人图像样本M个特征向量中的第m个特征向量的第m个融合权重，⊙表示向量中对应元素相乘，

表示第p个测试行人图像样本M个特征向量中的第m个特征向量的值，也就是第p个测试行人图像样本在第m个行人图像特征深度学习模型中提取得到的特征。

步骤S7，基于获得的测试行人图像样本的最终特征表达，在测试集中搜索与所述最终特征表达相匹配的行人图像作为目标图像，得到行人识别结果。

以网上公开的行人再识别大型数据库作为测试对象，比如在DukeMTMC-reID数据库上测试时，本发明行人再识别正确搜索率达到82.84％(rank-1)和66.93％(mAP)。本发明行人再识别方法有效地从不同角度学习特征，并能够选择判别性的特征，利用学习的有意义的融合权重融合了行人的所有特征，很大程度地提高了行人再识别正确搜索率，由此可见本发明方法的有效性。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改。

Claims (9)

1.一种基于判别感知融合的行人再识别方法，其特征在于，所述方法包括以下步骤：

步骤S1，利用预训练深度学习模型确定行人图像特征深度学习模型；

步骤S2，在训练集中随机选取P个行人图像样本作为一个新的数据源，重复该随机选取过程M次，得到M个新的数据源；

步骤S3，对得到的M个数据源进行预处理，并利用预处理后的M个数据源，分别独立地训练所述行人图像特征深度学习模型，得到M个训练好的行人图像特征深度学习模型；

步骤S4，基于训练好的M个行人图像特征深度学习模型，获取每个训练行人图像样本的M个特征向量，然后提取每个特征向量相同维度的元素值形成相应训练行人图像样本的新的特征向量；

步骤S5，将所述训练行人图像样本同一维度形成的新特征向量输入到支持向量机中，学习得到融合权重，用以对于M个特征向量进行融合得到最终特征表达；

步骤S6，将测试集中的测试行人图像样本输入至训练好的M个行人图像特征深度学习模型中提取得到所述测试行人图像样本的M个特征向量，结合所述融合权重得到所述测试行人图像样本的最终特征表达；

步骤S7，基于获得的测试行人图像样本的最终特征表达，在测试集中搜索与所述最终特征表达相匹配的行人图像作为目标图像，得到行人识别结果；

其中，所述步骤S6包括以下步骤：

步骤S61，将测试行人图像样本进行预处理后输入至训练好的M个行人图像特征深度学习模型中，得到M个特征向量；

步骤S62，对第n个支持向量机的法向量中的元素进行归一化操作；

步骤S63，重新组合N个法向量中的第m个元素获得第m个行人图像特征深度学习模型对应的融合权重；

步骤S64，将M个特征向量中的每个特征向量乘以对应的融合权重并相加，得到所述测试行人图像样本的最终特征表达。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括以下步骤：

步骤S11，获取预训练的深度学习模型，并对其使用的模型结构进行参数初始化，得到初始深度模型结构；

步骤S12，在所述初始深度模型结构后增加卷积层和全连接层；

步骤S13，对于全连接层的输出进行类别预测，得到图像特征属于k类别的类别预测概率p(k)；

步骤S14，基于所述类别预测概率，利用交叉熵损失函数对于所述图像特征进行学习优化，得到所述行人图像特征深度学习模型。

3.根据权利要求2所述的方法，其特征在于，所述预测概率p(k)表示为：

其中，a_k表示全连接层中输出的第k个神经元的激活值，a_j表示全连接层中输出的第j个神经元的激活值，C为训练集中行人的总类别数目。

4.根据权利要求2所述的方法，其特征在于，所述交叉熵损失函数L表示为：

其中，如果获取的图像特征属于k类，那么q(k)＝1，否则q(k)＝0，C为训练集中行人的总类别数目。

5.根据权利要求1所述的方法，其特征在于，所述步骤S3包括以下步骤：

步骤S31，将M个数据源分别进行预处理；

步骤S32，将预处理之后的数据源用相同的方法分别独立地训练所述行人图像特征深度学习模型，得到M个训练好的行人图像特征深度学习模型。

6.根据权利要求5所述的方法，其特征在于，所述步骤S31中对数据源进行预处理包括：将行人图像的大小裁剪为预设大小，把所述行人图像所有的像素值按比例缩小至预设范围内，将所述行人图像中的每个像素值减去所述训练集中行人图像的像素平均值，再除以所述训练集中行人图像的像素方差。

7.根据权利要求1所述的方法，其特征在于，所述步骤S4包括以下步骤：

步骤S41，基于训练好的M个行人图像特征深度学习模型，对于第p个训练行人图像样本可提取得到M个特征向量；

步骤S42，基于获得的训练行人图像样本的M个特征向量，提取这M个特征向量相同维度处对应的元素值形成行人图像新的特征向量，最终每幅训练行人图像样本得到N个新特征向量。

8.根据权利要求1所述的方法，其特征在于，所述第n个支持向量机的决策函数可表示为：

其中，w_n＝[w_n1,w_n2,…,w_nm,…,w_nM]表示支持向量机的法向量，b代表偏置，φ()是一个能把特征向量映射到另一个空间的转换函数，

表示第p个训练行人图像样本的M个特征向量的第n个维度组合形成的新特征向量。

9.根据权利要求1所述的方法，其特征在于，第p个测试行人图像样本的最终特征表达F^p表示为：

其中，W_m表示第m个融合权重，⊙表示向量中对应元素相乘，

表示第p个测试行人图像样本M个特征向量中的第m个特征向量的值。

Images