CN109190446A - 基于三元组聚焦损失函数的行人再识别方法 - Google Patents

Abstract

本发明提供了一种基于三元组聚焦损失函数的行人再识别方法。首先，对输入的图像数据集进行分组，并选择用于特征提取的网络模型，设置其损失函数为三元组聚焦损失函数；然后，利用分组训练数据对网络进行训练，得到训练好的网络模型；最后，利用训练好的网络分别对数据库中的图像和待查询行人图像进行特征提取，计算特征向量间的欧式距离，根据距离大小判断识别结果。利用本发明方法，可以使难样本更聚焦，模型训练收敛性更好，行人识别精确度更高，识别性能更好。

Description

基于三元组聚焦损失函数的行人再识别方法

技术领域

本发明属计算机视觉技术领域，具体涉及一种基于三元组聚焦损失函数的行人再识别方法。

背景技术

跨摄像头的行人再识别技术已经成为图像识别领域的热点，其综合运用了机器学习、人工智能、视觉计算等多方面的技术，主要应用于刑侦、图像检索等方面。行人再识别技术的主要目的是检索一个摄像头中出现的行人是否曾经出现在其它摄像头中，即将一个行人的特征与其他行人的特征作比较，判断是否为同一个行人。目前的基本处理方式是先对图像进行特征提取，然后将测试集中的图像特征与训练集中的图像特征进行匹配，看有没有相似的图像出现。在实际的监控视频应用中，则先提取出一个摄像头中行人的图像特征，然后再与其它摄像头中的图像特征进行筛选比较，即利用行人再识别行人。当然，在识别过程中，由于监控视频分辨率低、不同摄像头光照角度变化、行人动作姿势不同、遮挡等问题可能会影响识别正确率。

此外，还有研究行人的特征表示方法，通过提取更具有鲁棒性的鉴别特征来识别行人。Alexander Hermans等人在文献“In defense of the triplet loss for personre-identification,arXiv preprint arXiv:1703.07737,2017.”中使用距离来进行度量计算，以同一个行人之间的距离小于不同行人之间的距离来进行行人判别。Schroff F等人在文献“FaceNet:A unified embedding for face recognition and clustering[C]，IEEE Conference on Computer Vision and Pattern Recognition.IEEE ComputerSociety,2015:815-823”中提出FaceNet方法，该方法直接对图像到欧式平面上的点的映射进行学习，其中，两幅图像特征所对应欧式空间上的点的距离直接对应着两幅图像是否相似，利用点之间的距离来判别脸部的相似性。这些方法在训练数据收敛中对简单样本(即易于区分的样本)和难样本(即难于区分的样本)进行了同样的处理，而实际模型训练中难样本能够对训练过程提供更多有用的信息，且对数据收敛具有更大的作用，所以这些方法淹没了难样本的重要性，没有发挥难样本在训练数据模型中的更大作用。

发明内容

为了克服现有技术的不足，本发明提供一种基于三元组聚焦损失函数的行人再识别方法。首先，对输入的图像数据集进行分组，并选择用于特征提取的网络模型，设置其损失函数为三元组聚焦损失函数；然后，利用分组训练数据对网络进行训练，得到训练好的网络模型；最后，利用训练好的网络分别对数据库中的图像和待查询行人图像进行特征提取，计算特征向量间的欧式距离，根据距离大小判断识别结果。利用本发明方法，可以使难样本更聚焦，模型训练收敛性更好，行人识别精确度更高，识别性能更好。

一种基于三元组聚焦损失函数的行人再识别方法，其特征在于步骤如下：

步骤1：假设训练数据集中有N幅图像，将图像分组，每组训练数据随机挑选P个不同的行人，每个行人随机选K幅不同的图像，即一组训练数据包含P×K幅图像，对于每组训练数据中的每一幅图像，其本身为原样本，和原样本是相同行人的图像为正样本，和原样本是不同行人的图像为负样本，原样本、正样本和负样本共同构成一个三元组；其中，P的取值范围为25-35，K的取值范围为2-5。

步骤2：选择残差网络Resnet50为用于特征提取的卷积神经网络，并设置网络的损失函数为以下三元组聚焦损失函数：

其中，L_TFL表示损失函数，表示原样本与所有正样本之间的最大欧式距离，表示原样本与所有负样本之间的最小欧式距离，σ表示高斯核空间映射参数，σ＝0.3，m表示人为设定的阈值参数，m＝0.3。

步骤3：将步骤1中得到的每组训练数据集分别输入步骤2的卷积神经网络，并设置训练次数为300，学习率为2×10^-4，采用随机梯度下降法进行训练，得到训练好的网络模型。

步骤4：先利用训练好的网络模型对数据库中的所有图像进行特征提取，得到每幅图像的特征向量，利用训练好的网络模型对待查询行人图像进行特征提取，得到其特征向量；然后，计算待查询行人图像的特征向量和数据库中每幅图像的特征向量之间的欧式距离，并且按照欧式距离值从小到大对数据库中对应的图像进行排序，距离越近表示与待查询行人图像是同一个行人的可能性越大。

本发明的有益效果是：由于采用高斯核函数对样本距离进行进一步约束，使得样本之间不同欧式距离有针对性映射，难样本惩罚增大；由于采用添加了高斯核空间映射的三元组聚焦损失函数为网络的损失函数，正负样本之间的距离差更符合图像识别本身的计算差，减小了度量函数在计算过程中的误差率，使不同的行人更易于区分，大大提升了行人的判别性能。

附图说明

图1是本发明的一种基于三元组聚焦损失函数的行人再识别方法流程图

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

行人再识别技术的关键在于相似性度量学习，本发明针对训练阶段的聚焦功能，在样本训练过程中将原始距离映射到高斯核空间中，通过优化三元组损失函数，使得模型更加聚焦于难样本，提高网络的泛化能力。本发明关注的是同一个行人的不同点和不同行人的相同点，针对这些问题来有效区分不同行人。

如图1所示，一种基于三元组聚焦损失函数的行人再识别方法，其基本过程如下：

1、准备训练数据集

输入所选定的图像数据集，假设数据集中有N幅图像，训练时将图像进行分组训练，每组训练数据随机挑选P个不同的行人，每个行人随机选K幅不同的图像，即一组训练数据包含P×K幅图像，对于每组训练数据中的每一幅图像，其本身为原样本，正样本表示和原样本是相同行人的图像，负样本表示和原样本是不同行人的图像，原样本、正样本和负样本共同构成一个三元组。其中，P的取值范围为25-35，K的取值范围为2-5，本实施例中P取32，K取4。

2、设定网络结构

本发明选择Kaiming He等人在文献“Deep Residual Learning for ImageRecognition[C]//IEEE Conference on Computer Vision and PatternRecognition.IEEE Computer Society,2016:770-778.”中提出的残差网络Resnet50为用于特征提取的卷积神经网络，并设置网络的损失函数为如下的三元组聚焦损失函数：

其中，L_TFL表示损失函数，表示原样本与所有正样本之间的最大欧式距离，表示原样本与所有负样本之间的最小欧式距离，和分别表示了高斯核空间映射距离，σ为高斯核空间映射参数，σ＝0.3，m为人为设置的阈值参数，m＝0.3。

公式(2)的三元组聚焦损失函数利用了不同样本之间的距离，取正样本对距离最大和负样本对距离最小的，以最大化不同行人之间的特征识别能力，并通过将原始距离映射到高斯核空间，对于难于区分的样本对，即正样本对距离较大、负样本对距离较小的情况，损失函数施加的惩罚相对更大，而对于比较简单易于区分的样本对，损失函数所施加的惩罚相对较为适中。也就是说，随着距离的增加，三元组聚焦损失函数相应的惩罚呈指数式增长，具有更好的聚焦于难样本的功能。因此，以此为损失函数的模型能够学习得到更佳的特征判别力，性能表现更好。

3、网络训练

利用步骤1中得到的每组训练数据集训练步骤2的网络结构，初始化训练次数为300，学习率为2×10^-4，并采用随机梯度下降法进行训练，得到训练好的网络模型。

4、特征提取

利用步骤3训练好的网络模型对数据库中的所有图像进行特征提取，得到每幅图像的特征向量。输入待查询行人图像，利用步骤3训练好的网络模型对其进行特征提取，得到相应的特征向量。

5、结果判别

计算待查询行人图像的特征向量和数据库中每幅图像的特征向量之间的欧式距离，并且按照距离从小到大对数据库中的图像进行排序，距离越近的表示该图像与待查询行人图像是同一个行人的可能性越大。

Claims (1)

1.一种基于三元组聚焦损失函数的行人再识别方法，其特征在于步骤如下：

步骤1：假设训练数据集中有N幅图像，将图像分组，每组训练数据随机挑选P个不同的行人，每个行人随机选K幅不同的图像，即一组训练数据包含P×K幅图像，对于每组训练数据中的每一幅图像，其本身为原样本，和原样本是相同行人的图像为正样本，和原样本是不同行人的图像为负样本，原样本、正样本和负样本共同构成一个三元组；其中，P的取值范围为25-35，K的取值范围为2-5；

步骤2：选择残差网络Resnet50为用于特征提取的卷积神经网络，并设置网络的损失函数为以下三元组聚焦损失函数：

其中，L_TFL表示损失函数，表示原样本与所有正样本之间的最大欧式距离，表示原样本与所有负样本之间的最小欧式距离，σ表示高斯核空间映射参数，σ＝0.3，m表示人为设定的阈值参数，m＝0.3；

步骤3：将步骤1中得到的每组训练数据集分别输入步骤2的卷积神经网络，并设置训练次数为300，学习率为2×10^-4，采用随机梯度下降法进行训练，得到训练好的网络模型；

步骤4：先利用训练好的网络模型对数据库中的所有图像进行特征提取，得到每幅图像的特征向量，利用训练好的网络模型对待查询行人图像进行特征提取，得到其特征向量；然后，计算待查询行人图像的特征向量和数据库中每幅图像的特征向量之间的欧式距离，并且按照欧式距离值从小到大对数据库中对应的图像进行排序，距离越近表示与待查询行人图像是同一个行人的可能性越大。