CN110796026A - 一种基于全局特征拼接的行人重识别方法 - Google Patents

Abstract

本发明公开了一种基于全局特征拼接的行人重识别方法，从空间维度提升网络性能。首先利用SE‑ResNeXt50网络作为骨干网络提取行人图像特征；然后把不同卷积层提取的特征进行拼接，使特征信息互补；最后将拼接后的特征再次进行卷积处理，获得高细粒度的特征；所引入的聚类损失函数不同于目前常用的三元组损失函数，并且首次将聚类损失函数和交叉熵损失函数联合训练模型；本发明的识别效果在Market1501数据集上，Rank‑1、mAP两个评价指标分别达到了95.9％和94.6％，是目前识别效果较高的，并且网络结构简单，计算量小。

Description

一种基于全局特征拼接的行人重识别方法

技术领域

本发明属于数字图像处理、计算机视觉技术领域，涉及一种行人重识别方法，特别是涉及一种基于全局特征表征的行人重识别方法。

背景技术

行人重识别也称行人再识别(Person Re-identification,person ReID)，是指在跨摄像头的环境中，判断是否存在给定行人图像。该技术是计算机视觉、机器学习以及模式识别的综合运用。具体流程，首先对查询集(Probe)和候选行人数据集(Gallery)进行特征提取，然后根据特征向量给出相似度排序，可用于城市安防管理、智能零售、相册聚类等领域。

2014年以前，研究学者通过设计鲁棒的特征提取器和优化的相似度度量方法进行识别。但是这些手工特征描述效果差，并且度量学习对大数据集求解困难，难以胜任实际运用。进入深度学习时代后，卷积神经网络(Convolutional Neural Network,CNN)能够从大量的数据集中学习到复杂的特征，利用简单的距离度量方法便取得了突破性的性能提升，基于深度学习的行人重识别取代了前者。特征提取的效果直接影响整个person ReID系统的性能，因此近年来很多学者对此进行了研究，并提出了很多算法。

特征提取的方法分为全局特征和局部特征。全局特征通过CNN提取行人图像的颜色、纹理、形状等整体属性特征。局部特征通过CNN提取行人图像局部区域的特别属性特征，如边缘、角点等。目前，许多研究学者专注于把全局特征和局部特征做融合，以达到增强特征表征能力的目的。然而这些算法并不能达到较高的识别率，并且网络模型复杂。

发明内容

本发明的目的在于提出一种基于全局特征拼接的行人重识别算法，显著提升行人重识别效果，降低网络模型复杂性，减少计算量，能够适用于行人姿态变化、拍摄角度变化、光线变化、物体遮拦等因素引起的低劣质量行人图像的识别。

本发明所采用的技术方案是：一种基于全局特征拼接的行人重识别方法，其特征在于，包括以下步骤：

步骤1：针对输入的行人重识别数据集，进行特征提取；所述行人重识别数据集的测试集由查询集和候选行人数据集组成；所述行人重识别数据集的测试集由查询集(Probe)和候选行人数据集(Gallery)组成；

步骤2：特征拼接；

首先使用双线性插值做升维处理，将特征尺度统一；然后将相同尺度的特征拼接；

步骤3：卷积操作；

卷积层采用步长为1，填充为1的3×3卷积提取拼接特征；

步骤4：池化操作；

将步骤3所提取的特征做全局平均池化和归一化处理；

步骤5：将聚类损失函数和标签平滑损失函数联合训练网络，学习更多具有识别性的特征；

步骤6：输出结果；

计算查询数据集中指定行人图像和候选行人数据集的每张图像的欧式距离，接着对所计算得到的距离进行升序排序，获得行人重识别结果。

本发明提出了一种基于深层特征融合的行人重识别方法，与现有算法相比，其显著优点在于：

(1)本发明提出了一种基于全局特征拼接的行人重识别算法，从空间维度提升网络性能。首先利用SE-ResNeXt50网络作为骨干网络提取行人图像特征；然后把不同卷积层提取的特征进行拼接，使特征信息互补；最后将拼接后的特征再次进行卷积处理，获得高细粒度的特征。

(2)所引入的聚类损失函数不同于目前常用的三元组损失函数，并且首次将聚类损失函数和交叉熵损失函数联合训练模型。

(3)本发明的识别效果在Market1501数据集上，Rank-1、mAP两个评价指标分别达到了95.9％和94.6％，是目前识别效果较高的，并且网络结构简单，计算量小。

附图说明

图1为本发明实施例的网络框架图；

图2为本发明实施例的聚类损失函数示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本实施例提出了一种不同空间维度的特征拼接方法，以SE-ResNeXt50作为基础骨干网络，对最后3层卷积层做特征拼接，为减少信息的缺失，再利用卷积、全局池化提取更加深层的特征。所提取的特征拥有更好的细粒度特征表征能力。距离度量时，采用了聚类损失函数代替传统的三元组损失函数。在训练时，加入随机擦除(Random ErasingAugmentation,REA)、减小池化步长训练技巧，测试时加入Re-ranking。本发明的行人重识别网络结构如图1所示，网络结构包括骨干网络(Backbone)、卷积层、池化层、全连接层四个部分。

本发明提供的一种基于全局特征拼接的行人重识别方法，具体步骤如下：

步骤1：针对输入的行人重识别数据集，进行特征提取；所述行人重识别数据集的测试集由查询集和候选行人数据集组成；行人重识别数据集的测试集由查询集(Probe)和候选行人数据集(Gallery)组成；

输入的行人图像数据集首先采用REA对图像进行随机的遮拦，以增强模型学习能力，其中设置随机遮拦的概率p＝0.5，遮拦矩形框面积为0.03<S<0.35。然后将数据集输入至SE-ResNeXt50网络，该网络是ResNet和SENet(Squeeze-and-Excitation Networks)的结合。ResNet将输入端的特征直接传到输出端，整个网络只需学习两端的差别，保护了特征的完整性；SENet依据损失函数去学习每个特征通道的重要程度，有效的Feature Map权重变大，无效的则减小。SE-ResNeXt是在残差块中嵌入SE Block(挤压块和激励块)，并把残差块中的单路卷积分为多个支路的多路卷积。残差网络宽度的扩充和SE Block的嵌入让SE-ResNeXt50网络达到更好的提取效果。最终输出特征f₃。

步骤2：特征拼接；

本实施例中，步骤2的具体实现包括以下子步骤：

步骤2.1特征尺度变换；

已知f₁尺度为32×16×512，f₂为16×8×1024，f₃为8×4×2048。为了将特征尺度统一，首先使用双线性插值，分别将f₂放大为32×16×1024，f₃放大为32×16×2048，然后用1×1卷积将f₁、f₂升维为32×16×2048。其中，f₁、f₂、f₃示的是Se-ResNeXt50网络通过不同卷积层做卷积操作得到特征张量，是根据输入图像大小、卷积核大小、卷积步长、池化步长等一系列操作计算所得；

步骤2.2特征拼接；

把经步骤2.1处理的3个相同尺度的特征拼接为f＝[f₁、f₂、f₃]，特征f既能把f₁、f₂、f₃特征优势互补，还能防止网络在训练过程中的特征丢失。

步骤3：卷积操作；

本实施例中，3个不同尺度的特征拼接时，插值处理会降低识别的精度，再进行卷积操作将不同空间尺度的信息充分提取。卷积层采用步长为1，填充为1的3×3卷积提取拼接特征f。

步骤4：池化操作；

本实施例中，将步骤3所提取的特征做全局平均池化和归一化处理。全局平均池化是为了做分类处理，归一化处理是为了改变网络的梯度流，使损失函数更易收敛。

步骤5：将聚类损失函数和标签平滑损失函数联合训练网络，学习更多具有识别性的特征；

步骤5.1聚类损失函数；

在距离度量中，引入聚类损失函数，与三元组损失函数相比，它可以让网络模型输出更大的类间变化距离和更小的类内变化距离。聚类损失通过约束目标样本与类内(Within-class)行人的平均特征距离以及类间(Between-classes)行人的平均特征距离来提高性能。如图2所示为聚类损失函数原理示意图。

设网络模型训练中P为所有行人图像，K为每个行人i的图像总和。类内行人的平均特征映射f_i ^a如式(1)所示，其中，f(x_k)为行人i的一张图像的特征映射。

为使模型在训练阶段更快地收敛到更好的结果，本算法在聚类损失的基础上引入强样本挖掘。在训练过程中只考虑强样本，因此在收敛过程中所需的迭代次数将会减少，每次迭代时，距离都会进行调整，以减少类内距离，同时确保类间保持较远的距离。目标样本与类内平均行人特征映射的最大欧式距离

如式(2)所示：

目标样本的类内平均行人特征映射与类间平均行人特征映射的最小欧式距离

如式(3)所示，其中，

为行人j的类内平均行人特征映射，j∈P且i≠j。

基于强样本挖掘的聚类损失函数L_{cluster_h}如式(4)所示，其中，α为目标样本分别与类内和类间平均样本的间隔参数，设为0.2。

步骤5.2标签平滑损失函数；

行人重识别的分类常使用交叉熵损失函数，如式(5)所示，其中M为总的行人数量，m是行人标签，p_i是网络预测该行人属于标签i行人的概率。

但是交叉熵损失函数过度依赖正确的行人标签，容易造成训练过拟合(Overfitting)的现象，为防止训练过程中出现过拟合现象，本算法引入标签平滑(LabelSmoothing)，希望网络能接受少量的错误标签。因此对标签做了平滑处理，如公式(6)所示，给定一个错误率ε，以1-ε作为真实标签进行训练。在本算法中，设置ε＝0.15。

步骤5.3联合损失函数：将聚类损失函数和标签平滑损失函数联合训练网络，学习更多具有识别性的特征。但是两个损失函数的优化目标并不一致(聚类损失函数是为了约束类内、类间距离，标签平滑损失函数是为了约束分类概率)，有可能出现一个函数减小，另一个函数增大的情况。故将归一化层之前的特征用于聚类损失，归一化层后的特征用于标签平滑损失。因此本算法的损失函数如式(7)所示：

L_loss＝L_{cluster_h}+L_{cross_ls} (7)

步骤6：输出结果；

计算查询数据集中指定行人图像和候选行人数据集的每张图像的欧式距离，接着对所计算得到的距离进行升序排序，获得行人重识别结果。

应当理解的是，本说明书未详细阐述的部分均属于现有技术；上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (4)

1.一种基于全局特征拼接的行人重识别方法，其特征在于，包括以下步骤：

步骤1：针对输入的行人重识别数据集，进行特征提取；所述行人重识别数据集的测试集由查询集和候选行人数据集组成；

步骤2：特征拼接；

首先使用双线性插值做升维处理，将特征尺度统一；然后将相同尺度的特征拼接；

步骤3：卷积操作；

卷积层采用步长为1，填充为1的3×3卷积提取拼接特征；

步骤4：池化操作；

将步骤3所提取的特征做全局平均池化和归一化处理；

步骤5：将聚类损失函数和标签平滑损失函数联合训练网络，学习更多具有识别性的特征；

步骤6：输出结果；

计算查询数据集中指定行人图像和候选行人数据集中每张图像的欧式距离，接着对所计算得到的距离进行升序排序，获得行人重识别结果。

2.根据权利要求1所述的基于全局特征拼接的行人重识别方法，其特征在于，步骤1的具体实现包括以下子步骤：

步骤1.1：针对输入的行人图像数据集，采用REA对图像进行随机遮拦；

步骤1.2：然后将数据集输入至SE-ResNeXt50网络，最终输出特征；

所述SE-ResNeXt50网络是ResNet和SENet的结合；ResNet将输入端的特征直接传到输出端，整个网络只需学习两端的差别；SENet依据损失函数去学习每个特征通道的重要程度，有效的Feature Map权重变大，无效的则减小；SE-ResNeXt是在残差块中嵌入SE Block，并把残差块中的单路卷积分为多个支路的多路卷积。

3.根据权利要求1所述的基于全局特征拼接的行人重识别方法，其特征在于，步骤2的具体实现包括以下子步骤：

步骤2.1：特征尺度变换；

已知f₁尺度为32×16×512，f₂为16×8×1024，f₃为8×4×2048；首先使用双线性插值，分别将f₂放大为32×16×1024，f₃放大为32×16×2048，然后用1×1卷积将f₁、f₂升维为32×16×2048；其中，f₁、f₂、f₃示的是Se-ResNeXt50网络通过不同卷积层做卷积操作得到特征张量；

步骤2.2：特征拼接；

将3个相同尺度的特征拼接为f＝[f₁、f₂、f₃]。

4.根据权利要求1-3任意一项所述的基于全局特征拼接的行人重识别方法，其特征在于，步骤5的具体实现包括以下子步骤：

步骤5.1：确定聚类损失函数；

设网络模型训练中P为所有行人图像，K为每个行人i的图像总和；类内行人的平均特征映射f_i ^a为：

其中，f(x_k)为行人i的一张图像的特征映射；

目标样本与类内平均行人特征映射的最大欧式距离为：

目标样本的类内平均行人特征映射与类间平均行人特征映射的最小欧式距离

为；

其中，

为行人j的类内平均行人特征映射，j∈P且i≠j；

在训练过程中只考虑强样本，定义基于强样本挖掘的聚类损失函数L_{cluster_h}为：

其中，α为目标样本分别与类内和类间平均样本的间隔参数；

步骤5.2：确定标签平滑损失函数；

行人重识别的分类常使用交叉熵损失函数为：

其中，M为总的行人数量，m是行人标签，p_i是网络预测该行人属于标签i行人的概率；

引入标签平滑损失函数L_{cross_ls}，对标签做了平滑处理，

其中，给定一个错误率ε，以1-ε作为真实标签进行训练；

步骤5.3：确定联合损失函数；

将聚类损失函数和标签平滑损失函数联合训练网络，将归一化层之前的特征用于聚类损失，归一化层后的特征用于标签平滑损失；

联合损失函数定义为：

L_loss＝L_{cluster_h}+L_{cross_ls} (7)。

Images