CN111507217A - 一种基于局部分辨特征融合的行人重识别方法 - Google Patents

Abstract

本发明提出了一种基于局部分辨特征融合的行人重识别方法，包括以下步骤：步骤1）选取训练数据，选取训练用数据集，并将数据集划分为训练集和测试集；步骤2）设计网络结构，设计一个用于融合算法的两分支的轻量级行人重识别网络；步骤3）设计损失函数，采用ID损失、软边三元组损失和中心损失一起训练；步骤4）训练神经网络，使用随机梯度下降算法对网络进行训练，训练过程中可以观察整个网络在测试集的损失；步骤5）测试结果，通过训练好的神经网络进行行人重识别，本发明使得行人重识别更加准确。

Description

一种基于局部分辨特征融合的行人重识别方法

技术领域

本发明涉及一种行人重识别方法，具体的说是一种基于局部分辨特征融合的行人重识别方法，属于计算机视觉与人工智能技术领域。

背景技术

近年来，由于行人重识别(Re-ID)在新兴的计算机视觉应用(如视频监控、人类身份验证、认证和人机交互)中起到了关键作用，从而吸引了很多研究人员的关注。行人重识别的目的是将任何可查询图像与相同或不同摄影机在不同角度、时间或位置拍摄的同一人的图像相匹配，尽管目前该领域取得了一些进展，但由于光线、人体姿势、背景、摄像机角度等方面巨大变化，准确、可靠地识别行人仍然非常具有挑战性。

行人重识别(Re-ID)通常被表示为一个度量学习问题或者嵌入特征问题，其中类内样本之间的距离至少要比类间样本之间的距离小一个界限(margin)，这个想法的一个直接实现是以成对的方式对样本进行分组，但其计算复杂性高，另一种方法是使用分类任务来寻找特征嵌入解决方法，这一方法在实现复杂性方面具有优势。目前，各种针对行人重识别最先进的方法已经从单一的度量学习问题或单一的类别分类问题发展到同时采用判别损失(discriminative loss)和三元组损失(triplet loss)的多任务问题。由于每个样本图像只使用行人ID进行标记，如果不精心设计底层神经网络并进一步使用一些正则化技术，端到端训练方法通常很难学习到丰富多样的特征。

在过去的几年，为了从ID-labeled数据集中学习到丰富的特征，人们提出各种基于局部和基于dropout的方法。与传统的基于位置的Re-ID方法不同的是，基于局部的方法首先定位大量的人体部位，促使每个部位满足独立的ID预测损失，从而得到具有区别性的局部特征表示，然而，基于dropout的方法旨在通过使用各种基于dropout的数据增强方法(如擦除(cutout)、随机擦除(random erasing))来扩大数据集或者从特征提取网络中擦除中间特征，从而发现丰富的特征。

基于局部的方法的性能在很大程度上依赖于所采用的划分机制。语义划分可能会提供强健的线索，以保持良好的对齐，但容易产生噪声姿势检测，因为它要求人体部位应准确识别和定位，且性能改善有限。

因此，如何准确识别指定行人目标的图像特征、提高图像识别率是本领域技术人员亟待解决的问题。

发明内容

本发明的目的是提供一种基于局部分辨特征融合的行人重识别方法，使得行人重识别更加准确。

本发明的目的是这样实现的：一种基于局部分辨特征融合的行人重识别方法，包括以下步骤：

步骤1)选取训练数据，选取训练用数据集，并将数据集划分为训练集和测试集；

步骤2)设计网络结构，设计一个用于融合算法的两分支的轻量级行人重识别网络；

步骤3)设计损失函数，采用ID损失、软边三元组损失和中心损失一起训练；

步骤4)训练神经网络，使用随机梯度下降算法对网络进行训练，训练过程中可以观察整个网络在测试集的损失；

步骤5)测试结果，通过训练好的神经网络进行行人重识别。

作为本发明的进一步限定，步骤1)具体包括：

选取行人重识别中比较流行的三个数据集:Market1501、DukeMTMC-reID和CUHK03；Market1501数据集被划分成一个训练集和一个测试集；DukeMTMC-reID数据集被划分成一个训练集和一个测试集；CUHK03数据集被划分成一个训练集和一个测试集。

作为本发明的进一步限定，步骤2)具体包括：

所述网络为通过在全尺度网络OSNet基础上设计得到的一个两分支的轻量级行人重识别网络，整个网络结构包括一个共享网络、一个全局分支和一个局部分支，其中共享网络是由OSNet中前3个conv层和2个过渡层构成，在共享网络中插入两个注意力模块，分别为空间注意力模块和通道注意力模块；全局分支是由OSNet中的conv4层和conv5层组成，后接一个全局最大池化层用于生成512维特征向量，最后接一个分类层用于分类任务；局部分支同样是由OSNet中的conv4层和conv5层组成，所述局部分支将conv5层输出的特征图均匀水平划分成4个部分，后分别接一个全局平均池化得到4个512维的特征向量，最后将其拼接成一个2048维的特征向量，后接一个分类层用于分类任务。在进行识别任务时，通过去除网络中的分类层，进而将两分支网络的全局分支与局部分支分别提取出的全局特征与局部特征进行融合，从而进行行人重识别任务。

作为本发明的进一步限定，步骤3)具体包括：

假设给定输入批次标签样本标记为{(x_i,y_i),i＝1,2,…,N_s}，对于提取出的特征向量g，ID损失的形式可表示为：

其中W^j，

分别为权重矩阵W(对应于g的分类器)的第j列和第y_i列，对应地，b_j，

分别为偏置b的第j列和第y_i列。

给定一组锚样本x_a、正样本x_p与负样本x_n，则软边三元组损失的形式可表示为：

其中softplus＝ln(1+exp(·))，P(a)、N(a)分别表示数据样本中正样本和负样本，d(x_a,x_p)指锚样本与正样本间的距离，d(x_a,x_n)指锚样本与负样本间的距离。

中心损失形式可表示如下：

其中m指批处理大小，x_j指第j张样本图像，y_i指第i张图像对应的标签，

指第y_i类别的特征中心；

最后，总的损失函数形式如下：

L_total＝L_s-id+γ_tL_triplet+γ_cL_center

所述γ_t,γ_c是指加权因子。

作为本发明的进一步限定，步骤5)具体包括：

对于已经训练好的网络模型，将数据集中的行人图像的尺寸调整好，并归一化后分别送入到训练好的网络模型中，经过网络的局部分支与全局分支后分别提取出2048维特征向量和512维特征向量；将提取的两个特征向量拼接进行融合；计算两幅图像对应特征向量间的欧氏距离作为两幅图像的相似度，欧氏距离越小，表示两幅图像越相似，属于同一个行人的概率越大；将相似度与提前设置的阈值作比较，若相似度高于阈值，则判定为同一个行人，否则判定为不同的行人。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

通过将网络设计成由全局分支与局部分支两个分支构成，可以很好学习到行人图像的全局特征与局部细节特征，同时采用多个损失函数对网络进行训练，可以拉近相同行人图像的距离，拉远不同行人图像的距离，从而提高了网络的特征表示能力和判别能力，使得行人重识别更加准确。

附图说明

图1为本发明中数据样本图。

图2为本发明中OSNet网络结构图。

图3为本发明的神经网络结构图。

图4为本发明行人检索结果图。

图5为本发明的多样性特征效果图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明公开了一种基于局部分辨特征融合的行人重识别方法，包括以下步骤：

步骤1)训练数据的选取；

由于是基于深度学习的方法实现行人重识别，因此需要大量的训练数据。如图1所示，本发明选取行人重识别中比较流行的三个数据集:Market1501、DukeMTMC-reID和CUHK03，其中Market1501数据集具有由6个摄像头收集的1501个身份，总共有32668张行人图像。数据集被划分成一个训练集，其中包含751个身份的12936张图像；一个测试集，其中包含3368张query图像和15913张gallery图像，包含750个身份；DukeMTMC-reID数据集包含了超过2个摄像头收集的1404个身份，总共有36411张图像。训练集包含702个身份的16522张图像，测试集包含另外的702个身份；CUHK03数据集包含标签(labeled)图像14096张和检测(detected)图像14097张，由两个摄像头的收集的共1467个身份，767个身份用于训练，剩余的700个身份用于测试，labeled数据集包含7368张训练图像、5328张gallery图像和1400张query图像，而detected数据集包含7356张训练图像、5332张gallery图像和1400张query图像。

步骤2)网络结构的设计；

所述网络是用于融合算法的网络，网络的形成是通过在最近提出的全尺度网络OSNet基础上进行专门设计得到的一个两分支的轻量级行人重识别网络，其中OSNet网络结构如图2所示。如图3所示，整个行人重识别网络结构包括一个共享网络、一个全局分支和一个局部分支，其中共享网络是由OSNet中前3个conv层和2个过渡(transition)层构成，为了增加网络捕获和聚合空间上的语义相关信息，设计时在共享网络中插入两个注意力模块，分别为空间注意力模块(SAM)和通道注意力模块(CAM)；全局分支是由OSNet中的conv4层和conv5层组成，后接一个全局最大池化层用于生成512维特征向量，最后接一个分类层用于分类任务；局部分支同样是由OSNet中的conv4层和conv5层，与全局分支不同的是，这里采用了局部分辨特征的思想，将conv5层输出的特征图(feature map)均匀水平划分成4个部分，后分别接一个全局平均池化得到4个512维的特征向量，最后将其拼接成一个2048维的特征向量，后接一个分类层用于分类任务。在进行识别任务时，通过去除网络中的分类层，进而将两分支网络的全局分支与局部分支分别提取出的全局特征与局部特征进行融合，从而进行行人重识别任务。

步骤3)损失函数的设计；

行人重识别网络需要结合损失函数训练，本发明采用ID损失(softmax loss)、软边三元组损失(soft margin triplet loss)和中心损失(center loss)一起训练；假设给定输入批次标签样本标记为{(x_i,y_i),i＝1,2,…,N_s}，对于提取出的特征向量g，ID损失的形式可表示为：

其中W^j，

分别为权重矩阵W(对应于g的分类器)的第j列和第y_i列，对应地，b_j，

分别为偏置b的第j列和第y_i列。

给定一组锚(anchor)样本x_a、正(positive)样本x_p与负(negative)样本x_n，则软边三元组损失的形式可表示为：

其中softplus＝ln(1+exp(·))，P(a)、N(a)分别表示数据样本中正样本和负样本，d(x_a,x_p)指锚样本与正样本间的距离，d(x_a,x_n)指锚样本与负样本间的距离。

中心损失形式可表示如下：

其中m指批处理大小(batch size)，x_j指第j张样本图像，y_i指第i张图像对应的标签，

指第y_i类别的特征中心；

最后，总的损失函数形式如下：

L_total＝L_s-id+γ_tL_triplet+γ_cL_center

这里的γ_t,γ_c是指加权因子。

步骤4)神经网络的训练；

使用随机梯度下降算法对网络进行训练，训练过程中可以观察整个网络在测试集的损失，通过调整超参数γ_t,γ_c使网络收敛更好，进而得到最好的重识别效果。通过调节超参数并在多个数据集上的性能比较，最终将超参数γ_t,γ_c分别设为0.1和0.0002；

本发明使用单个Nvidia Tesla P100 GPU训练，批处理大小(batch size)设置为64。每个行人在一个批处理中包含4张图像，因此一个批处理中有16个行人。训练时，通过加载ImageNet预训练模型初始化OSNet网络，本发明对于Markeyt1501和DukeMTMC-reID数据集，采用120个epochs训练，对于CUHK03数据集，采用150个epochs训练，训练时采用Adam优化器，初始化学习率设为3.5e-5,前20[40]个epochs采用warm up策略将学习率线性增长到3.5e-4，然后当epoch达到60[100]时，学习率降为3.5e-5，进一步地，当epoch达到90[130]时，学习率降为3.5e-6。

步骤5)测试结果

本发明在Matket1501、DukeMTMC-reID和CUHK03三个数据集上进行测试；对于行人重识别，采用累积匹配(Cumulative Matching Chracteristic,CMC)曲线和mAP(meanaverage precision)值作为评价指标。累积匹配曲线反映了网络的检索精确度，测试中取rank-1准确率，即与目标图像最相似的那幅图像。mAP反映了网络的召回率，对每一幅待识别行人图像，通过PR曲线(precision-recall)求其平均精确度(average recision,AP)，则mAP是所有待识别行人图像的平均精确度的平均值。如下表为本发明在三个数据集上的测试结果。

具体地，图4展示了本发明的前10个(rank-10)检索结果，其中红框表示识别错误的图像，绿框则表示识别正确的图像，可以发现本发明基本可以准确识别出的行人图像，这也证明了本发明在行人重识别的有效性。本发明除了实现了比较高的行人识别率，同时实现了学习特征的多样性。图5是展示了本发明全局特征和局部特征的类激活映射(CAMs)的可视化，可以发现，对于一幅行人图像，本发明可以学习到行人的多种特征，这对于识别行人有很大帮助。

步骤6)网络的使用；

对于已经训练好的网络模型，将query与gallery数据集中的行人图像的尺寸调整256×128，归一化后分别送入到训练好的网络模型中，经过网络的局部分支与全局分支后分别提取出2048维特征向量和512维特征向量；将提取的两个特征向量拼接进行特征融合；计算两幅图像对应特征向量间的欧氏距离作为两幅图像的相似度，欧氏距离越小，表示两幅图像越相似，属于同一个行人的概率越大；将相似度与提前设置的阈值作比较，若相似度高于阈值，则判定为同一个行人，否则判定为不同的行人。

综上，本发明通过设计一个两分支的轻量级神经网络同时学习行人的局部特征与全局特征，并将其融合后用于行人重识别，在多个行人重识别数据集上达到比较高的准确率，这也证明了该发明的有效性。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种基于局部分辨特征融合的行人重识别方法，其特征在于，包括以下步骤：

步骤1)选取训练数据，选取训练用数据集，并将数据集划分为训练集和测试集；

步骤2)设计网络结构，设计一个用于融合算法的两分支的轻量级行人重识别网络；

步骤3)设计损失函数，采用ID损失、软边三元组损失和中心损失一起训练；

步骤4)训练神经网络，使用随机梯度下降算法对网络进行训练，训练过程中可以观察整个网络在测试集的损失；

步骤5)测试结果，通过训练好的神经网络进行行人重识别。

2.根据权利要求1所述的一种基于局部分辨特征融合的行人重识别方法，其特征在于，步骤1)具体包括：

选取行人重识别中比较流行的三个数据集:Market1501、DukeMTMC-reID和CUHK03；Market1501数据集被划分成一个训练集和一个测试集；DukeMTMC-reID数据集被划分成一个训练集和一个测试集；CUHK03数据集被划分成一个训练集和一个测试集。

3.根据权利要求1所述的一种基于局部分辨特征融合的行人重识别方法，其特征在于，步骤2)具体包括：

所述网络为通过在全尺度网络OSNet基础上设计得到的一个两分支的轻量级行人重识别网络，整个网络结构包括一个共享网络、一个全局分支和一个局部分支，其中共享网络是由OSNet中前3个conv层和2个过渡层构成，在共享网络中插入两个注意力模块，分别为空间注意力模块和通道注意力模块；全局分支是由OSNet中的conv4层和conv5层组成，后接一个全局最大池化层用于生成512维特征向量，最后接一个分类层用于分类任务；局部分支同样是由OSNet中的conv4层和conv5层组成，所述局部分支将conv5层输出的特征图均匀水平划分成4个部分，后分别接一个全局平均池化得到4个512维的特征向量，最后将其拼接成一个2048维的特征向量，后接一个分类层用于分类任务。在进行识别任务时，通过去除网络中的分类层，进而将两分支网络的全局分支与局部分支分别提取出的全局特征与局部特征进行融合，从而进行行人重识别任务。

4.根据权利要求1所述的一种基于局部分辨特征融合的行人重识别方法，其特征在于，步骤3)具体包括：

假设给定输入批次标签样本标记为{(x_i,y_i),i＝1,2,…,N_s}，对于提取出的特征向量g，ID损失的形式可表示为：

其中W^j，

分别为权重矩阵W(对应于g的分类器)的第j列和第y_i列，对应地，b_j，

分别为偏置b的第j列和第y_i列。

给定一组锚样本x_a、正样本x_p与负样本x_n，则软边三元组损失的形式可表示为：

其中softplus＝ln(1+exp(·))，P(a)、N(a)分别表示数据样本中正样本和负样本，d(x_a,x_p)指锚样本与正样本间的距离，d(x_a,x_n)指锚样本与负样本间的距离。

中心损失形式可表示如下：

其中m指批处理大小，x_j指第j张样本图像，y_i指第i张图像对应的标签，

指第y_i类别的特征中心；

最后，总的损失函数形式如下：

L_total＝L_s-id+γ_tL_triplet+γ_cL_center

所述γ_t,γ_c是指加权因子。

5.根据权利要求1所述的一种基于局部分辨特征融合的行人重识别方法，其特征在于，步骤5)具体包括：

对于已经训练好的网络模型，将数据集中的行人图像的尺寸调整好，并归一化后分别送入到训练好的网络模型中，经过网络的局部分支与全局分支后分别提取出2048维特征向量和512维特征向量；将提取的两个特征向量拼接进行融合；计算两幅图像对应特征向量间的欧氏距离作为两幅图像的相似度，欧氏距离越小，表示两幅图像越相似，属于同一个行人的概率越大；将相似度与提前设置的阈值作比较，若相似度高于阈值，则判定为同一个行人，否则判定为不同的行人。

Images