CN108764065A - 一种行人重识别特征融合辅助学习的方法 - Google Patents

Abstract

本发明公开了一种行人重识别特征融合辅助学习的方法，包括：将加入局部特征训练得到的全局特征提取模型用于提取行人图像的全局特征，利用全局特征进行行人重识别，所述全局特征提取模型的训练包括：采集全身图像训练集，检测全身图像训练集中的局部图像，得到局部图像训练集；分别利用全身图像训练集和局部图像训练集训练全身卷积神经网络和局部卷积神经网络，得到全身模型和局部模型；分别利用全身模型和局部模型提取全身图像训练集和局部图像训练集的全局特征和局部特征，利用融合局部特征后的全局特征训练全身模型，得到全局特征提取模型。本发明在训练时将局部特征和全局特征融合，提升了行人重识别的准确率。

Description

一种行人重识别特征融合辅助学习的方法

技术领域

本发明属于模式识别技术领域，更具体地，涉及一种行人重识别特征融合辅助学习的方法。

背景技术

当一个行人出现在一个摄像头下，利用在这个摄像头下的该行人图像，在其他摄像头下的图像进行检索，就是行人重识别的主要任务。行人重识别主要研究在多个非重叠(不相交)的摄像头下如何正确匹配同一行人目标的图像。在真实的监控视频下，受视角变化、行人姿态变化、摄像机低分辨率、目标遮挡以及光照变化等因素的影响，我们常常无法获得高质量人脸图像，也就无法利用人脸信息进行行人重识别。因此，行人重识别技术主要研究依赖于行人目标表观特征的，这种表观特征包括衣服颜色、衣着样式和体态特征等。

现有的行人重识别方法主要包括三类：(1)基于人工设计的行人特征，即设计鲁棒的行人图像特征，使其能够对视点变化、姿态变化、光照变化以及背景干扰等因素具有不变性；同时能够对行人身份变化具有判别性；(2)基于度量学习的方法，即试图学习得到一个能够真实反映行人身份差异的距离函数，使得在该距离函数下，同一行人不同图像之间的距离较小，而不同行人图像之间的距离较大；(3)基于深度学习的方法，即通过深度卷积神经网络开自动学习整张行人图像的特征或者多个局部的特征，或者将学习特征和度量学习集成在一个框架下，从而学习到行人图像更具有判别性的特征。以上三种方法的不足在于：只考虑学习更好的全局特征和局部特征，而没有考虑到全局特征和局部特征之间潜在的互补关系。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种行人重识别特征融合辅助学习的方法，由此解决现有技术存在只考虑学习更好的全局特征和局部特征，而没有考虑到全局特征和局部特征之间潜在的互补关系的技术问题。

为实现上述目的，本发明提供了一种行人重识别特征融合辅助学习的方法，包括：

将加入局部特征训练得到的全局特征提取模型用于提取行人图像的全局特征，利用全局特征进行行人重识别，所述全局特征提取模型的训练包括：

(1)采集全身图像训练集，检测全身图像训练集中的局部图像，得到局部图像训练集；

(2)分别利用全身图像训练集和局部图像训练集训练全身卷积神经网络和局部卷积神经网络，得到全身模型和局部模型；

(3)分别利用全身模型和局部模型提取全身图像训练集和局部图像训练集的全局特征和局部特征，利用融合局部特征后的全局特征训练全身模型，得到全局特征提取模型。

进一步地，全身图像训练集包括：anchor、正样本集和负样本集，正样本集与anchor的图像身份一致且行人图片不来自同一个摄像头；负样本集与anchor图像行人身份不一致，anchor、正样本集和负样本集中的图像数量相同。

进一步地，局部图像为头部图像、上身图像、下身图像、手部图像，腿部图像中的至少一种。

进一步地，全身卷积神经网络为ResNet、VGGNet、GoogLeNet或者DenseNet，所述局部卷积神经网络为ResNet、VGGNet、GoogLeNet或者DenseNet。

进一步地，步骤(2)的具体实现方式为：

分别利用全身图像训练集和局部图像训练集训练全身卷积神经网络和局部卷积神经网络，在训练过程中分别通过全身卷积神经网络和局部卷积神经网络的损失层计算损失并反向传播，用梯度下降法更新网络参数，直至达到预设的迭代次数停止训练，得到全身模型和局部模型。

进一步地，步骤(3)的具体实现方式为：

分别利用全身模型和局部模型提取全身图像训练集和局部图像训练集的全局特征f_a和局部特征f_b，将全局特征f_a和局部特征f_b进行融合：

fusion(f_a；f_b)＝f_a ^Tf_b

全局特征f_a和局部特征f_b的维度分别为n和m，融合局部特征后的全局特征fusion(f_a；f_b)为一个n×m的矩阵M，然后对矩阵M进行池化操作得到一个n维的特征R，利用损失函数对特征R进行约束，使得类间距离大于类内距离，得到全局特征提取模型。

进一步地，池化操作为水平方向的平均池化。

进一步地，步骤(3)还包括：对于anchor、正样本集和负样本集，分别生成n维特征R_a、R_p和R_n，所述损失函数为：

L＝max(0，ε+(n₂-n₁))

其中，n₁表示R_a和R_p之间的距离，n₂表示R_a与R_n之间的距离，ε表示R_p和R_n之间最小的距离间隔。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明对于利用多个分支深度卷积神经网络来学习行人图像全局和局部特征的框架，在学习图像全局特征的时候，利用了局部特征来辅助全局特征网络分支的学习，挖掘了局部特征和全局特征之间潜在的互补关系，学习鲁棒性更强的全局特征，提升了依靠全局特征来进行行人重识别的准确率。

(2)本发明利用损失函数对特征R进行约束，使得类间距离大于类内距离，得到全局特征提取模型，从而网络学到的特征表达的判别性更强。

附图说明

图1是本发明实施例提供的一种行人重识别特征融合辅助学习的方法的流程图；

图2是本发明实施例提供的网络框架示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，一种行人重识别特征融合辅助学习的方法，包括：

将加入局部特征训练得到的全局特征提取模型用于提取行人图像的全局特征，利用全局特征进行行人重识别，所述全局特征提取模型的训练包括：

(1)采集全身图像训练集，检测全身图像训练集中的局部图像，得到局部图像训练集；

(2)分别利用全身图像训练集和局部图像训练集训练全身卷积神经网络和局部卷积神经网络，得到全身模型和局部模型；

(3)分别利用全身模型和局部模型提取全身图像训练集和局部图像训练集的全局特征和局部特征，利用融合局部特征后的全局特征训练全身模型，得到全局特征提取模型。

全局特征是指能表示整幅图像上的特征，用于描述图像或目标的颜色和形状等整体特征。常见的全局特征包括颜色特征、纹理特征和形状特征，比如强度直方图等。由于是像素级的低层可视特征，因此，全局特征具有良好的不变性、计算简单、表示直观等特点，但全局特征描述不适用于图像混叠和有遮挡的情况。本发明中提到的全局特征是深度卷积神经网络学习到的整张图的特征。局部图像特征是图像特征的局部表达，它反映了图像上具有的局部特性。与线特征、纹理特征、结构特征等全局图像特征相比，局部图像特征具有在图像中蕴含数量丰富，特征间相关度小，遮挡情况下不会因为部分特征的消失而影响其他特征的检测和匹配等特点。近年来，局部图像特征在人脸识别、三维重建、目标识别及跟踪、影视制作、全景图像拼接等领域得到了广泛的应用。典型的局部图像特征生成应包括图像极值点检测和描述两个阶段。好的局部图像特征应具有特征检测重复率高、速度快，特征描述对光照、旋转、视点变化等图像变换具有鲁棒性，特征描述符维度低，易于实现快速匹配等特点。本发明中提到的局部特征是深度卷积神经网络学习到的行人部件图像的特征。

进一步地，全身图像训练集包括：anchor、正样本集和负样本集，正样本集与anchor的图像身份一致且行人图片不来自同一个摄像头；负样本集与anchor图像行人身份不一致，anchor、正样本集和负样本集中的图像数量相同。

进一步地，局部图像为头部图像、上身图像、下身图像、手部图像，腿部图像中的至少一种。

进一步地，全身卷积神经网络为ResNet、VGGNet、GoogLeNet或者DenseNet，所述局部卷积神经网络为ResNet、VGGNet、GoogLeNet或者DenseNet。

进一步地，步骤(2)的具体实现方式为：

分别利用全身图像训练集和局部图像训练集训练全身卷积神经网络和局部卷积神经网络，在训练过程中分别通过全身卷积神经网络和局部卷积神经网络的损失层计算损失并反向传播，用梯度下降法更新网络参数，直至达到预设的迭代次数停止训练，得到全身模型和局部模型。

进一步地，步骤(3)的具体实现方式为：

分别利用全身模型和局部模型提取全身图像训练集和局部图像训练集的全局特征f_a和局部特征f_b，将全局特征f_a和局部特征f_b进行融合：

fusion(f_a；f_b)＝f_a ^Tf_b

全局特征f_a和局部特征f_b的维度分别为n和m，融合局部特征后的全局特征fusion(f_a；f_b)为一个n×m的矩阵M，然后对矩阵M进行池化操作得到一个n维的特征R，利用损失函数对特征R进行约束，使得类间距离大于类内距离，得到全局特征提取模型。

进一步地，池化操作为水平方向的平均池化。

进一步地，步骤(3)还包括：对于anchor、正样本集和负样本集，分别生成n维特征R_a、R_p和R_n，所述损失函数为：

L＝max(0，ε+(n₂-n₁))

其中，n₁表示R_a和R_p之间的距离，n₂表示R_a与R_n之间的距离，ε表示R_p和R_n之间最小的距离间隔。

如图2所示，本发明的行人重识别利用特征融合来辅助全局特征学习的网络框架示意图，搭建四个分支的网络框架，分别是CNN0、CNN1、CNN2、CNN3，局部图像为头部图像、上身图像、下身图像；四个网络分支均可采用目前在计算机视觉任务中效果比较突出的网络，如ResNet、GoogLeNet等网络，待头部，上身，下身三个子网络训练完成后，再将输入的图片的这三个分支的特征串联，再与以整张行人图像为网络输入的特征，进行上述本发明提到的特征融合方式融合，依赖网络自身学习，挖掘局部特征和全局特征之间潜在的关系，再将融合后的特征，利用Triplet Loss(损失函数)对类内，类间距离施以约束，从而使得训练完成后，模型提取的特征判别性更强。

表1为行人重识别利用特征融合来辅助全局特征学习的实验结果图，rank k的意义是对于一个待检索的图像，需要在图像库里找与这个待检索的行人图像ID一致的图像，先提取所有图像的特征，再将待检索的图像与库中所有图像两两计算特征间的距离，再根据距离排序，距离越小的相似性越大，则排在最靠前的理论上是与待检索的图像最相似，但也有可能匹配错，ID不一致，所以假如排在top-1的，即距离最小的与待检索的图像ID一致，则表示第一次就命中，rank-1等于1，同理rank-5表示排序结果前五个中有ID与待检索的图像一致的，而这个百分比是指，对于n张待检索图像，rank-1就命中的比例，rank-k同理。baseline是指只用全身图像作为输入训练单个分支网络的检索结果，Ours global指的是用本发明的方法融合了全局特征和局部特征后的结果，Global+3parts指的是用本发明的方法融合了全局特征和局部特征后的特征，再与局部特征串联的特征作为该张行人图像的最终特征来检索的结果。Market-1501：Market-1501是目前在行人重识别领域最大的数据库，该数据库包含从6个不同角度拍摄的1501个人身份总共32668张图片。该数据库由两部分组成：一部分是由751个身份ID包含12936张图像组成的训练集用于训练，另一部分由750个身份ID包含19732张图像组成的测试集用于测试。在测试中，具有750个身份ID共3368张图像被用作查询(query)集，以确定测试集上的正确身份ID。

表1

Methods	rank-1	rank-5	rank-10	rank-20
					baseline	76.07	89.63	93.14	96.02
Ours global	78.62	90.79	94.27	96.32
					Global+3parts	79.66	91.86	94.89	96.94

从表1可以看出，通过执行本发明中的行人重识别利用特征融合来辅助全局特征学习方法，即针对原始的图像先进行骨骼关键点检测分割出头部、上身和下身区域，然后为每个部件的图片集搭建一个网络分支，分别训练一个好的模型，最后训练包含行人全身的原始图像时候，利用本发明提出的特征融合方式将全局特征和局部特征融合起来，再利用Triplet Loss对类内，类间距离施以约束，得到提取行人图像特征的模型，从而最终对行人图像具有更好的判别性。由表1中的实验结果，可知本发明技术方案相比于只提取包含全身的行人图像特征的方法，可得到更好的识别效果，因而比较适用于行人重识别领域。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种行人重识别特征融合辅助学习的方法，其特征在于，包括：

将加入局部特征训练得到的全局特征提取模型用于提取行人图像的全局特征，利用全局特征进行行人重识别，所述全局特征提取模型的训练包括：

(1)采集全身图像训练集，检测全身图像训练集中的局部图像，得到局部图像训练集；

(2)分别利用全身图像训练集和局部图像训练集训练全身卷积神经网络和局部卷积神经网络，得到全身模型和局部模型；

(3)分别利用全身模型和局部模型提取全身图像训练集和局部图像训练集的全局特征和局部特征，利用融合局部特征后的全局特征训练全身模型，得到全局特征提取模型。

2.如权利要求1所述的一种行人重识别特征融合辅助学习的方法，其特征在于，所述全身图像训练集包括：anchor、正样本集和负样本集，正样本集与anchor的图像身份一致且行人图片不来自同一个摄像头；负样本集与anchor图像行人身份不一致，anchor、正样本集和负样本集中的图像数量相同。

3.如权利要求1或2所述的一种行人重识别特征融合辅助学习的方法，其特征在于，所述局部图像为头部图像、上身图像、下身图像、手部图像，腿部图像中的至少一种。

4.如权利要求1或2所述的一种行人重识别特征融合辅助学习的方法，其特征在于，所述全身卷积神经网络为ResNet、VGGNet、GoogLeNet或者DenseNet，所述局部卷积神经网络为ResNet、VGGNet、GoogLeNet或者DenseNet。

5.如权利要求1或2所述的一种行人重识别特征融合辅助学习的方法，其特征在于，所述步骤(2)的具体实现方式为：

分别利用全身图像训练集和局部图像训练集训练全身卷积神经网络和局部卷积神经网络，在训练过程中分别通过全身卷积神经网络和局部卷积神经网络的损失层计算损失并反向传播，用梯度下降法更新网络参数，直至达到预设的迭代次数停止训练，得到全身模型和局部模型。

6.如权利要求1或2所述的一种行人重识别特征融合辅助学习的方法，其特征在于，所述步骤(3)的具体实现方式为：

分别利用全身模型和局部模型提取全身图像训练集和局部图像训练集的全局特征f_a和局部特征f_b，将全局特征f_a和局部特征f_b进行融合：

fusion(f_a；f_b)＝f_a ^Tf_b

全局特征f_a和局部特征f_b的维度分别为n和m，融合局部特征后的全局特征fusion(f_a；f_b)为一个n×m的矩阵M，然后对矩阵M进行池化操作得到一个n维的特征R，利用损失函数对特征R进行约束，使得类间距离大于类内距离，得到全局特征提取模型。

7.如权利要求6所述的一种行人重识别特征融合辅助学习的方法，其特征在于，所述池化操作为水平方向的平均池化。

8.如权利要求6所述的一种行人重识别特征融合辅助学习的方法，其特征在于，所述步骤(3)还包括：对于anchor、正样本集和负样本集，分别生成n维特征R_a、R_p和R_n，所述损失函数为：

L＝max(0，ε+(n₂-n₁))

其中，n₁表示R_a和R_p之间的距离，n₂表示R_a与R_n之间的距离，ε表示R_p和R_n之间最小的距离间隔。