CN109711281B - 一种基于深度学习的行人重识别与特征识别融合方法 - Google Patents

Abstract

本发明属于计算机视觉与人工智能技术领域，具体为一种基于深度学习的行人重识别与特征识别融合方法。本发明通过设计并训练一个神经网络，将行人重识别与特征识别相融合，自动判断两幅图像中的行人是否为同一个人，并且预测出图像中行人的多种特征；其中，所述的神经网络，以不同视角下的行人图像作为训练样本，以行人的编号以及行人特征作为训练标签，对网络进行训练；训练得到的网络，可以同时进行行人重识别与特征识别。对于输入两幅摄像头拍摄到的行人图像，可以自动判断是否为同一个人，同时会自动提取出行人的性别、年龄、衣着等12种特征。在公开数据集上的实验结果证明本发明方法的有效性。

Description

一种基于深度学习的行人重识别与特征识别融合方法

技术领域

本发明属于计算机视觉与人工智能技术领域，具体涉及一种基于深度学习的行人重识别与特征识别融合方法。

背景技术

行人重识别与特征识别在侦查、监控与追踪方面具有很广泛的需求与应用。

行人重识别旨在匹配同一个行人在不同视角、不同光照、不同背景、不同姿态下的两幅图像，跨摄像头进行行人检索。早期行人重识别的算法主要基于手动设计(hand-crafted)的特征，如最显著的颜色信息，然而效果并不尽如人意。近年来随着深度学习(Deep Learning)的快速发展，使用卷积神经网络进行行人重识别取得了重大的进展。目前使用卷积神经网络的进行行人重识别工作的方法主要分为两类：深度度量学习和深度表征学习。度量学习(Metric Learning)是旨在设计一种度量方式使得不同类别的图像相似度远小于相同类别的图像，对应于神经网络中，即设计图像的距离函数和网络的代价函数，使得训练后的网络达到好的分类效果。具体到在行人重识别课题上，即找到一种度量方式使得同一行人的不同图像相似度大于不同行人的不同图像。基于表征学习(RepresentationLearning)的方法着眼于特征提取。随着卷积神经网络的快速发展，行人重识别课题的研究越来越来多地使用表征学习的方法。利用卷积神经网络能够根据实际需求自动从原始图像中提取出表征特征(Representation)的优势，部分研究以行人ID作为标签，将行人重识别问题作为对于行人ID的分类(Classification/Identification)问题来处理，或者转化为让网络来学习输入的两幅图像是否属于同一个行人的验证(Verification)问题。

行人特征识别也是安防监控方面一个极为重要的课题。在实际监控视频中获取可以进行人脸识别的人脸图像极为困难，但通过监控摄像头拍摄的图像识别出行人的衣着颜色、是否背包等特征，对于图像质量的要求远低于人脸识别，而识别出的行人特征，也对于目标具有很强的描述能力。在特征识别领域，目前较为流行的传统机器学习算法有支持向量机(SVM)和Haar特征上的AdaBoost分类器，但是传统机器学习算法仅能独立地训练每个特征分类器，当特征数量很大时，逐一训练将会非常繁琐。深度学习算法，特别是卷积神经网络(Convolutional neural network,CNN)，已被证明在大规模分类问题上表现良好。CNN的成功启发了研究人员将其用于行人特征识别。同时，也有很多数据集被公开。

发明内容

本发明的目的在于提出一种基于深度学习的行人重识别与特征识别融合方法。

本发明提供的行人重识别与特征识别融合方法，基于深度学习的，即通过设计并训练一个神经网络，将行人重识别与特征识别相融合，自动判断两幅图像中的行人是否为同一个人，并且能够预测出图像中行人的多种特征；其中，所述的神经网络，以不同视角下的行人图像作为训练样本，以行人的编号以及行人特征作为训练标签，对网络进行训练；训练得到的网络，可以同时进行行人重识别与特征识别。

本发明提供的行人重识别与特征识别融合方法，具体包括：训练数据的选取，网络结构的设计，损失函数的设计，神经网络的训练，以及通过训练的神经网络，进行行人重识别与特征识别，并将二者融合，从而提高识别的精确度。

1、选取训练数据

由于是使用深度学习的方法实现行人重识别与特征识别的融合，因此需要大量的数据。本发明使用Market-1501公开数据集，其中包括行人编号标签以及27种特征标签，对标注的27种特征标签进行归纳与提炼，最后重新标记为12种特征标签，分别为：性别，年龄，头发长度，袖子长度，下装长度，下装类型，是否戴帽子，是否拎包，是否背包，是否拿手包，上衣颜色，下身颜色。因此，本发明使用的数据集标签为行人编号标签，以及12种特征标签。

2、设计网络结构

所述网络是用于融合算法的网络，将其设计为前置网络与全连接层两部分。前置网络主要用于提取图像特征；前置网络采用近年在计算机视觉领域取得较好成果的深度残差网络，具体是将在ImageNet上预训练过的50层残差网络ResNet-50[1]去掉全连接层，作为融合算法网络的前置网络，其中，首先是第一层卷积层和池化层，然后是四个由若干残差单元组成的卷积网络，最后是平均池化层；其结构如图1所示。融合算法网络的全连接层包括特征预测子网络和编号预测子网络两部分，编号预测子网络用于对行人编号标签进行预测，特征预测子网络用于对每一种(共M种)特征进行预测，其结构如图2所示。

3、设计损失函数

行人重识别与特征识别的融合通过损失函数具体实现。

行人重识别损失函数的设计。行人重识别损失函数通常用于描述行人标签分类的交叉熵损失。假设训练集中有K个行人，一共有n幅样本图像，则训练集可记为D_i＝{x_i,d_i}，其中x_i表示第i幅训练样本图像，d_i表示x_i的ID(行人编号)。

给定一个训练样本x送入网络，网络首先计算出Pool5层的输出f(提取的特征)。输出向量的维度为1×1×2048。全连接层的输出为z＝[z₁,z₂,...,z_K]∈R^K。网络输出后，经过如下式等号右侧的softmax函数之后得到对每一个ID标签k∈1,...,K的预测概率为:

为了简洁，省略掉k和x的关系，则对行人ID进行分类的交叉熵损失函数可以用如下形式表示：

令y为实际的ID标签，则：

在这种情况下，最小化交叉熵损失函数等价于最大化分类正确的概率。

特征识别损失函数的设计。特征识别的损失函数用于描述每一种特征的分类交叉熵损失的加权和。假设训练集中一共有n幅样本图像，每个样本都标记了M种特征，则训练集可记为D_i＝{x_i,l_i}，其中x_i表示第i幅训练样本图像，

是标注出的M种特征。对于M种特征，分别计算每种特征的softmax损失。对于某一有m类的特征

将样本x分类到第j∈1,...,m类的概率为：

同样地，样本x对特征

的交叉熵可以按照如下方式计算：

令y_m是实际的特征标签，则：

则特征识别的损失函数可以表示为：

而融合算法的损失函数使用上述两者的加权和，使用一个参数λ调节两者的权重。具体可以表示为：

L＝λL_ID+(1-λ)L_att

0≤λ≤1。

4、训练神经网络

网络使用ReLU函数作为激活函数，其具体形式为：

使用mini-batch的方式进行梯度下降[2]，从而通反向传播进行训练。训练过程中观察整个网络在验证集上的损失，通过调整参数λ以获得最小的损失，进而得到最好的重识别与特征识别效果。

5、通过训练的神经网络，进行行人重识别与特征识别。

对于训练好的网络，在实际使用时，可分为行人重识别部分与特征识别部分：

对于行人重识别，在实际使用时，由于场景不同，训练样本中不可能包含所有场景中拍摄到的行人，因此不能直接通过网络的编号预测子网络进行编号的预测。对于不同摄像头视角下的两幅行人图像，归一化后分别送入神经网络，经过网络后提取Pool5层的输出作为提取的特征向量。计算两幅图像对应特征向量间的欧氏距离作为两幅图像的相似度，欧氏距离越小，表示两幅图像越相似，属于同一个行人的概率越大。将相似度与提前设置的阈值作比较，若相似度高于阈值，则判定为同一个行人，否则判定为不同的行人。

对于特征识别，在实际使用时，对于训练好的网络模型，将待识别的图像送入网络，编号预测子网络的输出即为特征的预测结果。根据预测得到的特征，可以辅助重识别结果判断是否同一个人。如果两幅图像特征预测结果中有多条特征相符，则可以判定为同一个行人，否则，判定为不同的行人。

在目标追踪过程中，常常会出现目标离开某一摄像头视野，出现在另一摄像头视野中的情况。此时需要进行跨摄像头的行人检索与识别。本发明方法能够提取出目标的特征，大大提高重识别的鲁棒性。在公开数据集上进行实验，结果证明本发明方法的有效性。

附图说明

图1为本发明中数据样本图。

图2为本发明中神经网络结构图。

图3为神经网络中的前置网络(深度残差网络)结构图示。

图4为神经网络中的全连接层结构图示。

具体实施方式

1、训练数据的选取

由于是使用深度学习的方法实现行人重识别与特征识别的融合，因此需要大量的数据。本发明使用Market-1501公开数据集，包括行人编号标签以及27种特征标签，对标注的27种标签进行了归纳与提炼，最后重新标记为12种特征标签，分别为：性别(男、女)、年龄(儿童、青少年、成年、老年)、头发长度(长、短)、袖子长度(长、短)、下装长度(长、短)、下装类型(裤子、裙子)、是否戴帽子(是、否)、是否拎包(是、否)、是否背包(是、否)、是否拿手包(是、否)、上衣颜色(黑、白、红、紫、黄、灰、蓝、绿)，下身颜色(黑、白、粉、紫、黄、灰、蓝、绿、棕)。因此，本发明使用的数据集标签为行人编号标签以及12种特征标签。

2、网络结构的设计

网络的设计分为前置网络与全连接层两部分。前馈网络主要负责图像特征的提取，采用近年在计算机视觉领域取得较好成果的深度残差网络。将在ImageNet上预训练过的50层残差网络ResNet-50[1]去掉全连接层，作为融合算法网络的前置网络，如图3所示。融合算法网络的全连接层分为特征预测子网络和编号预测子网络两部分，一部分对于行人编号标签进行预测，一部分对于每一种特征进行预测，如图4所示。

3、损失函数的设计

行人重识别与特征识别的融合通过损失函数的设计实现。

行人重识别常用损失函数为对于行人标签分类的交叉熵损失。假设训练集中有K个行人，一共有n幅样本图像，则训练集可记为D_i＝{x_i,d_i}，其中x_i表示第i幅训练样本图像，d_i表示x_i的ID(行人编号)。

给定一个训练样本x送入网络，网络首先计算出Pool5层的输出f(提取的特征)。输出向量的维度为1×1×2048。全连接层的输出为z＝[z₁,z₂,...,z_K]∈R^K。经过softmax函数之后得到对每一个ID标签k∈1,...,K的预测概率为:

为了简洁，省略掉k和x的关系，则对行人ID进行分类的交叉熵损失函数可以用如下形式表示：

令y为实际的ID标签，则

在这种情况下，最小化交叉熵损失函数等价于最大化分类正确的概率。

特征识别的损失函数为对于每一种特征的分类交叉熵损失的加权和。假设训练集中一共有n幅样本图像，每个样本都标记了M种特征，则训练集可记为D_i＝{x_i,l_i}，其中x_i表示第i幅训练样本图像，

是标注出的M种特征。对于M种特征，分别计算每种特征的softmax损失。对于某一有m类的特征

将样本x分类到第j∈1,...,m类的概率为：

同样地，样本x对特征

的交叉熵可以按照如下方式计算：

令y_m是实际的特征标签，则

则特征识别的损失函数可以表示为：

而融合算法的损失函数使用上述两者的加权和，使用一个参数λ调节两者的权重。具体可以表示为：

L＝λL_ID+L_att

4、神经网络的训练

网络使用ReLU函数作为激活函数，其具体形式为：

使用mini-batch的方式进行梯度下降，从而通反向传播进行训练。训练过程中观察整个网络在验证集上的损失，通过调整参数λ以获得最小的损失，进而得到最好的重识别与特征识别效果。

本发明中将训练的总次数设置为90，批处理大小设置为32。学习率初始化为0.001且每训练30次学习率缩小10倍。对于每一个训练批次，使用mini-batch的梯度下降方法更新参数。通过观察整个网络在验证集上的损失，最终将参数λ设定为0.8。

5、测试结果

在Market-1501数据集上进行测试。

对于行人重识别，采用累积匹配(Cumulative Matching Chracteristic,CMC)曲线和mAP(mean average precision)值作为评价指标。累积匹配曲线反映了网络的检索精确度，测试中取rank-1、rank-5、rank-10正确率，即按照与目标图像的相似度将待识别图像进行排序，最相似的前1幅、5幅、10幅图像的排序正确率。而mAP反映了网络的召回率，对于每一幅待识别行人图像，通过PR曲线(precision-recall)求其平均精确度(averageprecision,AP)，则mAP是所有待识别行人图像的平均精确度的平均值。

rank-1	rank-5	rank-10	mAP
				85.84％	95.25％	97.00％	67.23％

对于特征识别，对于每个特征测试预测准确率。

年龄	背包	手提包	手包	下身颜色	上衣颜色
						86.82％	82.65％	71.62％	90.02％	67.17％	74.04％
下装类型	下身长度	上衣长度	头发	帽子	性别
						90.87％	89.65％	93.55％	86.66％	97.13％	87.80％

6、网络使用

对于训练好的网络，在实际应用时可分为行人重识别部分与特征识别部分：

对于行人重识别，在实际应用时，由于场景不同，训练样本中不可能包含所有场景中拍摄到的行人，因此不能直接通过网络的编号预测子网络进行编号的预测。对于不同摄像头视角下的两幅行人图像，归一化后分别送入神经网络，经过网络后提取Pool5层的输出作为提取的特征向量。计算两幅图像对应特征向量间的欧氏距离作为两幅图像的相似度，欧氏距离越小，表示两幅图像越相似，属于同一个行人的概率越大。将相似度与提前设置的阈值作比较，若相似度高于阈值，则判定为同一个行人，否则判定为不同的行人。

对于特征识别，在实际应用时，对于训练好的网络模型，将待识别的图像送入网络，编号预测子网络的输出即为各特征的预测出的类别编号值。以性别特征为例，假设训练时设定男性为0，女性为1，则该特征的预测输出为0表示该行人为男性，预测输出为1表示该行人为女性。根据预测得到的特征，可以辅助重识别结果判断是否同一个人。当两幅图像经过重识别得到的相似度与设置的阈值较为相近时，通过阈值进行判断会导致误判率较高，因此可以借助特征识别结果辅助判断，如果特征预测结果中有多条特征相符，则可以判定为同一个行人，否则，判定为不同的行人。具体判定方法可以根据应用场景进行调整。例如，假设目标行人为男性，短发，红色短袖，黑色长裤，如果一副行人图像重识别得到的相似度与阈值很接近，而特征预测结果中如果有一项不相符，比如预测为女性、长袖或者蓝色裤子，则可以判定该图像中行人不是目标行人，而如果上述特征均满足，则可以判定为是同一个人。

综上，本发明能够有效地实现行人重识别与特征识别的融合，通过一个深度人工神经网络，同时实现行人重识别与特征识别的功能。

参考文献

[1]He K,Zhang X,Ren S,et al.Deep residual learning for imagerecognition[C]//Proceedings of the IEEE conference on computer vision andpattern recognition.2016:770-778.

[2]LiM,Zhang T,ChenY,et al.Efficient mini-batch training forstochastic optimization[C]//Proceedings of the 20th ACM SIGKDD internationalconference on Knowledge discovery and data mining.2014:661-670.。

Claims (1)

1.一种基于深度学习的行人重识别与特征识别融合方法，其特征在于，通过设计并训练一个神经网络，将行人重识别与特征识别相融合，自动判断两幅图像中的行人是否为同一个人，并且预测出图像中行人的多种特征；其中，所述的神经网络，以不同视角下的行人图像作为训练样本，以行人的编号以及行人特征作为训练标签，对网络进行训练；训练得到的网络，用于同时进行行人重识别与特征识别；

具体包括：训练数据的选取，网络结构的设计，损失函数的设计，神经网络的训练，以及通过训练的神经网络，进行行人重识别与特征识别；其中：

(1)选取训练数据

使用Market-1501公开数据集，其中包括行人编号标签以及27种特征标签，对标注的27种特征标签进行归纳与提炼，最后重新标记为12种特征标签，分别为：性别，年龄，头发长度，袖子长度，下装长度，下装类型，是否戴帽子，是否拎包，是否背包，是否拿手包，上衣颜色，下身颜色；

(2)设计网络结构

所述网络是用于融合算法的网络，分为前置网络与全连接层两部分；前置网络主要用于提取图像特征；前置网络采用深度残差网络，是将在ImageNet上预训练过的50层残差网络ResNet-50去掉全连接层；其中，首先是第一层卷积层和池化层，然后是四个由若干残差单元组成的卷积网络，最后是平均池化层；融合算法网络的全连接层包括特征预测子网络和编号预测子网络两部分，编号预测子网络用于对行人编号标签进行预测，特征预测子网络用于对每一种特征进行预测；

(3)设计损失函数

行人重识别损失函数的设计；行人重识别损失函数用于描述行人标签分类的交叉熵损失；假设训练集中有K个行人，一共有n幅样本图像，训练集记为D_i＝{x_i,d_i}，其中x_i表示第i幅训练样本图像，d_i表示x_i的ID即行人编号；

给定一个训练样本x送入网络，网络首先计算出Pool5层的输出提取的特征f；全连接层的输出为z＝,z₁,z₂,…,z_K]∈R^K；经过如下式等号右侧的softmax函数之后得到对每一个ID标签k∈1,…,K的预测概率为:

为了表达简洁，省略掉k和x的关系，对行人ID进行分类的交叉熵损失函数为：

令y为实际的ID标签，则：

在这种情况下，最小化交叉熵损失函数等价于最大化分类正确的概率；

特征识别损失函数的设计；特征识别的损失函数用于描述每一种特征的分类交叉熵损失的加权和；假设训练集中一共有n幅样本图像，每个样本都标记了M种特征，则训练集可记为D_i＝{x_i,l_i}，其中x_i表示第i幅训练样本图像，是标注出的M种特征；对于M种特征，分别计算每种特征的softmax损失；对于某一有m类的特征将样本x分类到第j∈1,…,m类的概率为：

同样地，样本x对特征的交叉熵按照如下方式计算：

令y_m是实际的特征标签，则：

则特征识别的损失函数表示为：

融合算法的损失函数使用上述两者的加权和，使用一个参数λ调节两者的权重：

L＝λL_ID+(1-λ)L_att

其中0≤λ≤1；

(4)训练神经网络

网络使用ReLU函数作为激活函数，其具体形式为：

使用mini-batch的方式进行梯度下降，从而通反向传播进行训练；训练过程中观察整个网络在验证集上的损失，通过调整参数λ以获得最小的损失，进而得到最好的重识别与特征识别效果；

(5)通过训练的神经网络，进行行人重识别与特征识别；

对于训练好的网络，使用时分为行人重识别部分与特征识别部分：

行人重识别，对于不同摄像头视角下的两幅行人图像，归一化后分别送入神经网络，经过网络后提取Pool5层的输出作为提取的特征向量；计算两幅图像对应特征向量间的欧氏距离作为两幅图像的相似度，欧氏距离越小，表示两幅图像越相似，属于同一个行人的概率越大；将相似度与提前设置的阈值作比较，若相似度高于阈值，则判定为同一个行人，否则判定为不同的行人；

特征识别，将待识别的图像送入神经网络，编号预测子网络的输出即为特征的预测结果；根据预测得到的特征，辅助重识别结果判断是否同一个人；如果两幅图像特征预测结果中有多条特征相符，则判定为同一个行人，否则，判定为不同的行人。

Images