CN110580460A - 基于行人身份和属性特征联合识别验证的行人再识别方法 - Google Patents

Abstract

本发明提供了一种基于行人身份和属性特征联合识别验证的行人再识别方法，充分利用行人身份和属性特征的互补信息，联合识别和验证两种模式同时对深度卷积神经网络进行多任务学习，得到更具判别性的行人特征。本发明对行人身份特征和行人属性特征的同时学习，可以使神经网络的特征层既能学习到行人高层的整体身份特征，又能抓取到中层的语义特征，使这两种特征在同一个神经网络中得到有效融合，从而具有更强的鲁棒性和判别性。另外，本发明联合行人识别与行人验证两种模式监督式训练深度卷积神经网络，既能使学习得到的行人特征将不同类行人图片辨别出不同的类别，又能使同一个行人的特征距离很近，而不同行人的特征距离较远。

Description

基于行人身份和属性特征联合识别验证的行人再识别方法

技术领域

本发明涉及计算机视觉与模式识别技术领域，尤其是一种联合识别和验证的行人再识别方法。

背景技术

近年来，无重叠视野的监控摄像机常用来对学校、车站等人流密集的公共场所进行大范围视频监控，在安全防范、案件侦查以及疑犯追踪等方面发挥着重要作用。对于大部分监控场景来说，行人是智能监控的重要分析对象，基于视觉的行人再识别技术是智能监控的重要研究内容，是实现跨摄像头检索和跟踪的基础。尽管现有的行人再识别方法已经取得了一些成果，但是受复杂多变的光照和成像条件影响，行人再识别仍然是一项充满挑战性的工作，行人再识别存在的问题具体表现在以下几个方面：(1)同一行人在不同摄像机下外观变化剧烈；(2)行人外观的判别性较弱，不同行人外观有较强相似性；(3)标注数据集过小。

当前行人再识别方法主要是利用行人身份(ID)信息对深度卷积神经网络进行监督式训练，其中有两种常用的监督式训练模式：一种是识别模式，即将行人再识别问题转化为行人多分类问题；另一种是验证模式，即将行人再识别问题转化为验证两张行人图片是否属于同一个人的问题。另外，也有一些行人再识别方法利用行人属性标记，监督式训练深度卷积神经网络，将行人再识别问题转化为多属性标记分类问题。但是现有方法未联合识别和验证模式来训练网络同时学习行人身份特征和属性特征。

发明内容

为了克服现有技术的不足，本发明提供一种基于行人身份和属性特征联合识别验证的行人再识别方法。本发明为一种实用性强、可明显提高行人再识别准确率的基于行人身份和属性特征联合识别和验证的跨摄像机行人再识别方法。充分利用行人身份和属性特征的互补信息，联合识别和验证两种模式同时对深度卷积神经网络进行多任务学习，得到更具判别性的行人特征。与现有方法相比，本发明大幅提高了行人再识别的准确率。

本发明解决其技术问题所采用的技术方案是包括以下步骤：

(1)行人再识别训练集表示为共包含N张行人图片I_i，每张行人图片标记有身份标签y_i∈{1，...，C}和行人语义属性标签a_i＝[a_i，1，..，a_i，m]，C为类身份类别，每个行人含有m个行人属性，行人属性包括年龄、性别、头发长度、上衣长度、背包、手提包、裤子颜色和鞋子颜色；所使用的训练图片是在现实场景中由多个无重叠视野的摄像机拍摄的图片，经过行人检测器检测或手工标定得到的包含行人大部分部位的图片，身份和属性标签都由手工标定；再识别数据集包括Market-1501和DukeMTMC-reID；

(2)采用深度卷积神经网络主体框架为50层的深度残差网络模型——ResNet50模型；ResNet50模型包含多个卷积层和池化层，最后一个隐含层经过全局平均池化操作后，接一个含有1000神经元的全连接层，用于预测ImageNet数据集的图片类别；使用在ImageNet预训练过的ResNet50模型架构和参数，只将最后含有1000神经元的全连接层换成含有2048神经元的全连接层，用于学习同时识别行人身份和属性和验证行人身份的行人判别性特征；

(3)设计基于行人身份和属性特征学习的行人识别任务；

包含两个特征学习任务：行人身份特征学习任务和行人属性特征学习任务；

所述行人身份特征学习任务是对训练集中行人图片I_i预测行人的身份类别，并与图片真实身份标签y_i计算误差，使用的神经网络目标函数是交叉熵多分类损失函数，对批量处理的n_bs张行人图片，交叉熵分类损失函数L_id计算如下：

式中，p_id(I_i，y_i)是神经网络预测行人图片I_i的身份类别为y_i的概率；

行人属性特征学习任务是对训练集中行人图片I_i同时预测m个行人属性的类别，并与真实属性类别计算误差，其使用的神经网络目标函数是二值交叉熵损失函数。对批量处理的n_bs张行人图片，二值交叉熵损失函数L_attr计算如下：

式中，a_i，j是第i张行人图片第j个真实属性类别，p_att(I_i，a_i，j)是预测行人图片I_i的属性类别为a_i，j的概率；

(4)使用批量样本中取最难的Triplet损失函数，Triplet损失函数的输入是三元组样本，包含锚点样本、正样本和负样本，其中正样本与锚点样本类别一致，而负样本与锚点样本类别不同；

每个批量样本通过随机采样P个行人类别，P＜C，每个行人类别含有K个行人图片构成，每个批量样本共含有P×K张行人图片，每张图片会逐一作为锚点图片，表示身份类别为i行人的第s^o张图片，对应锚点图片的正样本是在批量样本中与属于同一个行人但特征距离最大的样本，而负样本是在批量样本中与属于不同行人类别但特征距离最小的样本，分别计算如下：

批量样本中取最难样本的Triplet损失函数表示如下：

式中，[x]₊＝max(0，x)；

(5)联合步骤(3)和步骤(4)中两个任务，设计基于行人身份和属性特征学习的联合识别与验证任务，实现行人特征的最终学习，总的损失函数由步骤(3)和步骤(4)中的行人身份特征学习、行人属性特征学习和基于行人身份和属性特征的行人验证任务损失函数加权组成：

L_total＝L_id+λ₁L_att+λ₂L_trip

将行人训练集图片以及图片对应的行人身份标记和行人属性标签输入给ResNet50深度卷积神经网络模型，同时监督式学习行人身份识别、行人属性识别和行人身份验证三个任务，利用身份和属性标签的互补信息，学习身份特征和属性特征，从而实现具有关联性多任务之间的特征学习；

(6)测试阶段：使用训练达到迭代次数的深度卷积神经网络分别对待检索行人图片和行人测试集提取行人特征，然后使用欧式距离、余弦距离或其他距离度量方法对待检索图片与测试集的行人特征之间做相似性度量，相似性达到预设值即为同一行人。

本发明的有益效果在于所述的基于行人身份和属性特征联合识别和验证的行人再识别方法对行人身份特征和行人属性特征的同时学习，可以使神经网络的特征层既能学习到行人高层的整体身份特征，又能抓取到中层的语义特征，使这两种特征在同一个神经网络中得到有效融合，从而具有更强的鲁棒性和判别性。另外，本发明联合行人识别与行人验证两种模式监督式训练深度卷积神经网络，既能使学习得到的行人特征将不同类行人图片辨别出不同的类别，又能使同一个行人的特征距离很近，而不同行人的特征距离较远。

附图说明

图1为本发明的流程示意图。

图2是本发明实例中深度卷积神经网络的结构示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

如图1所示，本发明所述的基于行人身份和属性特征联合识别与验证的行人再识别方法，包括以下步骤：

(1)行人再识别训练集表示为共包含N张行人图片I_i，每张行人图片标记有身份标签y_i∈{1，...，C}和行人语义属性标签a_i＝[a_i，1，...，a_i，m]C为类身份类别，每个行人含有m个行人属性，行人属性包括年龄、性别、头发长度、上衣长度、背包、手提包、裤子颜色和鞋子颜色；所使用的训练图片是在现实场景中由多个无重叠视野的摄像机拍摄的图片，经过行人检测器检测或手工标定得到的包含行人大部分部位的图片，身份和属性标签都由手工标定；再识别数据集包括Market-1501和DukeMTMC-reID；

(2)采用深度卷积神经网络主体框架为50层的深度残差网络模型——ResNet50模型；深度残差网络模型借鉴了highway网络的思想，在构造网络时增加了捷径连接，使后续层的输出不是传统神经网络中输入的映射，而是输入的映射和输入的叠加，从而解决了深度神经网络训练的梯度消失或爆炸以及特征分布不均匀等问题。同时，神经网络深度的增加使网络具有学习到更多隐含判别性特征的能力。ResNet50模型包含大量的卷积层和池化层，最后一个隐含层经过全局平均池化操作后，会接一个含有1000神经元的全连接层，用于预测ImageNet数据集的图片类别。本发明使用在ImageNet预训练过的ResNet50模型架构和参数，只将最后含有1000神经元的全连接层换成含有2048神经元的全连接层(如图2中“深度卷积神经网络”中fc层所示)，用于学习同时识别行人身份和属性和验证行人身份的行人判别性特征；

(3)设计基于行人身份和属性特征学习的行人识别任务；

任务是同时完成行人身份和属性的特征学习，目的是识别行人图片的身份类别和语义属性类别，具体包含两个特征学习任务：行人身份特征学习任务和行人属性特征学习任务。

行人身份特征学习任务是对训练集中行人图片I_i预测行人的身份类别，并与图片真实身份标签y_i计算误差，其使用的神经网络目标函数是交叉熵多分类损失函数。对批量处理的n_bs张行人图片，交叉熵分类损失函数L_id计算如下：

式中，p_id(I_i，y_i)是神经网络预测行人图片I_i的身份类别为y_i的概率。

行人属性特征学习任务是对训练集中行人图片I_i同时预测m个行人属性的类别，并与真实属性类别计算误差，其使用的神经网络目标函数是二值交叉熵损失函数。对批量处理的n_bs张行人图片，二值交叉熵损失函数L_attr计算如下：

式中，a_i，j是第i张行人图片第j个真实属性类别，p_att(I_i，a_i，j)是预测行人图片I_i的属性类别为a_i，j的概率。

通过深度卷积神经网络对行人身份特征和行人属性特征的同时学习，可以使神经网络的特征层既能学习到行人高层的整体身份特征，又能抓取到中层的语义特征，使这两种特征在同一个神经网络中得到有效融合，从而具有更强的鲁棒性和判别性。

(4)设计基于行人身份和属性特征的行人验证任务。不同于步骤(3)中的行人识别任务只是将特征分到不同的类别，行人验证任务是要求属于同一个行人的特征互相靠的很近，而不同行人的特征尽可能离的较远。该任务使用的是批量样本中取最难的Triplet损失函数。Triplet损失函数的输入是三元组样本，包含锚点样本、正样本和负样本，其中正样本与锚点样本类别一致，而负样本与锚点样本类别不同。

每个批量样本通过随机采样P(P＜C)个行人类别，每个行人类别含有K个行人图片构成。因此，每个批量样本共含有P×K张行人图片，每张图片会逐一作为锚点图片(表示身份类别为i行人的第s^o张图片)。对应锚点图片的正样本是在批量样本中与属于同一个行人但特征距离最大的样本，而负样本是在批量样本中与属于不同行人类别但特征距离最小的样本，分别计算如下：

批量样本中取最难样本的Triplet损失函数表示如下：

式中，[x]₊＝max(0，x)。

(5)联合步骤(3)和步骤(4)中两个任务，设计基于行人身份和属性特征学习的联合识别与验证任务，实现行人特征的最终学习。总的损失函数由步骤(3)和步骤(4)中的行人身份特征学习、行人属性特征学习和基于行人身份和属性特征的行人验证任务损失函数加权组成：

L_total＝L_id+λ₁L_att+λ₂L_trip

将行人训练集图片以及图片对应的行人身份标记和行人属性标签输入给ResNet50深度卷积神经网络模型，同时监督式学习行人身份识别、行人属性识别和行人身份验证三个任务，有效利用身份和属性标签的互补信息，学习身份特征和属性特征，从而实现具有关联性多任务之间的特征学习，使学习得到的行人特征具有更高判别能力。

(6)测试阶段：使用已经训练好的深度卷积神经网络分别对待检索行人图片和行人测试集提取行人特征，然后使用欧式距离、余弦距离或其他距离度量方法，对待检索图片与测试集的行人特征之间做相似性度量，距离越小表示两张行人图片特征越相似，更有可能为同一行人目标，相似度达到预设值即有可能为同一行人。由于特征库中可能有多个高于阈值的特征，确定方法可采用二种策略：1)距离最小的特征库中的特征对应的标记行人即为待测行人；2)高于阈值的所有特征根据标签进行投票确定待测行人的类别。

Claims (1)

1.一种基于行人身份和属性特征联合识别验证的行人再识别方法，其特征在于包括下述步骤：

(1)行人再识别训练集表示为共包含N张行人图片I_i，每张行人图片标记有身份标签y_i∈{1，...，C}和行人语义属性标签a_i＝[a_i，1，...，a_i，m]，C为类身份类别，每个行人含有m个行人属性，行人属性包括年龄、性别、头发长度、上衣长度、背包、手提包、裤子颜色和鞋子颜色；所使用的训练图片是在现实场景中由多个无重叠视野的摄像机拍摄的图片，经过行人检测器检测或手工标定得到的包含行人大部分部位的图片，身份和属性标签都由手工标定；再识别数据集包括Market-1501和DukeMTMC-reID；

(2)采用深度卷积神经网络主体框架为50层的深度残差网络模型——ResNet50模型；ResNet50模型包含多个卷积层和池化层，最后一个隐含层经过全局平均池化操作后，接一个含有1000神经元的全连接层，用于预测ImageNet数据集的图片类别；使用在ImageNet预训练过的ResNet50模型架构和参数，只将最后含有1000神经元的全连接层换成含有2048神经元的全连接层，用于学习同时识别行人身份和属性和验证行人身份的行人判别性特征；

(3)设计基于行人身份和属性特征学习的行人识别任务；

包含两个特征学习任务：行人身份特征学习任务和行人属性特征学习任务；

所述行人身份特征学习任务是对训练集中行人图片I_i预测行人的身份类别，并与图片真实身份标签y_i计算误差，使用的神经网络目标函数是交叉熵多分类损失函数，对批量处理的n_bs张行人图片，交叉熵分类损失函数L_id计算如下：

式中，p_id(I_i，y_i)是神经网络预测行人图片I_i的身份类别为y_i的概率；

行人属性特征学习任务是对训练集中行人图片I_i同时预测m个行人属性的类别，并与真实属性类别计算误差，其使用的神经网络目标函数是二值交叉熵损失函数，对批量处理的n_bs张行人图片，二值交叉熵损失函数L_attr计算如下：

式中，a_i，j是第i张行人图片第j个真实属性类别，p_att(I_i，a_i，j)是预测行人图片I_i的属性类别为a_i，j的概率；

(4)使用批量样本中取最难的Triplet损失函数，Triplet损失函数的输入是三元组样本，包含锚点样本、正样本和负样本，其中正样本与锚点样本类别一致，而负样本与锚点样本类别不同；

每个批量样本通过随机采样P个行人类别，P＜C，每个行人类别含有K个行人图片构成，每个批量样本共含有P×K张行人图片，每张图片会逐一作为锚点图片，表示身份类别为i行人的第s^o张图片，对应锚点图片的正样本是在批量样本中与属于同一个行人但特征距离最大的样本，而负样本是在批量样本中与属于不同行人类别但特征距离最小的样本，分别计算如下：

批量样本中取最难样本的Triplet损失函数表示如下：

式中，[x]₊＝max(0，x)；

(5)联合步骤(3)和步骤(4)中两个任务，设计基于行人身份和属性特征学习的联合识别与验证任务，实现行人特征的最终学习，总的损失函数由步骤(3)和步骤(4)中的行人身份特征学习、行人属性特征学习和基于行人身份和属性特征的行人验证任务损失函数加权组成：

L_total＝L_id+λ₁L_att+λ₂L_trip

将行人训练集图片以及图片对应的行人身份标记和行人属性标签输入给ResNet50深度卷积神经网络模型，同时监督式学习行人身份识别、行人属性识别和行人身份验证三个任务，利用身份和属性标签的互补信息，学习身份特征和属性特征，从而实现具有关联性多任务之间的特征学习；

(6)测试阶段：使用训练达到迭代次数的深度卷积神经网络分别对待检索行人图片和行人测试集提取行人特征，然后使用欧式距离、余弦距离或其他距离度量方法对待检索图片与测试集的行人特征之间做相似性度量，相似性达到预设值即为同一行人。