CN112613474A - 一种行人重识别的方法和装置 - Google Patents

Abstract

本发明实施例提供了一种行人重识别的方法和装置，所述方法包括：获取多个图像数据，并对所述多个图像数据进行行人信息标注，得到标注数据集，所述标注的行人信息至少包括图像数据中行人对象的身份标识、所述行人对象的人体解释信息，以及所述行人对象的人体属性信息；从所述标注数据集中，确定训练数据集；根据所述标注的行人信息，生成针对所述行人对象的人体掩码信息，并根据所述人体掩码信息，对所述训练数据集进行扩充；采用所述扩充后的训练数据集进行深度学习，得到目标网络模型，以采用所述网络模型进行行人重识别。通过本发明实施例，实现了对行人重识别的优化，提升了识别的准确性。

Description

一种行人重识别的方法和装置

技术领域

本发明涉及图像识别领域，特别是涉及一种行人重识别的方法和装置。

背景技术

行人重识别技术是利用计算机视觉技术判断图像或者视频是否存在特定行人的技术，该技术主要应用方式为给定一个行人的图像或者视频，检索跨设备下的该行人对应的图像或者视频，以此获得身份上的确认和统一。

在实际应用中，行人重识别技术可与行人检测技术以及行人跟踪技术相结合来实现更加复杂的目的，该技术可以广泛应用于智能安保、智能楼宇和智慧商场中，拥有巨大的经济价值。

行人重识别技术一直是图像识别领域研究的重点方向，影响行人重识别效果的主要因素有光照、分辨率、视角、姿势和遮挡等，行人重识别通常包含三个步骤：首先对获取行人图像或者视频做预处理，接着对预处理结果提取特征表示，最后利用特征表示比对来得到行人重识别结果。

行人重识别的核心问题是如何根据图像或视频提取行人鲁棒的特征表示，传统的行人重识别方法基于人工经验设计特征，其学习的特征针对复杂的现实场景较难保证类内相似度大于类间相似度，影响识别的准确性。

发明内容

鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的一种行人重识别的方法和装置，包括：

一种行人重识别的方法，所述方法包括：

获取多个图像数据，并对所述多个图像数据进行行人信息标注，得到标注数据集，所述标注的行人信息至少包括图像数据中行人对象的身份标识、所述行人对象的人体解释信息，以及所述行人对象的人体属性信息；

从所述标注数据集中，确定训练数据集；

根据所述标注的行人信息，生成针对所述行人对象的人体掩码信息，并根据所述人体掩码信息，对所述训练数据集进行扩充；

采用所述扩充后的训练数据集进行深度学习，得到目标网络模型，以采用所述网络模型进行行人重识别。

可选地，还包括：

从所述标注数据集中，确定验证数据集；

根据所述目标网络模型，生成所述验证数据集的行人信息预测结果；

根据所述验证数据集标注的行人信息，确定所述行人信息预测结果中各个行人信息的准确率；

按照所述准确率，对所述行人信息进行排序，得到最优行人信息集。

可选地，还包括：

从所述标注数据集中，确定测试数据集；其中，所述测试数据集包括测试查询数据集和测试候选数据集；

根据所述测试查询数据集、所述测试候选数据集，以及所述最优行人信息集，获得所述目标数据模型进行行人重识别的相似性测试结果。

可选地，所述深度学习的方式包括以下任一项或多项：

针对所述身份标识的深度学习、针对所述人体解释信息的深度学习、针对所述人体属性信息的深度学习。

可选地，每种深度学习的方式具有对应的损失函数。

一种行人重识别的装置，所述装置包括：

数据标注模块，用于获取多个图像数据，并对所述多个图像数据进行行人信息标注，得到标注数据集，所述标注的行人信息至少包括图像数据中行人对象的身份标识、所述行人对象的人体解释信息，以及所述行人对象的人体属性信息；

训练数据集确定模块，用于从所述标注数据集中，确定训练数据集；

训练数据集扩充模块，用于根据所述标注的行人信息，生成针对所述行人对象的人体掩码信息，并根据所述人体掩码信息，对所述训练数据集进行扩充；

目标网络模型得到模块，用于采用所述扩充后的训练数据集进行深度学习，得到目标网络模型，以采用所述网络模型进行行人重识别。

可选地，还包括：

验证数据集确定模块，用于从所述标注数据集中，确定验证数据集；

行人信息预测结果生成模块，用于根据所述目标网络模型，生成所述验证数据集的行人信息预测结果；

准确率确定模块，用于根据所述验证数据集标注的行人信息，确定所述行人信息预测结果中各个行人信息的准确率；

最优行人信息集得到模块，用于按照所述准确率，对所述行人信息进行排序，得到最优行人信息集。

可选地，还包括：

测试数据集确定模块，用于从所述标注数据集中，确定测试数据集；其中，所述测试数据集包括测试查询数据集和测试候选数据集；

相似性测试结果获得模块，用于根据所述测试查询数据集、所述测试候选数据集，以及所述最优行人信息集，获得所述目标数据模型进行行人重识别的相似性测试结果。

可选地，所述深度学习的方式包括以下任一项或多项：

针对所述身份标识的深度学习、针对所述人体解释信息的深度学习、针对所述人体属性信息的深度学习。

可选地，每种深度学习的方式具有对应的损失函数。

本发明实施例具有以下优点：

在本发明实施例中，通过获取多个图像数据，并对所述多个图像数据进行行人信息标注，得到标注数据集，所述标注的行人信息至少包括图像数据中行人对象的身份标识、所述行人对象的人体解释信息，以及所述行人对象的人体属性信息；从所述标注数据集中，确定训练数据集；根据所述标注的行人信息，生成针对所述行人对象的人体掩码信息，并根据所述人体掩码信息，对所述训练数据集进行扩充；采用所述扩充后的训练数据集进行深度学习，得到目标网络模型，以采用所述网络模型进行行人重识别，实现了对行人重识别的优化，提升了识别的准确性。

附图说明

为了更清楚地说明本发明的技术方案，下面将对本发明的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种行人重识别的方法的步骤流程图；

图2是本发明一实施例提供的一种网络模型的示意图；

图3是本发明一实施例提供的一种行人重识别的装置的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着深度学习技术的蓬勃发展，卷积神经网络技术逐渐在图像处理各个领域展露头角，基于优化的思想能够拟合复杂的函数映射，从而超越人工经验的设计，故目前流行的主要方式是设计特定卷积神经网络结构提取行人特征表示，采用度量学习的方法来优化网络参数。

在实际应用中，通过尝试引入其他任务如关键点检测任务或者人体属性识别任务来辅助提升行人特征提取任务，结果证明在一定条件下能够很好的提升行人重识别的效果。因此，利用多线索多特征联合进行行人重识别成为提升识别准确率的有效途径。

在行人重识别方法的研究中，为获取鲁棒的行人特征嵌入，结合多任务学习的方法，提出了一种基于多线索多特征融合的行人重识别算法，以解决问题主要有以下两个方面：

1、扩充最终描述行人的特征，由行人特征嵌入学习分支、行人解释学习分支以及行人属性学习分支组成，提高行人重识别的准确度；

2、在实际应用时，采用一种级联人体属性和人体特征嵌入的方式来作为行人的特征输出，从而提高行人重识别的准确度。

具体的，可以包括如下步骤：

1、对行人重识别图像进行标注，每张行人图像的标注信息包括行人ID、行人属性以及人体解释标注；

2、将已标注数据集图片根据行人ID按比例划分为训练集、验证集和测试集；

3、对训练集图像采用基于人体Mask的随机形状数据增强方式以扩充训练数据集样本；

4、采用基础网络提取人体特征，设计多分支任务模块分别完成人体征嵌入学习，人体解释以及人体属性学习三种任务；

5、设计多任务网络损失函数，使用多任务损失函数进行网络参数学习；

6、在验证集上通过计算准确率指标结合排序策略获得最优属性组；

7、在测试集上采用多线索多特征融合方法完成行人重识别任务。

与现有技术相比具有的显著优点是：

1、提出了一种基于人体Mask的随机形状数据增强方法，与该方法类似的还有random earsing，gridmask等，但是现有方法都是用矩形模板去遮挡目标来模拟真实的遮挡情况，本专利提出了一套可以生成任意形状的遮挡模板方法，且充分考虑到遮挡背景低效无意义的操作，因此直接在人体区域内利用遮挡模板做遮挡操作，该方法能真实模拟现实世界的人体遮挡情况来扩充样本训练样本数量。

2、设计了一种基于多任务多损失融合的行人重识别网络，能有效利用不同任务之间的相互促进作用并同时预测多种可用于行人重识别任务的估计信息。

3、提出了一种基于多线索多特征融合行人重识别比对方法，主要是利用人体属性粗过滤以及特征融合精细比对来提升行人重识别的准确率，现有的能搜索到的针对行人重识别的多特征融合方法时采用非端到端的方法如使用不同算法提取不同的特征然后进行融合，同时还有专利考虑将人体切块来分别提取特征融合或者利用人体属性，人体关键点等信息来辅助行人重识别，与现有方法本专利主要有三点区别：在先验假设层面，本专利并未引入人体切块先验，即意味着本专利不局限于直立平拍视角的成像设定，可以适应画面中任意姿势任意角度的人体，且本专利不认为不同摄像头的行人是属于不同域的特征，因此方法设计更加简洁；在网络设计层面，本专利利用端到端的网络完成了三个与行人重识别密切相关的任务：行人特征嵌入学习，行人属性学习以及行人人体解释学习，并通过行人人体解释分支引入attention机制促进行人属性分支的学习，能较好的挖掘不同任务的相互促进学习的能力；在特征构建和搜索层面，本专利采用人体属性标签分数做第一级过滤，可以一定程度上缩小搜索空间，加快搜索速度，排除部分比对干扰，在第二级特征比对层面采用了归一化特征拼接融合策略，较好的利用的不同特征的互补性，提升了行人重识别的鲁棒性和精度。

以下对本发明实施例进行详细说明：

参照图1，示出了本发明一实施例提供的一种一种行人重识别的方法的步骤流程图，具体可以包括如下步骤：

步骤101，获取多个图像数据，并对所述多个图像数据进行行人信息标注，得到标注数据集，所述标注的行人信息至少包括图像数据中行人对象的身份标识、所述行人对象的人体解释信息，以及所述行人对象的人体属性信息；

在实际应用中，行人重识别数据集为D＝{S₁,S₂,S₃,…,S_N}，N为样本总数，数据集由任意安装角度摄像头采集得到，对于数据集D中每一个样本S_i(1≤i≤N)，采用标注软件Labelme进行标注可得到三类标注信息:描述行人身份的ID信息(即身份标识)，人体解释信息以及人体属性信息。

其中，描述行人样本S_i身份的ID信息采用离散数值表示记为ID_i，且ID_i∈{1,2,3,…,P}，其中P为数据集D中不同行人身份的总数目。描述行人样本S_i的人体解释信息采用多组多边形标注表示，即给出人体不同部分的Mask，记为H_i＝{hp₁,hp₂,…,hp_M},M为选取的人体解释的分割部分数目。描述行人样本S_i的人体属性信息采用数值型向量表示记为A_i＝[x₁,x₂,…,x_K]，K为选择预测的人体属性总数目，A_i中每个元素表示样本S_i是否出现对应的人体属性，采用1表示出现该属性，0表示未出现该属性。

除Labelme标注信息之外，由于数据采集时可以获取对应拍摄的场景、摄像头以及时间戳，故对于每一个样本S_i还可以增加场景标注编号V_i，摄像头编号C_i以及采集时间戳T_i,其中V_i∈{1,2,3,…,Z}，C_i∈{1,2,3,…,U}，其中Z为不同场景的总数目，U所有场景中最大的摄像头数目。通过标注可获得样本S_i标注信息L_i＝(V_i,C_i,T_i,ID_i,H_i,A_i)。

步骤102，从所述标注数据集中，确定训练数据集；

在本发明一实施例中，还可以包括如下步骤：

从所述标注数据集中，确定验证数据集；从所述标注数据集中，确定测试数据集；其中，所述测试数据集包括测试查询数据集和测试候选数据集。

在实际应用中，数据集D中同一行人只出现在同一场景中，可将数据集D根据场景标注信息划分为(D₁,D₂,…,D_Z)，采用分层抽样技术对每一个子数据集D_i(1≤i≤Z)根据6:2:2对行人ID进行划分得到训练集T_D(即训练数据集)、验证集V_D(即验证数据集)和测试集E_D(即标注数据集)。

行人重识别技术实际应用时需要采用查询样本搜索候选行人库集合得到重识别结果，因此对测试集E_D中场景O(O∈{1,2,3,…,Z})中ID为Q(Q∈{1,2,3,…,P})在摄像头R(R∈{1,2,3,…,U})下的样本按照采集时间戳从小到大进行排序，取最后B张作为测试查询集合，剩余样本作为测试候选行人库集合。

步骤103，根据所述标注的行人信息，生成针对所述行人对象的人体掩码信息，并根据所述人体掩码信息，对所述训练数据集进行扩充；

在实际应用中，训练集T_D中的每一个样本S_i(S_i∈T_D)的标注信息为L_i＝(V_i,C_i,T_i,ID_i,H_i,A_i),通过对H_i的多个多边形进行全部组合即可得到完整的人体Mask标注信息Mask_i(即人体掩码信息)。

采用以下算法来对训练样本S_i进行数据增强：

获取Mask_i中像素点的横坐标范围[p_xmin,p_xmax]以及纵坐标范围[p_ymin,p_ymax]，获取Mask_i的像素面积为

指定最小和最大的随机采样点数目分别为Point_Min和Point_Max，指定最大采样面积比AreaRatio_Max，初始化随机形状生成点集合RPoint＝{}，随机形状面积S_Random为0；使用numpy库产生一个区间[Point_Min,Point_Max]上的整数随机数RPoint_Num；循环以下操作直至满足S_Random小于

首先使用numpy库产生区间[p_xmin,p_xmax]上的RPoint_Num个整数随机数

接着使用numpy库产生区间[p_ymin,p_ymax]上的RPoint_Num个整数随机数

通过两组随机数组合可得到RPoint_Num个随机点的集合记为

最后利用常见算法Graham扫描法或Jarvis步进法求取RP集合的凸包conv(RP)，对conv(RP)计算面积并赋值给S_Random，通过循环条件判断是否结束该循环。

记上述循环结束时的凸包点集合为conv_best(RP),利用conv_best(RP)点围成的多边形作为遮挡Mask，对样本S_i的遮挡Mask区域内的点的三通道设置为全黑即每个点的RGB值为(0,0,0)。

步骤104，采用所述扩充后的训练数据集进行深度学习，得到目标网络模型，以采用所述网络模型进行行人重识别。

其中，该深度学习的方式可以包括以下任一项或多项：

针对所述身份标识的深度学习、针对所述人体解释信息的深度学习、针对所述人体属性信息的深度学习。

在基础网络设计阶段不引入人体可切块先验，即本专利提出方法并不局限于常见行人重识别公开数据集中小角度俯拍摄像头安装场景下行人重识别任务，可在任意安装角度的摄像头采集图像情形下利用本专利提出的方法来实施完成行人重识别任务，本专利利用深度学习技术学习人体相关信息的估计，主要采用卷积神经网络来完成该任务。网络的输入选择常见的行人重识别输入数据采样方法，即每个批次采样随机Nid个ID，每个ID的行人下随机采样Ksp个行人样本，故对于每个批次共有Nid·Ksp个行人样本。

基础网络可由任意的多层CNN模型搭建而成，以DLA-34为例，本专利可以采用DLA-34作为基础网络，对每个批次输入的Nid·Ksp个行人样本得到Nid·Ksp组特征图，在基础网络之后为完成多任务学习增加三个分支，如图2，三个分支分别为人体特征嵌入学习分支(即针对所述身份标识的深度学习)、人体解释学习分支(即针对所述人体解释信息的深度学习)以及人体属性学习分支(即针对所述人体属性信息的深度学习)。

人体特征嵌入学习分支主要是在DLA-34基础网络后增加一个Padding为一个像素，核大小为3×3，步进为1的卷积层记为Conv_FEB1，在Conv_FEB1后使用自适应池化技术可以获得定长的人体特征嵌入向量FEB_Vec，在得到FEB_Vec后接一个全连接层记为FC_FEB，FC_FEB层的参数记为W_{FC_FEB}。

人体解释学习分支主要是在DLA-34基础网络后增加一个Padding为一个像素，核大小为3×3，步进为1的卷积层记为Conv_HPB1，在Conv_HPB1后得到的输出特征图记为HPB_Conv1，接着再增加一个Padding为一个像素，核大小为3×3，步进为1的卷积层记为Conv_HPB2，在Conv_HPB2后得到的的输出特征图记为HPB_Predict，HPB_Predict即为对人体各部分的Mask预测结果，记HPB_Predict输出尺寸为Row×Col×M。

人体属性学习分支主要是在DLA-34基础网络后增加一个Padding为一个像素，核大小为3×3，步进为1的卷积层记为Conv_HAB1，在Conv_HAB1后得到的输出特征图记为HAB_Conv1，将HPB_Conv1和HAB_Conv1按通道做连接操作得到输出Mix_HPBHAB,对Mix_HPBHAB使用自适应池化技术后得到一个定长向量输出HAB_Vec，在得到HAB_Vec后接一个全连接层记为FC_HAB，FC_HAB层的输出记为HA_Predict，HA_Predict为长度为K的向量，对应表示人体的K个属性是否存在。

在本发明一实施例中，每种深度学习的方式具有对应的损失函数。

针对人体征嵌入学习分支采用AMsoftmax损失函数，该技术成功应用于人脸等识别领域，本专利不做过多描述。AMsoftmax应用于本技术的流程为将FEB_Vec以及W_{FC_FEB}分别进行L2归一化后得到fnorm以及Wnorm，对fnorm和Wnorm做内积即可得到AMsoftmax损失函数所需向量夹角，并用下式计算人体特征嵌入分支的损失L_FEB:

上式中|T_D|为训练集样本总数，s为超参数，m为控制不同类别的分界面距离的超参数，y_i为第i个样本的真实ID类别标签。

针对人体解释学习分支，本专利对每个人体部分预测一张Mask分割图，即总共预测M个分割结果，对每个分割结果使用Focal Loss平衡正负样本的数目以及难易程度，同时使用Dice Loss提升分割质量来间接完成高质量人体特征嵌入的学习。

本专利采用Focal Loss和Dice Loss的组合加权作为人体解释学习分支的损失函数L_HPB，L_HPB的具体表达式如下：

L_HPB＝β·L_focalloss-logL_Diceloss

上式中β为平衡L_focalloss和L_Diceloss的超参数，α和γ为控制正负样本数量和样本学习难度的超参数，|T_D|为训练集样本总数，M为人体解释估计部分的总数，

表示第i个样本的第j个人体部分特征图的第k个像素点预测为前景的概率，

为第i个样本的第j个人体部分特征图的第k个像素点的真实标签，前景则为1，背景则为0。

针对人体属性学习分支,本专利将其作为K个二分类任务，并采用按属性加权的BCE Loss，对于属性损失的权重可以从训练集T_D中统计不同属性出现次数占总的样本数目得到属性频率(f₁,f₂,…,f_K),对属性频率如下变换函数得到损失加权系数：

上式输出w_i即为第i个属性的BCE损失加权系数，由此可以获得人体属性分支损失的最终表达形式为：

上式中|T_D|为训练集样本总数，y_ji表示第j个样本的第i个属性是否存在，存在为1，不存在为0，p_ji表示人体属性学习分支预测的结果，即为HA_Predict。

多任务学习最终整个网络的损失函数可以用不确定性学习来组合各分支损失，即得到总的损失函数L_total可如下所示：

上式中s_FEB,s_HPB,s_HAB分别为人体特征嵌入学习任务、人体解释学习任务和人体属性学习任务的损失不确定性，通过网络学习得到。

在多任务学习的过程中，采用分阶段训练策略，即在第一阶段单独训练人体特征嵌入学习分支，该过程中使用本专利提及的数据增强方法，在第二阶段联合人体特征嵌入学习分支，人体解析学习分支以及人体属性学习分支进行训练，该阶段不使用本专利提及的数据增强方法。

在本发明一实施例中，还可以包括如下步骤：

根据所述目标网络模型，生成所述验证数据集的行人信息预测结果；根据所述验证数据集标注的行人信息，确定所述行人信息预测结果中各个行人信息的准确率；按照所述准确率，对所述行人信息进行排序，得到最优行人信息集。

在实际应用中，为获得最优属性组(即最优行人信息集),对验证集V_D的所有样本通过本专利设计的网络获得人体属性预测结果(即行人信息预测结果)，将人体属性预测结果和验证集标注对比计算可以得到属性准确率集合Pre＝{pre₁,pre₂,…,pre_K}，对Pre从大到小排序，取大于90％的前π个属性作为最优属性组A_best，A_best中对应属性的准确率降序排列集合可记为{pres₁,pres₂,…,pres_π}。

在本发明一实施例中，还可以包括如下步骤：

根据所述测试查询数据集、所述测试候选数据集，以及所述最优行人信息集，获得所述目标数据模型进行行人重识别的相似性测试结果。

本专利设计的多任务网络可以得到用于行人重识别任务的输出为HA_Predict，FEB_Vec以及HAB_Vec。

在测试集E_D上采用级联人体属性以及特征嵌入的方法完成行人重识别任务，级联具体方法如下：

级联第一步采用属性比对过滤方法，首先对于最优属性组A_best中的π个属性(π取为0时表明不使用人体属性标签做下述过滤操作)，按照属性在验证集中的准确率按从高到低顺序，依次比对测试查询样本和测试候选行人库中样本的预测属性，并采用下式计算人体属性比对分数:

上式中σ(j)为指示函数，即表明查询样本和底库样本对应最优属性组A_best第j个属性比对结果相同，相同则为1，不相同则为0。分母

为归一化求和项。通过上述人体属性对比分数Score_HA使用阈值控制来判断是否进行下一步行人特征级比对，阈值控制逻辑可用下式表示：

如果Score_HA大于预设的人体属性分数比对阈值T_HA则继续做下一步的行人特征比对，否则认为该对样本属性比对失败。

人体属性比对过滤逻辑可以通过将查询样本和底库样本π个属性的出现与否编码成长度为π的二进制数，并通过按位与操作来快速π个指示函数{σ(1),σ(2),…,σ(π)}的结果，采用向量乘法以及判断等操作可判别对应查询样本和底库样本是否需要进一步进行行人特征比对。利用人体属性比对过滤逻辑可以快速缩小查询样本比对范围来加速搜索，同时利用语义层级信息过滤视觉层级信息容易混淆的查询样本和底库样本对来提高识别准确率和召回率。

经过第一步人体属性过滤后，对于某固定查询样本，所有通过属性比对的底库样本可记为μ，如果某查询样本和所有底库样本均未通过属性比对，则可根据实际需求设定两种处理策略：第一种策略可直接认定为该查询样本不存在于底库中返回比对失败结果，第二种策略可认为该种情况下可进入下一步特征比对，且底库样本μ设定为全部底库样本。

为实现行人特征比对，首先对行人特征嵌入分支预测的特征FEB_Vec进行L2归一化可得fnorm_FEB，对行人属性分支的中间特征HAB_Vec进行L2归一化可fnorm_HAB，采用拼接方式融合fnorm_FEB以及fnorm_HAB可以获得最终用于行人重识别的比对特征f_reid，f_reid可表达式为：

f_reid＝[fnorm_FEB；fnorm_HAB]

采用余弦距离计算测试查询样本和其候选行人底库μ中样本的行人重识别的比对特征即可获得最终行人重识别相似性度量结果。

在本发明实施例中，通过获取多个图像数据，并对所述多个图像数据进行行人信息标注，得到标注数据集，所述标注的行人信息至少包括图像数据中行人对象的身份标识、所述行人对象的人体解释信息，以及所述行人对象的人体属性信息；从所述标注数据集中，确定训练数据集；根据所述标注的行人信息，生成针对所述行人对象的人体掩码信息，并根据所述人体掩码信息，对所述训练数据集进行扩充；采用所述扩充后的训练数据集进行深度学习，得到目标网络模型，以采用所述网络模型进行行人重识别，实现了对行人重识别的优化，提升了识别的准确性。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图3，示出了本发明一实施例提供的一种行人重识别的装置的结构示意图，具体可以包括如下模块：

数据标注模块301，用于获取多个图像数据，并对所述多个图像数据进行行人信息标注，得到标注数据集，所述标注的行人信息至少包括图像数据中行人对象的身份标识、所述行人对象的人体解释信息，以及所述行人对象的人体属性信息；

训练数据集确定模块302，用于从所述标注数据集中，确定训练数据集；

训练数据集扩充模块303，用于根据所述标注的行人信息，生成针对所述行人对象的人体掩码信息，并根据所述人体掩码信息，对所述训练数据集进行扩充；

目标网络模型得到模块304，用于采用所述扩充后的训练数据集进行深度学习，得到目标网络模型，以采用所述网络模型进行行人重识别。

在本发明一实施例中，还包括：

验证数据集确定模块，用于从所述标注数据集中，确定验证数据集；

行人信息预测结果生成模块，用于根据所述目标网络模型，生成所述验证数据集的行人信息预测结果；

准确率确定模块，用于根据所述验证数据集标注的行人信息，确定所述行人信息预测结果中各个行人信息的准确率；

最优行人信息集得到模块，用于按照所述准确率，对所述行人信息进行排序，得到最优行人信息集。

在本发明一实施例中，还包括：

测试数据集确定模块，用于从所述标注数据集中，确定测试数据集；其中，所述测试数据集包括测试查询数据集和测试候选数据集；

相似性测试结果获得模块，用于根据所述测试查询数据集、所述测试候选数据集，以及所述最优行人信息集，获得所述目标数据模型进行行人重识别的相似性测试结果。

在本发明一实施例中，所述深度学习的方式包括以下任一项或多项：

针对所述身份标识的深度学习、针对所述人体解释信息的深度学习、针对所述人体属性信息的深度学习。

在本发明一实施例中，每种深度学习的方式具有对应的损失函数。

本发明一实施例还提供了一种电子设备，可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上行人重识别的方法。

本发明一实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上行人重识别的方法。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对所提供的一种行人重识别的方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种行人重识别的方法，其特征在于，所述方法包括：

获取多个图像数据，并对所述多个图像数据进行行人信息标注，得到标注数据集，所述标注的行人信息至少包括图像数据中行人对象的身份标识、所述行人对象的人体解释信息，以及所述行人对象的人体属性信息；

从所述标注数据集中，确定训练数据集；

根据所述标注的行人信息，生成针对所述行人对象的人体掩码信息，并根据所述人体掩码信息，对所述训练数据集进行扩充；

采用所述扩充后的训练数据集进行深度学习，得到目标网络模型，以采用所述网络模型进行行人重识别。

2.根据权利要求1所述的方法，其特征在于，还包括：

从所述标注数据集中，确定验证数据集；

根据所述目标网络模型，生成所述验证数据集的行人信息预测结果；

根据所述验证数据集标注的行人信息，确定所述行人信息预测结果中各个行人信息的准确率；

按照所述准确率，对所述行人信息进行排序，得到最优行人信息集。

3.根据权利要求2所述的方法，其特征在于，还包括：

从所述标注数据集中，确定测试数据集；其中，所述测试数据集包括测试查询数据集和测试候选数据集；

根据所述测试查询数据集、所述测试候选数据集，以及所述最优行人信息集，获得所述目标数据模型进行行人重识别的相似性测试结果。

4.根据权利要求1或2或3所述的方法，其特征在于，所述深度学习的方式包括以下任一项或多项：

针对所述身份标识的深度学习、针对所述人体解释信息的深度学习、针对所述人体属性信息的深度学习。

5.根据权利要求4所述的方法，其特征在于，每种深度学习的方式具有对应的损失函数。

6.一种行人重识别的装置，其特征在于，所述装置包括：

数据标注模块，用于获取多个图像数据，并对所述多个图像数据进行行人信息标注，得到标注数据集，所述标注的行人信息至少包括图像数据中行人对象的身份标识、所述行人对象的人体解释信息，以及所述行人对象的人体属性信息；

训练数据集确定模块，用于从所述标注数据集中，确定训练数据集；

训练数据集扩充模块，用于根据所述标注的行人信息，生成针对所述行人对象的人体掩码信息，并根据所述人体掩码信息，对所述训练数据集进行扩充；

目标网络模型得到模块，用于采用所述扩充后的训练数据集进行深度学习，得到目标网络模型，以采用所述网络模型进行行人重识别。

7.根据权利要求6所述的装置，其特征在于，还包括：

验证数据集确定模块，用于从所述标注数据集中，确定验证数据集；

行人信息预测结果生成模块，用于根据所述目标网络模型，生成所述验证数据集的行人信息预测结果；

准确率确定模块，用于根据所述验证数据集标注的行人信息，确定所述行人信息预测结果中各个行人信息的准确率；

最优行人信息集得到模块，用于按照所述准确率，对所述行人信息进行排序，得到最优行人信息集。

8.根据权利要求7所述的装置，其特征在于，还包括：

测试数据集确定模块，用于从所述标注数据集中，确定测试数据集；其中，所述测试数据集包括测试查询数据集和测试候选数据集；

相似性测试结果获得模块，用于根据所述测试查询数据集、所述测试候选数据集，以及所述最优行人信息集，获得所述目标数据模型进行行人重识别的相似性测试结果。

9.根据权利要求6或7或8所述的装置，其特征在于，所述深度学习的方式包括以下任一项或多项：

针对所述身份标识的深度学习、针对所述人体解释信息的深度学习、针对所述人体属性信息的深度学习。

10.根据权利要求9所述的装置，其特征在于，每种深度学习的方式具有对应的损失函数。

Images