CN114821632A - 一种遮挡行人重识别方法 - Google Patents

一种遮挡行人重识别方法 Download PDF

Info

Publication number
CN114821632A
CN114821632A CN202210231378.7A CN202210231378A CN114821632A CN 114821632 A CN114821632 A CN 114821632A CN 202210231378 A CN202210231378 A CN 202210231378A CN 114821632 A CN114821632 A CN 114821632A
Authority
CN
China
Prior art keywords
pedestrian
whole
identity
branch
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210231378.7A
Other languages
English (en)
Inventor
汪一
王亮博
周玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202210231378.7A priority Critical patent/CN114821632A/zh
Publication of CN114821632A publication Critical patent/CN114821632A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种遮挡行人重识别方法，包括：构建多任务学习网络，包括全身行人身份重识别分支和遮挡行人身份重识别分支；构建两个分支各自对应的损失函数L h 和L o ；采用互学习策略对多任务学习网络进行训练，两个分支的CNN特征表达部分共享权重，即先利用L h 对全身行人身份重识别分支进行训练，将训练得到的CNN特征表达部分的权重与遮挡行人身份重识别分支的CNN特征表达部分共享，再利用L o 对遮挡行人身份重识别分支进行训练，将训练得到的CNN特征表达部分的权重与全身行人身份重识别分支的CNN特征表达部分共享，两个分支的训练交替进行；根据训练好的多任务学习网络进行遮挡行人重识别，得到识别结果，提高了行人重识别的准确率。

Description

一种遮挡行人重识别方法
技术领域
本发明涉及一种遮挡行人重识别方法，属于行人重识别技术领域。
背景技术
行人重识别是指从不同摄像头拍摄的图像中检索出同一身份的行人图像，这在智能视频监控和公共安全领域具有广泛应用。近年来，越来越多的研究者开始关注该项研究。早期的行人重识别研究主要是全身行人图像之间的检索。然而，在现实中，行人很容易被物体或者其他行人遮挡，行人被遮挡后会带来信息丢失和干扰，从而增加了行人重识别的难度。因此，亟需研究遮挡下的行人重识别问题。
目前，典型的遮挡行人重识别方法主要是基于现有的姿态估计和语义分割模型。例如，Miao等人提出了一种基于姿态引导特征对齐的方法(Miao,J.X.,Wu,Y.,Liu,P.,etal.:‘Pose-guided feature alignment for occluded person re-identification’,Proc.IEEE Int.Conf.Comput.Vis.(ICCV),2019,pp.542-551)；Huang等人提出一种基于语义属性任务辅助下的方法(Huang,H.J.,Chen,X.T.,Huang,K.Q.:‘Human parsing basedalignment with multi-task learning for occluded person re-identification’,Proc.IEEE Int.Conf.Multimedia Expo.(ICME),2020,DOI:10.1109/ICME46284.2020.9102789)；Yang等人提出了采用现有的语义分割网络的重识别方法(Yang,Q.,Wang,P.Z.,Fang,Z.H.,et al.:‘Focus on the visible regions:Semanticguided alignment model for occluded person re-identification’,Sensors,2020,pp.1-15)。这些方法的主要问题是过分依赖现有模型的性能，从而限制了其性能的进一步提升。原因在于，现有人类解析和姿态估计模型的训练集和遮挡行人重识别训练集不是同一集合，从而造成这些模型在遮挡行人图像上不能准确对姿态等信息进行解析。
发明内容
本发明所要解决的技术问题是：提供一种遮挡行人重识别方法，构建多任务学习网络，并采用互学习策略对网络进行训练，提高了行人重识别的准确率。
本发明为解决上述技术问题采用以下技术方案：
一种遮挡行人重识别方法，包括如下步骤：
步骤1，构建多任务学习网络，所述多任务学习网络包括全身行人身份重识别分支和遮挡行人身份重识别分支；所述全身行人身份重识别分支和遮挡行人身份重识别分支的网络结构相同，均包括依次连接的CNN特征表达部分、GeM池化层、BN层、FC层和Softmax层；
步骤2，构建所述全身行人身份重识别分支和遮挡行人身份重识别分支各自对应的损失函数Lh和Lo；
步骤3，采用互学习策略对所述多任务学习网络进行训练，两个分支的CNN特征表达部分共享权重，即先利用损失函数Lh对所述全身行人身份重识别分支进行训练，将训练得到的CNN特征表达部分的权重与遮挡行人身份重识别分支的CNN特征表达部分共享，再利用损失函数Lo对所述遮挡行人身份重识别分支进行训练，将训练得到的CNN特征表达部分的权重与全身行人身份重识别分支的CNN特征表达部分共享，两个分支的训练交替进行；
步骤4，根据训练好的多任务学习网络进行遮挡行人重识别，得到识别结果。
作为本发明的一种优选方案，步骤1所述全身行人身份重识别分支和遮挡行人身份重识别分支的网络结构均采用ResNet50结构，其中，CNN特征表达部分包括依次连接的第一卷积模块至第五卷积模块；第一卷积模块为卷积核为7×7、通道数为64、步长为2的卷积层；第二卷积模块包括依次连接的最大池化层、第一至第三卷积单元，最大池化层的池化窗口为3×3、步长为2，第一至第三卷积单元结构相同，均包括依次连接的三个卷积层，三个卷积层的卷积核大小依次为1×1、3×3、1×1，通道数依次为64、64、256；第三卷积模块包括依次连接的第四至第七卷积单元，第四至第七卷积单元结构相同，均包括依次连接的三个卷积层，三个卷积层的卷积核大小依次为1×1、3×3、1×1，通道数依次为128、128、512；第四卷积模块包括依次连接的第八至第十三卷积单元，第八至第十三卷积单元结构相同，均包括依次连接的三个卷积层，三个卷积层的卷积核大小依次为1×1、3×3、1×1，通道数依次为256、256、1024；第五卷积模块包括依次连接的第十四至第十六卷积单元，第十四至第十六卷积单元结构相同，均包括依次连接的三个卷积层，三个卷积层的卷积核大小依次为1×1、3×3、1×1，通道数依次为512、512、2048。
作为本发明的一种优选方案，所述步骤2中，将全身行人图像训练集表示为
Figure BDA0003540676290000031
其中，
Figure BDA0003540676290000032
表示第i张全身图像，N表示全身行人训练图像的数量，yi为
Figure BDA0003540676290000033
的真实标签，即第i张全身图像中行人的真实身份；对于每一张
Figure BDA0003540676290000034
采用随机擦除方法生成相应的遮挡图像
Figure BDA0003540676290000035
通过随机擦除方法生成的遮挡图像训练集用
Figure BDA0003540676290000036
表示；
全身行人身份重识别分支对应的损失函数Lh为：
Figure BDA0003540676290000037
其中，
Figure BDA0003540676290000038
表示全身行人身份重识别分支特征级的互损失，
Figure BDA0003540676290000039
表示全身行人身份重识别分支输出级的互损失，
Figure BDA00035406762900000310
表示全身行人身份重识别分支的难样本损失，
Figure BDA00035406762900000311
表示全身行人身份重识别分支的交叉熵损失；
Figure BDA00035406762900000312
表达式为：
Figure BDA00035406762900000313
其中，
Figure BDA00035406762900000314
和
Figure BDA00035406762900000315
表示第i张全身图像和遮挡图像在最后一层卷积层后输出的特征图，‖·‖1表示L1范数；
Figure BDA00035406762900000316
表达式为：
Figure BDA00035406762900000317
其中，M表示行人身份类型总数，
Figure BDA00035406762900000318
表示第i张遮挡图像属于第j个行人身份的预测分数，
Figure BDA00035406762900000319
表示第i张全身图像属于第j个行人身份的预测分数；
Figure BDA00035406762900000320
表达式为：
Figure BDA00035406762900000321
每一次迭代时，对于难样本损失，采用PK采样法构建训练批次，从行人的所有身份中随机选取P个身份，每个身份随机选取对应的K张全身图像，构成P×K张图像进行全身行人重识别分支的训练；G(·)表示GeM池化后的特征向量，[B]+＝max{B,0}，‖·‖2表示欧几里得距离，μ＝0.3，
Figure BDA0003540676290000041
表示每个批次中的第m个样本，
Figure BDA0003540676290000042
表示与
Figure BDA0003540676290000043
对应的同一身份的正样本，
Figure BDA0003540676290000044
表示与
Figure BDA0003540676290000045
对应的不同身份的负样本；
Figure BDA0003540676290000046
表达式为：
Figure BDA0003540676290000047
其中，
Figure BDA0003540676290000048
表示第i张全身图像在第j类上的预测结果，
Figure BDA0003540676290000049
表示第i张全身图像在第j类上的真实结果，
Figure BDA00035406762900000410
的计算方式为：
Figure BDA00035406762900000411
其中，τ为确定平滑量的超参数。
作为本发明的一种优选方案，所述步骤2中，遮挡行人身份重识别分支的损失函数Lo为：
Figure BDA00035406762900000412
其中，
Figure BDA00035406762900000413
表示遮挡行人身份重识别分支特征级的互损失，
Figure BDA00035406762900000414
表示遮挡行人身份重识别分支输出级的互损失，
Figure BDA00035406762900000415
表示遮挡行人身份重识别分支的难样本损失，
Figure BDA00035406762900000416
表示遮挡行人身份重识别分支的交叉熵损失；
Figure BDA00035406762900000417
表达式为：
Figure BDA00035406762900000418
Figure BDA00035406762900000419
表达式为：
Figure BDA00035406762900000420
Figure BDA00035406762900000421
表达式为：
Figure BDA00035406762900000422
其中，
Figure BDA0003540676290000051
表示每个批次中的第m个样本，
Figure BDA0003540676290000052
表示与
Figure BDA0003540676290000053
对应的同一身份的正样本，
Figure BDA0003540676290000054
表示与
Figure BDA0003540676290000055
对应的不同身份的负样本；
Figure BDA0003540676290000056
表达式为：
Figure BDA0003540676290000057
其中，
Figure BDA0003540676290000058
表示第i张遮挡图像在第j类上的预测结果，
Figure BDA0003540676290000059
表示第i张遮挡图像在第j类上的真实结果。
作为本发明的一种优选方案，步骤1所述GeM池化层的表达式为：
Figure BDA00035406762900000510
其中，t表示三维特征图经过GeM池化层后输出的特征向量，T表示全身行人身份重识别分支或遮挡行人身份重识别分支CNN特征表达部分最后一层卷积层的输出特征图，T∈RC×H×W，t∈RC×1×1，R表示特征空间，C、H、W分别表示特征图的通道数量、高度和宽度，k为池化超参数，eu表示特征图中的第u个位置的特征值。
作为本发明的一种优选方案，步骤1所述FC层的维数由全身行人图像训练集或遮挡图像训练集中的行人身份类型总数决定。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
本发明将全身行人重识别任务和遮挡行人重识别任务看作是两个相关但不完全相同的任务，从而构建了多任务学习网络；另外，考虑到遮挡图像能提高全身重识别任务分支的鲁棒性，而全身图像中的信息能够让遮挡行人身份重识别任务获取从非遮挡区域中更有鉴别力的特征，本发明提出了互学习策略，通过两个任务分支之间的信息传递实现互相学习的目的，从而达到更好的识别准确率。
附图说明
图1是本发明一种遮挡行人重识别方法的流程图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本发明提出了一种双水平深度互学习辅助下的多任务学习方法进行遮挡行人重识别。由于人眼在观看一幅全身图像和遮挡图像时存在一定的共性和不同，本发明提出将全身行人重识别任务和遮挡行人重识别任务看作是两个相关但不完全相同的任务，从而构建了多任务学习网络。另外，考虑到遮挡图像能提高全身重识别任务分支的鲁棒性，而全身图像中的信息能够让遮挡行人身份重识别任务获取从非遮挡区域中更有鉴别力的特征，本发明提出了互学习策略，通过两个任务分支之间的信息传递实现互相学习的目的，从而达到更好的识别准确率。
如图1所示，为本发明提出的一种遮挡行人重识别方法的流程图，具体步骤如下：
1、多任务学习网络
多任务学习是通过共享隐含层，而保持各任务分支权重独立的方法实现。本发明的多任务学习框架是建立在经典的卷积神经网络(Convolutional Neural Network，CNN)基础上。
1.1全身行人身份重识别分支
将全身图像训练集表示为
Figure BDA0003540676290000061
其中
Figure BDA0003540676290000062
表示第i张全身行人训练图像，N表示一个批次中全身图像的数量，yi为
Figure BDA0003540676290000063
的真实标签，即第i张训练图像中行人的真实身份。将训练数据输入参数共享的卷积神经网络模型，该模型主要采用ResNet50结构，具体结构组成如表1所示。
表1 ResNet网络架构
Figure BDA0003540676290000064
Figure BDA0003540676290000071
原始卷积神经网络中的全连接层(fully-connected，FC)被去除，并在CNN网络的最后一个卷积操作后加上了广义平均(Generalized-Mean，GeM)池化操作。假设最后一层卷积层的输出特征图表示为T∈RC×H×W，R代表特征空间，C、H、W分别代表特征图的通道数量、高度和宽度，则GeM池化的表达式为：
Figure BDA0003540676290000072
其中，t∈RC×1×1，k为池化超参数，它的数值可以通过手动给定，也可以在模型训练的过程中进行学习，eu代表特征图中的第u个位置的特征值。GeM池化后，进一步添加批量归一化(Batch Normalization，BN)层、FC层、和Softmax层进行身份识别。其中，BN操作的目的是加快训练过程的收敛速度。
1.2遮挡行人身份重识别分支
对于每一张全身图像
Figure BDA0003540676290000073
采用随机擦除方法来生成相应的遮挡图像。为了增加模型的鲁棒性，遮挡区域的大小和长宽比随机。通过擦除方法生成的遮挡训练图像集用
Figure BDA0003540676290000074
表示。为了获取全身行人重识别任务和遮挡行人重识别任务的共性，两个分支的CNN特征表达部分共享权重。同1.1中全身行人重识别分支一样，在最后一层卷积层后，继续添加GeM池化层、BN层、FC层和Softmax层进行身份识别，只不过两个分支从GeM到Softmax这部分操作不共享权重，目的是探索两个任务各自的特性。
2、互学习
两个任务之间的相互学习是通过互损失来实现。以全身行人身份重识别分支为例，特征级的互损失表达为：
Figure BDA0003540676290000081
其中，
Figure BDA0003540676290000082
和
Figure BDA0003540676290000083
表示第i张全身图像和遮挡图像在最后一层卷积层后输出的特征图，‖·‖1表示L1范数；
除了特征级别的互损失外，本发明还使用了输出级别的互损失，即两个分支Softmax层输出的距离，假设Softmax层之后全身行人身份识别和遮挡行人身份识别分支的输出分别记为ph和po，则全身行人重识别分支输出级的互损失表达为：
Figure BDA0003540676290000084
其中，M表示行人身份类型总数，
Figure BDA0003540676290000085
表示第i个遮挡行人图像属于第j个行人身份的预测分数，
Figure BDA0003540676290000086
表示第i个全身行人属于第j个行人身份的预测分数；
最终，全身行人身份重识别分支的总损失为：
Figure BDA0003540676290000087
采用类似的方法，可以计算出遮挡行人身份重识别分支的两个互损失
Figure BDA0003540676290000088
和
Figure BDA0003540676290000089
该分支的总损失为：
Figure BDA00035406762900000810
3、模型训练
除了互损失之外，本发明还使用难样本三元组损失和标签平滑交叉熵损失对网络进行约束。在该方法中，采用PK采样法来构建训练批次。同样以全身身份重识别分支为例，具体地，对于每一次迭代，首先从行人的所有身份中随机选取P个身份，对于每个身份再随机选取对应的K张全身图像，从而构成了P×K张图进行上面的全身行人重识别分支的训练。该方法中，P和K的值分别为4和8。对于该批中的第a张全身图像
Figure BDA00035406762900000811
从该批图像中寻找最难的正样本和负样本，分别记为
Figure BDA00035406762900000812
和
Figure BDA00035406762900000813
至此，全身行人身份重识别分支的难样本损失可以表达为：
Figure BDA00035406762900000814
其中，G(·)表示GeM池化后的特征向量，[B]+＝max{B,0}，‖·‖2表示欧几里得距离，μ的数值取0.3，
Figure BDA0003540676290000091
代表每个批次中的第m个样本，
Figure BDA0003540676290000092
代表与
Figure BDA0003540676290000093
对应的同一身份的正样本，
Figure BDA0003540676290000094
代表与
Figure BDA0003540676290000095
对应的不同身份的负样本。
标签平滑交叉熵损失的表达式为：
Figure BDA0003540676290000096
其中，
Figure BDA0003540676290000097
表示第i张全身图像在第j类上的预测结果，
Figure BDA0003540676290000098
表示第i张全身图像在第j类上的真实结果，
Figure BDA0003540676290000099
的计算方式为：
Figure BDA00035406762900000910
其中，τ为确定平滑量的超参数，一般通过手工设置。
至此，对于全身行人身份重识别分支，它的总损失表达为：
Figure BDA00035406762900000911
相应的，遮挡行人身份重识别分支的总损失记为Lo。
采用交替训练的方法对模型进行训练，即先利用Lh对上面分支(全身行人身份重识别)进行训练，再利用Lo对下面分支(遮挡身份重识别)进行训练，两个分支的训练交替进行。
下面以现有的数据集及度量方法对本发明提出的方法进行验证。
Occluded-Duke数据集：该数据集是一个大规模的遮挡行人重识别数据集，包含训练集和测试集两部分。其中训练集共包含702个行人身份，共15618幅行人图像。测试集包含查询集和候选集，其中查询集包含有702个行人身份的2228张图片，候选集包含有1110幅行人身份的17661幅行人图像。
Market-1501数据集：该数据集一共收集了1501个不同身份行人的32668张图片。每个行人的图片数量至少由两个摄像头且最多由6个摄像头捕捉得到。数据集被划分为训练集和测试集，训练集里面包含有751个行人的12936张训练图片，剩余的图片数量构成测试集，测试集由两部分组成：分别是查询集和候选集。候选集共有19732张行人图片，查询集则包含有3368张行人图片。
DukeMTMC-ReID数据集：该数据集是一个大规模标记的行人重识别数据集，包含来自1812个不同身份的36411张行人图片。该数据集主要分为训练集和测试集两部分，其中训练集包含有702个不同行人身份的16522个图像，测试集包含519个不同行人的2210张查询图像和1110个不同行人身份的17661张图像。
采用两个标准指标，即累积匹配曲线(CMC)和平均精度(mAP)。CMC-k：在排名前k的检索结果中出现正确匹配的概率。mAP：AP衡量的是对给定的测试数据集，分类器正确分类的样本数与总样本之比的值。而mAP则是对所有类别的AP求平均值。两个指标都是越高代表效果越好。
实验结果
为了测试本发明算法的性能，在一个遮挡行人身份重识别数据库和两个全身行人身份重识别数据库上进行性能测试，并将它的性能与现有主流算法性能进行对比。表2中给出了在遮挡行人身份重识别数据集上的实验结果。从表中可以看出本发明方法可以达到最大的rank-1、rank-5和mAP值，其中rank-1和mAP是最重要的两个性能指标。这说明本发明算法性能在进行遮挡行人身份重识别任务时的优越性。
表2本发明方法和现有方法在Occluded-Duke遮挡数据集上的实验结果
方法名称 rank-1(％) rank-5(％) rank-10(％) mAP(％)
HA-CNN 34.4 51.9 59.4 26.0
Adver Occluded 44.5 - - 32.2
DSR 40.8 58.2 65.2 30.4
SGAM 55.1 68.7 74.0 35.3
PGFA 51.4 68.6 74.9 37.3
HOReID 55.1 - - 43.8
IVP 56.3 72.4 78.0 43.5
ASAN 55.4 72.4 78.9 43.8
SORN 57.6 73.7 79.0 46.3
本发明方法 58.1 73.8 78.8 49.3
表3中给出了本发明算法和现有算法在两个全身行人身份重识别数据集上的性能结果。通过对比可以发现，本发明方法在两个数据集上均具有最好的性能表现。尤其是在Market1501数据集上，本发明方法的rank-1和mAP值分别能够达到95.5％和87.9％。这个实验说明本发明方法在进行全身身份重识别任务时的优越性。
表3本发明方法和现有方法在两个全身行人身份重识别数据集上的实验结果
Figure BDA0003540676290000101
Figure BDA0003540676290000111
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (6)

1.一种遮挡行人重识别方法，其特征在于，包括如下步骤：
步骤1，构建多任务学习网络，所述多任务学习网络包括全身行人身份重识别分支和遮挡行人身份重识别分支；所述全身行人身份重识别分支和遮挡行人身份重识别分支的网络结构相同，均包括依次连接的CNN特征表达部分、GeM池化层、BN层、FC层和Softmax层；
步骤2，构建所述全身行人身份重识别分支和遮挡行人身份重识别分支各自对应的损失函数Lh和Lo；
步骤3，采用互学习策略对所述多任务学习网络进行训练，两个分支的CNN特征表达部分共享权重，即先利用损失函数Lh对所述全身行人身份重识别分支进行训练，将训练得到的CNN特征表达部分的权重与遮挡行人身份重识别分支的CNN特征表达部分共享，再利用损失函数Lo对所述遮挡行人身份重识别分支进行训练，将训练得到的CNN特征表达部分的权重与全身行人身份重识别分支的CNN特征表达部分共享，两个分支的训练交替进行；
步骤4，根据训练好的多任务学习网络进行遮挡行人重识别，得到识别结果。
2.根据权利要求1所述的遮挡行人重识别方法，其特征在于，步骤1所述全身行人身份重识别分支和遮挡行人身份重识别分支的网络结构均采用ResNet50结构，其中，CNN特征表达部分包括依次连接的第一卷积模块至第五卷积模块；第一卷积模块为卷积核为7×7、通道数为64、步长为2的卷积层；第二卷积模块包括依次连接的最大池化层、第一至第三卷积单元，最大池化层的池化窗口为3×3、步长为2，第一至第三卷积单元结构相同，均包括依次连接的三个卷积层，三个卷积层的卷积核大小依次为1×1、3×3、1×1，通道数依次为64、64、256；第三卷积模块包括依次连接的第四至第七卷积单元，第四至第七卷积单元结构相同，均包括依次连接的三个卷积层，三个卷积层的卷积核大小依次为1×1、3×3、1×1，通道数依次为128、128、512；第四卷积模块包括依次连接的第八至第十三卷积单元，第八至第十三卷积单元结构相同，均包括依次连接的三个卷积层，三个卷积层的卷积核大小依次为1×1、3×3、1×1，通道数依次为256、256、1024；第五卷积模块包括依次连接的第十四至第十六卷积单元，第十四至第十六卷积单元结构相同，均包括依次连接的三个卷积层，三个卷积层的卷积核大小依次为1×1、3×3、1×1，通道数依次为512、512、2048。
3.根据权利要求1所述的遮挡行人重识别方法，其特征在于，所述步骤2中，将全身行人图像训练集表示为
Figure FDA0003540676280000021
其中，
Figure FDA0003540676280000022
表示第i张全身图像，N表示全身行人训练图像的数量，yi为
Figure FDA0003540676280000023
的真实标签，即第i张全身图像中行人的真实身份；对于每一张
Figure FDA0003540676280000024
采用随机擦除方法生成相应的遮挡图像
Figure FDA0003540676280000025
通过随机擦除方法生成的遮挡图像训练集用
Figure FDA0003540676280000026
表示；
全身行人身份重识别分支对应的损失函数Lh为：
Figure FDA0003540676280000027
其中，
Figure FDA0003540676280000028
表示全身行人身份重识别分支特征级的互损失，
Figure FDA0003540676280000029
表示全身行人身份重识别分支输出级的互损失，
Figure FDA00035406762800000210
表示全身行人身份重识别分支的难样本损失，
Figure FDA00035406762800000211
表示全身行人身份重识别分支的交叉熵损失；
Figure FDA00035406762800000212
表达式为：
Figure FDA00035406762800000213
其中，
Figure FDA00035406762800000214
和
Figure FDA00035406762800000215
表示第i张全身图像和遮挡图像在最后一层卷积层后输出的特征图，‖·‖1表示L1范数；
Figure FDA00035406762800000216
表达式为：
Figure FDA00035406762800000217
其中，M表示行人身份类型总数，
Figure FDA00035406762800000218
表示第i张遮挡图像属于第j个行人身份的预测分数，
Figure FDA00035406762800000219
表示第i张全身图像属于第j个行人身份的预测分数；
Figure FDA00035406762800000220
表达式为：
Figure FDA00035406762800000221
每一次迭代时，对于难样本损失，采用PK采样法构建训练批次，从行人的所有身份中随机选取P个身份，每个身份随机选取对应的K张全身图像，构成P×K张图像进行全身行人重识别分支的训练；G(·)表示GeM池化后的特征向量，[B]+＝max{B,0}，‖·‖2表示欧几里得距离，μ＝0.3，
Figure FDA00035406762800000222
表示每个批次中的第m个样本，
Figure FDA0003540676280000031
表示与
Figure FDA0003540676280000032
对应的同一身份的正样本，
Figure FDA0003540676280000033
表示与
Figure FDA0003540676280000034
对应的不同身份的负样本；
Figure FDA0003540676280000035
表达式为：
Figure FDA0003540676280000036
其中，
Figure FDA0003540676280000037
表示第i张全身图像在第j类上的预测结果，
Figure FDA0003540676280000038
表示第i张全身图像在第j类上的真实结果，
Figure FDA0003540676280000039
的计算方式为：
Figure FDA00035406762800000310
其中，τ为确定平滑量的超参数。
4.根据权利要求3所述的遮挡行人重识别方法，其特征在于，所述步骤2中，遮挡行人身份重识别分支的损失函数Lo为：
Figure FDA00035406762800000311
其中，
Figure FDA00035406762800000312
表示遮挡行人身份重识别分支特征级的互损失，
Figure FDA00035406762800000313
表示遮挡行人身份重识别分支输出级的互损失，
Figure FDA00035406762800000314
表示遮挡行人身份重识别分支的难样本损失，
Figure FDA00035406762800000315
表示遮挡行人身份重识别分支的交叉熵损失；
Figure FDA00035406762800000316
表达式为：
Figure FDA00035406762800000317
Figure FDA00035406762800000318
表达式为：
Figure FDA00035406762800000319
Figure FDA00035406762800000320
表达式为：
Figure FDA00035406762800000321
其中，
Figure FDA00035406762800000322
表示每个批次中的第m个样本，
Figure FDA00035406762800000323
表示与
Figure FDA00035406762800000324
对应的同一身份的正样本，
Figure FDA00035406762800000325
表示与
Figure FDA00035406762800000326
对应的不同身份的负样本；
Figure FDA00035406762800000327
表达式为：
Figure FDA0003540676280000041
其中，
Figure FDA0003540676280000042
表示第i张遮挡图像在第j类上的预测结果，
Figure FDA0003540676280000043
表示第i张遮挡图像在第j类上的真实结果。
5.根据权利要求1所述的遮挡行人重识别方法，其特征在于，步骤1所述GeM池化层的表达式为：
Figure FDA0003540676280000044
其中，t表示三维特征图经过GeM池化层后输出的特征向量，T表示全身行人身份重识别分支或遮挡行人身份重识别分支CNN特征表达部分最后一层卷积层的输出特征图，T∈RC ×H×W，t∈RC×1×1，R表示特征空间，C、H、W分别表示特征图的通道数量、高度和宽度，k为池化超参数，eu表示特征图中的第u个位置的特征值。
6.根据权利要求1所述的遮挡行人重识别方法，其特征在于，步骤1所述FC层的维数由全身行人图像训练集或遮挡图像训练集中的行人身份类型总数决定。
CN202210231378.7A 2022-03-10 2022-03-10 一种遮挡行人重识别方法 Pending CN114821632A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210231378.7A CN114821632A (zh) 2022-03-10 2022-03-10 一种遮挡行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210231378.7A CN114821632A (zh) 2022-03-10 2022-03-10 一种遮挡行人重识别方法

Publications (1)

Publication Number Publication Date
CN114821632A true CN114821632A (zh) 2022-07-29

Family

ID=82528495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210231378.7A Pending CN114821632A (zh) 2022-03-10 2022-03-10 一种遮挡行人重识别方法

Country Status (1)

Country Link
CN (1) CN114821632A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188919A (zh) * 2023-04-25 2023-05-30 之江实验室 一种测试方法、装置、可读存储介质及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188919A (zh) * 2023-04-25 2023-05-30 之江实验室 一种测试方法、装置、可读存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN108615010B (zh) 基于平行卷积神经网络特征图融合的人脸表情识别方法
CN108596039B (zh) 一种基于3d卷积神经网络的双模态情感识别方法及系统
CN110532900B (zh) 基于U-Net和LS-CNN的人脸表情识别方法
CN107122809B (zh) 基于图像自编码的神经网络特征学习方法
CN111709311B (zh) 一种基于多尺度卷积特征融合的行人重识别方法
Zhu et al. Learning a hierarchical deformable template for rapid deformable object parsing
CN108960059A (zh) 一种视频动作识别方法及装置
CN107169117B (zh) 一种基于自动编码器和dtw的手绘图人体运动检索方法
CN106909938B (zh) 基于深度学习网络的视角无关性行为识别方法
CN110070116B (zh) 基于深度树状训练策略的分段式选择集成图像分类方法
CN110378208B (zh) 一种基于深度残差网络的行为识别方法
CN110163117B (zh) 一种基于自激励判别性特征学习的行人重识别方法
CN104077742B (zh) 基于Gabor特征的人脸素描合成方法及系统
CN108764019A (zh) 一种基于多源深度学习的视频事件检测方法
CN110852152B (zh) 一种基于数据增强的深度哈希行人重识别方法
CN113610046B (zh) 一种基于深度视频联动特征的行为识别方法
CN114299542A (zh) 一种基于多尺度特征融合的视频行人重识别方法
CN112784768A (zh) 一种基于视角引导多重对抗注意力的行人重识别方法
CN112163498A (zh) 前景引导和纹理聚焦的行人重识别模型建立方法及其应用
CN115966010A (zh) 一种基于注意力和多尺度特征融合的表情识别方法
CN112906520A (zh) 一种基于姿态编码的动作识别方法及装置
CN112967210B (zh) 一种基于全卷积孪生网络的无人机图像去噪方法
CN114821632A (zh) 一种遮挡行人重识别方法
CN117333908A (zh) 基于姿态特征对齐的跨模态行人重识别方法
CN117115911A (zh) 一种基于注意力机制的超图学习动作识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination