CN112446305A - 一种基于分类权重等距分布损失模型的行人重识别方法 - Google Patents

一种基于分类权重等距分布损失模型的行人重识别方法 Download PDF

Info

Publication number
CN112446305A
CN112446305A CN202011247963.3A CN202011247963A CN112446305A CN 112446305 A CN112446305 A CN 112446305A CN 202011247963 A CN202011247963 A CN 202011247963A CN 112446305 A CN112446305 A CN 112446305A
Authority
CN
China
Prior art keywords
classification
pedestrian
loss
weight
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011247963.3A
Other languages
English (en)
Inventor
刘杰豪
林旭
杨钊
陶大鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan United Visual Technology Co ltd
Original Assignee
Yunnan United Visual Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan United Visual Technology Co ltd filed Critical Yunnan United Visual Technology Co ltd
Priority to CN202011247963.3A priority Critical patent/CN112446305A/zh
Publication of CN112446305A publication Critical patent/CN112446305A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于分类权重等距分布损失模型的行人重识别方法，该方法主要解决行人重识别任务中样本不平衡问题。包括步骤：将行人图片输入到卷积神经网络以获得行人特征向量；对行人特征向量以及分类层中的权重向量进行归一化操作；由归一化权重向量计算权重等距分布损失，由归一化后的行人特征和权重向量计算分类损失；利用权重等距分布损失和分类损失训练卷积神经网络；将测试行人图片输入到训练好的网络得到对应的归一化特征向量，利用这些特征向量完成行人重识别。该方法从损失函数的角度出发，针对行人数据集中样本不平衡现象的问题，在分类空间中对分类权重向量进行约束，以缓解样本不平衡对模型训练的影响，提高行人重识别的准确率。

Description

一种基于分类权重等距分布损失模型的行人重识别方法
技术领域
本发明属于计算机视觉和深度学习领域，涉及一种基于分类权重等距分布损失模型的行人重识别方法。
背景技术
行人重识别，也称行人再识别，是计算机视觉领域近年来十分热门的研究课题，其目标是在给定一张监控摄像头视角下的行人图像后，能够在其他监控视角下检索出该行人。行人重识别技术能够克服固定的视角局限，在多个不相关的监控域进行行人检索。随着公共区域(例如学校、商城、街道路口等)中摄像头网络的普及以及高清摄像头的性能提升，行人重识别在智能安防、智慧城市监控、智能社会治安管理与刑侦追查等方面发挥重要作用。
深度学习的兴起和大规模数据集的出现，使得基于深度学习的行人重识别技术近年来被广泛研究且得到快速发展。但由于大规模数据采集的困难性，数据集往往呈现出样本不平衡现象，即小部分类别具有大量的样本数而大部分类别的样本数相对较少，这导致训练出来的模型对样本数量较多的类别表现出较好的识别性能，而对样本数量较少的类别的识别性能较差，降低了模型的泛化能力，给行人重识别任务带来较大的困难。
近年来有许多研究提出了解决行人重识别任务中样本不平衡问题的方法，其中一种方法是通过结合分类损失和度量损失来约束行人特征在度量空间中的分布。此类方法首先通过深度网络模型从输入的行人图片中提取高维行人特征。之后，分类损失从行人类别信息的角度利用分类器引导网络模型进行学习，它将行人特征转化为与类别相关的概率并使该特征所属类别的概率最大化，由此得到分类损失；度量损失从行人特征在度量空间的分布的角度，对特征进行约束，使得同类特征在度量空间中相近，类别不同的特征远离，由此得到度量损失。在训练阶段，分类损失和度量损失结合，一起用来训练模型。最后，用训练好的模型分别对测试集中的查询集行人图片和候选集行人图片进行特征提取，并使用距离函数计算查询集图片特征与所有候选集图片特征的距离，将距离结果从小到大进行排序，计算并得到重识别结果。现有技术中，对行人特征在度量空间中的约束效果较差，影响行人重识别的性能。
发明内容
本发明的目的在于针对现有技术所存在的问题，提出一种基于分类权重等距分布损失模型的行人重识别方法，该方法从约束行人特征在度量空间中的分布的角度出发，对特征所处度量空间进行归一化约束，将分类层中的分类向量视为类别中心，并在特征空间中对所有分类中心进行等距分布约束，引导特征均匀分布，帮助模型学习更具有辨别力的行人特征，从而提高行人重识别的准确率。
本发明所采取的技术方案为：一种基于分类权重等距分布损失模型的行人重识别方法，具体包括以下步骤：
步骤1、将训练集中的行人图片进行预处理后，输入到卷积神经网络，获得图片的高维特征表达向量f，用于后续的分类学习；
步骤2、使用一个去除偏置项的全连接层对行人特征进行分类学习；在进行分类之前，对全连接层的分类权重向量W和训练用的行人特征向量f进行L2归一化处理，分别得到||W||和f||，同时，令||f||＝s，s为一常数。再将归一化后的特征输入全连接层进行分类学习，得到分类结果，计算分类损失
Figure BDA0002770679830000021
其中fi表示第i个样本的特征，yi代表fi的真实标签，Wj代表分类层中第j个列向量，n为批量训练的样本数量，C为训练类别总数；
步骤3、将步骤2中分类层中归一化后的每个分类权重向量||W||视为每类特征的中心，计算每个向量到其它所有权重向量之间的余弦距离之和，得到分类权重等距分布损失
Figure BDA0002770679830000022
其中
Figure BDA0002770679830000023
代表两个分类权重向量
Figure BDA0002770679830000024
和
Figure BDA0002770679830000025
之间的角度，ε为避免等距分类损失在训练初期损失值过大的参数；
步骤4、将步骤2和步骤3得到的分类损失和分类权重等距分布损失进行结合，得到总的损失函数，即
Figure BDA0002770679830000026
其中λ为等距分布损失的权重值；
步骤5、利用步骤4得到的总损失函数训练并优化卷积神经网络，并最终得到训练好的网络模型；
步骤6、将测试集的行人图片输入到训练好的网络模型中，并得到对应的特征向量，并对这些特征向量进行L2归一化处理，得到最终的特征向量；将查询集中行人图片的归一化特征向量逐一与候选集中行人图片的归一化特征向量进行欧式距离对比，根据距离结果进行排序，完成行人重识别任务。
本发明相对于现有技术，具有如下优点：
第一、本发明利用L2归一化操作，将行人特征与全连接层的分类权重向量归一化到超球体上，因此能够有效地度量特征之间、权重向量之间、特征与权重向量之间的距离，同时解决了度量损失与分类损失约束空间不一致的问题，有利于模型的优化和收敛；
第二、本发明利用全连接分类层的分类权重作为训练类别的特征中心，因此可使用分类权重等距分布损失来约束权重向量在特征空间中的分布，从而引导行人特征均匀分布在特征空间中，有效解决行人重识别中因样本不平衡问题带来的性能下降，提高了模型的鲁棒性。
第三、本发明使用度量损失和分类损失联合训练的方法，利用等距分布损失使不同类别的特征均匀分布的同时，也使用分类损失缩小同类特征之间的距离，使模型能够挖掘并学习到图片中具有分辨力的行人特征，提高行人重识别的精度。
附图说明
图1为本发明的实现流程示意图。
图2为本发明中权重等距分布损失的示意图。
图3为本发明的网络模型结构示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步的详细说明，但本发明的实施方式不限于此。
本实施例的一种行人重识别方法，其流程如图1所示。具体实现包括以下步骤：
步骤1、从行人数据集(如Market-1501、Duke-MTMC、CUHK03等)中读取训练数据，并对训练数据进行预处理，预处理操作包括调整图片尺寸、水平随机翻转、随机擦除等；采用批量训练的方法对神经网络进行训练，具体批量采集操作为：从训练集的所有训练数据中，随机挑选P个训练类别，并对每个训练类别随机挑选K个训练样本，利用这些数据组成一组批量训练数据，因此一组批量训练数据的样本数量有PxK个，其中P＝16，K＝4。
步骤2、将挑选的行人样本经过预处理后输入到以ResNet-50为基准的卷积神经网络中，得到高维特征矩阵，然后依次通过如图2所示中的全局平均池化层(global averagepooling layer)、批归一化层(batch normalization layer)、全连接层(fully connectedlayer)和批归一化层，得到行人特征向量f；
步骤3、将输出的行人特征向量通过L2归一化层(L2 normalization layer)之后，得到归一化后的行人特征向量||f||，并令||f||＝s＝14；
步骤4、将用于分类的全连接层中的偏置项移除，同时对全连接层中的分类权重向量W进行初始化和L2归一化操作，得到||W||；将步骤3得到的归一化行人特征向量作为分类层的输入，得到分类结果，然后使用softmax损失计算分类损失。分类损失可表示为
Figure BDA0002770679830000041
其中fi表示第i个样本的特征，yi代表fi的真实标签，Wj代表分类层中第j个列向量，n为批量训练的样本数量，C为训练类别总数；
步骤5、将分类层中的归一化权重向量||W||视为每类的特征中心，分别计算每个权重向量与其他所有权重向量之间的余弦距离之和，并对每个余弦距离之和的总和求平均，得到分类权重等距分布损失
Figure BDA0002770679830000042
其中
Figure BDA0002770679830000043
代表两个分类权重向量
Figure BDA0002770679830000044
和
Figure BDA0002770679830000045
之间的角度，ε为避免等距分类损失在训练初期损失值过大的参数，取值为10-6；
步骤6、将分类损失和等距分布损失进行结合，得到总的损失函数L＝LNSL+λLEDL，其中λ为等距分布损失的权重值，取值为200；
步骤7、根据得到的总损失值，计算每个输入的训练样本梯度，并利用反向传播算法更新神经网络的参数，训练网络直至满足迭代次数要求；
步骤8、当网络训练完成后，将原网络中用来分类的全连接层及其之后的网络结构移除，则剩下的网络就变成了特征提取器；将测试图片输入到特征提取器种，得到归一化的特征向量||f||，并分别计算查询集中的每个特征向量与候选集中所有特征向量之间的欧式距离，根据得到的距离结果进行排序，并计算Rank1和mAP结果。
以上所述，仅为本发明专利发明优选的实施方式，但发明专利的保护范围不局限于此，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围内。

Claims (5)

1.一种基于分类权重等距分布损失模型的行人重识别方法，其特征在于，包括以下步骤：
步骤1、将训练图片输入到卷积神经网络，获得图片的高维特征表达向量，用于后续的分类学习；
步骤2、使用一个全连接层对行人特征进行分类学习；在进行分类之前，对全连接层的分类权重向量和步骤1获得的行人特征向量进行归一化处理，再将归一化后的特征输入全连接层，得到分类损失；
步骤3、根据步骤2中全连接层归一化后的每个分类权重向量，计算每个向量到其它所有权重向量之间的距离之和，得到等距分布损失；
步骤4、将步骤2和步骤3得到的分类损失和等距分布损失进行结合，得到总的损失函数；
步骤5、利用步骤4得到的总损失函数训练并优化卷积神经网络，最终得到训练好的网络模型；
步骤6、将测试集的行人图片输入到训练好的网络模型中，并得到对应的特征向量，同时对这些特征向量进行归一化处理，得到最终的特征向量；将查询集中行人图片的特征向量逐一与候选集中行人图片的特征向量进行距离对比，根据距离结果排序，完成行人重识别任务。
2.根据权利要求1所述的方法，其特征在于，步骤2所要求分类损失中，分类层中的偏置项被移除，输入特征向量f与分类权重W都进行了L2归一化操作，即得到||f||和||W||，因此特征向量和分类权重都被投影到单位超球体中。令||f||＝s，其中s为控制超球体半径的参数。最后得到归一化的分类损失为
Figure FDA0002770679820000011
其中fi表示第i个样本的特征，yi代表fi的真实标签，Wj代表分类层中第j个列向量，n为用于批量训练的样本数量，C为训练类别总数。
3.根据权利要求1所述的方法，其特征在于，步骤3中将用于分类的全连接层中的分类权值向量视为各类特征的特征中心，并将权重向量W进行L2归一化处理；归一化操作后，各向量之间的欧式距离和夹角余弦距离为正相关关系，因此所求等距分布损失用夹角余弦距离表示为
Figure FDA0002770679820000012
其中
Figure FDA0002770679820000013
代表两个分类权重向量
Figure FDA0002770679820000014
和
Figure FDA0002770679820000015
之间的角度，ε为避免等距分类损失在训练初期损失值过大的参数，C为训练类别总数。
4.根据权利要求1所述的方法，其特征在于，步骤4中用来训练网络模型的总损失函数为归一化分类损失与加权后的分类权重等距分布损失之和，用数学公式表达为：
Figure FDA0002770679820000021
其中λ为等距分布损失的权重值。
5.根据权利要求1所述的方法，其特征在于，步骤6中将提取到的测试集的行人特征进行L2归一化处理，再计算查询集与候选集的归一化特征之间的欧式距离，根据距离结果进行排序，完成重识别任务。
CN202011247963.3A 2020-11-10 2020-11-10 一种基于分类权重等距分布损失模型的行人重识别方法 Pending CN112446305A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011247963.3A CN112446305A (zh) 2020-11-10 2020-11-10 一种基于分类权重等距分布损失模型的行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011247963.3A CN112446305A (zh) 2020-11-10 2020-11-10 一种基于分类权重等距分布损失模型的行人重识别方法

Publications (1)

Publication Number Publication Date
CN112446305A true CN112446305A (zh) 2021-03-05

Family

ID=74736674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011247963.3A Pending CN112446305A (zh) 2020-11-10 2020-11-10 一种基于分类权重等距分布损失模型的行人重识别方法

Country Status (1)

Country Link
CN (1) CN112446305A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918743A (zh) * 2021-12-15 2022-01-11 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种面向长尾分布场景下图片分类的模型训练方法
CN116523969A (zh) * 2023-06-28 2023-08-01 云南联合视觉科技有限公司 基于mscfm和mgfe的红外-可见光跨模态行人重识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918743A (zh) * 2021-12-15 2022-01-11 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种面向长尾分布场景下图片分类的模型训练方法
CN116523969A (zh) * 2023-06-28 2023-08-01 云南联合视觉科技有限公司 基于mscfm和mgfe的红外-可见光跨模态行人重识别方法
CN116523969B (zh) * 2023-06-28 2023-10-03 云南联合视觉科技有限公司 基于mscfm和mgfe的红外-可见光跨模态行人重识别方法

Similar Documents

Publication Publication Date Title
CN109948425B (zh) 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置
CN110110642B (zh) 一种基于多通道注意力特征的行人重识别方法
CN112861720B (zh) 基于原型卷积神经网络的遥感图像小样本目标检测方法
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
CN108960140B (zh) 基于多区域特征提取和融合的行人再识别方法
CN111368815B (zh) 一种基于多部件自注意力机制的行人重识别方法
CN111709311B (zh) 一种基于多尺度卷积特征融合的行人重识别方法
CN103605972B (zh) 一种基于分块深度神经网络的非限制环境人脸验证方法
CN108537136A (zh) 基于姿态归一化图像生成的行人重识别方法
CN108647595B (zh) 基于多属性深度特征的车辆重识别方法
CN111460980B (zh) 基于多语义特征融合的小目标行人的多尺度检测方法
CN109743642B (zh) 基于分层循环神经网络的视频摘要生成方法
CN112101430A (zh) 用于图像目标检测处理的锚框生成方法及轻量级目标检测方法
CN109829414B (zh) 一种基于标签不确定性和人体组件模型的行人再识别方法
Wang et al. Remote sensing scene classification using heterogeneous feature extraction and multi-level fusion
CN112446305A (zh) 一种基于分类权重等距分布损失模型的行人重识别方法
CN114663707A (zh) 基于Faster RCNN改进的少样本目标检测方法
CN115690549A (zh) 一种基于并联交互架构模型实现多维度特征融合的目标检测方法
CN116091946A (zh) 一种基于YOLOv5的无人机航拍图像目标检测方法
CN117456480B (zh) 一种基于多源信息融合的轻量化车辆再辨识方法
CN111428650A (zh) 一种基于sp-pggan风格迁移的行人重识别方法
CN110751005B (zh) 融合深度感知特征和核极限学习机的行人检测方法
CN109241315A (zh) 一种基于深度学习的快速人脸检索方法
CN116630753A (zh) 一种基于对比学习的多尺度小样本目标检测方法
CN113032612B (zh) 一种多目标图像检索模型的构建方法及检索方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination