CN115841683B - 一种联合多级特征的轻量行人重识别方法 - Google Patents
一种联合多级特征的轻量行人重识别方法 Download PDFInfo
- Publication number
- CN115841683B CN115841683B CN202211680448.3A CN202211680448A CN115841683B CN 115841683 B CN115841683 B CN 115841683B CN 202211680448 A CN202211680448 A CN 202211680448A CN 115841683 B CN115841683 B CN 115841683B
- Authority
- CN
- China
- Prior art keywords
- feature extraction
- features
- pedestrian
- feature
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 58
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 238000005259 measurement Methods 0.000 claims abstract description 4
- 238000005457 optimization Methods 0.000 claims abstract description 4
- 238000011176 pooling Methods 0.000 claims description 20
- 230000007246 mechanism Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种联合多级特征的轻量行人重识别方法,所述方法包括以下步骤:将待识别行人图像输入由多注意力模块嵌入的轻量行人重识别网络中进行初步特征提取;通过特征加强提取网络进一步提取行人图像多粒度特征;将得到的细粒度特征通过特征融合模块进行融合;构建损失函数,对网络参数进行迭代优化;将最终提取到的行人图像特征与图像库中的各个图像进行相似性度量,输出匹配列表。本发明保证了提取的行人图像特征的鉴别性和鲁棒性,有效平衡了模型识别精确度和复杂度。
Description
技术领域
本发明涉及一种联合多级特征的轻量行人重识别方法,属于计算机视觉技术领域。
背景技术
随着智能监控网络的快速发展以及人们对公共安全需求的不断增加,行人重识别已成为计算机视觉领域的研究热点之一。我国视频监控系统规模庞大,视频监控系统每天不间断的运作会产生海量的数据,如果安排人力对视频数据进行监察和分析会造成低效率并且难以实现有效处理监控数据的情况,因此,如何在海量视频监控数据中检索有效的信息是当前值得研究的问题。行人重识别,也可称为行人再识别,旨在解决跨镜头、跨场景下的行人识别与检索问题,在智能安防领域得到了密切的关注。
行人重识别在智慧城市、智慧社区有重要的应用意义。在嫌犯追踪时或社区寻人时,一个摄像头往往无法覆盖所有区域,仅通过一个摄像头很难获取行人路径,当行人走出一个摄像头范围之外时,就需要在其他摄像头中搜索出嫌犯以及行踪,这时,行人重识别发挥着重要的作用。
近些年来,行人重识别已取得前所未有的进步。PCB算法,设计部分精炼池化策略使得条带内部具有一致性,将特征沿高度方向划分成多个条带获得行人图像的局部特征;MGN设计两个局部特征提取分支,分别将特征划分成不同的条纹,实现对局部特征的提取。但是,这种直接将特征进行水平分割后进行特征匹配忽略了特征非对齐问题。为了解决这一问题,一些方法使用姿态估计算法进行关键点定位,解决特征非对齐问题,并解决遮挡物对行人图像特征提取带来的干扰。基于姿势掩膜特征分支的方法,根据可见的行人图像的身体部位自适应校准通道特征,实现在检索时聚焦于可见部位的局部特征。PAII,通过姿态估计器获取行人图像的多粒度特征,将局部特征进行分组后与超参数结合实现语义特征对齐。但是这些方法在提取行人图像局部特征时,使用姿势估计算法,会引入一定的估计误差,造成行人姿势估计不准确,并且需要大量的标记和模型参数量,造成行人重识别的速度缓慢,实时性差。OSNet提出一种轻量行人重识别方法,获取全尺度特征表示,达到具有竞争力的识别精度。但是以上这些方法都基于模型的高级特征进行特征提取,没有利用低级特征丰富的细节信息。
虽然现有基于深度学习的行人重识别研究在提高行人重识别模型的准确率方面发展较为成熟,但是忽略了模型的复杂度和实时性,难以在终端进行部署,存在实时性差和模型冗余复杂等问题,并且已有轻量化模型的精度效果比较差,无法做好模型精确度和复杂度的平衡。
发明内容
针对现有方法中存在的问题,本发明的目的在于提供一种联合多级特征的轻量行人重识别方法,包括以下步骤:
将待识别行人图像输入由多注意力模块嵌入的轻量行人重识别网络中进行初步特征提取;
通过特征加强提取网络进一步提取行人图像多粒度特征;
将得到的细粒度特征通过特征融合模块进行融合;
构建损失函数,对网络参数进行迭代优化;
将最终提取到的行人图像特征与图像库中的各个图像进行相似性度量,输出匹配列表。
进一步的,整体框架包括主干网络、高级语义特征提取分支(包含一个全局特征提取分支和一个局部特征提取分支)、低级细节特征提取分支(包含一个全局特征提取分支和一个局部特征提取分支)。
进一步的,所述多注意力模块为串联的通道注意力和空间注意力,通道注意力采用传统卷积操作提取特征,空间注意力模块采用自注意力机制对空间特征图进行加权。
进一步的,所述的主干网络为OSNet,高级语义特征提取分支和低级细节特征提取分支共享OSNet的Conv1~3,高级语义特征提取分支的特征图为F,低级细节特征提取分支的特征图为F'。
进一步的,所述高级语义特征提取分支和低级细节特征提取分支包括的全局特征提取分支和局部特征提取分支主要由池化层、卷积层、归一化层和全连接层构成。
进一步的,所述特征提取分支包括以下步骤:
所述全局特征提取分支的输出特征图通过全局平均池化和全局最大池化操作,拼接得到最终全局特征表示;
其中f(,)表示拼接操作,maxp为全局最大池化操作,avgp为全局平均池化操作
所述局部特征提取分支通过对切分为不同条数的特征分别进行全局平均池化,拼接得到局部特征表示;
所述高级语义特征提取分支和低级细节特征提取分支得到的局部特征通过特征融合模块进行融合,得到最终局部特征表示。
进一步的,所述特征融合模块包括激活函数、归一化层、残差结构和元素级相加操作。
进一步的,所述得到最终的全局特征使用中心损失和难样本三元组损失进行训练,局部特征采用交叉熵损失进行训练。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明的一种联合多级特征的轻量行人重识别方法的步骤流程图;
图2为本发明的一种联合多级特征的轻量行人重识别方法的整体框架图;
图3为本发明提供的一个优选实施例的多注意力机制模块的结构示意图;
图4为本发明提供的一个优选实施例的特征融合模块的结构示意图。
具体实施方式
为了使本领域的技术人员可以更清楚地对本发明进行了解,下面结合具体实施例进行说明。此处所描述的具体实施例仅用于解释本发明,并不用于限定本发明。
如图1所示,为本发明提供的一个实施例的联合多级特征的轻量行人重识别方法的步骤流程图,包括:
S1,将待识别行人图像输入由多注意力模块嵌入的轻量行人重识别网络中进行初步特征提取;
S2,通过特征加强提取网络进一步提取行人图像多粒度特征;
S3,将得到的细粒度特征通过特征融合模块进行融合;
S4,构建损失函数,对网络参数进行迭代优化;
S5,将最终提取到的行人图像特征与图像库中的各个图像进行相似性度量,输出匹配的列表。
本发明提供了一个优选实施例执行S1,方法整体框架图如图2所示,将多注意力机制模块应用于主干网络中获取特征表示,具体分为三步:
S11,首先将多注意力模块应用于主干网络OSNet的Conv3、Conv4以及Conv5层特征图后,多注意力机制模块如图3所示,作用是使主干网络聚焦于行人图像的关键区域进行特征提取,增强模型挖掘重要区域特征的能力。
空间注意力SA(Spatial Attention)采用自注意力模块,通过对所有位置的特征进行加权求和来选择性的聚合每个位置的特征,有效聚焦行人位置,忽略背景或遮挡等其他的干扰因素,加入了BN操作加快模型收敛。
通道注意力CA(Channel Attention)采用传统卷积操作提取特征,使用ECA-Net中的轻量注意力机制的建立通道间的依赖关系。我们使用的注意力使用1×1卷积代替SE注意力中的挤压操作,避免了信息的丢失的同时,自适应的选择一维卷积核大小以确定局部跨通道交互的覆盖率,高效的实现了跨通道信息交互。
将通道注意力和空间注意力进行串联得到最终的注意力图。
S12,将OSNet增加注意力之后的主干网络从Conv3层开始增加一条支路,用于提取低级细节特征,原分支用于提取高级语义特征。
S13,进行特征提取,得到高级语义特征表示F,低级细节特征表示F'。
本发明提供了一个优选实施例执行S2,通过对得到的多级特征图进行处理,得到多粒度特征。
其中,f(,)为拼接函数,mp为全局最大池化,ap为全局平均池化。
细节特征提取的局部分支将特征图分为四部分,经过和语义特征提取分支相同的操作后得到特征f1 l、和/>拼接后得到最终的局部特征/>此层的特征图具有较多的细节信息,所以将特征图划分更细,进一步对特征细节进行捕捉。
本发明提供一个实施例执行S3,将多级特征提取网络得到的细粒度特征进行融合,特征融合模块如图4所示。
该模块将特征进行分割后提取特征,最后将处理后的局部特征进行融合,没有使用分割后的局部特征分别进行行人匹配,不仅在较低模型参数量的情况下提升了模型的特征提取能力,而且解决了局部特征进行行人检索的特征非对齐的问题。
本发明提供一个实施例执行S4,构建训练所需损失函数。在本实施例中,训练损失函数包含交叉熵损失、难样本三元组损失和中心损失三部分内容,具体步骤如下:
S41,构建交叉熵损失。我们采用带有平滑标签的交叉熵损失来计算真实值与预测值之间的概率。交叉熵损失公式如下所示:
其中,yi,k表示第i个图像的身份是否为k的真实值标签。
S42,构建难样本三元组损失。为了优化嵌入空间,引入了难样本三元组损失(HardTriplet Loss),使得类间距离大于类内距离。传统的三元组损失(Triplet Loss)随机从训练数据中抽取三张图片,虽然操作简单,但是抽样出来的绝大多数都易于区分的样本对,在现实场景下,难以区分的行人样本比较多,所以使用Hard Triplet Loss对模型训练,考虑锚样本与相似度最低的正样本和锚样本与相似度最高的负样本之间的距离,使网络学习到更好的表征,提高网络的分类能力。难样本三元组损失的公式如下所示:
其中,P表示随机选择的不同行人的ID数量,K表示每个行人ID随机选择的图片数量。α为margin,设为0.3。
S43,构建中心损失。由于Hard Triplet Loss学习的是样本之间的相对距离,没有考虑类内的紧凑性。因此通过使用中心损失学习每个类的类中心,使得类内的距离变得更紧凑。
其中,xi是第i个特征的特征向量;yi是第i个图像的标签;cyi为特征的第yi个类中心;N为批量大小。
总损失表达式如下所示:
L=Lce+Ltri+γLcenter
其中,γ为中心损失的权重,设为0.0005。
基于上述实施例,本发明提供一个优选实施例S5,通过计算余弦距离进行行人图像特征之间的相似性度量,得到最终的匹配结果,以相似度从大到小生成匹配列表。余弦相似度计算如下所示:
其中,xi和yi为特征向量。
在本实施例中,我们设置批量大小为64,每次使用4个不同行人的16张图像进行训练,并使用Adam优化器进行优化。为了进一步提高模型的性能,我们使用Warmup余弦退火学习率策略。初始学习率设置为7×10-5,权重迭代设置为0.0005,学习率在20代内从7×10-5线性增长到7×10-4,然后进行余弦衰减。
为了验证以上实施例的有效性,我们将本发明应用于实际,在两个广泛使用的行人重识别数据集Market1501和DukeMTMC-reID上的实验结果。其中,Market1501由6个摄像头拍摄,具有1501个身份,32668张行人图像。DukeMTMC-reID由8个摄像头拍摄,具有1404个身份,36441张行人图像。
以累积匹配特征(Cumulative Matching Characteristics,CMC)中Rank-n和平均精度均值(Mean Average Precision,mAP)对模型精确度效果进行评估;以模型参数量(Param)和浮点运算数(FLOPs)对模型复杂度进行评估。其中,CMC中的Rank-n表示行人匹配结果列表中前n个图像与查询图像匹配成功的概率;mAP表示多分类任务中将平均精度AP(Average Precision)相加求和之后的平均值。
实验结果精确度对比如表1所示。从表可以看出,与其他方法相比,我们的方法达到了优秀的识别精确度。在表2可以看出不同方法的参数量和浮点运算数,从实验结果得出,我们方法的参数量为2.6M,明显优于绝大多数方法,值得注意的是,虽然在参数量和计算量上比基准网络OSNet稍高0.42M和0.3G,但在准确度上远高于OSNet。综上所述,本发明是具有良好识别能力的轻量模型,在模型的复杂度和识别精确度之间取得了良好的平衡。
表1不同方法精确度的对比结果
表2不同方法复杂度的对比结果
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下,可以任意组合使用。
Claims (4)
1.一种联合多级特征的轻量行人重识别方法,其特征在于,所述方法包括以下步骤:
将待识别行人图像输入由多注意力模块嵌入的轻量行人重识别网络中进行初步特征提取;
所述的轻量行人重识别网络为OSNet;
通过特征加强提取网络进一步提取行人全局特征和局部特征;
所述特征加强提取网络由高级语义特征提取分支和低级细节特征提取分支两部分组成,这两个分支都包含全局特征提取分支和局部特征提取分支;高级语义特征提取分支和低级细节特征提取分支共享OSNet的Conv1~3,高级语义特征提取分支的特征图为,低级细节特征提取分支的特征图为/>;所述全局特征提取分支的输出特征图通过全局平均池化和全局最大池化操作,拼接得到最终全局特征表示:
所述局部特征提取分支通过对切分为不同条数的特征分别进行全局平均池化,拼接得到局部特征表示;
将高级语义特征提取分支和低级细节特征提取分支得到的局部特征通过特征融合模块进行融合;
所述特征融合模块包括激活函数、归一化层、残差结构和元素级相加操作;
构建损失函数,对网络参数进行迭代优化;
将最终提取到的行人图像特征与图像库中的各个图像进行相似性度量,输出匹配列表。
2.根据权利要求1所述的联合多级特征的轻量行人重识别方法,其特征在于,所述多注意力模块为串联的通道注意力子模块和空间注意力子模块,通道注意力子模块采用传统卷积操作提取特征,空间注意力子模块采用自注意力机制对空间特征图进行加权。
3.根据权利要求1所述的联合多级特征的轻量行人重识别方法,其特征在于,所述高级语义特征提取分支和低级细节特征提取分支包括的全局特征提取分支和局部特征提取分支主要由池化层、卷积层、归一化层和全连接层构成。
4.根据权利要求1所述的联合多级特征的轻量行人重识别方法,其特征在于,所述最终提取到的行人图像特征包括全局特征和局部特征;全局特征使用中心损失和难样本三元组损失进行训练,局部特征采用交叉熵损失进行训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211680448.3A CN115841683B (zh) | 2022-12-27 | 2022-12-27 | 一种联合多级特征的轻量行人重识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211680448.3A CN115841683B (zh) | 2022-12-27 | 2022-12-27 | 一种联合多级特征的轻量行人重识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115841683A CN115841683A (zh) | 2023-03-24 |
CN115841683B true CN115841683B (zh) | 2023-06-20 |
Family
ID=85579248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211680448.3A Active CN115841683B (zh) | 2022-12-27 | 2022-12-27 | 一种联合多级特征的轻量行人重识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115841683B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117078967B (zh) * | 2023-09-04 | 2024-03-01 | 石家庄铁道大学 | 一种有效且轻量的多尺度行人重识别方法 |
CN117333906B (zh) * | 2023-10-27 | 2024-05-24 | 石家庄铁道大学 | 一种多尺度遮挡抑制的遮挡行人重识别方法 |
CN117911678B (zh) * | 2024-01-30 | 2024-08-06 | 沈阳工业大学 | 一种遮挡目标重识别方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112818931A (zh) * | 2021-02-26 | 2021-05-18 | 中国矿业大学 | 基于多粒度深度特征融合的多尺度行人重识别方法 |
CN115171165A (zh) * | 2022-07-29 | 2022-10-11 | 南京邮电大学 | 全局特征与阶梯型局部特征融合的行人重识别方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017101036A1 (en) * | 2015-12-16 | 2017-06-22 | Intel Corporation | Fully convolutional pyramid networks for pedestrian detection |
CN111539370B (zh) * | 2020-04-30 | 2022-03-15 | 华中科技大学 | 一种基于多注意力联合学习的图像行人重识别方法和系统 |
CN111931624B (zh) * | 2020-08-03 | 2023-02-07 | 重庆邮电大学 | 基于注意力机制的轻量级多分支行人重识别方法及系统 |
CN114255474A (zh) * | 2020-09-25 | 2022-03-29 | 上海舜瞳科技有限公司 | 一种基于多尺度、多粒度行人重识别方法 |
CN113516012B (zh) * | 2021-04-09 | 2022-04-15 | 湖北工业大学 | 一种基于多层级特征融合的行人重识别方法及系统 |
-
2022
- 2022-12-27 CN CN202211680448.3A patent/CN115841683B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112818931A (zh) * | 2021-02-26 | 2021-05-18 | 中国矿业大学 | 基于多粒度深度特征融合的多尺度行人重识别方法 |
CN115171165A (zh) * | 2022-07-29 | 2022-10-11 | 南京邮电大学 | 全局特征与阶梯型局部特征融合的行人重识别方法及装置 |
Non-Patent Citations (1)
Title |
---|
基于多层级特征的行人重识别;刘可文;房攀攀;熊红霞;刘朝阳;马圆;李小军;陈亚雷;;激光与光电子学进展(第08期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115841683A (zh) | 2023-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108960140B (zh) | 基于多区域特征提取和融合的行人再识别方法 | |
CN115841683B (zh) | 一种联合多级特征的轻量行人重识别方法 | |
CN111259786B (zh) | 一种基于视频的外观和运动信息同步增强的行人重识别方法 | |
Li et al. | Adaptive deep convolutional neural networks for scene-specific object detection | |
CN101593272B (zh) | 一种基于asm算法的人脸特征定位方法 | |
CN114758288B (zh) | 一种配电网工程安全管控检测方法及装置 | |
CN111709311A (zh) | 一种基于多尺度卷积特征融合的行人重识别方法 | |
CN111709331B (zh) | 一种基于多粒度信息交互模型的行人重识别方法 | |
CN113486886A (zh) | 一种自然场景下的车牌识别方法和装置 | |
CN112434599A (zh) | 一种基于噪声通道的随机遮挡恢复的行人重识别方法 | |
Rao et al. | FPSiamRPN: Feature pyramid Siamese network with region proposal network for target tracking | |
CN115330839A (zh) | 基于无锚孪生神经网络的多目标检测跟踪一体化方法 | |
CN118038494A (zh) | 一种损坏场景鲁棒的跨模态行人重识别方法 | |
CN111488797B (zh) | 一种行人再识别方法 | |
CN109241315A (zh) | 一种基于深度学习的快速人脸检索方法 | |
Zhang | [Retracted] Sports Action Recognition Based on Particle Swarm Optimization Neural Networks | |
CN115830643B (zh) | 一种姿势引导对齐的轻量行人重识别方法 | |
CN116523969A (zh) | 基于mscfm和mgfe的红外-可见光跨模态行人重识别方法 | |
CN116246305A (zh) | 一种基于混合部件变换网络的行人检索方法 | |
Song et al. | Video-based person re-identification using a novel feature extraction and fusion technique | |
CN115082854A (zh) | 一种面向安防监控视频的行人搜索方法 | |
CN115439884A (zh) | 一种基于双分支自注意力网络的行人属性识别方法 | |
CN114694042A (zh) | 一种基于改进Scaled-YOLOv4的伪装人员目标检测方法 | |
Ali-bey et al. | BoQ: A Place is Worth a Bag of Learnable Queries | |
CN114882417B (zh) | 一种基于dimp跟踪器的轻量化LightDimp单目标跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |