CN116110077A - 遮挡条件下基于块划分姿态辅助对齐的行人重识别方法 - Google Patents

遮挡条件下基于块划分姿态辅助对齐的行人重识别方法 Download PDF

Info

Publication number
CN116110077A
CN116110077A CN202310089601.3A CN202310089601A CN116110077A CN 116110077 A CN116110077 A CN 116110077A CN 202310089601 A CN202310089601 A CN 202310089601A CN 116110077 A CN116110077 A CN 116110077A
Authority
CN
China
Prior art keywords
pedestrian
image
global
partition
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310089601.3A
Other languages
English (en)
Inventor
雒江涛
覃海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202310089601.3A priority Critical patent/CN116110077A/zh
Publication of CN116110077A publication Critical patent/CN116110077A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉领域，公开了一种遮挡条件下基于块划分姿态辅助对齐的行人重识别方法，包括：S1、获取含有遮挡的行人图像，对含有遮挡的所述行人图像进行预处理；S2、使用深度残差网络，提取出进行预处理后的所述行人图像的高阶特征图；S3、通过自上向下的人体姿态估计器，从预处理后的所述行人图像提取出行人的人体关节点；S4、利用所述有效关键点生成注意力热图；S5、将所述高阶特征图均匀块划分；S6、使用全局‑分区总损失函数对所述初始行人重识别网络模型进行训练；S7、将查询图像、候选图像作为所述行人重识别网络模型的输入，从所述候选图像中检索出与所述查询图像相同身份的候选排序。本发明提高行人重识别精度。

Description

遮挡条件下基于块划分姿态辅助对齐的行人重识别方法
技术领域
本发明涉及计算机视觉领域，具体涉及遮挡条件下基于块划分姿态辅助对齐的行人重识别方法。
背景技术
行人重识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，是一个图像检索的子问题，然而，目前在复杂场景下的行人重识别主要存在遮挡区域噪声特征干扰性和特征不对齐的问题。
为解决上述难点，当前大多数工作都采用全局-局部特征相融合的方法，同时兼顾了粗粒度的全局信息和细粒度的局部细节信息的提取，然而，当行人之间遮挡严重，行人间的结构信息差异较小，全局信息的辨别力不强，因此，在行人之间相互遮挡的条件下，如何提取未被遮挡的更具判别力的局部特征是提高行人重识别精度的关键。
目前较为流行的局部特征提取方法通常采用将特征图水平划分为多个部分进行局部特征学习，一定程度上能够提供较好的细粒度信息，但这类方法需要行人图像严格对齐才能达到较好的性能。在实际复杂场景下，行人的姿态不定，难以做到严格对齐，采用水平划分的局部特征往往效果不佳。此外，除了有树木、车辆等遮挡物造成的半身遮挡外，行人之间也存在大量并行遮挡，采用水平划分方法，极大可能舍弃掉水平条状带中被小部分遮挡的具有判别力的细粒度特征，导致行人重识别准确率不高。
发明内容
针对现有技术存在的问题，本发明的目的在于提供遮挡条件下基于块划分姿态辅助对齐的行人重识别方法，改进以往水平划分局部特特征提取方法，采用水平-竖直划分方法，利用残差网络结合全局-局部特征信息，可以有效解决复杂场景下由于遮挡、特征不对齐以及判别力特征被舍弃造成的错误识别问题，提高行人重识别精度。
本发明通过下述技术方案实现：
一种遮挡条件下基于块划分姿态辅助对齐的行人重识别方法，包括：
S1、获取含有遮挡的行人图像，对含有遮挡的所述行人图像进行预处理；
S2、使用深度残差网络，提取出进行预处理后的所述行人图像的高阶特征图；
S3、通过自上向下的人体姿态估计器，从预处理后的所述行人图像提取出行人的人体关节点，并设置置信度阈值过滤所述人体关节点得到有效关键点；
S4、利用所述有效关键点生成注意力热图，并将所述注意力热图映射到所述高阶特征图上，得到未被遮挡的全局特征；
S5、将所述高阶特征图均匀块划分，利用所述有效关键点的坐标信息，得到细粒度的关键点分区特征，从而得到初始行人重识别网络模型；
S6、使用全局-分区总损失函数对所述初始行人重识别网络模型进行训练，得到最终的行人重识别网络模型；
S7、将查询图像、候选图像作为所述行人重识别网络模型的输入，利用深度外观匹配策略，分别计算所述查询图像与候选图像的全局距离、细粒度的关键点分区特征对齐距离，从所述候选图像中检索出与所述查询图像相同身份的候选排序，完成行人重识别任务。
作为优化，S1中，对所述行人图像进行预处理，包括从视频序列中截取含有遮挡的行人图像，并将所有的行人图像的尺寸进行归一化处理，以及对归一化处理后的所述行人图像进行水平翻转和随机擦除。
作为优化，S2的具体步骤为：
S2.1、采用残差网络的conv1、conv2_x、conv3_x、conv4_x、conv5_x建立阶段0至阶段4共5阶段的图像特征提取网络；
S2.2、将所述图像特征提取网络的第4阶段的第一层下采样卷积层conv5_1步长设置为1并对进行预处理后的所述行人图像进行提取，得到更宽的空间维度的高阶特征图。
作为优化，S3的具体步骤为：
S3.1、采用人体估计器，从预处理后的所述行人图像中获取人体的多个关节点，每个关节点包含x坐标、y坐标、关节点标签、关节点分数；
S3.2、设置置信度阈值，过滤掉关节点分数小于所述置信度阈值的关节点，从而得到有效关键点。
作为优化，S4的具体步骤为：
S4.1、利用S3中获取的有效关键点，判断预处理后的所述行人图像中存在的行人数量，将属于同一行人的有效关键点数量超过定义阈值的行人判定为目标行人，保留所述目标行人的有效关键点数据；
S4.2、利用所述目标行人的有效关键点数据，通过二维高斯核函数生成对应的关键点热图；
S4.3、将所述关键点热图通过双线性插值进行尺寸调整，使得所述关键点热图的尺寸与所述高阶特征图一致；
S4.4、将尺寸调整后的关键点热图分别与对应的高阶特征图进行元素相乘操作，得到每个有效关键点的关键点特征图；
S4.5、将每个关键点特征图通过全局平均池化并在垂直方向进行拼接，然后通过最大池化生成通道维度为2048的特征向量；
S4.6、将所述高阶特征图通过全局平均池化生成通道维度为2048的特征向量，然后与S4.5中对应的特征向量进行concat得到通道维度为4096全局特征向量，并使用1×1卷积层批处理归一化和ReLU将4096全局特征向量降维，最终得到所述行人图像未被遮挡的全局特征。
作为优化，S5的具体步骤为：
S5.1、将所述高阶特征图按水平和竖直方向进行均匀块划分，得到所述高阶特征图的分区；
S5.2、利用S3获取的有效关键点，为所述高阶特征图的每个分区标注块标签和关键点标签；
S5.3、对所述高阶特征图的每个分区进行全局平均池化，得到所述高阶特征图的关键点分区特征，并使用1×1卷积层批处理归一化和ReLU将关键点分区特征降维。
作为优化，所述全局-分区总损失函数的设计过程为：
S6.1、采用多分类的交叉熵损失函数设计所述初始行人重识别网络模型的全局损失和分区损失；
S6.2、根据所述初始行人重识别网络模型的全局损失和分区损失设计所述初始行人重识别网络模型的联合全局-分区总损失：
losstotal＝λlosspart+(1-λ)lossglobal；
其中，losstotal为全局-分区总损失，losspart为分区损失，lossglobal为全局损失，λ的范围为[0,1]，其取值决定全局损失和分区损失函数对总损失函数的贡献权重。
作为优化，所述多分类的交叉熵损失函数具体为：
Figure BDA0004069866230000031
其中，Nb和yn分别代表一个批次的数据量和第n个目标的真实ID，
Figure BDA0004069866230000032
为第n个目标的预测ID，C为类别总数。
作为优化，所述分区损失losspart和全局损失lossglobal分别为：
Figure BDA0004069866230000033
Figure BDA0004069866230000041
其中，
Figure BDA0004069866230000042
为全局特征对应ID的预测值，
Figure BDA0004069866230000043
为关键点分区特征对应的ID预测值，y为真实ID，p为一个高阶特征图的均匀块划分的数量。
作为优化，S7的具体步骤为：
S7.1、将查询图像输入至所述行人重识别网络模型中，提取所述查询图像的全局特征、关键点分区特征、块标签和关键点标签；
S7.2、分别计算所述查询图像与候选图像的全局距离、关键点分区特征对齐距离：
Figure BDA0004069866230000044
Figure BDA0004069866230000045
其中，dglobal为查询图像与候选图像的全局距离，dpart为查询图像与候选图像的细粒度关键点分区特征对齐距离，Codist为用余弦距离来衡量样本之间的差异，
Figure BDA0004069866230000046
分别表示查询图像与候选图像的全局特征，fi q,fi g分别表示查询图像与候选图像的关键点分区特征；
Figure BDA0004069866230000047
分别为查询图像与候选图像块标签，未含有关键点为0，含有关键点为1；
Figure BDA0004069866230000048
为查询图像与候选图像关键点标签；⊙代表同或操作，相同为1，不同为0；i代表图像的第i块分块，q代表查询图像，g代表候选图像，p代表图像的分块数目；
S7.3、将所述全局距离和关键点分区特征对齐距离进行归一化处理，得到最终的距离：
Figure BDA0004069866230000049
S7.4、将S7.3中的距离进行排序得出最终的相似度结果，完成行人重识别。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明是遮挡条件下基于块划分姿态辅助对齐的行人重识别方法，与现有的行人重识别方法相比，本发明充分利用了人体姿态的关键点信息，不仅用关键点热图映射到行人特征图，使网络提取更多的有用的信息和避免由于遮挡造成的错误识别，而且采用水平-竖直划分方法来提取局部细粒度关键点分区特征并进行特征对齐，在一定程度上解决了复杂场景下由于遮挡、特征不对齐以及判别力特征被舍弃造成的错误识别问题，提高行人重识别精度。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：
图1是本发明遮挡条件下基于块划分姿态辅助特征对齐的行人重识别方法的流程图；
图2是本发明遮挡行人数据集示意图；
图3是本发明用于特征提取的深度残差网络；
图4是本发明中全局特征提取网络结构；
图5是本发明中关键点分区特征提取网络结构。
图6是本发明中关键点分区特征对齐策略。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
如图1所示，本实例提供遮挡条件下基于块划分姿态辅助对齐的行人重识别方法，具体实施步骤如下：
S1、获取含有遮挡的行人图像，如图2所示，对含有遮挡的所述行人图像进行预处理，预处理包括将所有的行人图像归一化尺寸为384×128×3，并且对行人图像进行水平翻转和随机擦除。
S2、使用深度残差网络，提取出进行预处理后的所述行人图像的高阶特征图；
采用残差网络的conv1、conv2_x、conv3_x、conv4_x、conv5_x建立阶段0至阶段4共5阶段的图像特征提取网络，如图3所示，将第4阶段的第一层下采样卷积层conv5_1步长设置为1获得更宽的空间维度的高阶特征图，使得目标行人和遮挡信息更容易被分辨。可见，当宽、高、通道数为384×128×3的行人图像通过特征提取网络(深度残差网络)后，提取的高阶特征图的尺寸为24×8×2048。
输入图像原始空间维度为HxW(高x宽)，若第4阶段的第一层下采样卷积层conv5_1步长初始值为2，对应的输出空间维度为H/32xW/32，而将其下采样步长设置为1后，输出空间维度为H/16xW/16。
S3、通过自上向下的人体姿态估计器，从预处理后的所述行人图像提取出行人的人体关节点，并设置置信度阈值过滤所述人体关节点得到有效关键点；每个关节点包含4个数据，分别是x坐标、y坐标、关节点标签、关节点分数，将置信度阈值设置为0.2，关节点分数大于0.2的将被保留作为有效关键点。
S4、利用所述有效关键点生成注意力热图，并将所述注意力热图映射到特征图上，得到未被遮挡的全局特征，其流程如图4所示，其具体实施如下：
本实施例中，S4的具体步骤为：
S4.1、利用S3中获取的有效关键点，判断预处理后的所述行人图像中存在的行人数量，将属于同一行人的有效关键点数量超过定义阈值的行人判定为目标行人，保留所述目标行人的有效关键点数据；关键点是将人体估计器提取的图片中的行人的关节点通过阈值筛选后得到的，人体估计器提取的人体关节点数据是json文件，里面包含了图片中每个能检测到的行人的关节点数据形如{P1:[……]P2:[……],……}，所以这里的有效关键点是属于同一个行人的无需额外判断。
S4.2、利用所述目标行人的有效关键点数据，通过二维高斯核函数生成对应的关键点热图；
S4.3、将所述关键点热图通过双线性插值进行尺寸调整，使得所述关键点热图的尺寸与所述高阶特征图一致；
S4.4、将尺寸调整后的关键点热图分别与对应的高阶特征图进行元素相乘操作，得到每个有效关键点的关键点特征图；
S4.5、将每个关键点特征图通过全局平均池化并在垂直方向进行拼接，然后通过最大池化生成通道维度为2048的特征向量；
S4.6、将所述高阶特征图通过全局平均池化生成通道维度为2048的特征向量，然后与S4.5中对应的特征向量进行concat得到通道维度为4096全局特征向量，并使用1×1卷积层批处理归一化和ReLU将4096全局特征向量降维，最终得到所述行人图像未被遮挡的全局特征。
S5、将所述高阶特征图均匀块划分，利用所述有效关键点的坐标信息，得到细粒度的关键点分区特征，从而得到初始行人重识别网络模型，其流程如图5所示，具体实施如下：
S5.1、将行人的所述高阶特征图按水平和竖直方向进行均匀块划分，水平和竖直方向各均匀划分3个部分，最终得到9个均匀的块分区特征图；
S5.2、利用S3获取的有效关键点，为所述高阶特征图的每个分区标注块标签和关键点标签，对于每个分区，当存在有效关键点时，对其赋予块标签li且取值为1；反之，当分区不存在有效关键点时，取值为0，即查询图像与候选图像块标签标注方法为未含有关键点为0，含有关键点为1。关键点标签就是人体估计器提取的筛选后的关节点标签。对于含有有效关键点的每个分区，选择有效关键点分数最高的作为主要的有效关键点(对于每一个分区中，可能存在多个有效关键点，在S2中提取的每个关节点包含4个数据，分别是x坐标、y坐标、关节点标签、关节点分数，在本格步骤中，只保留关节点分数最高的那个有效关键点)，并对其所处的分区赋予关键点标签ki，其包含的数据由S3中提取到的关节点标签给出，包含的诸如头部、颈部等信息；
S5.3、对所述高阶特征图的每个分区进行全局平均池化，得到所述高阶特征图的关键点分区特征，并使用1×1卷积层批处理归一化和ReLU将关键点分区特征降维。
S6、使用全局-分区总损失函数对所述初始行人重识别网络模型进行训练，得到最终的行人重识别网络模型；
具体的，所述全局-分区总损失函数的设计过程为：
S6.1、采用多分类的交叉熵损失函数设计所述初始行人重识别网络模型的全局损失和分区损失；
多分类的交叉熵损失函数具体为：
Figure BDA0004069866230000071
上式中，Nb和yn分别代表一个批次的数据量和第n个目标的真实ID，
Figure BDA0004069866230000072
为第n个目标的预测ID，C为类别总数；上述参数都是在训练时初始行人重识别网络模型的输入、输出，这里ID就是图像中行人的身份标签，在训练时真实标签和预测标签作交叉熵损失。
所述分区损失losspart和全局损失lossglobal分别为：
Figure BDA0004069866230000073
Figure BDA0004069866230000074
其中，
Figure BDA0004069866230000075
为全局特征对应ID的预测值，
Figure BDA0004069866230000076
为关键点分区特征对应的ID预测值，y为真实ID，p为一个高阶特征图的均匀块划分的数量，在本实施例中p取值为9；
S6.2、根据所述初始行人重识别网络模型的全局损失和分区损失设计所述初始行人重识别网络模型的联合全局-分区总损失：
losstotal＝λlosspart+(1-λ)lossglobal；
其中，losstotal为全局-分区总损失，losspart为分区损失，lossglobal为全局损失，λ的范围为[0,1]，其取值决定全局损失和分区损失函数对总损失函数的贡献权重，在本实施例中λ取值为0.2。
使用全局-分区总损失函数的好处是同时兼顾全局损失和分区损失，而通过全局-分区总损失函数对初始行人重识别网络模型进行训练的训练过程是现有的，过程是将训练过程中的真实值与初始行人重识别网络模型的输出值通过设计的全局-分区总损失函数计算出损失值，然后利用梯度下降法来优化初始行人重识别网络模型。
S7、将查询图像、候选图像作为所述行人重识别网络模型的输入，利用深度外观匹配策略，分别计算所述查询图像与候选图像的全局距离、细粒度的关键点分区特征对齐距离，距离排序得出最终的相似度结果，从所述候选图像中检索出与所述查询图像相同身份的候选排序，完成行人重识别任务，具体实施如下：
S7.1、将查询图像输入至所述行人重识别网络模型中，提取所述查询图像的全局特征、关键点分区特征、块标签和关键点标签；细粒度的关键点分区特征对齐策略如图6所示，只有块标签不为0且关键点标签相同的分区才会进行特征相似度距离计算；
S7.2、分别计算所述查询图像与候选图像的全局距离、关键点分区特征对齐距离：
Figure BDA0004069866230000081
Figure BDA0004069866230000082
其中，dglobal为查询图像与候选图像的全局距离，dpart为查询图像与候选图像的细粒度关键点分区特征对齐距离，Codist为用余弦距离来衡量样本之间的差异，
Figure BDA0004069866230000083
分别表示查询图像与候选图像的全局特征，fi q,fi g分别表示查询图像与候选图像的关键点分区特征；li q,li g分别为查询图像与候选图像块标签，未含有关键点为0，含有关键点为1；ki q,ki g为查询图像与候选图像关键点标签；⊙代表同或操作，相同为1，不同为0；i代表图像的第i块分块，q代表查询图像，g代表候选图像，p代表图像的分块数目；
S7.3、将所述全局距离和关键点分区特征对齐距离进行归一化处理，得到最终的距离：
Figure BDA0004069866230000084
S7.4、将S7.3中的距离进行排序得出最终的相似度结果，完成行人重识别，距离dist的值越大,特征向量之间相似度越高,则查询图像与候选图像的相似度就越高,两者属于同一个运动员的可能性越大。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种遮挡条件下基于块划分姿态辅助对齐的行人重识别方法，其特征在于，包括：
S1、获取含有遮挡的行人图像，对含有遮挡的所述行人图像进行预处理；
S2、使用深度残差网络，提取出进行预处理后的所述行人图像的高阶特征图；
S3、通过自上向下的人体姿态估计器，从预处理后的所述行人图像提取出行人的人体关节点，并设置置信度阈值过滤所述人体关节点得到有效关键点；
S4、利用所述有效关键点生成注意力热图，并将所述注意力热图映射到所述高阶特征图上，得到未被遮挡的全局特征；
S5、将所述高阶特征图均匀块划分，利用所述有效关键点的坐标信息，得到细粒度的关键点分区特征，从而得到初始行人重识别网络模型；
S6、使用全局-分区总损失函数对所述初始行人重识别网络模型进行训练，得到最终的行人重识别网络模型；
S7、将查询图像、候选图像作为所述行人重识别网络模型的输入，利用深度外观匹配策略，分别计算所述查询图像与候选图像的全局距离、细粒度的关键点分区特征对齐距离，从所述候选图像中检索出与所述查询图像相同身份的候选排序，完成行人重识别任务。
2.根据权利要求1所述的一种遮挡条件下基于块划分姿态辅助对齐的行人重识别方法，其特征在于，S1中，对所述行人图像进行预处理，包括从视频序列中截取含有遮挡的行人图像，并将所有的行人图像的尺寸进行归一化处理，以及对归一化处理后的所述行人图像进行水平翻转和随机擦除。
3.根据权利要求1所述的一种遮挡条件下基于块划分姿态辅助对齐的行人重识别方法，其特征在于，S2的具体步骤为：
S2.1、采用残差网络的conv1、conv2_x、conv3_x、conv4_x、conv5_x建立阶段0至阶段4共5阶段的图像特征提取网络；
S2.2、将所述图像特征提取网络的第4阶段的第一层下采样卷积层conv5_1步长设置为1并对进行预处理后的所述行人图像进行提取。
4.根据权利要求1所述的一种遮挡条件下基于块划分姿态辅助对齐的行人重识别方法，其特征在于，S3的具体步骤为：
S3.1、采用人体估计器，从预处理后的所述行人图像中获取人体的多个关节点，每个关节点包含x坐标、y坐标、关节点标签、关节点分数；
S3.2、设置置信度阈值，过滤掉关节点分数小于所述置信度阈值的关节点，从而得到有效关键点。
5.根据权利要求1所述的一种遮挡条件下基于块划分姿态辅助对齐的行人重识别方法，其特征在于，S4的具体步骤为：
S4.1、利用S3中获取的有效关键点，判断预处理后的所述行人图像中存在的行人数量，将属于同一行人的有效关键点数量超过定义阈值的行人判定为目标行人，保留所述目标行人的有效关键点数据；
S4.2、利用所述目标行人的有效关键点数据，通过二维高斯核函数生成对应的关键点热图；
S4.3、将所述关键点热图通过双线性插值进行尺寸调整，使得所述关键点热图的尺寸与所述高阶特征图一致；
S4.4、将尺寸调整后的关键点热图分别与对应的高阶特征图进行元素相乘操作，得到每个有效关键点的关键点特征图；
S4.5、将每个关键点特征图通过全局平均池化并在垂直方向进行拼接，然后通过最大池化生成通道维度为2048的特征向量；
S4.6、将所述高阶特征图通过全局平均池化生成通道维度为2048的特征向量，然后与S4.5中对应的特征向量进行concat得到通道维度为4096全局特征向量，并使用1×1卷积层批处理归一化和ReLU将4096全局特征向量降维，最终得到所述行人图像未被遮挡的全局特征。
6.根据权利要求5所述的一种遮挡条件下基于块划分姿态辅助对齐的行人重识别方法，其特征在于，S5的具体步骤为：
S5.1、将所述高阶特征图按水平和竖直方向进行均匀块划分，得到所述高阶特征图的分区；
S5.2、利用S3获取的有效关键点，为所述高阶特征图的每个分区标注块标签和关键点标签；
S5.3、对所述高阶特征图的每个分区进行全局平均池化，得到所述高阶特征图的关键点分区特征，并使用1×1卷积层批处理归一化和ReLU将关键点分区特征降维。
7.根据权利要求6所述的一种遮挡条件下基于块划分姿态辅助对齐的行人重识别方法，其特征在于，所述全局-分区总损失函数的设计过程为：
S6.1、采用多分类的交叉熵损失函数设计所述初始行人重识别网络模型的全局损失和分区损失；
S6.2、根据所述初始行人重识别网络模型的全局损失和分区损失设计所述初始行人重识别网络模型的联合全局-分区总损失：
losstotal＝λlosspart+(1-λ)lossglobal；
其中，losstotal为全局-分区总损失，losspart为分区损失，lossglobal为全局损失，λ的范围为[0,1]，其取值决定全局损失和分区损失函数对总损失函数的贡献权重。
8.根据权利要求7所述的一种遮挡条件下基于块划分姿态辅助对齐的行人重识别方法，其特征在于，所述多分类的交叉熵损失函数具体为：
Figure FDA0004069866220000031
其中，Nb和yn分别代表一个批次的数据量和第n个目标的真实ID，
Figure FDA0004069866220000032
为第n个目标的预测ID，C为类别总数。
9.根据权利要求8所述的一种遮挡条件下基于块划分姿态辅助对齐的行人重识别方法，其特征在于，所述分区损失losspart和全局损失lossglobal分别为：
Figure FDA0004069866220000033
Figure FDA0004069866220000034
其中，
Figure FDA0004069866220000035
为全局特征对应ID的预测值，
Figure FDA0004069866220000036
为关键点分区特征对应的ID预测值，y为真实ID，p为一个高阶特征图的均匀块划分的数量。
10.根据权利要求1所述的一种遮挡条件下基于块划分姿态辅助对齐的行人重识别方法，其特征在于，S7的具体步骤为：
S7.1、将查询图像输入至所述行人重识别网络模型中，提取所述查询图像的全局特征、关键点分区特征、块标签和关键点标签；
S7.2、分别计算所述查询图像与候选图像的全局距离、关键点分区特征对齐距离：
Figure FDA0004069866220000037
Figure FDA0004069866220000038
其中，dglobal为查询图像与候选图像的全局距离，dpart为查询图像与候选图像的细粒度关键点分区特征对齐距离，Codist为用余弦距离来衡量样本之间的差异，
Figure FDA0004069866220000039
分别表示查询图像与候选图像的全局特征，fi q,fi g分别表示查询图像与候选图像的关键点分区特征；
Figure FDA00040698662200000310
分别为查询图像与候选图像块标签，未含有关键点为0，含有关键点为1；
Figure FDA0004069866220000041
为查询图像与候选图像关键点标签；⊙代表同或操作，相同为1，不同为0；i代表图像的第i块分块，q代表查询图像，g代表候选图像，p代表图像的分块数目；
S7.3、将所述全局距离和关键点分区特征对齐距离进行归一化处理，得到最终的距离：
Figure FDA0004069866220000042
S7.4、将S7.3中的距离进行排序得出最终的相似度结果，完成行人重识别。
CN202310089601.3A 2023-02-09 2023-02-09 遮挡条件下基于块划分姿态辅助对齐的行人重识别方法 Pending CN116110077A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310089601.3A CN116110077A (zh) 2023-02-09 2023-02-09 遮挡条件下基于块划分姿态辅助对齐的行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310089601.3A CN116110077A (zh) 2023-02-09 2023-02-09 遮挡条件下基于块划分姿态辅助对齐的行人重识别方法

Publications (1)

Publication Number Publication Date
CN116110077A true CN116110077A (zh) 2023-05-12

Family

ID=86263541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310089601.3A Pending CN116110077A (zh) 2023-02-09 2023-02-09 遮挡条件下基于块划分姿态辅助对齐的行人重识别方法

Country Status (1)

Country Link
CN (1) CN116110077A (zh)

Similar Documents

Publication Publication Date Title
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN112101150B (zh) 一种基于朝向约束的多特征融合行人重识别方法
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
CN107316031A (zh) 用于行人重识别的图像特征提取方法
Lee et al. Place recognition using straight lines for vision-based SLAM
CN106815323B (zh) 一种基于显著性检测的跨域视觉检索方法
CN105956560A (zh) 一种基于池化多尺度深度卷积特征的车型识别方法
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN104966081B (zh) 书脊图像识别方法
CN109165658B (zh) 一种基于Faster-RCNN的强负样本水下目标检测方法
CN106778768A (zh) 基于多特征融合的图像场景分类方法
CN113963032A (zh) 一种融合目标重识别的孪生网络结构目标跟踪方法
CN115661754B (zh) 一种基于维度融合注意力的行人重识别方法
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN114419151A (zh) 一种基于对比学习的多目标跟踪方法
CN110516533A (zh) 一种基于深度度量的行人再辨识方法
CN112580480A (zh) 一种高光谱遥感影像分类方法及装置
CN108319961B (zh) 一种基于局部特征点的图像roi快速检测方法
CN114038007A (zh) 一种结合风格变换与姿态生成的行人重识别方法
CN113642571A (zh) 一种基于显著性注意力机制的细粒度图像识别方法
Tong et al. Cross-view gait recognition based on a restrictive triplet network
CN114037886A (zh) 图像识别方法、装置、电子设备和可读存储介质
CN117593548A (zh) 基于加权注意力机制去除动态特征点的视觉slam方法
CN111127407B (zh) 一种基于傅里叶变换的风格迁移伪造图像检测装置及方法
CN112613474A (zh) 一种行人重识别的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination