CN114419671B - 一种基于超图神经网络的遮挡行人重识别方法 - Google Patents

一种基于超图神经网络的遮挡行人重识别方法 Download PDF

Info

Publication number
CN114419671B
CN114419671B CN202210052859.1A CN202210052859A CN114419671B CN 114419671 B CN114419671 B CN 114419671B CN 202210052859 A CN202210052859 A CN 202210052859A CN 114419671 B CN114419671 B CN 114419671B
Authority
CN
China
Prior art keywords
pedestrian
hypergraph
features
feature
order
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210052859.1A
Other languages
English (en)
Other versions
CN114419671A (zh
Inventor
付利华
章海涛
王丹
杜金莲
张梓通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202210052859.1A priority Critical patent/CN114419671B/zh
Publication of CN114419671A publication Critical patent/CN114419671A/zh
Application granted granted Critical
Publication of CN114419671B publication Critical patent/CN114419671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于超图神经网络的遮挡行人重识别方法，用于解决行人重识别在行人图像被遮挡时识别精度不高，行人特征表示辨别力不强的问题，提升模型的准确性。首先引入行人特征提取模块，基于人体关键点信息提取行人图像的局部特征，获得带有可见性信息的行人局部特征表示；高阶信息融合模块基于超图神经网络自适应融合行人局部特征，获得更具判别性的行人特征；在此基础上，特征匹配模块将人体拓扑信息结合到图匹配过程中，对遮挡行人图像进行更准确的相似性度量。本发明能够获得较强的行人特征表示，在遮挡行人图像数据集上识别精度较高，并保持稳定的识别效果。

Description

一种基于超图神经网络的遮挡行人重识别方法
技术领域
本发明属于图像处理和计算机视觉领域，涉及行人重识别的方法，具体为一种基于超图神经网络的遮挡行人重识别方法。
背景技术
行人重识别(Person Re-identification，Re-ID)是跨越不同摄像头的行人图像检索任务，广泛应用于视频监控，安全和智能城市。现有的行人重识别技术大都实现基于完整行人图像的重识别，而面向遮挡行人图像的重识别技术相对较少。然而在实际场景中，行人很容易被一些障碍物遮挡，如行李、柜台、汽车、树木等，使得遮挡行人重识别更具实用性。因此，遮挡行人重识别技术是该领域的研究热点，旨在使行人重识别模型对遮挡的行人图像也能有较好的识别精度。
与面向完整行人图像的重识别技术相比，遮挡行人重识别更具有挑战性：1)相对于行人图像中的未遮挡区域，图像的遮挡区域包含较少的辨别信息，如果不加区分地进行特征提取，遮挡区域提取的特征将包含无用的遮挡信息，从而导致识别精度的下降；2)传统的基于局部特征的行人重识别方法采用局部区域一对一匹配的方式计算行人图像间的相似度，但是这种匹配方式需要事先进行严格的行人图像局部区域间的对齐，在遮挡较为严重的情况下不能有效地匹配到正确的行人图像。
为了解决上述问题，本发明提出一种基于超图神经网络的遮挡行人重识别方法。
发明内容
本发明用于解决行人重识别在行人图像被遮挡时识别精度不高，无法提取具有较高判别力行人特征的问题。为了解决上述问题，本发明提供了一种基于超图神经网络的遮挡行人重识别方法。首先借助人体关键点检测模型预测行人图像的关键点，通过融合预测的关键点和骨干网络提取的图像特征，获得具有语义信息的一阶特征；然后，将提取的一阶特征作为超图中的节点，并根据人体的拓扑结构构造超边，设计自适应方向超图卷积层(ADHC，Adaptive Directed Hypergraph Convolutional Layer)，使得模型可以自主地学习节点信息在超图卷积中的传递方向和权重，从而获得更具判别性的高阶特征；最后，为了有效地解决遮挡给特征匹配带来的误差，设计超图匹配对齐层(HGMA,HypergraphMatching Alignment)，将人体拓扑信息结合到图匹配过程中，实现一种更灵活的多对多特征匹配方式。通过模块间的相互协作，本发明在遮挡行人图像数据集上可以达到良好的行人重识别效果。具体包括以下步骤：
1)设计行人特征提取模块，首先通过骨干网络提取其全局特征，同时，利用预训练好的人体姿态估计模型获取行人图像的人体关键点，并采用二维高斯核函数生成人体关键点所对应的热力图；然后，将生成的热力图和全局特征融合后进行局部池化操作，得到行人图像的特征表示；
2)设计高阶信息融合模块。为了有效抑制行人特征中的无效遮挡信息，增强有效语义信息的传递与融合，设计自适应方向超图卷积层ADHC。首先引入超图对人体的拓扑信息进行建模；随后，利用超图神经网络传递有意义的特征并且抑制遮挡部位的无效特征，对所有关键点区域进行特征的融合互补，从而获得更具辨别性的行人特征。
3)设计特征匹配模块。传统的基于局部特征一一匹配的相似度度量方法，对于遮挡行人图像不能实现行人图像部位间的有效匹配，为了更有效地进行行人相似度度量，设计超图匹配对齐层HGMA。首先通过高阶信息融合模块提取两幅待匹配行人图像的高阶特征，作为特征匹配模块的输入，随后在超图匹配对齐层中根据图匹配算法结合人体关节超图进行图像的相似性度量。
4)将行人特征提取模块损失，高阶信息融合模块损失，特征匹配模块损失作为总损失训练整个模型。
5)测试阶段，待测试行人图像先计算与底片库图像中的高阶特征相似度，并保留前n幅候选行人图像，再借助特征匹配模块对这n幅候选行人图像重新排序，综合两次排序结果得到最终的重识别结果。
进一步，所属步骤1)中的行人特征提取模块，获得行人局部特征，具体为：
1.1)首先，利用预训练好的人体关键点检测模型对输入图像进行检测，得到13个人体关键点位置，及相应关键点的置信度，置信度越低表示遮挡程度越高，然后在13个关键点位置施加二维高斯核函数，分别得到13幅人体关键点热力图；
1.2)其次，移除ResNet50中的全局平均池化层和全连接层后，将其作为模型的骨干网络，再将行人图像输入到骨干网络，以提取行人图像的全局特征F；
1.3)然后，将13幅关键点热力图分别与行人图像的全局特征图F经过外积和平均池化操作，得到行人的13个局部特征，将得到的行人局部特征与全局特征共同作为行人图像的一阶语义特征。
进一步，所属步骤2)中的高阶信息融合模块，将行人图像的一阶语义特征输入高阶信息融合模块进行学习，具体为：
2.1)首先，将13个人体关键点作为人体关节超图(HG，Hyper-graph)中的节点，将其中相关部位节点划为一条超边，最终划分出6条超边，以此得到人体关节超图。
2.2)然后，将行人特征提取模块获得的局部特征作为超图HG的节点特征，将节点特征与人体关节超图作为高阶信息融合模块的输入；
2.3)最后，在高阶信息融合模块中，经过两层的自适应方向超图卷积层进行特征的传递与融合，得到人体关节超图中13个节点对应的高阶特征。
进一步，所属步骤3)中的特征匹配模块，将高阶信息融合模块得到的高阶特征进一步输入到特征匹配模块中，学习一种特征间的多对多匹配策略。具体为：
3.1)首先，对于给定图像对，分别通过高阶信息融合模块得到各自人体关节超图中13个节点对应的高阶特征，作为特征匹配模块的输入；
3.2)其次，计算两幅超图节点间相似度，代表两幅超图的一阶关联关系，并计算两幅超图对应超边间的相似度，代表两幅超图的高阶关联关系；然后，分别利用一阶关联关系与高阶关联关系构造两幅超图的相似度匹配矩阵，并通过幂迭代法求匹配矩阵的最优解；
3.3)将求到的最优解矩阵化，得到两幅超图间的最优匹配策略。本发明采用超图存储行人图像关键点的拓扑信息，与传统图不同，超图中的超边不再仅由两个节点构成而是包含多个节点，可以更好地描述人体中部位间的拓扑关系；同时，在计算两幅行人图像间的相似度时，不仅考虑了图像间的一阶关联关系，即对应超图节点间的相似度，同时考虑了图像间的高阶关联关系，即超图对应超边间的相似度。因此，相对于基于节点间一一对应的硬匹配方式，本发明实现的是一种节点间的多对多匹配策略，可以有效地避免遮挡导致的行人图像匹配部位的错位问题。后续依据此匹配策略结合余弦距离即可计算两幅图像间相似度。
本发明提供了一种基于超图神经网络的遮挡行人重识别方法。首先引入特征提取模块，借助人体关键点检测模型得到具有更丰富判别信息的局部特征；高阶信息融合模块基于超图神经网络自适应融合行人局部特征，获得更具判别性的行人特征；在此基础上，特征匹配模块基于超图匹配对齐层，将人体拓扑信息结合到图匹配过程中，对遮挡行人图像进行更准确的相似性度量。通过三个模块的相互协作，本发明在遮挡行人图像数据集上可以达到良好的行人重识别效果。
有益效果
首先，本发明将超图的思想引入遮挡行人重识别，引入超图对人体的拓扑信息进行建模。普通图中的边只能描述节点间一对一的二元关系，而超图中的超边可以描述节点间多对多的多元关系，因此基于超图对人体的拓扑信息进行建模能更好地描述人体中相关部位存在的高度关联性；其次，为了有效抑制行人特征中的无效遮挡信息，增强有效语义信息的传递与融合，设计自适应方向超图卷积层ADHC，利用超图神经网络传递有意义的特征并且抑制遮挡部位的无效特征，对所有关键点区域进行特征的融合互补，从而获得更具辨别性的行人特征；最后，本发明设计的超图匹配对齐层不仅考虑对应超图节点间的相似度，同时考虑了超图对应超边间的相似度，从而实现的是一种节点间的多对多匹配策略，对于遮挡行人图像可以进行更准确的相似性度量。除此之外，本发明在遮挡行人图像上识别效果稳定，在行人重识别的公共数据集上取得了良好的识别效果。
附图说明
图1是本发明基于超图神经网络的遮挡行人重识别方法的流程图；
图2是本发明基于超图神经网络的遮挡行人重识别方法的网络结构图；
图3是本发明中人体关节拓扑信息建模图；
图4是本发明基于超图神经网络的遮挡行人重识别方法在Occluded-DukeMTMC上测试的结果图。
具体实施方式
本发明提出一种基于超图神经网络的遮挡行人重识别方法。在训练阶段，对于输入的行人图像，首先通过骨干网络ResNet50提取其全局特征，同时，利用预训练好的人体姿态估计模型获取行人图像的人体关键点，并采用二维高斯核函数生成人体关键点所对应的热力图；然后，将生成的热力图和全局特征融合后进行局部池化操作，得到行人图像的特征表示；随后将获得的行人图像特征，输入两层自适应超图卷积层，基于超图神经网络进行特征融合；最后利用超图匹配对齐层进行行人特征匹配和相似度度量；最后，将特征提取模块、高阶信息融合模块和特征匹配模块三者损失之和作为总损失训练整个模型。在测试阶段，综合考虑高阶信息融合模块的匹配结果与特征匹配模块结果，得到最终重识别结果。应用本发明，解决了现有遮挡行人重识别方法特征表示力不强、无法深入挖掘遮挡行人判别信息的问题。本发明适用于遮挡的行人重识别，具有良好的鲁棒性，识别精度较高。
下面结合具体实例以及附图对本发明进行更详细阐述。
本发明包括以下步骤：
1)首先获取数据集Occluded-DukeMTMC。该数据集是从完整行人重识别数据集DukeMTMC-reID中筛选出不重叠的遮挡行人图像得到的。该数据集包含15618幅训练图像、17661幅底片库图像和2210幅遮挡行人查询图像；
2)对数据集进行预处理。对于给定尺寸大小为H×W的输入行人图像，当前初始图像大小为H×W×3，首先将其调整为256×128×3的图像大小，并通过随机擦除、随机翻转和随机裁剪的方式进行数据增强；
3)构建特征提取模块，输入的行人图像经过人体关键点检测得到关键点部位热力图，同时，输入的行人图像经过骨干网络后，得到全局特征图，然后将人体关键点区域热力图结合全局特征图得到包含遮挡信息的行人局部特征，具体为：
3.1)首先，对于给定大小为256×128×3的行人图像，首先通过在COCO数据集预先训练好的人体关键点检测模型对行人图像进行检测，得到17个人体关键点，进一步将左眼和右眼、左耳和右耳、以及鼻子5个关键点融合为一个头部关键点，最终得到行人图像的13个人体关键点及其置信度；其次，将二维高斯核函数分别作用于13个人体关键点，生成对应的13幅热力图Mi,i＝1,…,13，分别表示头部、肩部、肘部、腕部、胯部、膝盖和脚踝等部位；
3.2)同时，移除ResNet50中的全局平均池化层和全连接层后，将其作为模型的骨干网络，以提取行人图像的全局特征F。然后，将13幅关键点热力图Mi分别与行人图像的全局特征图F经过外积和平均池化操作，得到行人的局部特征行人图像的全局特征图F经过平均池化操作，得到全局特征/>最后，将得到的行人局部特征/>和全局特征/>进行concat操作，获得行人图像的一阶语义特征VS；
3.3)行人特征提取模块的损失函数Ls由分类损失Lcls和三元组损失Ltri构成，通过分类损失Lcls，训练k+1个分类器，实现对行人的13个局部特征和一个全局特征的标签预测；利用三元组损失Ltri拉近正样本对之间的距离，扩大负样本对之间的距离。具体表达式为：
其中，βi表示第i个人体关键点的置信度，k表示超图HG中节点数量，k＝13。
4)构建高阶信息融合模块，行人特征提取模块基于行人图像的人体关键点信息，获得人体局部区域的一阶语义特征，然而行人图像的遮挡会导致部分语义信息的缺失，因此，需要进一步提取行人图像更具判别性的特征。因此，本文将超图引入行人重识别，设计高阶信息融合模块提取行人图像的高阶特征，具体为：
4.1)首先，将13个人体关键点作为超图HG中的节点；然后，将头部和肩的3个节点，n1,n2,n3，构成超边e1；将肩和肘的四个节点n2,n3,n4,n5构成超边e2；将肩部和胯部的四个节点n2,n3,n8,n9构成超边e3；将肘部和腕部的四个节点n4,n5,n6,n7构成超边e4；将胯部和膝盖的四个节点n8,n9,n10,n11构成超边e5；将膝盖和脚踝的四个节点n10,n11,n12,n13构成超边e6；最后，得到人体关节超图HG；
4.2)其次，根据得到的人体关节超图HG生成对应的关联矩阵H，H维度为13×6，描述13个节点以及六条超边的关联关系，若某个节点存在于某一条超边中，则将矩阵H对应位置记为1，否则记为0；
4.3)然后，将行人特征提取模块获得的局部特征Vl S作为超图HG的节点特征 作为超图HG的全局特征/> 其中k和c分别表示超图HG中节点数量和特征通道数，超图HG的节点超边关联矩阵为H，H∈{0,1}k×m，其中，k和m分别表示超图HG中节点和超边的数量；其次，将超边中所有节点特征的平均作为某一超边的特征，以此得到超边特征矩阵VE，VE∈Rm×c,其中，m和c分别表示超图HG中的超边数量和特征通道数，并基于节点特征与其所处超边特征的差异性，动态地更新节点超边关联矩阵H中节点在对应超边中的权重，以此得到自适应关联矩阵Hadp，具体公式为：
其中，Repeat表示矩阵扩维操作，将VE和统一扩维至k×m×c维度，abs,bn,fc分别表示取绝对值、批归一化和全连接层。
4.4)紧接着，基于超图节点特征Vl in和自适应关联矩阵Hadp，通过超图卷积后，得到特征Oadp∈Rk×c，具体公式为：
其中，Dv是超图的节点度矩阵，De是超图的边度矩阵，W＝diag(w1,...,wk)是对角矩阵，θ∈Rc×c是模型学习的参数。
Dv和De的具体计算方式如为：
其中，H表示人体关节超图HG生成对应的关联矩阵，k和m分别表示超图HG中节点和超边的数量。
4.5)为了让训练更加稳定，将输入的超图节点特征Vl in与Oadp进行融合，将融合后的特征与输入的全局特征进行concat，得到Vout，具体公式为：
其中，h(·)表示自适应方向超图卷积层，f1,f2分别表示2个全连接层，Vin是由Vl in和组成；
4.6)最后，在高阶信息融合模块中，将两层自适应方向超图卷积层进行级联，得到融合后的高阶特征VR。具体表达式为：
VR＝h(h(VS))
其中，h(·)表示自适应方向超图卷积层，VS表示行人图像的一阶语义特征。
4.7)高阶信息融合模块的损失LR是基于分类损失和三元组损失进行设计，对13个经过高阶信息融合模块后的高阶特征进行分类损失和三元组损失计算，具体表达式为：
其中，βi表示第i个关键点的置信度，k表示人体关键点个数，k＝13。
5)构建特征匹配模块，高阶信息融合模块基于人体关节的拓扑结构获得图像更具判别性的高阶特征，虽然可以在一定程度上解决遮挡所导致的部分语义信息缺失问题，但是，对于行人图像被严重遮挡的情况，传统的基于局部特征的图像相似度计算方式不能准确地获得遮挡行人图像之间的相似度。为了有效地解决遮挡给特征匹配带来的误差，超图匹配对齐层基于高阶信息融合模块所建立的人体关节超图，将人体拓扑信息结合到图匹配过程中，让未遮挡部分尽可能参与更多的匹配，从而使得图匹配网络学习的是一种特征间的多对多匹配策略，具体为：
5.1)首先，对于给定图像对x1,x2，结合人体拓扑信息获得超图HG1＝(V1,E1),HG2＝(V2,E2)，其中V1,V2分别表示行人图像关键点对应的节点集合，E1,E2分别表示行人图像关键点对应的超边集合；
5.2)其次，对于E1中的每条超边，依次计算该超边内两两节点(i,j)与E2中对应超边内两两节点(a,b)间的匹配度，从而得到相似度矩阵M∈[0,1]kk×kk,其中Mia；jb表示HG1中的节点对(i,j)和HG2中的节点对(a,b)之间的匹配度，对于不在任意超边内的节点对，将其在相似度矩阵M中对应元素设为0，因此M中对角线上的元素表示HG1和HG2节点间的匹配度，非对角线上的元素表示两幅超图节点对间的匹配度。、
相似度矩阵M的具体计算公式为：
其中，diag(·)表示将括号内的向量作为主对角线上元素构造对角矩阵，vec(·)表示将括号内的矩阵向量化，表示克罗内克积，MV∈[0,1]k×k表示超图HG1和HG2节点间的相似度，代表两幅行人图像间的一阶关联关系，ME∈[0,1]m×m表示超图HG1和HG2对应超边间的相似度，代表两幅行人图像间的高阶关联关系，H表示超图的节点超边关联矩阵；
5.3)然后，令U∈[0,1]k×k为HG1和HG2间的一种匹配策略，其中uia表示节点vi∈V1与va∈V2间的匹配度。首先初始化U为k×k的单位矩阵U0，并将U0中的元素按照行列依次展开得到指标向量U′0，然后采用幂迭代算法基于相似度矩阵M迭代更新U′0，其迭代更新过程为：
则U′的最优值为：
将求得的向量U′*矩阵化得到矩阵U*，即为HG1和HG2间的最优匹配策略；
5.4)最后，将求得的最优匹配策略U*进行双向随机归一化，再经过激活函数softmax，得到最终的匹配矩阵Uf∈[0,1]k×k：
其中，表示softmax激活函数；
5.5)在得到匹配矩阵Uf后，结合特征余弦距离矩阵D，得到图像x1和x2之间的相似度SM：
其中，V1 R,V2 R分别表示待匹配图像x1,x2的高阶特征，矩阵D中的元素是高阶特征V1 R和V2 R中局部特征间的余弦相似度，即 分别表示图像x1,x2对应高阶特征中的第i个和第j个局部特征，/>表示图像x1的全局特征；
5.6)特征匹配模块的损失函数LM由匹配损失Lmat和验证损失Lver构成：
Lmat＝-U′*TMU′*
LM＝μmatLmat+μverLver
其中，U′*是采用幂迭代算法求得的超图HG1和HG2间最优匹配策略U*对应的向量表示，M是两幅超图间的相似度矩阵，表示图像x1和x2间的相似度，当x1和x2是同一行人的图像时，y为1，否则为0，μmat和μver分别表示匹配损失Lmat和验证损失Lver的权值。
6)对整个遮挡行人重识别模型进行训练，假设数据集为Occluded-DukeMTMC，训练的具体方式如下：
6.1)首先进行预处理。对Occluded-DukeMTMC中的行人图像进行预处理，将输入图像的尺寸调整为256×128，并进行随机水平翻转、填充10像素、随机裁剪和随机擦除等数据增强操作。在COCO数据集上预训练人体关键点检测模型HR-Net，供后续使用；
6.2)将预处理好的Occluded-DukeMTMC训练集送入模型进行训练；
6.3)设置训练参数，每批次训练样本数batch-size为64，训练120个epoch，初始学习率为3.5e-4，并分别在第40个和第70个epoch将学习率减小为3.5e-5和3.5e-6；
6.4)其中，训练数据首先通过特征提取模块提取一阶语义特征，并使用3.3)的损失函数进行计算，随后将得到的一阶语义特征送入高阶信息融合模块得到高阶特征，并使用4.4)的损失函数进行计算，最后将高阶特征送入特征匹配模块，根据5.6)中的损失函数进行匹配策略学习。最后将行人特征提取模块损失函数LS、高阶信息融合模块LR和特征匹配模块损失LM的和作为模型的总损失：
L＝LS+LR+LM
7)测试阶段，将Occluded-DukeMTMC的测试集送入模型进行测试。在测试阶段，对于给定图像Iq,首先分别计算图像Iq和行人图像库gallery中所有图像的高阶特征相似度SR，然后保留相似度最高的n幅行人图像，再依次计算图像Iq和该n幅行人图像的最终相似度S，最后根据最终相似度S，输出相应的行人图像作为测试结果，并得出模型性能评价结果mAP、rank-1、rank-5和rank-10。
本发明在Intel(R)Xeon(R)E5-2620 v3 2.40GHz CPU、两个NVIDIA GeForce GTX1080 Ti GPU和Win10 64位操作系统下，基于PyTorch0.4.1开源框架和Python语言实现。

Claims (4)

1.一种基于超图神经网络的遮挡行人重识别方法，利用超图对人体拓扑结构进行建模，并挖掘更具判别性的行人特征表示，包括以下步骤：
1)设计行人特征提取模块，首先通过骨干网络提取其全局特征，同时，利用预训练好的人体姿态估计模型获取行人图像的人体关键点，并采用二维高斯核函数生成人体关键点所对应的热力图；然后，将生成的热力图和全局特征融合后进行局部池化操作，得到行人图像的特征表示；
2)设计高阶信息融合模块，并提出自适应方向超图卷积层；首先引入超图对人体的拓扑信息进行建模；随后，利用超图神经网络传递有意义的特征并且抑制遮挡部位的无效特征，对所有关键点区域进行特征的融合互补，从而获得更具辨别性的行人特征；
3)设计特征匹配模块，提出超图匹配对齐层HGMA；首先通过高阶信息融合模块提取两幅待匹配行人图像的高阶特征，作为特征匹配模块的输入，随后在超图匹配对齐层中根据图匹配算法结合人体关节超图进行图像的相似性度量；
4)将行人特征提取模块损失，高阶信息融合模块损失，特征匹配模块损失作为总损失训练整个模型；
5)测试阶段，待测试行人图像先计算与底片库图像中的高阶特征相似度，并保留前n副候选行人图像，再借助特征匹配模块对这n副候选行人图像重新排序，综合两次排序结果得到最终的重识别结果。
2.根据权利要求1所述的一种基于超图神经网络的遮挡行人重识别方法，其特征在于所述步骤1)的行人特征提取模块，获得更具判别性的特征表示，具体为：
1.1)首先，利用预训练好的人体关键点检测模型对输入图像进行检测，得到13幅人体关键点热力图及相应关键点的置信度，置信度越低表示遮挡程度越高；
1.2)其次，移除ResNet50中的全局平均池化层和全连接层后，将其作为模型的骨干网络，再将行人图像输入到骨干网络，以提取行人图像的全局特征F；
1.3)然后，将13幅关键点热力图分别与行人图像的全局特征F经过外积和平均池化操作，得到行人的13个局部特征，将得到的行人局部特征与全局特征共同作为行人图像的一阶语义特征。
3.根据权利要求1所述的一种基于超图神经网络的遮挡行人重识别方法，其特征在于所述步骤2)的高阶信息融合模块，利用超图神经网络进一步传递融合局部特征，具体为：
2.1)首先，将13个人体关键点作为人体关节超图HG中的节点；然后，将头部和肩的3个节点，n1,n2,n3，构成超边e1；将肩和肘的四个节点n2,n3,n4,n5构成超边e2；将肩部和胯部的四个节点n2,n3,n8,n9构成超边e3；将肘部和腕部的四个节点n4,n5,n6,n7构成超边e4；将胯部和膝盖的四个节点n8,n9,n10,n11构成超边e5；将膝盖和脚踝的四个节点n10,n11,n12,n13构成超边e6；最后，得到人体关节超图HG；
2.2)其次，根据得到的人体关节超图HG生成对应的关联矩阵H，H维度为13×6，描述13个节点以及六条超边的关联关系，若某个节点存在于某一条超边中，则将矩阵H对应位置记为1，否则记为0；
2.3)然后，将行人特征提取模块获得的局部特征作为超图HG的节点特征Vl in，行人特征提取模块得到的全局特征将作为超图HG的全局特征将Vl in、/>与人体关节超图作为高阶信息融合模块的输入；
2.4)最后，在高阶信息融合模块中，将两层自适应方向超图卷积层进行级联，得到最终的高阶特征；自适应方向超图卷积用公式表示为：
其中，h(·)表示自适应方向超图卷积层，f1,f2分别表示2个全连接层，Vin是由Vl in和组成，Dv是超图的节点度矩阵，De是超图的边度矩阵，W＝diag(w1,...,wk)是对角矩阵，θ∈Rc×c是模型学习的参数，Hadp是自适应学习的关联矩阵，Vin是自适应方向超图卷积层的输入特征，对于第一层自适应方向超图卷积层其输入特征为行人特征提取模块的输出，对于第二层自适应方向超图卷积层其输入为第一层自适应方向超图卷积层的输出。
4.根据权利要求1所述的一种基于超图神经网络的遮挡行人重识别方法，其特征在于所述步骤3)的特征匹配模块，将高阶信息融合模块得到的高阶特征进一步输入到特征匹配模块中，学习一种特征间的多对多匹配策略，具体为：
3.1)首先，对于给定图像对，结合人体拓扑信息获得超图HG1＝(V1,E1),HG2＝(V2,E2)，其中V1,V2分别表示行人图像关键点对应的节点集合，E1,E2分别表示行人图像关键点对应的超边集合；然后，分别通过高阶信息融合模块得到其高阶特征，并作为各自的超图节点特征输入到特征匹配模块；
3.2)其次，计算超图HG1和HG2节点间相似度，代表两幅超图的一阶关联关系，并计算两幅超图对应超边间相似度，代表两幅超图的高阶关联关系；然后，利用一阶关联关系与高阶关联关系构造两幅超图的相似度匹配矩阵，并通过幂迭代法求匹配矩阵的最优解；
相似度匹配矩阵具体计算公式为：
其中，diag(·)表示将括号内的向量作为主对角线上元素构造对角矩阵，vec(·)表示将括号内的矩阵向量化，表示克罗内克积，MV∈[0,1]k×k表示超图HG1和HG2节点间的相似度，代表两幅行人图像间的一阶关联关系，ME∈[0,1]m×m表示超图HG1和HG2对应超边间的相似度，代表两幅行人图像间的高阶关联关系，H表示超图的节点超边关联矩阵；
3.3)将求得的匹配矩阵的最优解进行矩阵化，得到两幅超图间最优匹配策略；
采用超图存储行人图像关键点的拓扑信息，超图中的超边不再仅由两个节点构成而是包含多个节点，描述人体中部位间的拓扑关系；在计算两幅行人图像间的相似度时，考虑图像间的一阶关联关系，即对应超图节点间的相似度，同时考虑了图像间的高阶关联关系，即超图对应超边间的相似度；
3.4)依据获得的两幅超图间最优匹配策略，结合余弦距离，计算两幅图像间相似度。
CN202210052859.1A 2022-01-18 2022-01-18 一种基于超图神经网络的遮挡行人重识别方法 Active CN114419671B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210052859.1A CN114419671B (zh) 2022-01-18 2022-01-18 一种基于超图神经网络的遮挡行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210052859.1A CN114419671B (zh) 2022-01-18 2022-01-18 一种基于超图神经网络的遮挡行人重识别方法

Publications (2)

Publication Number Publication Date
CN114419671A CN114419671A (zh) 2022-04-29
CN114419671B true CN114419671B (zh) 2024-03-26

Family

ID=81273480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210052859.1A Active CN114419671B (zh) 2022-01-18 2022-01-18 一种基于超图神经网络的遮挡行人重识别方法

Country Status (1)

Country Link
CN (1) CN114419671B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620270A (zh) * 2022-09-28 2023-01-17 华能伊敏煤电有限责任公司 基于图像识别的斗轮损伤判定方法及其系统
CN115565207B (zh) * 2022-11-29 2023-04-07 武汉图科智能科技有限公司 一种融合特征模仿的遮挡场景下行人检测方法
CN115761812A (zh) * 2022-12-09 2023-03-07 北京信息科技大学 基于图模型和可变形卷积的遮挡行人重识别方法
CN115937906B (zh) * 2023-02-16 2023-06-06 武汉图科智能科技有限公司 一种基于遮挡抑制和特征重建的遮挡场景行人重识别方法
CN115830643B (zh) * 2023-02-17 2023-05-09 石家庄铁道大学 一种姿势引导对齐的轻量行人重识别方法
CN116843656B (zh) * 2023-07-06 2024-03-15 安徽正汇汽配股份有限公司 钢带管的涂塑控制方法及其系统
CN116612298B (zh) * 2023-07-18 2023-10-13 西华大学 一种基于局部关键点的行人特征掩膜生成方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6830707B1 (ja) * 2020-01-23 2021-02-17 同▲済▼大学 ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法
CN113361334A (zh) * 2021-05-18 2021-09-07 山东师范大学 基于关键点优化和多跳注意图卷积行人重识别方法及系统
CN113792768A (zh) * 2021-08-27 2021-12-14 清华大学 超图神经网络分类方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6830707B1 (ja) * 2020-01-23 2021-02-17 同▲済▼大学 ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法
CN113361334A (zh) * 2021-05-18 2021-09-07 山东师范大学 基于关键点优化和多跳注意图卷积行人重识别方法及系统
CN113792768A (zh) * 2021-08-27 2021-12-14 清华大学 超图神经网络分类方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深层特征融合的行人重识别方法;熊炜;熊子婕;杨荻椿;童磊;刘敏;曾春艳;;计算机工程与科学;20200215(第02期);全文 *

Also Published As

Publication number Publication date
CN114419671A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN114419671B (zh) 一种基于超图神经网络的遮挡行人重识别方法
CN108960140B (zh) 基于多区域特征提取和融合的行人再识别方法
CN107066559B (zh) 一种基于深度学习的三维模型检索方法
CN110533048B (zh) 基于全景区域场景感知的组合语义层次连接模型的实现方法及系统
CN109919245B (zh) 深度学习模型训练方法及装置、训练设备及存储介质
US7711157B2 (en) Artificial intelligence systems for identifying objects
CN105138998B (zh) 基于视角自适应子空间学习算法的行人重识别方法及系统
CN108229347B (zh) 用于人识别的拟吉布斯结构采样的深层置换的方法和装置
CN111814719A (zh) 一种基于3d时空图卷积的骨架行为识别方法
CN111709311A (zh) 一种基于多尺度卷积特征融合的行人重识别方法
CN111738091A (zh) 一种基于多任务深度学习的姿态估计与人体解析系统
CN112288011A (zh) 一种基于自注意力深度神经网络的图像匹配方法
Pasqualino et al. An unsupervised domain adaptation scheme for single-stage artwork recognition in cultural sites
CN111414875B (zh) 基于深度回归森林的三维点云头部姿态估计系统
CN113743544A (zh) 一种跨模态神经网络构建方法、行人检索方法及系统
CN115311619A (zh) 一种基于深度学习的遮挡行人重识别方法
Banzi et al. Learning a deep predictive coding network for a semi-supervised 3D-hand pose estimation
Zahid et al. Pedestrian identification using motion-controlled deep neural network in real-time visual surveillance
Ravi et al. Sign language recognition with multi feature fusion and ANN classifier
CN111695460A (zh) 一种基于局部图卷积网络的行人再识别方法
CN114494594A (zh) 基于深度学习的航天员操作设备状态识别方法
CN116821391A (zh) 一种基于多级别语义对齐的跨模态图文检索方法
Séguier et al. Multiobjectives genetic snakes: application on audio-visual speech recognition
CN116597177A (zh) 一种基于双分支并行深度交互协同的多源图像块匹配方法
Pan et al. View-normalized skeleton generation for action recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant