CN111428562B - 一种基于部件引导图卷积网络的行人再识别方法 - Google Patents

一种基于部件引导图卷积网络的行人再识别方法 Download PDF

Info

Publication number
CN111428562B
CN111428562B CN202010111682.9A CN202010111682A CN111428562B CN 111428562 B CN111428562 B CN 111428562B CN 202010111682 A CN202010111682 A CN 202010111682A CN 111428562 B CN111428562 B CN 111428562B
Authority
CN
China
Prior art keywords
pedestrian
graph
training
image
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010111682.9A
Other languages
English (en)
Other versions
CN111428562A (zh
Inventor
张重
张海佳
刘爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Normal University
Original Assignee
Tianjin Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Normal University filed Critical Tianjin Normal University
Priority to CN202010111682.9A priority Critical patent/CN111428562B/zh
Publication of CN111428562A publication Critical patent/CN111428562A/zh
Application granted granted Critical
Publication of CN111428562B publication Critical patent/CN111428562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于部件引导图卷积网络的行人再识别方法,该方法包括:构建特征提取模块,得到训练行人图像同一区域的局部特征;构建图卷积模块,得到训练行人图像同一区域的类间和类内局部图卷积特征;构建特征嵌入模块得到两者的串联特征及降维之后的最终特征;构建损失计算模块,利用损失值对于由上述模块组成的行人再识别模型优化,得到最优行人再识别模型;利用最优行人再识别模型计算查询图像和行人库图像的最终特征计算图像之间的相似度,得到行人再识别结果。本发明充分利用卷积神经网络和图卷积网络的优势,学习行人图像的类间局部关系和类内局部关系,最终融合图卷积特征来表示行人图像,进一步提高了行人再识别的匹配正确率。

Description

一种基于部件引导图卷积网络的行人再识别方法
技术领域
本发明属于计算机视觉、模式识别、人工智能领域,具体涉及一种基于部件引导图卷积网络的行人再识别方法。
背景技术
近年来,行人再识别广泛应用在人体行为分析,多目标识别等领域,因此得到了学术界和工业界的广泛关注。它主要研究在不同摄像机下搜索相同行人的方法。然而由于真实场景中行人姿态、衣着、光照以及摄像机角度变化较大,使得行人再识别技术面临巨大的挑战。
最近,基于部件信息的行人再识别模型性能取得了显著的提升,一些研究人员通过将行人图像或者特征图划分为均匀区域来提取行人的结构信息。Sun等人将特征图划分为一些均匀条并将其池化,从而获得局部特征。Quan等人设计了一个区域-感知模块来学习行人结构信息,该方法首先将特征图划分为若干区域,然后采用注意力机制来学习更详细的区域信息。然而,这些直接划分策略容易造成匹配不精准,因此,Wei等人借助姿态检测技术定位人体四个关键点,然后将行人图像分为三个区域,从而校准局部区域。Guo等人利用人体分析模型来获得语义区域掩膜,然后使用人体区域分支来提取区域对齐特征。除此之外,为了充分利用全局特征和局部特征的优点,一些研究者将其融合来表示行人图像。Li等人设计了联合学习多损失卷积神经网络模型,从而提取全局和局部特征,然后利用联合学习机制来学习局部和全局特征之间的互补信息。Zheng等人提出粗糙-精细金字塔,从而捕捉不同尺度的判别信息,并利用判别损失和三元组损失来学习全局和多尺度局部特征。
以上这些基于区域的行人再识别方法忽视了行人图像间同一区域的类间局部关系和行人图像内不同区域的类内局部关系,削弱了局部特征的表示能力。
发明内容
本发明的目的是要解决行人图像间同一区域的类间局部关系和行人图像内不同区域的类内局部关系无法有效学习的技术问题,为此,本发明提供一种基于部件引导图卷积网络的行人再识别方法。
为了实现所述目的,本发明提出的一种基于部件引导图卷积网络的行人再识别方法包括以下步骤:
步骤S1,利用预训练深度学习模型构建特征提取模块,将训练行人图像输入所述特征提取模块,得到所述训练行人图像的同一区域的P个局部特征;
步骤S2,构建图卷积模块,将所述训练行人图像的同一区域的P个局部特征作为图的节点,构建类间局部图、类间局部图的邻接矩阵、类内局部图和类内局部图的邻接矩阵,利用所述图卷积模块对所述类间局部图和类间局部图的邻接矩阵进行图卷积操作,得到所述训练行人图像的同一区域的类间局部图卷积特征,利用所述图卷积模块对所述类内局部图和类内局部图的邻接矩阵进行图卷积操作,得到所述训练行人图像的同一区域的类内局部图卷积特征;
步骤S3,构建特征嵌入模块,利用所述特征嵌入模块将所述训练行人图像的同一区域的类间局部图卷积特征和类内局部图卷积特征进行串联操作得到串联特征,并利用独立的全连接层对于所述串联特征进行降维操作,得到所述训练行人图像的P个最终特征;
步骤S4,构建损失计算模块,将所述训练行人图像的P个最终特征输入到所述损失计算模块中,利用得到的损失值对于由所述特征提取模块、图卷积模块、特征嵌入模块和损失计算模块组成的行人再识别模型进行优化,得到最优行人再识别模型;
步骤S5,在测试阶段,利用所述最优行人再识别模型计算得到查询图像和行人库图像的最终特征,并结合所述查询图像的第p个区域的可见度计算得到所述查询图像和行人库图像之间的相似度,得到行人再识别结果。
可选地,所述步骤S1包括以下步骤:
步骤S11,确定预训练深度学习模型,并对其进行参数初始化,去掉所述预训练深度学习模型中最后的全局池化层和全连接层,得到所述特征提取模块;
步骤S12,对训练集中的训练行人图像进行预处理;
步骤S13,将预处理后得到的训练行人图像输入所述特征提取模块中,得到所述训练行人图像的预设数量的特征图;
步骤S14,基于得到的特征图执行平均池化得到所述训练行人图像的同一区域的P个局部特征。
可选地,所述步骤S2包括以下步骤:
步骤S21,将得到的训练行人图像的同一区域的P个局部特征作为节点构建类间局部图,并利用所述局部特征的相似度构建类间局部图的邻接矩阵;
步骤S22,将得到的训练行人图像的同一区域的P个局部特征作为节点构建类内局部图,并利用所述局部特征的相邻关系构建类内局部图的邻接矩阵;
步骤S23,利用所述图卷积模块对所述类间局部图和类间局部图的邻接矩阵进行图卷积操作,得到类间局部图卷积特征;
步骤S24,利用所述图卷积模块对所述类内局部图和类内局部图的邻接矩阵进行图卷积操作,得到类内局部图卷积特征。
可选地,所述类间局部图的邻接矩阵表示为:
Figure BDA0002390240340000031
其中,Sp∈RN×N,N是一个小批量训练行人图像的数量,
Figure BDA0002390240340000041
表示行人图像Ia和Ib在第p个区域上的相似度,
Figure BDA0002390240340000042
cos_dist(·)表示余弦距离,
Figure BDA0002390240340000043
Figure BDA0002390240340000044
分别表示行人图像Ia和Ib在第p个区域上的局部特征。
可选地,所述类内局部图的邻接矩阵表示为:
T=[tij],
其中,T∈RP×P,tij表示第i个区域和第j个区域的相邻关系,当第i个区域和第j个区域不相邻时,tij=0;否则,tij≠0。
可选地,所述步骤S23中的图卷积操作有L1层,每层图卷积操作以上一层输出的类间局部图卷积特征和类间局部图的邻接矩阵作为输入,其中,第l层的图卷积操作表示为:
Figure BDA0002390240340000045
其中,
Figure BDA0002390240340000046
是第l层图卷积操作输出的类间局部图卷积特征,Sp是第p个区域类间局部图的邻接矩阵,
Figure BDA0002390240340000047
是第l-1层图卷积操作输出的类间局部图卷积特征,Ul-1是第l-1层图卷积操作中待训练的参数,σ(·)是修正线性单元。
可选地,所述步骤S24中的图卷积操作有L2层,每层图卷积操作以上一层输出的类内局部图卷积特征和类内局部图的邻接矩阵作为输入,其中,第l层的图卷积操作表示为:
Yl=σ(TYl-1Vl-1),
其中,Yl是第l层图卷积操作输出的类内局部图卷积特征,T是第p个区域类内局部图的邻接矩阵,Yl-1是第l-1层图卷积操作输出的类内局部图卷积特征,Vl-1是第l-1层图卷积操作中待训练的参数。
可选地,所述步骤S3包括以下步骤:
步骤S31,利用所述特征嵌入模块将得到的所述训练行人图像的同一区域的类间局部图卷积特征和类内局部图卷积特征进行串联操作,得到串联特征Zp
步骤S32,将所述串联特征输入到独立的全连接层进行降维操作,得到所述训练行人图像的P个最终特征。
可选地,所述步骤S4包括以下步骤:
步骤S41,构建损失计算模块,并利用所述损失计算模块计算所述训练行人图像的P个最终特征的损失,其中,所述损失计算模块包括全连接层和损失函数;
步骤S42,利用所述训练行人图像的P个区域的可见度,对所述训练行人图像的P个最终特征的损失相加求和,得到总损失函数,利用所述总损失函数对所述行人再识别模型进行优化,得到最优行人再识别模型。
可选地,所述总损失函数Loss表示为:
Figure BDA0002390240340000051
其中,Lp表示所述训练行人图像的第p个区域的最终特征的损失,vp表示所述训练行人图像的第p个区域的可见度,当所述训练行人图像的第p个区域为可见时,vp=1,否则vp=0。
本发明的有益效果为:本发明通过卷积神经网络学习了行人图像的局部特征,并利用这些局部特征构建类间局部图和类内局部图,从而实现同时学习类间局部关系和类内局部关系,改善了局部特征的表示能力和完备性,提高了行人再识别搜索的正确率。
需要说明的是,本发明得到了国家自然科学基金项目No.61711530240,天津市自然科学基金重点项目No.19JCZDJC31500,模式识别国家重点实验室开放课题基金No.202000002和天津市高等教育创新团队基金项目的资助。
附图说明
图1是根据本发明一实施例的一种基于部件引导图卷积网络的行人再识别方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
图1是根据本发明一实施例的一种基于部件引导图卷积网络的行人再识别方法的流程图,下面以图1为例来说明本发明的一些具体实现流程,如图1所示,所述基于部件引导图卷积网络的行人再识别方法包括以下步骤:
步骤S1,利用预训练深度学习模型构建特征提取模块,将训练行人图像输入所述特征提取模块,得到所述训练行人图像的同一区域的P个局部特征;
进一步地,所述步骤S1包括以下步骤:
步骤S11,确定预训练深度学习模型,并对其进行参数初始化,去掉所述预训练深度学习模型中最后的全局池化层和全连接层,得到所述特征提取模块;
在本发明一实施例中,所采用的预训练深度学习模型可以为ResNet-50,仅选择该模型中最后一个整体池化之前的模型成分,即去掉所述预训练深度学习模型中最后的全局池化层和全连接层,其中,将ResNet-50模型中第四个块的步长由原来默认的2改为1。
步骤S12,对训练集中的训练行人图像进行预处理;
在本发明一实施例中,对所述训练行人图像进行预处理包括:将训练行人图像的大小裁剪为预设大小,比如384×128,并把所述训练行人图像所有的像素值按比例缩小至预设范围内,比如0到1之间,然后将所述训练行人图像中的每个像素值减去所述训练行人图像的像素平均值,再除以所述训练行人图像的像素方差。
步骤S13,将预处理后得到的训练行人图像输入所述特征提取模块中,得到所述训练行人图像的预设数量的特征图;
在本发明一实施例中,所述特征图的数量为2048,大小为24×8,其中,24为特征图的高度,8为特征图的宽度。
步骤S14,基于得到的特征图执行平均池化得到所述训练行人图像的同一区域的P个局部特征fp∈R2048(p=1,2,…,P);
在本发明一实施例中,P=6,经过平均池化后将会获得6个局部特征fp∈R2048(p=1,2,…,6),其中,所述平均池化是本领域技术人员应当熟练掌握的技术,在此不再赘述。
步骤S2,构建图卷积模块,将所述训练行人图像的同一区域的P个局部特征作为图的节点,构建类间局部图、类间局部图的邻接矩阵、类内局部图和类内局部图的邻接矩阵,利用所述图卷积模块对所述类间局部图和类间局部图的邻接矩阵进行图卷积操作,得到所述训练行人图像的同一区域的类间局部图卷积特征,利用所述图卷积模块对所述类内局部图和类内局部图的邻接矩阵进行图卷积操作,得到所述训练行人图像的同一区域的类内局部图卷积特征;
进一步地,所述步骤S2包括以下步骤:
步骤S21,将得到的训练行人图像的同一区域的P个局部特征作为节点构建类间局部图,并利用所述局部特征的相似度构建类间局部图的邻接矩阵;
在本发明一实施例中,类间局部图的邻接矩阵是以训练行人图像的同一区域的P个局部特征的相似度为基础得到的,其中,所述相似度算法可表示为:
Figure BDA0002390240340000071
其中,
Figure BDA0002390240340000072
表示行人图像Ia和Ib在第p个区域上的相似度,cos_dist(·)表示余弦距离,
Figure BDA0002390240340000073
Figure BDA0002390240340000074
分别表示行人图像Ia和Ib在第p个区域上的局部特征。
在本发明一实施例中,类间局部图的邻接矩阵可表示为:
Figure BDA0002390240340000075
其中,Sp∈RN×N,N是一个小批量训练行人图像的数量。
在本发明一实施例中,N=16。
步骤S22,将得到的训练行人图像的同一区域的P个局部特征作为节点构建类内局部图,并利用所述局部特征的相邻关系构建类内局部图的邻接矩阵;
在本发明一实施例中,类内局部图的邻接矩阵是以训练行人图像的同一区域的P个局部特征的相邻关系为基础得到的,其可表示为:
T=[tij],
其中,T∈RP×P,tij表示第i个区域和第j个区域的相邻关系,当第i个区域和第j个区域不相邻时,tij=0;否则,tij≠0,并且可进行更新。
步骤S23,利用所述图卷积模块对所述类间局部图和类间局部图的邻接矩阵进行图卷积操作,得到类间局部图卷积特征;
在本发明一实施例中,所述图卷积操作有L1层,每层图卷积操作以上一层输出的类间局部图卷积特征和类间局部图的邻接矩阵作为输入,其中,第l层的图卷积操作可表示为:
Figure BDA0002390240340000081
其中,
Figure BDA0002390240340000082
是第l层图卷积操作输出的类间局部图卷积特征,Sp是第p个区域类间局部图的邻接矩阵,
Figure BDA0002390240340000083
是第l-1层图卷积操作输出的类间局部图卷积特征,Ul-1是第l-1层图卷积操作中待训练的参数,σ(·)是修正线性单元。
在本发明一实施例中,所述L1层图卷积操作的输入特征可以初始化为N个行人图像的第p个区域的局部特征,即
Figure BDA0002390240340000084
在本发明一实施例中,L1=1,第一层图卷积操作输出的类间局部图卷积特征为Xp∈RN×2048
步骤S24,利用所述图卷积模块对所述类内局部图和类内局部图的邻接矩阵进行图卷积操作,得到类内局部图卷积特征。
在本发明一实施例中,所述图卷积操作有L2层,每层图卷积操作以上一层输出的类内局部图卷积特征和类内局部图的邻接矩阵作为输入,其中,第l层的图卷积操作可表示为:
Yl=σ(,TYl-1Vl-1),
其中,Yl是第l层图卷积操作输出的类内局部图卷积特征,T是第p个区域类内局部图的邻接矩阵,Yl-1是第l-1层图卷积操作输出的类内局部图卷积特征,Vl-1是第l-1层图卷积操作中待训练的参数。
在本发明一实施例中,所述L2层图卷积操作的输入特征可以初始化为单个行人图像的所有P个区域的局部特征,即Y0∈RP×2048
在本发明一实施例中,L2=1,第一层图卷积操作输出的类内图卷积特征为Y∈RP ×2048,对Y进行维度转换可以得到所有N个行人图像的第p个区域的图卷积特征,即Wp∈RN ×2048
步骤S3,构建特征嵌入模块,利用所述特征嵌入模块将所述训练行人图像的同一区域的类间局部图卷积特征和类内局部图卷积特征进行串联操作得到串联特征,并利用独立的全连接层对于所述串联特征进行降维操作,得到所述训练行人图像的P个最终特征;
进一步地,所述步骤S3包括以下步骤:
步骤S31,利用所述特征嵌入模块将得到的所述训练行人图像的同一区域的类间局部图卷积特征和类内局部图卷积特征进行串联操作,得到串联特征Zp
Figure BDA0002390240340000091
其中,Zp表示串联操作后第p个区域的串联特征,
Figure BDA0002390240340000092
表示串联操作。
在本发明一实施例中,Zp的维度为4096。
步骤S32,将所述串联特征输入到独立的全连接层进行降维操作,得到所述训练行人图像的P个最终特征,即ep∈Rd(p=1,2,…,P),其中,d表示所述最终特征的维度;
在本发明一实施例中,所述独立的全连接层的神经元数量为256,d=256。
步骤S4,构建损失计算模块,将所述训练行人图像的P个最终特征输入到所述损失计算模块中,利用得到的损失值对于由所述特征提取模块、图卷积模块、特征嵌入模块和损失计算模块组成的行人再识别模型进行优化,得到最优行人再识别模型;
进一步地,所述步骤S4包括以下步骤:
步骤S41,构建损失计算模块,并利用所述损失计算模块计算所述训练行人图像的P个最终特征的损失,其中,所述损失计算模块包括全连接层和损失函数;
在本发明一实施例中,在Market 1501数据库中进行训练时,所述全连接层的神经元数量为751。所述全连接层的输入为所述训练行人图像的P个最终特征,所述全连接层的输出接交叉熵损失函数Lp,即可得到所述训练行人图像的P个最终特征的损失,其中,所述交叉熵损失函数Lp可表示为:
Figure BDA0002390240340000101
其中,Lp表示所述训练行人图像的第p个区域的最终特征的损失,C表示训练集中的行人类别的总个数,pc(ep)是所述训练行人图像的第p个区域的最终特征的真实类别的数值,当c是真实类别时,pc(ep)=1;否则,pc(ep)=0,qc(ep)∈[0,1]表示所述训练行人图像的第p个区域的最终特征属于类别c的预测数值。
步骤S42,利用所述训练行人图像的P个区域的可见度,对所述训练行人图像的P个最终特征的损失相加求和,得到总损失函数,利用所述总损失函数对所述行人再识别模型进行优化,得到最优行人再识别模型,其中,所述总损失函数可表示为:
Figure BDA0002390240340000102
其中,vp表示所述训练行人图像的第p个区域的可见度,当所述训练行人图像的第p个区域为可见时,vp=1;否则vp=0,通过迭代计算,优化所述行人再识别模型的参数,以使得所述总损失函数Loss最小,得到所述最优行人再识别模型。
其中,可借助随机梯度下降法进行迭代计算。
步骤S5,在测试阶段,利用所述最优行人再识别模型计算得到查询图像Iq和行人库图像Ig的最终特征,并结合所述查询图像Iq的第p个区域的可见度计算得到所述查询图像Iq和行人库图像Ig之间的相似度,得到行人再识别结果。
其中,所述行人库图像Ig是已知行人识别结果的图像。
其中,所述查询图像Iq和行人库图像Ig之间的相似度可表示为:
Figure BDA0002390240340000111
其中,
Figure BDA0002390240340000112
是所述查询图像Iq的第p个区域的可见度,
Figure BDA0002390240340000113
是所述查询图像Iq和行人库图像Ig在第p个区域上最终特征之间的余弦距离。
以网上公开的行人再识别大型数据库作为测试对象,比如在Market 1501数据库上测试时,本发明行人再识别正确搜索率达到98.0%(rank-1)和94.8%(mAP)。本发明行人再识别方法有效地学习了行人图像的类间局部关系和类内局部关系,最终融合图卷积特征来表示行人图像,提高了局部特征的判别性,很大程度地提高了行人再识别正确搜索率,由此可见本发明方法的有效性。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种基于部件引导图卷积网络的行人再识别方法,其特征在于,所述方法包括以下步骤:
步骤S1,利用预训练深度学习模型构建特征提取模块,将训练行人图像输入所述特征提取模块,得到所述训练行人图像的同一区域的P个局部特征;
步骤S2,构建图卷积模块,将所述训练行人图像的同一区域的P个局部特征作为图的节点,构建类间局部图、类间局部图的邻接矩阵、类内局部图和类内局部图的邻接矩阵,利用所述图卷积模块对所述类间局部图和类间局部图的邻接矩阵进行图卷积操作,得到所述训练行人图像的同一区域的类间局部图卷积特征,利用所述图卷积模块对所述类内局部图和类内局部图的邻接矩阵进行图卷积操作,得到所述训练行人图像的同一区域的类内局部图卷积特征;
步骤S3,构建特征嵌入模块,利用所述特征嵌入模块将所述训练行人图像的同一区域的类间局部图卷积特征和类内局部图卷积特征进行串联操作得到串联特征,并利用独立的全连接层对于所述串联特征进行降维操作,得到所述训练行人图像的P个最终特征;
步骤S4,构建损失计算模块,将所述训练行人图像的P个最终特征输入到所述损失计算模块中,利用得到的损失值对于由所述特征提取模块、图卷积模块、特征嵌入模块和损失计算模块组成的行人再识别模型进行优化,得到最优行人再识别模型;
步骤S5,在测试阶段,利用所述最优行人再识别模型计算得到查询图像和行人库图像的最终特征,并结合所述查询图像的第p个区域的可见度计算得到所述查询图像和行人库图像之间的相似度,得到行人再识别结果。
2.根据权利要求1所述的方法,其特征在于,所述步骤S1包括以下步骤:
步骤S11,确定预训练深度学习模型,并对其进行参数初始化,去掉所述预训练深度学习模型中最后的全局池化层和全连接层,得到所述特征提取模块;
步骤S12,对训练集中的训练行人图像进行预处理;
步骤S13,将预处理后得到的训练行人图像输入所述特征提取模块中,得到所述训练行人图像的预设数量的特征图;
步骤S14,基于得到的特征图执行平均池化得到所述训练行人图像的同一区域的P个局部特征。
3.根据权利要求1所述的方法,其特征在于,所述步骤S2包括以下步骤:
步骤S21,将得到的训练行人图像的同一区域的P个局部特征作为节点构建类间局部图,并利用所述局部特征的相似度构建类间局部图的邻接矩阵;
步骤S22,将得到的训练行人图像的同一区域的P个局部特征作为节点构建类内局部图,并利用所述局部特征的相邻关系构建类内局部图的邻接矩阵;
步骤S23,利用所述图卷积模块对所述类间局部图和类间局部图的邻接矩阵进行图卷积操作,得到类间局部图卷积特征;
步骤S24,利用所述图卷积模块对所述类内局部图和类内局部图的邻接矩阵进行图卷积操作,得到类内局部图卷积特征。
4.根据权利要求3所述的方法,其特征在于,所述类间局部图的邻接矩阵表示为:
Figure FDA0003725648510000021
其中,Sp∈RN×N,N是一个小批量训练行人图像的数量,
Figure FDA0003725648510000031
表示行人图像Ia和Ib在第p个区域上的相似度,
Figure FDA0003725648510000032
cos_dist(·)表示余弦距离,
Figure FDA0003725648510000033
Figure FDA0003725648510000034
分别表示行人图像Ia和Ib在第p个区域上的局部特征。
5.根据权利要求3所述的方法,其特征在于,所述类内局部图的邻接矩阵表示为:
T=[tij],
其中,T∈RP×P,tij表示第i个区域和第j个区域的相邻关系,当第i个区域和第j个区域不相邻时,tij=0;否则,tij≠0。
6.根据权利要求3所述的方法,其特征在于,所述步骤S23中的图卷积操作有L1层,每层图卷积操作以上一层输出的类间局部图卷积特征和类间局部图的邻接矩阵作为输入,其中,第l层的图卷积操作表示为:
Figure FDA0003725648510000035
其中,
Figure FDA0003725648510000036
是第l层图卷积操作输出的类间局部图卷积特征,Sp是第p个区域类间局部图的邻接矩阵,
Figure FDA0003725648510000037
是第l-1层图卷积操作输出的类间局部图卷积特征,Ul-1是第l-1层图卷积操作中待训练的参数,σ(·)是修正线性单元。
7.根据权利要求3所述的方法,其特征在于,所述步骤S24中的图卷积操作有L2层,每层图卷积操作以上一层输出的类内局部图卷积特征和类内局部图的邻接矩阵作为输入,其中,第l层的图卷积操作表示为:
Yl=σ(TYl-1Vl-1),
其中,Yl是第l层图卷积操作输出的类内局部图卷积特征,T是第p个区域类内局部图的邻接矩阵,Yl-1是第l-1层图卷积操作输出的类内局部图卷积特征,Vl-1是第l-1层图卷积操作中待训练的参数,σ(·)是修正线性单元。
8.根据权利要求1所述的方法,其特征在于,所述步骤S3包括以下步骤:
步骤S31,利用所述特征嵌入模块将得到的所述训练行人图像的同一区域的类间局部图卷积特征和类内局部图卷积特征进行串联操作,得到串联特征Zp
步骤S32,将所述串联特征输入到独立的全连接层进行降维操作,得到所述训练行人图像的P个最终特征。
9.根据权利要求1所述的方法,其特征在于,所述步骤S4包括以下步骤:
步骤S41,构建损失计算模块,并利用所述损失计算模块计算所述训练行人图像的P个最终特征的损失,其中,所述损失计算模块包括全连接层和损失函数;
步骤S42,利用所述训练行人图像的P个区域的可见度,对所述训练行人图像的P个最终特征的损失相加求和,得到总损失函数,利用所述总损失函数对所述行人再识别模型进行优化,得到最优行人再识别模型。
10.根据权利要求9所述的方法,其特征在于,所述总损失函数Loss表示为:
Figure FDA0003725648510000041
其中,Lp表示所述训练行人图像的第p个区域的最终特征的损失,vp表示所述训练行人图像的第p个区域的可见度,当所述训练行人图像的第p个区域为可见时,vp=1,否则vp=0。
CN202010111682.9A 2020-02-24 2020-02-24 一种基于部件引导图卷积网络的行人再识别方法 Active CN111428562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010111682.9A CN111428562B (zh) 2020-02-24 2020-02-24 一种基于部件引导图卷积网络的行人再识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010111682.9A CN111428562B (zh) 2020-02-24 2020-02-24 一种基于部件引导图卷积网络的行人再识别方法

Publications (2)

Publication Number Publication Date
CN111428562A CN111428562A (zh) 2020-07-17
CN111428562B true CN111428562B (zh) 2022-09-23

Family

ID=71547097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010111682.9A Active CN111428562B (zh) 2020-02-24 2020-02-24 一种基于部件引导图卷积网络的行人再识别方法

Country Status (1)

Country Link
CN (1) CN111428562B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416295A (zh) * 2018-03-08 2018-08-17 天津师范大学 一种基于局部嵌入深度特征的行人再识别方法
CN108960140A (zh) * 2018-07-04 2018-12-07 国家新闻出版广电总局广播科学研究院 基于多区域特征提取和融合的行人再识别方法
CN109034044A (zh) * 2018-06-14 2018-12-18 天津师范大学 一种基于融合卷积神经网络的行人再识别方法
WO2019001070A1 (zh) * 2017-06-28 2019-01-03 浙江大学 一种基于邻接矩阵的连接信息规整系统、图特征提取系统、图分类系统和方法
CN110111337A (zh) * 2019-04-16 2019-08-09 中山大学 一种基于图迁移学习的通用人体解析框架及其解析方法
CN110598543A (zh) * 2019-08-05 2019-12-20 华中科技大学 基于属性挖掘和推理的模型训练方法及行人再识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9904871B2 (en) * 2016-04-14 2018-02-27 Microsoft Technologies Licensing, LLC Deep convolutional neural network prediction of image professionalism
US9922432B1 (en) * 2016-09-02 2018-03-20 Artomatix Ltd. Systems and methods for providing convolutional neural network based image synthesis using stable and controllable parametric models, a multiscale synthesis framework and novel network architectures

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019001070A1 (zh) * 2017-06-28 2019-01-03 浙江大学 一种基于邻接矩阵的连接信息规整系统、图特征提取系统、图分类系统和方法
CN108416295A (zh) * 2018-03-08 2018-08-17 天津师范大学 一种基于局部嵌入深度特征的行人再识别方法
CN109034044A (zh) * 2018-06-14 2018-12-18 天津师范大学 一种基于融合卷积神经网络的行人再识别方法
CN108960140A (zh) * 2018-07-04 2018-12-07 国家新闻出版广电总局广播科学研究院 基于多区域特征提取和融合的行人再识别方法
CN110111337A (zh) * 2019-04-16 2019-08-09 中山大学 一种基于图迁移学习的通用人体解析框架及其解析方法
CN110598543A (zh) * 2019-08-05 2019-12-20 华中科技大学 基于属性挖掘和推理的模型训练方法及行人再识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Cai Y, Huang X, Zhang Z, et al.Real-Time Semantic Segmentation Algorithm Based on Feature Fusion Technology.《Laser & Optoelectronics Progress》.2020,第52卷(第2期), *
公维军, 吴建军, 李晓霞, 等.基于深度学习的局部方向人脸识别算法研究.《计算机与数字工程》.2019,第47卷(第5期),1032-1036, 1135. *
沈庆.基于图卷积属性增强的行人再识别方法.《通信技术》.2019,第52卷(第10期),2383-2388. *

Also Published As

Publication number Publication date
CN111428562A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN109034044B (zh) 一种基于融合卷积神经网络的行人再识别方法
CN108960140B (zh) 基于多区域特征提取和融合的行人再识别方法
CN111814661B (zh) 基于残差-循环神经网络的人体行为识别方法
CN107066559B (zh) 一种基于深度学习的三维模型检索方法
CN113221625B (zh) 一种利用深度学习的局部特征对齐行人重识别方法
CN113033520B (zh) 一种基于深度学习的树木线虫病害木识别方法及系统
CN104408469A (zh) 基于图像深度学习的烟火识别方法及系统
CN114419671B (zh) 一种基于超图神经网络的遮挡行人重识别方法
CN110097029B (zh) 基于Highway网络多视角步态识别的身份认证方法
RU2476825C2 (ru) Способ управления движущимся объектом и устройство для его осуществления
CN111695460B (zh) 一种基于局部图卷积网络的行人再识别方法
CN113239784A (zh) 一种基于空间序列特征学习的行人重识别系统及方法
CN107818299A (zh) 基于融合hog特征和深度信念网络的人脸识别算法
CN113158943A (zh) 一种跨域红外目标检测方法
CN113743544A (zh) 一种跨模态神经网络构建方法、行人检索方法及系统
CN110321862A (zh) 一种基于紧致三元损失的行人再识别方法
CN111242227A (zh) 一种基于异构深度特征的多模态地基云识别方法
CN108416270A (zh) 一种基于多属性联合特征的交通标志识别方法
CN114495163B (zh) 基于类别激活映射的行人重识别生成学习方法
CN111191704A (zh) 一种基于任务图卷积网络的地基云分类方法
CN113269099B (zh) 基于图匹配的异构无人系统下车辆重新识别方法
Ozaki et al. DNN-based self-attitude estimation by learning landscape information
Yu et al. Obstacle detection with deep convolutional neural network
CN113762166A (zh) 一种基于可穿戴式装备的小目标检测改善方法及系统
CN111428562B (zh) 一种基于部件引导图卷积网络的行人再识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant