CN111695460A - 一种基于局部图卷积网络的行人再识别方法 - Google Patents

一种基于局部图卷积网络的行人再识别方法 Download PDF

Info

Publication number
CN111695460A
CN111695460A CN202010473581.6A CN202010473581A CN111695460A CN 111695460 A CN111695460 A CN 111695460A CN 202010473581 A CN202010473581 A CN 202010473581A CN 111695460 A CN111695460 A CN 111695460A
Authority
CN
China
Prior art keywords
pedestrian
graph
training
local
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010473581.6A
Other languages
English (en)
Other versions
CN111695460B (zh
Inventor
刘爽
黄文敏
张重
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Normal University
Original Assignee
Tianjin Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Normal University filed Critical Tianjin Normal University
Priority to CN202010473581.6A priority Critical patent/CN111695460B/zh
Publication of CN111695460A publication Critical patent/CN111695460A/zh
Application granted granted Critical
Publication of CN111695460B publication Critical patent/CN111695460B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于局部图卷积网络的行人再识别方法,该方法包括:构建特征提取模块,得到训练行人图像的局部特征;构建图卷积模块,得到训练行人图像的局部图卷积特征;构建损失计算模块,利用损失值对于由上述模块组成的行人再识别模型优化,得到最优行人再识别模型;利用最优行人再识别模型计算查询图像和训练行人图像的局部图卷积特征之间的相似度,得到行人再识别结果。本发明充分利用卷积神经网络和图卷积网络的优势,学习行人图像间同一区域局部特征关系,最终串联同一行人图像中不同区域的图卷积特征来表示行人图像,进一步提高了行人再识别的匹配正确率。

Description

一种基于局部图卷积网络的行人再识别方法
技术领域
本发明属于计算机视觉、模式识别、人工智能领域,具体涉及一种基于局部图卷积网络的行人再识别方法。
背景技术
近年来,行人再识别广泛应用在人体行为分析、多目标跟踪等领域,因此得到了学术界和工业界的广泛关注。行人再识别主要研究在不同摄像机下搜索相同行人的方法。然而由于真实场景中行人姿态、衣着、光照以及摄像机角度变化较大,使得行人再识别技术面临巨大的挑战。
目前,基于局部信息的行人再识别模型性能取得了显著的提升,一些研究人员通过将行人图像或者特征图划分为均匀区域来提取行人的结构信息。Sun等人将特征图划分为一些均匀条并将其池化,从而获得局部特征。Quan等人设计了一个区域-感知模块来学习行人结构信息,该方法首先将特征图划分为若干区域,然后采用注意力机制来学习更详细的区域信息。然而,这些直接划分策略容易造成误匹配,因此,Wei等人借助姿态检测技术定位人体四个关键点,然后将行人图像分为三个区域,从而校准局部区域。Guo等人利用人体分析模型来获得语义区域掩膜,然后使用人体区域分支来提取区域对齐特征。除此之外,为了充分利用全局特征和局部特征的优点,一些研究者将其融合来表示行人图像。Li等人设计了联合学习多损失卷积神经网络模型,从而提取全局和局部特征,然后利用联合学习机制来学习局部和全局特征之间的互补信息。Zheng等人提出粗糙-精细金字塔,从而获取不同尺度的判别信息,并利用判别损失和三元组损失来学习全局和多尺度局部特征。
以上这些基于区域的行人再识别方法忽视了行人图像间同一区域特征的局部关系,削弱了局部特征的表示能力。
发明内容
本发明的目的是要解决行人图像间同一区域特征的局部关系无法有效学习的问题,为此,本发明提供一种基于局部图卷积网络的行人再识别方法。
为了实现所述目的,本发明提出的一种局部图卷积网络的行人再识别方法包括以下步骤:
步骤S1,利用预训练深度学习模型构建特征提取模块,将训练行人图像输入所述特征提取模块,提取得到所述训练行人图像的M个局部特征;
步骤S2,构建图卷积模块,将所述训练行人图像的M个局部特征作为图的节点,构建重叠图、重叠图的邻接矩阵、相似图和相似图的邻接矩阵,并设置结构图卷积操作,利用所述图卷积模块对所述重叠图、重叠图的邻接矩阵、相似图和相似图的邻接矩阵执行所述结构图卷积操作,得到所述训练行人图像的M个局部图卷积特征;
步骤S3,构建损失计算模块,将所述训练行人图像的M个局部图卷积特征输入到所述损失计算模块中,利用得到的损失值对于由所述特征提取模块、图卷积模块和损失计算模块组成的行人再识别模型进行优化,得到最优行人再识别模型;
步骤S4,获取查询图像,利用所述最优行人再识别模型计算得到所述查询图像Iq和训练行人图像Ig的M个局部图卷积特征,利用所述查询图像Iq和训练行人图像Ig的M个局部图卷积特征计算得到所述查询图像Iq和训练行人图像Ig之间的相似度,得到行人再识别结果。
可选地,所述步骤S1包括以下步骤:
步骤S11,确定预训练深度学习模型,并对其进行参数初始化,对于所述预训练深度学习模型进行模型预处理,得到所述特征提取模块;
步骤S12,对训练集中的训练行人图像进行预处理;
步骤S13,将预处理后得到的训练行人图像输入所述特征提取模块中,提取得到所述训练行人图像的预设数量的特征图;
步骤S14,将得到的特征图划分成M个区域,并对这M个区域执行最大池化得到所述训练行人图像中的第n张图像的M个局部特征。
可选地,所述步骤S2包括以下步骤:
步骤S21,将得到的训练行人图像的M个局部特征作为节点构建重叠图,并利用所述节点邻域的重叠节点数量构建重叠图的邻接矩阵;
步骤S22,将得到的训练行人图像的M个局部特征作为节点构建相似图,并利用所述节点之间的相似性构建相似图的邻接矩阵;
步骤S23,将图上节点分成两类:节点本身和节点的邻域节点,并使用不同的参数矩阵来变换这两类节点,从而定义结构图卷积操作;
步骤S24,利用所述图卷积模块对所述重叠图、重叠图的邻接矩阵、相似图和相似图的邻接矩阵执行所述结构图卷积操作,得到所述训练行人图像的M个局部图卷积特征。
可选地,所述重叠图的邻接矩阵表示为:
Figure BDA0002515099130000031
其中,
Figure BDA0002515099130000032
N是一个小批量训练行人图像集合中训练行人图像的数量,
Figure BDA0002515099130000033
为第i张训练行人图像的第m个局部特征Pi,m和第j张训练行人图像的第m个局部特征Pj,m的k个最近邻域的重叠节点的数量:
Figure BDA0002515099130000034
其中,δ(Pi,m,k)和δ(Pj,m,k)分别表示局部特征Pi,m和Pj,m的k个最近邻域的节点集合,∩表示两个集合的交集,|·|表示集合元素的数量。
可选地,所述相似图的邻接矩阵表示为:
Figure BDA0002515099130000035
其中,
Figure BDA0002515099130000036
Figure BDA0002515099130000037
表示第i张训练行人图像的第m个局部特征Pi,m和第j张训练行人图像的第m个局部特征Pj,m之间的相似性:
Figure BDA0002515099130000041
其中,φ和
Figure BDA0002515099130000042
是两个变换函数。
可选地,所述结构图卷积操作表示为:
Y=μ(W0X(I⊙A)+W1X((1-I)⊙A)),
其中,X表示结构图卷积操作的输入特征矩阵,W0和W1是所述结构图卷积操作的可学习的参数矩阵,I是单位矩阵,A表示邻接矩阵⊙表示两个矩阵按元素相乘,Y是所述结构图卷积操作输出的图卷积特征,μ是非线性激活函数。
可选地,所述步骤S24中所述结构图卷积操作有V层,每层结构图卷积操作以上一层结构图卷积操作输出的图卷积特征作为输入,每层结构图操作对所述重叠图、重叠图的邻接矩阵、相似图和相似图的邻接矩阵执行的结构图卷积操作表示为:
Figure BDA0002515099130000043
其中,Xm表示输入结构图卷积操作的特征矩阵,由第m个局部特征组成,
Figure BDA0002515099130000044
和W1 m是结构图卷积操作的可学习的参数矩阵,I是单位矩阵,Om'是第m个局部特征的归一化的重叠图的邻接矩阵,Sm是第m个局部特征的相似图的邻接矩阵,⊙表示两个矩阵按元素相乘,Ym是所述结构图卷积操作输出的第m个局部特征的结构图卷积特征矩阵,μ是非线性激活函数。
可选地,所述步骤S3包括以下步骤:
步骤S31,构建损失计算模块,并利用所述损失计算模块计算所述训练行人图像的M个局部图卷积特征的损失值,其中,所述损失计算模块包括全连接层和损失函数;
步骤S32,对所述训练行人图像的M个局部图卷积特征的损失值相加求和,得到总损失函数,利用所述总损失函数对所述行人再识别模型进行优化,得到最优行人再识别模型。
可选地,所述步骤S31中,所述损失计算模块利用以下损失函数计算所述训练行人图像的M个局部图卷积特征的损失值:
Figure BDA0002515099130000051
其中,Lm表示所述训练行人图像的第m个局部图卷积特征的损失值,C表示训练集中的行人类别的总个数,pc(m)是所述训练行人图像的第m个局部图卷积特征的真实类别的数值,当c是真实类别时,pc(m)=1;否则,pc(m)=0,qc(m)∈[0,1]表示所述训练行人图像的第m个局部图卷积特征属于类别c的预测数值。
可选地,所述总损失函数Loss表示为:
Figure BDA0002515099130000052
其中,Lm表示所述训练行人图像的第m个局部图卷积特征的损失值。
本发明的有益效果为:本发明通过卷积神经网络学习了行人图像的局部特征,并利用这些局部特征构建重叠图和相似图,同时定义了结构图卷积操作来实现对行人局部关系的学习,改善了局部特征的表示能力和完备性,提高了行人再识别搜索的正确率。
需要说明的是,本发明得到了国家自然科学基金项目No.61711530240,天津市自然科学基金重点项目No.19JCZDJC31500,模式识别国家重点实验室开放课题基金No.202000002和天津市高等教育创新团队基金项目的资助。
附图说明
图1是根据本发明一实施例的一种基于局部图卷积网络的行人再识别方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
图1是根据本发明一实施例的一种基于局部图卷积网络的行人再识别方法的流程图,下面以图1为例来说明本发明的一些具体实现流程,如图1所示,所述基于局部图卷积网络的行人再识别方法包括以下步骤:
步骤S1,利用预训练深度学习模型构建特征提取模块,将训练行人图像输入所述特征提取模块,提取得到所述训练行人图像的M个局部特征;
进一步地,所述步骤S1包括以下步骤:
步骤S11,确定预训练深度学习模型,并对其进行参数初始化,对于所述预训练深度学习模型进行模型预处理,得到所述特征提取模块;
在本发明一实施例中,所采用的预训练深度学习模型为ResNet-50,此时,所述模型预处理为去掉所述预训练深度学习模型中最后的全局池化层和全连接层,同时,将所述预训练深度学习模型中第四个块的步长由原来默认的2改为1。
步骤S12,对训练集中的训练行人图像进行预处理;
在本发明一实施例中,对所述训练行人图像进行预处理包括:将训练行人图像的大小裁剪为预设大小,比如384×128,并把所述训练行人图像所有的像素值按比例缩小至预设范围内,比如0到1之间,然后将所述训练行人图像中的每个像素值减去所述训练行人图像的像素平均值,再除以所述训练行人图像的像素方差。
步骤S13,将预处理后得到的训练行人图像输入所述特征提取模块中,提取得到所述训练行人图像的预设数量的特征图;
在本发明一实施例中,所述特征图的数量为2048,大小为24×8,其中,24为特征图的高度,8为特征图的宽度。
步骤S14,将得到的特征图划分成M个区域,并对这M个区域执行最大池化得到所述训练行人图像中的第n张图像的M个局部特征
Figure BDA0002515099130000061
(n=1,2,...,N和m=1,2,...,M),其中N是一个小批量训练行人图像集合中训练行人图像的数量。
在本发明一实施例中,N=66,M=9,经过平均池化后第n张图像将会获得9个局部特征
Figure BDA0002515099130000071
其中,所述最大池化是本领域技术人员应当熟练掌握的技术,在此不再赘述。
步骤S2,构建图卷积模块,将所述训练行人图像的M个局部特征作为图的节点,构建重叠图、重叠图的邻接矩阵、相似图和相似图的邻接矩阵,并设置结构图卷积操作,利用所述图卷积模块对所述重叠图、重叠图的邻接矩阵、相似图和相似图的邻接矩阵执行所述结构图卷积操作,得到所述训练行人图像的M个局部图卷积特征;
进一步地,所述步骤S2包括以下步骤:
步骤S21,将得到的训练行人图像的M个局部特征作为节点构建重叠图,并利用所述节点邻域的重叠节点数量构建重叠图的邻接矩阵;
在本发明一实施例中,重叠图的邻接矩阵是以训练行人图像的M个局部特征的k个最近邻域的重叠节点的数量为依据得到的,其中,第i张训练行人图像的第m个局部特征Pi,m和第j张训练行人图像的第m个局部特征Pj,m的k个最近邻域的重叠节点的数量可表示为:
Figure BDA0002515099130000072
其中,
Figure BDA0002515099130000073
也可以用来表征第i张训练行人图像的第m个局部特征Pi,m和第j张训练行人图像的第m个局部特征Pj,m之间的边权重,δ(Pi,m,k)和δ(Pj,m,k)分别表示局部特征Pi,m和Pj,m的k个最近邻域的节点集合,∩表示两个集合的交集,|·|表示集合元素的数量,在选择Pi,m和Pj,m的k个最近邻域时,两个节点之间的欧式距离被定义为:
D(Pi,m,Pj,m)=||Pi,·-Pj,·||2
Pi,·=<Pi,1,Pi,2,...,Pi,m,...,Pi,M>,
Pj,·=<Pj,1,Pj,2,...,Pj,m,...,Pj,M>,
其中,<·>表示向量串联,||·||2表示向量的2范数。
在本发明一实施例中,所述重叠图的邻接矩阵可表示为:
Figure BDA0002515099130000081
其中,
Figure BDA0002515099130000082
N是一个小批量训练行人图像集合中训练行人图像的数量,归一化的Om表示为:
Figure BDA0002515099130000083
其中,I是单位矩阵,Λ是一个对角矩阵,并且Λ的第i个对角线元素
Figure BDA0002515099130000084
在本发明一实施例中,N=66。
步骤S22,将得到的训练行人图像的M个局部特征作为节点构建相似图,并利用所述节点之间的相似性构建相似图的邻接矩阵;
在本发明一实施例中,相似图的邻接矩阵是以训练行人图像的M个局部特征之间的相似性作为依据得到的,其中,所述局部特征之间的相似性可表示为:
Figure BDA0002515099130000085
其中,φ和
Figure BDA0002515099130000086
是两个变换函数,被通过卷积核大小为1×1的卷积层实现,Pi,m和Pj,m分别表示第i张行人图像和第j张行人图像的第m个局部特征。
在本发明一实施例中,相似图的邻接矩阵可表示为:
Figure BDA0002515099130000087
其中
Figure BDA0002515099130000088
并且在Sm中,元素值小于0.01的元素被设置为0。
在本发明一实施例中,结构图卷积操作可被设置为:
Y=μ(W0X(I⊙A)+W1X((1-I)⊙A)),
其中,X表示所述结构图卷积操作的输入特征矩阵,W0和W1是所述结构图卷积操作的可学习的参数矩阵,I是单位矩阵,A是图的邻接矩阵,可以是相似图的邻接矩阵,也可以是重叠图的邻接矩阵,⊙表示两个矩阵按元素相乘,Y是所述结构图卷积操作输出的图卷积特征,μ是非线性激活函数。
在本发明一实施例中,所述结构图卷积操作有V层,每层结构图卷积操作以上一层结构图卷积操作输出的图卷积特征作为输入,每层结构图操作对所述重叠图、重叠图的邻接矩阵、相似图和相似图的邻接矩阵执行的所述结构图卷积操作可表示为:
Figure BDA0002515099130000091
其中,Xm表示输入结构图卷积操作的特征矩阵,由第m个局部特征组成,
Figure BDA0002515099130000092
和W1 m是结构图卷积操作的可学习的参数矩阵,I是单位矩阵,Om'是第m个局部特征的归一化的重叠图的邻接矩阵,Sm是第m个局部特征的相似图的邻接矩阵,⊙表示两个矩阵按元素相乘,Ym是所述结构图卷积操作输出的第m个局部特征的结构图卷积特征矩阵,μ是非线性激活函数。
在本发明一实施例中,所述第一个结构图卷积操作的输入特征可以初始化为N个行人图像的第m个局部特征,即
Figure BDA0002515099130000093
在本发明一实施例中,V=5。
步骤S3,构建损失计算模块,将所述训练行人图像的M个局部图卷积特征输入到所述损失计算模块中,利用得到的损失值对于由所述特征提取模块、图卷积模块和损失计算模块组成的行人再识别模型进行优化,得到最优行人再识别模型;
进一步地,所述步骤S3包括以下步骤:
步骤S31,构建损失计算模块,并利用所述损失计算模块计算所述训练行人图像的M个局部图卷积特征的损失值,其中,所述损失计算模块包括全连接层和损失函数;
在本发明一实施例中,在Market 1501数据库中进行训练时,所述全连接层的神经元数量为751。所述全连接层的输入为所述训练行人图像的M个局部图卷积特征,所述全连接层的输出接交叉熵损失函数Lm,即可得到所述训练行人图像的M个局部图卷积特征的损失值,其中,所述交叉熵损失函数Lm可表示为:
Figure BDA0002515099130000094
其中,Lm表示所述训练行人图像的第m个局部图卷积特征的损失值,C表示训练集中的行人类别的总个数,pc(m)是所述训练行人图像的第m个局部图卷积特征的真实类别的数值,当c是真实类别时,pc(m)=1;否则,pc(m)=0,qc(m)∈[0,1]表示所述训练行人图像的第m个局部图卷积特征属于类别c的预测数值。
步骤S32,对所述训练行人图像的M个局部图卷积特征的损失值相加求和,得到总损失函数,利用所述总损失函数对所述行人再识别模型进行优化,得到最优行人再识别模型,其中,所述总损失函数可表示为:
Figure BDA0002515099130000101
其中,Lm表示所述训练行人图像的第m个局部图卷积特征的损失值。
,通过迭代计算,优化所述行人再识别模型的参数,以使得所述总损失函数Loss最小,从而得到所述最优行人再识别模型。
其中,可借助随机梯度下降法进行迭代计算。
步骤S4,在测试阶段,获取查询图像,利用所述最优行人再识别模型计算得到所述查询图像Iq和训练行人图像Ig的M个局部图卷积特征,利用所述查询图像Iq和训练行人图像Ig的M个局部图卷积特征计算得到所述查询图像Iq和训练行人图像Ig之间的相似度,得到行人再识别结果,具体地,将所述查询图像Iq和训练行人图像Ig的M个局部图卷积特征分别串联起来,计算得到所述查询图像Iq和训练行人图像Ig之间的余弦相似度,进而得到行人再识别结果。
其中,所述训练行人图像Ig是已知行人识别结果的图像。
其中,所述查询图像Iq和训练行人图像Ig之间的相似度可表示为:
Sq,g=cosine_similarity(<Pq,1,Pq,2,...,Pq,M>,<Pg,1,Pg,2,...,Pg,M>),
其中,Pq,1,Pq,2,...,Pq,M分别表示查询图像Iq的第1个到第M个局部图卷积特征,Pg,1,Pg,2,...,Pg,M分别表示训练行人图像Ig的第1个到第M个局部图卷积特征,cosine_similarity表示两个向量的余弦距离,<·>表示向量串联。
以网上公开的行人再识别大型数据库作为测试对象,比如在Market 1501数据库上测试时,本发明行人再识别正确搜索率达到96.3%(rank-1)和90.8%(mAP)。本发明行人再识别方法有效地学习了行人图像间同一区域的特征的局部关系,最终融合图卷积特征来表示行人图像,提高了局部特征的判别性,很大程度地提高了行人再识别正确搜索率,由此可见本发明方法的有效性。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种基于局部图卷积网络的行人再识别方法,其特征在于,所述方法包括以下步骤:
步骤S1,利用预训练深度学习模型构建特征提取模块,将训练行人图像输入所述特征提取模块,提取得到所述训练行人图像的M个局部特征;
步骤S2,构建图卷积模块,将所述训练行人图像的M个局部特征作为图的节点,构建重叠图、重叠图的邻接矩阵、相似图和相似图的邻接矩阵,并设置结构图卷积操作,利用所述图卷积模块对所述重叠图、重叠图的邻接矩阵、相似图和相似图的邻接矩阵执行所述结构图卷积操作,得到所述训练行人图像的M个局部图卷积特征;
步骤S3,构建损失计算模块,将所述训练行人图像的M个局部图卷积特征输入到所述损失计算模块中,利用得到的损失值对于由所述特征提取模块、图卷积模块和损失计算模块组成的行人再识别模型进行优化,得到最优行人再识别模型;
步骤S4,获取查询图像,利用所述最优行人再识别模型计算得到所述查询图像Iq和训练行人图像Ig的M个局部图卷积特征,利用所述查询图像Iq和训练行人图像Ig的M个局部图卷积特征计算得到所述查询图像Iq和训练行人图像Ig之间的相似度,得到行人再识别结果。
2.根据权利要求1所述的方法,其特征在于,所述步骤S1包括以下步骤:
步骤S11,确定预训练深度学习模型,并对其进行参数初始化,对于所述预训练深度学习模型进行模型预处理,得到所述特征提取模块;
步骤S12,对训练集中的训练行人图像进行预处理;
步骤S13,将预处理后得到的训练行人图像输入所述特征提取模块中,提取得到所述训练行人图像的预设数量的特征图;
步骤S14,将得到的特征图划分成M个区域,并对这M个区域执行最大池化得到所述训练行人图像中的第n张图像的M个局部特征。
3.根据权利要求1所述的方法,其特征在于,所述步骤S2包括以下步骤:
步骤S21,将得到的训练行人图像的M个局部特征作为节点构建重叠图,并利用所述节点邻域的重叠节点数量构建重叠图的邻接矩阵;
步骤S22,将得到的训练行人图像的M个局部特征作为节点构建相似图,并利用所述节点之间的相似性构建相似图的邻接矩阵;
步骤S23,将图上节点分成两类:节点本身和节点的邻域节点,并使用不同的参数矩阵来变换这两类节点,从而定义结构图卷积操作;
步骤S24,利用所述图卷积模块对所述重叠图、重叠图的邻接矩阵、相似图和相似图的邻接矩阵执行所述结构图卷积操作,得到所述训练行人图像的M个局部图卷积特征。
4.根据权利要求3所述的方法,其特征在于,所述重叠图的邻接矩阵表示为:
Figure FDA0002515099120000021
其中,
Figure FDA0002515099120000022
N是一个小批量训练行人图像集合中训练行人图像的数量,
Figure FDA0002515099120000023
为第i张训练行人图像的第m个局部特征Pi,m和第j张训练行人图像的第m个局部特征Pj,m的k个最近邻域的重叠节点的数量:
Figure FDA0002515099120000024
其中,δ(Pi,m,k)和δ(Pj,m,k)分别表示局部特征Pi,m和Pj,m的k个最近邻域的节点集合,∩表示两个集合的交集,|·|表示集合元素的数量。
5.根据权利要求3所述的方法,其特征在于,所述相似图的邻接矩阵表示为:
Figure FDA0002515099120000025
其中,
Figure FDA0002515099120000031
Figure FDA0002515099120000032
表示第i张训练行人图像的第m个局部特征Pi,m和第j张训练行人图像的第m个局部特征Pj,m之间的相似性:
Figure FDA0002515099120000033
其中,φ和
Figure FDA0002515099120000036
是两个变换函数。
6.根据权利要求3所述的方法,其特征在于,所述结构图卷积操作表示为:
Y=μ(W0X(I⊙A)+W1X((1-I)⊙A)),
其中,X表示结构图卷积操作的输入特征矩阵,W0和W1是所述结构图卷积操作的可学习的参数矩阵,I是单位矩阵,A表示邻接矩阵⊙表示两个矩阵按元素相乘,Y是所述结构图卷积操作输出的图卷积特征,μ是非线性激活函数。
7.根据权利要求3所述的方法,其特征在于,所述步骤S24中所述结构图卷积操作有V层,每层结构图卷积操作以上一层结构图卷积操作输出的图卷积特征作为输入,每层结构图操作对所述重叠图、重叠图的邻接矩阵、相似图和相似图的邻接矩阵执行的结构图卷积操作表示为:
Figure FDA0002515099120000034
其中,Xm表示输入结构图卷积操作的特征矩阵,由第m个局部特征组成,
Figure FDA0002515099120000035
和W1 m是结构图卷积操作的可学习的参数矩阵,I是单位矩阵,Om'是第m个局部特征的归一化的重叠图的邻接矩阵,Sm是第m个局部特征的相似图的邻接矩阵,⊙表示两个矩阵按元素相乘,Ym是所述结构图卷积操作输出的第m个局部特征的结构图卷积特征矩阵,μ是非线性激活函数。
8.根据权利要求1所述的方法,其特征在于,所述步骤S3包括以下步骤:
步骤S31,构建损失计算模块,并利用所述损失计算模块计算所述训练行人图像的M个局部图卷积特征的损失值,其中,所述损失计算模块包括全连接层和损失函数;
步骤S32,对所述训练行人图像的M个局部图卷积特征的损失值相加求和,得到总损失函数,利用所述总损失函数对所述行人再识别模型进行优化,得到最优行人再识别模型。
9.根据权利要求8所述的方法,其特征在于,所述步骤S31中,所述损失计算模块利用以下损失函数计算所述训练行人图像的M个局部图卷积特征的损失值:
Figure FDA0002515099120000041
其中,Lm表示所述训练行人图像的第m个局部图卷积特征的损失值,C表示训练集中的行人类别的总个数,pc(m)是所述训练行人图像的第m个局部图卷积特征的真实类别的数值,当c是真实类别时,pc(m)=1;否则,pc(m)=0,qc(m)∈[0,1]表示所述训练行人图像的第m个局部图卷积特征属于类别c的预测数值。
10.根据权利要求8所述的方法,其特征在于,所述总损失函数Loss表示为:
Figure FDA0002515099120000042
其中,Lm表示所述训练行人图像的第m个局部图卷积特征的损失值。
CN202010473581.6A 2020-05-29 2020-05-29 一种基于局部图卷积网络的行人再识别方法 Active CN111695460B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010473581.6A CN111695460B (zh) 2020-05-29 2020-05-29 一种基于局部图卷积网络的行人再识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010473581.6A CN111695460B (zh) 2020-05-29 2020-05-29 一种基于局部图卷积网络的行人再识别方法

Publications (2)

Publication Number Publication Date
CN111695460A true CN111695460A (zh) 2020-09-22
CN111695460B CN111695460B (zh) 2023-04-21

Family

ID=72478807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010473581.6A Active CN111695460B (zh) 2020-05-29 2020-05-29 一种基于局部图卷积网络的行人再识别方法

Country Status (1)

Country Link
CN (1) CN111695460B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192104A (zh) * 2021-04-14 2021-07-30 浙江大华技术股份有限公司 一种目标特征提取方法及其设备
CN113297936A (zh) * 2021-05-17 2021-08-24 北京工业大学 一种基于局部图卷积网络的排球群体行为识别方法
CN114511881A (zh) * 2022-01-28 2022-05-17 厦门大学 基于层次注意力多任务深度模型的行人再识别方法
CN115205306A (zh) * 2022-08-02 2022-10-18 吉林建筑大学 一种基于图卷积的医疗图像分割方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009017483A1 (en) * 2007-08-01 2009-02-05 The Trustees Of The University Of Penssylvania Malignancy diagnosis using content-based image retreival of tissue histopathology
WO2018196396A1 (zh) * 2017-04-24 2018-11-01 清华大学 基于一致性约束特征学习的行人再识别方法
CN109034044A (zh) * 2018-06-14 2018-12-18 天津师范大学 一种基于融合卷积神经网络的行人再识别方法
CN110532900A (zh) * 2019-08-09 2019-12-03 西安电子科技大学 基于U-Net和LS-CNN的人脸表情识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009017483A1 (en) * 2007-08-01 2009-02-05 The Trustees Of The University Of Penssylvania Malignancy diagnosis using content-based image retreival of tissue histopathology
WO2018196396A1 (zh) * 2017-04-24 2018-11-01 清华大学 基于一致性约束特征学习的行人再识别方法
CN109034044A (zh) * 2018-06-14 2018-12-18 天津师范大学 一种基于融合卷积神经网络的行人再识别方法
CN110532900A (zh) * 2019-08-09 2019-12-03 西安电子科技大学 基于U-Net和LS-CNN的人脸表情识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张重;黄美艳;司统振;刘爽;: "计算机视觉与数字图像处理课程融合的研究" *
邱泓燕;张海刚;杨金锋;: "基于图卷积网络的手指静脉识别方法研究" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192104A (zh) * 2021-04-14 2021-07-30 浙江大华技术股份有限公司 一种目标特征提取方法及其设备
CN113192104B (zh) * 2021-04-14 2023-04-28 浙江大华技术股份有限公司 一种目标特征提取方法及其设备
CN113297936A (zh) * 2021-05-17 2021-08-24 北京工业大学 一种基于局部图卷积网络的排球群体行为识别方法
CN113297936B (zh) * 2021-05-17 2024-05-28 北京工业大学 一种基于局部图卷积网络的排球群体行为识别方法
CN114511881A (zh) * 2022-01-28 2022-05-17 厦门大学 基于层次注意力多任务深度模型的行人再识别方法
CN115205306A (zh) * 2022-08-02 2022-10-18 吉林建筑大学 一种基于图卷积的医疗图像分割方法

Also Published As

Publication number Publication date
CN111695460B (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
CN108960140B (zh) 基于多区域特征提取和融合的行人再识别方法
CN111695460A (zh) 一种基于局部图卷积网络的行人再识别方法
Teow Understanding convolutional neural networks using a minimal model for handwritten digit recognition
Jiang et al. Deep neural networks-based vehicle detection in satellite images
CN104408469A (zh) 基于图像深度学习的烟火识别方法及系统
CN109598268A (zh) 一种基于单流深度网络的rgb-d显著目标检测方法
CN110222718B (zh) 图像处理的方法及装置
CN110738146A (zh) 一种目标重识别神经网络及其构建方法和应用
CN114419671B (zh) 一种基于超图神经网络的遮挡行人重识别方法
Napoli et al. Simplified firefly algorithm for 2d image key-points search
CN113361495A (zh) 人脸图像相似度的计算方法、装置、设备及存储介质
CN111461006B (zh) 一种基于深度迁移学习的光学遥感图像杆塔位置检测方法
Nguyen et al. Satellite image classification using convolutional learning
CN110263644B (zh) 基于三胞胎网络的遥感图像分类方法、系统、设备及介质
CN113221625A (zh) 一种利用深度学习的局部特征对齐行人重识别方法
Yang et al. Learning relation by graph neural network for SAR image few-shot learning
CN112070010A (zh) 一种联合多损失动态训练策略增强局部特征学习的行人重识别方法
CN111191704A (zh) 一种基于任务图卷积网络的地基云分类方法
CN110135435B (zh) 一种基于广度学习系统的显著性检测方法及装置
Ozaki et al. DNN-based self-attitude estimation by learning landscape information
CN117115911A (zh) 一种基于注意力机制的超图学习动作识别系统
Raju et al. Convolutional neural network demystified for a comprehensive learning with industrial application
CN111428562B (zh) 一种基于部件引导图卷积网络的行人再识别方法
Barsi Object detection using neural self-organization
CN115082704B (zh) 基于相关性滤波的文本行人重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant