CN111695460B - 一种基于局部图卷积网络的行人再识别方法 - Google Patents

一种基于局部图卷积网络的行人再识别方法 Download PDF

Info

Publication number
CN111695460B
CN111695460B CN202010473581.6A CN202010473581A CN111695460B CN 111695460 B CN111695460 B CN 111695460B CN 202010473581 A CN202010473581 A CN 202010473581A CN 111695460 B CN111695460 B CN 111695460B
Authority
CN
China
Prior art keywords
graph
pedestrian
training
local
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010473581.6A
Other languages
English (en)
Other versions
CN111695460A (zh
Inventor
刘爽
黄文敏
张重
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Normal University
Original Assignee
Tianjin Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Normal University filed Critical Tianjin Normal University
Priority to CN202010473581.6A priority Critical patent/CN111695460B/zh
Publication of CN111695460A publication Critical patent/CN111695460A/zh
Application granted granted Critical
Publication of CN111695460B publication Critical patent/CN111695460B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明实施例公开了一种基于局部图卷积网络的行人再识别方法，该方法包括：构建特征提取模块，得到训练行人图像的局部特征；构建图卷积模块，得到训练行人图像的局部图卷积特征；构建损失计算模块，利用损失值对于由上述模块组成的行人再识别模型优化，得到最优行人再识别模型；利用最优行人再识别模型计算查询图像和训练行人图像的局部图卷积特征之间的相似度，得到行人再识别结果。本发明充分利用卷积神经网络和图卷积网络的优势，学习行人图像间同一区域局部特征关系，最终串联同一行人图像中不同区域的图卷积特征来表示行人图像，进一步提高了行人再识别的匹配正确率。

Description

一种基于局部图卷积网络的行人再识别方法
技术领域
本发明属于计算机视觉、模式识别、人工智能领域，具体涉及一种基于局部图卷积网络的行人再识别方法。
背景技术
近年来，行人再识别广泛应用在人体行为分析、多目标跟踪等领域，因此得到了学术界和工业界的广泛关注。行人再识别主要研究在不同摄像机下搜索相同行人的方法。然而由于真实场景中行人姿态、衣着、光照以及摄像机角度变化较大，使得行人再识别技术面临巨大的挑战。
目前，基于局部信息的行人再识别模型性能取得了显著的提升，一些研究人员通过将行人图像或者特征图划分为均匀区域来提取行人的结构信息。Sun等人将特征图划分为一些均匀条并将其池化，从而获得局部特征。Quan等人设计了一个区域-感知模块来学习行人结构信息，该方法首先将特征图划分为若干区域，然后采用注意力机制来学习更详细的区域信息。然而，这些直接划分策略容易造成误匹配，因此，Wei等人借助姿态检测技术定位人体四个关键点，然后将行人图像分为三个区域，从而校准局部区域。Guo等人利用人体分析模型来获得语义区域掩膜，然后使用人体区域分支来提取区域对齐特征。除此之外，为了充分利用全局特征和局部特征的优点，一些研究者将其融合来表示行人图像。Li等人设计了联合学习多损失卷积神经网络模型，从而提取全局和局部特征，然后利用联合学习机制来学习局部和全局特征之间的互补信息。Zheng等人提出粗糙-精细金字塔，从而获取不同尺度的判别信息，并利用判别损失和三元组损失来学习全局和多尺度局部特征。
以上这些基于区域的行人再识别方法忽视了行人图像间同一区域特征的局部关系，削弱了局部特征的表示能力。
发明内容
本发明的目的是要解决行人图像间同一区域特征的局部关系无法有效学习的问题，为此，本发明提供一种基于局部图卷积网络的行人再识别方法。
为了实现所述目的，本发明提出的一种局部图卷积网络的行人再识别方法包括以下步骤：
步骤S1，利用预训练深度学习模型构建特征提取模块，将训练行人图像输入所述特征提取模块，提取得到所述训练行人图像的M个局部特征；
步骤S2，构建图卷积模块，将所述训练行人图像的M个局部特征作为图的节点，构建重叠图、重叠图的邻接矩阵、相似图和相似图的邻接矩阵，并设置结构图卷积操作，利用所述图卷积模块对所述重叠图、重叠图的邻接矩阵、相似图和相似图的邻接矩阵执行所述结构图卷积操作，得到所述训练行人图像的M个局部图卷积特征；
步骤S3，构建损失计算模块，将所述训练行人图像的M个局部图卷积特征输入到所述损失计算模块中，利用得到的损失值对于由所述特征提取模块、图卷积模块和损失计算模块组成的行人再识别模型进行优化，得到最优行人再识别模型；
步骤S4，获取查询图像，利用所述最优行人再识别模型计算得到所述查询图像Iq和训练行人图像Ig的M个局部图卷积特征，利用所述查询图像Iq和训练行人图像Ig的M个局部图卷积特征计算得到所述查询图像Iq和训练行人图像Ig之间的相似度，得到行人再识别结果。
可选地，所述步骤S1包括以下步骤：
步骤S11，确定预训练深度学习模型，并对其进行参数初始化，对于所述预训练深度学习模型进行模型预处理，得到所述特征提取模块；
步骤S12，对训练集中的训练行人图像进行预处理；
步骤S13，将预处理后得到的训练行人图像输入所述特征提取模块中，提取得到所述训练行人图像的预设数量的特征图；
步骤S14，将得到的特征图划分成M个区域，并对这M个区域执行最大池化得到所述训练行人图像中的第n张图像的M个局部特征。
可选地，所述步骤S2包括以下步骤：
步骤S21，将得到的训练行人图像的M个局部特征作为节点构建重叠图，并利用所述节点邻域的重叠节点数量构建重叠图的邻接矩阵；
步骤S22，将得到的训练行人图像的M个局部特征作为节点构建相似图，并利用所述节点之间的相似性构建相似图的邻接矩阵；
步骤S23，将图上节点分成两类：节点本身和节点的邻域节点，并使用不同的参数矩阵来变换这两类节点，从而定义结构图卷积操作；
步骤S24，利用所述图卷积模块对所述重叠图、重叠图的邻接矩阵、相似图和相似图的邻接矩阵执行所述结构图卷积操作，得到所述训练行人图像的M个局部图卷积特征。
可选地，所述重叠图的邻接矩阵表示为：
其中，N是一个小批量训练行人图像集合中训练行人图像的数量，为第i张训练行人图像的第m个局部特征Pi,m和第j张训练行人图像的第m个局部特征Pj,m的k个最近邻域的重叠节点的数量：
其中，δ(Pi,m,k)和δ(Pj,m,k)分别表示局部特征Pi,m和Pj,m的k个最近邻域的节点集合，∩表示两个集合的交集，|·|表示集合元素的数量。
可选地，所述相似图的邻接矩阵表示为：
其中， 表示第i张训练行人图像的第m个局部特征Pi,m和第j张训练行人图像的第m个局部特征Pj,m之间的相似性：
其中，φ和是两个变换函数。
可选地，所述结构图卷积操作表示为：
Y＝μ(W0X(I⊙A)+W1X((1-I)⊙A))，
其中，X表示结构图卷积操作的输入特征矩阵，W0和W1是所述结构图卷积操作的可学习的参数矩阵，I是单位矩阵，A表示邻接矩阵⊙表示两个矩阵按元素相乘，Y是所述结构图卷积操作输出的图卷积特征，μ是非线性激活函数。
可选地，所述步骤S24中所述结构图卷积操作有V层，每层结构图卷积操作以上一层结构图卷积操作输出的图卷积特征作为输入，每层结构图操作对所述重叠图、重叠图的邻接矩阵、相似图和相似图的邻接矩阵执行的结构图卷积操作表示为：
其中，Xm表示输入结构图卷积操作的特征矩阵，由第m个局部特征组成，和W1 m是结构图卷积操作的可学习的参数矩阵，I是单位矩阵，Om'是第m个局部特征的归一化的重叠图的邻接矩阵，Sm是第m个局部特征的相似图的邻接矩阵，⊙表示两个矩阵按元素相乘，Ym是所述结构图卷积操作输出的第m个局部特征的结构图卷积特征矩阵，μ是非线性激活函数。
可选地，所述步骤S3包括以下步骤：
步骤S31，构建损失计算模块，并利用所述损失计算模块计算所述训练行人图像的M个局部图卷积特征的损失值，其中，所述损失计算模块包括全连接层和损失函数；
步骤S32，对所述训练行人图像的M个局部图卷积特征的损失值相加求和，得到总损失函数，利用所述总损失函数对所述行人再识别模型进行优化，得到最优行人再识别模型。
可选地，所述步骤S31中，所述损失计算模块利用以下损失函数计算所述训练行人图像的M个局部图卷积特征的损失值：
其中，Lm表示所述训练行人图像的第m个局部图卷积特征的损失值，C表示训练集中的行人类别的总个数，pc(m)是所述训练行人图像的第m个局部图卷积特征的真实类别的数值，当c是真实类别时，pc(m)＝1；否则，pc(m)＝0，qc(m)∈[0,1]表示所述训练行人图像的第m个局部图卷积特征属于类别c的预测数值。
可选地，所述总损失函数Loss表示为：
其中，Lm表示所述训练行人图像的第m个局部图卷积特征的损失值。
本发明的有益效果为：本发明通过卷积神经网络学习了行人图像的局部特征，并利用这些局部特征构建重叠图和相似图，同时定义了结构图卷积操作来实现对行人局部关系的学习，改善了局部特征的表示能力和完备性，提高了行人再识别搜索的正确率。
附图说明
图1是根据本发明一实施例的一种基于局部图卷积网络的行人再识别方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
图1是根据本发明一实施例的一种基于局部图卷积网络的行人再识别方法的流程图，下面以图1为例来说明本发明的一些具体实现流程，如图1所示，所述基于局部图卷积网络的行人再识别方法包括以下步骤：
步骤S1，利用预训练深度学习模型构建特征提取模块，将训练行人图像输入所述特征提取模块，提取得到所述训练行人图像的M个局部特征；
进一步地，所述步骤S1包括以下步骤：
步骤S11，确定预训练深度学习模型，并对其进行参数初始化，对于所述预训练深度学习模型进行模型预处理，得到所述特征提取模块；
在本发明一实施例中，所采用的预训练深度学习模型为ResNet-50，此时，所述模型预处理为去掉所述预训练深度学习模型中最后的全局池化层和全连接层，同时，将所述预训练深度学习模型中第四个块的步长由原来默认的2改为1。
步骤S12，对训练集中的训练行人图像进行预处理；
在本发明一实施例中，对所述训练行人图像进行预处理包括：将训练行人图像的大小裁剪为预设大小，比如384×128，并把所述训练行人图像所有的像素值按比例缩小至预设范围内，比如0到1之间，然后将所述训练行人图像中的每个像素值减去所述训练行人图像的像素平均值，再除以所述训练行人图像的像素方差。
步骤S13，将预处理后得到的训练行人图像输入所述特征提取模块中，提取得到所述训练行人图像的预设数量的特征图；
在本发明一实施例中，所述特征图的数量为2048，大小为24×8，其中，24为特征图的高度，8为特征图的宽度。
步骤S14，将得到的特征图划分成M个区域，并对这M个区域执行最大池化得到所述训练行人图像中的第n张图像的M个局部特征(n＝1,2,...,N和m＝1,2,...,M)，其中N是一个小批量训练行人图像集合中训练行人图像的数量。
在本发明一实施例中，N＝66，M＝9，经过平均池化后第n张图像将会获得9个局部特征其中，所述最大池化是本领域技术人员应当熟练掌握的技术，在此不再赘述。
步骤S2，构建图卷积模块，将所述训练行人图像的M个局部特征作为图的节点，构建重叠图、重叠图的邻接矩阵、相似图和相似图的邻接矩阵，并设置结构图卷积操作，利用所述图卷积模块对所述重叠图、重叠图的邻接矩阵、相似图和相似图的邻接矩阵执行所述结构图卷积操作，得到所述训练行人图像的M个局部图卷积特征；
进一步地，所述步骤S2包括以下步骤：
步骤S21，将得到的训练行人图像的M个局部特征作为节点构建重叠图，并利用所述节点邻域的重叠节点数量构建重叠图的邻接矩阵；
在本发明一实施例中，重叠图的邻接矩阵是以训练行人图像的M个局部特征的k个最近邻域的重叠节点的数量为依据得到的，其中，第i张训练行人图像的第m个局部特征Pi,m和第j张训练行人图像的第m个局部特征Pj,m的k个最近邻域的重叠节点的数量可表示为：
其中，也可以用来表征第i张训练行人图像的第m个局部特征Pi,m和第j张训练行人图像的第m个局部特征Pj,m之间的边权重，δ(Pi,m,k)和δ(Pj,m,k)分别表示局部特征Pi,m和Pj,m的k个最近邻域的节点集合，∩表示两个集合的交集，|·|表示集合元素的数量，在选择Pi,m和Pj,m的k个最近邻域时，两个节点之间的欧式距离被定义为：
D(Pi,m,Pj,m)＝||Pi,·-Pj,·||2，
Pi,·＝<Pi,1,Pi,2,...,Pi,m,...,Pi,M>，
Pj,·＝<Pj,1,Pj,2,...,Pj,m,...,Pj,M>，
其中，<·>表示向量串联，||·||2表示向量的2范数。
在本发明一实施例中，所述重叠图的邻接矩阵可表示为：
其中，N是一个小批量训练行人图像集合中训练行人图像的数量，归一化的Om表示为：
其中，I是单位矩阵，Λ是一个对角矩阵，并且Λ的第i个对角线元素
在本发明一实施例中，N＝66。
步骤S22，将得到的训练行人图像的M个局部特征作为节点构建相似图，并利用所述节点之间的相似性构建相似图的邻接矩阵；
在本发明一实施例中，相似图的邻接矩阵是以训练行人图像的M个局部特征之间的相似性作为依据得到的，其中，所述局部特征之间的相似性可表示为：
其中，φ和是两个变换函数，被通过卷积核大小为1×1的卷积层实现，Pi,m和Pj,m分别表示第i张行人图像和第j张行人图像的第m个局部特征。
在本发明一实施例中，相似图的邻接矩阵可表示为：
其中并且在Sm中，元素值小于0.01的元素被设置为0。
在本发明一实施例中，结构图卷积操作可被设置为：
Y＝μ(W0X(I⊙A)+W1X((1-I)⊙A))，
其中，X表示所述结构图卷积操作的输入特征矩阵，W0和W1是所述结构图卷积操作的可学习的参数矩阵，I是单位矩阵，A是图的邻接矩阵，可以是相似图的邻接矩阵，也可以是重叠图的邻接矩阵，⊙表示两个矩阵按元素相乘，Y是所述结构图卷积操作输出的图卷积特征，μ是非线性激活函数。
在本发明一实施例中，所述结构图卷积操作有V层，每层结构图卷积操作以上一层结构图卷积操作输出的图卷积特征作为输入，每层结构图操作对所述重叠图、重叠图的邻接矩阵、相似图和相似图的邻接矩阵执行的所述结构图卷积操作可表示为：
其中，Xm表示输入结构图卷积操作的特征矩阵，由第m个局部特征组成，和W1 m是结构图卷积操作的可学习的参数矩阵，I是单位矩阵，Om'是第m个局部特征的归一化的重叠图的邻接矩阵，Sm是第m个局部特征的相似图的邻接矩阵，⊙表示两个矩阵按元素相乘，Ym是所述结构图卷积操作输出的第m个局部特征的结构图卷积特征矩阵，μ是非线性激活函数。
在本发明一实施例中，所述第一个结构图卷积操作的输入特征可以初始化为N个行人图像的第m个局部特征，即
在本发明一实施例中，V＝5。
步骤S3，构建损失计算模块，将所述训练行人图像的M个局部图卷积特征输入到所述损失计算模块中，利用得到的损失值对于由所述特征提取模块、图卷积模块和损失计算模块组成的行人再识别模型进行优化，得到最优行人再识别模型；
进一步地，所述步骤S3包括以下步骤：
步骤S31，构建损失计算模块，并利用所述损失计算模块计算所述训练行人图像的M个局部图卷积特征的损失值，其中，所述损失计算模块包括全连接层和损失函数；
在本发明一实施例中，在Market 1501数据库中进行训练时，所述全连接层的神经元数量为751。所述全连接层的输入为所述训练行人图像的M个局部图卷积特征，所述全连接层的输出接交叉熵损失函数Lm，即可得到所述训练行人图像的M个局部图卷积特征的损失值，其中，所述交叉熵损失函数Lm可表示为：
其中，Lm表示所述训练行人图像的第m个局部图卷积特征的损失值，C表示训练集中的行人类别的总个数，pc(m)是所述训练行人图像的第m个局部图卷积特征的真实类别的数值，当c是真实类别时，pc(m)＝1；否则，pc(m)＝0，qc(m)∈[0,1]表示所述训练行人图像的第m个局部图卷积特征属于类别c的预测数值。
步骤S32，对所述训练行人图像的M个局部图卷积特征的损失值相加求和，得到总损失函数，利用所述总损失函数对所述行人再识别模型进行优化，得到最优行人再识别模型，其中，所述总损失函数可表示为：
其中，Lm表示所述训练行人图像的第m个局部图卷积特征的损失值。
，通过迭代计算，优化所述行人再识别模型的参数，以使得所述总损失函数Loss最小，从而得到所述最优行人再识别模型。
其中，可借助随机梯度下降法进行迭代计算。
步骤S4，在测试阶段，获取查询图像，利用所述最优行人再识别模型计算得到所述查询图像Iq和训练行人图像Ig的M个局部图卷积特征，利用所述查询图像Iq和训练行人图像Ig的M个局部图卷积特征计算得到所述查询图像Iq和训练行人图像Ig之间的相似度，得到行人再识别结果，具体地，将所述查询图像Iq和训练行人图像Ig的M个局部图卷积特征分别串联起来，计算得到所述查询图像Iq和训练行人图像Ig之间的余弦相似度，进而得到行人再识别结果。
其中，所述训练行人图像Ig是已知行人识别结果的图像。
其中，所述查询图像Iq和训练行人图像Ig之间的相似度可表示为：
Sq,g＝cosine_similarity(<Pq,1,Pq,2,...,Pq,M>,<Pg,1,Pg,2,...,Pg,M>)，
其中，Pq,1,Pq,2,...,Pq,M分别表示查询图像Iq的第1个到第M个局部图卷积特征，Pg,1,Pg,2,...,Pg,M分别表示训练行人图像Ig的第1个到第M个局部图卷积特征，cosine_similarity表示两个向量的余弦距离，<·>表示向量串联。
以网上公开的行人再识别大型数据库作为测试对象，比如在Market 1501数据库上测试时，本发明行人再识别正确搜索率达到96.3％(rank-1)和90.8％(mAP)。本发明行人再识别方法有效地学习了行人图像间同一区域的特征的局部关系，最终融合图卷积特征来表示行人图像，提高了局部特征的判别性，很大程度地提高了行人再识别正确搜索率，由此可见本发明方法的有效性。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种基于局部图卷积网络的行人再识别方法，其特征在于，所述方法包括以下步骤：
步骤S1，利用预训练深度学习模型构建特征提取模块，将训练行人图像输入所述特征提取模块，提取得到所述训练行人图像的M个局部特征；
步骤S2，构建图卷积模块，将所述训练行人图像的M个局部特征作为图的节点，构建重叠图、重叠图的邻接矩阵、相似图和相似图的邻接矩阵，并设置结构图卷积操作，利用所述图卷积模块对所述重叠图、重叠图的邻接矩阵、相似图和相似图的邻接矩阵执行所述结构图卷积操作，得到所述训练行人图像的M个局部图卷积特征；
步骤S3，构建损失计算模块，将所述训练行人图像的M个局部图卷积特征输入到所述损失计算模块中，利用得到的损失值对于由所述特征提取模块、图卷积模块和损失计算模块组成的行人再识别模型进行优化，得到最优行人再识别模型；
步骤S4，获取查询图像，利用所述最优行人再识别模型计算得到所述查询图像Iq和训练行人图像Ig的M个局部图卷积特征，利用所述查询图像Iq和训练行人图像Ig的M个局部图卷积特征计算得到所述查询图像Iq和训练行人图像Ig之间的相似度，得到行人再识别结果。
2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括以下步骤：
步骤S11，确定预训练深度学习模型，并对其进行参数初始化，对于所述预训练深度学习模型进行模型预处理，得到所述特征提取模块；
步骤S12，对训练集中的训练行人图像进行预处理；
步骤S13，将预处理后得到的训练行人图像输入所述特征提取模块中，提取得到所述训练行人图像的预设数量的特征图；
步骤S14，将得到的特征图划分成M个区域，并对这M个区域执行最大池化得到所述训练行人图像中的第n张图像的M个局部特征。
3.根据权利要求1所述的方法，其特征在于，所述步骤S2包括以下步骤：
步骤S21，将得到的训练行人图像的M个局部特征作为节点构建重叠图，并利用所述节点邻域的重叠节点数量构建重叠图的邻接矩阵；
步骤S22，将得到的训练行人图像的M个局部特征作为节点构建相似图，并利用所述节点之间的相似性构建相似图的邻接矩阵；
步骤S23，将图上节点分成两类：节点本身和节点的邻域节点，并使用不同的参数矩阵来变换这两类节点，从而定义结构图卷积操作；
步骤S24，利用所述图卷积模块对所述重叠图、重叠图的邻接矩阵、相似图和相似图的邻接矩阵执行所述结构图卷积操作，得到所述训练行人图像的M个局部图卷积特征。
4.根据权利要求3所述的方法，其特征在于，所述重叠图的邻接矩阵表示为：
其中，N是一个小批量训练行人图像集合中训练行人图像的数量，为第i张训练行人图像的第m个局部特征Pi,m和第j张训练行人图像的第m个局部特征Pj,m的k个最近邻域的重叠节点的数量：
其中，δ(Pi,m,k)和δ(Pj,m,k)分别表示局部特征Pi,m和Pj,m的k个最近邻域的节点集合，∩表示两个集合的交集，|·|表示集合元素的数量。
5.根据权利要求3所述的方法，其特征在于，所述相似图的邻接矩阵表示为：
其中， 表示第i张训练行人图像的第m个局部特征Pi,m和第j张训练行人图像的第m个局部特征Pj,m之间的相似性：
其中，φ和是两个变换函数。
6.根据权利要求3所述的方法，其特征在于，所述结构图卷积操作表示为：
Y＝μ(W0X(I⊙A)+W1X((1-I)⊙A))，
其中，X表示结构图卷积操作的输入特征矩阵，W0和W1是所述结构图卷积操作的可学习的参数矩阵，I是单位矩阵，A表示邻接矩阵，⊙表示两个矩阵按元素相乘，Y是所述结构图卷积操作输出的图卷积特征，μ是非线性激活函数。
7.根据权利要求3所述的方法，其特征在于，所述步骤S24中所述结构图卷积操作有V层，每层结构图卷积操作以上一层结构图卷积操作输出的图卷积特征作为输入，每层结构图操作对所述重叠图、重叠图的邻接矩阵、相似图和相似图的邻接矩阵执行的结构图卷积操作表示为：
其中，Xm表示输入结构图卷积操作的特征矩阵，由第m个局部特征组成，和W1 m是结构图卷积操作的可学习的参数矩阵，I是单位矩阵，Om'是第m个局部特征的归一化的重叠图的邻接矩阵，Sm是第m个局部特征的相似图的邻接矩阵，⊙表示两个矩阵按元素相乘，Ym是所述结构图卷积操作输出的第m个局部特征的结构图卷积特征矩阵，μ是非线性激活函数。
8.根据权利要求1所述的方法，其特征在于，所述步骤S3包括以下步骤：
步骤S31，构建损失计算模块，并利用所述损失计算模块计算所述训练行人图像的M个局部图卷积特征的损失值，其中，所述损失计算模块包括全连接层和损失函数；
步骤S32，对所述训练行人图像的M个局部图卷积特征的损失值相加求和，得到总损失函数，利用所述总损失函数对所述行人再识别模型进行优化，得到最优行人再识别模型。
9.根据权利要求8所述的方法，其特征在于，所述步骤S31中，所述损失计算模块利用以下损失函数计算所述训练行人图像的M个局部图卷积特征的损失值：
其中，Lm表示所述训练行人图像的第m个局部图卷积特征的损失值，C表示训练集中的行人类别的总个数，pc(m)是所述训练行人图像的第m个局部图卷积特征的真实类别的数值，当c是真实类别时，pc(m)＝1；否则，pc(m)＝0，qc(m)∈[0,1]表示所述训练行人图像的第m个局部图卷积特征属于类别c的预测数值。
10.根据权利要求8所述的方法，其特征在于，所述总损失函数Loss表示为：
其中，Lm表示所述训练行人图像的第m个局部图卷积特征的损失值。
CN202010473581.6A 2020-05-29 2020-05-29 一种基于局部图卷积网络的行人再识别方法 Active CN111695460B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010473581.6A CN111695460B (zh) 2020-05-29 2020-05-29 一种基于局部图卷积网络的行人再识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010473581.6A CN111695460B (zh) 2020-05-29 2020-05-29 一种基于局部图卷积网络的行人再识别方法

Publications (2)

Publication Number Publication Date
CN111695460A CN111695460A (zh) 2020-09-22
CN111695460B true CN111695460B (zh) 2023-04-21

Family

ID=72478807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010473581.6A Active CN111695460B (zh) 2020-05-29 2020-05-29 一种基于局部图卷积网络的行人再识别方法

Country Status (1)

Country Link
CN (1) CN111695460B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192104B (zh) * 2021-04-14 2023-04-28 浙江大华技术股份有限公司 一种目标特征提取方法及其设备
CN113297936A (zh) * 2021-05-17 2021-08-24 北京工业大学 一种基于局部图卷积网络的排球群体行为识别方法
CN115205306A (zh) * 2022-08-02 2022-10-18 吉林建筑大学 一种基于图卷积的医疗图像分割方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009017483A1 (en) * 2007-08-01 2009-02-05 The Trustees Of The University Of Penssylvania Malignancy diagnosis using content-based image retreival of tissue histopathology
WO2018196396A1 (zh) * 2017-04-24 2018-11-01 清华大学 基于一致性约束特征学习的行人再识别方法
CN109034044A (zh) * 2018-06-14 2018-12-18 天津师范大学 一种基于融合卷积神经网络的行人再识别方法
CN110532900A (zh) * 2019-08-09 2019-12-03 西安电子科技大学 基于U-Net和LS-CNN的人脸表情识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009017483A1 (en) * 2007-08-01 2009-02-05 The Trustees Of The University Of Penssylvania Malignancy diagnosis using content-based image retreival of tissue histopathology
WO2018196396A1 (zh) * 2017-04-24 2018-11-01 清华大学 基于一致性约束特征学习的行人再识别方法
CN109034044A (zh) * 2018-06-14 2018-12-18 天津师范大学 一种基于融合卷积神经网络的行人再识别方法
CN110532900A (zh) * 2019-08-09 2019-12-03 西安电子科技大学 基于U-Net和LS-CNN的人脸表情识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张重 ; 黄美艳 ; 司统振 ; 刘爽 ; .计算机视觉与数字图像处理课程融合的研究.现代职业教育.2018,(第10期),80. *
邱泓燕 ; 张海刚 ; 杨金锋 ; .基于图卷积网络的手指静脉识别方法研究.信号处理.2020,第36卷(第03期),389-396. *

Also Published As

Publication number Publication date
CN111695460A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN111563508B (zh) 一种基于空间信息融合的语义分割方法
CN111695460B (zh) 一种基于局部图卷积网络的行人再识别方法
CN108960140B (zh) 基于多区域特征提取和融合的行人再识别方法
CN111259850A (zh) 一种融合随机批掩膜和多尺度表征学习的行人重识别方法
CN113033520B (zh) 一种基于深度学习的树木线虫病害木识别方法及系统
CN109598268A (zh) 一种基于单流深度网络的rgb-d显著目标检测方法
CN111709311A (zh) 一种基于多尺度卷积特征融合的行人重识别方法
CN110222718B (zh) 图像处理的方法及装置
CN110781736A (zh) 基于双流网络将姿态和注意力相结合的行人重识别方法
CN111259837B (zh) 一种基于部位注意力的行人重识别方法及系统
CN112446379B (zh) 一种动态大场景自适应智能处理方法
CN112084895B (zh) 一种基于深度学习的行人重识别方法
CN110135435B (zh) 一种基于广度学习系统的显著性检测方法及装置
CN110222568B (zh) 一种基于时空图的跨视角步态识别方法
Xin et al. Real-time visual place recognition based on analyzing distribution of multi-scale CNN landmarks
CN113269099B (zh) 基于图匹配的异构无人系统下车辆重新识别方法
CN113763417B (zh) 一种基于孪生网络和残差结构的目标跟踪方法
CN112396036A (zh) 一种结合空间变换网络和多尺度特征提取的遮挡行人重识别方法
CN115830631B (zh) 基于姿态辅助遮挡人体再识别的一人一档系统构建方法
CN116912763A (zh) 一种融合步态人脸模态的多行人重识别方法
CN111428562B (zh) 一种基于部件引导图卷积网络的行人再识别方法
CN114693987A (zh) 模型生成方法、装置和存储介质及人脸识别方法和装置
Barsi Object detection using neural self-organization
CN115082704B (zh) 基于相关性滤波的文本行人重识别方法
CN116152519B (zh) 一种基于图像的特征提取方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant