CN108960184B - 一种基于异构部件深度神经网络的行人再识别方法 - Google Patents

一种基于异构部件深度神经网络的行人再识别方法 Download PDF

Info

Publication number
CN108960184B
CN108960184B CN201810800448.XA CN201810800448A CN108960184B CN 108960184 B CN108960184 B CN 108960184B CN 201810800448 A CN201810800448 A CN 201810800448A CN 108960184 B CN108960184 B CN 108960184B
Authority
CN
China
Prior art keywords
pedestrian
image
deep neural
neural network
batch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810800448.XA
Other languages
English (en)
Other versions
CN108960184A (zh
Inventor
张重
黄美艳
刘爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Minglong Electronic Technology Co ltd
Wen Jing
Original Assignee
Tianjin Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Normal University filed Critical Tianjin Normal University
Priority to CN201810800448.XA priority Critical patent/CN108960184B/zh
Publication of CN108960184A publication Critical patent/CN108960184A/zh
Application granted granted Critical
Publication of CN108960184B publication Critical patent/CN108960184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于异构部件深度神经网络的行人再识别方法，该方法包括：构建基于异构部件的深度神经网络；为行人图像提取卷积激活图形成张量；利用水平平均池化对张量进行平均分割得到K个部分，并对每个部分的元素在水平方向求平均得到K个基于部分的特征向量；获得某一批次硬三元组损失和K个交叉熵损失；利用两个损失的和更新深度神经网络的网络参数；提取待查询图像的K个基于部分的特征向量，将其串联成一个特征向量作为特征表示向量；根据特征表示向量之间的距离得到所述待查询图像的匹配结果。本发明利用对准距离学习行人图像部分的对齐，并利用不同的损失学习更具有判别性的基于部分的特征，从而提高行人再识别匹配的正确率。

Description

一种基于异构部件深度神经网络的行人再识别方法
技术领域
本发明属于计算机视觉、深度学习、人工智能技术领域，具体涉及一种基于异构部件深度神经网络的行人再识别方法。
背景技术
行人再识别是指在监控摄像机网络构成的搜索库中寻找与目标行人具有相同身份的行人图像。随着监控设备成本的逐渐降低，监控视频的应用也越来越广泛。越来越多的机构购置大量摄像头进行长时间监控。如交通管理局在各个交通枢纽设置监控摄像头监察交通违规问题，社区物业在小区的各个关键出入口架设摄像头以保证小区人员财产安全，大型超市在商场内布置大量摄像头监控盗窃事件。大量的监控摄像头形成了一个巨大的监控网络，监看人员必须长时间留意监控视频中事件场景的变化，尤其是查找某个特定行人是否出现在监控系统中，这给监看人员带来了巨大的挑战。行人再识别作为一项应用计算机快速匹配行人的技术，能够很大程度地代替人工操作，因此被广泛研究。但是由于监控视频中的行人再识别问题面临图片分辨率低下、遮挡、光照变化、错位等挑战，离实际应用还有较大的距离。因此，如何有效地解决这些因素所带来的影响，是解决行人再识别问题的关键。
目前，深度神经网络在行人再识别领域占据主导地位，对于提高行人再识别的准确率至关重要。许多深度神经网络用于提取行人图像基于部分的特征，Varior等人提出了一种新的长短记忆网络(LSTM)，用于对行人图像的部分进行有序处理，同时利用上下文信息增强基于部分特征的判别能力；Yao等人提出了局部损失网络(PL-Net)通过同时最小化部分的损失和全局分类损失来学习不同部分的判别性表示；Yi等人将每个行人图像分割成三个重叠部分，同时训练三个网络以学习基于部分的特征。然而，这些方法没有考虑行人图像部分之间的对齐。部分之间的对齐对学习判别性特征起着重要的作用。Zheng等人提出了姿态不变嵌入(PIE)的算法考虑行人图像部分之间的对齐，这种方法将行人与标准姿态对齐，减少姿态估计误差；Zhao等人通过从不同身体区域获取语义特征使得图像部分之间对齐。然而，这些基于姿态估计的方法需要额外的监督学习。
发明内容
本发明的目的是要解决行人图像部分之间的对齐对行人再识别结果影响较大的问题，为此，本发明提供基于异构部件深度神经网络的行人再识别方法。
为了实现所述目的，本发明提出一种基于异构部件深度神经网络的行人再识别方法，所述方法包括以下步骤：
步骤S1，构建基于异构部件的深度神经网络；
步骤S2，利用所述基于异构部件的深度神经网络，为每一幅行人图像提取卷积激活图并形成一个张量；
步骤S3，利用水平平均池化对每个张量进行平均分割得到K个部分，并且对每个部分的元素在水平方向求平均得到K个基于部分的特征向量，即可将每幅行人图像表示为K个基于部分的特征向量；
步骤S4，对于某一批次行人图像中的两幅图像，利用对准距离对其K个基于部分的特征向量进行对齐,并结合批次硬三元组损失和对准距离学习所述基于部分的特征向量的对齐，进而得到该批次硬三元组损失；
步骤S5，对于某一批次行人图像中的每一幅，为行人图像的每一部分应用交叉熵损失学习基于部分特征向量的判别性，得到该批次K个交叉熵损失；
步骤S6，利用所述步骤S4得到的硬三元组损失和所述步骤S5得到的K个交叉熵损失的和更新所述深度神经网络的网络参数，得到训练完成的深度神经网络；
步骤S7，利用训练得到的深度神经网络提取待查询图像的K个基于部分的特征向量，并将其串联成一个特征向量作为每一幅待查询图像最终的特征表示向量；
步骤S8，通过计算待查询图像和图像库中图像的特征表示向量之间的距离得到所述待查询图像的匹配结果。
可选地，所述步骤S1包括以下步骤：
步骤S11，选择预训练网络模型并进行初始化；
步骤S12，对预训练网络模型进行修改得到基于异构部件深度神经网络。
可选地，所述步骤S12包括以下步骤：
步骤S121，去掉预训练网络模型全局平均池化层之后的层；
步骤S122，将预训练网络模型最后的全局平均池化层替换为水平平均池化层，用于获得K个基于部分的特征向量，并增加一个卷积层用于对基于部分的特征向量降维；
步骤S123，利用批次硬三元组损失函数构建所述预训练网络模型的第一个分支；
步骤S124，利用K个全连接层和K个交叉熵损失函数构建所述预训练网络模型的第二个分支；
步骤S125，对批次硬三元组损失函数和K个交叉熵损失函数求和得到最终的损失，进而得到基于异构部件的深度神经网络。
可选地，所述步骤S2包括以下步骤：
步骤S21，将每一幅行人图像的大小调整到预设大小；
步骤S22，随机选择N幅行人图像作为一个批次输入到基于异构部件的深度神经网络中；
步骤S23，利用所述深度神经网络最后的卷积层为每一幅输入的行人图像提取卷积激活图并形成一个张量。
可选地，所述步骤S3包括以下步骤：
步骤S31，利用水平平均池化对每个张量进行平均分割得到K个部分并且对每个部分的元素在水平方向求平均得到K个维数为C的基于部分的特征向量；
步骤S32，利用卷积核对所述基于部分的特征向量降维，得到维数为c的特征向量。
可选地，所述步骤S4包括以下步骤：
步骤S41，计算两幅行人图像之间的距离dij；
步骤S42，规定搜索范围T，在第二幅行人图像中，为第一幅行人图像的每个部分搜索与其距离最短的部分用于两幅图像部分之间的对齐，对齐部分之间的距离称为局部最短距离；
步骤S43，对两幅行人图像部分之间所有的局部最短距离求和得到两幅图像的对准距离；
步骤S44，利用对准距离挖掘一系列的三元组样本；
步骤S45，利用批次硬三元组损失和三元组样本学习基于部分的特征向量的对齐，得到该批次硬三元组损失。
可选地，所述步骤S44包括以下步骤：
步骤S441，在一个批次的行人图像中，利用对准距离为每一幅行人图像找到与之具有相同的行人类别但对准距离最大的一幅图像作为最不相似正样本；
步骤S442，在一个批次的行人图像中，利用对准距离为每一幅行人图像找到与之具有不相同的行人类别但对准距离最小的一幅图像作为最相似负样本；
步骤S443，将每一幅行人图像的与之最不相似正样本和最相似负样本组成一个三元组样本。
可选地，所述步骤S5包括以下步骤：
步骤S51，为行人图像的每个部分赋予与其原始图片相同的真实标签；
步骤S52，将所述行人图像的K个基于部分的特征向量输入到所述深度神经网络的K个全连接层，输出K个M维的向量表示所述行人图像的各个部分的预测概率；
步骤S53，将K个M维的向量和对应的真实标签输入到各自的交叉熵损失函数中得到K个交叉熵损失，进一步学习得到基于部分特征向量的判别性。
可选地，所述步骤S6中，采用小批量随机梯度下降法训练网络，计算网络损失值的导数，通过反向传播对所述深度神经网络的参数进行更新，得到训练完成的网络。
可选地，所述距离为欧式距离。
本发明的有益效果为：本发明利用对准距离学习行人图像部分的对齐，并利用不同的损失学习更具有判别性的基于部分的特征，从而提高行人再识别匹配的正确率。
需要说明的是，本发明得到了国家自然科学基金项目No.61501327、No.61711530240，天津市自然科学基金重点项目No.17JCZDJC30600，天津师范大学“青年科研拔尖人才培育计划”No.135202RC1703，模式识别国家重点实验室开放课题基金No.201700001、No.201800002，中国国家留学基金No.201708120040、No.201708120039和天津高等学校创新团队基金项目的资助。
附图说明
图1是根据本发明一实施例的基于异构部件深度神经网络的行人再识别方法的流程图。
图2是根据本发明一实施例构建的异构部件深度神经网络的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
图1是根据本发明一实施例基于异构部件深度神经网络的行人再识别方法的流程图，下面以图1为例来说明本发明的一些具体实现流程。本发明的方法是一种基于异构部件深度神经网络的行人再识别方法的方法，其具体步骤包括：
步骤S1，构建基于异构部件的深度神经网络，图2显示了根据本发明一实施例构建的基于异构部件的深度神经网络的结构框图；
进一步地，所述步骤S1包括以下步骤：
步骤S11，选择预训练网络模型并进行初始化；
在本发明一实施例中，所述预训练网络模型可以从以下网络模型中选择：CaffeNet、VGG19、ResNet-50，比如选择ResNet-50。
步骤S12，对预训练网络模型进行修改得到基于异构部件深度神经网络。
其中，所述步骤S12包括以下步骤：
步骤S121，去掉预训练网络模型最后的全局平均池化层之后的层；
步骤S122，将预训练网络模型最后的全局平均池化层替换为水平平均池化层，用于获得K个基于部分的特征向量，并增加一个1×1的卷积层用于对基于部分的特征向量降维；
步骤S123，利用批次硬三元组损失函数构建所述预训练网络模型的第一个分支；
步骤S124，利用增加的K个全连接层和K个交叉熵损失函数构建所述预训练网络模型的第二个分支；
步骤S125，对批次硬三元组损失函数和K个交叉熵损失函数求和得到最终的损失，进而得到基于异构部件的深度神经网络。
步骤S2，利用所述基于异构部件的深度神经网络，为每一幅行人图像提取卷积激活图并形成一个张量；
进一步地，所述步骤S2包括以下步骤：
步骤S21，将每一幅行人图像的大小调整到预设大小，比如384×128；
步骤S22，随机选择N幅行人图像作为一个批次输入到基于异构部件的深度神经网络中；
在本发明一实施例中，所述一个批次包含S个行人类别，每个行人类别包括R幅图像，即：N＝S×R。
在本发明一实施例中，所述一个批次中行人的类别数量S＝16，每个行人类别包含的图像数量R＝4，一个批次行人图像的数量N＝64。
步骤S23，利用所述深度神经网络最后的卷积层为每一幅输入的行人图像提取卷积激活图并形成一个大小为C×X×Y的三维的张量，C为卷积激活图的数量，X×Y为卷积激活图的大小。
在本发明一实施例中，所述深度神经网络为ResNet-50时，卷积激活图的数量为2048，卷积激活图的大小为24×8。
步骤S3，利用水平平均池化对每个张量进行平均分割得到K个部分，并且对每个部分的元素在水平方向求平均得到K个基于部分的特征向量，因此，可将每幅行人图像表示为K个基于部分的特征向量；
进一步地，所述步骤S3包括以下步骤：
步骤S31，利用水平平均池化对每个张量进行平均分割得到K个部分并且对每个部分的元素在水平方向求平均得到K个维数为C的基于部分的特征向量；
步骤S32，利用1×1的卷积核对所述基于部分的特征向量降维，得到维数为c的特征向量。
在本发明一实施例中，所述特征向量降维后得到的维数c为256。
步骤S4，在训练过程中，对于某一批次行人图像中的两幅图像，利用对准距离对其K个基于部分的特征向量进行对齐,并结合批次硬三元组损失和对准距离学习所述基于部分的特征向量的对齐，进而得到该批次硬三元组损失；
进一步地，所述步骤S4包括以下步骤：
步骤S41，计算两幅行人图像之间的距离dij；
其中，任意两幅行人图像可分别用K个基于部分的特征向量表示为U＝{u1,u2,...,uK}和V＝{v1,v2,...,vK}，则dij可表示为：
dij＝||ui-vj||2
其中，ui∈R256×1和vj∈R256×1分别表示第U幅图像的第i个基于部分的特征向量和第V幅图像的第j个基于部分的特征向量。
步骤S42，规定一个搜索范围T，在第二幅行人图像中，为第一幅行人图像的每个部分搜索与其距离最短的部分用于两幅图像部分之间的对齐，对齐部分之间的距离称为局部最短距离；
其中，与第一幅行人图像第i个部分对齐的局部最短距离可表示为：
Figure BDA0001736973860000081
在本发明一实施例中，所述搜索范围T是第二幅行人图像中从上到下与第一幅行人图像的第i个部分最邻近的T个部分，T根据划分部分的数量K的不同可以取不同的值。
步骤S43，对两幅行人图像部分之间所有的局部最短距离求和得到两幅图像的对准距离，在一个批次里面计算任意两幅行人图像的对准距离，得到N×N个对准距离；
其中，两幅行人图像U和V的对准距离可表示为：
Figure BDA0001736973860000082
在本发明一实施例中，所述对准距离可以看作行人图像之间的相似度，对准距离越小，相似度越大。
步骤S44，利用对准距离挖掘一系列的三元组样本；
其中，所述步骤S44包括以下步骤：
步骤S441，在一个批次的行人图像中，利用对准距离为每一幅行人图像找到与之具有相同的行人类别但对准距离最大的一幅图像作为最不相似正样本；
步骤S442，在一个批次的行人图像中，利用对准距离为每一幅行人图像找到与之具有不相同的行人类别但对准距离最小的一幅图像作为最相似负样本；
步骤S443，将每一幅行人图像的与之最不相似正样本和最相似负样本组成一个三元组样本。
步骤S45，利用批次硬三元组损失和三元组样本学习基于部分的特征向量的对齐，得到该批次硬三元组损失。
其中，所述批次硬三元组损失可以表示为：
Figure BDA0001736973860000091
其中，
Figure BDA0001736973860000092
和
Figure BDA0001736973860000093
表示第i类行人的第a幅和第p幅图像，
Figure BDA0001736973860000094
表示第j类行人的第n幅图像，m是批次硬三元组损失的阈值，[Z]+＝max(Z,0)。
步骤S5，对于某一批次行人图像中的每一幅，为行人图像的每一部分应用交叉熵损失学习基于部分特征向量的判别性，得到该批次K个交叉熵损失；
进一步地，所述步骤S5包括以下步骤：
步骤S51，为行人图像的每个部分赋予与其原始图片相同的真实标签；
步骤S52，将所述行人图像的K个基于部分的特征向量输入到所述深度神经网络的K个全连接层，输出K个M维的向量表示所述行人图像的各个部分的预测概率；
在本发明一实施例中，所述M表示行人图像的类别数量。
步骤S53，将K个M维的向量和对应的真实标签输入到各自的交叉熵损失函数中得到K个交叉熵损失，进一步学习得到基于部分特征向量的判别性，其中，第i个交叉熵损失表示为：
Figure BDA0001736973860000108
其中，
Figure BDA0001736973860000101
其中，
Figure BDA0001736973860000102
表示图像第i个部分属于第m个行人类别的预测概率，
Figure BDA0001736973860000103
表示第i个部分属于第m个行人类别的真实标签，如果行人图像第i个部分的标签为m，
Figure BDA0001736973860000104
否则，
Figure BDA0001736973860000105
Figure BDA0001736973860000106
是第i个全连接层的第m个输出。对K个交叉熵损失求和表示为：
Figure BDA0001736973860000107
步骤S6，在训练过程中，利用所述步骤S4得到的硬三元组损失和所述步骤S5得到的K个交叉熵损失的和更新所述深度神经网络的网络参数，得到训练完成的深度神经网络；
其中，所述硬三元组损失和K个交叉熵损失的和作为所述深度神经网络的总损失，可表示为：
Loss＝LT+LI
在本发明一实施例中，采用小批量随机梯度下降法训练网络，计算所述网络损失值Loss的导数，通过反向传播对所述网络的参数进行更新，得到训练完成的网络。训练的迭代次数为150次，学习速率初始化为0.1，后面的74次迭代中学习速率取为0.01。
步骤S7，利用训练得到的深度神经网络提取待查询图像的K个基于部分的特征向量，并将其串联成一个特征向量作为每一幅待查询图像最终的特征表示向量；
步骤S8，通过计算待查询图像和图像库中图像的特征表示向量之间的距离得到所述待查询图像的匹配结果。
在本发明一实施例中，所述距离可为欧式距离，在该实施例中，所述待查询图像与图像索库中图像的特征表示向量之间的欧氏距离越小，就说明待查询图像与图像库中图像之间的相似度越高，进而得到所述待查询图像的匹配结果。
以网上公开的行人再识别数据库作为测试对象，比如在Market-1501数据库上，行人图像的类别数量M＝1501，当K＝8，T＝3时，行人再识别匹配的正确率为rank-1＝94.0％，平均精度mAP＝81.2％。由此可见本发明方法的有效性。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种基于异构部件深度神经网络的行人再识别方法，其特征在于，该方法包括以下步骤：
步骤S1，构建基于异构部件的深度神经网络；
步骤S2，利用所述基于异构部件的深度神经网络，为每一幅行人图像提取卷积激活图并形成一个张量；
步骤S3，利用水平平均池化对每个张量进行平均分割得到K个部分，并且对每个部分的元素在水平方向求平均得到K个基于部分的特征向量，即可将每幅行人图像表示为K个基于部分的特征向量；
步骤S4，对于某一批次行人图像中的两幅图像，利用对准距离对其K个基于部分的特征向量进行对齐,并结合批次硬三元组损失和对准距离学习所述基于部分的特征向量的对齐，进而得到该批次硬三元组损失；
步骤S5，对于某一批次行人图像中的每一幅，为行人图像的每一部分应用交叉熵损失学习基于部分特征向量的判别性，得到该批次K个交叉熵损失；
步骤S6，利用所述步骤S4得到的硬三元组损失和所述步骤S5得到的K个交叉熵损失的和更新所述深度神经网络的网络参数，得到训练完成的深度神经网络；
步骤S7，利用训练得到的深度神经网络提取待查询图像的K个基于部分的特征向量，并将其串联成一个特征向量作为所述待查询图像最终的特征表示向量；
步骤S8，通过计算待查询图像和图像库中图像的特征表示向量之间的距离得到所述待查询图像的匹配结果。
2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括以下步骤：
步骤S11，选择预训练网络模型并进行初始化；
步骤S12，对预训练网络模型进行修改得到基于异构部件深度神经网络。
3.根据权利要求2所述的方法，其特征在于，所述步骤S12包括以下步骤：
步骤S121，去掉预训练网络模型全局平均池化层之后的层；
步骤S122，将预训练网络模型最后的全局平均池化层替换为水平平均池化层，用于获得K个基于部分的特征向量，并增加一个卷积层用于对基于部分的特征向量降维；
步骤S123，利用批次硬三元组损失函数构建所述预训练网络模型的第一个分支；
步骤S124，利用K个全连接层和K个交叉熵损失函数构建所述预训练网络模型的第二个分支；
步骤S125，对批次硬三元组损失函数和K个交叉熵损失函数求和得到最终的损失，进而得到基于异构部件的深度神经网络。
4.根据权利要求1所述的方法，其特征在于，所述步骤S2包括以下步骤：
步骤S21，将每一幅行人图像的大小调整到预设大小；
步骤S22，随机选择N幅行人图像作为一个批次输入到基于异构部件的深度神经网络中；
步骤S23，利用所述深度神经网络最后的卷积层为每一幅输入的行人图像提取卷积激活图并形成一个张量。
5.根据权利要求1所述的方法，其特征在于，所述步骤S3包括以下步骤：
步骤S31，利用水平平均池化对每个张量进行平均分割得到K个部分并且对每个部分的元素在水平方向求平均得到K个维数为C的基于部分的特征向量；
步骤S32，利用卷积核对所述基于部分的特征向量降维，得到维数为c的特征向量。
6.根据权利要求1所述的方法，其特征在于，所述步骤S4包括以下步骤：
步骤S41，计算两幅行人图像之间的距离dij；
步骤S42，规定搜索范围T，在第二幅行人图像中，为第一幅行人图像的每个部分搜索与其距离最短的部分用于两幅图像部分之间的对齐，对齐部分之间的距离称为局部最短距离；
步骤S43，对两幅行人图像部分之间所有的局部最短距离求和得到两幅图像的对准距离；
步骤S44，利用对准距离挖掘一系列的三元组样本；
步骤S45，利用批次硬三元组损失和三元组样本学习基于部分的特征向量的对齐，得到该批次硬三元组损失。
7.根据权利要求6所述的方法，其特征在于，所述步骤S44包括以下步骤：
步骤S441，在一个批次的行人图像中，利用对准距离为每一幅行人图像找到与之具有相同的行人类别但对准距离最大的一幅图像作为最不相似正样本；
步骤S442，在一个批次的行人图像中，利用对准距离为每一幅行人图像找到与之具有不相同的行人类别但对准距离最小的一幅图像作为最相似负样本；
步骤S443，将每一幅行人图像的与之最不相似正样本和最相似负样本组成一个三元组样本。
8.根据权利要求1所述的方法，其特征在于，所述步骤S5包括以下步骤：
步骤S51，为行人图像的每个部分赋予与其原始图片相同的真实标签；
步骤S52，将所述行人图像的K个基于部分的特征向量输入到所述深度神经网络的K个全连接层，输出K个M维的向量表示所述行人图像的各个部分的预测概率；
步骤S53，将K个M维的向量和对应的真实标签输入到各自的交叉熵损失函数中得到K个交叉熵损失，进一步学习得到基于部分特征向量的判别性。
9.根据权利要求1所述的方法，其特征在于，所述步骤S6中，采用小批量随机梯度下降法训练网络，计算网络损失值的导数，通过反向传播对所述深度神经网络的参数进行更新，得到训练完成的网络。
10.根据权利要求1所述的方法，其特征在于，所述距离为欧式距离。
CN201810800448.XA 2018-07-20 2018-07-20 一种基于异构部件深度神经网络的行人再识别方法 Active CN108960184B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810800448.XA CN108960184B (zh) 2018-07-20 2018-07-20 一种基于异构部件深度神经网络的行人再识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810800448.XA CN108960184B (zh) 2018-07-20 2018-07-20 一种基于异构部件深度神经网络的行人再识别方法

Publications (2)

Publication Number Publication Date
CN108960184A CN108960184A (zh) 2018-12-07
CN108960184B true CN108960184B (zh) 2021-08-24

Family

ID=64481970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810800448.XA Active CN108960184B (zh) 2018-07-20 2018-07-20 一种基于异构部件深度神经网络的行人再识别方法

Country Status (1)

Country Link
CN (1) CN108960184B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784166A (zh) * 2018-12-13 2019-05-21 北京飞搜科技有限公司 行人重识别的方法及装置
CN109784258A (zh) * 2019-01-08 2019-05-21 华南理工大学 一种基于多尺度特征切割与融合的行人重识别方法
CN110059616A (zh) * 2019-04-17 2019-07-26 南京邮电大学 基于融合损失函数的行人重识别模型优化方法
CN110070030B (zh) * 2019-04-18 2021-10-15 北京迈格威科技有限公司 图像识别与神经网络模型的训练方法、装置和系统
CN110322509B (zh) * 2019-06-26 2021-11-12 重庆邮电大学 基于层级类激活图的目标定位方法、系统及计算机设备
CN110321862B (zh) * 2019-07-09 2023-01-10 天津师范大学 一种基于紧致三元损失的行人再识别方法
CN110688888B (zh) * 2019-08-02 2022-08-05 杭州未名信科科技有限公司 一种基于深度学习的行人属性识别方法和系统
CN110516569B (zh) * 2019-08-15 2022-03-08 华侨大学 一种基于身份和非身份属性交互学习的行人属性识别方法
CN112784643A (zh) * 2019-11-08 2021-05-11 广东毓秀科技有限公司 一种通过部件对齐池化进行行人重识别的方法
CN111027617A (zh) * 2019-12-06 2020-04-17 北京市商汤科技开发有限公司 神经网络训练及图像识别方法、装置、设备和存储介质
CN111274445B (zh) * 2020-01-20 2021-04-23 山东建筑大学 基于三元组深度学习的相似视频内容检索方法及系统
CN112131970A (zh) * 2020-09-07 2020-12-25 浙江师范大学 一种基于多通道时空网络和联合优化损失的身份识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778527A (zh) * 2016-11-28 2017-05-31 中通服公众信息产业股份有限公司 一种基于三重损失的改进的神经网络行人再识别方法
CN107292259A (zh) * 2017-06-15 2017-10-24 国家新闻出版广电总局广播科学研究院 基于AdaRank的深度特征和传统特征的集成方法
CN107330396A (zh) * 2017-06-28 2017-11-07 华中科技大学 一种基于多属性和多策略融合学习的行人再识别方法
CN108229435A (zh) * 2018-02-01 2018-06-29 北方工业大学 一种用于行人识别的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778527A (zh) * 2016-11-28 2017-05-31 中通服公众信息产业股份有限公司 一种基于三重损失的改进的神经网络行人再识别方法
CN107292259A (zh) * 2017-06-15 2017-10-24 国家新闻出版广电总局广播科学研究院 基于AdaRank的深度特征和传统特征的集成方法
CN107330396A (zh) * 2017-06-28 2017-11-07 华中科技大学 一种基于多属性和多策略融合学习的行人再识别方法
CN108229435A (zh) * 2018-02-01 2018-06-29 北方工业大学 一种用于行人识别的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Multi-shot Pedestrian Re-identification via Sequential Decision Making";J zhang;《arXiv》;20171231;第1-9页 *
"行人重识别研究综述";王蕴锜;《智能系统学报》;20171109;第12卷(第6期);第771-780页 *

Also Published As

Publication number Publication date
CN108960184A (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
CN108960184B (zh) 一种基于异构部件深度神经网络的行人再识别方法
Bhagat et al. Indian sign language gesture recognition using image processing and deep learning
Nia et al. Building damage assessment using deep learning and ground-level image data
AlDahoul et al. Real‐Time Human Detection for Aerial Captured Video Sequences via Deep Models
Roy et al. Deep learning based hand detection in cluttered environment using skin segmentation
CN110633632A (zh) 一种基于循环指导的弱监督联合目标检测和语义分割方法
CN111832514A (zh) 基于软多标签的无监督行人重识别方法及装置
Fadaeddini et al. A deep residual neural network for low altitude remote sensing image classification
Blasch et al. Video-based activity analysis using the L1 tracker on VIRAT data
CN113361464A (zh) 一种基于多粒度特征分割的车辆重识别方法
Li et al. Unsupervised domain adaptation with self-attention for post-disaster building damage detection
CN112149643B (zh) 基于多级注意力机制的面向无人机平台的车辆重识别方法
Acharya et al. Real-time detection and tracking of pedestrians in CCTV images using a deep convolutional neural network
CN115427970A (zh) 使用自举潜在表示的自监督表示学习
Mittal et al. Review of different techniques for object detection using deep learning
US20230095533A1 (en) Enriched and discriminative convolutional neural network features for pedestrian re-identification and trajectory modeling
CN115375781A (zh) 一种数据处理方法及其装置
Karne et al. Convolutional neural networks for object detection and recognition
WO2023185074A1 (zh) 一种基于互补时空信息建模的群体行为识别方法
Cai et al. Vehicle detection based on visual saliency and deep sparse convolution hierarchical model
Yan et al. Real-time unmanned aerial vehicle tracking of fast moving small target on ground
Qiu et al. A moving vehicle tracking algorithm based on deep learning
CN114973305B (zh) 一种针对拥挤人群的精确人体解析方法
Smitha et al. Optimal feed forward neural network based automatic moving vehicle detection system in traffic surveillance system
Tamer et al. Cross-lingual keyword search for sign language

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230810

Address after: Room 1102, No. 23, Lane 88, Jiangwan Road, Yangpu District, Shanghai, 200082

Patentee after: Wen Jing

Address before: 230000 B-1015, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui.

Patentee before: HEFEI MINGLONG ELECTRONIC TECHNOLOGY Co.,Ltd.

Effective date of registration: 20230810

Address after: 230000 B-1015, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui.

Patentee after: HEFEI MINGLONG ELECTRONIC TECHNOLOGY Co.,Ltd.

Address before: 300387 Tianjin city Xiqing District West Binshui Road No. 393

Patentee before: TIANJIN NORMAL University