CN110543817A - 基于姿势指导特征学习的行人再识别方法 - Google Patents

基于姿势指导特征学习的行人再识别方法 Download PDF

Info

Publication number
CN110543817A
CN110543817A CN201910677983.5A CN201910677983A CN110543817A CN 110543817 A CN110543817 A CN 110543817A CN 201910677983 A CN201910677983 A CN 201910677983A CN 110543817 A CN110543817 A CN 110543817A
Authority
CN
China
Prior art keywords
posture
image
feature
features
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910677983.5A
Other languages
English (en)
Inventor
张史梁
李佳宁
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201910677983.5A priority Critical patent/CN110543817A/zh
Publication of CN110543817A publication Critical patent/CN110543817A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于姿势指导特征学习的行人再识别方法，包括：将原始图像进行姿势归一化处理，得到姿势归一化图像；将原始图像与姿势归一化图像进行权值共享处理后再分别进行全局平均池化，得到姿势不变特征；对原始图像进行身体区域划分得到若干身体区域图像，将原始图像与若干身体区域图像进行权值共享处理后再分别进行全局平均池化，得到局部描述特征；将姿势不变特征和局部描述特征连接为姿势指导特征。本发明提供的方法，获取对姿势变化具有鲁棒性的姿势不变特征和对错位误差具有鲁棒性的局部描述特征，利用姿势不变特征和局部描述特征组合成姿势指导特征进行行人再识别，提高了再识别精度和特征提取效率。

Description

基于姿势指导特征学习的行人再识别方法
技术领域
本发明涉及图像识别技术领域，具体涉及一种基于姿势指导特征学习的行 人再识别方法。
背景技术
近年来，监控摄像头的覆盖范围显著增加，产生了大量的视频数据，导致 无法实现手动定位和跟踪感兴趣的特定目标。为了解决这一问题，将行人再识 别(ReID)作为智能视频监控系统的一个重要组成部分。行人再识别是指通过匹 配摄像头网络中探测者的图像或视频序列来识别探测者的过程。
尽管经过了几十年的研究，行人再识别问题仍然远未得到解决。这主要是 因为行人图像在无约束环境下拍摄，容易受到检测误差、遮挡、姿势变化等因 素的影响。姿势变化极大地改变了人的形象，降低了视觉特征的鲁棒性。该误 差使得直接从全局图像或局部区域提取的匹配特征对行人再识别来说不是最优 的操作。现有技术中已有一些针对姿势变化和错位误差的特征鲁棒性的研究。 例如，首先通过预测人体关键点来推断人体姿势，然后从标准化的姿势图像中 提取特征。这些工作虽然提高了ReID的性能，但也为ReID系统引入了额外的 操作，如关键点检测、身体部分分割、姿势归一化等。这些操作引入了大量的计算开销，使得深度模型难以调优。
人体图像所表现出的较大姿势变化和错位误差显著增加了人体再识别 (ReID)的难度。现有技术通常采用额外的操作，如姿势估计，部分分割等，以 减轻这些问题的影响，提高行人表示的鲁棒性。在提高再识别精度的同时，这 些操作导致了大量的计算负担，并使深层模型变得复杂和难以调优。
发明内容
本发明的一个目的是提供一种基于姿势指导特征学习的行人再识别的新 的技术方案。为了对披露的实施例的一些方面有一个基本的理解，下面给出了 简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或 描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此 作为后面的详细说明的序言。
一种基于姿势指导特征学习的行人再识别方法，包括：
将原始图像进行姿势归一化处理，得到姿势归一化图像；
将所述原始图像与所述姿势归一化图像输入卷积神经网络，进行权值共 享处理后再分别进行全局平均池化处理，将得到的对应于所述原始图像的特 征图作为姿势不变特征；
对所述原始图像进行身体区域划分得到若干身体区域图像，将所述原始 图像与所述若干身体区域图像输入卷积神经网络，进行权值共享处理后再分 别进行全局平均池化处理，将得到的对应于所述原始图像的特征图作为局部 描述特征；
分别训练所述姿势不变特征和所述局部描述特征；
将训练好的姿势不变特征和局部描述特征连接为姿势指导特征；
利用所述姿势指导特征对图库图像进行排序。
进一步地，所述将原始图像进行姿势归一化处理，得到姿势归一化图像， 包括：
提取所述原始图像中的若干刚性身体部位；
对每个所述刚性身体部位进行仿射变换，利用仿射变换后的所有刚性身 体部位构成姿势归一化图像。
进一步地，所述对每个所述刚性身体部位进行仿射变换包括：
计算每个所述刚性身体部位的方向和尺寸；
对每个所述刚性身体部位的方向和尺寸进行调整；
对调整后的每个刚性身体部位通过空间变换器网络进行仿射变换。
进一步地，所述提取所述原始图像中的若干刚性身体部位包括：
用姿势估计器定位所述原始图像中人体的14个关节；
将所述14个关节划分为6个矩形，用该6个矩形分别表示6个刚性身体 部位；
获取每个所述刚性身体部位的边界框。
进一步地，所述获取每个所述刚性身体部位的边界框包括：
假设第i个关节的坐标是Ci＝[xi，yi]，i＝1,2,…,14；
对于刚性身体部位p(k)，根据其对应关节的坐标获得其区域边界框B(k)； k＝1,2,…,6。
进一步地，所述对调整后的每个刚性身体部位通过空间变换器网络进行 仿射变换包括：
为每个所述刚性身体部位训练一个空间变换器网络；
每个所述空间变换器网络生成一个6维变换参数矩阵，使用所述6维变 换参数矩阵调整对应的刚性身体部位。
进一步地，所述对所述原始图像进行身体区域划分得到若干身体区域图 像，包括：
针对所述原始图像提取头部、上半身和下半身三个身体区域，将所述原 始图像的底部作为所述下半身的底部。
进一步地，所述分别训练所述姿势不变特征和所述局部描述特征包括：
用由softmax损失函数和共同损失函数组合成的训练损失函数训练所述 姿势不变特征；所述共同损失函数是用视觉特征计算得到的，所述视觉特征 是从所述姿势归一化图像中获取的。
进一步地，所述训练损失函数的表达式为：
其中，N代表训练批量大小，代表图像Ii的姿势归一化图像中获取的 视觉特征，λ代表权重参数，Lsoftmax(·)代表softmax损失函数，pfi表示图像 Ii的姿势不变特征的特征向量，i为整数。
进一步地，所述分别训练所述姿势不变特征和所述局部描述特征包括： 用训练损失函数训练所述局部描述特征；所述训练损失函数的表达式为
其中表示从第k个身体区域图像中提取的特征，wk表示在第k个身 体区域图像上计算的损失函数的加权系数；lfi表示图像Ii的局部描述特征的 特征向量，N代表训练批量大小，K代表所有身体区域图像的总数。
进一步地，所述将训练好的姿势不变特征和局部描述特征连接为姿势指 导特征之前，还包括：丢弃用于处理所述姿势归一化图像的卷积神经网络分 支和用于处理所述若干身体区域图像的卷积神经网络分支；保留用于姿势不 变特征和局部描述特征提取的两个基线网络。
一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述 处理器上运行的计算机程序，所述处理器执行所述程序，以实现所述的基于 姿势指导特征学习的行人再识别方法。
一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处 理器执行，以实现所述的基于姿势指导特征学习的行人再识别方法。本发明实 施例提供的技术方案可以包括以下有益效果：
本发明实施例提供的基于姿势指导特征学习的行人再识别方法，获取对姿 势变化具有鲁棒性的姿势不变特征和对错位误差具有鲁棒性的局部描述特征， 利用姿势不变特征和局部描述特征组合成姿势指导特征进行行人再识别，大大 提高了再识别精度和特征提取效率，在这两方面的表现都优于现有技术的方法。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明 书中变得显而易见，或者，部分特征和优点可以从说明书中推知或毫无疑义地 确定，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所 写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一个实施例的流程图；
图2为用于获取姿势不变特征的CNN架构示意图；
图3为用于获取局部描述特征的CNN架构示意图；
图4为姿势归一化和身体部位抽取的原理示意图，其中(a)、(b)、(c)三个部 分分别显示了原始图像、检测到的节点姿势以及对应的6个身体部位边界框， (d)部分显示了对刚性身体部位进行旋转及调整大小后的图像，(e)部分显示了最 终的局部归一化的图像，(f)部分显示了人体的头部、上半身和下半身三个粗糙 区域，(g)部分显示了提取的身体区域图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具 体实施例对本发明做进一步说明。应当理解，此处所描述的具体实施例仅用以 解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术 人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保 护的范围。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括 技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相 同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为 具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定 义，否则不会用理想化或过于正式的含义来解释。
如图1所示，本申请的一个实施例提供了一种基于姿势指导特征学习的 行人再识别方法，包括：
S1、将原始图像进行姿势归一化处理，得到姿势归一化图像；
S2、获取姿势不变特征：将所述原始图像与所述姿势归一化图像输入第 一卷积神经网络，进行权值共享处理后再分别进行全局平均池化处理，将得 到的对应于所述原始图像的特征图作为姿势不变特征；
S3、获取局部描述特征：对所述原始图像进行身体区域划分得到若干身 体区域图像，将所述原始图像与所述若干身体区域图像输入第二卷积神经网 络，进行权值共享处理后再分别进行全局平均池化处理，将得到的对应于所 述原始图像的特征图作为局部描述特征；
S4、分别训练所述姿势不变特征和所述局部描述特征；
S5、将训练好的姿势不变特征和局部描述特征连接为姿势指导特征；
S6、利用所述姿势指导特征对图库图像进行排序。
在某些实施例中，所述将原始图像进行姿势归一化处理，得到姿势归一 化图像，包括：
S11、提取所述原始图像中的若干刚性身体部位；
S12、对每个所述刚性身体部位进行仿射变换，利用仿射变换后的所有刚 性身体部位构成姿势归一化图像。
在某些实施例中，所述对每个所述刚性身体部位进行仿射变换包括：
计算每个所述刚性身体部位的方向和尺寸；
对每个所述刚性身体部位的方向和尺寸进行调整；
对调整后的每个刚性身体部位通过空间变换器网络进行仿射变换。
在某些实施例中，所述提取所述原始图像中的若干刚性身体部位包括：
用姿势估计器定位所述原始图像中人体的14个关节；
将所述14个关节划分为6个矩形，用该6个矩形分别表示6个刚性身体 部位；
获取每个所述刚性身体部位的边界框。
在某些实施例中，所述获取每个所述刚性身体部位的边界框包括：
假设第i个关节的坐标是Ci＝[xi，yi]，i＝1,2,…,14；
对于刚性身体部位p(k)，根据其对应关节的坐标获得其区域边界框B(k)； k＝1,2,…,6。
在某些实施例中，所述对调整后的每个刚性身体部位通过空间变换器网 络进行仿射变换包括：
为每个所述刚性身体部位训练一个空间变换器网络；
每个所述空间变换器网络生成一个6维变换参数矩阵，使用所述6维变 换参数矩阵调整对应的刚性身体部位。
在某些实施例中，所述对所述原始图像进行身体区域划分得到若干身体 区域图像，包括：
针对所述原始图像提取头部、上半身和下半身三个粗糙身体区域，将所 述原始图像的底部作为所述下半身的底部。
在某些实施例中，所述分别训练所述姿势不变特征和所述局部描述特征 包括：
用由softmax损失函数和共同损失函数组合成的训练损失函数训练所述 姿势不变特征；所述共同损失函数是用视觉特征计算得到的，所述视觉特征 是从所述姿势归一化图像中获取的。
在某些实施例中，所述训练损失函数的表达式为：
其中，N代表训练批量大小，代表图像Ii的姿势归一化图像中获取的 视觉特征，λ代表权重参数，Lsoftmax(·)代表softmax损失函数，pfi表示图像 Ii的姿势不变特征的特征向量，i为整数。
在某些实施例中，所述分别训练所述姿势不变特征和所述局部描述特征 包括：用训练损失函数训练所述局部描述特征；所述训练损失函数的表达式 为
其中表示从第k个身体区域图像中提取的特征，wk表示在第k个身 体区域图像上计算的损失函数的加权系数；lfi表示图像Ii的局部描述特征的 特征向量，N代表训练批量大小，K代表所有身体区域图像的总数。
在某些实施例中，所述将训练好的姿势不变特征和局部描述特征连接为 姿势指导特征之前，还包括：丢弃所述第一卷积神经网络中的用于处理姿势 归一化图像的分支和所述第二卷积神经网络中的用于处理所述若干身体区域 图像的分支；保留用于姿势不变特征和局部描述特征提取的两个基线网络。 所述第一卷积神经网络用于姿势不变特征提取，所述第二卷积神经网络用于 局部描述特征提取。所述第一卷积神经网络包括两个分支，一个是用于处理 原始图像的分支，另一个是用于处理姿势归一化图像的分支。所述第二卷积 神经网络包括多个分支，其中一个是用于处理原始图像的分支，其他的是用 于处理身体区域图像的分支。
一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述 处理器上运行的计算机程序，所述处理器执行所述程序，以实现上述的基于 姿势指导特征学习的行人再识别方法。
一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被 处理器执行，以实现上述的基于姿势指导特征学习的行人再识别方法。
行人再识别工作要求找到一个有效的全局特征，其对姿势变化和错位误差 都是鲁棒的。为了达到这一要求，本申请的另一个实施例提出了一种由姿势不 变特征(PoseInvariant Feature，PIF)和局部描述特征(Local Descriptive Feature，LDF)组成的姿势指导特征(Pose-Guided Representation，PGR)。PIF 和LDF分别用于处理姿势变化和错位误差。PGR的思路是将复杂的操作转移到 训练阶段，并使用一个简单的CNN架构直接从全局图像中提取PGR特征用于行 人再识别。具体地说，PIF近似于通过姿势估计和姿势归一化推导出的姿势不 变表征。LDF通过逼近通过身体区域分割获得的特征来描述有区别的人体近景。 这样，只需要将复杂的姿势估计和部位分割应用于训练阶段，而不需要将其用 于行人再识别。PIF是通过深度模型从全局图像中提取的。
为了获得姿势不变性的能力，使PIF逼近从姿势归一化图像中提取的姿势 不变表征。姿势归一化是通过首先检测四肢、躯干等人体可变形部位，然后通 过二维仿射变换将这些部位归一化为固定的方向和尺寸。这个过程减小了姿势 变化，并生成姿势归一化的图像。从该姿势归一化的图像中，通过深度模型获 取姿势不变表征作为PIF的中间训练目标。在PIF训练过程中，本申请引入了 共同损失函数的方法来加强PIF和姿势不变表征的互相协同学习。最后，本申 请抛弃了用于姿势归一化的深度模型，只保留了用于在线再识别的PIF。与现 有技术相比，本申请的解决方案在不需要任何额外操作的情况下提取出了姿势不变的PIF，从而能达到更好的再识别效率。
LDF是设计用于增强针对错位误差的鲁棒性的。与PIF相似，LDF也是直接 从全局行人图像中提取的。现有技术的全局特征(global feature)可能会丢 失关键的身体细节，导致其难以将受错位误差影响的两幅图像匹配起来。现有 技术将行人图像分割成几个固定长度的区域。通过获取和融合局部身体区域特 征，这些方法显式地嵌入了更详细的局部线索，增强了对错位误差的鲁棒性。 然而，提取多个区域特征会导致较高的计算复杂度和特征维数。不同的是，LDF 是通过在全局特征中向局部区域嵌入识别能力来获得的。本申请通过引入一种 由多个子网络组成的多分支CNN用于LDF训练。在该CNN中，采用全局图像和不同的身体区域作为不同子网络的输入，用于分别获取LDF和区域特征。通过 共享卷积层，协同获取LDF和区域特征。这种协同训练设置使用于LDF提取的 CNN对局部细节更有辨别能力。训练之后，局部特征被丢弃，只保留用于行人 再识别的全局LDF。
最后，将PIF和LDF连接为PGR。由于PIF和LDF是通过局部部位线索获 取的，所以本申请将PGR称为“姿势指导”特征。PGR是通过两个基线网络从 全局行人图像中提取的。虽然PGR是用简洁的网络提取出来的，但是与现有技 术相比，其表现更好。本申请在五个广泛使用的公共数据集上测试了PGR。其 在CUHK03标号上的排序精度为92.15％，在Market1501上的排序精度为93.87％， 在MSMT17上的排序精度为66.02％，性能超过了现有技术。此外，提取特征只 需要耗费约19.3ms，比涉及用于特征提取的关键点检测和部位提取的现有技 术快5倍左右。
大部分的现有行人再识别工作都没有考虑全局特征提取的人体姿势线索。 近来的一些工作通过引入额外操作和高维特征，减小了姿势变化和错位误差。 与现有技术相比，本申请使用局部部位线索来监督全局特征训练。这种“姿势 指导”训练策略有效地提高了PGR对姿势变化和错位误差的鲁棒性，为特征提 取减少了大量的计算量。实验表明，PGR在ReID精度和效率方面具有优势。
行人再识别(Person ReID)可以表示为图像检索任务，其中训练集中不存 在查询标识(query identity)。给定一个查询行人q,行人再识别的目标是返回一 个排序列表{(I1,l1),(I2,l2),…,(In,ln)}，其中Ii和li分别表示图库(gallery)图像及 与其对应的行人ID标签，i为排序后的图像索引。根据这个检索公式，包含q 的图像应该出现在排序列表的顶部。行人再识别的目标函数可以表示为:
其中，lq为查询图像的标识标签，n为图库集合中图像的个数。
在实际实现过程中，行人再识别根据图像表示f和距离度量D对图库 (gallery)图像进行排序。排序列表中的所有图库图像均满足
为了优化行人再识别的目标函数，研究一种鲁棒的图像表示f和设计一种 识别距离度量(discriminative distance metric)D。本申请以高分辨能力和高效 率为目标，对图像表示f进行优化，给出了一组由M幅由行人身份(ID)标注 的图像组成的训练集，理想的图像表示f应该使同一个人的多幅图像之间的距 离最小化，使不同人的多幅图像之间的距离最大化。训练目标可以表述为:
其中下标i和j分别表示图像的索引，上标a和b分别表示行人身份的索引。 NP和NN分别是正、负图像对的个数。
较大的姿势变化和错位误差(misalignment error)导致同一个人的不同图 像呈现不同，通过公式(3)直接对原始图像进行优化，很难获得理想的全局图像 表示f。因此，本申请提出了PGR，其对解决姿势变化和错位误差的问题是有 效的和鲁棒的。本申请将PGR定义为姿势不变特征(PIF)和局部描述特征(LDF) 的组合，姿势不变特征(PIF)和局部描述特征(LDF)分别处理姿势变化和错位误 差。图像Ii的PGR可以表示为
PGRi＝[pfi，lfi]， (4)
其中pfi和lfi分别表示图像Ii的PIF和LDF特征向量。
PIF用于尽量缩小同一个人不同姿势的两张照片之间的距离(distance)。同 时，PIF用于区分呈现相似姿势的不同的人。为了获得对错位误差的鲁棒性， 要求LDF对行人近景有强识别能力，而对背景不敏感。换句话说，对于同一个 人，应该从他/她的背景明显不同的图像中提取相似的LDF，如图1(b)所示。由 于PIF和LDF具有不同的特点，本申请分别针对不同的训练目标对其进行了优 化。下面的部分分别描述了PIF和LDF的获取过程。
姿势不变特征PIF
人体的大的姿势变化通常是由身体各刚性部位之间的相对运动引起的。在 运动过程中，手臂、腿、躯干等身体部位可以近似地看作是刚性区域，它们的 运动可以通过仿射变换来建模。根据这一观察，实现对姿势变化的高鲁棒性的 方案是首先进行姿势归一化，如通过仿射变换消除身体部分的运动，然后从姿 势归一化图像中提取视觉特征。然而，该解决方案为每个部位引入了复杂的计 算，如部位检测和仿射变换估计。为了避免这些复杂的计算，本申请直接基于 式(3)从全局图像中获取PIF。为了使这种训练可行，本申请提取姿势不变的视 觉特征来指导PIF的获取。PIF获取的最新训练目标可以从概念上表述为:
式中表示从归一化图像中提取的姿势不变表征。与式(3)中的原始公式相 比，式(5)对姿势不变性提供了更显著的监督。
姿势不变表征是PIF获取的关键。姿势不变表征可以通过执行姿势归 一化操作来提取。更具体地说，本申请可以检测每个刚性身体部位(rigid body part)，然后进行相应的仿射变换以消除由于身体部位运动引起的姿势变化。假 设p为刚性身体部位，变换后的身体部位可表示为其中矩阵A为二 维仿射变换矩阵，其用于控制尺度变换、反射变换、旋转变换、剪切变换和平 移变换。对于二维仿射变换，A可以是一个2×3大小的矩阵。注意，虽然姿势 不变表征需要部位检测和仿射转换，但它只在训练阶段被使用，而对于PIF 提取是不需要的。这些设定保证了PIF提取的高效率。
局部描述特征LDF
如图1所示，在检测到的行人边界框中，往往存在着错位误差，降低了全 局特征比较的有效性。为了获得对前景和局部细节的识别能力，可以从检测到 的身体部位中提取和融合特征。融合的部位特征已经显示出对错位误差的鲁棒 性，但需要额外的在线计算和高维表示。
在不需要在线部位检测和特征融合的情况下，本申请嵌入了具有鲁棒性的 LDF。为了使LDF对近景有强识别能力并且对背景不敏感，本申请通过优化以 下目标来获取LDF:
其中，表示从近景行人区域提取的特征。N′P和N’N分别是正、负图像对 的个数。
目前已有许多成功的语义分割工作可用于提取行人近景。然而，在训练数 据有限的情况下，精确的像素级分割仍然是一个具有挑战性的任务。与近景掩 模分割相比，现有的姿势估计算法更容易实现身体区域检测。例如，可以首先 估计身体的关键点，然后通过关键点所在的边界框裁剪头部、腿部和手臂等身 体区域。因此，本申请通过使用类似于PIF的思想优化LDF，使其对不同的身 体区域有强识别能力，例如对式(3)中的原始特征获取目标提出另一个约束条 件。
假设图像Ii的LDF由提取器提取，例如
为了使lf对近景行人区域具有可识别性，可以在不同的身体区域对提取器 进行训练来获取区域特征，以用于行人再识别。换言之，训练区域特征以区 分不同的人。这一严格的训练目标使识别和描述位于局部身体区域的独特视 觉线索，从而产生一个描述性的、对行人近景敏感的特征提取器。基于此假设， 将LDF的获取目标表述为:
其中，表示在通过提取的区域特征上计算的行人分类损失函数，K 表示身体区域的数量，从中提取区域特征，例如图像Ii的第k个区域。 li表示Ii的行人ID标签。
由于CNN具有较强的特征获取能力，所以本申请使用CNN来获取PGR。 提出CNN架构以优化所提出的训练目标，例如OPIF和OLDF。首先描述CNN 整体架构，然后描述详细的CNN训练策略。
用于获取PGR的CNN架构
如公式(5)和公式(8)所示，通过对公式(3)中的基本目标函数提出额外的约束 条件来获取PIF和LDF。本申请设计了相应的网络架构，例如，首先根据式(3) 构建基线网络，然后根据式(5)和式(8)分别为PIF和LDF设计额外的网络分支 和训练损失函数。
式(3)的目标是使同一个人的图像之间的距离最小化，使不同人的图像之间 的距离最大化。这个基本的目标函数可以通过多个训练损失函数来实现，例如， siamese损失函数、triplet损失函数和softmax损失函数。本申请选择使用softmax 损失函数，其实现简单，性能优异。因此，基线网络可以使用现有的CNN架构 来实现，比如GoogLeNet和softmax损失函数。本申请分别为PIF和LDF设计 了两个CNN。除了softmax损失函数外，PIF还受到姿势不变表征的进一步监 督约束。用于LDF提取的CNN是在区域特征获取任务中被共同训练的。这些 约束条件分别用于如图2和图3所示的两个CNN。
如图2所示为用于姿势不变特征(PIF)获取的CNN体系结构。PIF是从全局 图像中提取的。该算法采用softmax损失函数和用视觉特征计算的共同损失函 数进行训练，视觉特征是从姿势归一化图像获取的。GAP表示全局平均池化。 PIF是由基线网络从全局行人图像中提取的。最后一个卷积层生成的特征图通 过全局平均池化(Global AveragePooling，GAP)进行处理，生成PIF特征。 PIF通过softmax损失函数和由姿势不变表征计算得到的共同损失函数进行训 练。从由归一化的人体部位组成的姿势归一化图像中提取出姿势不变表征(姿 势不变表征即视觉特征)。PIF的训练损失函数表示为
其中N为训练批量大小，为从姿势归一化图像中提取的视觉特征。共同 损失函数促使协同获取与pf。实验设置权重参数λ为0.5。
如图3所示为用于局部描述特征(LDF)获取的CNN体系结构。PIF是从全 局图像中提取的，是用softmax函数训练的。用于提取LDF的CNN是在区域 特征获取中被共同训练的。LDF也是由最后一个卷积层的池化特征图生成的。LDF对行人近景有强识别能力，行人近景包括头部、躯干、腿部等多个部位。 为了达到这一目的，用于LDF提取的CNN应该对不同的身体部位具有强识别 能力。因此，本申请使用多分支和权重共享结构来训练这个CNN。换句话说， 图3背后的思想类似于多任务学习，例如，用多个身体部位分类任务训练CNN 以获得对不同身体部位的更好的识别能力。要注意的是，使用GAP来生成分类 分数，从而使得CNN可以接受任意大小的输入。将LDF的训练损失函数定义 为
其中表示从第k个身体区域中提取的特征。ωk对在第k个区域上计算 的损失函数进行加权。实验上根据身体区域的大小设置wk，例如设置区域越大 则具有的w越大。
训练后，丢弃图2中的姿势归一化图像分支和图3中的K区域特征获取分 支。只保留用于PIF和LDF提取的两个基线网络。PIF和LDF连接为最终的 PGR，PGR用于欧式距离的行人再识别。虽然是通过简单网络从全局图像中提 取的，但是PIF和LDF可以从设计的损失函数获得针对姿势变化和错位误差的 鲁棒性。下面介绍了姿势归一化图像和身体区域的生成，其分别用于PIF和LDF 获取。
姿势归一化图像生成：
首先检测刚性身体部位，然后对每个刚性部位区域进行仿射变换，从而减 小姿势变化。变换后的刚性部位区域最终构成一姿势归一化图像。
1)刚性身体部位提取
通过人体关节可检测到刚性身体部位。对于给定的人体图像，姿势估计器 首先定位人体的14个关节。该14个关节被划分为6个矩形，该6个矩形分别 表示6个刚性身体部位，例如头部、上身、双臂和双腿等。表1总结了人体关 节与身体部位之间的对应关系。图4中的(a)、(b)、(c)分别显示了原始图像、 检测到的节点姿势以及对应的6个身体部位边界框。获取每个刚性身体部位的 边界框。
假设第i个关节的坐标是Ci＝[xi，yi]，(i＝1,2,…,14)。对于身体部位 p(k)(k＝1,2,…,6)，其区域边界框B(k)可以根据其对应关节的坐标获得。对于头 部区域，其边界框的姿势可以计算为
B(1)＝[x-α，x+α，y-α，y+α]， (11)
其中2×α表示头部区域的高度和宽度，x和y是人体头部关节的坐标。对 于其他区域，例如，2≤k≤6,
B(k)＝[xmin-β，xmax+β，ymin-β，ymax+β]， (12)
其中下标min和max表示对应于第k个区域的关节的最小和最大坐标。对 于512×256大小的输入图像，设置α＝60，β＝20。
2)姿势归一化
提取刚性身体部位后，计算出各刚性身体部位的方向和尺寸。将刚性身体 部位旋转固定的方向以及调整大小到固定的尺寸，以减小姿势的变化，如图4(d) 所示。然而，单纯地通过修剪和旋转进行变换并不能完全消除复杂的姿势变化， 尤其是在姿势估计不够准确的情况下。进一步应用空间变换器网络(STN)来调整 这些局部区域，以更好地消除姿势变化。
通过STN计算仿射变换来实现姿势归一化，姿势归一化对应于要被获取的 6个参数。参数化采样网格计算每个输出像素，可区分的图像采样分量生成经 过采样的输出图像。如前所述，使用一个2×3大小的参数矩阵A来完成仿射 变换，例如
其中，θ1，θ2，θ4，θ5为比例和旋转参数，θ3和θ6为转换参数。公式(13) 中的(xt，yt)为输出图像的目标坐标，(xs，ys)为输入图像的源坐标。
原始STN只对整个图像计算一个仿射变换。由于不同的身体部位通常显示 不同的运动模式，统一的STN对于姿势归一化不是最优的。因此，为每个局部 区域训练一个STN。考虑到头部区域的方向基本稳定，不对头部部分施加STN。 因此，总共有5个独立的STN来实现姿势归一化。
每个STN生成一个6维变换参数A(k),2≤k≤6,并使用A(k)调整相应的身体部 位p(k)。将五个归一化后的局部图像与原始头部图像结合起来，构成最终的局部 归一化的图像，如图4(e)所示。
身体区域划分：
结合身体关节检测的结果，可以容易地修剪身体区域以便进行提取。表 示身体区域中提取的特征。例如，可以应用图4(c)所示的6个局部区域。然而， 细密的身体区域对关节检测误差很敏感。此外，小区域不能传递太多的区别性 视觉线索，这样可能会使区域特征获取难以收敛。因此，针对人体图像提取若 干粗糙身体区域来辅助LDF获取。
基于人体14个关节，修剪出人体的三个粗糙区域，例如，分别为头部、上 半身和下半身，如图4(f)所示。头部区域的提取方法与式(11)相同。假设人体图 像大小为h×w，颈、左髋、右髋的坐标分别为(x1，y1),(x2，y2)和(x3，y3)。上半 身区域Bup和下半身区域Blow的边界框可计算为:
其中，σ为控制相邻身体区域之间的重叠的参数。对于大小为512×256的 人体图像，实验设置σ为15。
由于人体脚部的关键点不够稳定，很难确定下半身区域的底部坐标。因此 简单地设置将图像的底部作为下半身区域的底部。提取的身体区域示例如图4 (g)所示。
网络训练：
姿势归一化后的图像用于通过式(9)进行PIF获取。身体区域用于通过公式 (10)进行LDF获取。最终的PIF和LDF是通过基线网络从全局图像中提取的。
为了检验PIF的有效性，从CUHK03数据集中抽取10000个三元组作为样 本。每个三元组由同一人的不同姿势的两幅正面图像Ia、Ip和一幅来自另一人 的背面图像Ia组成。
对于每一个三元组，计算比较结果表明，通过PIF 计算的正负距离比值比基线GoogLeNet特征要小得多。这意味着PIF对姿势变 化的鲁棒性更强。
实验还表明，带有区域特征分支的协同训练LDF使LDF对人体近景具有 更强的识别能力。本申请方法的显着图比其他方法更能覆盖人体近景，而其他 方法往往只关注一个特定的部分而忽略其他部分。对某一特定区域过度拟合而 忽略其他区域可能会降低被获取特征的识别能力。
本申请提出的深层架构利用人体姿势和部位线索，分别获取对姿势变化具 有鲁棒性的PIF和对错位误差具有鲁棒性的LDF。PIF通过softmax损失函数和 基于姿势不变表征的共同损失函数来训练。LDF通过多区域特征获取任务协同 训练，获得对多个身体区域的识别能力。姿势估计只在离线训练时用于生成姿 势不变表征和身体区域，而不需要用于在线特征提取。在5个基准数据集上的 实验结果表明，PGR方法在再识别精度和特征提取效率方面都优于现有技术的 方法。
需要说明的是：
术语“模块”并非意图受限于特定物理形式。取决于具体应用，模块可以 实现为硬件、固件、软件和/或其组合。此外，不同的模块可以共享公共组件或 甚至由相同组件实现。不同模块之间可以存在或不存在清楚的界限。
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有 相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构 造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程 语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且 上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发 明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细 示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或 多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一 起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法 解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确 记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发 明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式 的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为 本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适 应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实 施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它 们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的 至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要 求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过 程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要 和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代 替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它 实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意 味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求 书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器 上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解， 可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施 例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本发明还 可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序 (例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在 计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以 从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并 且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施 例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的 限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之 前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包 括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干 装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体 体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示， 但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本申请中有明确 的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。 而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段， 这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻 执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的 子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述实施例仅表达了本发明的实施方式，其描述较为具体和详细，但 并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的 普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改 进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权 利要求为准。

Claims (13)

1.一种基于姿势指导特征学习的行人再识别方法，其特征在于，包括：
将原始图像进行姿势归一化处理，得到姿势归一化图像；
将所述原始图像与所述姿势归一化图像输入卷积神经网络，进行权值共享处理后再分别进行全局平均池化处理，将得到的对应于所述原始图像的特征图作为姿势不变特征；
对所述原始图像进行身体区域划分得到若干身体区域图像，将所述原始图像与所述若干身体区域图像输入卷积神经网络，进行权值共享处理后再分别进行全局平均池化处理，将得到的对应于所述原始图像的特征图作为局部描述特征；
分别训练所述姿势不变特征和所述局部描述特征；
将训练好的姿势不变特征和局部描述特征连接为姿势指导特征；
利用所述姿势指导特征对图库图像进行排序。
2.根据权利要求1所述的方法，其特征在于，所述将原始图像进行姿势归一化处理，得到姿势归一化图像，包括：
提取所述原始图像中的若干刚性身体部位；
对每个所述刚性身体部位进行仿射变换，利用仿射变换后的所有刚性身体部位构成姿势归一化图像。
3.根据权利要求2所述的方法，其特征在于，所述对每个所述刚性身体部位进行仿射变换包括：
计算每个所述刚性身体部位的方向和尺寸；
对每个所述刚性身体部位的方向和尺寸进行调整；
对调整后的每个刚性身体部位通过空间变换器网络进行仿射变换。
4.根据权利要求2所述的方法，其特征在于，所述提取所述原始图像中的若干刚性身体部位包括：
用姿势估计器定位所述原始图像中人体的14个关节；
将所述14个关节划分为6个矩形，用该6个矩形分别表示6个刚性身体部位；
获取每个所述刚性身体部位的边界框。
5.根据权利要求4所述的方法，其特征在于，所述获取每个所述刚性身体部位的边界框包括：
假设第i个关节的坐标是Ci＝[xi，yi]，i＝1,2,…,14；
对于刚性身体部位p(k)，根据其对应关节的坐标获得其区域边界框B(k)；k＝1,2,…,6。
6.根据权利要求4所述的方法，其特征在于，所述对调整后的每个刚性身体部位通过空间变换器网络进行仿射变换包括：
为每个所述刚性身体部位训练一个空间变换器网络；
每个所述空间变换器网络生成一个6维变换参数矩阵，使用所述6维变换参数矩阵调整对应的刚性身体部位。
7.根据权利要求1所述的方法，其特征在于，所述对所述原始图像进行身体区域划分得到若干身体区域图像，包括：
针对所述原始图像提取头部、上半身和下半身三个身体区域，将所述原始图像的底部作为所述下半身的底部。
8.根据权利要求1所述的方法，其特征在于，所述分别训练所述姿势不变特征和所述局部描述特征包括：
用由softmax损失函数和共同损失函数组合成的训练损失函数训练所述姿势不变特征；所述共同损失函数是用视觉特征计算得到的，所述视觉特征是从所述姿势归一化图像中获取的。
9.根据权利要求8所述的方法，其特征在于，所述训练损失函数的表达式为：
其中，N代表训练批量大小，代表图像Ii的姿势归一化图像中获取的视觉特征，λ代表权重参数，Lsoftmax(·)代表softmax损失函数，pfi表示图像Ii的姿势不变特征的特征向量，i为整数。
10.根据权利要求1所述的方法，其特征在于，所述分别训练所述姿势不变特征和所述局部描述特征包括：用训练损失函数训练所述局部描述特征；所述训练损失函数的表达式为
其中表示从第k个身体区域图像中提取的特征，ωk表示在第k个身体区域图像上计算的损失函数的加权系数；lfi表示图像Ii的局部描述特征的特征向量，N代表训练批量大小，K代表所有身体区域图像的总数。
11.根据权利要求1所述的方法，其特征在于，所述将训练好的姿势不变特征和局部描述特征连接为姿势指导特征之前，还包括：丢弃用于处理所述姿势归一化图像的卷积神经网络分支和用于处理所述若干身体区域图像的卷积神经网络分支；保留用于姿势不变特征和局部描述特征提取的两个基线网络。
12.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-11中任一所述的方法。
13.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以实现如权利要求1-11中任一所述的方法。
CN201910677983.5A 2019-07-25 2019-07-25 基于姿势指导特征学习的行人再识别方法 Pending CN110543817A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910677983.5A CN110543817A (zh) 2019-07-25 2019-07-25 基于姿势指导特征学习的行人再识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910677983.5A CN110543817A (zh) 2019-07-25 2019-07-25 基于姿势指导特征学习的行人再识别方法

Publications (1)

Publication Number Publication Date
CN110543817A true CN110543817A (zh) 2019-12-06

Family

ID=68709818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910677983.5A Pending CN110543817A (zh) 2019-07-25 2019-07-25 基于姿势指导特征学习的行人再识别方法

Country Status (1)

Country Link
CN (1) CN110543817A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340097A (zh) * 2020-02-24 2020-06-26 Oppo广东移动通信有限公司 图像细粒度分类方法、装置、存储介质及设备
CN111709313A (zh) * 2020-05-27 2020-09-25 杭州电子科技大学 基于局部和通道组合特征的行人重识别方法
CN112990144A (zh) * 2021-04-30 2021-06-18 德鲁动力科技(成都)有限公司 一种用于行人重识别的数据增强方法及系统
CN116206332A (zh) * 2023-01-31 2023-06-02 北京数美时代科技有限公司 一种基于姿态估计的行人重识别方法、系统和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657249A (zh) * 2017-10-26 2018-02-02 珠海习悦信息技术有限公司 多尺度特征行人重识别的方法、装置、存储介质及处理器
CN107729805A (zh) * 2017-09-01 2018-02-23 北京大学 用于行人再识别的神经网络和基于深度学习的行人再识别算法
CN107832672A (zh) * 2017-10-12 2018-03-23 北京航空航天大学 一种利用姿态信息设计多损失函数的行人重识别方法
CN107977656A (zh) * 2017-12-26 2018-05-01 北京大学 一种行人重识别方法及系统
EP3357210A1 (en) * 2015-09-30 2018-08-08 Apple Inc. System and method for person reidentification
CN108764269A (zh) * 2018-04-03 2018-11-06 华南理工大学 一种基于时空约束增量学习的跨数据集行人再识别方法
CN110008913A (zh) * 2019-04-08 2019-07-12 南京工业大学 基于姿态估计与视点机制融合的行人再识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3357210A1 (en) * 2015-09-30 2018-08-08 Apple Inc. System and method for person reidentification
CN107729805A (zh) * 2017-09-01 2018-02-23 北京大学 用于行人再识别的神经网络和基于深度学习的行人再识别算法
CN107832672A (zh) * 2017-10-12 2018-03-23 北京航空航天大学 一种利用姿态信息设计多损失函数的行人重识别方法
CN107657249A (zh) * 2017-10-26 2018-02-02 珠海习悦信息技术有限公司 多尺度特征行人重识别的方法、装置、存储介质及处理器
CN107977656A (zh) * 2017-12-26 2018-05-01 北京大学 一种行人重识别方法及系统
CN108764269A (zh) * 2018-04-03 2018-11-06 华南理工大学 一种基于时空约束增量学习的跨数据集行人再识别方法
CN110008913A (zh) * 2019-04-08 2019-07-12 南京工业大学 基于姿态估计与视点机制融合的行人再识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANING LI 等: "Pose-Guided Representation Learning for Person Re-Identification", 《 IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE ( EARLY ACCESS )》 *
JING XU 等: "Attention-Aware Compositional Network for Person Re-identification", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
徐龙壮 等: "基于多尺度卷积特征融合的行人重识别", 《激光与光电子学进展》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340097A (zh) * 2020-02-24 2020-06-26 Oppo广东移动通信有限公司 图像细粒度分类方法、装置、存储介质及设备
CN111340097B (zh) * 2020-02-24 2024-03-12 Oppo广东移动通信有限公司 图像细粒度分类方法、装置、存储介质及设备
CN111709313A (zh) * 2020-05-27 2020-09-25 杭州电子科技大学 基于局部和通道组合特征的行人重识别方法
CN111709313B (zh) * 2020-05-27 2022-07-29 杭州电子科技大学 基于局部和通道组合特征的行人重识别方法
CN112990144A (zh) * 2021-04-30 2021-06-18 德鲁动力科技(成都)有限公司 一种用于行人重识别的数据增强方法及系统
CN116206332A (zh) * 2023-01-31 2023-06-02 北京数美时代科技有限公司 一种基于姿态估计的行人重识别方法、系统和存储介质
CN116206332B (zh) * 2023-01-31 2023-08-08 北京数美时代科技有限公司 一种基于姿态估计的行人重识别方法、系统和存储介质

Similar Documents

Publication Publication Date Title
CN110135375B (zh) 基于全局信息整合的多人姿态估计方法
Wang et al. Deep 3D human pose estimation: A review
JP5715833B2 (ja) 姿勢状態推定装置および姿勢状態推定方法
Kendall et al. Posenet: A convolutional network for real-time 6-dof camera relocalization
CN109903313B (zh) 一种基于目标三维模型的实时位姿跟踪方法
JP4709723B2 (ja) 姿勢推定装置及びその方法
Park et al. Multi-task template matching for object detection, segmentation and pose estimation using depth images
CN110543817A (zh) 基于姿势指导特征学习的行人再识别方法
Su et al. Global localization of a mobile robot using lidar and visual features
CN107798313A (zh) 一种人体姿态识别方法、装置、终端和存储介质
CN112395977A (zh) 基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法
CN111950321A (zh) 步态识别方法、装置、计算机设备及存储介质
Chen et al. Guide local feature matching by overlap estimation
CN117671738B (zh) 基于人工智能的人体姿态识别系统
Chen et al. Silhouette-based object phenotype recognition using 3D shape priors
Krzeszowski et al. Gait recognition based on marker-less 3D motion capture
CN111862147A (zh) 视频中多车辆和多行人目标的跟踪方法
Nguyen et al. Combined YOLOv5 and HRNet for high accuracy 2D keypoint and human pose estimation
An et al. High speed robust image registration and localization using optimized algorithm and its performances evaluation
Lee et al. Adaptive Bayesian recognition and pose estimation of 3D industrial objects with optimal feature selection
CN117173792A (zh) 一种基于三维人体骨架的多人步态识别系统
Wang et al. A Visual SLAM Algorithm Based on Image Semantic Segmentation in Dynamic Environment
Stefańczyk et al. Mixing deep learning with classical vision for object recognition
Hartanto et al. Hand-motion-guided articulation and segmentation estimation
Asif et al. Human identification on the basis of gaits using time efficient feature extraction and temporal median background subtraction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191206

RJ01 Rejection of invention patent application after publication