CN111753684B - 一种利用目标姿势进行生成的行人重识别方法 - Google Patents

一种利用目标姿势进行生成的行人重识别方法 Download PDF

Info

Publication number
CN111753684B
CN111753684B CN202010531805.4A CN202010531805A CN111753684B CN 111753684 B CN111753684 B CN 111753684B CN 202010531805 A CN202010531805 A CN 202010531805A CN 111753684 B CN111753684 B CN 111753684B
Authority
CN
China
Prior art keywords
image
target
pedestrian
camera
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010531805.4A
Other languages
English (en)
Other versions
CN111753684A (zh
Inventor
李华锋
周炉
董能
张亚飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202010531805.4A priority Critical patent/CN111753684B/zh
Publication of CN111753684A publication Critical patent/CN111753684A/zh
Application granted granted Critical
Publication of CN111753684B publication Critical patent/CN111753684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明提出了一种利用目标姿势进行生成的行人重识别方法，属于计算机视觉领域。本发明提出了一个在给定目标姿势和行人的情况下利用生成对抗网络来生成特定姿态下的目标行人对姿势进行归一化进而消除姿势对行人的影响。具体来说，将方法分为两部分：(1)在给定目标姿势和行人情况下利用生成对抗网络来生成在给定姿势下的行人；(2)利用生成的目标姿势的行人和真实的目标姿态行人，通过一个特征提取网络进行特征的提取，然后两者进行特征融合，形成一个特征向量。并且对真实的目标姿态行人也进行相同的操作，进而得到两个特征向量。最后，对得到的特征向量进行距离的度量并结合行人摄像头的信息。进一步提高识别性能。

Description

一种利用目标姿势进行生成的行人重识别方法
技术领域
本发明涉及一种利用目标姿势进行生成的行人重识别方法，属于计算机视觉领域。
背景技术
随着人工智能的飞速发展，以及深度学习的广泛应用。行人重识别的研究越来越受到人们的关注，成为一个研究的热点。但是，由于不同的行人的姿势和同一个行人的姿势可能存在着很大的差别。并且，在有大量不同姿态的数据中难以提取不受姿态变化影响的稳定特征。现有的行人重识别的算法的局限性：难以拓展到大规模的camera networks，因为大规模的监控区域包含了大量的不同角度不同姿态不同身份的行人信息。现有的模型需要充足的不同身份不同摄像头角度的标记数据来训练。要获取这样的数据非常困难用一个摄像头网络的数据训练的模型难以泛化到新的摄像头网络上，一般都需要用额外的数据去做微调。这就给行人重识别的研究带来的很大的困难，之前的方法对行人的姿势来进行划分，或者提取其姿势的不变性特征，但是，实验的效果都不太理想。并且随着数据集的不断增大行人的姿势也越来越多种多样，可能还存在着行人被遮挡的情况。这就使得对行人的姿势的判断或者特征的提取带来更大的挑战。之前的很多的方法性能都不太理想，因此，设计一个好的方法来对行人的姿势进行不判别和特征的提取就先的尤为的重要。
发明内容
本发明要解决的技术问题是提供一种利用目标姿势进行生成的行人重识别方法，来解决现在行人姿势带来的影响，本方法能够对给定目标行人的姿势和行人进行生成目标姿态下的行人，通过对给定的姿势行人的生成可以对姿势来进行一个归一化，并且和要对比的行人来进行特征的提取并进行向量化。对另外一个行人进行相同的操作。这样就可以使得提取的姿势特征的更加的具有鲁棒性，模型的性能会更加的强，泛化性能更强。最后，利用取的两个特征来做距离的度量，并且结合行人所在的摄像头信息来对行人进行约束，这样就能加快图像的检索速度，并且提高检索的精度。其具体的流程图见图1。
本发明采用的技术方案是：一种利用目标姿势进行生成的行人重识别方法，包括如下步骤：
Step 1：确定目标姿势生成的行人重识别模型的整体流程；
Step 2：设计生成识别算法所设计的约束条件和目标函数；
Step 3：确定模型算法的训练和测试过程。
具体地，所述步骤1)包括如下步骤：
Step1.1：给定一张原始图像和目标姿态将其进行连接，并通过目标姿势行人所在的摄像头标签信息，利用生成器生成原始图像下拥有目标姿态的目标图像；同时利用生成器将真实的目标图像、原始图像的姿态和给定的目标摄像头的标签信息作为生成条件进行生成，生成真实图像下拥有原始图像姿态的图像；
Step1.2：将Step1.1中生成的目标图像和真实的目标图像先后通过resnet50网络进行特征的提取，进行特征的融合，得到融合后的目标图像Reid特征；同时将Step1.1中生成的拥有原始图像姿态的图像和真实的原始图像通过resnet50网络，得到融合后的原始图像的Reid特征；
Step1.3：将Step1.2得到的两个Reid特征进行余弦距离的度量。
具体地，所述步骤2)包括如下步骤：
Step2.1：原始生成式对抗网络的目标函数：
Figure GDA0003664127280000021
其中pdata(x)和pprior(x)分别代表真实数据x和高斯先验z～N(0,1)的分布，D(x)代表是判别器，G(z)代表是的生成器。在整个训练过程中针对生成器和判别器使用损失函数LG＝LGAN和LD＝-LGAN来迭代更新生成器和判别器的参数，最终使得整个GAN达到纳什平衡。
Step2.2:通过给定原始图像Ii和目标姿态
Figure GDA0003664127280000024
以及目标摄像头的标签信息LT通过生成器Gp生成原始图像下拥有目标姿态的目标图像
Figure GDA0003664127280000022
并将
Figure GDA0003664127280000023
与真实的目标图像Ij输入判别器Dp对生成具有目标姿态图像行进真假的判别。在系统中生成模型采用对抗损失，受到Conditional GAN的启发，加入摄像头标签作为条件。利用生成映射函数GT:Ii→Ij将源域行人图像进行映射生成目标域行人图像，并且利用DT来对生成的目标域进行判别，帮助生成器在跨域的reid模型的构建。目标姿势行人生成目标函数如下:
Figure GDA0003664127280000031
其中GT代表生成器，LT代表目标摄像头的标签，利用原始图像Ii和目标姿态
Figure GDA0003664127280000032
生成目标姿态。同时判别器DT对生成的和真实的图像进行判别。之后将
Figure GDA0003664127280000033
和Ij输入resNet50网络进行特征的融合并输出向量Vj。
Step2.3：利用真实的目标图像Ij、源域摄像头的标签信息LS和原始图像姿态
Figure GDA0003664127280000034
通过生成器Gq生成目标图像下拥有原始姿态的原始图像
Figure GDA0003664127280000035
并将
Figure GDA0003664127280000036
与真实的原始图像Ii输入判别器Dq进行图像真假的判断。那么利用LS源摄像头的标签和生成映射函数GS:Ij→Ii将目标摄像头下图像重新生成回源摄像头下的图像，并且利用DS来对图像进行判别。其对应的目标函数如下
Figure GDA0003664127280000037
最后，将
Figure GDA0003664127280000038
和Ii输入resNet50网络进行特征的融合并输出向量Vi。
Step2.4：保证生成的目标域的生成质量，在这里借鉴一下CycleGAN的思想，使的源域生成目标域的图像再经过反向生成的图像与真实源域图像更加的接近，生成更加真实的源域行人图像。其目标函数如下。
Figure GDA0003664127280000039
Step2.5：接下来利用L1范数来对生成的图像进行约束，使得生成的图像的人物的身份信息减少的最少,减少语义偏移造成的损失。其身份损失函数如下。
Figure GDA00036641272800000310
Step2.6：其中判别器要学会去判别哪个是真实的图像哪个是生成的图像，且判别器目标函数如下:
LD＝-LGAN (6)
Step2.7：通过以上的约束，最终可以得到如下的目标函数：
Figure GDA0003664127280000041
其中λ1,λ2分别为不同的权重系数，用来权衡生成图像和真实图像的之间的相关重要性。
Step2.8：最后对取得的特征向量Vi和Vj进行余弦距离的度量，以便判断是否为同一个行人:
Figure GDA0003664127280000042
具体地，所述步骤3)训练和测试如下步骤:
根据以上提出的目标函数，设计对应的算法对其进行编程实践，下面给出的是在训练和测试阶段的步骤。
Step3.1：在训练阶段，通过源域摄像头下的行人Ii、目标摄像头行人的姿态
Figure GDA0003664127280000043
和给定的目标摄像头的标签信息LT生成目标摄像头下的行人
Figure GDA0003664127280000044
同时利用目标摄像头下的行人Ij、源摄像头下的行人Ii的姿态
Figure GDA0003664127280000045
和给定的源摄像头下的标签信息LS生成源摄像头下的行人
Figure GDA0003664127280000046
来训练的生成对抗网络模型使得生成的图像质量可以更加的高，更加清晰。同时使得生成器具有在给定摄像头标签信息的情况下生成该具有该摄像头的风格的行人，接下来训练的分类器，根据的Ii和
Figure GDA0003664127280000047
通过特征提取网络进行特征提取，以及Ij和
Figure GDA0003664127280000048
进行提取特征融合，然后进行距离度量从而达到reid的任务。
Step3.2：在测试阶段给定query图像集合gallery图像集的情况下，将query的图像Ii经过之前训练好的生成器和给定gallery图像的姿态和所在的摄像头下的标签信息，进行生成gallery摄像头相同风格下的query的图像
Figure GDA0003664127280000049
利用相同的方法将Ij生成
Figure GDA00036641272800000410
从而利用在训练阶段的训练的分类器和特征提取器对上面融合后的特征进行距离的度量。
本发明的有益效果如下：
(1)通过对给定目标姿势和图像行人的生成，增加了数据量，使得数据集得到了有效的扩充减少了模型过拟合的风险提高了模型的泛化性能。使得数据集能够很好的应用到其他的数据集，一定程度上可以在不同数据集的进行实验。
(2)通过对目标姿势行人的生成，对姿势实现了归一化的作用，可以减少姿势对识别产生的影响，并且利用特征提取网络对生成的行人和原有的行人进行特征的提取和特征的向量化。同时，本文加入的行人所在摄像头标签信息的约束，加，可以在检索的过程中去除不相关的行人图像，加快了检索的速度和精度。
附图说明
图1为本发明一种利用目标姿势进行生成的行人重识别方法的流程图。
具体实施方式
下面结合附图和具体实施例，对本发明做进一步说明。
实施例1：如图1所示，一种利用目标姿势进行生成的行人重识别方法，包括如下步骤：
Step 1：确定目标姿势生成的行人重识别模型的整体流程；
Step 2：设计生成识别算法所设计的约束条件和目标函数；
Step 3：确定模型算法的训练和测试过程。
进一步地，所述步骤1)包括如下步骤：
Step1.1：给定一张原始图像和目标姿态将其进行连接，并通过目标姿势行人所在的摄像头标签信息，利用生成器生成原始图像下拥有目标姿态的目标图像；同时利用生成器将真实的目标图像、原始图像的姿态和给定的目标摄像头的标签信息作为生成条件进行生成，生成真实图像下拥有原始图像姿态的图像；
Step1.2：将Step1.1中生成的目标图像和真实的目标图像先后通过resnet50网络进行特征的提取，进行特征的融合，得到融合后的目标图像Reid特征；同时将Step1.1中生成的拥有原始图像姿态的图像和真实的原始图像通过resnet50网络，得到融合后的原始图像的Reid特征；
Step1.3：将Step1.2得到的两个Reid特征进行余弦距离的度量。
进一步地，所述步骤2)包括如下步骤：
Step2.1：原始生成式对抗网络的目标函数：
Figure GDA0003664127280000051
其中pdata(x)和pprior(x)分别代表真实数据x和高斯先验z～N(0,1)的分布，D(x)代表是判别器，G(z)代表是的生成器。在整个训练过程中针对生成器和判别器使用损失函数LG＝LGAN和LD＝-LGAN来迭代更新生成器和判别器的参数，最终使得整个GAN达到纳什平衡。
Step2.2:通过给定原始图像Ii和目标姿态
Figure GDA0003664127280000061
以及目标摄像头的标签信息LT通过生成器Gp生成原始图像下拥有目标姿态的目标图像
Figure GDA0003664127280000062
并将
Figure GDA0003664127280000063
与真实的目标图像Ij输入判别器Dp对生成具有目标姿态图像行进真假的判别。在系统中生成模型采用对抗损失，受到Conditional GAN的启发，加入摄像头标签作为条件。利用生成映射函数GT:Ii→Ij将源域行人图像进行映射生成目标域行人图像，并且利用DT来对生成的目标域进行判别，帮助生成器在跨域的reid模型的构建。目标姿势行人生成目标函数如下:
Figure GDA0003664127280000064
其中GT代表生成器，LT代表目标摄像头的标签，利用原始图像Ii和目标姿态
Figure GDA0003664127280000065
生成目标姿态。同时判别器DT对生成的和真实的图像进行判别。之后将
Figure GDA0003664127280000066
和Ij输入resNet50网络进行特征的融合并输出向量Vj。
Step2.3：利用真实的目标图像Ij、源域摄像头的标签信息LS和原始图像姿态
Figure GDA0003664127280000067
通过生成器Gq生成目标图像下拥有原始姿态的原始图像
Figure GDA0003664127280000068
并将
Figure GDA0003664127280000069
与真实的原始图像Ii输入判别器Dq进行图像真假的判断。那么利用LS源摄像头的标签和生成映射函数GS:Ij→Ii将目标摄像头下图像重新生成回源摄像头下的图像，并且利用DS来对图像进行判别。其对应的目标函数如下
Figure GDA00036641272800000610
最后，将
Figure GDA00036641272800000611
和Ii输入resNet50网络进行特征的融合并输出向量Vi。
Step2.4：保证生成的目标域的生成质量，在这里借鉴一下CycleGAN的思想，使的源域生成目标域的图像再经过反向生成的图像与真实源域图像更加的接近，生成更加真实的源域行人图像。其目标函数如下。
Figure GDA00036641272800000612
Step2.5：接下来利用L1范数来对生成的图像进行约束，使得生成的图像的人物的身份信息减少的最少,减少语义偏移造成的损失。其身份损失函数如下。
Figure GDA0003664127280000071
Step2.6：其中判别器要学会去判别哪个是真实的图像哪个是生成的图像，且判别器目标函数如下:
LD＝-LGAN (6)
Step2.7：通过以上的约束，最终可以得到如下的目标函数：
Figure GDA0003664127280000072
其中λ1,λ2分别为不同的权重系数，用来权衡生成图像和真实图像的之间的相关重要性。
Step2.8：最后对取得的特征向量Vi和Vj进行余弦距离的度量，以便判断是否为同一个行人:
Figure GDA0003664127280000073
进一步地，所述步骤3)训练和测试如下步骤:
根据以上提出的目标函数，设计对应的算法对其进行编程实践，下面给出的是在训练和测试阶段的步骤。
Step3.1：在训练阶段，通过源域摄像头下的行人Ii、目标摄像头行人的姿态
Figure GDA0003664127280000074
和给定的目标摄像头的标签信息LT生成目标摄像头下的行人
Figure GDA0003664127280000075
同时利用目标摄像头下的行人Ij、源摄像头下的行人Ii的姿态
Figure GDA0003664127280000076
和给定的源摄像头下的标签信息LS生成源摄像头下的行人
Figure GDA0003664127280000077
来训练的生成对抗网络模型使得生成的图像质量可以更加的高，更加清晰。同时使得生成器具有在给定摄像头标签信息的情况下生成该具有该摄像头的风格的行人，接下来训练的分类器，根据的Ii和
Figure GDA0003664127280000078
通过特征提取网络进行特征提取，以及Ij和
Figure GDA0003664127280000079
进行提取特征融合，然后进行距离度量从而达到reid的任务。
Step3.2：在测试阶段给定query图像集合gallery图像集的情况下，将query的图像Ii经过之前训练好的生成器和给定gallery图像的姿态和所在的摄像头下的标签信息，进行生成gallery摄像头相同风格下的query的图像
Figure GDA0003664127280000081
利用相同的方法将Ij生成
Figure GDA0003664127280000082
从而利用在训练阶段的训练的分类器和特征提取器对上面融合后的特征进行距离的度量。
在上述提出的模型中，有多个参数需要设置，包括学习率、batchsize、epoch、dropout、SGD中weight_decay；momentum、以及上面参数λ1；λ2的大小。根据经验分别设置为0.1、16、80、0.5、5e-4、0.9、0.1、0.02。
使用生成对抗网络生成目标姿势行人。然后使用resnet50提取两个行人的特征，并对其特征进行向量化，之后再比较两者向量的相似性度量。并加上行人所在的标签信息。来进一步对行人进行约束，使得得到的结果更加的精确。和之前主流方法比较得到的结果如表1所示。该实验证明了的方法可以直接将训练好的模型部署到CUHK01场景下进行识别，并且保持良好的识别率。
表1 CUHK01数据集
Figure GDA0003664127280000083
本发明同样在CUHK03数据集上进行了实验，如表2所示，从结果可以看到，本发明提出的方法也达到了比较高的性能。
表2 CUHK03数据集
Figure GDA0003664127280000091
以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (2)

1.一种利用目标姿势进行生成的行人重识别方法，其特征在于：包括如下步骤：
Step 1：确定目标姿势生成的行人重识别模型的整体流程；
Step 2：设计生成识别算法所设计的约束条件和目标函数；
Step 3：确定模型算法的训练和测试过程；
所述步骤1包括如下步骤：
Step1.1：给定一张原始图像和目标姿态将其进行连接，并通过目标姿势行人所在的摄像头标签信息，利用生成器生成原始图像下拥有目标姿态的目标图像；同时利用生成器将真实的目标图像、原始图像的姿态和给定的目标摄像头的标签信息作为生成条件进行生成，生成真实图像下拥有原始图像姿态的图像；
Step1.2：将Step1.1中生成的目标图像和真实的目标图像先后通过resnet50网络进行特征的提取，进行特征的融合，得到融合后的目标图像Reid特征；同时将Step1.1中生成的拥有原始图像姿态的图像和真实的原始图像通过resnet50网络，得到融合后的原始图像的Reid特征；
Step1.3：将Step1.2得到的两个Reid特征进行余弦距离的度量；
所述步骤2包括如下步骤：
Step2.1：原始生成式对抗网络的目标函数：
Figure FDA0003664127270000011
其中pdata(x)和pprior(x)分别代表真实数据x和高斯先验z～N(0,1)的分布，D(x)代表是判别器，G(z)代表是的生成器，在整个训练过程中针对生成器和判别器使用损失函数LG＝LGAN和LD＝-LGAN来迭代更新生成器和判别器的参数，最终使得整个GAN达到纳什平衡；
Step2.2：通过给定原始图像Ii和目标姿态
Figure FDA0003664127270000012
以及目标摄像头的标签信息LT通过生成器Gp生成原始图像下拥有目标姿态的目标图像
Figure FDA0003664127270000013
并将
Figure FDA0003664127270000014
与真实的目标图像Ij输入判别器Dp对生成具有目标姿态图像行进真假的判别，在系统中生成模型采用对抗损失，受到Conditional GAN的启发，加入摄像头标签作为条件；利用生成映射函数GT:Ii→Ij将源域行人图像进行映射生成目标域行人图像，并且利用DT来对生成的目标域进行判别，帮助生成器在跨域的reid模型的构建，目标姿势行人生成目标函数如下:
Figure FDA0003664127270000021
其中GT代表生成器，LT代表目标摄像头的标签，利用原始图像Ii和目标姿态
Figure FDA0003664127270000022
生成目标姿态，同时判别器DT对生成的和真实的图像进行判别，之后将
Figure FDA0003664127270000023
和Ij输入resNet50网络进行特征的融合并输出向量Vj；
Step2.3：利用真实的目标图像Ij、源域摄像头的标签信息LS和原始图像姿态
Figure FDA0003664127270000024
通过生成器Gq生成目标图像下拥有原始姿态的原始图像
Figure FDA0003664127270000025
并将
Figure FDA0003664127270000026
与真实的原始图像Ii输入判别器Dq进行图像真假的判断；那么利用LS源摄像头的标签和生成映射函数GS:Ij→Ii将目标摄像头下图像重新生成回源摄像头下的图像，并且利用DS来对图像进行判别，其对应的目标函数如下
Figure FDA0003664127270000027
最后，将
Figure FDA0003664127270000028
和Ii输入resNet50网络进行特征的融合并输出向量Vi；
Step2.4：保证生成的目标域的生成质量，在这里借鉴CycleGAN的思想，使的源域生成目标域的图像再经过反向生成的图像与真实源域图像更加的接近，其目标函数如下：
Figure FDA0003664127270000029
Step2.5：接下来利用L1范数来对生成的图像进行约束，使得生成的图像的人物的身份信息减少的最少，减少语义偏移造成的损失，其身份损失函数如下：
Figure FDA00036641272700000210
Step2.6：其中判别器要学会去判别哪个是真实的图像哪个是生成的图像，且判别器目标函数如下:
LD＝-LGAN (6)
Step2.7：通过以上的约束，最终可以得到如下的目标函数：
Figure FDA0003664127270000031
其中λ1,λ2分别为不同的权重系数，用来权衡生成图像和真实图像的之间的相关重要性；
Step2.8：最后对取得的特征向量Vi和Vj进行余弦距离的度量，以便判断是否为同一个行人:
Figure FDA0003664127270000032
2.根据权利要求1所述的一种利用目标姿势进行生成的行人重识别方法，其特征在于：所述步骤3训练和测试步骤如下:
Step3.1：在训练阶段，通过源域摄像头下的行人Ii、目标摄像头行人的姿态
Figure FDA0003664127270000033
和给定的目标摄像头的标签信息LT生成目标摄像头下的行人
Figure FDA0003664127270000034
同时利用目标摄像头下的行人Ij、源摄像头下的行人Ii的姿态
Figure FDA0003664127270000035
和给定的源摄像头下的标签信息LS生成源摄像头下的行人
Figure FDA0003664127270000036
来训练的生成对抗网络模型，同时使得生成器具有在给定摄像头标签信息的情况下生成该具有该摄像头的风格的行人，接下来训练的分类器，根据的Ii和
Figure FDA0003664127270000037
通过特征提取网络进行特征提取，以及Ij和
Figure FDA0003664127270000038
进行提取特征融合，然后进行距离度量从而达到reid的任务；
Step3.2：在测试阶段给定query图像集合gallery图像集的情况下，将query的图像Ii经过之前训练好的生成器和给定gallery图像的姿态和所在的摄像头下的标签信息，进行生成gallery摄像头相同风格下的query的图像
Figure FDA0003664127270000039
利用相同的方法将Ij生成
Figure FDA00036641272700000310
从而利用在训练阶段的训练的分类器和特征提取器对上面融合后的特征进行距离的度量。
CN202010531805.4A 2020-06-11 2020-06-11 一种利用目标姿势进行生成的行人重识别方法 Active CN111753684B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010531805.4A CN111753684B (zh) 2020-06-11 2020-06-11 一种利用目标姿势进行生成的行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010531805.4A CN111753684B (zh) 2020-06-11 2020-06-11 一种利用目标姿势进行生成的行人重识别方法

Publications (2)

Publication Number Publication Date
CN111753684A CN111753684A (zh) 2020-10-09
CN111753684B true CN111753684B (zh) 2022-07-08

Family

ID=72675102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010531805.4A Active CN111753684B (zh) 2020-06-11 2020-06-11 一种利用目标姿势进行生成的行人重识别方法

Country Status (1)

Country Link
CN (1) CN111753684B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149645A (zh) * 2020-11-10 2020-12-29 西北工业大学 基于生成对抗学习和图神经网络的人体姿势关键点识别方法
CN113408351B (zh) * 2021-05-18 2022-11-29 河南大学 一种基于姿态引导生成对抗网络的行人重识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537136A (zh) * 2018-03-19 2018-09-14 复旦大学 基于姿态归一化图像生成的行人重识别方法
CN109522843A (zh) * 2018-11-16 2019-03-26 北京市商汤科技开发有限公司 一种多目标跟踪方法及装置、设备和存储介质
CN110427813A (zh) * 2019-06-24 2019-11-08 中国矿业大学 基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法
CN110555428A (zh) * 2019-09-12 2019-12-10 腾讯科技（深圳）有限公司 行人重识别方法、装置、服务器以及存储介质
CN110796080A (zh) * 2019-10-29 2020-02-14 重庆大学 一种基于生成对抗网络的多姿态行人图像合成算法
CN110929679A (zh) * 2019-12-05 2020-03-27 杭州电子科技大学 一种基于gan的无监督自适应行人重识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11188783B2 (en) * 2017-10-19 2021-11-30 Nokia Technologies Oy Reverse neural network for object re-identification

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537136A (zh) * 2018-03-19 2018-09-14 复旦大学 基于姿态归一化图像生成的行人重识别方法
CN109522843A (zh) * 2018-11-16 2019-03-26 北京市商汤科技开发有限公司 一种多目标跟踪方法及装置、设备和存储介质
CN110427813A (zh) * 2019-06-24 2019-11-08 中国矿业大学 基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法
CN110555428A (zh) * 2019-09-12 2019-12-10 腾讯科技（深圳）有限公司 行人重识别方法、装置、服务器以及存储介质
CN110796080A (zh) * 2019-10-29 2020-02-14 重庆大学 一种基于生成对抗网络的多姿态行人图像合成算法
CN110929679A (zh) * 2019-12-05 2020-03-27 杭州电子科技大学 一种基于gan的无监督自适应行人重识别方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"基于深度卷积生成对抗网络和拓展近邻重排序的行人重识别";戴臣超、王洪元、倪彤光、陈首兵;《计算机研究与发展》;20190815;第56卷(第08期);1632-1641 *
"基于深度学习的行人重识别研究综述";朱繁、王洪元、张继;《南京师大学报(自然科学版)》;20181220;第41卷(第04期);93-101 *
"基于特征拼接的行人重识别";潘通、李文国;《激光与光电子学进》;20190402;第56卷(第16期);193-199 *
"基于身份一致性和不相关约束的行人重识;颜悦、谢明鸿、严双林、李;《中北大学学报(自然科学版》;20200509;第41卷(第04期);337-345 *
Huafeng Li ; Jinting Zhu ; Dapeng Tao."Asymmetric Projection and Dictionary Learning With Listwise and Identity Consistency Constraints for Person Re-Identification".《IEEE Access 》.2018,第6卷37977-37990. *
Xiu Zhang ; Federico Pala ; Bir Bhanu."Attributes co-occurrence pattern mining for video-based person re-identification".《2017 14th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS)》.2017,论文第1-6页. *

Also Published As

Publication number Publication date
CN111753684A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
Wu et al. Where-and-when to look: Deep siamese attention networks for video-based person re-identification
CN108537136B (zh) 基于姿态归一化图像生成的行人重识别方法
Ye et al. PurifyNet: A robust person re-identification model with noisy labels
Zhao et al. Single image action recognition using semantic body part actions
Lin et al. RSCM: Region selection and concurrency model for multi-class weather recognition
Dewan et al. Adaptive appearance model tracking for still-to-video face recognition
Roy et al. Unsupervised universal attribute modeling for action recognition
CN109255289B (zh) 一种基于统一式生成模型的跨衰老人脸识别方法
CN111339849A (zh) 一种融合行人属性的行人重识别的方法
Li et al. Graph mode-based contextual kernels for robust SVM tracking
CN112131978A (zh) 一种视频分类方法、装置、电子设备和存储介质
CN111753684B (zh) 一种利用目标姿势进行生成的行人重识别方法
Luo et al. SFA: small faces attention face detector
Li et al. One-class knowledge distillation for face presentation attack detection
Kumar Verma et al. Generative model for zero-shot sketch-based image retrieval
Yang et al. Bottom-up foreground-aware feature fusion for practical person search
Chen et al. Pose-guided spatial alignment and key frame selection for one-shot video-based person re-identification
CN112613474A (zh) 一种行人重识别的方法和装置
Zhao et al. Learning saliency features for face detection and recognition using multi-task network
CN116309466A (zh) 一种基于对比学习的跨域目标检测方法
Fragkiadakis et al. Towards a User-Friendly Tool for Automated Sign Annotation: Identification and Annotation of Time Slots, Number of Hands, and Handshape.
Venkataraman et al. Distinguishing mislabeled data from correctly labeled data in classifier design
Galiyawala et al. Dsa-pr: discrete soft biometric attribute-based person retrieval in surveillance videos
Wu et al. Joint learning of Siamese network with top-down modulation and hard example mining for visual tracking
Nickfarjam et al. Shape-based human action recognition using multi-input topology of deep belief networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant