CN109359559B - 一种基于动态遮挡样本的行人再识别方法 - Google Patents

一种基于动态遮挡样本的行人再识别方法 Download PDF

Info

Publication number
CN109359559B
CN109359559B CN201811129988.6A CN201811129988A CN109359559B CN 109359559 B CN109359559 B CN 109359559B CN 201811129988 A CN201811129988 A CN 201811129988A CN 109359559 B CN109359559 B CN 109359559B
Authority
CN
China
Prior art keywords
pedestrian
image
convolution
features
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811129988.6A
Other languages
English (en)
Other versions
CN109359559A (zh
Inventor
张重
司统振
刘爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Normal University
Original Assignee
Tianjin Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Normal University filed Critical Tianjin Normal University
Priority to CN201811129988.6A priority Critical patent/CN109359559B/zh
Publication of CN109359559A publication Critical patent/CN109359559A/zh
Application granted granted Critical
Publication of CN109359559B publication Critical patent/CN109359559B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于动态遮挡样本的行人再识别方法，该方法包括：构建原始图像特征学习网络框架；将训练集的行人图像输入，得到n个局部特征，对于所述局部特征学习优化，将得到的n个优化局部特征串联起来作为训练行人图像的原始图像特征；构建生成器；产生遮挡的行人图像；将遮挡的行人图像输入所述生成器，得到n个局部特征，对于所述局部特征学习优化，将得到的n个局部特征串联起来作为遮挡图像特征；利用所述原始图像特征和遮挡图像特征得到所述训练行人图像的最终特征，并利用所述训练行人图像的最终特征进行行人再识别。本发明充分利用卷积神经网络的优势，学习行人的原始图像特征和遮挡图像特征，最终融合两种特征来表示行人图像，进一步提高了行人再识别的匹配正确率。

Description

一种基于动态遮挡样本的行人再识别方法
技术领域
本发明属于模式识别、人工智能领域，具体涉及一种基于动态遮挡样本的行人再识别方法。
背景技术
行人再识别(Person Re-Identification)主要研究在不同摄像机下搜索相同行人的方法。该技术能够快速准确的定位目标行人，因此在安全防卫等领域得到了广泛的应用。然而由于真实场景中行人姿势、衣着、光照以及摄像机角度变化较大，而且行人经常被障碍物遮挡，这些都使得行人再识别技术面临着巨大的挑战。
近几年，研究者将深度学习方法应用到行人再识别领域后取得了较大发展，使得行人再识别的正确搜索率得到大幅提高。为了训练性能较好的深度学习模型，通常需要大量的训练样本。然而现有数据集中训练样本数量较少，另一方面采集真实样本的花费较高，因此很多研究者提出利用不同的数据增强方法解决样本不足的难题。目前，常用的数据增强方法是随机裁剪和随机翻转。之后，Zhong等人提出随机擦除的数据增强方法，该方法首先随机产生一个遮挡区域，之后用随机像素值替代遮挡区域的像素值，产生的遮挡样本能够达到扩充训练样本的目的。Huang等人提出遮挡判别性区域方法来产生对抗遮挡样本，然后联合原始图像训练深度学习模型来提高行人再识别的正确搜索率。Zheng等人利用生成对抗网络产生虚拟行人图像，并联合真实行人图像训练深度学习模型。此外，很多研究者又将对抗学习的思想应用到行人再识别领域，进一步提高了行人再识别的性能，Liu等人提出基于对抗二值编码的行人再识别方法，该方法利用产生的二进制特征来表示行人图像。Deng等人利用孪生神经网络和生成对抗网络共同组成对抗模型来学习判别性的特征。Yin等人利用对抗学习设计了基于图像属性的行人再识别模型。然而，以上数据增强的方法并没有匹配动态的模型状态，对抗学习方法没有与数据增强的方法进行有效的结合。
发明内容
本发明的目的是要解决遮挡的行人图像不能匹配动态的模型状态，并且没有提高遮挡样本性能的技术问题，为此，本发明提供一种基于动态遮挡样本的行人再识别方法。
为了实现所述目的，本发明提出的一种基于动态遮挡样本的行人再识别方法包括以下步骤：
步骤S1，利用预训练深度学习模型构建原始图像特征学习网络框架；
步骤S2，将训练集的行人图像输入构建的网络框架，得到训练行人图像的n个局部特征，利用交叉熵函数对于所述局部特征学习优化，将得到的n个优化局部特征串联起来作为所述训练行人图像的原始图像特征；
步骤S3，利用所述预训练深度学习模型构建生成器来学习遮挡图像特征；
步骤S4，将与学习原始图像特征相同的训练行人图像输入到所述生成器中，在第l个卷积层后提取卷积注意力图，并计算所述卷积注意力图中最显著的区域；
步骤S5，将所述卷积注意力图中最显著的区域映射到所述训练行人图像中，并利用一个随机常数进行遮挡，产生遮挡的行人图像；
步骤S6，将遮挡的行人图像输入所述生成器，得到遮挡行人图像的n个局部特征，利用交叉熵函数对于所述局部特征学习优化，将得到的n个局部特征串联起来作为遮挡图像特征；
步骤S9，利用所述原始图像特征和遮挡图像特征得到所述训练行人图像的最终特征，并利用所述训练行人图像的最终特征进行行人再识别。
可选地，所述步骤S1包括以下步骤：
步骤S11，获取预训练的深度学习模型，选择所述深度学习模型中的模型成分并对其进行参数初始化，得到初始深度学习模型；
步骤S12，在所述初始深度学习模型后增加池化层、卷积层和全连接层，得到用于学习原始图像特征的深度学习模型网络框架。
可选地，所述步骤S2包括以下步骤：
步骤S21，对训练集的行人图像进行预处理；
步骤S22，将预处理后得到的行人图像输入所述网络框架中，得到所述训练行人图像的预设数量的卷积激活图；
步骤S23，基于得到的卷积激活图，利用所述网络框架中的池化层执行局部水平平均池化得到所述训练行人图像的n个初始局部特征，利用卷积层中的卷积核降低所述初始局部特征的维度得到局部特征，然后利用分类器对每一个局部特征进行分类，最后利用交叉熵损失函数对局部特征学习优化，将得到的n个优化后的局部特征的串联作为所述训练行人图像的原始图像特征。
可选地，所述步骤S4包括以下步骤：
步骤S41，把与输入至学习原始图像特征的网络框架的行人图像相同的行人图像进行预处理并输入所述生成器；
步骤S42，在所述生成器的第l个卷积层输出处提取卷积激活图，并获取相应的卷积注意力图；
步骤S43，利用滑动窗口在所述卷积注意力图上移动，累加滑动窗口内的值，并将最大值所在区域作为卷积注意力图中最显著的区域R。
可选地，所述步骤S5包括以下步骤：
步骤S51，将所述卷积注意力图中最显著的区域R按比例映射到所述训练行人图像中；
步骤S52，随机选取一个像素值对映射之后所述训练行人图像中与所述最显著区域对应的区域进行遮挡，形成遮挡的行人图像。
可选地，所述步骤S6包括以下步骤：
步骤S61，将遮挡的行人图像输入所述生成器，在所述生成器输出处得到所述遮挡行人图像的预设数量的卷积激活图；
步骤S62，基于得到的卷积激活图，执行局部水平平均池化得到所述遮挡行人图像的n个初始局部特征，利用卷积层中的卷积核降低所述初始局部特征的维度得到局部特征，然后利用分类器对每一个局部特征进行分类，最后利用交叉熵损失函数对局部特征学习优化，将得到的n个优化后的局部特征的串联作为所述遮挡行人图像的遮挡图像特征。
可选地，所述步骤S9之前还包括：
对于遮挡图像特征进行优化。
可选地，所述对于遮挡图像特征进行优化，包括：
步骤S7，设置判别器来区分所述原始图像特征和遮挡图像特征；
步骤S8，利用所述判别器对所述遮挡图像特征进行类别预测，以优化所述生成器，使所述生成器学习的遮挡图像特征能够混淆判别器，并进而得到优化后的遮挡图像特征。
可选地，所述步骤S7包括以下步骤：
步骤S71，设置判别器；
步骤S72，将所述原始图像特征和遮挡图像特征输入所述判别器执行二分类操作，以区分所述原始图像特征和遮挡图像特征。
可选地，所述步骤S8包括以下步骤：
步骤S81，将所述遮挡图像特征输入所述判别器进行类别预测；
步骤S82，利用对抗损失函数优化所述生成器，得到优化后的遮挡图像特征。
本发明的有益效果为：本发明通过卷积神经网络学习了行人的原始图像特征，同时通过产生有意义的动态遮挡样本来学习行人的遮挡图像特征，将原始图像特征与遮挡图像特征融合于一个网络结构中，不仅充分地提取了两种特征，而且利用对抗学习方法又提高了遮挡图像特征的泛化性能，提取的原始图像特征与遮挡图像特征进行组合来表示行人图像，提高了行人再识别搜索的正确率。
需要说明的是，本发明得到了国家自然科学基金项目No.61501327、No.61711530240，天津市自然科学基金重点项目No.17JCZDJC30600，天津师范大学“青年科研拔尖人才培育计划”No.135202RC1703，模式识别国家重点实验室开放课题基金No.201700001、No.201800002，中国国家留学基金No.201708120040、No.201708120039和天津市高等教育创新团队基金项目的资助。
附图说明
图1是根据本发明一实施例的一种基于动态遮挡样本的行人再识别方法的流程图；
图2是根据本发明一实施例的学习动态遮挡样本的结构框架示意图；
图3是根据本发明一实施例的判别器的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
图1是根据本发明一实施例的一种基于动态遮挡样本的行人再识别方法的流程图，下面以图1为例来说明本发明的一些具体实现流程，如图1所示，所述基于动态遮挡样本的行人再识别方法包括以下步骤：
步骤S1，利用预训练深度学习模型构建原始图像特征学习网络框架；
进一步地，所述步骤S1包括以下步骤：
步骤S11，获取预训练的深度学习模型，选择所述深度学习模型中需要的模型成分并对其进行参数初始化，得到初始深度学习模型；
在本发明一实施例中，所采用的已预训练的深度学习模型为ResNet-50，仅选择该模型中最后一个整体池化之前的模型成分，其中，将ResNet-50模型中第四个块的步长由原来默认的2改为1(其中，ResNet-50模型中不同的块包含不同数量的卷积层)，此外用LeakyReLU(带泄露整流函数)替换ResNet-50模型中默认使用的ReLU(修正线性单元)。
步骤S12，在所述初始深度学习模型后增加池化层以提取行人图像的n个局部特征，然后在每个局部特征输出的后面增加卷积层，最后再增加一个全连接层作为分类器对于对应的局部特征进行分类，得到整个用于学习原始图像特征的深度学习模型网络框架，其结构如图2(a)所示。
步骤S2，将训练集的行人图像输入构建的网络框架，得到训练行人图像的n个局部特征，利用交叉熵函数对于所述局部特征学习优化，将得到的n个优化局部特征串联起来作为所述训练行人图像的原始图像特征；
进一步地，所述步骤S2包括以下步骤：
步骤S21，对训练集的行人图像进行预处理；
在本发明一实施例中，所述对训练集的行人图像进行预处理包括：将行人图像的大小裁剪为预设大小，比如384×128，并把所述行人图像所有的像素值按比例缩小至预设范围内，比如0到1之间，然后将所述行人图像中的每个像素值减去所述训练集中行人图像的像素平均值，再除以所述训练集中行人图像的像素方差。
步骤S22，将预处理后得到的行人图像输入所述网络框架中，得到所述训练行人图像的预设数量的卷积激活图；
在本发明一实施例中，所述网络框架输出的卷积激活图的数量为2048，大小为24×8，其中，24为卷积激活图的高度，8为卷积激活图的宽度。
步骤S23，基于得到的卷积激活图，利用所述网络框架中的池化层执行局部水平平均池化得到所述训练行人图像的n个初始局部特征，利用卷积层中的卷积核降低所述初始局部特征的维度得到局部特征fi(i＝1,2,…n)，然后利用分类器对每一个局部特征进行分类，最后利用交叉熵损失函数对局部特征学习优化，将得到的n个优化后的局部特征的串联f＝[f1；f2；…；fn]作为所述训练行人图像的原始图像特征。
在本发明一实施例中，进行局部水平平均池化操作使用的卷积核的大小为8×8，步长为8，经过局部水平平均池化操作后将会获得3个局部特征向量，维度为2048，经过降维之后得到的局部特征fi(i＝1,2,3)的维度为512。
进一步地，所述步骤S23中，所述交叉熵损失函数表示为：
Figure BDA0001813248120000071
其中，n表示经过局部水平平均池化获得的局部特征的数目，K为训练集中行人的总类别数目，pi(k)表示第i个局部特征属于标签k的分类概率，如果获取的第i个局部特征属于第k类，那么qi(k)＝1，否则qi(k)＝0。
在本发明一实施例中，在Market1501数据库中进行测试时，K＝751。
步骤S3，利用所述预训练深度学习模型构建生成器来学习遮挡图像特征；
其中，所述生成器的结构与学习原始图像特征的网络框架结构相同，整个学习遮挡图像特征的网络框架结构如图2(b)所示。
步骤S4，将与学习原始图像特征相同的训练行人图像输入到所述生成器中，在第l个卷积层后提取卷积注意力图，并计算所述卷积注意力图中最显著的区域；
进一步地，所述步骤S4包括以下步骤：
步骤S41，把与输入至学习原始图像特征的网络框架的行人图像相同的行人图像进行预处理并输入所述生成器；
在本发明一实施例中，所述预处理方法与学习原始图像特征的预处理方法相同。
步骤S42，在所述生成器的第l个卷积层输出处提取卷积激活图，并获取相应的卷积注意力图：
Figure BDA0001813248120000081
其中，Tl,n表示第l个卷积层中卷积激活图的第n个通道，N表示卷积激活图中通道的总数。
在本发明一实施例中，在第10个卷积层后提取卷积注意力图。
步骤S43，利用滑动窗口在所述卷积注意力图上移动，累加滑动窗口内的值，并将最大值所在区域作为卷积注意力图中最显著的区域R：
Figure BDA0001813248120000082
其中，Ue表示在卷积注意力图上的第e个滑动窗口，Al(v)表示第l个卷积层输出处相应的卷积注意力图上对应滑动窗口v内的区域值，v表示滑动窗口。
在本发明一实施例中，所述滑动窗口的大小为24×8，其中，24为滑动窗口的高度，8为滑动窗口的宽度，滑动窗口的步长为5。
步骤S5，将所述卷积注意力图中最显著的区域映射到所述训练行人图像中，并利用一个随机常数进行遮挡，产生遮挡的行人图像；
进一步地，所述步骤S5包括以下步骤：
步骤S51，将所述卷积注意力图中最显著的区域R按比例映射到所述训练行人图像中；
步骤S52，随机选取一个像素值对映射之后所述训练行人图像中与所述最显著区域对应的区域进行遮挡，形成遮挡的行人图像。
步骤S6，将遮挡的行人图像输入所述生成器，得到遮挡行人图像的n个局部特征，利用交叉熵函数对于所述局部特征学习优化，将得到的n个局部特征串联起来作为遮挡图像特征；
进一步地，所述步骤S6包括以下步骤：
步骤S61，将遮挡的行人图像输入所述生成器，在所述生成器输出处得到所述遮挡行人图像的预设数量的卷积激活图；
在本发明一实施例中，所述生成器输出的卷积激活图的数量为2048，大小为24×8，其中，24为卷积激活图的高度，8为卷积激活图的宽度。
步骤S62，基于得到的卷积激活图，执行局部水平平均池化得到所述遮挡行人图像的n个初始局部特征，利用卷积层中的卷积核降低所述初始局部特征的维度得到局部特征bi(i＝1,2,…n)，然后利用分类器对每一个局部特征进行分类，最后利用交叉熵损失函数对局部特征学习优化，将得到的n个优化后的局部特征的串联b＝[b1；b2；…；bn]作为所述遮挡行人图像的遮挡图像特征。
在本发明一实施例中，进行局部水平平均池化操作使用的卷积核的大小为8×8，步长为8，经过局部水平平均池化操作后将会获得3个局部特征向量，维度为2048，经过降维之后得到的局部特征fi(i＝1,2,3)的维度为512。
进一步地，所述步骤S62中，所述交叉熵损失函数表示为：
Figure BDA0001813248120000091
其中，pu(k)表示第u个局部特征属于标签k的分类概率，如果获取的第u个局部特征属于第k类，那么qu(k)＝1，否则qu(k)＝0。
步骤S7，设置判别器来区分所述原始图像特征和遮挡图像特征；
进一步地，所述步骤S7包括以下步骤：
步骤S71，设置判别器；
在本发明一实施例中，所述判别器包含六层全连接层，其结构如图3所示。
步骤S72，将所述原始图像特征f和遮挡图像特征b输入所述判别器执行二分类操作，以区分所述原始图像特征和遮挡图像特征。
其中，所述判别器采用标准的监督损失优化判别器：
LD＝-Ef～p(f)logD(f)-Eb～p(b)log(1-D(b))
其中，LD表示判别器区分原始图像特征与遮挡图像特征之后的损失值，p(f)和p(b)分别表示原始图像特征和遮挡图像特征的分布，Ef～p(f)表示对原始图像特征分布的期望，Eb～p(b)Ef～p(f)表示对遮挡图像特征的期望，D(f)和D(b)分别表示对原始图像特征f和遮挡图像特征b的预测概率。
步骤S8，利用所述判别器对所述遮挡图像特征进行类别预测，以优化所述生成器，使所述生成器学习的遮挡图像特征能够混淆判别器，并进而得到优化后的遮挡图像特征；
进一步地，所述步骤S8包括以下步骤：
步骤S81，将所述遮挡图像特征b输入所述判别器进行类别预测；
步骤S82，利用对抗损失函数优化所述生成器，得到优化后的遮挡图像特征。
LG＝-Eb～p(b)logD(b)
步骤S9，利用所述原始图像特征和优化后的遮挡图像特征得到所述训练行人图像的最终特征，并利用所述训练行人图像的最终特征进行行人再识别。
在本发明一实施例中，将所述原始图像特征按权重与所述优化后的遮挡图像特征进行串联表示所述训练行人图像的最终特征：
Figure BDA0001813248120000101
其中，
Figure BDA0001813248120000102
表示权重。
在本发明一实施例中，可将权重值
Figure BDA0001813248120000111
设置为0.8。
以网上公开的行人再识别大型数据库作为测试对象，比如在Market 1501数据库上测试时，本发明行人再识别正确搜索率达到93.71％(rank-1)和80.1(mAP)。本发明行人再识别方法有效地学习了动态遮挡样本，利用对抗学习提高遮挡图像特征的泛化性能，最后融合了行人的原始图像特征和遮挡图像特征，很大程度地提高了行人再识别正确搜索率，由此可见本发明方法的有效性。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (8)

1.一种基于动态遮挡样本的行人再识别方法，其特征在于，所述方法包括以下步骤：
步骤S1，利用预训练深度学习模型构建原始图像特征学习网络框架；
步骤S2，将训练集的行人图像输入构建的网络框架，得到训练行人图像的n个局部特征，利用交叉熵函数对于所述局部特征学习优化，将得到的n个优化局部特征串联起来作为所述训练行人图像的原始图像特征；
步骤S3，利用所述预训练深度学习模型构建生成器来学习遮挡图像特征；
步骤S4，将与学习原始图像特征相同的训练行人图像输入到所述生成器中，在第l个卷积层后提取卷积注意力图，并计算所述卷积注意力图中最显著的区域；
步骤S5，将所述卷积注意力图中最显著的区域映射到所述训练行人图像中，并利用一个随机常数进行遮挡，产生遮挡的行人图像；
步骤S6，将遮挡的行人图像输入所述生成器，得到遮挡行人图像的n个局部特征，利用交叉熵函数对于所述局部特征学习优化，将得到的n个优化局部特征串联起来作为遮挡图像特征；
步骤S7，设置判别器来区分所述原始图像特征和遮挡图像特征；
步骤S8，利用所述判别器对所述遮挡图像特征进行类别预测，以优化所述生成器，使所述生成器学习的遮挡图像特征能够混淆判别器，并进而得到优化后的遮挡图像特征；
步骤S9，利用所述原始图像特征和优化后的遮挡图像特征得到所述训练行人图像的最终特征，并利用所述训练行人图像的最终特征进行行人再识别。
2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括以下步骤：
步骤S11，获取预训练的深度学习模型，选择所述深度学习模型中的模型成分并对其进行参数初始化，得到初始深度学习模型；
步骤S12，在所述初始深度学习模型后增加池化层、卷积层和全连接层，得到用于学习原始图像特征的深度学习模型网络框架。
3.根据权利要求1所述的方法，其特征在于，所述步骤S2包括以下步骤：
步骤S21，对训练集的行人图像进行预处理；
步骤S22，将预处理后得到的行人图像输入所述网络框架中，得到所述训练行人图像的预设数量的卷积激活图；
步骤S23，基于得到的卷积激活图，利用所述网络框架中的池化层执行局部水平平均池化得到所述训练行人图像的n个初始局部特征，利用卷积层中的卷积核降低所述初始局部特征的维度得到局部特征，然后利用分类器对每一个局部特征进行分类，最后利用交叉熵损失函数对局部特征学习优化，将得到的n个优化后的局部特征的串联作为所述训练行人图像的原始图像特征。
4.根据权利要求1所述的方法，其特征在于，所述步骤S4包括以下步骤：
步骤S41，把与输入至学习原始图像特征的网络框架的行人图像相同的行人图像进行预处理并输入所述生成器；
步骤S42，在所述生成器的第l个卷积层输出处提取卷积激活图，并获取相应的卷积注意力图；
步骤S43，利用滑动窗口在所述卷积注意力图上移动，累加滑动窗口内的值，并将最大值所在区域作为卷积注意力图中最显著的区域R。
5.根据权利要求1所述的方法，其特征在于，所述步骤S5包括以下步骤：
步骤S51，将所述卷积注意力图中最显著的区域R按比例映射到所述训练行人图像中；
步骤S52，随机选取一个像素值对映射之后所述训练行人图像中与所述最显著区域对应的区域进行遮挡，形成遮挡的行人图像。
6.根据权利要求1所述的方法，其特征在于，所述步骤S6包括以下步骤：
步骤S61，将遮挡的行人图像输入所述生成器，在所述生成器输出处得到所述遮挡行人图像的预设数量的卷积激活图；
步骤S62，基于得到的卷积激活图，执行局部水平平均池化得到所述遮挡行人图像的n个初始局部特征，利用卷积层中的卷积核降低所述初始局部特征的维度得到局部特征，然后利用分类器对每一个局部特征进行分类，最后利用交叉熵损失函数对局部特征学习优化，将得到的n个优化后的局部特征的串联作为所述遮挡行人图像的遮挡图像特征。
7.根据权利要求1所述的方法，其特征在于，所述步骤S7包括以下步骤：
步骤S71，设置判别器；
步骤S72，将所述原始图像特征和遮挡图像特征输入所述判别器执行二分类操作，以区分所述原始图像特征和遮挡图像特征。
8.根据权利要求1所述的方法，其特征在于，所述步骤S8包括以下步骤：
步骤S81，将所述遮挡图像特征输入所述判别器进行类别预测；
步骤S82，利用对抗损失函数优化所述生成器，得到优化后的遮挡图像特征。
CN201811129988.6A 2018-09-27 2018-09-27 一种基于动态遮挡样本的行人再识别方法 Active CN109359559B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811129988.6A CN109359559B (zh) 2018-09-27 2018-09-27 一种基于动态遮挡样本的行人再识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811129988.6A CN109359559B (zh) 2018-09-27 2018-09-27 一种基于动态遮挡样本的行人再识别方法

Publications (2)

Publication Number Publication Date
CN109359559A CN109359559A (zh) 2019-02-19
CN109359559B true CN109359559B (zh) 2021-11-12

Family

ID=65347860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811129988.6A Active CN109359559B (zh) 2018-09-27 2018-09-27 一种基于动态遮挡样本的行人再识别方法

Country Status (1)

Country Link
CN (1) CN109359559B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046549A (zh) * 2019-03-08 2019-07-23 佛山市云米电器科技有限公司 一种油烟机烟雾识别去遮挡方法
CN110084146B (zh) * 2019-04-08 2021-06-04 清华大学 基于遮挡感知自监督学习的行人检测方法及装置
CN110163117B (zh) * 2019-04-28 2021-03-05 浙江大学 一种基于自激励判别性特征学习的行人重识别方法
CN110110689B (zh) * 2019-05-15 2023-05-26 东北大学 一种行人重识别方法
CN110135366B (zh) * 2019-05-20 2021-04-13 厦门大学 基于多尺度生成对抗网络的遮挡行人重识别方法
CN110348437B (zh) * 2019-06-27 2022-03-25 电子科技大学 一种基于弱监督学习与遮挡感知的目标检测方法
CN112183563A (zh) * 2019-07-01 2021-01-05 Tcl集团股份有限公司 一种图像识别模型的生成方法、存储介质及应用服务器
CN111126155B (zh) * 2019-11-25 2023-04-21 天津师范大学 一种基于语义约束生成对抗网络的行人再识别方法
SG10201913744SA (en) * 2019-12-30 2020-12-30 Sensetime Int Pte Ltd Image processing method and apparatus, electronic device, and storage medium
CN112219224B (zh) * 2019-12-30 2024-04-26 商汤国际私人有限公司 图像处理方法及装置、电子设备和存储介质
CN113469172B (zh) * 2020-03-30 2022-07-01 阿里巴巴集团控股有限公司 目标定位、模型训练、界面交互方法及设备
CN111914668A (zh) * 2020-07-08 2020-11-10 浙江大华技术股份有限公司 一种基于图像增强技术的行人重识别方法、装置及系统
CN111860431B (zh) * 2020-07-30 2023-12-12 浙江大华技术股份有限公司 图像中对象的识别方法和装置、存储介质及电子装置
CN113591864B (zh) * 2021-07-28 2023-04-07 北京百度网讯科技有限公司 文本识别模型框架的训练方法、装置及系统
CN116912632B (zh) * 2023-09-12 2024-04-12 深圳须弥云图空间科技有限公司 基于遮挡的目标追踪方法及装置
CN117274761B (zh) * 2023-11-08 2024-03-12 腾讯科技（深圳）有限公司 图像生成方法、装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334847A (zh) * 2018-02-06 2018-07-27 哈尔滨工业大学 一种真实场景下的基于深度学习的人脸识别方法
CN108573222A (zh) * 2018-03-28 2018-09-25 中山大学 基于循环对抗生成网络的行人图像遮挡检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334847A (zh) * 2018-02-06 2018-07-27 哈尔滨工业大学 一种真实场景下的基于深度学习的人脸识别方法
CN108573222A (zh) * 2018-03-28 2018-09-25 中山大学 基于循环对抗生成网络的行人图像遮挡检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Adversarially occluded samples for person re-identification;Houjing Huang等;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20180623;第5098-5103页第1、3-4.3节，图1、3-4 *
Random Erasing Data Augmentation;Zhun Zhong等;《arXiv》;20171116;1708.04896页 *
Small sample learning in big data era;Jun Shu等;《arXiv》;20180822;1808.04572页 *
Towards good practices on building effective CNN baseline model for person re-identification;Fu Xiong等;《arXiv》;20180729;1807.11042页 *
基于生成式对抗网络的鲁棒人脸表情识别;姚乃明等;《自动化学报》;20180531;第44卷(第05期);865-877页 *
生成对抗网络理论模型和应用综述;徐一峰;《金华职业技术学院学报》;20170630;第17卷(第03期);81-88页 *

Also Published As

Publication number Publication date
CN109359559A (zh) 2019-02-19

Similar Documents

Publication Publication Date Title
CN109359559B (zh) 一种基于动态遮挡样本的行人再识别方法
US11574152B2 (en) Recognition system for security check and control method thereof
CN108764308B (zh) 一种基于卷积循环网络的行人重识别方法
WO2021042828A1 (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
CN106446930B (zh) 基于深层卷积神经网络的机器人工作场景识别方法
CN106815604B (zh) 基于多层信息融合的注视点检测方法
Tian et al. A dual neural network for object detection in UAV images
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
Chen et al. Research on recognition of fly species based on improved RetinaNet and CBAM
CN107391709A (zh) 一种基于新型注意模型进行图像字幕生成的方法
CN111626116B (zh) 基于融合多注意力机制和Graph的视频语义分析方法
CN106156765A (zh) 基于计算机视觉的安全检测方法
CN109784288B (zh) 一种基于判别感知融合的行人再识别方法
Zeng et al. An improved object detection method based on deep convolution neural network for smoke detection
CN110956158A (zh) 一种基于教师学生学习框架的遮挡行人再标识方法
CN112861970B (zh) 一种基于特征融合的细粒度图像分类方法
CN110163567A (zh) 基于多任务级联卷积神经网络的课堂点名系统
Guo et al. Using multi-scale and hierarchical deep convolutional features for 3D semantic classification of TLS point clouds
CN109165698A (zh) 一种面向智慧交通的图像分类识别方法及其存储介质
Zhang et al. MMFNet: Forest fire smoke detection using multiscale convergence coordinated pyramid network with mixed attention and fast-robust NMS
CN111126155B (zh) 一种基于语义约束生成对抗网络的行人再识别方法
CN109190471B (zh) 基于自然语言描述的视频监控行人搜索的注意力模型方法
CN110503090A (zh) 基于受限注意力模型的字符检测网络训练方法、字符检测方法和字符检测器
CN110046595A (zh) 一种基于级联式多尺度的密集人脸检测方法
CN112132839B (zh) 一种基于深度卷积级联网络的多尺度快速人脸分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant