CN112488035B - 一种基于对抗神经网络的跨域行人重识别方法 - Google Patents

一种基于对抗神经网络的跨域行人重识别方法 Download PDF

Info

Publication number
CN112488035B
CN112488035B CN202011464169.4A CN202011464169A CN112488035B CN 112488035 B CN112488035 B CN 112488035B CN 202011464169 A CN202011464169 A CN 202011464169A CN 112488035 B CN112488035 B CN 112488035B
Authority
CN
China
Prior art keywords
mapping
generator
data set
samples
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011464169.4A
Other languages
English (en)
Other versions
CN112488035A (zh
Inventor
方巍
易伟楠
庞林
王楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202011464169.4A priority Critical patent/CN112488035B/zh
Publication of CN112488035A publication Critical patent/CN112488035A/zh
Application granted granted Critical
Publication of CN112488035B publication Critical patent/CN112488035B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于对抗神经网络的跨域行人重识别方法。涉及循环一致性对抗网络、DCGAN、ResNet50和行人重识别等领域；具体包括以下步骤：(1)、构建行人重识别分类器；(2)、目标数据集映射到带标签数据集；(3)、DCGAN优化映射网络；(4)、优化算法。本发明使得行人重识别技术能在更加真实的场景上得以应用，充分利用没有标签的数据集，缩小了目标(真实)数据集与原(带标签)数据集上样本的特征差距，能使召回率更加准确和有效。

Description

一种基于对抗神经网络的跨域行人重识别方法
技术领域
本发明涉及循环一致性对抗网络、DCGAN、ResNet50和行人重识别等领域，具体涉及一种基于对抗神经网络的跨域行人重识别方法。
背景技术
目前，中国正在大量的建设智慧型城市，而智能安防是实现智慧城市的重要基础，且智能安防管理中每天产生的视频数据占据城市数据的大量比重，其中行人重识别是智能安防管理中不可缺失的一环。
行人重识别旨在从监控视频或图片中找出与待匹配帧或图片具有相同目标，多数情况下为行人的帧或图片；如何提取特征以及如何设计一个用于区分行人身份的强鲁棒性的分类模型是行人重识别算法的关键。
目前的行人重识别算法分为基于监督学习和无监督学习两类；其中超过一半的方法是基于监督学习的，并且可以分为表征学习与度量学习。表征学习是指在训练网络的过程中，并没有直接去考虑图像之间的相似度问题，而是作为分类问题，将数据集中的图像按行人进行分类。度量学习是指，根据图像的分类结果(可能是训练集给定的正确结果，也可能是通过初步分类得出的存在错误项的分类结果)，建立度量模型，调整类间差和类内差。表征学习类似于将样本在特征空间分界面上推开，增大类间差，减小类内差；而度量学习更类似于在样本空间上进行聚类运算。出于对行人隐私的保护，以及大规模手工标注标签会带来巨大的开销，因此大多数的行人重识别模型会在一些小的带有标签的数据集上进行监督学习，若将训练得到的模型直接用到另外一个数据集或者是由摄像机捕获到的真实数据上时，结果往往是不尽人意的，这是由于不同数据集间存在着的较大差距导致的欠拟合导致的，主要包括了背景差异、光照差异、噪声分布差异等。因此，能够直接在充足的未加标签的目标数据集上进行无监督训练，得到高度鲁棒的识别模型是当前最实际且是最具挑战的问题。
为了解决上述问题，Liang等人与Ma也提出一些无监督的方法，他们尝试在无标签的数据集上，提取行人视图不变的特征，并计算他们间的相似度。但是由于没有标签的强监督，这种单纯依靠无监督的方法，在单一的数据集上进行训练，往往效果不佳。UMDL是最新提出的一种跨数据集的无监督迁移学习算法，它能够充分利用原始带标签的数据集和不带标签的目标数据集，学习到行人视图不变的特征表示方法以及利用字典学习机制来计算行人图片间的相似度。UMDL相较于单纯依靠无监督学习的方法，性能更好，但和目前性能一流的基于有监督学习的行人重识别方法相比仍然不足。大多数的方法都将精力放在了分类问题上，即在有标签的数据上不断地进行学习，调整模型，将学习到的模型来拟合新的不带有标签的目标数据集。结果表明，由于缺少了标签的监督，一个模型很难同时做到在原始数据集和目标数据集上都有好的表现，尤其是在两个数据集之间存在着较大差异时。
GAN提供了一种新的无需大量有标注数据，就能学习到深度表征的方法。GAN中包含了两个部分，生成器与判别器，生成器主要是用来从随机输入的噪声分布中生成数据，而判别器则是需要去判断输入的数据是由生成器生成的，还是来自于真实数据集。目前GAN的运用领域广泛，包括了图像分类，图像迁移以及高光谱图像重构等。具体来讲，图像迁移是利用对齐好的一对图像去学习一种由输入图像到输出图像之间的映射，如Pix2Pix基于成对的训练图像，利用了一种传统的生成式对抗网络学习到输入、输出图像间的映射，与之不同的是，循环一致性判别网络则不使用成对的训练图像，就能学习到这种映射。
DCGAN出色的特征捕捉和生成能力在很多场景中得到了证实。DCGAN将GAN从多层感知机MLP结构扩展到CNN结构，摒弃池化层的同时还在卷积操作与激活函数之间加入Batch Normalization实现局部归一化，从而解决了网络模型在训练时梯度消失和梯度弥散等问题，保留了出色的生成数据能力和CNN特征提取的优点，使它在图像分析和处理能力上得到提升。它在celebA、LSUN和Google Image Net这种现实世界的真实大规模数据集上训练，结果令人满意。本发明将循环一致性对抗网络与DCGAN相结合，可有效提高不同数据集图像间的映射，从而能更好地提高行人重识别的准确率。
发明内容
针对上述问题，本发明提供了一种基于对抗神经网络的跨域行人重识别方法来解决现有技术中的带标签的行人数据集数量少，真实数据集往往都是不带标签的，且数据集间存在较大差异的问题。
本发明的技术方案是：一种基于对抗神经网络的跨域行人重识别方法，具体步骤包括如下：
步骤(1.1)、构建行人重识别分类器：在带标签的行人数据集上预训练一个行人分类器；
步骤(1.2)、将目标数据集样本映射到原数据集上：将不带标签的目标数据集映射到带标签的原数据集上，缩小两个数据集间样本差距；
步骤(1.3)、利用DCGAN优化映射模型：对得到的映射模型进行优化；
步骤(1.4)、相关算法优化：引入正则化，使模型具备较好泛化能力，避免过拟合。
进一步的，在步骤(1.1)中，所述构建行人重识别分类器的具体方法如下：设带标签的训练集共有N张训练样本，分为T个不同的身份，每个训练样本均包括一个身份标签，则损失函数L的定义为：
式中，表示输入样本In属于类Tn的可能性，L表示分类器损失，N表示待分类样本数，n表示待分类样本，yj表示j所属类别，j表示待分类样本。
进一步的，在所述步骤(1.2)中，利用域映射模型将目标数据集样本映射到原数据集上，具体是指在样本映射模型中，将目标数据中的样本一一映射到原数据集中；其中所述的样本映射模型包含两个生成器完成映射任务，即：G:IS→IT和H:IT→IS，
其中，IS表示带有标签的原数据集，IT表示无标签的目标数据集；
另外，所述的域映射模型还具有两个判别器，即DS和DT，
其中，DS是用来判断输入样本是来自于原数据集，亦或是由H(IT)生成；
同理，DT是用来判断输入样本是来自于目标数据集，亦或是由G(Is)生成；所述的判别器和生成器的损失函数来自循环一致性对抗损失，采用最小二乘损失来优化每一对生成器和判别器。
进一步的，在步骤(1.3)中，利用DCGAN优化映射模型的具体操作方法如下为：对于得到的两个生成器，G和H；当两个数据集之前的分布存在差距时，则两个生成器的映射往产生模糊；不能将在有标签的原数据集上训练得到的分类器拟合到由生成器H得到的H(IT)上；
所述的判别器则是利用来自原数据集上的样本和由生成的从目标数据集映射到原数据集上的样本作为输入；
其中，判别器设置4层卷积层；设置标签值yi，预测值为则经过激活函数输出为设样本总数为N，得到的损失函数表达式为：
其中，对抗学习的博弈性就体现在标识符i的取值上；对于判别器，当i＝1时，表示输入为真实数据，对应标签yi＝1为真，触发针对判别器的训练；当i＝2时，表示输入为生成图像，对应yi＝0为假，触发判别器与生成器的联动；对于生成器，i＝3表示输入为生成图像，对应yi＝1为真，触发针对生成器的训练。
进一步的，在步骤(1.4)中，所述相关算法优化的具体操作方法如下：引入正则化概念，其中，L1、L2正则可分别表达为：
L1(θ)＝α∑i|θi|
正则项之前α是一个系数，θi表示成每层权重的倒数，表示对于学习到过高权重的层，需降低其更新程度；相反，对于层中学习到过低的权重的结点反而要提高其更新程度，从而达到层中所有权值平摊任务的目的；
在生成器的损失函数构建中，在损失函数后又加上L2正则化式子，如下式所示，
其中，α设为0.0001。
本发明的有益效果是：本发明使得行人重识别技术能在更加真实的场景上得以应用，充分利用没有标签的数据集，缩小了目标(真实)数据集与原(带标签)数据集上样本的特征差距，能使召回率更加准确和有效。
附图说明
图1本发明的结构流程图；
图2本发明实施例中在不同数据上的各5个数据样本示意图。
具体实施方式
为了更清楚地说明本发明的技术方案，下面结合附图对本发明的技术方案做进一步的详细说明：
如图所述；一种基于对抗神经网络的跨域行人重识别方法，具体步骤包括如下：
步骤(1.1)、构建行人重识别分类器：在带标签的行人数据集上预训练一个行人分类器；
步骤(1.2)、将目标数据集样本映射到原数据集上：将不带标签的目标数据集映射到带标签的原数据集上，缩小两个数据集间样本差距；
步骤(1.3)、利用DCGAN优化映射模型：对得到的映射模型进行优化；
步骤(1.4)、相关算法优化：引入正则化，使模型具备较好泛化能力，避免过拟合。
在步骤(1.1)中，所述构建行人重识别分类器的具体方法如下：设带标签的训练集共有N张训练样本，分为T个不同的身份，每个训练样本均包括一个身份标签，则损失函数L的定义为：
式中，表示输入样本In属于类Tn的可能性，L表示分类器损失，N表示待分类样本数，n表示待分类样本，yj表示j所属类别，j表示待分类样本。
在所述步骤(1.2)中，利用域映射模型将目标数据集样本映射到原数据集上，具体是指在样本映射模型中，将目标数据中的样本一一映射到原数据集中；其中所述的样本映射模型包含两个生成器完成映射任务，即：G:IS→IT和H:IT→IS，
其中，IS表示带有标签的原数据集，IT表示无标签的目标数据集；
另外，所述的域映射模型还具有两个判别器，即DS和DT，
其中，DS是用来判断输入样本是来自于原数据集，亦或是由H(IT)生成；
同理，DT是用来判断输入样本是来自于目标数据集，亦或是由G(Is)生成；所述的判别器和生成器的损失函数来自循环一致性对抗损失，采用最小二乘损失来优化每一对生成器和判别器；
举例来说，对于生成器H:IT→IS来说，其损失函数定义为：
最小化上述损失函数的目的是为了将目标数据集中的样本(x＝1,2)映射到原数据集中，并让判别器DS认为这个输入样本是来自于真实的原数据集中，而不是由生成器H:IT→IS生成的；同理，对于判别器DS的损失函数定义为:
对于这里的判别器DS来讲，其任务是来判断输入样本是来自于原数据集，还是由H(IT)生成的，可以很清楚的看出，LH和是一对对抗损失，同时给生成器G:IS→IT定义为：
为判别器DT的损失函数，其定义为:
为了避免样本转换之间出现大的差异，本发明引入了循环一致性损失，其定义为：
在优化阶段，采取了随机梯度下降的方法来优化两对生成器与判别器；本发明将上述的损失函数相结合并赋予了一些权重，最终得到的对与生成器需要优化的损失函数为：
Lgen＝LG+LF+λLcycle
式中，λ控制了循环一致性损失影响整个损失函数的程度；本发明将所有判别器的损失函数融合在一起，其式如下：
在每一次的迭代过程中会使用Lgen，采用随机梯度下降的反向传播方法更新G和H的参数；使用同样的方法对Ldis梯度下降，更新DT和DS的参数。
在步骤(1.3)中，利用DCGAN优化映射模型的具体操作方法如下为：经过步骤(1.2)之后，得到的两个生成器，G和H；分别是可以从不带标签的域映射到带标签域上的生成器和可以从不带标签的域映射到不带标签域上的生成器；当两个数据集之前的分布存在的差距较大时，经步骤(1.2)得到的生成器的映射往往产生模糊效果，丢失掉一些细节信息，不能很好的将在有标签的原数据集上训练得到的分类器拟合到由生成器H得到的H(IT)上，因此利用DCGAN来进一步减少由H得到的从目标数据集映射得到的样本与原数据集上样本间的差异；
本发明所述的模型中所使用的DCGAN的生成器的输入不是来自于噪声分布，而是由H构成，损失函数就是步骤(1.2)中的全体损失函数，所述的判别器则是利用来自原数据集上的样本和由生成的从目标数据集映射到原数据集上的样本作为输入；
其中，判别器设置4层卷积层；为了防止梯度消失与梯度爆炸，每层卷积之间加入了局部归一层；除全连接层使用sigmoid激活函数以外，其余的激活函数统一使用LeakyRelu；由于判别器的实质是Logistic回归，将这部分损失函数定义为sigmoid交叉熵最为合适；设置标签值yi，预测值为则经过激活函数输出为/>设样本总数为N，得到的损失函数表达式为：
其中，对抗学习的博弈性就体现在标识符i的取值上，不同的取值会引发不同的运算逻辑；对于判别器而言，当i＝1时，表示输入为真实数据，对应标签yi＝1为真，触发针对判别器的训练；当i＝2时，表示输入为生成图像，对应yi＝0为假，触发判别器与生成器的联动；对于生成器，i＝3表示输入为生成图像，对应yi＝1为真，触发针对生成器的训练。
在步骤(1.4)中，所述相关算法优化的具体操作方法如下：为了使得模型具备较好泛化能力，避免过度拟合以达到良好的均衡性，本发明引入了正则化概念；其中，L1、L2正则可分别表达为：
L1(θ)＝α∑i|θi|
正则项之前α是一个系数，θi表示成每层权重的倒数，表示对于学习到过高权重的层，需降低其更新程度；相反，对于层中学习到过低的权重的结点反而要提高其更新程度，从而达到层中所有权值平摊任务的目的；
因此，本发明在生成器的损失函数构建中，在损失函数后又加上L2正则化式子，如下式所示，
其中，α设为0.0001。
在之后的网络训练过程中，本发明采用了学习率衰减策略以加快训练速度；原因是，如果学习率固定不变，当到了训练后期会导致梯度在收敛的附近摆动不定。较大的学习率会实现非常快的收敛，因此在初期会采用一个较大的值；到了后期，较小的学习率可以使得收敛步伐减小，避免结果摆动；学习率衰减策略可以表示为下式；每当训练一定次数，学习率将会减少一点；其中decayrate为初始系数，epochi表示第i次训练，α0是初始学习率；如下式所述：
具体实施例：
在真实场景中，将行人图像进行人为标注是费时费力的，并且相较于已经标注过的行人图像来说，未标注的行人图像的数量更为庞大，且更具有实际应用意义。同时，由于不同摄像机因其拍摄角度、拍摄时间、分辨率不同等，往往拍出的图像具有很大的风格(域)差异，这会导致在某一个域上训练得到的行人重识别模型无法使用到不同域的行人数据集上，准确率会有一个锐减出现。为解决这个问题，可以使用到本发明中的，将没有标签的域上的行人图像样本迁移(映射)到带有标签的域上，这样在有标签的域上得到的行人重识别模型就能够应用到任何一个不带标签的行人数据集上，并且准确率也不会发生骤减。这大大减少了人工标注的时间、金钱成本，同时将学术上的研究拓展到更具普遍性的实际应用环境中。
最后，应当理解的是，本发明中所述实施例仅用以说明本发明实施例的原则；其他的变形也可能属于本发明的范围；因此，作为示例而非限制，本发明实施例的替代配置可视为与本发明的教导一致；相应地，本发明的实施例不限于本发明明确介绍和描述的实施例。

Claims (1)

1.一种基于对抗神经网络的跨域行人重识别方法，其特征在于，具体步骤包括如下：
步骤(1.1)、构建行人重识别分类器：在带标签的行人数据集上预训练一个行人分类器；
其中，所述构建行人重识别分类器的具体方法如下：设带标签的训练集共有N张训练样本，分为T个不同的身份，每个训练样本均包括一个身份标签，则损失函数L的定义为：
式中，表示输入样本In属于类Tn的可能性，L表示分类器损失，N表示待分类样本数，n表示待分类样本，yj表示j所属类别，j表示待分类样本；
步骤(1.2)、将目标数据集样本映射到原数据集上：将不带标签的目标数据集映射到带标签的原数据集上，缩小两个数据集间样本差距；
利用域映射模型将目标数据集样本映射到原数据集上，具体是指在样本映射模型中，将目标数据中的样本一一映射到原数据集中；其中所述的样本映射模型包含两个生成器完成映射任务，即：G:IS→IT和H:IT→IS，
其中，IS表示带有标签的原数据集，IT表示无标签的目标数据集；
另外，所述的域映射模型还具有两个判别器，即DS和DT，
其中，DS是用来判断输入样本是来自于原数据集，亦或是由H(IT)生成；
同理，DT是用来判断输入样本是来自于目标数据集，亦或是由G(Is)生成；所述的判别器和生成器的损失函数来自循环一致性对抗损失，采用最小二乘损失来优化每一对生成器和判别器；
对于生成器H:IT→IS来说，其损失函数定义为：
最小化上述损失函数的目的是为了将目标数据集中的样本映射到原数据集中，其中，x＝1,2；
并让判别器DS认为这个输入样本是来自于真实的原数据集中，而不是由生成器H:IT→IS生成的；同理，对于判别器DS的损失函数定义为：
对于这里的判别器DS来讲，其任务是来判断输入样本是来自于原数据集，还是由H(IT)生成的，可看出，LH和是一对对抗损失，同时给生成器G:IS→IT定义为：
为判别器DT的损失函数，其定义为:
为了避免样本转换之间出现大的差异，引入了循环一致性损失，其定义为：
在优化阶段，采取了随机梯度下降的方法来优化两对生成器与判别器；将上述的损失函数相结合并赋予了一些权重，最终得到的对与生成器需要优化的损失函数为：
Lgen＝LG+LF+λLcycle；
式中，λ控制了循环一致性损失影响整个损失函数的程度；将所有判别器的损失函数融合在一起，其式如下：
在每一次的迭代过程中会使用Lgen，采用随机梯度下降的反向传播方法更新G和H的参数；使用同样的方法对Ldis梯度下降，更新DT和DS的参数；
步骤(1.3)、利用DCGAN优化映射模型：对得到的映射模型进行优化；
利用DCGAN优化映射模型的具体操作方法如下为：对于得到的两个生成器，G和H；分别是可以从不带标签的域映射到带标签域上的生成器和可以从不带标签的域映射到不带标签域上的生成器；当两个数据集之前的分布存在差距时，则两个生成器的映射往产生模糊；不能将在有标签的原数据集上训练得到的分类器拟合到由生成器H得到的H(IT)上；
所述的模型中所使用的DCGAN的生成器的输入不是来自于噪声分布，而是由H构成，损失函数就是步骤(1.2)中的全体损失函数，所述的判别器则是利用来自原数据集上的样本和由生成的从目标数据集映射到原数据集上的样本作为输入；
其中，判别器设置4层卷积层；为了防止梯度消失与梯度爆炸，每层卷积之间加入了局部归一层；除全连接层使用sigmoid激活函数以外，其余的激活函数统一使用LeakyRelu；设置标签值yi，预测值为则经过激活函数输出为/>设样本总数为N，得到的损失函数表达式为：
其中，对抗学习的博弈性就体现在标识符i的取值上；对于判别器，当i＝1时，表示输入为真实数据，对应标签yi＝1为真，触发针对判别器的训练；当i＝2时，表示输入为生成图像，对应yi＝0为假，触发判别器与生成器的联动；对于生成器，i＝3表示输入为生成图像，对应yi＝1为真，触发针对生成器的训练；
步骤(1.4)、相关算法优化：引入正则化，使模型具备较好泛化能力，避免过拟合；
所述相关算法优化的具体操作方法如下：引入正则化概念，其中，L2正则可分别表达为：
正则项之前α是一个系数，θi表示成每层权重的倒数，表示对于学习到过高权重的层，需降低其更新程度；相反，对于层中学习到过低的权重的结点反而要提高其更新程度，从而达到层中所有权值平摊任务的目的；
在生成器的损失函数构建中，在损失函数后又加上L2正则化式子，如下式所示，
其中，α设为0.0001；
在之后的网络训练过程中，采用学习率衰减策略以加快训练速度；学习率衰减策略可表示为下式；每当训练一定次数，学习率将会减少；其中decayrate为初始系数，epochi表示第i次训练，α0是初始学习率；如下式所述：
CN202011464169.4A 2020-12-14 2020-12-14 一种基于对抗神经网络的跨域行人重识别方法 Active CN112488035B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011464169.4A CN112488035B (zh) 2020-12-14 2020-12-14 一种基于对抗神经网络的跨域行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011464169.4A CN112488035B (zh) 2020-12-14 2020-12-14 一种基于对抗神经网络的跨域行人重识别方法

Publications (2)

Publication Number Publication Date
CN112488035A CN112488035A (zh) 2021-03-12
CN112488035B true CN112488035B (zh) 2024-04-26

Family

ID=74916177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011464169.4A Active CN112488035B (zh) 2020-12-14 2020-12-14 一种基于对抗神经网络的跨域行人重识别方法

Country Status (1)

Country Link
CN (1) CN112488035B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753992A (zh) * 2018-12-10 2019-05-14 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
CN109961051A (zh) * 2019-03-28 2019-07-02 湖北工业大学 一种基于聚类和分块特征提取的行人重识别方法
CN110210335A (zh) * 2019-05-16 2019-09-06 上海工程技术大学 一种行人重识别学习模型的训练方法、系统和装置
CN110852152A (zh) * 2019-09-27 2020-02-28 中山大学 一种基于数据增强的深度哈希行人重识别方法
CN111476168A (zh) * 2020-04-08 2020-07-31 山东师范大学 一种基于三阶段的跨域行人重识别方法和系统
CN112016402A (zh) * 2020-08-04 2020-12-01 杰创智能科技股份有限公司 基于无监督学习的行人重识别领域自适应方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11188783B2 (en) * 2017-10-19 2021-11-30 Nokia Technologies Oy Reverse neural network for object re-identification

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753992A (zh) * 2018-12-10 2019-05-14 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
CN109961051A (zh) * 2019-03-28 2019-07-02 湖北工业大学 一种基于聚类和分块特征提取的行人重识别方法
CN110210335A (zh) * 2019-05-16 2019-09-06 上海工程技术大学 一种行人重识别学习模型的训练方法、系统和装置
CN110852152A (zh) * 2019-09-27 2020-02-28 中山大学 一种基于数据增强的深度哈希行人重识别方法
CN111476168A (zh) * 2020-04-08 2020-07-31 山东师范大学 一种基于三阶段的跨域行人重识别方法和系统
CN112016402A (zh) * 2020-08-04 2020-12-01 杰创智能科技股份有限公司 基于无监督学习的行人重识别领域自适应方法及装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Selective transfer cycle GAN for unsupervised person re-identification;Chengqiu Dai 等;《Multimedia Tools and Applications》;12597-12613 *
Sparse Label Smoothing Regularization for Person Re-Identification;JEAN-PAUL AINAM 等;《Digital Object Identifier》;27889-27910 *
Study of Cross-domain Person Re-identification based on Deep Convolutional Generative Adversarial Networks;Wei Fang 等;《MultimediaToolsandApplications》;36551-36565 *
基于域鉴别网络和域自适应的行人重识别;崔鹏 等;《光电子·激光》;第30卷(第6期);632-639 *
基于深度度量嵌入和生成对抗网络的遮挡行人重识别方法研究;杨婉香;《中国优秀硕士学位论文全文数据库 信息科技辑》;I138-590 *
渐进式行人重识别关键技术研究;李双群;《中国博士学位论文全文数据库 信息科技辑》;I138-83 *

Also Published As

Publication number Publication date
CN112488035A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
US11195051B2 (en) Method for person re-identification based on deep model with multi-loss fusion training strategy
Ming et al. Deep learning-based person re-identification methods: A survey and outlook of recent works
Liong et al. Shallow triple stream three-dimensional cnn (ststnet) for micro-expression recognition
Liu et al. Learning efficient spatial-temporal gait features with deep learning for human identification
Wang et al. Survey on person re‐identification based on deep learning
Singh et al. A deeply coupled ConvNet for human activity recognition using dynamic and RGB images
CN104504362A (zh) 基于卷积神经网络的人脸检测方法
CN109743642B (zh) 基于分层循环神经网络的视频摘要生成方法
Tong et al. Multi-view gait recognition based on a spatial-temporal deep neural network
Wang et al. A comprehensive overview of person re-identification approaches
JP7136500B2 (ja) ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法
Zhang et al. A survey on face anti-spoofing algorithms
Jalal et al. Global security using human face understanding under vision ubiquitous architecture system
CN112801019B (zh) 基于合成数据消除无监督车辆再识别偏差的方法及系统
CN111539445B (zh) 一种半监督特征融合的对象分类方法及系统
An Pedestrian Re‐Recognition Algorithm Based on Optimization Deep Learning‐Sequence Memory Model
Zhang [Retracted] Sports Action Recognition Based on Particle Swarm Optimization Neural Networks
Liu et al. Weighted sequence loss based spatial-temporal deep learning framework for human body orientation estimation
CN112488035B (zh) 一种基于对抗神经网络的跨域行人重识别方法
Shigang et al. A pig face recognition method for distinguishing features
Hao et al. Human behavior analysis based on attention mechanism and LSTM neural network
Zhang et al. Local heterogeneous features for person re-identification in harsh environments
Zhao et al. Object detection based on multi-channel deep CNN
Liang Unrestricted face recognition algorithm based on transfer learning on self-pickup cabinet
Guo et al. A bus passenger re-identification dataset and a deep learning baseline using triplet embedding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant