CN113723345B - 基于风格转换和联合学习网络的域自适应行人再识别方法 - Google Patents
基于风格转换和联合学习网络的域自适应行人再识别方法 Download PDFInfo
- Publication number
- CN113723345B CN113723345B CN202111053962.XA CN202111053962A CN113723345B CN 113723345 B CN113723345 B CN 113723345B CN 202111053962 A CN202111053962 A CN 202111053962A CN 113723345 B CN113723345 B CN 113723345B
- Authority
- CN
- China
- Prior art keywords
- neural network
- training
- joint
- pedestrian
- target domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 29
- 238000003062 neural network model Methods 0.000 claims abstract description 93
- 238000012549 training Methods 0.000 claims abstract description 55
- 230000015654 memory Effects 0.000 claims abstract description 48
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 36
- 125000003275 alpha amino acid group Chemical group 0.000 claims description 10
- 150000001875 compounds Chemical class 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明为一种基于风格转换和联合学习网络的域自适应行人再识别方法，包括一、利用源域数据集对神经网络模型进行预训练；二、对目标域数据集中的行人图像进行风格转换；三、对每张行人图像进行预处理；四、将同一张行人图像采用两种预处理方式得到的图像输入到两个神经网络模型中提取特征，将两个高阶特征保存至两个存储器中；两个高阶特征进行聚类，得到伪标签；将同一张行人图像的两个高阶特征进行融合，融合后的高阶特征存储在联合存储器中；五、基于伪标签训练两个神经网络模型，基于联合存储器同步训练两个神经网络模型；六、重复第四、五步并在训练过程中计算两个神经网络模型的识别精度，将识别精度最佳的神经网络模型用于行人再识别。
Description
技术领域
本发明属于计算机视觉中的图像数据处理技术领域，具体地说是一种基于风格转换和联合学习网络的域自适应行人再识别方法。
背景技术
行人再识别是一项判断在跨时空的不同摄像头之间是否存在特定行人的技术，此项技术对于行人特征的挖掘更倾向于整体一致性，而不局限行人打扮是否一致、脸部是否有遮挡等具有代表性的细节特征。目前，该技术在智能安防、无人超市、人机交互等多个领域有着广泛应用，行人再识别无论在学术界还是工业界都有着重要的研究价值和研究需求，如何准确匹配不同相机下的同一行人身份是行人再识别技术的重要内容。
现有的行人再识别主要分为有监督、无监督和域自适应三种方式，有监督的行人再识别虽然可以达到很高的准确率，但是需要完整的带标签的数据集进行训练且泛化能力差。相比之下，无监督的方式无需数据集的标签，但是它的准确率比较低，往往不能达到工业要求的标准。而域自适应的方式结合了前两种的优点，它将数据集分为有标签的源域数据集和无标签的目标域数据集，然后将在源域数据集上训练模型得到的先验知识迁移到目标域数据集上利用，从而在不利用目标域数据集标签的情况下达到期望的准确率。
域自适应的行人再识别方法按照不同的模型构建思路可以分为基于域分布对齐的域自适应方法、基于域风格转换的域自适应方法、基于聚类的域自适应方法这三类。基于域分布对齐的域自适应方法通常需要利用额外的属性信息或是单独设计损失函数，目的是拉近目标域和源域的数据分布，从而使目标域可以更好适用源域的先验知识。由于域分布对齐往往需要考虑更多的因素，所以应用在跨域行人再识别方向的效果往往差强人意。基于域风格转换的域自适应方法，GAN(Generative Adversarial Networks)为数据集的扩充提供了一种新的思路，域风格转换的方法就是利用GAN生成不同风格的行人图像，将这些图像作为目标域数据集的一部分同等加入到训练集中，由于该方法过度依赖于生成图像的质量，导致准确性普遍低于有监督的行人再识别。基于聚类的域自适应方法，通过网络提取图像特征并利用聚类算法打上伪标签，并将这些伪标签视为数据集的标签加入到网络中进行训练。这种方法可以有效地解决目标域缺乏标签的问题，在大量实验中被证明具有良好的效果。但是它的缺陷是模型的准确性过度依赖于聚类产生的伪标签的质量，而且随着模型的迭代，伪标签的噪声会越来越大。
Zhong等人在文献《Invariance Matters:Exemplar Memory for DomainAdaptive Person Re-identification》中提出ECN模型(Exemplar Camera Neighborhoodinvariance)，该模型将源域和目标域一同输入到网络中进行训练，相当于将限制条件进行了放大，偏离实际情况。Yu等人在文献《Unsupervised Person Re-identification bySoft Multilabel Learning》中提出MAR模型(deep soft multilabel referencelearning)，该模型选用MSMT17数据集作为辅助数据集建立坐标系，使模型的准确率过于依赖辅助数据集的应用。Yang等人在文献《Asymmetric Co-Teaching for UnsupervisedCross-Domain Person Re-Identification》中提出ACT(Asymmetric Co-Teaching)模型，该模型使用非对称的教学网络捕捉到更多的离群点信息，但该方法在减小聚类算法为噪声方面仍存在不足。Yang等人在文献《Self-similarity grouping:A simple unsupervisedcross domain adaptation approach for person reidentification》中提出SSG(Self-similarity Grouping)模型，该模型使用统一格式划分特征图，得到行人的局部特征，并没有充分考虑每个特征图的独立性。公开号为CN112084881A的中国专利公开了一种基于存储介质的不同地域行人图像风格转换方法，该方法的预设条件过于严苛，只考虑到了数据集的转换而没有相配套的适应性训练方法。公开号为CN111898665A的中国专利公开了一种基于邻居样本信息引导的域自适应行人再识别方法，该方法利用图卷积神经网络整合邻居样本信息，并将这种能力通过知识迁移的方法由源域过渡到目标域，由于模型过度依赖邻居信息对聚类的影响，会造成聚类噪声随着训练逐渐扩大。公开号为CN111695531A的中国专利公开了一种基于异构卷积的域自适应行人再识别方法，分别利用源域模型和图卷积神经网路构建了两次行人图像特征，该方法忽略了域间隙的差异性会随着迭代逐渐放大。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于风格转换和联合学习网络的域自适应行人再识别方法。
本发明解决所述技术问题所采用的技术方案是：
一种基于风格转换和联合学习网络的域自适应行人再识别方法，其特征在于，该方法的具体步骤如下：
第一步、利用源域数据集对神经网络模型进行预训练，得到预训练参数；
第二步、获取目标域数据集，并对目标域数据集中的行人图像进行风格转换，得到新的目标域数据集；
第三步、将预训练参数分别作为两个神经网络模型的初始参数进行初始化，得到神经网络模型R1和R2，这两个神经网络模型构成联合学习网络；将新的目标域数据集中的每张行人图像进行预处理；
第四步、将同一张行人图像采用两种预处理方式得到的预处理后的图像分别输入到神经网络模型R1和R2中进行特征提取，得到两个高阶特征，并将两个高阶特征分别保存至存储器F1和F2中；同时将这两个高阶特征分别进行聚类处理，得到两个伪标签；
将存储器F1和F2中属于同一张行人图像的两个高阶特征进行加权融合，得到融合后的高阶特征，并将融合后的高阶特征存储在联合存储器F中；
第五步、基于伪标签训练神经网络模型R1和R2，并利用目标域分类损失函数和目标域三元组损失函数计算训练损失；利用联合存储器F中融合后的高阶特征对神经网络模型R1和R2进行同步训练，并利用联合分类损失函数和联合三元组损失函数计算训练损失；利用式(14)计算两个神经网络模型R1和R2总的训练损失；
Lall＝λLt,id+γLt,tri+(1-λ)Luid+(1-γ)Lutri (14)
式(14)中，λ和γ均为权重参数，Lt,id为神经网络模型R1和R2总的目标域分类损失，Lt,tri为神经网络模型R1和R2总的目标域三元组损失，Luid为神经网络模型R1和R2总的联合分类损失，Lutri为神经网络模型R1和R2总的联合三元组损失；
第六步、重复第四、五步对神经网络模型R1和R2进行训练，直到训练完成；计算神经网络模型R1和R2的识别精度，将识别精度最佳的神经网络模型用于行人再识别。
第五步中，目标域分类损失函数的表达式为：
式(5)中，Nt为目标域数据集中行人图像的数量；表示利用神经网络模型k进行训练时将第i张行人图像/>预测为身份/>的概率，k取R1表示神经网络模型R1对应的目标域分类损失函数，k取R2表示神经网络模型R2对应的目标域分类损失函数；
神经网络模型R1和R2总的目标域分类损失为：
目标域三元组损失函数的表达式为：
式(7)中，分别表示利用神经网络模型k进行训练时第i张行人图像/>的难正样本和难负样本，/>分别表示难正样本/>和难负样本/>对应的特征，/>表示利用神经网络模型k提取的高阶特征；
神经网络模型R1和R2总的目标域三元组损失为：
联合分类损失函数的表达式为：
式(9)中，分别表示利用联合存储器F中融合后的高阶特征和利用存储器Fe中的高阶特征对神经网络模型R1和R2进行训练时第i张行人图像/>在第q个聚类类别下的预测概率；e取1表示存储器F1，e取2表示存储器F2；
神经网络模型R1和R2总的联合分类损失为：
联合三元组损失函数的表达式为：
式(11)中，的表达式为：
神经网络模型R1和R2总的联合三元组损失如式(13)所示。
第四步中，每张行人图像每次训练提取出的高阶特征均通过式(15)的更新策略加入到存储器F1和F2中；
fe(xt,i)＝afe(xt,i)+(1-a)f(xt,i) (15)
其中，f(xt,i)、fe(xt,i)分别表示第i张行人图像xt,i更新前和更新后保存在存储器中的高阶特征，a为动量更新因子。
所述神经网络模型为ResNet50或IBN-Resnet50。
当λ＝0.6,γ＝0.8时，神经网络模型的识别精度好。
与现有技术相比，本发明的有益效果是：
1.本发明将同一张行人图像经过两种预处理方式得到的两张预处理后的图像分别通过两个相同的神经网络模型提取特征，并将提取的特征存储在两个存储器中，同时对提取的特征进行聚类处理得到伪标签；将两个存储器中属于同一行人图像的特征进行融合，并将融合后的特征存储在联合存储器中，利用伪标签和联合存储器中融合后的特征对联合学习网络的两个神经网络模型进行同步训练，利用两个相同的神经网络模型合并监督联合学习网络的训练，得到识别精度最佳的神经网络模型，可以有效减少聚类算法产生的伪标签的噪声对结果的影响。
2.通过StarGAN对目标域数据集中行人图像进行相机间的风格转换，从而缩小了不同相机间样本的分布差距，同时也对样本数量进行了扩充，用该数据集进行模型训练更具有鲁棒性；StarGAN相比于cycleGAN等其他的GAN网络更适用于多领域的图像转换。
3.利用存储器结构保存每次迭代经过神经网络模型提取到的特征，并利用更新策略将新的特征和以前的特征进行融合，这样得到的存储器特征更能真实反映行人的整体特征。
4.针对联合学习网络的两个神经网络模型分别设计了训练损失函数，其中联合分类损失函数和联合三元组损失函数是为了缩小基于联合存储器中的融合后的高阶特征预测的概率值与基于两个存储器中高阶特征对应的伪标签预测的概率值之间的差距。本发明利用的存储器结构在极少增加运算时间的情况下，有效地提升了识别的准确度，在实际应用上有良好的前景。
5.本发明的联合学习网络具有以下优点：与ECN相比，更接近于实际情况的应用；与MAR相比，不依赖于辅助数据集，可以极大减少计算量；与ACT相比，不用将过多的注意力放在处理信息量更少的离群点上，对聚类噪声地控制更稳定；与SSG相比，具有地优点是直接对特征图进行处理，避免分割特征图后计算量成倍增加。本发明方法与CN112084881A相比，具有的优点是更简洁的风格转换方法，并利用联合学习网络模型配合相机的风格转换，有效地减小了域间隙。本发明方法与CN111898665A相比，具有的优点是利用聚类算法产生的伪标签进行训练的同时，还利用联合存储器结构构造损失一同训练网络，有效地控制了聚类噪声扩大。本发明方法与CN111695531A相比，具有的优点是利用了存储器结构保存了每次迭代的特征，这样的特征对于模型的训练更具有鲁棒性。
附图说明
图1是本发明的整体流程图；
图2是本发明的联合学习网络的模型图。
具体实施方式
下面结合具体实施例和附图对本发明的技术方案作进一步详细描述，但并不以此限定本申请的保护范围。
本发明为一种基于风格转换和联合学习网络的域自适应行人再识别方法(简称方法，参见图1-2)，具体步骤如下：
第一步、利用源域数据集对神经网络模型进行预训练，得到预训练参数；
本实施例选取DukeMTMC-ReID数据集作为源域数据集，将源域数据集中的每张行人图像都经过神经网络模型提取特征，并最终输出行人图像的身份预测；采用源域交叉熵损失函数和源域三元组损失函数来优化神经网络模型的预训练参数；
其中，源域交叉熵损失函数Ls,id的表达式为：
式(1)中，p(ys,i|xs,i)表示将第i张行人图像xs,i预测为身份ys,i的概率，s表示源域数据集，Ns为源域数据集中行人图像的数量，在本实施例中Ns＝16552；
源域三元组损失函数Ls,tri的表达式为：
式(2)中，f(xs,i)为从第i张行人图像xs,i上提取的特征，m为边距参数，xs,i+、xs,i-分别为第i张行人图像xs,i的难正样本和难负样本，f(xs,i+)、f(xs,i-)分别为难正样本xs,i+和难负样本xs,i-对应的特征，|| ||表示欧式距离；
第二步、获取目标域数据集，并对目标域数据集中的行人图像进行风格转换，得到新的目标域数据集；
本实施例选取Market1501数据集作为目标域数据集，利用StarGAN算法对目标域数据集中的所有行人图像进行风格转换；Market1501数据集由6个不同相机拍摄的行人图像组成，因此利用StarGAN算法训练6个转换器，每个相机对应一个转换器；对于第j个相机下的行人图像，分别利用除第j个相机对应的转换器外的其余5个转换器进行风格转换，并将转换后的行人图像加入到第j个相机对应的行人图像集合中，得到如公式(3)所示的目标域数据集中第j个相机下的行人图像集合
式(3)中，表示利用StarGAN算法进行风格转换后的行人图像，n表示相机数量，在本实施例中n取6，t表示目标域数据集；
每张行人图像都通过前述方式进行风格转换，并将转换后的行人图像加入到各自相机对应的行人图像集合中，得到新的目标域数据集；
第三步、将第一步中得到预训练参数分别作为两个完全相同的神经网络模型的初始参数进行初始化，得到神经网络模型R1和R2，这两个神经网络模型构成联合学习网络；将新的目标域数据集中的每张行人图像分别采用随机旋转、随机擦除、随机裁剪等方式进行预处理，同一张行人图像得到多张预处理后的图像；
第四步、将新的目标域数据集中同一张行人图像采用两种预处理方式得到的预处理后的图像分别输入到神经网络模型R1和R2中进行特征提取，得到两个高阶特征，并将两个高阶特征分别保存至存储器F1和F2中；同时将这两个高阶特征分别进行Mini-Batch k-means聚类处理，得到两个伪标签；新的目标域数据集中的每张行人图像都经过此操作，每张行人图像均得到两个伪标签；
本实施例中聚类类别数C＝500，每个类别对应一个伪标签，根据每个类别的特征，得到每张行人图像对应的伪标签；
利用式(4)将两个存储器F1和F2中属于同一张行人图像的两个高阶特征进行加权融合，得到融合后的高阶特征，并将融合后的高阶特征存储在联合存储器F中；
F＝(F1+F2)/2 (4)
第五步、基于伪标签训练神经网络模型R1和R2，并利用目标域分类损失函数和目标域三元组损失函数计算训练损失；利用联合存储器F中融合后的高阶特征对神经网络模型R1和R2进行同步训练，并利用联合分类损失函数和联合三元组损失函数计算训练损失；
基于伪标签构建目标域分类损失函数和目标域三元组损失函数，目标域分类损失函数的表达式为：
式(5)中，Nt为目标域数据集中行人图像的数量，在本实施例中Nt的取值为12936；表示利用神经网络模型k进行训练时将第i张行人图像/>预测为身份/>的概率，当k取R1时，表示神经网络模型R1对应的目标域分类损失函数；当k取R2时，表示神经网络模型R2对应的目标域分类损失函数；
神经网络模型R1和R2总的目标域分类损失为：
目标域三元组损失函数的表达式为：
式(7)中，分别表示利用神经网络模型k进行训练时第i张行人图像/>的难正样本和难负样本，/>分别表示难正样本/>和难负样本/>对应的特征，/>表示利用神经网络模型k提取的高阶特征；
神经网络模型R1和R2总的目标域三元组损失为：
将联合存储器F中融合后的高阶特征作为联合学习网络的监督信号，构建联合分类损失函数和联合三元组损失函数；其中，联合分类损失函数的表达式为：
式(9)中，分别表示利用联合存储器F中融合后的高阶特征和利用存储器Fe中的高阶特征对神经网络模型R1和R2进行训练时第i张行人图像/>在第q个聚类类别下的预测概率；当e取1时，表示存储器F1；当e取2时，表示存储器F2；
神经网络模型R1和R2总的联合分类损失为：
联合三元组损失函数的表达式为：
式(11)中，的表达式为：
神经网络模型R1和R2总的联合三元组损失为：
式(9)、(11)的联合分类损失函数和联合三元组损失函数不同于式(5)、(7)基于伪标签构建的目标域分类损失函数和目标域三元组损失函数，联合分类损失函数和联合三元组损失函数是为了缩小基于联合存储器中的融合后的高阶特征预测的概率值与基于存储器F1和F2中高阶特征预测的概率值之间的差距；
利用式(14)计算两个神经网络模型R1和R2总的训练损失；
Lall＝λLt,id+γLt,tri+(1-λ)Luid+(1-γ)Lutri (14)
式(14)中，λ和γ均为权重参数，当λ＝0.6,γ＝0.8时mAP和Rank-1指标最佳；
第六步、利用新的目标域数据集重复第四、五步，对神经网络模型R1和R2进行迭代训练，直到神经网络模型R1和R2的迭代训练完成；计算神经网络模型R1和R2的识别精度，将识别精度最佳的神经网络模型用于行人再识别。
每张行人图像每次训练提取出的高阶特征均通过式(15)所示的更新策略加入到存储器F1和F2中；
fe(xt,i)＝afe(xt,i)+(1-a)f(xt,i) (15)
式(15)中，f(xt,i)、fe(xt,i)分别表示第i张行人图像xt,i更新前和更新后保存在存储器中的高阶特征，a为动量更新因子，在本实施例中a＝0.99。
所述神经网络模型可以为ResNet50、IBN-Resnet50。
选择mAP(Mean Average Precision，平均精度均值)和Rank-1(匹配正确率)作为神经网络模型识别精度的量化指标；以Duke-MTMC数据集为源域数据集，Market1501数据集为目标域数据集，分别ECN、MAR、UDAP、SSG和本发明方法进行实验验证，得到表1所示的实验对比结果。
表1不同方法的实验对比结果
实验结果表明，本发明方法的平均精度均值和匹配正确率均高于其他方法，这是由于本发明的联合学习网络通过两个神经网络模型的相互监督，有效地减少聚类产生的噪声。同时，本发明选择利用存储器结构保存高阶特征，在每次迭代之后存储器都会利用更新策略将新的特征与初始的特征进行融合，真实的反映行人的整体特征。本发明利用starGAN进行风格转换，在拉近每个相机之间的分布的同时也达到了扩充数据集的目的，使神经网络模型的训练更具有鲁棒性。
上述实施例是本发明应用的一种，但本发明的实施方案不限于此。其他任何不脱离本发明的原理和精神的情况下的技术改变，都包含在本发明的保护范围之内。本发明未述及之处适用于现有技术。
Claims (4)
1.一种基于风格转换和联合学习网络的域自适应行人再识别方法，其特征在于，该方法的具体步骤如下：
第一步、利用源域数据集对神经网络模型进行预训练，得到预训练参数；
第二步、获取目标域数据集，并对目标域数据集中的行人图像进行风格转换，得到新的目标域数据集；
第三步、将预训练参数分别作为两个神经网络模型的初始参数进行初始化，得到神经网络模型R1和R2，这两个神经网络模型构成联合学习网络；将新的目标域数据集中的每张行人图像进行预处理；
第四步、将同一张行人图像采用两种预处理方式得到的预处理后的图像分别输入到神经网络模型R1和R2中进行特征提取，得到两个高阶特征，并将两个高阶特征分别保存至存储器F1和F2中；同时将这两个高阶特征分别进行聚类处理，得到两个伪标签；
将存储器F1和F2中属于同一张行人图像的两个高阶特征进行加权融合，得到融合后的高阶特征，并将融合后的高阶特征存储在联合存储器F中；
第五步、基于伪标签训练神经网络模型R1和R2，并利用目标域分类损失函数和目标域三元组损失函数计算训练损失；利用联合存储器F中融合后的高阶特征对神经网络模型R1和R2进行同步训练，并利用联合分类损失函数和联合三元组损失函数计算训练损失；利用式(14)计算两个神经网络模型R1和R2总的训练损失；
Lall＝λLt,id+γLt,tri+(1-λ)Luid+(1-γ)Lutri (14)
式(14)中，λ和γ均为权重参数，Lt,id为神经网络模型R1和R2总的目标域分类损失，Lt,tri为神经网络模型R1和R2总的目标域三元组损失，Luid为神经网络模型R1和R2总的联合分类损失，Lutri为神经网络模型R1和R2总的联合三元组损失；
目标域分类损失函数的表达式为：
式(5)中，Nt为目标域数据集中行人图像的数量；表示利用神经网络模型k进行训练时将第i张行人图像/>预测为身份/>的概率，k取R1表示神经网络模型R1对应的目标域分类损失函数，k取R2表示神经网络模型R2对应的目标域分类损失函数；
神经网络模型R1和R2总的目标域分类损失为：
目标域三元组损失函数的表达式为：
式(7)中，分别表示利用神经网络模型k进行训练时第i张行人图像/>的难正样本和难负样本，/>分别表示难正样本/>和难负样本/>对应的特征，/>表示利用神经网络模型k提取的高阶特征；
神经网络模型R1和R2总的目标域三元组损失为：
联合分类损失函数的表达式为：
式(9)中，分别表示利用联合存储器F中融合后的高阶特征和利用存储器Fe中的高阶特征对神经网络模型R1和R2进行训练时第i张行人图像/>在第q个聚类类别下的预测概率；e取1表示存储器F1，e取2表示存储器F2；
神经网络模型R1和R2总的联合分类损失为：
联合三元组损失函数的表达式为：
式(11)中，的表达式为：
神经网络模型R1和R2总的联合三元组损失如式(13)所示；
第六步、重复第四、五步对神经网络模型R1和R2进行训练，直到训练完成；计算神经网络模型R1和R2的识别精度，将识别精度最佳的神经网络模型用于行人再识别。
2.根据权利要求1所述的基于风格转换和联合学习网络的域自适应行人再识别方法，其特征在于，第四步中，每张行人图像每次训练提取出的高阶特征均通过式(15)的更新策略加入到存储器F1和F2中；
fe(xt,i)＝afe(xt,i)+(1-a)f(xt,i) (15)
其中，f(xt,i)、fe(xt,i)分别表示第i张行人图像xt,i更新前和更新后保存在存储器中的高阶特征，a为动量更新因子。
3.根据权利要求1所述的基于风格转换和联合学习网络的域自适应行人再识别方法，其特征在于，所述神经网络模型为ResNet50或IBN-Resnet50。
4.根据权利要求1所述的基于风格转换和联合学习网络的域自适应行人再识别方法，其特征在于，当λ＝0.6,γ＝0.8时，神经网络模型的识别精度好。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111053962.XA CN113723345B (zh) | 2021-09-09 | 2021-09-09 | 基于风格转换和联合学习网络的域自适应行人再识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111053962.XA CN113723345B (zh) | 2021-09-09 | 2021-09-09 | 基于风格转换和联合学习网络的域自适应行人再识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113723345A CN113723345A (zh) | 2021-11-30 |
| CN113723345B true CN113723345B (zh) | 2023-11-14 |
Family
ID=78682787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111053962.XA Active CN113723345B (zh) | 2021-09-09 | 2021-09-09 | 基于风格转换和联合学习网络的域自适应行人再识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113723345B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115497120B (zh) * | 2022-09-23 | 2023-12-15 | 清华大学 | 基于Transformer的两步式领域自适应行人再识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111126360A (zh) * | 2019-11-15 | 2020-05-08 | 西安电子科技大学 | 基于无监督联合多损失模型的跨域行人重识别方法 |
| CN112101150A (zh) * | 2020-09-01 | 2020-12-18 | 北京航空航天大学 | 一种基于朝向约束的多特征融合行人重识别方法 |
| CN113326731A (zh) * | 2021-04-22 | 2021-08-31 | 南京大学 | 一种基于动量网络指导的跨域行人重识别算法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110008842A (zh) * | 2019-03-09 | 2019-07-12 | 同济大学 | 一种基于深度多损失融合模型的行人重识别方法 |
-
2021
- 2021-09-09 CN CN202111053962.XA patent/CN113723345B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111126360A (zh) * | 2019-11-15 | 2020-05-08 | 西安电子科技大学 | 基于无监督联合多损失模型的跨域行人重识别方法 |
| CN112101150A (zh) * | 2020-09-01 | 2020-12-18 | 北京航空航天大学 | 一种基于朝向约束的多特征融合行人重识别方法 |
| CN113326731A (zh) * | 2021-04-22 | 2021-08-31 | 南京大学 | 一种基于动量网络指导的跨域行人重识别算法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于主动学习的半监督领域自适应方法研究;姚明海;黄展聪;;高技术通讯(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113723345A (zh) | 2021-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
| CN113326731B (zh) | 一种基于动量网络指导的跨域行人重识别方法 | |
| Zhang et al. | Cross-scene joint classification of multisource data with multilevel domain adaption network | |
| Yuan et al. | Gated CNN: Integrating multi-scale feature layers for object detection | |
| CN107506786B (zh) | 一种基于深度学习的属性分类识别方法 | |
| CN112307995B (zh) | 一种基于特征解耦学习的半监督行人重识别方法 | |
| CN110297931B (zh) | 一种图像检索方法 | |
| Mouhcine et al. | Recognition of cursive Arabic handwritten text using embedded training based on HMMs | |
| CN108710896B (zh) | 基于产生式对抗学习网络的领域学习方法 | |
| CN111191583A (zh) | 基于卷积神经网络的空间目标识别系统及方法 | |
| CN106503661B (zh) | 基于烟花深度信念网络的人脸性别识别方法 | |
| CN109753897B (zh) | 基于记忆单元强化-时序动态学习的行为识别方法 | |
| Wei et al. | Accurate facial image parsing at real-time speed | |
| CN110263855B (zh) | 一种利用共基胶囊投影进行图像分类的方法 | |
| CN110598022B (zh) | 一种基于鲁棒深度哈希网络的图像检索系统与方法 | |
| CN111898665A (zh) | 基于邻居样本信息引导的跨域行人再识别方法 | |
| Feng et al. | An automatically layer-wise searching strategy for channel pruning based on task-driven sparsity optimization | |
| CN110347853B (zh) | 一种基于循环神经网络的图像哈希码生成方法 | |
| CN113723345B (zh) | 基于风格转换和联合学习网络的域自适应行人再识别方法 | |
| CN101393608A (zh) | 一种基于流形距离分析的视觉对象识别方法和装置 | |
| CN112035689A (zh) | 一种基于视觉转语义网络的零样本图像哈希检索方法 | |
| Xu et al. | Idhashgan: deep hashing with generative adversarial nets for incomplete data retrieval | |
| Li et al. | Image decomposition with multilabel context: Algorithms and applications | |
| Liu et al. | Iterative deep neighborhood: a deep learning model which involves both input data points and their neighbors | |
| CN114973305A (zh) | 一种针对拥挤人群的精确人体解析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |