CN113221656B - 基于域不变特征的跨域行人重识别装置及其方法 - Google Patents

Abstract

本发明公开了基于域不变特征的跨域行人重识别装置及其方法，由于实例归一化可以将原始进行归一化，减少样本间差异，但同时会过滤掉一些行人身份相关信息和行人重识别判别信息。为解决这一问题，本发明提出了注意力和风格归一化模块用于恢复所丢失行人身份相关信息和行人重识别判别信息；具体实现时，在域不变特征提取网络的残差模块之后设置跨域行人重识别装置（即注意力和风格归一化模块ASN），用于恢复所丢失行人身份相关信息和行人重识别判别信息，以便将最后输出的图像域不变特征用于后续的分类器中进行行人重识别。

Description

基于域不变特征的跨域行人重识别装置及其方法

技术领域

本发明涉及计算机视觉领域中的行人重识别技术领域，具体的说，是基于域不变特征的跨域行人重识别装置及其方法。

背景技术

行人重识别也称行人再识别，是利用计算机视觉技术在跨设备、时间和地点的条件下判断图像或者视频序列中是否存在特定行人的技术。因其能够对特定人员进行大范围跟踪监控，当前广泛应用于智能监控，智能安保等领域。

对于如何提高行人重识别模型的性能，已经提出了很多的方法。在最新研究中行人重识别算法的性能已经达到很高，然而如此强大的性能是建立在使用单域的基础上。一旦将这些训练好的模型放在不同数据集上进行测试时，其性能就会大幅下降。不同域之间往往存在着巨大的差异，比如亮度、色调、分辨率，背景，行人服装风格等等，这些差异对模型的泛化能力提出了巨大的考验。降低不同域之间的差异性可以提高行人重识别算法的跨域性能。

目前，降低不同域之间差异性的方法主要有三种：第一种是去除数据集之间的风格差异，风格迁移中常用的实例归一化(IN)对每个样本和每个通道进行归一化，减少样本间的风格差异，提高模型的泛化能力。但是将每个样本进行独立的归一化不可避免地会丢失一些样本间的共性和一些有辨别性的信息，这对重识别是极其不利的。第二种是无监督域自适应(UDA)方法，基于UDA的行人重识别方法可以大致分为三类：风格转移、属性识别和目标域伪标签估计。UDA模型使用未标记的目标域数据进行更新，解放了标记工作。然而，这需要目标数据的收集和模型更新，增加了额外的成本。第三种是领域泛化(DG)，DG旨在设计可推广到以前未见过的领域的模型，无需访问目标领域数据和标签，也无需更新模型。然而，行人重识别是一个开放集问题，其中目标域通常与源域有不同的实体，因此一般的DG方法不能直接应用于行人重识别。

由于不同数据域之间必然存在域差异，所以目前许多先进的重识别算法虽然在单个数据集上测试时能取得很好的表现，但是其泛化到另一个数据域的能力却很差。为了尽量提高模型的泛化能力，近几年出现了许多跨域行人重识别方法，力求使模型更好的适应目标域。通常的做法是先收集一部分目标域的数据，使用某种聚类算法将提取到的特征进行聚类生成伪标签。最后利用生成的伪标签训练模型，更新模型参数，迭代进行上述步骤直至收敛。虽然许多跨域行人重识别方法确实有效提升了模型的泛化能力，但是目标域数据的收集同样是费时费力的，在实际应用中甚至根本无法收集目标域的数据。

现有技术针对跨域行人重识别的方法，提出了一种使用结合实例归一化(IN)和批量归一化(BN)优势的IBN-Net的方法。通常实例归一化用于处理底层视觉任务，比如图像风格化，而批量归一化用于处理高层视觉任务，比如目标检测，图像识别等。IBN-Net首次将实例归一化和批量归一化集成起来，同时提高了模型的学习能力和泛化能力。方法如下：

IBN-Net设计原则是：(1)在网络的浅层同时使用实例归一化和批量归一化；(2)在网络的深层仅仅使用批量归一化。

如图1所示，IBN-Net有两种结合实例归一化和批量归一化的方式，IBN-a和IBN-b。作为提升跨域行人重识别泛化能力的结构，IBN通常加在残差网络(ResNet)中。ResNet由4组残差块组成，在IBN-Net的改进中，仅仅在Conv2_x,Conv3_x,Conv4_x三个块中加入IN，Conv5_x不进行改动。

发明内容

本发明的目的在于提供基于域不变特征的跨域行人重识别装置及其方法，所述跨域行人重识别装置用于消除不同域之间的风格差异，提高模型泛化能力，所述方法有效提取行人域不变特征并提高跨域行人重识别性能。

本发明通过下述技术方案实现：基于域不变特征的跨域行人重识别装置(即注意力和风格归一化模块)，该跨域行人重识别装置设置在域不变特征提取网络的残差模块之后，包括用于得到恢复特征的恢复特征模块，用于得到判别特征的特征增强模块，以及一个用于将恢复特征和判别特征进行叠加得到完整输出特征的特征叠加器

所述恢复特征模块设置有：

实例归一化模块IN，用于将输入的原始特征进行归一化处理，得到实例归一化后的特征；

特征残余计算器

用于进行输入的原始特征与实例归一化后的特征之间的残差计算，得到残余特征；

第一注意力机制模块(包括通道注意力模块CA1和空间注意力模块SA1)，将残余特征基于通道注意力机制和空间注意力机制自适应的提取出行人身份信息相关的特征；

及特征叠加器

用于将行人身份信息相关的特征与实例归一化后的特征进行叠加得到恢复特征。

进一步的为更好地实现本发明所述的基于域不变特征的跨域行人重识别装置，所述特征增强模块设置有：

批量归一化模块BN，用于将输入的原始特征进行批量归一化处理，得到批量归一化特征；

第二注意力机制模块(包括通道注意力模块CA2和空间注意力模块SA2)，将批量归一化特征基于通道注意力机制和空间注意力机制得到判别特征。

进一步的为更好地实现本发明所述的基于域不变特征的跨域行人重识别装置，在进行跨域行人重识别装置的训练时，采用ASN损失函数对参数进行约束；由于针对风格归一化的特征，添加有价值的信息会使得特征更具有鉴别性；而添加干扰信息，会使得特征的鉴别性降低。设定代表有价值的信息和干扰信息的计算公式分别如下：

F⁺＝D⁺+wx₃

F^-＝D^-+(1-w)x₃

其中F⁺代表有价值的信息，F^-代表干扰信息，为便于区分在该公式中将对残余特征D进行操作得到行人身份信息相关的特征x₂用D⁺表示，D^-表示残余特征中与行人身份信息无关的特征，w表示自适应权重。对一个训练批次遍历一次，将每个样本依次作为锚样本，在剩下的样本中随机挑选出一个正样本p和负样本n，其特征分别为y_a(锚样本的特征)、y_p(正样本的特征)和y_n(负样本的特征)，设定添加有价值的信息后的输出和添加干扰信息后的输出公式分别如下：

y⁺＝x₁+F⁺

y^-＝x₁+F^-

其中y⁺为添加有价值的信息后的输出，y^-为添加干扰信息后的输出。添加有价值的信息会使得锚样本与正样本的距离减小，与负样本之间的距离拉大；添加干扰信息会使得锚样本与正样本的距离拉大，与负样本之间的距离减小。

则ASN损失函数计算公式如下：

其中

trip(x,y)＝max(x-y,0)，从而通过这一思想约束ASN模块的训练过程。

基于域不变特征的跨域行人重识别方法，采用所述的基于域不变特征的跨域行人重识别装置实现，包括下述步骤：

1)输入的原始特征通过实例归一化模块IN减少样本特征间的域差异性，得到实例归一化后的特征；

2)利用特征残余计算器

对输入的原始特征与实例归一化后的特征进行残差计算，得到残余特征；

3)将残余特征利用第一注意力机制模块(包括通道注意力模块CA1和空间注意力模块SA1)基于通道注意力机制和空间注意力机制自适应的提取出行人身份信息相关的特征；

4)将实例归一化后的特征与行人身份信息相关的特征通过一个特征叠加器

叠加得到恢复特征；

5)将恢复特征和特征增强模块所形成的判别特征通过特征叠加器

进行叠加得到完整输出特征。

进一步的为更好地实现本发明所述的基于域不变特征的跨域行人重识别方法，所述特征增强模块通过下述步骤得到判别特征：

A)输入的原始特征通过批量归一化模块BN进行批量归一化处理，得到批量归一化特征；

B)将批量归一化特征经第二注意力机制模块基于通道注意力机制和空间注意力机制得到判别特征。

进一步的为更好地实现本发明所述的基于域不变特征的跨域行人重识别方法，所述输入的原始特征设为x，且x∈R^b×c×h×w，其中，b、c、h、w分别表示批次大小、通道数、特征图的高度和宽度，R^b×c×h×w为b×c×h×w维矩阵，则经过注意力和风格归一化模块ASN(即跨域行人重识别装置)后完整的输出特征为y∈R^b×c×h×w；

所述实例归一化后的特征设为x₁，在所述步骤1)中，所述输入的原始特征经实例归一化模块IN采用下述公式得到实例归一化后的特征：

其中，μ(·)和σ(·)分别表示每个通道和每个样本在空间维度上计算所得的平均值和标准偏差，γ和β是通过数据训练所学习到的参数。

进一步的为更好地实现本发明所述的基于域不变特征的跨域行人重识别方法，所述残余特征通过下述公式得到：D＝x-x₁，其中，D表示输入的原始特征x与实例归一化后的特征x₁的差值；

所述行人身份信息相关的特征设为x₂，且在第一注意力机制模块中通过下述公式：x₂＝sa₁(ca₁(D))得到，其中，中ca₁(·)表示特征通过通道注意力机制，sa₁(·)表示特征通过空间注意力机制；

进一步的为更好地实现本发明所述的基于域不变特征的跨域行人重识别方法，所述恢复特征记为x₁₂，且实例归一化后的特征x₁与行人身份信息相关的特征x₂在特征叠加器

中通过下述公式计算得到恢复特征x₁₂：x₁₂＝x₁+x₂。

进一步的为更好地实现本发明所述的基于域不变特征的跨域行人重识别方法，所述判别特征记为x₃，且在所述第二注意力机制模块中通过下述公式得到：x₃＝sa₂(ca₂(BN(x)))，其中，中BN(·)为特征通过批量归一化层，ca₂(·)表示特征通过通道注意力机制，sa₂(·)表示特征通过空间注意力机制。

进一步的为更好地实现本发明所述的基于域不变特征的跨域行人重识别方法，所述完整输出特征记为y，且恢复特征和判断特征在特征叠加器

通过下述公式得到完整输出特征：y＝x₁₂+wx₃，其中，w表示自适应权重。

本发明与现有技术相比，具有以下优点及有益效果：

本发明有效的消除了不同域之间的风格差异，增强了模型的跨域泛化能力。

本发明使用灵活，可以和许多行人重识别算法网络相结合作为即插即用模块来提高网络跨域泛化能力。

本发明与IBN-Net相比，跨域行人重识别性能有了明显的提高。通过在Market1501数据集到DukeMTMC数据集上实验，本发明的准确率比IBN-Net高了3.7％；通过在DukeMTMC数据集到Market1501数据集上实验，本发明的准确率比IBN-Net高了5.0％。

附图说明

图1实例-批量归一化块结构图。

图2为本发明所述的跨域行人重识别装置(注意力和风格归一化模块ASN)。

图3为域不变特征提取网络。

具体实施方式

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

实施例1：

本发明设计出基于域不变特征的跨域行人重识别装置，该跨域行人重识别装置设置在域不变特征提取网络的残差模块之后，如图2所示，包括用于得到恢复特征的恢复特征模块，用于得到判别特征的特征增强模块，以及一个用于将恢复特征和判别特征进行叠加得到完整输出特征的特征叠加器

所述恢复特征模块设置有：

实例归一化模块IN，用于将输入的原始特征进行归一化处理，得到实例归一化后的特征；

特征残余计算器

用于进行输入的原始特征与实例归一化后的特征之间的残差计算，得到残余特征；

第一注意力机制模块(包括通道注意力模块CA1和空间注意力模块SA1)，将残余特征基于通道注意力机制和空间注意力机制自适应的提取出行人身份信息相关的特征；

及特征叠加器

用于将行人身份信息相关的特征与实例归一化后的特征进行叠加得到恢复特征。

所述特征增强模块设置有：

批量归一化模块BN，用于将输入的原始特征进行批量归一化处理，得到批量归一化特征；

第二注意力机制模块(包括通道注意力模块CA2和空间注意力模块SA2)，将批量归一化特征基于通道注意力机制和空间注意力机制得到判别特征。

实施例2：

本实施例是在上述实施例的基础上进一步优化，基于域不变特征的跨域行人重识别方法，采用所述的基于域不变特征的跨域行人重识别装置实现，如图2所示，包括下述步骤：

1)输入的原始特征通过实例归一化模块IN减少样本特征间的域差异性，得到实例归一化后的特征；

2)利用特征残余计算器

对输入的原始特征与实例归一化后的特征进行残差计算，得到残余特征；

3)将残余特征利用第一注意力机制模块(包括通道注意力模块CA1和空间注意力模块SA1)基于通道注意力机制和空间注意力机制自适应的提取出行人身份信息相关的特征；

4)将实例归一化后的特征与行人身份信息相关的特征通过一个特征叠加器

叠加得到恢复特征；

5)将恢复特征和特征增强模块所形成的判别特征通过特征叠加器

进行叠加得到完整输出特征。

所述特征增强模块通过下述步骤得到判别特征：

A)输入的原始特征通过批量归一化模块BN进行批量归一化处理，得到批量归一化特征；

B)将批量归一化特征经第二注意力机制模块基于通道注意力机制和空间注意力机制得到判别特征。

实施例3：

本实施例是在上述实施例的基础上进一步优化，与前述技术方案相同部分在此将不再赘述，如图2所示，进一步的为更好地实现本发明所述的基于域不变特征的跨域行人重识别方法，所述输入的原始特征设为x，且x∈R^b×c×h×w，其中，b、c、h、w分别表示批次大小、通道数、特征图的高度和宽度，R^b×c×h×w为b×c×h×w维矩阵，则经过注意力和风格归一化模块ASN(即跨域行人重识别装置)后完整的输出特征为y∈R^b×c×h×w；

所述实例归一化后的特征设为x₁，在所述步骤1)中，所述输入的原始特征经实例归一化模块IN采用下述公式得到实例归一化后的特征：

其中，μ(·)和σ(·)分别表示每个通道和每个样本在空间维度上计算所得的平均值和标准偏差，γ和β是通过数据训练所学习到的参数。

所述残余特征通过下述公式得到：D＝x-x₁，其中，D表示输入的原始特征x与实例归一化后的特征x₁的差值；

所述行人身份信息相关的特征设为x₂，且在第一注意力机制模块中通过下述公式：x₂＝sa₁(ca₁(D))得到，其中，中ca₁(·)表示特征通过通道注意力机制，sa₁(·)表示特征通过空间注意力机制；

所述恢复特征记为x₁₂，且实例归一化后的特征x₁和行人身份信息相关的特征x₂在特征叠加器

中通过下述公式计算得到恢复特征x₁₂：x₁₂＝x₁+x₂。

所述判别特征记为x₃，且在所述第二注意力机制模块中通过下述公式得到：x₃＝sa₂(ca₂(BN(x)))，其中，中BN(·)为特征通过批量归一化层，ca₂(·)表示特征通过通道注意力机制，sa₂(·)表示特征通过空间注意力机制。

所述完整输出特征记为y，且恢复特征和判断特征在特征叠加器

通过下述公式得到完整输出特征：y＝x₁₂+wx₃，其中，w表示自适应权重。

实施例4：

本实施例是在实施例2或实施例3的基础上进一步优化，与前述技术方案相同部分在此将不再赘述，如图2所示，进一步的为更好地实现本发明所述的基于域不变特征的跨域行人重识别装置，在进行跨域行人重识别装置的训练时，采用ASN损失函数对参数进行约束；由于针对风格归一化的特征，添加有价值的信息会使得特征更具有鉴别性；而添加干扰信息，会使得特征的鉴别性降低。设定代表有价值的信息和干扰信息的计算公式分别如下：

F⁺＝D⁺+wx₃

F^-＝D^-+(1-w)x₃

其中F⁺代表有价值的信息，F^-代表干扰信息，为便于区分在该公式中将对残余特征D进行操作得到行人身份信息相关的特征x₂用D⁺表示，D^-表示残余特征中与行人身份信息无关的特征，w表示自适应权重。对一个训练批次遍历一次，将每个样本依次作为锚样本，在剩下的样本中随机挑选出一个正样本p和负样本n，其特征分别为y_a(锚样本的特征)、y_p(正样本的特征)和y_n(负样本的特征)，设定添加有价值的信息后的输出和添加干扰信息后的输出公式分别如下：

y⁺＝x₁+F⁺

y^-＝x₁+F^-

其中y⁺为添加有价值的信息后的输出，y^-为添加干扰信息后的输出。添加有价值的信息会使得锚样本与正样本的距离减小，与负样本之间的距离拉大；添加干扰信息会使得锚样本与正样本的距离拉大，与负样本之间的距离减小。

则ASN损失函数计算公式如下：

其中

trip(x，y)＝max(x-y，0)，从而通过这一思想约束ASN模块的训练过程。

实施例5：

如图3所示，在实现本发明时，会设置一个域不变特征提取网络，该域不变特征提取网络设置有多个残差模块(残差块1、残差块2、残差块3、残差块4)构成的残差-50(ResNet-50)网络结构、多个注意力和风格归一化模块ASN(ASN1、ASN2、ASN3、ASN4)，其具体网络结构为：将注意力和风格归一化模块作为插入式结构插入残差-50网络结构中，即在每一个残差模块后插入一个注意力和风格归一化模块ASN，在使用时，从域不变特征提取网络中输出的图像域不变特征将被送入到分类器中进行行人重识别。

如图2所给出的注意力和风格归一化模块(ASN)，其中，CA表示通道注意力模块，SA表示空间注意力模块，IN表示实例归一化，BN表示批量归一化，

代表相减以求特征残余(即特征残余计数器)，

代表相加以求特征叠加(即特征叠加器)。

由于实例归一化可以将原始进行归一化，减少样本间差异，但同时会过滤掉一些行人身份相关信息和行人重识别判别信息。为解决这一问题，本发明提出了注意力和风格归一化模块用于恢复所丢失行人身份相关信息和行人重识别判别信息。图2展示了注意力和风格归一化模块的结构，x∈R^b×c×h×w代表输入，y∈R^b×c×h×w代表输出，其中b、c、h、w分别表示批次大小、通道数、特征图的高度和宽度。

基于域不变特征的跨域行人重识别方法，其具体方法如下：

输入的原始特征首先通过实例归一化模块IN减少样本特征间的域差异性，得到实例归一化后的特征x₁，公式如下：

其中μ(·)和σ(·)分别表示每个通道和每个样本在空间维度上计算所得的平均值和标准偏差，γ和β是通过数据训练所学习到的参数。然后，因数学计算的具体性和目的性，必定会导致输入的原始特征通过实例归一化后丢失一部分行人身份相关信息，因此本发明提出从残余特征D中找回这些有用的信息。为从残余特征D中找回这些有用的信息，本发明通过下述公式得到残余特征D

D＝x-x₁；

其中D表示原始特征x与通过实例归一化后的特征x₁的差值。残余特征D包含两部分：与身份信息有关的特征和与身份信息无关的特征。为找回有用信息，本发明联合使用通道注意力机制和空间注意力机制以求定位到感兴趣的空间位置(即提取出行人信息相关的特征x₂)。

x₂＝sa₁(ca₁(D))

其中ca₁(·)表示特征通过通道注意力机制，sa₁(·)表示特征通过空间注意力机制。本发明通过注意力机制能够自适应地提取与行人信息相关的特征。本发明进一步将通过实例归一化后的特征x₁与找回的行人信息相关的特征x₂进行叠加得到恢复特征x₁₂：

x₁₂＝x₁+x₂；

由于完全进行风格归一化会损失一些不同样本间有利于重识别的判别信息，故本发明提出在恢复的风格归一化的特征(恢复特征)上加权叠加一部分原始信息(特征增强模块所得到的判别特征)：

首先输入的原始特征进行批量归一化，同样的利用空间注意力机制和通道注意力机制定位所需要的位置，找出样本间有利于重识别的判别特征x₃，

x₃＝sa₂(ca₂(BN(x)))；

其中BN(·)为特征通过批量归一化层，ca₂(·)表示特征通过通道注意力机制，sa₂(·)表示特征通过空间注意力机制。然后，通过设置一个自适应的权重向量将恢复特征x₁₂和样本间有利于重识别的判别特征x₃进行加权叠加，

使得特征信息更加完整。最后输出特征(即完整输出特征)用y表示：

y＝x₁₂+wx₃；

其中，w表示自适应权重。

本发明在对跨域行人重识别装置进行训练时，设计了ASN损失函数以便对参数进行约束。由于针对风格归一化的特征，添加有价值的信息会使得特征更具有鉴别性；而添加干扰信息，会使得特征的鉴别性降低。设定代表有价值的信息和干扰信息的计算公式分别如下：

F⁺＝D⁺+wx₃

F^-＝D^-+(1-w)x₃

其中F⁺代表有价值的信息，F^-代表干扰信息，为便于区分在该公式中将对残余特征D进行操作得到行人身份信息相关的特征x₂用D⁺表示，D^-表示残余特征中与行人身份信息无关的特征，w表示自适应权重。在运用时，首先对一个训练批次遍历一次，将每个样本依次作为锚样本，在剩下的样本中随机挑选出一个正样本p和负样本n，其特征分别为y_a(锚样本的特征)、y_p(正样本的特征)和y_n(负样本的特征)，设定添加有价值的信息后的输出和添加干扰信息后的输出公式分别如下：

y⁺＝x₁+F⁺

y^-＝x₁+F^-

其中y⁺为添加有价值的信息后的输出，y^-为添加干扰信息后的输出。添加有价值的信息会使得锚样本与正样本的距离减小，与负样本之间的距离拉大；添加干扰信息会使得锚样本与正样本的距离拉大，与负样本之间的距离减小。

则ASN损失函数计算公式如下：

其中

trip(x,y)＝max(x-y,0)，从而通过这一思想约束ASN模块的训练过程。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (9)

1.基于域不变特征的跨域行人重识别装置，该跨域行人重识别装置设置在域不变特征提取网络的残差模块之后，其特征在于：包括用于得到恢复特征的恢复特征模块，用于得到判别特征的特征增强模块，以及一个用于将恢复特征和判别特征进行叠加得到完整输出特征的特征叠加器

所述恢复特征模块设置有：

实例归一化模块IN，用于将输入的原始特征进行归一化处理，得到实例归一化后的特征；

特征残余计算器

用于进行输入的原始特征与实例归一化后的特征之间的残差计算，得到残余特征；

第一注意力机制模块，将残余特征基于通道注意力机制和空间注意力机制自适应的提取出行人身份信息相关的特征；

及特征叠加器

用于将行人身份信息相关的特征与实例归一化后的特征进行叠加得到恢复特征；

所述特征增强模块设置有：

批量归一化模块BN，用于将输入的原始特征进行批量归一化处理，得到批量归一化特征；

第二注意力机制模块，将批量归一化特征基于通道注意力机制和空间注意力机制得到判别特征。

2.基于域不变特征的跨域行人重识别方法，采用如权利要求1所述的基于域不变特征的跨域行人重识别装置实现，其特征在于：包括下述步骤：

1)输入的原始特征通过实例归一化模块IN减少样本特征间的域差异性，得到实例归一化后的特征；

2)利用特征残余计算器

对输入的原始特征与实例归一化后的特征进行残差计算，得到残余特征；

3)将残余特征利用第一注意力机制模块基于通道注意力机制和空间注意力机制自适应的提取出行人身份信息相关的特征；

4)将实例归一化后的特征与行人身份信息相关的特征通过一个特征叠加器

叠加得到恢复特征；

5)将恢复特征和特征增强模块所形成的判别特征通过特征叠加器

进行叠加得到完整输出特征。

3.根据权利要求2所述的基于域不变特征的跨域行人重识别方法，其特征在于：所述特征增强模块通过下述步骤得到判别特征：

A)输入的原始特征通过批量归一化模块BN进行批量归一化处理，得到批量归一化特征；

B)将批量归一化特征经第二注意力机制模块基于通道注意力机制和空间注意力机制得到判别特征。

4.根据权利要求3所述的基于域不变特征的跨域行人重识别方法，其特征在于：所述输入的原始特征设为x，且x∈R^b×c×h×w，其中，b、c、h、w分别表示批次大小、通道数、特征图的高度和宽度，R^b×c×h×w为b×c×h×w维矩阵；

所述实例归一化后的特征设为x₁，在所述步骤1)中，所述输入的原始特征经实例归一化模块IN采用下述公式得到实例归一化后的特征：x₁＝

其中，μ(·)和σ(·)分别表示每个通道和每个样本在空间维度上计算所得的平均值和标准偏差，γ和β是通过数据训练所学习到的参数。

5.根据权利要求4所述的基于域不变特征的跨域行人重识别方法，其特征在于：所述残余特征通过下述公式得到：D＝x-x₁，其中，D表示输入的原始特征x与实例归一化后的特征x₁的差值；

所述行人身份信息相关的特征设为x₂，且在第一注意力机制模块中通过下述公式：x₂＝sa₁(ca₁(D))得到，其中，中ca₁(·)表示特征通过通道注意力机制，sa₁(·)表示特征通过空间注意力机制；

6.根据权利要求5所述的基于域不变特征的跨域行人重识别方法，其特征在于：所述恢复特征记为x₁₂，且实例归一化后的特征x₁与行人身份信息相关的特征x₂在特征叠加器

中通过下述公式计算得到恢复特征x₁₂：x₁₂＝x₁+x₂。

7.根据权利要求5所述的基于域不变特征的跨域行人重识别方法，其特征在于：所述判别特征记为x₃，且在所述第二注意力机制模块中通过下述公式得到：x₃＝sa₂(ca₂(BN(x)))，其中，中BN(·)为特征通过批量归一化层，ca₂(·)表示特征通过通道注意力机制，sa₂(·)表示特征通过空间注意力机制。

8.根据权利要求7所述的基于域不变特征的跨域行人重识别方法，其特征在于：所述完整输出特征记为y，且恢复特征和判断特征在特征叠加器

通过下述公式得到完整输出特征：y＝x₁₂+wx₃，其中，w表示自适应权重。

9.根据权利要求2所述的基于域不变特征的跨域行人重识别方法，其特征在于：在进行基于域不变特征的跨域行人重识别装置的训练时，采用ASN损失函数对参数进行约束。

Images