CN112861705B - 一种基于混合学习的跨域行人重识别方法 - Google Patents

Abstract

本发明涉及一种基于混合学习的跨域行人重识别方法。包括如下步骤：1：设计基于生成对抗网络的风格迁移模型，利用标记的源域数据对风格迁移模型进行训练；2：设计基于特征提取网络的行人重识别模型，特征提取网络之后连接了两个分别用于监督学习和无监督学习的模块；3：设计动态权重函数动态的调整两种学习方式的权重，从而动态的对特征提取网络进行训练，最终完成跨域行人重识别任务。本发明设计了监督学习和无监督学习两种模块、结合了源域和目标域的数据对行人重识别模型进行训练。本发明还设计了动态权重函数动态地结合两种学习方式。

Description

一种基于混合学习的跨域行人重识别方法

技术领域：

本发明涉及行人重识别领域，尤其涉及一种基于混合学习的跨域行人重识别方法。

背景技术：

行人重识别是一个跨摄像机的图像检索任务，其目的是从数据库中查找具有指定身份的行人图像。尽管在单一图像域的监督学习中，行人重识别的相关研究已取得了令人印象深刻的成就，但在源域上具有高性能的模型，很难被推广到不具备标签信息的目标域中。由于在目标域中再次利用手工对大规模身份群体进行标记是十分昂贵的，故跨域的行人重识别方法受到了越来越多的关注。

跨域的方法中，邻域自适应是主流方法之一。现有的邻域自适应方法大致可以分为两类：特征级别的自适应和图像级别的自适应。前者的目的是对齐两个域之间的特征分布，具体方法包括特征对齐和对抗学习等。后者使用风格迁移模型赋予源图像目标域的风格，例如PTGAN基于CycleGAN对源图像进行风格迁移，从而减小邻域差距；SPGAN在CycleGAN的基础上加入两种无监督相似性，使生成的图像既能保留原始身份，又能与目标域中的所有身份进行区分；与前两者不同，PDA-Net不再使用CycleGAN作为基础，而是使用编码器和生成器作为模型主体，并设计了姿势指导用于辅助提升生成质量；CR-GAN将源域中的背景替换为不同的目标域背景，从而生成大规模的合成数据集，该方法不但减小了邻域差距，还扩充了数据集。

除邻域自适应方法外，还有基于无监督学习的方法，例如基于聚类的方法以及其他改进方法。例如自相似分组(SSG)方法通过构建从全局到局部的多个聚类为监督学习提供伪身份。样本存储器方法同时利用标记数据和未标记数据对模型进行训练；多标签参考学习方法使用标记数据集作为辅助，在未标记数据集上进行多标签指导的困难样本挖掘和参考代理学习。

为了综合各种因素以提升模型性能，许多工作都使用了多任务学习。例如，focalloss通过调整不同样本的权重来缓解类不均衡问题。SPMTL提出了一个可以为任务和实例划分优先级的正则化器，之后通过考虑任务和实例的复杂性进行学习。在单域的行人重识别领域，有研究者提出了使用多损失动态训练的方法动态的调整三元组损失和身份损失之间的权重。本发明提出的基于混合学习的跨域行人重识别方法，利用发明的动态权重函数动态地调整监督学习和无监督学习之间的权重。

发明内容：

本发明的目的是缓解邻域差距的问题，提出一种基于混合学习的跨域行人重识别方法，以解决在源域上具有高性能的模型，很难被推广到不具备标签信息的目标域的问题。

一种基于混合学习的跨域行人重识别方法，其特征在于，包括如下步骤：

步骤1：设计基于生成对抗网络的风格迁移模型，利用标记的源域数据对风格迁移模型进行训练；

步骤2：设计基于特征提取网络的行人重识别模型，特征提取网络之后连接了两个分别用于监督学习和无监督学习的模块。其中本发明设计分类模块进行监督学习，设计度量模块用于无监督学习；

步骤3：设计动态权重函数动态的调整两种学习方式的权重，从而动态的对特征提取网络进行训练，最终完成跨域行人重识别任务。

所述步骤1包括如下步骤：

步骤1.1：利用现有模型对源数据和目标数据进行预处理。首先，为减少源图像中背景的影响，本发明使用SBSGAN对x_s进行了背景削弱：

x_f＝S₁(x_s) (1)

其中S₁代表SBSGAN的处理过程，x_f∈X_f为背景削弱后的图像。

之后，本发明使用姿态估计模型对x_s中的行人进行姿态提取：

x_p＝S₂(x_s) (2)

其中S₂代表姿态估计模型的处理过程，x_p∈X_p为人体姿态图像。

最后，为避免目标域中的行人影响生成过程，利用行人分割模型得到了行人掩码，之后利用掩码过滤了目标行人：

其中o是Hadamard product；m_t是x_t的人的掩码；x_b∈X_b为x_t的背景。

步骤1.2：设计基于生成对抗网络的风格迁移模型，该模型包括一个三条件生成器、一个域风格判别器和一个身份分类器。三者交替训练。对于生成器的三个输入，首先经过三个结构相同但不共享参数的编码器：E₁，E₂和E₃。之后，三组特征被连接起来输入到解码器F。值得说明的是，生成器的三个输入中，x_p和x_f必须是成对的，即每组x_p和x_f都来自同一个源图像x_s。

生成器完成的三重条件映射可表示为：

x_g＝G(x_p,x_f,x_b)

其中G表示参数化的生成器，x_g为生成图像，其同时具有目标域的背景和源域的行人主体，除此之外，它还保留了原身份。

判别器实质上都是由卷积网络组成的二分类器。其中设计判别器的目的是使生成器生成具有目标风格的图像。类似于原始的GAN，本发明同样使用极大极小的对立方式对两者进行训练：

其中D和G分别表示参数化的判别器和生成器。L_adv的目的是减小生成的数据分布与目标数据分布之间的差距

为使生成图像x_g能够保持原始的身份，本发明在模型中增加了一个身份分类器。在引入之前，本发明在源域上对其完成了预训练。使用身份分类损失来约束x_g中的行人身份：

L_id＝-logp(y_s|x_g)

其中y_s是x_g对应的原始身份。L_id的目的是使生成图像保留原始的身份标签。

所述步骤2包括如下步骤：

步骤2.1：使用在ImageNet上预训练的ResNet-50作为特征提取模型，具体的，取消了平均池化层之后的1000维全连阶层以及softmax激活层，并对平均池化层输出的一个2048维向量进行归一化。

步骤2.2：利用收敛后的生成器和预处理后的数据生成大量具有目标域风格和源域身份的行人图像。设计基于身份分类模型的监督学习模块，该模型利用生成图像进行训练，同时对特征提取网络进行训练。

步骤2.3：利用先验知识(源域和目标域的行人身份没有重合)在源域和目标域中选取负样本对。利用特征距离和比较特征距离在目标域上挖掘正样本对。

步骤2.4：设计基于度量的无监督学习模块，基于正负样本对对度量模块进行训练，同时调整特征提取模型。

所述步骤3包括如下步骤：

步骤3.1：设计动态权重函数动态的调整两个模块的训练过程，从而动态的对特征提取网络进行训练。本发明把监督学习模块中使用的分类损失指定为主损失，之后根据主损失在当前迭代的变化率计算其权重值，最后根据主损失的权重确定无监督模块的权重。

步骤3.2：利用收敛后的特征提取网络完成跨域行人重识别任务。

本发明的有益效果：考虑到跨域行人重识别的性能远低于单域的行人重识别。本发明设计了一种基于混合学习的跨域行人重识别方法，该方法使用风格迁移模型生成带目标域风格的图像，以进行监督学习，之后挖掘正负样本对以进行无监督学习。本发明通过抑制原图像的背景、提取原图像的行人姿势和过滤目标图像的行人主体来提升生成质量。本发明还设计了动态权重函数，通过计算训练过程中损失的变化率来动态调整两个任务之间的权重。

附图说明：

图1是一种基于混合学习的跨域行人重识别方法的流程图。

图2是本发明的整体结构图

图3是基于生成对抗网络的风格迁移模型图

图4是基于双任务特征提取网络的行人重识别模型图

具体实施方式：

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施的具体流程示意图，图2是本发明的整体结构图，图3是基于生成对抗网络的风格迁移模型图，图4是基于双任务特征提取网络的行人重识别模型图，如图1所示，该方法包括如下步骤：

步骤1：如图3所示，设计基于生成对抗网络的风格迁移模型，利用标记的源域数据对风格迁移模型进行训练；

步骤2：如图4所示，设计基于特征提取网络的行人重识别模型，特征提取网络之后连接了两个分别用于监督学习和无监督学习的模块。其中本发明设计分类模块进行监督学习，设计度量模块用于无监督学习；

步骤3：设计动态权重函数动态的调整两种学习方式的权重，从而动态的对特征提取网络进行训练，最终完成跨域行人重识别任务。

所述步骤1包括如下步骤：

步骤1.1：利用现有模型对源数据和目标数据进行预处理。首先，为减少源图像中背景的影响，本发明使用SBSGAN对x_s进行了背景削弱：

x_f＝S₁(x_s) (1)

其中S₁代表SBSGAN的处理过程，x_f∈X_f为背景削弱后的图像。

之后，本发明使用姿态估计模型对x_s中的行人进行姿态提取：

x_p＝S₂(x_s) (2)

其中S₂代表姿态估计模型的处理过程，x_p∈X_p为人体姿态图像。

最后，为避免目标域中的行人影响生成过程，利用行人分割模型得到了行人掩码，之后利用掩码过滤了目标行人：

其中

是Hadamard product；m_t是x_t的人的掩码；x_b∈X_b为x_t的背景。

步骤1.2：设计基于生成对抗网络的风格迁移模型，该模型包括一个三条件生成器、一个域风格判别器和一个身份分类器。三者交替训练。对于生成器的三个输入，首先经过三个结构相同但不共享参数的编码器：E₁，E₂和E₃。之后，三组特征被连接起来输入到解码器F。值得说明的是，生成器的三个输入中，x_p和x_f必须是成对的，即每组x_p和x_f都来自同一个源图像x_s。

生成器完成的三重条件映射可表示为：

x_g＝G(x_p,x_f,x_b)

其中G表示参数化的生成器，x_g为生成图像，其同时具有目标域的背景和源域的行人主体，除此之外，它还保留了原身份。

判别器实质上都是由卷积网络组成的二分类器。其中设计判别器的目的是使生成器生成具有目标风格的图像。类似于原始的GAN，本发明同样使用极大极小的对立方式对两者进行训练：

其中D和G分别表示参数化的判别器和生成器。L_adv的目的是减小生成的数据分布与目标数据分布之间的差距

为使生成图像x_g能够保持原始的身份，本发明在模型中增加了一个身份分类器。在引入之前，本发明在源域上对其完成了预训练。使用身份分类损失来约束x_g中的行人身份：

L_id＝-log p(y_s|x_g)

其中y_s是x_g对应的原始身份。L_id的目的是使生成图像保留原始的身份标签。

所述步骤2包括如下步骤：

步骤2.1：使用在ImageNet上预训练的ResNet-50作为特征提取模型，具体的，取消了平均池化层之后的1000维全连阶层以及softmax激活层，并对平均池化层输出的一个2048维向量进行归一化。

步骤2.2：利用收敛后的生成器和预处理后的数据生成大量具有目标域风格和源域身份的行人图像。设计基于身份分类模型的监督学习模块，该模型利用生成图像进行训练，同时对特征提取网络进行训练。

步骤2.3：利用先验知识(源域和目标域的行人身份没有重合)在源域和目标域中选取负样本对。利用特征距离和比较特征距离在目标域上挖掘正样本对。

步骤2.4：设计基于度量的无监督学习模块，基于正负样本对对度量模块进行训练，同时调整特征提取模型。

所述步骤3包括如下步骤：

步骤3.1：设计动态权重函数动态的调整两个模块的训练过程，从而动态的对特征提取网络进行训练。本发明把监督学习模块中使用的分类损失指定为主损失，计算主损失在当前迭代的变化率：

其中L_i表示主损失在第i次迭代的值。之后，本发明定义了主损失的动态权重：

其中λ_i为第i次迭代中主损失的权重，γ是聚焦强度。最后根据主损失的权重确定无监督模块的权重。

步骤3.2：利用收敛后的特征提取网络完成跨域行人重识别任务。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

以上结合附图所述，仅为本发明的具体实施方式及流程，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员应当理解，此仅为举例说明，可以对此实施方式做出多种变化和替换，而不背离本发明的实质内容。本发明的范围仅由所附权利要求书限定。

本发明通过参考附图描述的实施方式是示例性的，仅用于对本发明进行解释，不能理解为对本发明的限制，本发明的实施例具体范围不受此限制，相反，本发明的所有实施例包括落入所附权利要求书的精神和内涵范围内的所有变化和修改。

Claims (1)

1.一种基于混合学习的跨域行人重识别方法，其特征在于，包括如下步骤：

步骤1：设计基于生成对抗网络的风格迁移模型，利用标记的源域数据对风格迁移模型进行训练；

步骤2：设计基于特征提取网络的行人重识别模型，特征提取网络之后连接了两个分别用于监督学习和无监督学习的模块；

步骤3：设计动态权重函数动态的调整两种学习方式的权重，从而动态的对特征提取网络进行训练，最终完成跨域行人重识别任务；

所述步骤1包括如下步骤：

步骤1.1：利用现有模型对源数据和目标数据进行预处理；利用背景抑制模型对源图像进行背景抑制，得到抑制背景的图像x_f；利用行人姿态估计模型对源图像的行人姿态进行提取，得到行人姿势x_p；利用分割模型对目标图像中的背景进行提取，得到背景图像x_b；

步骤1.2：设计基于生成对抗网络的风格迁移模型，该模型包括一个三条件生成器、一个域风格判别器和一个身份分类器，三者交替训练；对于生成器的三个输入，首先经过三个结构相同但不共享参数的编码器：E₁，E₂和E₃之后，三组特征被连接起来输入到解码器F；值得说明的是，生成器的三个输入中，x_p和x_f必须是成对的，即每组x_p和x_f都来自同一个源图像x_s；

生成器完成的三重条件映射表示为：

x_g＝G(x_p,x_f,x_b)

其中G表示参数化的生成器，x_g为生成图像，其同时具有目标域的背景和源域的行人主体，除此之外它还保留了原身份；

判别器和分类器实质上都是由卷积网络组成的二分类器和多分类器，其中设计判别器的目的是使生成器生成具有目标风格的图像，而设计分类器的目的是使生成图像能够保留原始行人身份；

所述步骤2包括如下步骤：

步骤2.1：使用在ImageNet上预训练的ResNet-50作为特征提取模型，取消了平均池化层之后的1000维全连阶层以及softmax激活层，并对平均池化层输出的一个2048维向量进行归一化；

步骤2.2：利用收敛后的生成器和预处理后的数据生成大量具有目标域风格和源域身份的行人图像；设计基于身份分类模型的监督学习模块，模型利用生成图像进行训练，同时对特征提取网络进行训练；

步骤2.3：利用先验知识即“源域和目标域的行人身份没有重合”在源域和目标域中选取负样本对；利用特征距离和比较特征距离在目标域上挖掘正样本对；

步骤2.4：设计基于度量的无监督学习模块，基于正负样本对对度量模块进行训练，同时调整特征提取模型；

所述步骤3包括如下步骤：

步骤3.1：设计动态权重函数动态的调整两个模块的训练过程，从而动态的对特征提取网络进行训练；把监督学习模块中使用的分类损失指定为主损失，计算主损失在当前迭代的变化率：

其中L_i表示主损失在第i次迭代的值，之后，定义了主损失的动态权重：

其中λ_i为第i次迭代中主损失的权重，γ是聚焦强度，最后根据主损失的权重确定无监督模块的权重；

步骤3.2：利用收敛后的特征提取网络完成跨域行人重识别任务。

Images