CN112784728A - 基于衣物脱敏网络的多粒度换衣行人重识别方法 - Google Patents

Abstract

一种基于衣物脱敏网络的多粒度换衣行人重识别方法，针对行人换衣问题，通过衣物脱敏网络来学习泛化的行人外观特征，使模型在辨别行人时不依赖于衣服颜色纹理等外观特征。利用预先生成的部件语义分割图，与特征图计算损失以辅助特征对齐，最大程度上防止出现背景与半身进行相似度量的情况，杜绝负优化。该方法在训练策略上采用从粗粒度到细粒度的多级训练方法，相比单一的全局特征可以提取更多有效的属性信息。本文发明的基于衣物脱敏网络的多粒度换衣行人重识别方法，在相关的换衣行人重识别数据集中达到了优异的效果。

Description

基于衣物脱敏网络的多粒度换衣行人重识别方法

技术领域

本发明涉及计算机视觉及深度学习领域，具体涉及一种基于衣物脱敏网络的多粒度换衣行人重识别方法。

背景技术

行人重识别是利用计算机视觉技术判断视频监控所拍图像或者视频序列中是否存在特定行人的技术，旨在解决跨摄像头检索目标行人的问题，即指定一个特定的目标行人，检索跨设备下的该目标行人图像。行人重识别可与行人检测、行人跟踪技术等相结合，在城市规划、智能监控、安全监控等方面发挥重要作用。随着深度学习和神经网络技术的进步，行人重识别问题在计算机视觉领域获得更多关注。基于深度学习的行人重识别方法根据训练损失可以分为基于表征学习的方法和基于度量学习的方法。

基于表征学习的方法是一类非常常用的行人重识别方法，它并没有直接在训练网络的时候考虑图片间的相似度，而把行人重识别任务当做分类问题或者验证问题来看待。这类方法的特点就是网络的最后一层全连接层输出的并不是最终使用的图像特征向量，而是经过一个Softmax激活函数来计算表征学习损失，前一层(倒数第二层)FC层通常为特征向量层。具体来讲，分类问题是指利用行人的ID或者属性等作为训练标签来训练模型，每次只需要输入一张图片。验证问题是指输入两张行人图片，让网络来学习这两张图片是否属于同一个行人。

度量学习是广泛用于图像检索领域的一种方法。不同于基于表征学习的方法，基于度量学习的方法旨在通过网络学习出两张图片的相似度。在行人重识别问题上，表现为同一行人的不同图片间的相似度大于不同行人的不同图片。具体来讲，定义一个映射，将图片从原始域映射到特征域，之后再定义一个距离度量函数，来计算两个特征向量之间的距离。最后通过最小化网络的度量损失，来寻找一个最优的映射，使得相同行人两张图片(正样本对)的距离尽可能小，不同行人两张图片(负样本对)的距离尽可能大。而这个映射就是通过训练得到的卷积神经网络，常用的基础网络有AlexNet、VGG、GoogleNet、ResNet等。

发明内容

本发明为了克服以上技术的不足，提供了一种解决传统行人重识别方法中，无法处理行人换衣造成外观改变的问题，通过衣物脱敏方法学习泛化的行人外观特征解决行人换衣问题，并利用预先提取的行人部件语义分割图与特征图计算损失来完成特征对齐，整体训练过程中利用多粒度的训练策略挖掘从粗粒度到细粒度的多层次行人特征的方法。

本发明克服其技术问题所采用的技术方案是：

一种基于衣物脱敏网络的多粒度换衣行人重识别方法，包括如下步骤：

a)通过语义分割算法对预先获得的RGB图像进行语义分割，得到对应图像的部件语义分割图像，将得到的语义分割图作为一项标签输入网络，进行监督训练；

b)将预先获得的RGB图像输入卷积神经网络，经卷积神经网络处理后预先获得的RGB图像由7×7的特征图表示，特征通道数为1024；

c)使用8个不同权重的并列的卷积层对特征图进行卷积操作，在空间和通道上对特征图进行降维提特征处理，得到8个不同结果的高维度的特征图，使用reshape函数将8个高维度的特征图的对应通道连接起来，得到288个8维向量表示行人单一属性，通过公式

使用非线性挤压函数对每个向量的长度进行标准化处理，

为第k个8维向量，k∈[1,288]，通过公式

计算由288个8维向量与权重矩阵w_k相乘得到1024个24维向量

为实数空间，通过公式

对24维向量

进行耦合计算，得到的耦合计算结果

对每一个行人类别做对应的向量表示，每个行人类别数为N，n∈[1,N]，

为耦合系数；

d)将步骤a)中的部件语义分割图像和步骤b)中的特征图输入部件语义对齐模块实现特征对齐，所述部件语义对齐模块包括反卷积层、归一化、激活函数、1×1的卷积层；

e)通过公式L＝λ₁L_ID+λ₂L_triplet+λ₃L_part计算损失函数L，式中L_ID为分类损失，L_triplet为三元组损失，L_part为部件语义对齐损失，λ₁、λ₂、λ₃为权重；f)通过损失函数L优化深度学习模型用于行人特征提取，将给定的一张行人图像在优化后的深度学习模型中的测试集中检索得到同一身份的其他行人图像并返回排序列表。

步骤a)中分割算法模型为DANet网络模型，将DANet网络模型在COCO Densepose数据集上进行预训练。

进一步的，步骤b)中的卷积神经网络使用在ImageNet数据集上预训练的DenseNet121作为骨干网络。

进一步的，步骤c)中卷积层的卷积核大小为2×2，步长为2。

进一步的，步骤d)中反卷积层为步长为2的3×3的反卷积层。

进一步的，步骤e)包括如下步骤：

e-1)通过公式

计算得到分类损失L_ID，式中y_n为输入的一图像所述的行人类别，当该图像属于行人n时，y_n＝1，当该图像不属于行人n时，y_n＝0，n∈[1,N]，λ为权重，λ＝0.5，m⁺与m^-为设定边界，

e-2)通过公式

计算三元组损失L_triplet，式中f_a为从anchor图像中提取的特征，f_p为从positive图像中提取的特征,f_n为从negative图像中提取的特征，α为边界超参数，P每个批次训练的类别个数，K为每个类别中的图像张数；

e-3)部件语义对齐损失L_part的损失函数采用cross-entropy loss。

进一步的，步骤f)中：优化后的深度学习模型提取出测试集中所有图像的特征向量表示，将给定的一张行人图像I₁与测试集中的所有图像I₂通过公式

分别计算代表相似性的欧氏距离

为通过网络前向传播得到的I₁的特征向量，

为通过网络前向传播得到的I₂的特征向量，根据计算得到的相似性从高到低对测试集中的图像进行排序，按该排序返回检索结果列表。

本发明的有益效果是：针对行人换衣问题，通过衣物脱敏网络来学习泛化的行人外观特征，使模型在辨别行人时不依赖于衣服颜色纹理等外观特征。利用预先生成的部件语义分割图，与特征图计算损失以辅助特征对齐，最大程度上防止出现背景与半身进行相似度量的情况，杜绝负优化。该方法在训练策略上采用从粗粒度到细粒度的多级训练方法，相比单一的全局特征可以提取更多有效的属性信息。本文发明的基于衣物脱敏网络的多粒度换衣行人重识别方法，在相关的换衣行人重识别数据集中达到了优异的效果。

附图说明

图1为本发明的流程图；

图2为本发明的衣物脱敏网络的框架图。

具体实施方式

下面结合附图1、附图2对本发明做进一步说明。

一种基于衣物脱敏网络的多粒度换衣行人重识别方法，包括如下步骤：

a)通过语义分割算法对预先获得的RGB图像进行语义分割，得到对应图像的部件语义分割图像，将得到的语义分割图作为一项标签输入网络，进行监督训练。

b)本发明针对现有方法无法在提取行人特征的过程中，屏蔽衣物外观带来负面影响的问题，设计发明了一个新的基于衣物脱敏网络的行人泛化特征提取模块。首先将预先获得的RGB图像输入卷积神经网络，经卷积神经网络处理后预先获得的RGB图像由7×7的特征图表示，特征通道数为1024，该特征图包含行人衣着外观在内的全部特征信息。

c)使用8个不同权重的并列的卷积层对特征图进行卷积操作，在空间和通道上对特征图进行降维提特征处理，得到8个不同结果的高维度的特征图，使用reshape函数将8个高维度的特征图的对应通道连接起来，得到288个8维向量表示行人单一属性，通过公式

使用非线性挤压函数对每个向量的长度进行标准化处理，

为第k个8维向量，k∈[1,288]，通过公式

计算由288个8维向量与权重矩阵w_k相乘得到1024个24维向量

为实数空间，通过公式

对24维向量

进行耦合计算，得到的耦合计算结果

对每一个行人类别做对应的向量表示，每个行人类别数为N，n∈[1,N]，

为耦合系数。

d)行人图像往往存在由于姿态变换、摄像机视角变化等导致的行人未对齐问题，表现为行人在整张图像中所占比例大小不一致。现存的方法大多通过水平切块操作来进行对齐和提取细粒度特征，缺点是会出现背景和行人半身对齐的情况，必然会导致负优化。由于我们在特征图上进行了区域划分，因此我们希望来自不同区域的合并特征彼此不同，即几乎没有冗余。因此，我们在特征图上施加了部件语义分割约束，从而迫使模型从特征图预测部件标签。如果部件语义对齐模块能够根据特征图预测部件标签，则它的定位能力将得到很好的维护，从而可以减轻冗余度，达到特征对齐的目的。具体来讲，将步骤a)中的部件语义分割图像和步骤b)中的特征图输入部件语义对齐模块实现特征对齐，所述部件语义对齐模块包括反卷积层、归一化、激活函数、1×1的卷积层。

e)之前的方法大多利用表征学习方法提取图像特征，把行人重识别当做分类问题来做，依赖类别标签计算分类损失。本发明在网络中设置两条链路，分别学习特征图和部件图，特征图用于学习行人特征用于检索，部件图用于辅助特征对齐。因此损失函数分为两部分，一部分损失函数根据特征图计算分类损失，并且相较于之前的单一分类损失，本发明增加三元组损失作为度量损失，用于拉近类内特征距离，拉远类间特征距离。另一部分损失函数根据部件图计算。因此，通过公式L＝λ₁L_ID+λ₂L_triplet+λ₃L_part计算损失函数L，式中L_ID为分类损失，L_triplet为三元组损失，L_part为部件语义对齐损失，λ₁、λ₂、λ₃为权重。

f)通过损失函数L优化深度学习模型用于行人特征提取，将给定的一张行人图像在优化后的深度学习模型中的测试集中检索得到同一身份的其他行人图像并返回排序列表。

对图像检索结果进行排名优化对于提高测试阶段的检索性能十分重要，比如自动对检索库内部进行样本相似性挖掘，就默认进行了排序优化。行人重识别检索结果的重新排序，其基本思想是利用检索库内部的样本相似性来优化初始化排名，比如可以在检索结果中，将相似度较高的移至检索序列前部，将相似度较低的检索结果防止检索序列的尾部。还可以引入k倒数编码挖掘上下文信息来改善初试排序列表，由于其简单性和有效性，它已经被广泛应用于当前的排序优化算法中。针对行人换衣问题，本发明提出衣物脱敏网络来学习泛化的行人外观特征，使模型在辨别行人时不依赖于衣服颜色纹理等外观特征。利用预先生成的部件语义分割图，与特征图计算损失以辅助特征对齐，最大程度上防止出现背景与半身进行相似度量的情况，杜绝负优化。该方法在训练策略上采用从粗粒度到细粒度的多级训练方法，相比单一的全局特征可以提取更多有效的属性信息。本文发明的基于衣物脱敏网络的多粒度换衣行人重识别方法，在相关的换衣行人重识别数据集中达到了优异的效果。

步骤a)中分割算法模型为DANet网络模型，将DANet网络模型在COCO Densepose数据集上进行预训练。

步骤b)中的卷积神经网络使用在ImageNet数据集上预训练的DenseNet121作为骨干网络，用以有效地提取低维度图像特征。

步骤c)中卷积层的卷积核大小为2×2，步长为2。

步骤d)中反卷积层为步长为2的3×3的反卷积层。

步骤e)包括如下步骤：

e-1)通过公式

计算得到分类损失L_ID，式中y_n为输入的一图像所述的行人类别，当该图像属于行人n时，y_n＝1，当该图像不属于行人n时，y_n＝0，n∈[1,N]，λ为权重，λ＝0.5，m⁺与m^-为设定边界，

e-2)通过公式

计算三元组损失L_triplet，式中f_a为从anchor图像中提取的特征，f_p为从positive图像中提取的特征,f_n为从negative图像中提取的特征，α为边界超参数，P每个批次训练的类别个数，K为每个类别中的图像张数，三元组损失的这种改进版本增强了度量学习的鲁棒性，并同时进一步提高了性能。

e-3)对于部件语义对齐损失，利用特征的部件分割损失采用尺寸归一化的方式计算。部件语义对齐损失L_part的损失函数采用cross-entropy loss。在跨部件进行平均之前，先对每个部件进行平均的，以避免损失值仅由大型部件决定，这对于脚一类的小部件来说非常重要，因为其中也包含许多细粒度区别性信息，起同等重要的作用。

步骤f)中：优化后的深度学习模型提取出测试集中所有图像的特征向量表示，将给定的一张行人图像I₁与测试集中的所有图像I₂通过公式

分别计算代表相似性的欧氏距离

为通过网络前向传播得到的I₁的特征向量，

为通过网络前向传播得到的I₂的特征向量，根据计算得到的相似性从高到低对测试集中的图像进行排序，按该排序返回检索结果列表。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于衣物脱敏网络的多粒度换衣行人重识别方法，其特征在于，包括如下步骤：

a)通过语义分割算法对预先获得的RGB图像进行语义分割，得到对应图像的部件语义分割图像，将得到的语义分割图作为一项标签输入网络，进行监督训练；

b)将预先获得的RGB图像输入卷积神经网络，经卷积神经网络处理后预先获得的RGB图像由7×7的特征图表示，特征通道数为1024；

c)使用8个不同权重的并列的卷积层对特征图进行卷积操作，在空间和通道上对特征图进行降维提特征处理，得到8个不同结果的高维度的特征图，使用reshape函数将8个高维度的特征图的对应通道连接起来，得到288个8维向量表示行人单一属性，通过公式

使用非线性挤压函数对每个向量的长度进行标准化处理，

为第k个8维向量，k∈[1,288]，通过公式

计算由288个8维向量与权重矩阵w_k相乘得到1024个24维向量

为实数空间，通过公式

对24维向量

进行耦合计算，得到的耦合计算结果

对每一个行人类别做对应的向量表示，每个行人类别数为N，n∈[1,N]，

为耦合系数；

d)将步骤a)中的部件语义分割图像和步骤b)中的特征图输入部件语义对齐模块实现特征对齐，所述部件语义对齐模块包括反卷积层、归一化、激活函数、1×1的卷积层；

e)通过公式L＝λ₁L_ID+λ₂L_triplet+λ₃L_part计算损失函数L，式中L_ID为分类损失，L_triplet为三元组损失，L_part为部件语义对齐损失，λ₁、λ₂、λ₃为权重；

f)通过损失函数L优化深度学习模型用于行人特征提取，将给定的一张行人图像在优化后的深度学习模型中的测试集中检索得到同一身份的其他行人图像并返回排序列表。

2.根据权利要求1所述的基于衣物脱敏网络的多粒度换衣行人重识别方法，其特征在于：步骤a)中分割算法模型为DANet网络模型，将DANet网络模型在COCO Densepose数据集上进行预训练。

3.根据权利要求1所述的基于衣物脱敏网络的多粒度换衣行人重识别方法，其特征在于：步骤b)中的卷积神经网络使用在ImageNet数据集上预训练的DenseNet121作为骨干网络。

4.根据权利要求1所述的基于衣物脱敏网络的多粒度换衣行人重识别方法，其特征在于：步骤c)中卷积层的卷积核大小为2×2，步长为2。

5.根据权利要求1所述的基于衣物脱敏网络的多粒度换衣行人重识别方法，其特征在于：步骤d)中反卷积层为步长为2的3×3的反卷积层。

6.根据权利要求1所述的基于衣物脱敏网络的多粒度换衣行人重识别方法，其特征在于，步骤e)包括如下步骤：

e-1)通过公式

计算得到分类损失L_ID，式中y_n为输入的一图像所述的行人类别，当该图像属于行人n时，y_n＝1，当该图像不属于行人n时，y_n＝0，n∈[1,N]，λ为权重，λ＝0.5，m⁺与m^-为设定边界，

e-2)通过公式

计算三元组损失L_triplet，式中f_a为从anchor图像中提取的特征，f_p为从positive图像中提取的特征,f_n为从negative图像中提取的特征，α为边界超参数，P每个批次训练的类别个数，K为每个类别中的图像张数；

e-3)部件语义对齐损失L_part的损失函数采用cross-entropy loss。

7.根据权利要求1所述的基于衣物脱敏网络的多粒度换衣行人重识别方法，其特征在于，步骤f)中：优化后的深度学习模型提取出测试集中所有图像的特征向量表示，将给定的一张行人图像I₁与测试集中的一图像I₂通过公式

分别计算代表相似性的欧氏距离

为通过网络前向传播得到的I₁的特征向量，

为通过网络前向传播得到的I₂的特征向量，根据计算得到的相似性从高到低对测试集中的图像进行排序，按该排序返回检索结果列表。

Images