CN114202740A - 一种基于多尺度特征融合的行人重识别方法 - Google Patents

Abstract

一种基于多尺度特征融合的行人重识别方法，1)构建基于多尺度融合的模型，并预训练主干网络暨多尺度特征提取器。2)利用多尺度特征提取器生成图像的多尺度特征。3)采用基于Transformer的特征校准模型融合两个不同尺度的特征。4)利用深监督融合从浅层特征到深层特征不断融合不同层级的特征。5)用交叉熵损失和三元组损失监督融合过程。6)将目标测试集图像输入训练好的模型提取特征，根据特征相似度进行排序得到行人重识别的结果，进而实现行人重识别。本发明采用卷积神经网络提取多尺度特征，使用Transformer从全局的角度融合多尺度信息，使得特征同时具有细节和语义信息，有效的提高了行人重识别的准确率。

Description

一种基于多尺度特征融合的行人重识别方法

技术领域

本发明属于图像识别领域，尤其涉及图像检索中特定行人的行人重识别方法。

背景技术

行人重识别(Person Re-identification)旨在从不同摄像机视角，不同时间下采集的参考图像集中检索相同的行人。行人重识别在公共安全，智能视频监控，维护社会治安等方面发挥着重要的作用。姿态，服装，背景，遮挡，光照等人体属性和环境因素的变化导致行人的外观在不同摄像机下存在差异。

随着深度学习技术的发展，卷积神经网络能够在行人重识别任务中取得很好的性能。然而，卷积神经网络由于受限于卷积核的大小，导致网络无法从全局的角度来提取行人的特征。此外，Transformers技术在处理空间和时序信息上有着比卷积神经网络更强的能力，但是Transformers缺少像卷积神经网络的一些特性，如位移，缩放，平移不变性和层次结构。因此，当前亟待提出一种能够融合卷积神经网络和Transformers各自优点的行人重识别方法。

此外，在计算机视觉领域中先前的一些工作证明了融合卷积神经网络的多尺度信息可以带来性能的提升。卷积神经网络浅层的特征包含丰富的细节信息(如纹理，颜色信息)和较少的语义信息(如人的身份信息)，而深层的特征包含更多语义信息和较少的细节信息。在一些计算机视觉的框架中，合理的利用和融合深层和浅层的信息可以为算法带来很大的性能提升。但是行人重识别是一个需要丰富语义信息的特征的任务，简单的融合多尺度的特征会导致算法性能的下降，所以需要找到一种既能保证语义信息，又能补充细节信息的融合方法，以提升算法的表征能力。

发明内容

为解决上述现有技术的缺陷，本发明提供一种行人重识别的方法，其可以融合多尺度的信息，使得网络提取的特征包含足够的语义信息和细节信息。不仅如此，该发明采用卷积神经网络提取多层级特征，使用Transformers来融合多层级特征，进一步增强了网络的表征能力。

本发明的目的可以通过采取如下技术方案达到:

步骤一：多尺度特征提取器：

卷积神经网络作为特征提取的方法广泛应用于计算机视觉的多个领域，包括图像分类，目标检测等，卷积神经网络提供了图像多尺度的特征。本发明采用卷积神经网络来提取多尺度的特征。我们的主干网络采用ResNet网络，将ResNet在ImageNet数据集上进行预训练，使得网络获得理想的初始化参数。

定义多尺度特征提取器输出的第s级特征为

其中C_s表示该层级特征的通道数,H_s,W_s表示特征的高和宽，我们使用ResNet网络的conv2,conv3,conv4,conv5的输出作为要被融合的特征。

步骤二：基于Transformers的特征校准：

卷积神经网络虽然具有平移不变性等特性，但是由于卷积核大小的限制，卷积神经网络无法从全局的角度校准特征，因此我们提出了基于Transformers的特征校准方法(Transformer-based Feature Calibration,简称为TFC)。本方法旨在从全局的角度来融合当前层级和上一层级的特征，在保证语义信息完整的前提下增加特征中的细节信息。

根据步骤1，我们可以得到不同层级输出的特征。该方法插入到每个需要被融合的层级特征之后，其以特征提取器输出的当前层级特征X_s和上一层级经过该方法融合后的特征

作为输入，通过瓶颈层和尺度变换将X_s和Z_s-1调整到同一尺寸(长为H,宽为W)。为了融合当前和上一层级的特征，我们将级联后的特征

送入到Transformers中。

Transformers以像素块的序列作为输入，因此我们将输入Z_s通过扁平化从三维转换为二维特征

其中N＝(H×W)/P²,C_p＝(C_s+C_s-1)×P²，P为像素块的分辨率大小，本发明中设置为1，此外本发明在序列的最前端加入类别元(class token)来作为图像信息的表征，同时每一个像素块与一个可学习的位置编码向量相加，最终得到输入的序列

Transformer模块包含多头自注意力层(Multi-head self-attention layer,简称为MSA)，前向传播网络(Feed-forward network,简称为FFN)，归一化层和残差连接。输入的特征

首先被输入到多头自注意力层中，在每一个头中，三个独立的线性映射层将特征

映射成query，key，value三个特征矩阵

其中

其中N_h是多头注意力层中头的数目，C_p为特征通道数。自注意力权重向量基于query和key之间的关联关系计算得到，本发明使用softmax函数对自注意力权重归一化。多头注意力最终的输出为V和注意力的权重的乘积，计算公式表示为：

然后本发明将多头自注意力层的输出的特征和输入的特征

通过残差连接，并输入到归一化层(LayerNormalization)之中，计算公式表示为：

接着将特征送入到前向传播网络之中，前向传播网络包含两个线性层和GELU激活函数。计算公式表示为：

其中W₁,W₂是全连接层的参数，σ表示GELU激活函数。

由于Transformers缺少对局部信息的加强，本发明将Transformers的输出(不包括类别元)重塑为三维特征，并使用近邻调整模块(由卷积层组成)来增强局部信息。同时为了保证融合后特征语义信息不减少，我们使用三元组损失函数和交叉熵损失函数来对类别元监督。

紧邻调整模块可以表示为：

其中Conv表示为卷积层，Reshape表示为重塑操作。

步骤三：深监督融合：

深监督融合(Deep Supervised Aggregation,简称为DSA)遵循多尺度提取器的层级堆叠，基于融合浅层和深层特征会导致语义信息减少这一发现，本发明通过多粒度监督逐步融合和优化表征。

深监督融合从具有更多细节信息与较少语义信息的浅层特征开始，反复融合具有更多语义信息和更少细节信息的深层特征。此外，为了保证融合后特征中语义信息的完整，我们使用辅助损失函数(三元组损失和交叉熵损失)来监督融合的过程，计算公式可以表示为：

其中，Concat表示级联操作。

本发明的有益效果：本发明基于多尺度特征融合的方法提取行人特征，将浅层的信息作为深层信息的全局先验信息，使得特征可以关注到一些细节的信息，有效的提高了行人重识别的准确率。此外，本发明使用卷积神经网络提取多尺度信息，使用Transformers来融合特征，使得网络同时具有卷积神经网络和Transformers的优点。

附图说明

图1是行人重识别整体流程示意图。

图2是行人重识别模型结构框。

图3是基于Transformer的特征校准模型的结构图。

具体实施方式

为了更好的解释本公开，以便于理解，下面结合附图，通过具体实施方式，对本公开做详细描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获的的其他所有实施例，都属于本发明保护的范围。

S1：构建基于多尺度融合的深度学习网络，并在ImageNet上预训练多尺度特征提取器ResNet50。对于得到conv2，conv3，conv4，conv5层级输出的多尺度特征X₁,X₂,X₃,X₄。设置输入图像的大小位256×128×3，则不同层级输出的特征图为X₁∈R^256×64×32，X₂∈R^{512 ×32×16}，X₃∈R^1024×16×8，X₄∈R^2048×8×4。

S2：不同层级的多尺度特征X₁,X₂,X₃,X₄分别经过瓶颈层(由具有1×1,3×3,1×1的卷积核大小的三层卷积层组成)和尺度变换层(池化层或者双线性插值)，最终将所有尺度的特征变换到统一分辨率，如附图2所示。在本实施例中将所有特征图分辨率变换到16×8的大小，则得到

S3：从最浅层的特征X₁开始，特征X₁经过扁平化得到X₁∈R^128×256，加入类别元后得到特征X₁∈R^129×256，再与位置编码相加，然后经过公式(1)-(4)的处理后，再将得到的序列通过重塑变回输入时的尺寸，然后经过近邻调整模块得到输出Z₁，近邻模块由三层卷积核、大小分别为1×1、3×3、1×1的卷积层组成，如附图3所示。同时对于当前层级的类别元使用辅助函数(三元组损失和交叉熵损失)进行监督，辅助损失函数的权重设置为λ₁。

其中三元组损失函数表示为：

其中d_pos表示为正样本对之间的欧式距离，d_neg表示为负样本对之间的欧式距离，m表示为距离常数，[d]₊表示为d与0之间取最大值。

交叉熵损失函数可以表示为：

其中p_i表示为预测样本属于类别i的概率，q_i表示样本的真实标签。

辅助函数可以表示为：

S4：将得到的特征Z₁与X₂级联，并经过同S3中处理特征X₁相同的方式处理，得到输出特征Z₂，该过程中辅助损失函数的权重设置为λ₂。

S5：对后面所有层级特征采取相同操作,该过程可以表示为公式(6)。

S6：我们使用交叉熵损失和三元组损失共同监督多尺度特征提取器和深监督特征融合的过程，如附图2所示。所以网络的整体损失函数可以表示为：

其中n_al表示为融合模块的数量

S7：将目标测试集图片输入到训练好的模型提取器，多尺度特征提取器conv5输出的特征和深度融合模型输出的特征Z₄经过全局平均池化后级联在一起，求两个向量的相似度，采用欧式距离。然后根据特征的相似度进行排序得到行人重识别结果，进而实现行人重识别。

Claims (1)

1.一种基于多尺度特征融合的行人重识别方法，其特征在于，包括如下步骤：

S1.构建基于多尺度融合的模型，并预训练主干网络即多尺度特征提取器；

采用卷积神经网络来提取多尺度的特征，主干网络采用ResNet网络，将ResNet在ImageNet数据集上进行预训练，使得卷积神经网络获得理想的初始化参数；

多尺度特征提取器输出的第s级特征为

其中C_s表示该层级特征的通道数，H_s,W_s表示该层级特征的高和宽；使用ResNet网络的conv2,conv3,conv4,conv5的输出作为待被融合的特征；

S2.采用基于Transformer的特征校准模型融合两个不同尺度的特征；

将特征校准模型插入到每个待被融合的层级特征之后，以多尺度特征提取器输出的当前层级特征X_s和上一层级经过融合后的特征

作为输入，通过瓶颈层和尺度变换将X_s和Z_s-1调整到同一尺寸；将前一层级特征X_s和上一层级经过融合后的特征Z_s-1级联，级联后的特征

送入到基于Transformers的特征校准模型中；基于Transformers的特征校准模型以像素块的序列作为输入，因此将输入的特征Z_s通过扁平化从三维转换为二维特征

其中，N＝(H×W)/P²,C_p＝(C_s+C_s-1)×P²，P为像素块的分辨率大小，设置为1，此外在序列的最前端加入类别元来作为图像信息的表征，同时每一个像素块与一个可学习的位置编码向量相加，最终得到输入的序列

基于Transformers的特征校准模型包含多头自注意力层、前向传播网络、归一化层和残差连接；输入的特征

首先被输入到多头自注意力层中，在每一个头中，三个独立的线性映射层将特征

映射成query，key，value三个特征矩阵

其中

其中N_h是多头注意力层中头的数目，C_p为特征通道数；自注意力权重向量基于query和key之间的关联关系计算得到；多头自注意力层最终的输出为V和注意力的权重的乘积，计算公式表示为：

然后将多头自注意力层输出的特征和输入的特征

通过残差连接，并输入到归一化层中，计算公式表示为：

接着将特征送入到前向传播网络之中，前向传播网络包含两个线性层和GELU激活函数，计算公式表示为：

其中，W₁,W₂是全连接层的参数，σ表示GELU激活函数；

将得到的序列通过重塑变回输入时的尺寸，然后经过近邻调整模块得到输出Z_s，同时对于当前层级的类别元使用辅助函数进行监督，辅助损失函数的权重设置为λ₁，辅助函数包括三元组损失和交叉熵损失；

其中三元组损失函数表示为：

其中，d_pos表示为正样本对之间的欧式距离，d_neg表示为负样本对之间的欧式距离，m表示为距离常数，[d]₊表示为d与0之间取最大值；

交叉熵损失函数表示为：

其中，p_i表示为预测样本属于类别i的概率，q_i表示样本的真实标签；

辅助函数表示为：

S3.用深监督融合从浅层特征到深层特征迭代融合不同层级的特征，并用交叉熵损失和三元组损失监督融合过程；

深监督融合从具有更多细节信息与较少语义信息的浅层特征开始，反复融合具有更多语义信息和更少细节信息的深层特征；此外，为了保证融合后特征中语义信息的完整，使用辅助损失函数来监督融合的过程，计算公式表示为：

使用交叉熵损失和三元组损失共同监督多尺度特征提取器和深监督特征融合的过程，所以网络的整体损失函数表示为：

其中，n_al表示为融合模块的数量；

S5.对多尺度特征提取器和深监督融合输出特征进行全局平均池化并串联；

S6.将目标测试集图像输入训练好的模型提取特征，根据特征相似度进行排序得到行人重识别的结果，进而实现行人重识别；

将目标测试集图像输入到训练好的模型，对多尺度特征提取器conv5输出的特征和深监督融合模型输出的特征进行全局平均池化并串联，根据欧式距离计算特征之间的相似度，然后根据特征的相似度进行排序得到行人重识别结果，进而实现行人重识别。

Images