CN113569639A - 一种基于样本中心损失函数的跨模态行人重识别方法 - Google Patents

Abstract

本发明公开了一种基于样本中心损失函数的跨模态行人重识别方法，具体步骤包括：对跨模态行人重识别数据集进行数据增强和批采样；构建具有模态特异结构的深度特征提取模型；在深度特征提取模型后设置全局平均池化层，得到第一阶段特征用于计算样本中心损失；对第一阶段特征进行归一化，得到第二阶段特征用于计算身份分类损失；使用样本中心损失和身份分类损失联合监督跨模态行人重识别网络的训练；使用训练好的网络进行跨模态行人重识别。本发明提出的样本中心损失函数旨在缓解不同模态行人特征之间的显著差异，提高同类行人特征的一致性和异类行人特征的区分性，实现更好的跨模态行人重识别效果。

Description

一种基于样本中心损失函数的跨模态行人重识别方法

技术领域

本发明属于图像处理、模式识别技术领域，特别地涉及一种基于样本中心损失函数的跨模态行人重识别方法。

背景技术

行人重识别技术能够在不同相机所采集的行人图像中查找和匹配目标行人。随着视频监控的广泛普及，行人重识别技术在安防、交通、医疗以及智能生活等领域发挥着日益重要的作用。现有的关于行人重识别的技术主要集中在可见光的行人重识别，但可见光相机在黑暗的环境中无法正常使用，因此许多新型摄像头能够根据环境变化切换为红外模式，进行24小时不间断的监控。在这种情况下，跨模态行人重识别技术被提出，旨在将可见光(RGB)行人图像与只有灰度信息的红外(IR)行人图像进行匹配，实现跨模态的行人检索。跨模态行人重识别技术弥补了传统的可见光行人重识别的在夜间监视场景中的局限，从而提高行人重识别技术的适用性。

行人重识别任务受到光照变化、行人姿态变化、不同拍摄视角和外界遮挡等诸多因素的影响，导致同一个行人在不同摄像机下可能存在较大的外观差异。此外，由于可见光和红外相机的成像原理不同，捕获的RGB、IR行人图像存在严重的跨模态差异。这些问题使得跨模态行人重识别任务极具挑战性。

针对跨模态行人重识别任务，现有的方法往往采用结构优化的卷积神经网络(CNN)，如深度补零(zero-padding)网络和双路(two-stream)网络，它们具有模态特异的网络结构，有利于处理行人图像的模态差异。更多方法通过优化训练网络的损失函数，为跨模态的行人图像提取到具有判别性的行人特征。如Ye等人提出的双向双约束高阶损失(BDTR)，Hao等人提出的相互排序损失(Reciprocal ranking loss)和Liu等人提出的双模态三元组损失(Dual-modality triplet loss)。它们均采用一种改进的跨模态(Cross-modality)双向三元组损失，使得不同模态同类行人图像的特征相互靠近，不同模态异类行人图像的特征相互远离。此外，它们采用一种额外的模态内(Intra-modality)度量损失，对相同模态行人特征之间的距离进行约束。然而，这些损失函数并没有直接约束跨模态行人特征之间的差异，导致不同模态行人特征之间的距离鸿沟直接影响到跨模态行人重识别的性能。

发明内容

本发明为了解决现有跨模态行人重识别技术的不足，提出了一种基于样本中心损失函数的跨模态行人重识别方法，旨在通过直接约束跨模态行人特征之间的差异，同时提高同类行人特征的一致性与异类行人特征的区分性，进一步提升跨模态行人重识别的性能。

为了实现上述目的，本发明提出了一种基于样本中心损失函数的跨模态行人重识别方法包含以下步骤：

步骤S1，对跨模态行人重识别的训练数据集进行数据增强；

步骤S2，对训练数据集进行批采样，构建多个批次的训练数据；

步骤S3，构建具有模态特异结构的深度特征提取模型；

步骤S4，在所述深度特征提取模型后设置全局平均池化层，输出得到第一阶段特征；

步骤S5，设置样本中心损失函数，对第一阶段特征计算样本中心损失；

步骤S6，在所述全局平均池化层后设置批归一化层，对第一阶段特征进行归一化操作，得到第二阶段特征；

步骤S7，在所述批归一化层后设置全连接层作为行人身份分类器，对第二阶段特征进行身份分类。并使用交叉熵损失作为身份分类的损失函数，为分类结果计算身份分类损失；

步骤S8，结合所述样本中心损失函数和身份分类损失函数构建整体损失函数，对所述深度特征提取模型、全局平均池化层、批归一化层和全连接层组成的跨模态行人重识别网络进行优化训练；

步骤S9，使用训练好的跨模态行人重识别网络，对可见光(红外)目标行人图像和图像库中的红外(可见光)行人图像进行特征提取，对提取的特征进行距离度量与排序，得到跨模态的匹配行人图像。

进一步的，所述步骤S2中，对训练数据集进行批采样的方法为：

从训练数据集的行人中随机采样P个人，然后对每个人随机采样K张可见光图像和K张红外图像，生成训练批次的批量大小为N＝2*P*K。

进一步的，所述步骤S3中，构建具有模态特异结构的深度特征提取模型的方法为:

使用深度模型ResNet-50作为基础结构。该模型主要包含5个卷积块，为构建模态特异结构，将前n(n∈[1，5])个卷积块设置为双路的，分别接收可见光和红外模态的图像样本。

进一步的，所述步骤S5中，样本中心损失函数包含两个基于中心特征的损失项，分别为样本中心距离损失和样本中心三元组损失，具体包含以下计算步骤：

步骤S51，为当前批次的训练样本中的每个行人类别y计算中心特征c_y，其计算公式如下：

其中，2K是当前批次中第y类行人的可见光和红外样本的总量；v_j和t_j分别表示第y类行人的第j张可见光样本和第j张红外样本的第一阶段特征。

步骤S52，基于中心特征计算样本中心距离损失，其表达式如下：

其中，N为批量大小；x_i为当前批次中第i个样本的第一阶段特征，其行人类别为y_i；

为第y_i类行人的中心特征；D(·)为距离函数。

步骤S53，基于中心特征计算样本中心三元组损失，其表达式如下：

其中，N为批量大小；x_i为当前批次中第i个样本的第一阶段特征，其行人类别为y_i；

为第y_i类行人的中心特征；

为第y_k(y_i≠y_k)类行人的中心特征；D(·)为距离函数。

进一步的，所述步骤S6中，身份分类损失函数的表达式为：

其中y_i为当前批次中第i张图像样本的真实类别标签，p(y_i)为对当前批次中第i张图像的第二阶段特征进行身份分类的概率结果。

进一步的，所述步骤S8中，结合样本中心损失函数和身份分类损失函数构建整体损失函数表达式如下：

L＝λ₁L_ID+λ₂L_SCD+λ₃L_SCT

其中，λ₁，λ₂和λ₃为权重参数，用于调节不同的损失项在整体损失中的重要性程度。

本发明有益效果表现为：

1、本发明对训练数据集进行批采样，保证了训练数据的模态均衡和类别均衡。其中，模态均衡使得网络能够充分且平等地训练不同模态的图像样本；类别均衡有利于三元组损失的计算。

2、本发明构建具有模态特异结构的深度特征提取模型，模态特异结构有助于处理不同模态图像的特有信息，帮助缓解图像层面的模态差异，提取模态共享的区分性特征。

3、本发明的样本中心损失包含样本中心距离损失L_SCD和样本中心三元组损失L_SCT。其中，样本中心距离损失通过直接约束样本特征到同类中心特征之间的距离，能够有效地拉近不同模态同类行人特征的距离，从而极大地了缓解跨模态特征的显著差异，同时保证了同类行人特征的高度一致性；其次，样本中心三元组损失通过促使样本特征到同类中心特征的距离尽可能小于到其最近的异类中心特征的距离，保证了异类行人特征的区分性。

4、本发明结合身份分类损失L_ID监督网络训练，充分利用了全局的行人身份信息，保证了行人特征在全局范围内而不仅仅是在各个批次内的身份判别性。

附图说明

图1为基于样本中心损失函数的跨模态行人重识别方法的流程图。

图2为本发明实施例中跨模态行人重识别网络的示意图。

具体实施方式

为了使本发明的技术目的、技术细节和技术优势更加清晰，下面将结合实施例及其附图对本发明做进一步的描述，但本发明的实施方式不限于下述实施例。

图1所示为一种基于样本中心损失函数的跨模态行人重识别方法的流程图，下面依照流程图步骤说明本发明的具体实现流程。

步骤S1，对跨模态行人重识别的训练数据集进行数据增强；

本实施例中，对RegDB数据集的训练数据集进行数据增强。具体为：调整每一张行人图像的大小为288×144像素；将图像上下左右各进行10像素的填充；对填充的图像进行288×144像素的随机裁剪；对图像进行随机水平翻转。

步骤S2，对训练数据集进行批采样，构建多个批次的训练数据；

本实施例中，对RegDB数据集的训练数据集进行训练批次采样。具体为：从训练数据集的行人中随机采样8个人，然后对每个人随机采样4张可见光图像和4张红外图像，生成训练批次的批量大小为N＝2*8*4＝64。

步骤S3，构建具有模态特异结构的深度特征提取模型；

本实施例中，构建具有模态特异结构的深度特征提取模型的方法为：使用经过预训练的深度模型ResNet-50作为基础结构，该模型主要包含5个卷积块(conv1～conv5)；为构建模态特异结构来适应不同模态行人图像的显著差异，设置双路的不共享权重的conv1卷积块。双路conv1分别接收不同模态的图像数据，处理不同模态的信息；此外，取消conv5卷积块中的下采样层，以获得更细粒度的特征张量。构建得到的深度特征提取模型如图2虚线框内所示。

步骤S4，在所述深度特征提取模型后设置全局平均池化层，输出得到第一阶段特征；

步骤S5，设置样本中心损失函数，对第一阶段特征计算样本中心损失；

本实施例中，对第一阶段特征计算样本中心损失包含以下步骤：

步骤S51，为当前批次的训练样本中的每个行人类别y计算中心特征c_y，其计算公式如下：

其中，2K＝8是当前批次中第y类行人的可见光和红外图像样本的总量，v_j和t_j分别表示第y类行人的第j张可见光图像样本和第j张红外图像样本的第一阶段特征。本实施例中，每批次包含8个行人类别，相应可得到8个中心特征。因此，批次中任意样本特征将对应1个类别相同的同类中心特征和7个类别不同的异类中心特征，用于样本中心损失的计算。

步骤S52，基于中心特征计算样本中心距离损失，其表达式如下：

其中，N为批量大小64；x_i为当前批次中第i个样本的第一阶段特征，其行人类别为y_i；

为第y_i类行人的中心特征，即当前x_i的同类中心特征。D(·)采用欧式距离函数，用于度量样本特征x_i到其同类中心特征

之间的距离。由此可见，样本中心距离损失L_SCD的目的是，促使行人类别为y_i所有的样本特征x_i尽可能地靠近其同类中心特征

在此过程中，不同模态的同类行人特征之间的距离不断减小，从而极大地缓解了跨模态特征的显著差异，同时保证了同类行人特征的高度一致性。

步骤S53，基于中心特征计算样本中心三元组损失，其表达式如下：

其中，N为批量大小64，x_i为当前批次中第i个样本的第一阶段特征，其行人类别为y_i；

为第y_i类行人的中心特征，即当前x_i的同类中心特征；

为第y_k(y_i≠y_k)类行人的中心特征，即当前x_i的异类中心特征；D(·)采用欧式距离函数，用于度量样本特征x_i到其同类中心特征

和异类中心特征

之间的距离。为了简化计算并保证网络正常收敛，L_SCT中采用了难样本挖掘机制，使用距离样本特征x_i最近的异类中心特征

参与三元组距离度量。此外，本发明采用平滑的log(1+exp(·))函数形成软边界三元组损失。由此可见，样本中心三元组损失L_SCT的目的是，促使样本特征到同类中心特征的距离尽可能小于到其最近的异类中心特征的距离，从而保证了异类行人特征的区分性。

步骤S6，在所述全局平均池化层后设置批归一化层，对第一阶段特征进行归一化操作，得到第二阶段特征；

步骤S7，在所述批归一化层后设置全连接层作为行人身份分类器，对第二阶段特征进行身份分类。并使用交叉熵损失作为身份分类的损失函数，为分类结果计算身份分类损失；

本实施例中，身份分类损失函数的表达式如下：

其中y_i为当前批次中第i张图像样本的真实类别标签，p(y_i)为对当前批次中第i张图像的第二阶段特征进行身份分类的概率结果。

步骤S8，结合所述样本中心损失函数和身份分类损失函数构建整体损失函数，对所述深度特征提取模型、全局平均池化层、批归一化层和全连接层组成的跨模态行人重识别网络进行优化训练；

本实施例中，整体损失函数的表达式如下：

L＝λ₁L_ID+λ₂L_SCD+λ₃L_SCT

其中，整体损失函数的权重参数λ₁、λ₂和λ₃分别设置为1、1和5时，训练得到的跨模态行人重识别网络在RegDB测试数据集上具有较优检索性能。

本实施例中，跨模态行人重识别网络的整体结构示意图如图2所示。

步骤S9，使用训练好的跨模态行人重识别网络，对可见光(红外)目标行人图像和图像库中的红外(可见光)行人图像进行特征提取，对提取的特征进行距离度量与排序，得到跨模态的匹配行人图像。

本实施例中，使用RegDB测试数据集对所提出的跨模态行人重识别网络进行测试。首先，在标准测试模式下，使用训练好的跨模态行人重识别网络对可见光目标行人图像和图像库中的红外行人图像进行特征提取，得到维度为2048的第一阶段特征。然后，根据第一阶段特征，计算目标行人图像和图像库行人图像之间的欧氏距离。最后，距离目标行人图像最近的前k张图像库行人图像即为该目标行人图像的rank-k识别结果。

本实施例在RegDB测试数据集上的识别率达到88.02％(rank-1)，85.50％(mAP)和80.69％(mINP)，实现了跨模态行人重识别任务上的先进识别性能。由此可见，本发明所提出的样本中心损失函数，通过直接约束跨模态行人特征之间的差异，提高同类行人特征的一致性与异类行人特征的区分性，有效地提升了跨模态行人重识别的性能。

上述实施例仅为本发明的较佳实施方式，不对本发明的具体实施方法构成限制。因此，在不背离本发明的精神实质与原理的情况下所作的任何修改、替换、组合、简化等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于样本中心损失函数的跨模态行人重识别方法，其特征在于，具体步骤包括：

步骤S1，对跨模态行人重识别的训练数据集进行数据增强；

步骤S2，对训练数据集进行批采样，构建多个批次的训练数据；

步骤S3，构建具有模态特异结构的深度特征提取模型；

步骤S4，在所述深度特征提取模型后设置全局平均池化层，输出得到第一阶段特征；

步骤S5，设置样本中心损失函数，对第一阶段特征计算样本中心损失；

步骤S6，在所述全局平均池化层后设置批归一化层，对第一阶段特征进行归一化操作，得到第二阶段特征；

步骤S7，在所述批归一化层后设置全连接层作为行人身份分类器，对第二阶段特征进行身份分类。并使用交叉熵损失作为身份分类的损失函数，为分类结果计算身份分类损失；

步骤S8，结合所述样本中心损失函数和身份分类损失函数构建整体损失函数，对所述深度特征提取模型、全局平均池化层、批归一化层和全连接层组成的跨模态行人重识别网络进行优化训练；

步骤S9，使用训练好的跨模态行人重识别网络，对可见光(红外)目标行人图像和图像库中的红外(可见光)行人图像进行特征提取，对提取的特征进行距离度量与排序，得到跨模态的匹配行人图像。

2.根据权利要求1所述的方法，其特征在于，所述步骤S2中对训练数据集进行批采样的方法为：

从训练数据集的行人中随机采样P个人，然后对每个人随机采样K张可见光图像和K张红外图像，生成训练批次的批量大小为N＝2*P*K。

3.根据权利要求1所述的方法，其特征在于，所述步骤S3中，构建具有模态特异结构的深度特征提取模型的方法为：

使用深度模型ResNet-50作为基础结构。该模型主要包含5个卷积块，为构建模态特异结构，将前n(n∈[1，5])个卷积块设置为双路的，分别接收可见光和红外模态的图像样本。

4.根据权利要求1所述的方法，其特征在于，所述步骤S5中对第一阶段特征计算样本中心损失，具体包含以下三个步骤：

步骤S51，为当前批次训练样本中的每个行人类别y计算中心特征c_y；

步骤S52，基于中心特征计算样本中心距离损失L_SCD；

步骤S53，基于中心特征计算样本中心三元组损失L_SCT。

5.根据权利要求4所述的方法，其特征在于，所述步骤S51中，中心特征的计算公式为：

其中，2K是当前批次中第y类行人的可见光和红外图像样本的总量，v_j和t_j分别表示第y类行人的第j张可见光图像样本和第j张红外图像样本的第一阶段特征。

6.根据权利要求4所述的方法，其特征在于，所述步骤S52中样本中心距离损失的表达式为：

其中，N为批量大小；x_i为当前批次中第i个样本的第一阶段特征，其行人类别为y_i；

为第y_i类行人的中心特征；D(·)为距离函数。

7.根据权利要求4所述的方法，其特征在于，所述步骤S53中样本中心三元组损失的表达式为：

其中，N为批量大小；x_i为当前批次中第i个样本的第一阶段特征，其行人类别为y_i；

为第y_i类行人的中心特征；

为第y_k(y_i≠y_k)类行人的中心特征；D(·)为距离函数。

8.根据权利要求1所述的方法，其特征在于，所述步骤S6中身份分类损失函数的表达式为：

其中y_i为当前批次中第i张图像样本的真实类别标签，p(y_i)为对当前批次中第i张图像的第二阶段特征进行身份分类的概率结果。

9.根据权利要求1所述的方法，其特征在于，所述步骤S8中整体损失函数的表达式为：

L＝λ₁L_ID+λ₂L_SCD+λ₃L_SCT

其中，λ₁、λ₂和λ₃为可调节的权重参数。

Images