CN112686135B - 基于分布拟合的可泛化的行人重识别方法 - Google Patents

Abstract

本发明公开了一种基于分布拟合的可泛化的行人重识别方法，包括选取原始的神经网络模型；获取训练数据集，训练神经网络模型得到初步行人重识别模型；获取测试数据集，测试和修正初步行人重识别模型得到最终的行人重识别模型；实时获取行人图像，采用行人重识别模型进行识别并完成行人的重识别。本发明有效地减少了图像分布差异引起的性能下降，同时提升模型的泛化能力来适应不同场景；因此本发明方法不仅解决了图像分布差异所引起的性能下降问题，而且提升了模型的泛化能力，同时可靠性高、泛化性好而且精确度高。

Description

基于分布拟合的可泛化的行人重识别方法

技术领域

本发明属于图像处理领域，具体涉及一种基于分布拟合的可泛化的行人重识别方法。

背景技术

随着经济技术的发展和人们生活水平的提高，公共安全也成为了人们越来越关注的方面之一。公共安全，是指社会和公民个人从事和进行正常的生活、工作、学习、娱乐和交往所需要的稳定的外部环境和秩序。维护社会公共安全，对于国家和公民均具有重要意义。

在维护公共安全的工作中，监控系统承担着巨大的作用。监控系统最为常用的功能之一是帮助找到特定的行人，例如帮助警方找到罪犯、走失儿童等，但是想要准确且快速地定位到特定行人，仅仅利用现有人为控制的监控系统，显然是不现实的。

如今的监控系统大多依靠人眼来对大量监控视频中的行人进行辨认，从而找到特定的行人。但是这一过程是十分低效并且成本极高的，不仅需要雇佣大量人员来辨识监控视频，而且靠人眼来进行识别是对人力资源的浪费。同时，由于一般监控视频中行人的人脸特征难以获取，因此一般的人脸识别方法无法应用到监控系统中。

因此，为了帮助监控系统更好地定位到特定的行人，基于计算机辅助的行人重识别技术应运而生。针对全监督行人重识别，研究学者们开展了大量研究工作，然而在这些研究中，模型训练和测试都在相同场景下进行，即研究所用行人图像都拍摄于短时间内并且拍摄范围较小，因此这些图像之间的分布差异较小。在这一类场景下，各种深度学习算法取得了很好的效果。

但是这类算法大多仅仅考虑了较为理想的场景，即小范围、短时间内的行人重识别，通常图像数据都采集于大学校园内。然而，想要将行人重识别技术真正应用到实际生活场景中来，首先需要保证算法模型在多场景变换下依然能够保持良好的泛化性能，因为实际中的监控系统往往范围较广、时间跨度大，导致所拍摄图像的分布难以保持一致。但可惜的是现有全监督的行人重识别算法泛化能力不佳，在应用于不同分布图像的时候性能往往较差。

发明内容

本发明的目的在于提供一种可靠性高、泛化性好而且精确度高的基于分布拟合的可泛化的行人重识别方法。

本发明提供的这种基于分布拟合的可泛化的行人重识别方法，包括如下步骤：

S1.选取原始的神经网络模型；

S2.获取训练数据集，并采用训练数据集对步骤S1获取的神经网络模型进行训练，得到初步行人重识别模型；

S3.获取测试数据集，并采用测试数据集对步骤S2获取的初步行人重识别模型进行测试和修正，从而得到最终的行人重识别模型；

S4.实时获取行人图像，并采用步骤S3得到的行人重识别模型进行识别，从而完成行人的重识别。

步骤S1所述的选取原始的神经网络模型，具体为选取ResNet50作为骨干网络，并在公开数据集ImageNet数据集上进行预训练，从而得到原始的神经网络模型。

步骤S2所述的采用训练数据集对步骤S1获取的神经网络模型进行训练，得到初步行人重识别模型，具体包括如下步骤：

A.将训练集中自然场景下的行人图像输入到神经网络模型，从而提取图像风格特征；

B.根据步骤A得到的图像风格特征，采用聚类算法进行聚类，从而给每一张行人图像贴上一个聚类标签；

C.根据步骤B得到的聚类标签，计算神经网络模型中批正则化的统计量；

D.根据步骤C得到的统计量，对神经网络模型中的所有正则层进行批正则化处理；

E.将神经网络模型的全连接层的输出维度设设置为行人总数；

F.采用交叉熵损失函数作为训练时的损失函数；

G.训练完毕后，得到初步行人重识别模型。

步骤A所述的提取图像风格特征，具体为采用如下算式提取图像风格特征：

f_d＝{μ(f₁),σ(f₁),μ(f₂),σ(f₂),...,μ(f_n),σ(f_n)}

式中f_d为提取到的图像风格特征；μ为特征的均值；σ为特征的方差；f_i为从第i层网络提取出的图像特征。

步骤B所述的采用聚类算法进行聚类，具体为采用如下算式进行聚类：

式中a_i为聚类的标签；N_s为输入的总图像数；

为所采用的聚类算法；

为步骤A提取得到的第i个图像的图像风格特征。

步骤C所述的计算神经网络模型中批正则化的统计量，具体为采用如下算式计算统计量：

式中μ_(c)为特征的均值；

为特征的方差；

为聚类标签为c的第n个输入特征；N为聚类标签c中的图像总数。

步骤D所述的对神经网络模型中的所有正则层进行批正则化处理，具体为采用如下算式进行正则化处理：

式中

为正则层的输出；x_n为正则层的输入；γ和β为系数因子；ε为避免除数

为0的正数，且取值越小越好；μ_(c)为步骤C得到的特征的均值；

为步骤C得到的特征的方差。

步骤F所述的采用交叉熵损失函数作为训练时的损失函数，具体为采用如下算式作为损失函数：

式中L_ReID为损失函数；B为训练图像数；p_i(y)为网络对输入所预测的属于标签y的概率。

步骤S3所述的采用测试数据集对步骤S2获取的初步行人重识别模型进行测试，具体包括如下步骤：

a.将测试数据通过步骤A和步骤B得到聚类标签；

b.对每一个聚类的图像进行随机采样；

c.将随机采样得到的图像依次送入神经网络模型，估计测试数据不同聚类的统计量；在每估计完一个聚类的统计量后，提取对应聚类测试图像的特征；

d.利用提取得到的特征矩阵给出识别结果；

e.采用用欧氏距离来衡量特征之间的相似度。

本发明提供的这种基于分布拟合的可泛化的行人重识别方法，提出一种基于分布拟合的可泛化的行人重识别方法，利用神经网络模型对图像提取特征，对得到的图像特征进行聚类算法来区别不同分布的图像，然后将同一分布的图像在训练的同时进行批正则化处理，减小图像之间的分布差异；在测试的时候，对测试数据进行聚类再分别对其采样，利用采样数据来估计得到测试数据的统计量，最后利用估计得到的统计量结合网络模型给出识别结果，有效地减少了图像分布差异引起的性能下降，同时提升模型的泛化能力来适应不同场景；因此本发明方法不仅解决了图像分布差异所引起的性能下降问题，而且提升了模型的泛化能力，同时可靠性高、泛化性好而且精确度高。

附图说明

图1为本发明方法的方法流程示意图。

图2为本发明方法的结构示意图。

图3为本发明方法中的分布拟合示意图。

图4为本发明方法在Market1501数据集上的部分实验结果示意图。

具体实施方式

如图1所示为本发明方法的方法流程示意图，图2则为本发明方法的结构示意图：本发明提供的这种基于分布拟合的可泛化的行人重识别方法，包括如下步骤：

S1.选取原始的神经网络模型；具体为选取ResNet50作为骨干网络，并在公开数据集ImageNet数据集上进行预训练，从而得到原始的神经网络模型；

S2.获取训练数据集，并采用训练数据集对步骤S1获取的神经网络模型进行训练，得到初步行人重识别模型；具体包括如下步骤：

A.将训练集中自然场景下的行人图像输入到神经网络模型，从而提取图像风格特征；具体为采用如下算式提取图像风格特征：

f_d＝{μ(f₁),σ(f₁),μ(f₂),σ(f₂),...,μ(f_n),σ(f_n)}

式中f_d为提取到的图像风格特征；μ为特征的均值；σ为特征的方差；f_i为从第i层网络提取出的图像特征；

B.根据步骤A得到的图像风格特征，采用聚类算法进行聚类，从而给每一张行人图像贴上一个聚类标签；具体为采用如下算式进行聚类：

式中a_i为聚类的标签；N_s为输入的总图像数；

为所采用的聚类算法；

为步骤A提取得到的第i个图像的图像风格特征；

C.根据步骤B得到的聚类标签，计算神经网络模型中批正则化的统计量；具体为采用如下算式计算统计量：

式中μ_(c)为特征的均值；

为特征的方差；

为聚类标签为c的第n个输入特征；N为聚类标签c中的图像总数；

D.根据步骤C得到的统计量，对神经网络模型中的所有正则层进行批正则化处理；具体为采用如下算式进行正则化处理：

式中

为正则层的输出；x_n为正则层的输入；γ和β为系数因子；ε为避免除数

为0的正数，且取值越小越好；μ_(c)为步骤C得到的特征的均值；

为步骤C得到的特征的方差；如图3所示，不同分布的特征会被投射到同一特征分布下；

E.将神经网络模型的全连接层的输出维度设设置为行人总数；

F.采用交叉熵损失函数作为训练时的损失函数；具体为采用如下算式作为损失函数：

式中L_ReID为损失函数；B为训练图像数；p_i(y)为网络对输入所预测的属于标签y的概率；

G.训练完毕后，得到初步行人重识别模型；

S3.获取测试数据集，并采用测试数据集对步骤S2获取的初步行人重识别模型进行测试和修正，从而得到最终的行人重识别模型；具体包括如下步骤：

a.将测试数据通过步骤A和步骤B得到聚类标签；

b.对每一个聚类的图像进行随机采样；

c.将随机采样得到的图像依次送入神经网络模型，估计测试数据不同聚类的统计量；在每估计完一个聚类的统计量后，提取对应聚类测试图像的特征；

d.利用提取得到的特征矩阵给出识别结果；

e.采用用欧氏距离来衡量特征之间的相似度；

式中d(x,y)为欧式距离，x_i和y_i为空间任意两点；

S4.实时获取行人图像，并采用步骤S3得到的行人重识别模型进行识别，从而完成行人的重识别。

本发明方法，采用mAP和rank1精确度等指标来评价算法，在Market→Duke数据集上mAP和rank1可以达到36.8％和68.4％，部分实验结果如图4所示。从图4可以看到，本发明方法能够较好的实现行人的重识别。

Claims (8)

1.一种基于分布拟合的可泛化的行人重识别方法，包括如下步骤：

S1.选取原始的神经网络模型；

S2.获取训练数据集，并采用训练数据集对步骤S1获取的神经网络模型进行训练，得到初步行人重识别模型；具体包括如下步骤：

A.将训练集中自然场景下的行人图像输入到神经网络模型，从而提取图像风格特征；

B.根据步骤A得到的图像风格特征，采用聚类算法进行聚类，从而给每一张行人图像贴上一个聚类标签；

C.根据步骤B得到的聚类标签，计算神经网络模型中批正则化的统计量；

D.根据步骤C得到的统计量，对神经网络模型中的所有正则层进行批正则化处理；

E.将神经网络模型的全连接层的输出维度设置为行人总数；

F.采用交叉熵损失函数作为训练时的损失函数；

G.训练完毕后，得到初步行人重识别模型；

S3.获取测试数据集，并采用测试数据集对步骤S2获取的初步行人重识别模型进行测试和修正，从而得到最终的行人重识别模型；

S4.实时获取行人图像，并采用步骤S3得到的行人重识别模型进行识别，从而完成行人的重识别。

2.根据权利要求1所述的基于分布拟合的可泛化的行人重识别方法，其特征在于步骤S1所述的选取原始的神经网络模型，具体为选取ResNet50作为骨干网络，并在公开数据集ImageNet数据集上进行预训练，从而得到原始的神经网络模型。

3.根据权利要求2所述的基于分布拟合的可泛化的行人重识别方法，其特征在于步骤A所述的提取图像风格特征，具体为采用如下算式提取图像风格特征：

f_d＝{μ(f₁),σ(f₁),μ(f₂),σ(f₂),...,μ(f_n),σ(f_n)}

式中f_d为提取到的图像风格特征；μ为特征的均值；σ为特征的方差；f_i为从第i层网络提取出的图像特征。

4.根据权利要求3所述的基于分布拟合的可泛化的行人重识别方法，其特征在于步骤B所述的采用聚类算法进行聚类，具体为采用如下算式进行聚类：

式中a_i为聚类的标签；N_s为输入的总图像数；

为所采用的聚类算法；

为步骤A提取得到的第i个图像的图像风格特征。

5.根据权利要求4所述的基于分布拟合的可泛化的行人重识别方法，其特征在于步骤C所述的计算神经网络模型中批正则化的统计量，具体为采用如下算式计算统计量：

式中μ_(c)为特征的均值；

为特征的方差；

为聚类标签为c的第n个输入特征；N为聚类标签c中的图像总数。

6.根据权利要求5所述的基于分布拟合的可泛化的行人重识别方法，其特征在于步骤D所述的对神经网络模型中的所有正则层进行批正则化处理，具体为采用如下算式进行正则化处理：

式中

为正则层的输出；x_n为正则层的输入；γ和β为系数因子；ε为避免除数

为0的正数，且取值越小越好；μ_(c)为步骤C得到的特征的均值；

为步骤C得到的特征的方差。

7.根据权利要求6所述的基于分布拟合的可泛化的行人重识别方法，其特征在于步骤F所述的采用交叉熵损失函数作为训练时的损失函数，具体为采用如下算式作为损失函数：

式中L_ReID为损失函数；B为训练图像数；p_i(y)为网络对输入所预测的属于标签y的概率。

8.根据权利要求7所述的基于分布拟合的可泛化的行人重识别方法，其特征在于步骤S3所述的采用测试数据集对步骤S2获取的初步行人重识别模型进行测试，具体包括如下步骤：

a.将测试数据通过步骤A和步骤B得到聚类标签；

b.对每一个聚类的图像进行随机采样；

c.将随机采样得到的图像依次送入神经网络模型，估计测试数据不同聚类的统计量；在每估计完一个聚类的统计量后，提取对应聚类测试图像的特征；

d.利用提取得到的特征矩阵给出识别结果；

e.采用欧氏距离来衡量特征之间的相似度。

Images