CN109919246A - 基于自适应特征聚类和多重损失融合的行人重识别方法 - Google Patents

Abstract

本发明提出了一种基于残差网的自适应特征聚类和多重损失融合的行人重识别方法，用于解决现有技术中行人重识别准确率低的技术问题，实现步骤为：构建基于50层残差网的自适应特征聚类网络；设计自适应特征聚类网络的损失函数；生成训练数据集和测试数据集；将训练数据集载入自适应特征聚类网络，结合数据增强策略，训练得到训练好的自适应特征聚类网络；对测试数据集进行测试。利用自适应特征聚类网络学习到了更具语义性的高层特征，并将其与中层特征相结合，得到了更全面的行人特征，使行人重识别达到较高的精度。

Description

基于自适应特征聚类和多重损失融合的行人重识别方法

技术领域

本发明属于图像处理技术领域，更进一步涉及图像识别技术领域中的一种基于自适应特征聚类和多重损失融合的行人重识别方法。本发明可用于对不同摄像头不同角度的监控视频得到的行人图像是否为同一行人进行识别。

背景技术

行人重识别是通过记录某一时刻出现在摄像头下的目标行人，与监控网络中其它摄像头所记录的行人图像进行对比，并在对比图像中快速找到目标行人，进而实现对目标行人跨摄像头的追踪与定位。通过对比行人图像并判断是否属于同一行人进行重识别，但由于同一行人的不同图像在拍摄角度、背景、光照强度都有所不同，所以得到的行人在姿态、外观、遮挡情况等也都存在差异，这些差异性将给行人重识别任务带来巨大的难度和挑战。

上海交通大学在其申请的专利文献“基于颜色区域特征的行人重识别方法及系统”(专利申请号：201410472544.8，申请公布号：CN104268583A)中提出了一种基于颜色区域特征的行人重识别方法。该方法实现的步骤是：行人前景分割、在线聚类颜色区域、颜色区域合并、颜色区域特征表示、颜色区域距离比较、识别目标。该方法首先采用STEL成分分析选取出视频中的行人目标，对提取的行人目标区域进行k-means在线聚类，得到原始的颜色区域；将相关颜色区域进行合并，得到最终的局部颜色区域；对提取出的颜色区域进行描述，采用外接矩形和区域面积作为描述子；以描述子作为行人重识别的特征表达，实现行人重识别。该方法存在的不足之处是，基于颜色区域构建的行人特征，过于注重颜色特性，使得拥有相同颜色衣服搭配的不同行人被判定为同一行人的错误率较高；该方法仅提取了手工设计的颜色区域特征，该特征缺乏鲁棒性，会使行人重识别的精度较低。

武汉大学在其申请的专利文献“一种基于ImageNet检索的监控视频行人重识别方法”(专利申请号：201510729442.4，申请公布号：CN105354548A)中提出了一种基于ImageNet检索的监控视频行人重识别方法。该方法实现的步骤是：视频预处理、行人检测、图像对齐、ImageNet图像检索、关联视频聚合。该方法首先计算视频帧中运动矢量的强度，排除视频中的大量低活动复杂度的无关背景帧，作为视频预处理；采用帧差法分离出动态视频帧中的活动目标，构造行人图像库；将行人图像库中的图像与目标行人图像进行尺寸和亮度的对齐；采用在ImageNet数据集上训练好的神经网络，以此提取行人图像库中的行人特征和目标行人特征；最后利用上述特征选用余弦距离作为测量标准，进行行人重识别。该方法存在的不足之处是，仅使用ImageNet数据集中的图像对网络做训练，没有使用标定的行人图像对网络做调整，这使得该方法对行人图像特征表征能力弱，从而使行人重识别的准确率偏低。

发明内容

本发明的目的在于针对上述现有技术存在的缺陷，提出了一种基于自适应特征聚类和多重损失融合的行人重识别方法，用于解决现有技术中存在的图像分类准确率低的技术问题。

实现本发明目的的思路是：搭建自适应特征聚类网络的主网络，以提取聚类后的行人特征向量，搭建自适应特征聚类网络的子网络，将主网络的损失值与子网络损失值结合组成自适应特征聚类网络，使自适应特征网络实现多重损失融合，并提高自适应特征聚类网络对行人图像的识别准确率。

本发明的具体步骤包括如下：

(1)搭建自适应特征聚类网络：

(1a)搭建自适应特征聚类网络的主网络：

所述主网络结构依次为：输入层→第一个卷积层→第一个池化层→残差组合块→第二个卷积层→并列乘法层→并列池化层→并列全连接层→并列Softmax分类层，共9层；所述残差组合块由十六个残差块串联组成；所述并列乘法层由6个并列的乘法单元组成；所述并列池化层由6个并列池化单元组成；所述并列全连接层由6个并列全连接单元组成；所述并列Softmax层由6个并列Softmax单元组成；

(1b)搭建自适应特征聚类网络的子网络：

所述子网络结构依次为：第二个池化层→全连接层→Softmax层，共3层；所述子网络的输入为主网络残差组合块中第7个残差块的输出；所述主网络中六个并列Softmax层的输出与子网络Softmax层的输出相连；所述主网络中并列池化层与子网络第二个池化层并联；

(1c)设置自适应特征聚类网络所有参数：

(2)生成行人图像训练集、查询目标行人集和候选行人图像集：

(2a)从摄像头拍摄的视频图像中，各提取一段连续的包含多个行人的视频图像，从每幅视频图像中选取一帧图像，从每帧视频图像中裁取出每个行人所占区域的图像，将所有裁取的图像组成行人图像集合A，将行人图像集合A中的行人图像大小统一设置为384×192像素；

(2b)将行人图像集合A中同一行人的所有图像，标注为同一类行人图像的真实标签，每一类至少包含一幅行人图像，将带有真实标签的所有行人图像组成行人图像训练集；

(2c)从摄像头拍摄的视频图像中，各提取一段连续的包含多人行人的视频图像，从每幅视频图像中选取一帧图像，从每帧视频图像中裁取出每个行人所占区域的图像，将所有裁取的图像组成行人图像集合B，将行人图像集合B中的行人图像大小均设置为384×192像素；

(2d)从行人图像集合B中任意选取一幅行人图像，作为查询目标行人图像，将行人图像集合B中其余的行人图像作为候选行人图像集；

(3)训练自适应特征聚类网络：

(3a)将行人图像训练集输入到自适应特征聚类网络中，将主网络中并列Softmax层输出的六个概率分布与子网络Softmax层输出的概率分布求和，作为每个行人图像的预测概率分布，将预测概率分别中最大值所属类别作为行人图像的预测标签；

(3b)利用随机梯度下降方法，迭代更新自适应特征聚类网络中的每个参数，直到自适应特征聚类网络中每个参数收敛，得到训练好的自适应特征聚类网络；

(4)获取行人图像的特征向量：

(4a)将查询目标行人图像输入到训练好的自适应特征聚类网络，将主网络中并列池化层与子网络第二个池化层并联的输出向量，作为查询目标行人的特征向量；

(4b)将候选行人图像集中的每张候选行人图像，依次输入到训练好的自适应特征聚类网络中，将主网络中并列池化层与子网络第二个池化层并联的输出向量，作为每张候选行人图像的特征向量；

(5)计算特征向量间的距离：

利用欧氏距离公式，计算查询目标行人图像特征向量与候选行人集中每张行人图像特征向量之间的欧氏距离；

(6)获得匹配图像：

将所有的欧式距离按照从小到大排序，将排序后的前100幅候选行人图像作为行人重识别后的匹配图像。

本发明与现有的技术相比，具有以下优点：

第一，由于本发明构建了自适应特征聚类网络，并使用行人图像训练自适应特征聚类网络，使自适应特征聚类网络学习到行人图像的深度高级特征，并对深度高级特征进行自适应聚类，使提取到的特征更加具有语义性，克服了现有技术存在特征缺乏鲁棒性的问题，使得本发明提高了行人重识别的准确率。

第二，由于本发明构建的自适应特征聚类网络将网络末端损失值与网络中层损失值相结合进行训练，使网络学习到了更全面的行人特征信息，克服了图像特征表征能力弱的问题，使得本发明有效地提高了行人重识别的准确率。

附图说明

图1是本发明的实现流程图；

图2是本发明的仿真结果对比图。

具体实施方式

以下结合附图，对本发明进行进一步详细说明。

参照图1，对本发明的具体步骤做进一步的详细描述。

步骤1，搭建自适应特征聚类网络。

搭建自适应特征聚类网络的主网络，其主网络结构依次为：输入层→第一个卷积层→第一个池化层→残差组合块→第二个卷积层→并列乘法层→并列池化层→并列全连接层→并列Softmax分类层，共9层；所述残差组合块由十六个残差块串联组成；所述并列乘法层由6个并列的乘法单元组成；所述并列池化层由6个并列池化单元组成；所述并列全连接层由6个并列全连接单元组成；所述并列Softmax层由6个并列Softmax单元组成。

搭建自适应特征聚类网络的子网络，其子网络结构依次为：第二个池化层→全连接层→Softmax层，共3层；所述子网络的输入为主网络残差组合块中第7个残差块的输出；所述主网络中六个并列Softmax层的输出与子网络Softmax层的输出相连；所述主网络中并列池化层与子网络第二个池化层并联。

设置自适应特征聚类网络所有参数，将第一个卷积层的卷积核大小设置为7×7，步长为2×2，卷积核个数为64，填充大小为3×3，填充方式为补零；将第一个池化层滑窗大小设置为3×3，步长为2×2，使用最大池化，填充大小为1×1，填充方式为补零；将第二个卷积层的卷积核大小设置为3×3，步长为1×1，卷积核个数为6，填充大小为1和1，填充方式为补零；将并列池化层和第二个池化层设置为全局平均池化；将并列全连接层和全连接层的分类个数设置为751；将残差组合内一至三号残差单元的参数为，卷积核一大小设置为1×1，步长为1×1，卷积核个数为64；卷积核二大小设置为3×3，步长为1×1，卷积核个数为64；卷积核三大小设置为1×1，步长为1×1，卷积核个数为256；将残差组合内四至七号残差单元的参数为，卷积核一大小设置为1×1，步长为1×1，卷积核个数为128；卷积核二大小设置为3×3，步长为1×1，卷积核个数为128；卷积核三大小设置为1×1，步长为1×1，卷积核个数为512；将残差组合内八至十三号残差单元的参数为，卷积核一大小设置为1×1，步长为1×1，卷积核个数为256；卷积核二大小设置为3×3，步长为1×1，卷积核个数为256；卷积核三大小设置为1×1，步长为1×1，卷积核个数为1024；将残差组合内十四至十六号残差单元的参数为，卷积核一大小设置为1×1，步长为1×1，卷积核个数为512；卷积核二大小设置为3×3，步长为1×1，卷积核个数为512；卷积核三大小设置为1×1，步长为1×1，卷积核个数为2048。

步骤2，生成行人图像训练集、查询目标行人集和候选行人图像集。

从摄像头拍摄的视频图像中，各提取一段连续的包含多个行人的视频图像，从每幅视频图像中选取一帧图像，从每帧视频图像中裁取出每个行人所占区域的图像，将所有裁取的图像组成行人图像集合A，将行人图像集合A中的行人图像大小统一设置为384×192像素。

将行人图像集合A中同一行人的所有图像，标注为同一类行人图像的真实标签，每一类至少包含一幅行人图像，将带有真实标签的所有行人图像组成行人图像训练集。

从摄像头拍摄的视频图像中，各提取一段连续的包含多人行人的视频图像，从每幅视频图像中选取一帧图像，从每帧视频图像中裁取出每个行人所占区域的图像，将所有裁取的图像组成行人图像集合B，将行人图像集合B中的行人图像大小均设置为384×192像素。

从行人图像集合B中任意选取一幅行人图像，作为查询目标行人图像，将行人图像集合B中其余的行人图像作为候选行人图像集。

步骤3，训练自适应特征聚类网络。

将行人图像训练集输入到自适应特征聚类网络中，将主网络中并列Softmax层输出的六个概率分布与子网络Softmax层输出的概率分布求和，作为每个行人图像的预测概率分布，将预测概率分别中最大值所属类别作为行人图像的预测标签。

利用随机梯度下降方法，迭代更新自适应特征聚类网络中的每个参数，直到自适应特征聚类网络中每个参数收敛，得到训练好的自适应特征聚类网络。

第一步，利用下述交叉熵公式，计算行人图像训练集中每个行人图像的预测标签与该行人图像对应真实标签的交叉熵。

所述交叉熵公式如下：

其中，L_h表示行人图像训练集中第h个行人图像的预测标签与该行人图像对应真实标签的交叉熵，K表示行人图像训练集中行人图像类别总数，∑表示求和操作，k表示行人图像训练集中行人图像类别的序号，p_h(k)表示行人图像训练集中第h个行人图像在第k类的标签概率，log表示以2为底的对数操作，q_h(k)表示自适应特征聚类网络预测第h个行人图像为第k类的概率。

第二步，将所有交叉熵之和作为自适应特征聚类网络的损失值。

第三步，利用下述梯度下降公式，训练自适应特征聚类网络：

其中，x’_i表示自适应特征聚类网络中第i个参数更新后的参数值，x_i表示自适应特征聚类网络中第i个参数值，lr表示取值为0.01的自适应特征聚类网络学习率，表示求偏导操作，L表示自适应特征聚类网络的损失值。

步骤4，获取行人图像的特征向量。

将查询目标行人图像输入到训练好的自适应特征聚类网络，将主网络中并列池化层与子网络第二个池化层并联的输出向量，作为查询目标行人的特征向量。

将候选行人图像集中的每张候选行人图像，依次输入到训练好的自适应特征聚类网络中，将主网络中并列池化层与子网络第二个池化层并联的输出向量，作为每张候选行人图像的特征向量。

步骤5，计算特征向量间的距离。

利用欧氏距离公式，计算查询目标行人图像特征向量与候选行人集中每张行人图像特征向量之间的欧氏距离。

欧氏距离公式如下：

其中，d(x,y)表示欧几里得空间中向量x与向量y的距离，表示开方操作，n表示向量的维度，∑表示求和操作，j表示维度序号，x_j表示向量x第j维的值，y_j表示向量y第j维的值。

步骤6，获得匹配图像。

将所有的欧式距离按照从小到大排序，将排序后的前100幅候选行人图像作为行人重识别后的匹配图像。

以下通过仿真实验，对本发明的技术效果作进一步说明:

1、仿真条件

本发明的仿真实验是在主频2.40GHz*16的Xeon(R)CPU、内存64GB的硬件环境和pytorch的软件环境下进行的。

2、仿真内容与结果分析：

本发明的仿真实验是使用本发明的方法，在公开数据集Market-1501上对行人重识别模型进行测试，输入公开数据集中的目标行人图像，得到与目标行人图像相匹配的前100幅候选行人图像，根据前100幅候选行人图像，按照下式，依次得到自适应特征聚类网络在Rank-1评价指标到Rank-100评价指标之间的准确率：

其中，p_t表示模型在Rank-t评价指标下的准确率，t＝1,2,…,100，k_t表示网络选取的前t幅最佳匹配图像中与目标行人为同一行人的图像个数，M_t表示候选行人集中与目标行人为同一行人的所有图像个数。

以Rank-t评价指标中的t值为横坐标，自适应特征聚类网络在Rank-t评价指标下的准确率为纵坐标，画出自适应特征聚类网络的100个累计匹配散点，并用直线连接100个累计匹配散点得到累计匹配图；以同样的步骤，依次测试并画出ResNet-50网络和DenseNet-161网络的累计匹配图，如图2所示，图2中以圆形标示的曲线表示ResNet-50网络的累计匹配曲线，图2中以三角形标示的曲线表示DenseNet-161网络的累计匹配曲线,图2中无标示的曲线表示自适应特征聚类网络的累计匹配曲线。

从图2中可看出，自适应特征聚类网络的累计匹配曲线在ResNet-50网络和DenseNet-161网络的累计匹配曲线上方，即在相同Rank-t评价标准下，自适应特征聚类网络具有更高的准确率，说明本发明利用自适应特征聚类网络学习到了更具语义性的行人高层特征，得到了更全面的行人特征信息，使行人重识别达到较高的精度。

Claims (5)

1.一种基于多尺度特征学习和特征分割的行人重识别方法，其特征在于，利用所构建的多尺度特征学习网络提取行人图像多尺度特征，利用所构建的特征分割模块提取不同尺度下全局特征和粗细两种不同粒度的局部特征；该方法的具体步骤包括如下：

(1)构建多尺度特征学习模块：

(1a)搭建一个11层的多尺度特征学习模块，其结构依次为：输入层→卷积层→最大池化层→八个沙漏模块；所述沙漏模块的结构为十个串联的残差块，其中第一个残差块的输出与第十个残差块的输入相连接，第二个残差块的输出与第九个残差块的输入相连接，第三个残差块的输出与第八个残差块的输入相连接，第四个残差块的输出与第七个残差块的输入相连接；

(1b)设置多尺度特征学习模块各模块参数；

(2)构建特征分割模块：

(2a)搭建八个4层的特征分割模块，其结构依次为：特征分割层→全局池化融合层→全卷积层→SoftMax分类层；

(2b)设置特征分割模块各层参数如下：将池化融合层输出的特征映射图设置为1792个，将全卷积层的输出特征映射图设置为256个；

(3)构建特征学习网络：

将多尺度特征学习模块中的每个沙漏模块输出与每个特征分割模块输入一对一连接，将每个沙漏模块中的第七、八、九、十共四个残差块输出与每个特征分割模块输入四对一连接；

(4)对包含行人的视频进行预处理：

(4a)从摄像头拍摄的视频图像中，各提取一段连续的包含多人行人的视频图像，从每幅视频图像中选取一帧图像，从每帧视频图像中裁取出每个行人所占区域的图像，将所有裁取的图像组成行人图像集合A，将行人图像集合A中的行人图像大小统一设置为384×124像素；

(4b)将行人图像集合A中同一行人的所有图像，标注为同一类行人图像的真实标签，每一类至少包含一幅行人图像，将带有真实标签的所有行人图像组成行人图像训练集；

(4c)从摄像头拍摄的视频图像中，各提取一段连续的包含多人行人的视频图像，从每幅视频图像中选取一帧图像，从每帧视频图像中裁取出每个行人所占区域的图像，将所有裁取的图像组成行人图像集合B，将行人图像集合B中的行人图像大小统一设置为384×124像素；

(4d)从行人图像集合B中任意选取一幅行人图像，作为查询目标行人图像，将行人图像集合B中其余的行人图像作为候选行人图像集；

(5)训练特征学习网络：

(5a)将行人图像训练集输入到特征学习网络，将第八个特征分割模块SoftMax分类层输出的概率分布，作为每个行人图像的预测概率分布，将预测概率分别中最大值所属类别作为行人图像的预测标签；

(5b)使用标签平滑的交叉熵公式，计算行人图像训练集中每个行人图像的预测标签与该行人图像对应真实标签的交叉熵，将所有交叉熵之和作为特征学习网络的损失值；

(5c)使用随机梯度下降法，训练特征学习网络；

(6)计算特征距离：

(6a)将查询目标行人图像和候选行人图像集中每个行人图像输入到特征学习网络，将特征学习网络中第八个特征分割模块全卷积层输出的特征映射图，作为每个行人图像特征；

(6b)利用欧氏距离公式，计算查询目标行人图像特征与候选行人集中每个行人图像特征的特征距离；

(7)获得匹配图像：

将候选行人集中的行人图像按照特征距离的大小升序排序，将前20幅图像作为行人重识别的匹配图像。

2.根据权利要求1所述的基于多尺度特征学习和特征分割的行人重识别方法，其特征在于，步骤(1a)中所述残差块为九层，其结构依次为：第一个批标准化层→第一个ReLU层→第一个卷积层→第二个批标准化层→第二个ReLU层→第二个卷积层→第三个批标准化层→第三个ReLU层→第三个卷积层，第一个批标准化层与第三个卷积层相连接后作为残差块的输出；将残差块中第一个卷积层的特征映射图设置为64个，卷积核大小设置为3×3个像素，步长设置为1个像素，将残差块中第二个卷积层的特征映射图设置为256个，卷积核大小设置为1×1个像素，步长设置为1个像素，将残差块中第三个卷积层的特征映射图设置为256个，卷积核大小设置为3×3个像素，步长设置为1个像素。

3.根据权利要求1所述的基于多尺度特征学习和特征分割的行人重识别方法，其特征在于，步骤(1b)中所述多尺度特征学习网络各模块的参数设置如下：将多尺度特征学习网络中的卷积层特征映射图总数设为64个，卷积核大小设置为7×7个像素，步长大小设置为2个像素；将多尺度特征学习网络中的最大池化层的步长大小设置为2个像素。

4.根据权利要求1所述的基于多尺度特征学习和特征分割的行人重识别方法，其特征在于，步骤(5b)中所述标签平滑的交叉熵公式如下：

其中，L_h表示行人图像训练集中第h个行人图像的预测标签与该行人图像对应真实标签的交叉熵_，K表示行人图像训练集中行人图像类别总数，∑表示求和操作，k表示行人图像训练集中行人图像类别的序号，ε表示取值为0.1的平滑参数，q_h(k)表示行人图像训练集中第h个行人图像为第k(1≤k≤K)类的真实标签概率，log表示以2为底的对数操作，p_h(k)表示行人图像训练集中第h个行人图像为第k(1≤k≤K)类的预测标签概率。

5.根据权利要求1所述的基于多尺度特征学习和特征分割的行人重识别方法，其特征在于，步骤(6b)中所述欧氏距离公式如下：

其中，d(x,y)表示欧几里得空间中向量x与向量y的距离，表示开方操作，n表示向量的维度，∑表示求和操作，j表示维度序号，x_j表示向量x第j维的值，yj表示向量y第j维的值。