CN109711366B - 一种基于群组信息损失函数的行人重识别方法 - Google Patents

Abstract

本发明公开了一种基于群组信息损失函数的行人重识别方法。该方法通过使用超图对训练样本的群组信息进行建模、学习和表达，提供了一种包含群组信息的损失函数。不同于以往行人重识别中重排序方法，该方法将群组信息引入神经网络的训练过程中。同时，该方法针对不同的基础网络结构，都能提升所训练特征的表达能力和鲁棒性。

Description

一种基于群组信息损失函数的行人重识别方法

技术领域

本发明属于图像分割、自动识别和目标表示邻域，特别地涉及一种基于群组信息损失函数的行人重识别方法。模型训练部分，涉及到超图模型和损失函数的构建以及卷积神经网络的特征学习。

背景技术

视频监控在安全告警、追踪疑犯、走失寻人等工作中起到十分关键的作用。然而，在实际应用的过程中，单一的摄像头并不能分析行人在场景中的位置信息。所以在实际应用场景中，需要根据行人目标的查询图片，在视频监控网络中进行行人重识别。而在多摄像机监控网络中，如何进行行人身份信息有效关联建模，是行人重识别方向的主要难点和核心问题。

针对于行人重识别的问题，传统的方法是通过对行人的颜色、纹理、姿态，以及深度学习方法进行特征提取，然后利用特征相似度进行排序，从而得到最后的行人重识别结果。但是由于不同的而摄像机之间存在角度、光照、摄像机内参等差异，使得在不同的摄像机下同一行人的外观会出现显著的改变，所以在特征提取的过程中，仅仅利用样本对之间的特征相似性，并不足以获得较高的行人再识别准确率。而群组相似性的引入，缓解了相同行人样本在不同摄像机下的差异所带来的影响，提升了最终排序的准确度。然而，目前主流的使用群组相似性的行人重识别算法，都是作为后处理步骤，针对已提取的特征序列进行重排序，而忽略了在特征提取过程中群组信息的利用。

发明内容

本发明为了解决现有行人再识别技术中所存在的问题，提出了一种基于群组信息损失函数的行人重识别方法，从而提升行人重识别的特征的鲁棒性和精确度。

为实现上述目的，本发明公开了一种基于深度群组信息损失的行人重识别方法。该方法为：

步骤1：获取训练用数据集D₀，所述数据集D₀中包含K个行人标签，i＝1…K，每个行人标签包含了N个行人图片，因此，该数据集D₀中了包含了N×K个行人图片。

步骤2,：从数据集D₀随机选取若干个图片，构建多个批次的样本，每个批次的样本中，至少包含了4个行人标签，每个行人标签对应的行人图片数量相同，且至少为4张；每个批次中的图像，均采用卷积神经网络提取其特征向量；

步骤3：针对包含P个标签、每个标签包含Q个行人图片的批次，构建基于群组相似性的超图模型H(v，e，w)。其中，其中v是由该批次中P*Q个样本图像的特征向量构成的特征向量矩阵，e是由P个超边构成的超边矩阵，其中第j个超边为基于该批次中第j类标签的行人图像所构成的超边，w为该批次的权重；

步骤4：基于步骤2中所建立的基于群组相似性的超图模型H(v，e，w)，引入正则化项，构建该批次概率超图目标函数E(f，v，w)。f为该批次中P*Q样本图像的分类相似度向量构成的分类相似度矩阵，所述的分类相似度向量为1*P向量，其中的元素表示图像属于对应类标签的相似度。

步骤5，利用步骤4中所建立的目标函数，求取使得该批次概率超图目标函数E取得最小值的最优解f₀；将最优解f₀代入目标函数E(f，v，w)，得损失函数

Loss_group＝E(f₀，v，w)＝E₁(v，w)。

步骤6，采用卷积神经网络对所有批次中的损失函数进行误差反向传播，输出最后一个批次的最优权重w，作为特征提取的权重；

步骤7.将包含待识别对象的图片输入到步骤6中所述的卷积神经网络中，基于步骤6得到的权重w，获得该识别对象的特征向量；

步骤8.根据步骤7获得的特征向量，计算其与数据集D₀中各个行人图片的特征向量的相似度，按照相似度高低输出识别结果。

进一步地，步骤2中的所描述的构建超图模型具体方法为：

(2.1)利用样本特征欧式距离建立相似性关联A(v，e，w)，之间在投影空间中的关联性；

(2.2)利用(2.1)中所建立的相似性关联，结合顶点和超边从属关系，构建概率超图模型H(v，e，w)；

进一步地，所述步骤8中的相似度包括但不限于欧氏距离、余弦距离、马氏距离等。

进一步地，采用的神经网络包括但不限于深度残差网络。

进一步地，所述步骤4中的正则化项包括但不限于L1正则化项、L2正则化项。

本发明的有益效果：本发明所提出的基于深度群组信息和概率超图损失的行人重识别方法，能够在特征提取的过程中有效地利用训练样本之间的排序信息和群组相似性，学习得到判别性更强的特征表达。本发明能够有效结合训练图片中的群组相似性和成对相似性，有效缓解深度学习特征提取过程中出现的过拟合现象，获得比现有行人重识别技术更加精确的候选图片排序结果。

附图说明：

图1是基于群组信息损失函数行人重识别算法流程图；

图2是基于群组信息损失函数行人重识别的运算框图；

图3是行人重识别展示结果，其中左侧是待检测图像，右侧最为算法判断的最相似的候选图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚，下面结合具体实施例，对本发明的技术方案做进一步的详细说明。

本发明中，训练用数据集D₀可以在http://www.liangzheng.org/网址下载获取；

本发明中，基于群组相似性的超图模型的构建方法可以参考论文实现：《Learningwith hypergraphs:Clustering,classification,and embedding》。

本发明中，批次概率超图目标函数E的构建方法及其目标函数的求解方法，可以参考凸优化问题的相关求解算法。

以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

参考图1所示，为本发明实施例的基于群组信息损失的行人重识别方法的模型流程图。

本实施例从Duke-MTMC数据集以及Market-1501数据集获取训练用数据集D₀。数据集D₀中包含K个行人标签，i＝1…K，每个行人标签包含了N个行人图片，因此，该数据集D₀中了包含了N×K个行人图片。按照以下方法进行处理：

1.从数据集D₀随机选取若干个图片，构建多个批次的样本，每个批次的样本中，至少包含了4个行人标签，每个行人标签对应的行人图片数量相同，且至少为4张；每个批次中的图像，均采用深度残差网络卷积神经网络提取其特征向量；本实施例中，深度残差网络卷积神经网络采用基础网络框架选择深度残差网络ResNet-50。

2.训练特征表达模型

(1.1)构建超图模型，针对每个训练批次，构建基于群组相似性的超图模型H(v,e,w)，其中v是由该批次中P×Q个样本图像的特征向量构成的特征向量矩阵，e是由P个超边构成的超边矩阵，其中第j个超边为基于该批次中第j类标签的行人图像所构成的超边，w为该批次的权重。

本实施例中，采用如下方法构建超边：每个图片类会被看作一次超边中心类，将该批次中具有相同标签的所有图片生成一条超边，超边中图片与超边之间的距离通过与超边所有图片的平均中心点的变权欧式距离来进行度量。

其中β表示控制权重的参数，固定为0.7。

(1.2)引入正则化损失项，结合能量函数获得目标函数E(f，v，w)，其中正则化损失项的表达式为：

r(f)＝μ||f-r||²

其中r为初始标签向量，u为正则化参数，而目标函数的表达式为：

E(f，v，w)＝ω(f，v，w)+r(f)

本实施例采用的能量函数为：

其中d(u)＝∑_e∈εH(u，e，w)表示顶点度，δ(e)＝∑_v∈VH(v，e，w)表示超边度。

(1.3)通过对(1.2)所建立的目标函数E(f，v，w)，利用其凸优化特性，在该函数一阶导数为0处，可得关于v的f最优解。

(1.4)将(1.3)步骤中计算所得的f代入目标函数E(f，v，w)，得损失函数Loss_group＝E(f₀，v，w)＝E₁(v，w)。本实施例中，损失函数使用包括归一化指数函数，三元组损失函数以及超图损失函数的线性组合，其中三者的权重相等。通过该损失函数，可以学习超图模型H(v，e，w)中的权重系数w和特征v。

(1.5)采用卷积神经网络对所有批次中的损失函数进行误差反向传播，其中神经网络训练策略使用随机梯度下降算法，迭代一定次数或者网络收敛时，完成神经网络训练步骤，从而输出最后一个批次的最优权重w，作为特征提取的权重；从而构建出可以用于行人重识别的神经网络模型。作为本领域的公知常识，在训练前，通常对图像进行预处理，包括现有的随机擦除算法，随机裁剪算法和翻转算法，最后将输入图像归一化到256×128大小。

下面采用该神经网络模型进行行人识别，具体如下：

1.将原始输入图片进行预处理，将输入图像归一化到256×128大小。

2.将图片输入到卷积神经网络中，基于步骤6得到的权重w，获得该识别对象的特征向量；之后计算查询图片与数据集D₀中各个行人图片的特征向量的相似度，其中相似度度量方式使用欧式距离，并按照相似度高低输出最为相似的10个识别结果。图3展示了行人重识别的单张识别结果，从结果中可以看出，使用本发明所提出的算法，在行人重识别任务上具有较为优秀的表现。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于群组信息损失函数的行人重识别方法，其特征在于，该方法为：

步骤1：获取训练用数据集D₀，所述数据集D₀中包含K个行人标签，i＝1…K，每个行人标签包含了N个行人图片，因此，该数据集D₀中包含了N×K个行人图片；

步骤2：从数据集D₀随机选取若干个图片，构建多个批次的样本，每个批次的样本中，至少包含了4个行人标签，每个行人标签对应的行人图片数量相同，且至少为4张；每个批次中的图像，均采用卷积神经网络提取其特征向量；

步骤3：针对包含P个标签、每个标签包含Q个行人图片的批次，构建基于群组相似性的超图模型H(v，e，w)；其中， v是由该批次中P×Q个样本图像的特征向量构成的特征向量矩阵，e是由P个超边构成的超边矩阵，其中第j个超边为基于该批次中第j类标签的行人图像所构成的超边，w为该批次的权重；所述超边通过如下方法构建：每个图片类会被看作一次超边中心类，将该批次中具有相同标签的所有图片生成一条超边，超边中图片与超边之间的距离通过与超边所有图片的平均中心点的变权欧式距离来进行度量；

步骤4：基于步骤3中所建立的基于群组相似性的超图模型H(v，e，w)，引入正则化项，构建该批次概率超图目标函数E(f，v，w)；f为该批次中P*Q样本图像的分类相似度向量构成的分类相似度矩阵，所述的分类相似度向量为1*P向量，其中的元素表示图像属于对应类标签的相似度；

E(f，v，w)＝ω(f，v，w)+r(f)

r(f)为正则化损失项；

能量函数为：

其中d(u)＝∑_e∈εH(u，e，w)表示顶点度，δ(e)＝∑_v∈VH(v，e，w)表示超边度；

步骤5：利用步骤4中所建立的目标函数，求取使得该批次概率超图目标函数E取得最小值的最优解f₀；将最优解f₀代入目标函数E(f，v，w)，得损失函数：

Loss_group＝E(f₀，v，w)＝E₁(v，w)

步骤6：采用卷积神经网络对所有批次中的损失函数进行误差反向传播，输出最后一个批次的最优权重w，作为特征提取的权重；

步骤7：将包含待识别对象的图片输入到步骤6中所述的卷积神经网络中，基于步骤6得到的权重w，获得该识别对象的特征向量；

步骤8：根据步骤7获得的特征向量，计算其与数据集D₀中各个行人图片的特征向量的相似度，按照相似度高低输出识别结果。

2.根据权利要求1中所述的方法，其特征在于，步骤3中的所描述的构建超图模型具体方法为：

(3.1)利用样本特征欧式距离建立相似性关联A(v,e,w)特征矩阵之间在投影空间中的关联性；

(3.2)利用(3.1)中所建立的相似性关联，结合顶点和超边从属关系，构建概率超图模型H(v,e,w)。

3.根据权利要求1所述的方法，其特征在于，所述步骤8中的相似度为欧氏距离、余弦距离或马氏距离。

4.根据权利要求1所述的方法，其特征在于，采用的神经网络包括深度残差网络。

5.根据权利要求1所述的方法，其特征在于，所述步骤4中的正则化项为L1正则化项或L2正则化项。

Images