CN107506700A

CN107506700A - 基于广义相似性度量学习的行人再识别方法

Info

Publication number: CN107506700A
Application number: CN201710666711.6A
Authority: CN
Inventors: 董虎胜; 陆萍
Original assignee: Suzhou Institute of Trade and Commerce
Current assignee: Suzhou Institute of Trade and Commerce
Priority date: 2017-08-07
Filing date: 2017-08-07
Publication date: 2017-12-22
Anticipated expiration: 2037-08-07
Also published as: CN107506700B

Abstract

本发明提供了一种基于广义相似性度量学习的行人再识别方法，首先将训练样本的特征表达向量使用主成份分析降维，再进一步将降维后的特征表达向量投影到类内子空间，进而在类内子空间中学习由内积相似性度量矩阵与马氏距离度量矩阵所共同定义的广义相似度函数，最后在测试样本上进行行人再识别。本发明充分利用了训练样本间的距离信息与角度信息，获得的两种度量矩阵具有互补性。经过在VIPeR数据集上的验证可知，联合学习内积相似性度量与马氏距离度量能够有效地提升行人再识别的性能。

Description

基于广义相似性度量学习的行人再识别方法

技术领域

本发明涉及图像处理技术领域，具体地，涉及一种基于广义相似性度量学习的行人再识别方法。

背景技术

在由多摄像机组成的分布式视频监控系统中常常需要对某一行人实现跨摄像机的连续跟踪，或者是从不同摄像机拍摄的画面中检索出具有特定外观的行人。这项根据衣着外观信息对不同监控机下拍摄到的行人建立身份关联的任务被称为行人再识别，它是实现多摄像机跟踪与行人检索等应用的核心技术。

但是受到摄像机内部参数不同、光照变化、拍摄视角变化、行人姿态与成像遮挡等因素，在不同摄像机画面中同一行人的外观会存在巨大的差异，另外在同一摄像机下还会存在不同行人衣着相似的情况，使得根据衣着外观进行身份验证的行人再识别工作相当困难。

现有的行人再识别技术大致上可以分为两类：基于特征表达的行人再识别技术与基于匹配模型的行人再识别技术。基于特征表达的方法主要关注从行人图像中获取一些具有判别性的特征描述子，再使用一些无需学习的方法来计算不同摄像机下行人画面间的距离或相似度。但由于特征描述子存在语意模糊性，而且很难找到对有效对抗所有变化的特征，因此基于特征表达的行人再识别技术在匹配性能上相对较弱。与基于特征表达的行人再识别技术相比，基于匹配模型的行人再识别技术更关注于从已标注了身份的行人图像数据中学习匹配模型的参数，并将其应用到新的测试数据中。由于利用了训练数据标签所提供的判别信息，学习匹配模型往往能够取得更为优秀的行人再识别准确率。

在已公开的论文及专利中已有大量的关于基于学习匹配模型的行人再识别方法。如文献[1]所述的用于K近邻(K Nearest Neighbor,KNN)分类器的大间隔度量学习模型，该模型从训练数据中通过学习一个马氏距离度量矩阵，将具有不同标签的样本距离增大，同时将具有相同标签的样本距离减小。文献[2]中提出一种具有闭合形式解的马氏距离度量学习方法，该方法简单高效无需迭代求解。文献[3]通过最大化不匹配图片对间距离要大于匹配图片对距离的概率，提出了一种基于相对距离比较的度量模型。文献[1]～[3]中的方法仅从训练数据中学习了单个距离度量，样本间的角度信息被忽略掉了，然而样本在高维空间中的角度信息实际上也具有很强的判别性。文献[4]中将行人再识别转化为从不平衡数据中学习SVM分类器与耦合词典的任务，使用学习到的SVM与判别式词典进行行人再识别，但使用SVM模型仅能捕捉到不同行人图像特征表达向量间的一阶关系。文献[5]中采用了深度学习模型来完成行人再识别任务，但是深度模型训练时耗时很长。

文献[1]Weinberger K Q,Saul L K.Distance metric learning for largemargin nearest neighbor classification[J].The Journal of Machine LearningResearch,2009,10:207–244。

文献[2]Koestinger M,Hirzer M,Wohlhart P,et al.Large scale metriclearning from equivalence constraints[C]//Computer Vision and PatternRecognition(CVPR),2012 IEEE Conference on.2012:2288–2295。

文献[3]Zheng W S,Gong S,Xiang T.Re-identification by relativedistance comparison[J].Pattern Analysis and Machine Intelligence,IEEETransactions on,2013,35(3):653–668。

文献[4]Zhang Y,Li B,Lu H,et al.Sample-Specific SVM Learning forPerson Re-identification[C]//IEEE Conference on Computer Vision and PatternRecognition.IEEE,2016:1278-1287。

文献[5]Cheng D,Gong Y,Zhou S,et al.Person Re-identification by Multi-Channel Parts-Based CNN with Improved Triplet Loss Function[C]//IEEEConference on Computer Vision and Pattern Recognition.IEEE,2016:1335-1344。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于广义相似性度量学习的行人再识别方法。

根据本发明提供的基于广义相似性度量学习的行人再识别方法，包括

获取原始监控视频中所有单个行人的图像；

将所述单个行人图像缩放至预设的统一尺寸，得到缩放后的行人图像；

提取每一个缩放后行人图像的特征表达向量；

将所述特征表达向量及所述特征表达向量对应的行人身份标签，划分为互不相交的训练集与测试集；

将所述训练集中所有特征表达向量作主成分分析(Principal ComponentsAnalysis,PCA)降维处理后，再进一步投影到类内子空间；

利用所述训练集中不同摄像机下的行人图像投影到类内子空间的特征表达向量，及所述特征表达向量对应的行人身份标签，通过优化损失函数联合学习获得内积相似性度量矩阵、马氏距离度量矩阵；

利用内积相似性度量矩阵与马氏距离度量矩阵对测试集中的行人进行再识别。

可选地，所述提取每一个缩放后的行人图像的特征表达向量，包括：

步骤A1：将缩放后的行人图像划分为具有相同大小的密集图像块，采用滑动窗口的方法从每个密集图像块中提取特征表达向量，所述特征表达向量包括：(Hue,Saturation,Value，HSV)联合直方图、(Red Green Blue,RGB)联合直方图、尺度不变(LocalTernary Pattern，LTP)直方图；

步骤A2：对相同高度位置上的一行内所有窗口中提取的所述特征向量作最大池化处理，得到缩放后的行人图像对应尺度空间的特征表达向量，记为第一尺度空间特征表达向量；

步骤A3：对缩放后的行人图像作平均池化降采样处理，得到降采样后的行人图像；

步骤A4：将降采样后的行人图像划分为具有相同大小的密集图像块，采用滑动窗口从每个图像块中提取特征表达向量，所述特征表达向量包括：HSV联合直方图、RGB联合直方图、尺度不变LTP直方图；并对相同高度位置上的一行内所有窗口中提取的特征表达向量作最大池化处理，得到降采样后的尺度空间内行人图像的特征表达向量，记为第二尺度空间特征表达向量；

步骤A5：检测缩放后的行人图像中的行人前景，将前景行人划分为8个等高水平条，在去除最顶端与最底端水平条各1/2高度后，再划分为7个等高水平条，从每个切分出的水平条中提取特征表达向量，记为第三尺度空间特征表达向量，所述第三尺度空间特征表达向量包括：HSV联合直方图、RGB联合直方图、颜色名称直方图与尺度不变LTP直方图；

步骤A6：将步骤A2、步骤A4、步骤A5中得到的所有第一尺度空间特征表达向量、第二尺度空间特征表达向量、第三尺度空间特征表达向量进行拼接处理，获得每幅行人图像的最终d维特征表达向量，d为拼接的特征向量的维度。

可选地，所述将所述训练集中所有特征表达向量作PCA降维处理，包括：

假设训练集中的行人图像属于两个视野域不相交的摄像机A和摄像机B；

将训练集中摄像机A拍摄的所有行人图像提取的特征表达向量所组成的矩阵记为其中每一列为一张行人图像的d维特征表达向量，n为特征表达向量的个数，也表示摄像机A下的行人图像数；将训练集中摄像机B拍摄的所有行人图像提取的特征表达向量所组成的矩阵记为其中m为特征表达向量的个数，也表示摄像机B下的行人图像数；令T为摄像机A和摄像机B下所有图像的特征表达向量拼合后的矩阵；

计算均值向量t_k为T矩阵中第k个列向量；再对T中所有列向量作去均值处理，即其中为对n+m维元素全为1的列向量作转置运算；

计算矩阵中的所有列向量的协方差矩阵

对D作特征值分解运算，将所有特征值按照从大到小的顺序排列，取前d′个特征值所对应的特征向量拼成矩阵，记为

使用W_pca将T中的特征表达向量作PCA降维至d′维子空间，即其中U为由n+m列的μ所拼成的矩阵，T的前n列即为PCA降维后的矩阵，记为后m列即为PCA降维后的矩阵，记为

可选地，所述投影到类内子空间，包括：

步骤B1：计算训练集内不同摄像机下具有相同身份标签的特征表达向量之差的协方差矩阵，

式中y_i与y_j分别为x′_i与z′_j所代表的行人身份标签，即指代具有相同身份标签的不同摄像机下行人图像对，x′_i与z′_j分别为X′与Z′的第i、j列；

步骤B2：对作特征值分解其中为一对角矩阵，该对焦矩阵主对角线上各元素为按降序排列的的特征值，由于为半正定矩阵，所以中各元素均非负，对取次幂后按下式将X′与Z′投影到类内子空间，

受的影响，X′与Z′中各列向量具有较大方差的维度将会得到抑制，以降低具有相同身份标签样本间的距离，并增大不同身份标签的行人间距离；

步骤B3：使用获得的投影到类内子空间的训练样本矩阵与定义由内积相似性度量矩阵W与马氏距离度量矩阵M所共同参数化的广义相似性度函数：

式中与分别为与的第i、j列；为双线性函数，在约束W半正定，即W≥0的情况下，W分解为从而有即为使用L_W投影后的样本间内积相似度；为马氏距离函数，在约束M≥0的情况下，将M分解为即为使用L_M投影后样本间的欧氏距离；

步骤B4：在定义的广义相似度函数基础上，进一步定义在整个训练集上的关于W与M的最小化损失函数问题

式中为一个根据训练集自动设置的阈值常数，β_ij为对正、负行人图片对的加权系数，β_ij＝1/N⁺若y_i＝y_j否则β_ij＝1*N^-，N⁺与N^-分别为训练集内正、负行人图片对的数量；

步骤B5：采用交替优化W与M的方法最小化式(4)的损失函数；固定W求解M时，将约束条件M≥0整合到目标函数一起，得到关于M的优化问题：

式中指代d′×d′大小的半正定矩阵集合，为M是否在集合中的示性函数，若则否则的值为+∞；进一步定义：

与以方便使用加速邻近点梯度(Accelerated Proximal Gradient,APG)求解式(5)；

采用迭代优化的APG方法，需要在当前第t(t≥1)步已搜索到的最优点对g(M)线性化以建立邻近点算子

其中<·，·>为矩阵内积运算，||·||_F为矩阵Frobenius范数，η_i为步长，为g(M)函数在点的梯度，即

式中其中H_t为n×m大小的矩阵，元素为R_t和C_t为两个对角阵，且主对角线上元素分别为H_t的行和与列和；

式(6)为关于M的优化问题，通过添加与删除两个与M无关的项，得到：

式(8)为一最小二乘问题，具有闭合形式的解析解：

进一步考虑APG中对于函数的优化问题，需要将投影到半正定锥上，即对作特征值分解后取进而获得向半正定锥投影后的

在获得M_t后，APG利用M_t与M_t-1进行外插值获得进行加速，即

步骤B6：固定M求解W，类似于式(5)，将约束条件W≥0整合到目标函数一起，得到关于W的优化问题：

这里定义与同样用APG迭代求解W；在当前第t步已搜索到的最优点对g(W)线性化建立邻近点算子如下：

其中μ_t为步长，为g(W)在处的梯度，即：

式中Q_t为n×m大小的矩阵，其中元素为

式(11)为关于W的优化问题，通过添加与删除两个与W无关的项，得到：

由式(12)可以解得的具有闭合形式的解析解对作特征值分解并取则即为向半正定锥投影后的结果；

在获得W_t后，APG利用W_t与W_t-1进行外插值获得实现加速，即

步骤B7：交替优化W与M，直到式(4)中函数值的变化量达到指定的收敛阈值∈，输出M_t与W_t。

可选地，所述利用内积相似性度量矩阵与马氏距离度量矩阵对测试数据集中的行人进行再识别；包括：

对所有测试集中缩放后的行人图像的特征表达向量使用在训练集上获得的W_pca与μ进行降维，再投影到类内子空间；

根据测试集中摄像机A拍摄的行人图像向类内子空间投影后的特征表达向量与摄像机B拍摄的行人图像向类内子空间投影后的特征表达向量，计算广义相似度；

对获得的广义相似度矩阵，逐行按降序排序，将每行中排序靠前的摄像机B下的行人图像作为与摄像机A中的各行人图像正确匹配的结果。

与现有技术相比，本发明具有如下的有益效果：

本发明提供的基于广义相似度量学习的行人再识别方法通过从训练数据中联合学习得到内积相似性度量矩阵与马氏距离度量矩阵，通过内积相似性度量矩阵与马氏距离度量矩阵对测试数据进行行人再识别，从而充分利用训练数据中的距离信息与角度信息，提高行人再识别的准确率。具体的，本发明首先将样本投影到了内类子空间后再学习模型参数，能够有效地降低不同摄像机下类内行人图像间的距离，从而有利于将正确匹配图像从错误匹配图像中区分出来。另外在损失函数中对正负样本作了不对称加权处理，避免了不平衡数据的影响。最后，本发明提出的方法中联合学习了马氏距离度量与内积相似度度量，同时利用了训练数据中的距离信息与角度信息，因此获得的匹配模型判别能力会更强。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例的度量学习算法流程图；

图2为本发明一实施例行人再识别常用评价数据集中随机选取的不同摄像机拍摄的行人图像示例图；

图3为本发明一实施例匹配结果的可视化效果图，第1列为摄像机A下的检索图像，其他为利用本发明提取的特征与度量学习方法进行匹配后的排在前二十位的匹配图像，其中正确匹配的图像被加上了边框以突出显示；

图4为本发明所提出的度量学习算法与其他方法在相同的数据集上获得的结果进行性能比较的示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明提供的基于广义相似性度量学习的行人再识别方法，包括：

获取原始监控视频中的所有初始单个行人图像；将所述初始单个行人图像缩放至预设的统一尺寸，得到统一尺寸后的行人图像。

应用于特征表达向量提取算法对行人图像计算特征表达向量；具体的：

(1)对行人图像采用10像素×10像素的窗口，水平/垂直移动步长均为5像素，从上角开始，逐行向右下角开始滑动窗口；从每个滑动窗口内的图像块中提取HSV与RGB联合直方图、尺度不变LTP直方图；对于相同高度位置上的一行内所有窗口中提取的HSV联合直方图作最大池化，即在直方图每个bin上仅保留最大值，对于RGB联合直方图与尺度不变LTP直方图也完成类似的最大池化运算。

(2)对原始图像使用2×2大小的窗口作平均池化的降采样运算，对降采样后的图像重复(1)中的特征提取运算。

(3)再次重复(2)中的平均池化降采样运算与(1)中的特征提取运算。

(4)使用行人图像前景提取算法检测出统一尺寸后的行人图像中的行人前景，再将前景图像划分为8个等高水平条，在去除最顶端与最底端水平条各1/2高度后，再划分为7个等高水平条，从每个切分出的水平条中提出HSV与RGB联合直方图、颜色名称直方图与尺度不变LTP直方图。

(5)将(1)～(4)中获得的特征向量进行拼接，获得最终的每幅行人图像的d维特征向量；

将整个数据集上提取的特征表达向量及对应的行人身份标签划分为互不交叉的训练集与测试集。

在训练集上，将所有行人图像的特征表达向量作PCA降维处理后，再进一步投影到类内子空间，利用不同摄像机下行人图像特征表达向量与标签对应关系，通过优化损失函数联合学习内积相似度度量矩阵与马氏距离度量矩阵。

在测试数据集上，利用学习获得的内积相似度度量矩阵与马氏距离度量矩阵进行行人再识别。

进一步的，对训练数据集作PCA降维的过程如下：

对训练数据集中摄像机A下提取的特征矩阵与摄像机B下提取的特征矩阵进行拼接，即执行操作，其中n和m为特征向量的个数，亦即行人图像数，首先计算均值向量t_k为T矩阵中第k个向量；再对T中所有向量作去均值处理，即其中为对n+m维元素全为1的列向量作转置运算。

进一步计算矩阵中的所有向量计算协方差矩阵对D作特征值分解运算，将分解得到的特征值按照从大到小的顺序排列，取最大的前d′个最大特征值所对应的特征向量拼成矩阵，记为最后使用W_pca对T中各列向量作PCA降维至d′维子空间，即其中U为由n+m列μ所拼成的矩阵，T′的前n列即为PCA降维后的后m列即为PCA降维后的

对PCA降维后的特征矩阵X′与Z′向类内子空间投影，具体过程如下：

(1)计算训练集不同摄像机下的类内行人图片特征表达向量差的协方差矩阵，

式中y_i与y_j分别为x′_i与z′_j所代表的行人身份标签，即指代具有相同身份标签的不同摄像机下行人图像对，x′_i与z′_j分别为X′与Z′的第i、j列。

(2)对作特征值分解其中为一对角阵，其主对角线上各元素为按降序排列的的特征值，由于为半正定矩阵，所以中各元素均非负，对取次幂后按下式将X′与Z′投影到类内子空间，

受的影响，X′与Z′中列向量具有较大方差的的维度将会得到有效的抑制，而这等同于降低具有相同身份标签的样本间的距离，同时起到将不同身份标签的行人间距离增大的作用。

(3)在获得投影到类内子空间的样本后，定义由内积相似性度量矩阵W与马氏距离度量矩阵M所共同参数化的广义相似性度函数：

式中与分别为与的第i、j列；为双线性函数，在约束W半正定即W≥0的情况下，W可分解为从而有即为使用L_W投影后的样本间内积相似度；为马氏距离函数，在约束M≥0的情况下，可将M分解为这样马氏距离可以转换为在L_M投影后空间中的欧氏距离，从而有效地利用样本间的距离信息。

(4)在定义的广义相似性函数基础之上，进一步定义在整个训练集上的关于优化W与M的最小化损失函数问题

式中为一个根据训练集自动设置的阈值常数，β_ij为对正、负行人图片对的加权系数，β_ij＝1/N⁺若y_i＝y_j否则β_ij＝1/N^-，N⁺与N^-分别为训练集内正、负行人图片对的数量。

(5)采用交替优化W与M的方法最小化式(4)损失函数；固定W求解M时，将约束条件M≥0整合到目标函数一起，得到关于M的优化问题：

式中指代d′×d′大小的半正定矩阵集合，为M是否在集合中的示性函数，若则否则其值为+∞；进一步定义：

与以方便使用加速邻近点梯度(Accelerated Proximal Gradient,APG)求解。

其中<·，·>为矩阵内积运算，||·||_F为矩阵Frobenius范数，η_t为步长，为g(M)函数在点的梯度，即

式中由于直接采用计算外积的运算量巨大，因此进一步地将其转化为矩阵乘积运算；其中H_t为n×m大小的矩阵，其中元素为R_t和C_t为两个对角阵，且主对角线上元素分别为H_t的行和与列和。

式(6)为关于M的优化问题，通过添加与删除两个与M无关的项，可得

式(8)为一最小二乘问题，从中可得到的具有闭合形式的解析解

在获得M_t后，APG利用M_t与M_t-1进行外插值获得进行加速，即

(6)固定M求解W，类似于式(5)，将约束条件M≥0整合到目标函数一起，可得到关于W的优化问题

这里定义与同样用APG迭代求解W；在当前第t步已搜索到的最优点对g(W)线性化建立邻近点算子如下

其中μ_t为步长，为g(W)在处的梯度，即

式中Q_t为n×m大小的矩阵，其中元素为

式(11)为关于W的优化问题，通过添加与删除两个与W无关的项，可得

从式中可得到的具有闭合形式的解析解对作特征值分解并取则即为向半正定锥投影后的结果。

在获得W_t后，APG利用W_t与W_t-1进行外插值获得实现加速，即

(7)采用交替优化W与M，直到式(4)中函数值的变化量达到指定的收敛阈值∈，输出M_t与W_t。

进一步的，行人再识别指的是利用学习获得的M_t与W_t，对测试数据集中摄像机A下行人图像对应的特征表达向量与摄像机B下所有行人图像对应的特征表达向量两两计算广义相似度，获得一个相似度矩阵。相似度矩阵中每一行为摄像机A下的一张行人图像与摄像机B下所有行人图像的相似度。对相似度矩阵中每一行按降序排序，获得排序后摄像机B下图片所在位置，位置靠前的图像被认为其中行人与摄像机A下图片中行人越相似。

具体的，对所有测试集中图片特征表达向量使用在训练集上获得的W_pca与μ进行降维，再投影到类内子空间投影。对测试数据集中摄像机A下所有向类内子空间投影后的特征表达向量，与摄像机B下向类内子空间投影后特征表达向量根据公式(3)计算广义相似度。对获得的相似度矩阵，逐行按降序排列，排在第一位置的摄像机B下行人图像被认为与摄像机A下行人图像最为相似。

下面结合具体实施例，对本发明中的技术方案作更加详细的说明，具体的：

步骤1：从行人图像中提取特征表达向量：

步骤1.1：首先将所有行人图像统一缩放到相同的128×64大小；对每张图像采用10×10像素的窗口从图片左上角逐行向右下角滑动，窗口滑动时水平/垂直移动步长均为5像素，保证窗口左右与上下均有50％重叠；从每个窗口的图像块中分别提取HSV与RGB联合直方图、尺度不变LTP直方图；对于相同高度位置上的一行中所有窗口内提取的HSV、RGB联合直方图与尺度不变LTP直方图分别作最大池化运算，即对相同高度位置上的一行中所有滑动窗口内提取的直方图仅保留每个bin上的最大值。

步骤1.2：对原始图像采用不重叠的2×2大小的密集网格进行覆盖进行空间平均池化运算，即对于每个网格中的4个像素取平均值实现将原始图像降采样至原1/2宽度与1/2高度，对降采样后的图像再执行(1)中的特征提取运算。

步骤1.3：对步骤1.2中降采样后的图像再次进行空间平均池化运算与步骤1.1中的特征提取运算。

步骤1.4：使用行人图像前景提取算法检测出统一尺寸后行人图像中的前景行人，再将前景图像划分为8个等高水平条，在去除最顶端与最底端水平条各1/2高度后，将裁剪后的行人图像划分为7个等高水平条，从每个切分出的水平条中提出HSV与RGB联合直方图、颜色名称直方图与尺度不变LTP直方图。

步骤1.5：将步骤1.1～步骤1.4中获得的特征向量进行拼接，获得最终的每幅行人图像的d维特征向量。

步骤2：将数据集划分为互不相交的训练集与测试集；在训练集上计算W_pca降维矩阵与均值向量μ，降维时选择保留所有能量的子空间维度，对训练样本降维后再按式(2)将样本向类内子空间投影。

步骤3：如图1所示，使用本发明所提出的基于广义相似性度量学习算法流程，利用训练数据集上向类内子空间投影后的特征表达向量及跨摄像机的行人图片标签信息，联合学习由内积相似度度量矩阵与马氏距离度量矩阵所参数的广义相似度函数，具体的学习过程如下：

步骤3.1：对于某一数据集(下面以VIPeR数据集为例，图4展示了该数据集不同摄像机拍摄的部分行人图像)，将数据集随机划分为没有重叠的训练集与测试集。如在VIPeR上，将其中包含的632个行人随机划分为各有316个行人的训练集与测试集。

步骤3.2：初始化M₀，W₀，与均为单位阵，θ₀＝1，迭代次数t＝1，收敛阈值∈＝10^-4；

步骤3.3：固定当前的W值，采用APG方法优化M：

(1)先根据公式(6)创建在点关于M的邻近点算子；

(2)按公式(7)计算g(M)函数在点的梯度

(3)采用线搜索估计步长η_t；

(4)按公式(8)获得在点搜索到的g(M)的最优解

(5)将投影到半正定锥上，获得本次迭代中公式(5)的最优解M_t；

步骤3.4：固定当前的M值，采用APG方法优化W：

(1)根据公式(10)创建在点关于W的邻近点算子；

(2)按公式(11)计算g(W)函数在点的梯度

(3)采用线搜索估计步长μ_t；

(4)按公式(12)获得在点搜索到的g(W)的最优解

(5)将投影到半正定锥上，获得本次迭代中公式(9)的最优解W_t；

步骤3.5：更新θ_t+1：

步骤3.6：更新与

步骤3.7：根据公式(4)计算损失函数值，如果当前损失函数小于前次损失函数值，且两者的差值大于收敛阈值∈，则转到步骤3.3；否则认为算法收敛，输出最优解M_t与W_t。

步骤4：在步骤3学习到的内积相似度度量矩阵W_t与马氏距离度量矩阵M_t基础之上，在测试集上进行行人再识别，具体过程如下：

步骤4.1：使用在训练集上获得的PCA投影矩阵W_pca降维矩阵与均值向量μ对所有测试集中特征表达向量作降维处理，再按公式(2)使用训练集上获得的类内子空间投影矩阵将降维后的特征表达向量投影到类内子空间。

步骤4.2：使用学习到的内积相似性度量矩阵W_t与马氏距离度量矩阵M_t，对测试数据集中摄像机A下所有行人图像的向类内子空间投影后的特征表达向量，与摄像机B下的所有行人图像的向类内子空间投影后特征表达向量根据公式(3)计算广义相似度，获得一个相似度矩阵；矩阵中的每一行为摄像机A下的一张图片与摄像机B下所有图片的相似度。

步骤4.3：对步骤4.2中获得的相似度矩阵的每一行按降序排序；记录排序后摄像机B下各图片所在的位置，位置靠前的图像被认为是可能包含第一摄像机下图片中的行人，此步骤即为再识别。

如图3所示，给出了使用本发明提出的基于广义相似性度量学习的行人再识别方法在VIPeR数据集上进行行人再识别的部分结果。其中第1列为用作为检索图像的第一摄像机下的行人图像，其余为按本发明方法匹配后，按相似度由高到低排列的第二摄像机下的行人图像。其中加了边框的图像与检索图像中的包含有相同的行人，可以看出本实施例所提出的方法能够很好的根据外观进行行人身份验证。

通过实验证明，本发明较之前的方法能够取得更好的行人身份匹配性能。如图4所示，是在公开的行人再识别数据集VIPeR上，本发明的基于广义相似性度量学习的行人再识别方法与其他行人再识别方法的性能对比，所采用的性能评价标准CMC累积匹配特征曲线，曲线越靠近上方说明算法的性能越优秀。图4中纵坐标为累积匹配率(CumulativeMatching Rate)，横坐标为排序位置(Rank)。图中GSML指代本发明所提出的行人再识别方法。图中MLF表示学习中层滤波器(Mid-level Filter)的方法，PCCA表示成对约束元件分析(Pairwise Constrained Component Analysis)方法，PRDC表示概率相对距离比较(Probabilistic Relative Distance Comparison)方法，KISSME表示简单直接度量(KeepIt Simple and Straightforward Metric)学习方法，SalMatch表示显著性匹配(SalienceMatching)方法，XQDA表示跨视角二次判别分析(Cross-view Quadratic DiscriminantAnalysis)方法，MLAPG表示采用加速邻近点梯度优化的度量学习(Metric Learning byAccelerated Proximal Gradient)方法，KLFDA表示核化局部Fisher判别分析(KernelLocal Fisher Discriminant Analysis)方法，SCSP表示带有空间约束的二次核相似度方法(Spatially Constrained Similarity using Polynomial kernel)，MirroRep表示采用镜像表达(Mirror Representation)的方法，SSSVM表示样本特定的支持向量机(SampleSpecific Supporter Vector Machine)方法，NFST表示零空间Folly-Sammon变换(NullFolly-Sammon Transformation)方法。从对比结果可以看出本发明的方法优于现有的行人再识别方法。这是因为本发明所提出的方法中采用了对正、负匹配图像进行了不对称加权能够学习到更为鲁棒的匹配模型，另外本发明所提出的基于广义相似性度量学习的行人再识别模型由内积相似度矩阵与马氏距离相似度矩阵所共同参数化，因此能够同时利用训练数据中的距离信息与角度信息，因此获得的模型更具判别性。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims

1.一种基于广义相似性度量学习的行人再识别方法，特征在于，包括

获取原始监控视频中所有单个行人的图像；

提取每一个缩放后行人图像的特征表达向量；

将所述训练集中所有特征表达向量作主成分分析PCA降维处理后，再进一步投影到类内子空间；

2.根据权利要求1所述的基于广义相似性度量学习的行人再识别方法，其特征在于，所述提取每一个缩放后的行人图像的特征表达向量，包括：

步骤A1：将缩放后的行人图像划分为具有相同大小的密集图像块，采用滑动窗口的方法从每个图像块中提取特征表达向量，所述特征表达向量包括：HSV联合直方图、RGB联合直方图、尺度不变LTP直方图；

步骤A2：对相同高度位置上的一行内所有滑动窗口中提取的所述特征向量作最大池化处理，得到缩放后的行人图像对应尺度空间的特征表达向量，记为第一尺度空间特征表达向量；

3.根据权利要求1所述的基于广义相似性度量学习的行人再识别方法，其特征在于，所述将所述训练集中所有特征表达向量作PCA降维处理，包括：

计算矩阵中的所有列向量的协方差矩阵

4.根据权利要求3所述的基于广义相似性度量学习的行人再识别方法，其特征在于，所述投影到类内子空间，包括：

步骤B2：对作特征值分解其中为一对角矩阵，该对角矩阵主对角线上各元素为按降序排列的的特征值，由于为半正定矩阵，所以中各元素均非负，对取次幂后按下式将X′与Z′投影到类内子空间，

式中与分别为与的第i、j列；为双线性函数，在约束W半正定，即的情况下，W分解为从而有即为使用L_W投影后的样本间内积相似度；为马氏距离函数，在约束的情况下，将M分解为即为使用L_M投影后样本间的欧氏距离；

式中为一个根据训练集自动设置的阈值常数，β_ij为对正、负行人图片对的加权系数，β_ij＝1/N⁺若y_i＝y_j否则β_ij＝1/N^-，N⁺与N^-分别为训练集内正、负行人图片对的数量；

步骤B5：采用交替优化W与M的方法最小化式(4)的损失函数；固定W求解M时，将约束条件整合到目标函数一起，得到关于M的优化问题：

与以方便使用加速邻近点梯度APG求解式(5)；

<mrow> <mtable> <mtr> <mtd> <mrow> <mo>&dtri;</mo> <mi>g</mi> <mrow> <mo>(</mo> <msubsup> <mi>V</mi> <mi>M</mi> <mi>t</mi> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mo>&part;</mo> <mi>g</mi> <mrow> <mo>(</mo> <mi>V</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&part;</mo> <mi>V</mi> </mrow> </mfrac> <msub> <mo>|</mo> <msubsup> <mi>V</mi> <mi>M</mi> <mi>t</mi> </msubsup> </msub> <mo>=</mo> <munderover> <mi>&Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <msubsup> <mi>h</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mi>t</mi> </msubsup> <mrow> <mo>(</mo> <msub> <mover> <mi>x</mi> <mo>~</mo> </mover> <mi>i</mi> </msub> <mo>-</mo> <msub> <mover> <mi>z</mi> <mo>~</mo> </mover> <mi>j</mi> </msub> <mo>)</mo> </mrow> <msup> <mrow> <mo>(</mo> <msub> <mover> <mi>x</mi> <mo>~</mo> </mover> <mi>i</mi> </msub> <mo>-</mo> <msub> <mover> <mi>z</mi> <mo>~</mo> </mover> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mi>T</mi> </msup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <mover> <mi>X</mi> <mo>~</mo> </mover> <msub> <mi>R</mi> <mi>t</mi> </msub> <msup> <mover> <mi>X</mi> <mo>~</mo> </mover> <mi>T</mi> </msup> <mo>-</mo> <mover> <mi>X</mi> <mo>~</mo> </mover> <msub> <mi>H</mi> <mi>t</mi> </msub> <msup> <mover> <mi>Z</mi> <mo>~</mo> </mover> <mi>T</mi> </msup> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mover> <mi>X</mi> <mo>~</mo> </mover> <msub> <mi>H</mi> <mi>t</mi> </msub> <msup> <mover> <mi>Z</mi> <mo>~</mo> </mover> <mi>T</mi> </msup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>+</mo> <mover> <mi>Z</mi> <mo>~</mo> </mover> <msub> <mi>C</mi> <mi>t</mi> </msub> <msup> <mover> <mi>Z</mi> <mo>~</mo> </mover> <mi>T</mi> </msup> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>

式(8)为一最小二乘问题，具有闭合形式的解析解：

在获得M_t后，APG利用M_t与M_t-1进行外插值获得进行加速，即

步骤B6：固定M求解W，类似于式(5)，将约束条件整合到目标函数一起，得到关于W的优化问题：

其中μ_t为步长，为g(W)在处的梯度，即：

<mrow> <mo>&dtri;</mo> <mi>g</mi> <mrow> <mo>(</mo> <msubsup> <mi>V</mi> <mi>W</mi> <mi>t</mi> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mo>&part;</mo> <mi>g</mi> <mrow> <mo>(</mo> <mi>V</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&part;</mo> <mi>V</mi> </mrow> </mfrac> <msub> <mo>|</mo> <msubsup> <mi>V</mi> <mi>W</mi> <mi>t</mi> </msubsup> </msub> <mo>=</mo> <munderover> <mi>&Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <msubsup> <mi>q</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mi>t</mi> </msubsup> <msub> <mover> <mi>x</mi> <mo>~</mo> </mover> <mi>i</mi> </msub> <msubsup> <mover> <mi>z</mi> <mo>~</mo> </mover> <mi>j</mi> <mi>T</mi> </msubsup> <mo>=</mo> <mover> <mi>X</mi> <mo>~</mo> </mover> <msub> <mi>Q</mi> <mi>t</mi> </msub> <msup> <mover> <mi>Z</mi> <mo>~</mo> </mover> <mi>T</mi> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>

式中Q_t为n×m大小的矩阵，其中元素为

在获得W_t后，APG利用W_t与W_t-1进行外插值获得实现加速，即

5.根据权利要求4所述的基于广义相似性度量学习的行人再识别方法，其特征在于，所述利用内积相似性度量矩阵与马氏距离度量矩阵对测试数据集中的行人进行再识别；包括：