CN105005760A - 一种基于有限混合模型的行人再识别方法 - Google Patents

Abstract

本发明公开了一种基于有限混合模型的行人再识别方法，属于计算机视觉和模式识别领域，提升行人再识别的准确度，包括以下步骤：(1)构建行人图像库预处理图像并提取图像特征；(2)计算图像库中所有图像的有限混合模型和待再识别行人的图像的有限混合模型参数；(3)将需再识别行人的有限混合模型与图像库中所有图像的有限混合模型之间的距离进行最优化求解，并进行距离排序返回再识别结果。本发明优化混合模型之间的距离度量，提高行人再识别的准确度。

Description

一种基于有限混合模型的行人再识别方法

技术领域

本发明属于计算机视觉与模式识别领域，更具体地，涉及一种基于有限混合模型的行人再识别方法。

背景技术

行人再识别在视频监控网络中中是非常重要的问题，在监控网络中的行人会在不同的摄像头下出现。行人再识别的任务是在监控网络中行人的身份的鉴定，将曾经在监控网络中出现过的目标行人在其他摄像机的场景内时再次识别出来的技术，即在给定一些候选目标的情况下如何将行人进行再识别。

现有的行人再识别方法中主要分为以下几步：从原始视频数据中提取更为可靠、鲁棒和精确的特征数据；通过提取的特征数据来建立描述子能够有效描述不同个体；将需再识别图像与监控网络中的行人进行距离度量并返回再识别行人的候选行人图像。

但现有的行人再识别方法也存在着一些相应的问题：(1)提取的特征不能够建立一个鲁棒性的描述子对行人图像的整体信息进行描述；(2)不同个体的描述子是处在黎曼流形上，简单得采用一些欧式空间度量距离的方法往往带来很大的偏差。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于有限混合模型的行人再识别方法，其目的在于，在提取的特征上建立更为鲁棒性的描述子对行人图像进行描述，并对不同行人图像的描述子建立度量模型以更准确得返回再识别行人的候选行人图像。

为实现上述目的，按照本发明的一个方面，提供了一种基于有限混合模型的行人再识别方法，包括以下步骤：

(1)对监控视频进行预处理，以构建行人图像库，并提取需再识别行人的图像和行人图像库的多维特征向量；

(2)利用步骤(1)中得到的多维特征向量并使用期望最大化算法计算行人图像库中所有图像的有限混合模型参数和需再识别行人的图像的有限混合模型参数；

(3)采用李群运土工距离分别获得需再识别行人的有限混合模型与行人图像库中所有图像的有限混合模型之间的距离，并对距离按照从小到大的顺序排序后返回排名前列的多个结果所对应的行人数据库中的多幅图像。

优选地，本方法进一步包括：在步骤(1)之后，利用主成分分析法对提取的多维特征向量进行维数削减。

优选地，步骤(1)包括以下子步骤：

(1.1)对监控视频进行行人检测，提取所有行人的最小矩形框图像，并根据提取的最小矩形框图像构建行人图像库；

(1.2)将需再识别行人的图像与行人图像库中所有图像按照统一的图像长度和宽度进行缩放，并将行人图像库中的所有图像进行颜色直方图均衡化处理，其中以图像左上方的顶点作为坐标原点，像素点的坐标为(x,y)；

(1.3)提取步骤(1.2)处理后的需再识别行人的图像与处理后的行人图像库中所有图像的每个像素点(x,y)处的多维特征向量z(x,y)。

优选地，步骤(1.3)具体为，提取像素点(x,y)处多维特征向量  $z(x,y)={(R,G,B,x,y,|I_x|,|I_y|,\arctan \frac{\left|I_x\right|}{\left|I_x\right|},\sqrt{I_x^2+I_y^2},|I_{\mathrm{xx}}|,|I_{\mathrm{yy}}\left|\right)}^T,$ 其中R、G、B分别为像素点(x,y)处的颜色信息，I_x与I_y分别为图像经过(-1,0,1)^T、(-1,0,1)滤波后 在像素点(x,y)处的一阶梯度值，Ixx与Iyy则分别为图像经过(-1,2,1)T、(-1,2,1)滤波后像素在像素点(x,y)处的二阶梯度值，(·)T表示对矩阵进行转置操作。

优选地，步骤(2)包括以下子步骤：

(2.1)采用有限混合模型对需再识别行人的图像及行人图像库中的每幅图像的多维特征向量z(x,y)进行建模，以生成有限混合模型中的模型参数T和S；具体而言，有限混合模型的基函数采用高斯函数，基函数的个数根据经验设置一个值N，使用EM算法获取有限混合模型中需再识别行人的图像的模型参数T＝{(w_1,T,μ_1,T,Σ_1,T),(w_2,T,μ_2,T,Σ_2,T),...(w_K,T,μ_K,T,Σ_K,T)}，以及有限混合模型中行人图像库中图像的模型参数S＝{(w_1,S,μ_1,S,Σ_1,S),(w_2,S,μ_2,S,Σ_2,S),...(w_J,S,μ_J,S,Σ_J,S)}，其中K和J分别为有限混合模型中需再识别行人的图像、行人图像库中的图像经过EM算法迭代融合后的基函数个数，且1≤K≤N，1≤J≤N；这里(w_k,T,μ_k,T,Σ_k,T)分别表示需再识别行人图像的有限混合模型中高斯基函数的权值、均值向量和协方差矩阵，(w_j,S,μ_j,S,Σ_j,S)分别表示行人图像库图像的有限混合模型中高斯基函数的权值、均值向量和协方差矩阵，且

(2.2)将需再识别行人的图像与行人图像库中的图像的有限混合模型中高斯基函数的协方差矩阵Σ_k,T、Σ_j,S进行乔列斯基分解分解，以得到下三角矩阵L_k,T、L_j,S：其中分解所得到的L_k,T、L_j,S是唯一的；

(2.3)根据得到的下三角矩阵L_k,T、L_j,S并通过多维标准正态分布生成仿射变换矩阵 $T_{k,T}=\left(\begin{array}{cc}{L}_{k,T}& {\mathrm{\μ}}_{k,T}\\ 0& 1\end{array}\right),S_{k,S}=\left(\begin{array}{cc}{L}_{k,S}& {\mathrm{\μ}}_{k,S}\\ 0& 1\end{array}\right),$ 多个T_k,T、T_k,S形成有限混合模型的模型参数T＝{(w_1,T,T_1,T),(w_2,T,T_2,T),...(w_K,T,T_K,T)}、 S＝{(w_1,S,S_1,S),(w_2,S,S_2,S),...(w_J,S,S_J,S)}。

优选地，步骤(3)包括以下子步骤：

(3.1)度量需再识别行人的有限混合模型与行人图像库中每幅图像的有限混合模型之间的距离；

(3.2)遍历整个行人图像库计算图像库中所有行人与需再识别行人之间的李群运土工距离，将距离LGEMD(S,T)进行排序，并返回排名前列的多个结果所对应的行人数据库中的多幅候选图像。

优选地，步骤(3.1)包括以下子步骤：

(3.1.1)将行人图像库中每个行人的第j个高斯成分S_j,S映射到需再识别行人的第k个仿射变换矩阵T_k,T的切空间上，并计算第j个高斯成分S_j,S到切空间的测地线距离||·||_F为矩阵的弗罗贝尼乌斯范数；

(3.1.2)采用LGEMD计算方法来优化由模型参数S＝{(w_1,S,S_1,S),(w_2,S,S_2,S),...(w_J,S,S_J,S)}到模型参数T＝{(w_1,T,T_1,T),(w_2,T,T_2,T),...(w_K,T,T_K,T)}之间的距离，其通过以下线性目标函数表示：

$\underset{\mathrm{\β}}{\min }\underset{j=1}{\overset{J}{\mathrm{\Σ}}}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{d}_{\mathrm{jk}}{\mathrm{\β}}_{\mathrm{jk}}$

其中约束条件为：

β_jk≥0 1≤j≤J,1≤k≤K

$\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{\mathrm{\β}}_{\mathrm{jk}}=w_{k,T},\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\β}}_{\mathrm{jk}}=w_{j,S}$

$\underset{j=1}{\overset{J}{\mathrm{\Σ}}}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\β}}_{\mathrm{jk}}=1$

上述优化问题可通过单纯形方法求出，上式中的d_jk由(3.2.1)运算得到，然后根据所得的优化参数{β_jk}计算出两混合模型之间的李群运土工距离 $\mathrm{LGEMD}(S,T)=\underset{j=1}{\overset{J}{\mathrm{\Σ}}}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{d}_{\mathrm{jk}}{\mathrm{\β}}_{\mathrm{jk}}.$

按照本发明的另一方面，提供了一种基于有限混合模型的行人再识别系统，包括：

第一模块，用于对监控视频进行预处理，以构建行人图像库，并提取需再识别行人的图像和行人图像库的多维特征向量；

第二模块，用于利用第一模块中得到的多维特征向量并使用期望最大化算法计算行人图像库中所有图像的有限混合模型参数和需再识别行人的图像的有限混合模型参数；

第三模块，用于采用李群运土工距离分别获得需再识别行人的有限混合模型与行人图像库中所有图像的有限混合模型之间的距离，并对距离按照从小到大的顺序排序后返回排名前列的多个结果所对应的行人数据库中的多幅图像。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1、本发明采用了步骤(1)和步骤(2)，能够使提取的行人图像描述子更为鲁棒，并很好得反映行人的整体信息；

2、在不同行人图像描述子距离度量上本发明采用步骤(3)，依据李群李代数的相关理论和线性优化方法进行度量不同行人描述子之间的距离，度量距离更为可靠。

附图说明

图1是本发明基于有限混合模型的行人再识别方法的流程图。

图2是本发明方法中步骤(2)的细化流程图。

图3是本发明方法中步骤(3)的细化流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的 本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明的基本思路在于，提出一种基于有限混合模型进行特征融合，并将局部特征信息转化为能描述行人整体信息的混合模型基函数的参数，协方差描述子具有更强的描述能力。混合模型的基函数采用高斯函数，并进一步将所有基函数的参数抽象为混合高斯特征，实现图像的局部信息描述向整体信息描述的过渡，并利用图像的整体信息进行距离度量，整体信息的度量基于高斯基函数之间的测地线距离。

如图1所示，本发明提供的基于有限混合模型的行人再识别方法包括以下步骤：

(1)对监控视频进行预处理，以构建行人图像库，并提取需再识别(Reidentification)行人的图像和行人图像库的多维特征向量，本步骤包括以下子步骤：

(1.1)对监控视频进行行人检测，提取所有行人的最小矩形框图像，并根据提取的最小矩形框图像构建行人图像库；

(1.2)将需再识别行人的图像与行人图像库中所有图像按照统一的图像长度和宽度进行缩放，并将行人图像库中的所有图像进行颜色直方图均衡化处理，其中以图像左上方的顶点作为坐标原点，像素点的坐标为(x,y)；具体而言，缩放后的图像大小将决定再识别的效果，其大小越大，则再识别的速度变慢，效果更好；反之则识别速度快，效果变差；

(1.3)提取步骤(1.2)处理后的需再识别行人的图像与处理后的行人图像库中所有图像的每个像素点(x,y)处的多维特征向量z(x,y)，本步骤具体为，提取像素点(x,y)处多维特征向量  $z(x,y)={(R,G,B,x,y,|I_x|,|I_y|,\arctan \frac{\left|I_x\right|}{\left|I_x\right|},\sqrt{I_x^2+I_y^2},|I_{\mathrm{xx}}|,|I_{\mathrm{yy}}\left|\right)}^T,$ 其中R、G、B分别为 像素点(x,y)处的颜色信息，I_x与I_y分别为图像经过(-1,0,1)^T、(-1,0,1)滤波后在像素点(x,y)处的一阶梯度值，I_xx与I_yy则分别为图像经过(-1,2,1)^T、(-1,2,1)滤波后像素在像素点(x,y)处的二阶梯度值，(·)^T表示对矩阵进行转置操作；

优选地，在本步骤之后，也可以利用主成分分析法(Principle Component Analysis，简称PCA)对提取的多维特征向量进行维数削减，目的在于减少计算量。

(2)利用步骤(1)中得到的多维特征向量z(x,y)并使用期望最大化算法(Expectation Maximum，简称EM)计算行人图像库中所有图像的有限混合模型参数和需再识别行人的图像的有限混合模型参数，如图2所示，本步骤包括以下子步骤：

(2.1)采用有限混合模型对需再识别行人的图像及行人图像库中的每幅图像的多维特征向量z(x,y)进行建模，以生成有限混合模型中的模型参数T和S；具体而言，有限混合模型的基函数采用高斯函数，基函数的个数根据经验设置一个相对较大的值N(其取值小于50，优选为20至40)，使用EM算法获取有限混合模型中需再识别行人的图像的模型参数T＝{(w_1,T,μ_1,T,Σ_1,T),(w_2,T,μ_2,T,Σ_2,T),...(w_K,T,μ_K,T,Σ_K,T)}，以及有限混合模型中行人图像库中图像的模型参数S＝{(w_1,S,μ_1,S,Σ_1,S),(w_2,S,μ_2,S,Σ_2,S),...(w_J,S,μ_J,S,Σ_J,S)}，其中K和J分别为有限混合模型中需再识别行人的图像、行人图像库中的图像经过EM算法迭代融合后的基函数个数，且1≤K≤N，1≤J≤N；这里(w_k,T,μ_k,T,Σ_k,T)分别表示需再识别行人图像的有限混合模型中高斯基函数的权值、均值向量和协方差矩阵，(w_j,S,μ_j,S,Σ_j,S)分别表示行人图像库图像的有限混合模型中高斯基函数的权值、均值向量和协方差矩阵，且 $\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{w}_{j,S}=1;$

(2.2)将需再识别行人的图像与行人图像库中的图像的有限混合模型中高斯基函数的协方差矩阵Σ_k,T、Σ_j,S进行乔列斯基分解(Cholesky decomposition)分解，以得到下三角矩阵L_k,T、L_j,S：其中分解所得到的L_k,T、L_j,S是唯一的；

(2.3)根据得到的下三角矩阵L_k,T、L_j,S并通过多维标准正态分布生成仿射变换矩阵 $T_{k,T}=\left(\begin{array}{cc}{L}_{k,T}& {\mathrm{\μ}}_{k,T}\\ 0& 1\end{array}\right),S_{k,S}=\left(\begin{array}{cc}{L}_{k,S}& {\mathrm{\μ}}_{k,S}\\ 0& 1\end{array}\right),$ 多个T_k,T、T_k,S形成有限混合模型的模型参数T＝{(w_1,T,T_1,T),(w_2,T,T_2,T),...(w_K,T,T_K,T)}、S＝{(w_1,S,S_1,S),(w_2,S,S_2,S),...(w_J,S,S_J,S)}；

(3)采用李群运土工距离(Lie Group Earth Mover's Distance，简称LGEMD)分别获得需再识别行人的有限混合模型与行人图像库中所有图像的有限混合模型之间的距离，并对距离按照从小到大的顺序排序后返回排名前列的多个结果所对应的行人数据库中的多幅图像，如图3所示，本步骤包括以下子步骤：

(3.1)度量需再识别行人的有限混合模型与行人图像库中每幅图像的有限混合模型之间的距离，包括以下子步骤：

(3.1.1)将行人图像库中每个行人的第j个高斯成分S_j,S映射到需再识别行人的第k个仿射变换矩阵T_k,T的切空间上，并计算第j个高斯成分S_j,S到切空间的测地线距离||·||_F为矩阵的弗罗贝尼乌斯范数(Frobenius norm)；

(3.1.2)采用LGEMD计算方法来优化由模型参数S＝{(w_1,S,S_1,S),(w_2,S,S_2,S),...(w_J,S,S_J,S)}到模型参数T＝{(w_1,T,T_1,T),(w_2,T,T_2,T),...(w_K,T,T_K,T)}之间的距离，其通过以下线性目标函数表示：

$\underset{\mathrm{\β}}{\min }\underset{j=1}{\overset{J}{\mathrm{\Σ}}}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{d}_{\mathrm{jk}}{\mathrm{\β}}_{\mathrm{jk}}$

其中约束条件为：

β_jk≥0 1≤j≤J,1≤k≤K

$\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{\mathrm{\β}}_{\mathrm{jk}}=w_{k,T},\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\β}}_{\mathrm{jk}}=w_{j,S}$

$\underset{j=1}{\overset{J}{\mathrm{\Σ}}}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\β}}_{\mathrm{jk}}=1$

上述优化问题可通过单纯形方法求出，上式中的d_jk由(3.2.1)运算得到，然后根据所得的优化参数{β_jk}计算出两混合模型之间的李群运土工距离 $\mathrm{LGEMD}(S,T)=\underset{j=1}{\overset{J}{\mathrm{\Σ}}}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{d}_{\mathrm{jk}}{\mathrm{\β}}_{\mathrm{jk}}.$

(3.2)遍历整个行人图像库计算图像库中所有行人与需再识别行人之间的李群运土工距离，将距离LGEMD(S,T)进行排序，并返回排名前列的多个结果所对应的行人数据库中的多幅候选图像。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于有限混合模型的行人再识别方法，其特征在于，包括以下步骤：

(1)对监控视频进行预处理，以构建行人图像库，并提取需再识别行人的图像和行人图像库的多维特征向量；

(2)利用步骤(1)中得到的多维特征向量并使用期望最大化算法计算行人图像库中所有图像的有限混合模型参数和需再识别行人的图像的有限混合模型参数；

(3)采用李群运土工距离分别获得需再识别行人的有限混合模型与行人图像库中所有图像的有限混合模型之间的距离，并对距离按照从小到大的顺序排序后返回排名前列的多个结果所对应的行人数据库中的多幅图像。

2.根据权利要求1所述的行人再识别方法，其特征在于，进一步包括：在步骤(1)之后，利用主成分分析法对提取的多维特征向量进行维数削减。

3.根据权利要求1所述的行人再识别方法，其特征在于，步骤(1)包括以下子步骤：

(1.1)对监控视频进行行人检测，提取所有行人的最小矩形框图像，并根据提取的最小矩形框图像构建行人图像库；

(1.2)将需再识别行人的图像与行人图像库中所有图像按照统一的图像长度和宽度进行缩放，并将行人图像库中的所有图像进行颜色直方图均衡化处理，其中以图像左上方的顶点作为坐标原点，像素点的坐标为(x,y)；

(1.3)提取步骤(1.2)处理后的需再识别行人的图像与处理后的行人图像库中所有图像的每个像素点(x,y)处的多维特征向量z(x,y)。

4.根据权利要求3所述的行人再识别方法，其特征在于，步骤(1.3)具体为，提取像素点(x,y)处多维特征向量 其中R、G、B分别为像素点(x,y)处的颜色信息，I_x与I_y分别为图像经过(-1,0,1)^T、(-1,0,1)滤波后在像素点(x,y)处的一阶梯度值，I_xx与I_yy则分别为图像经过(-1,2,1)^T、(-1,2,1)滤波后像素在像素点(x,y)处的二阶梯度值，(·)^T表示对矩阵进行转置操作。

5.根据权利要求4所述的行人再识别方法，其特征在于，步骤(2)包括以下子步骤：

(2.1)采用有限混合模型对需再识别行人的图像及行人图像库中的每幅图像的多维特征向量z(x,y)进行建模，以生成有限混合模型中的模型参数T和S；具体而言，有限混合模型的基函数采用高斯函数，基函数的个数根据经验设置一个值N，使用EM算法获取有限混合模型中需再识别行人的图像的模型参数T＝{(w_1,T,μ_1,T,Σ_1,T),(w_2,T,μ_2,T,Σ_2,T),…(w_K,T,μ_K,T,Σ_K,T)}，以及有限混合模型中行人图像库中图像的模型参数S＝{(w_1,S,μ_1,S,Σ_1,S),(w_2,S,μ_2,S,Σ_2,S),…(w_J,S,μ_J,S,Σ_J,S)}，其中K和J分别为有限混合模型中需再识别行人的图像、行人图像库中的图像经过EM算法迭代融合后的基函数个数，且1≤K≤N，1≤J≤N；这里(w_k,T,μ_k,T,Σ_k,T)分别表示需再识别行人图像的有限混合模型中高斯基函数的权值、均值向量和协方差矩阵，(w_j,S,μ_j,S,Σ_j,S)分别表示行人图像库图像的有限混合模型中高斯基函数的权值、均值向量和协方差矩阵，且

(2.2)将需再识别行人的图像与行人图像库中的图像的有限混合模型中高斯基函数的协方差矩阵Σ_k,T、Σ_j,S进行乔列斯基分解分解，以得到下三角矩阵L_k,T、L_j,S：其中分解所得到的L_k,T、L_j,S是唯一的；

(2.3)根据得到的下三角矩阵L_k,T、L_j,S并通过多维标准正态分布生成仿射变换矩阵多个T_k,T、T_k,S形成有限混合模型的模型参数T＝{(w_1,T,T_1,T),(w_2,T,T_2,T),…(w_K,T,T_K,T)}、S＝{(w_1,S,S_1,S),(w_2,S,S_2,S),…(w_J,S,S_J,S)}。

6.根据权利要求5所述的行人再识别方法，其特征在于，步骤(3)包括以下子步骤：

(3.1)度量需再识别行人的有限混合模型与行人图像库中每幅图像的有限混合模型之间的距离；

(3.2)遍历整个行人图像库计算图像库中所有行人与需再识别行人之间的李群运土工距离，将距离LGEMD(S,T)进行排序，并返回排名前列的多个结果所对应的行人数据库中的多幅候选图像。

7.根据权利要求6所述的行人再识别方法，其特征在于，步骤(3.1)包括以下子步骤：

(3.1.1)将行人图像库中每个行人的第j个高斯成分S_j,S映射到需再识别行人的第k个仿射变换矩阵T_k,T的切空间上，并计算第j个高斯成分S_j,S到切空间的测地线距离||·||_F为矩阵的弗罗贝尼乌斯范数；

(3.1.2)采用LGEMD计算方法来优化由模型参数S＝{(w_1,S,S_1,S),(w_2,S,S_2,S),...(w_J,S,S_J,S)}到模型参数T＝{(w_1,T,T_1,T),(w_2,T,T_2,T),...(w_K,T,T_K,T)}之间的距离，其通过以下线性目标函数表示：

其中约束条件为：

β_jk≥0 1≤j≤J,1≤k≤K

上述优化问题可通过单纯形方法求出，上式中的d_jk由(3.2.1)运算得到，然后根据所得的优化参数{β_jk}计算出两混合模型之间的李群运土工距离

8.一种基于有限混合模型的行人再识别系统，其特征在于，包括：

第一模块，用于对监控视频进行预处理，以构建行人图像库，并提取需再识别行人的图像和行人图像库的多维特征向量；

第二模块，用于利用第一模块中得到的多维特征向量并使用期望最大化算法计算行人图像库中所有图像的有限混合模型参数和需再识别行人的图像的有限混合模型参数；

第三模块，用于采用李群运土工距离分别获得需再识别行人的有限混合模型与行人图像库中所有图像的有限混合模型之间的距离，并对距离按照从小到大的顺序排序后返回排名前列的多个结果所对应的行人数据库中的多幅图像。