CN102156879A - 基于加权陆地运动距离的人体目标匹配方法 - Google Patents

Abstract

一种图像处理技术领域的基于加权陆地运动距离的人体目标匹配方法，充分利用了样本的统计信息，很大程度上增强了陆地运动距离作为匹配度量的判别能力；适用于用于人体目标匹配时，其性能明显优于基于陆地运动距离的人体目标匹配方法。

Description

基于加权陆地运动距离的人体目标匹配方法

技术领域

本发明涉及的是一种图像处理技术领域的方法，具体是一种基于加权陆地运动距离(Earth Mover′s Distance)的人体目标匹配方法。

背景技术

在智能图像监控领域中，人体目标匹配有着十分重要的应用，如在摄像机网络中找到感兴趣的特定人，或者确定不同摄像机间行人的身份。在公共的监控场景下受成像清晰度较低以及目标遮挡等条件限制，不容易采集到传统的生物特征，例如人脸、步态，所以人体目标匹配为身份识别提供了可靠的依据。针对该问题，一般假设行人在不同的场景下所穿的衣服没有变化。现有的人体匹配方法大多采用相似的步骤。通常，先对某个人体目标提取特征，通过监督式学习的方法构建分类器；最后在进行身份识别时，从当前人体目标中提取同样的特征送入分类器，从而得到人体目标的分类结果。但是，在实际应用中人体目标的视觉特征随着光照、视角以及姿态的变化而发生改变，呈现出不同于训练数据的状态，这是目前人体目标匹配的挑战问题。在这种情况下，如何实现各种环境下鲁棒的匹配是一个至关重要的问题。

经过对现有技术的文献检索发现，Omar Oreifej等人在《2010IEEE Computer Society Conference on Computer Vision and Pattern Recognition》(2010年计算机视觉与模式识别国际会议)上发表的“Human Identity Recogmtion in Aerial Images”(航拍图像中人的身份识别)文章中提出了一种基于图像区域分割的匹配方法，该方法使用陆地运动距离作为匹配度量计算人体目标的相似度。其不足在于该方法在于没有有效的利用样本的信息，并没有充分的提取出不同区域的判别信息。

发明内容

本发明针对现有技术存在的上述不足，提供一种基于加权陆地运动距离的人体目标匹配方法，充分利用了样本的统计信息，很大程度上增强了陆地运动距离作为匹配度量的判别能力；适用于用于人体目标匹配时，其性能明显优于基于陆地运动距离的人体目标匹配方法。

本发明是通过以下技术方案实现的，本发明包括如下步骤：

步骤一，对所有图像进行尺度变换并提取前景；

所述的尺度变换所采用的操作为：把图像统一调整为固定大小128＊64像素。

所述的提取前景，具体包括以下步骤：

2.1)以图像中心区域的像素为初始化前景样本，图像边缘的像素为初始化背景样本，其中：以图像中心为参考点，中心区域是矩形区域，该矩形以图像中心为中心，该矩形区域大小为40＊20像素；取大小为100＊50像素的区域rect，整个图像中不属于rect的区域为边缘区域。

2.2)根据前景样本和背景样本采用非参数估计的方法分别估计前景和背景的概率密度FGPDF和BGPDF，分别计算图像中的每个像素在FGPDF和BGPDF上的概率分布FGProb和BGProb当某一像素点的FGProb大于BGProb，则该像素点属于前景，否则属于背景；所有属于前景的像素点的集合为前景样本，其余像素点为背景样本；

所述的非参数估计的方法是指：不假定参数模型的形式，也不设定参数的一种概率密度估计的方法。

2.3)重复步骤2.2)的操作100次，得到最终前景样本。

步骤二，使用图像分割的方法把最终前景样本分割成多个区域，并对每个区域进行特征提取；

所述的图像分割为：将图像分成互不重叠，具有各自特征，如灰度、颜色或纹理的区域。

所述的特征提取中的特征向量由颜色直方图和梯度直方图连接而成，其中：颜色直方图采用HSV颜色空间模型，梯度直方图是以每个区域为中心，统计该区域内的梯度直方图。

步骤三，计算训练集中任意两个样本之间的陆地运动距离向量：其中：D_r(s)表示图像r到图像s的陆地运动距离向量，图像r经过步骤二中的分割后有m个区域，图像s经过步骤二中的分割后有n个区域，C_ij表示人体r中的第i个区域的特征向量与人体s中的第j个特征向量间的欧氏距离，图像r的m个区域的像素数分别为a₁，a₂，...，a_m，图像s的n个区域的像素数分别为b₁，b₂，...，b_n，f_ij表示图像r的第i个区域与图像s的第j个区域匹配上的像素个数，其中：i＝1，...，m，j＝1，...，n，f_ij是如下优化问题的解：

约束条件为：

步骤四，通过逻辑回归模型对步骤三得到的陆地运动距离向量进行训练，得到区域权重：回归函数形式为C_r(s)＝<w，d_r(s)>，其中：w表示在匹配时人图像r的各个区域的权重，当图像r和图像s属于同一身份时，将C_r(s)标注为1，否则标注为-1，用逻辑回归模型求得w。所述的同一身份是指：两幅图像中的人体目标表示同一个人。

所述的逻辑回归模型：是研究因变量为二分类观察结果与自变量之间关系的一种多变量分析方法。它将判别函数转换为样本分布的后验概率对数形式，依据统计学习理论，通过最大化训练集中样本间间隔的方法，获得观察结果与自变量之间的关系。其输入是d_r(s)和C_r(s)，输出为w。

所述的训练中：对训练集的每个图像以交叉验证的方式训练逻辑回归模型。

步骤五，计算测试图像与训练集中任一图像间的陆地运动距离向量，计算方法如步骤三。根据测试图像与训练图像间的陆地运动距离向量，结合步骤四得到的区域权重计算加权陆地运动距离。

所述的加权陆地运动距离是指：其中：s为测试图像，r为训练集中的一张图像，W_i表示在匹配时图像r的第i个区域的权重，w是图像r经过步骤四后获得的区域权重。

步骤六，结合步骤五得到的加权陆地运动距离，确定测试图像的身份。具体方法如下：

设训练集中属于身份k(k＝1，2，...，P)的图像有N张，P表示训练集中图像身份的总数。测试图像到这N张图像的加权陆地运动距离分别为

测试图像到身份k图像的最终距离D^k等于

的平均值。设D^k(k＝1，2，...，P)的最小值为D^M，则测试图像的身份为M。

所述的图像的身份是指：图像中的人的身份。

本发明的原理是，考虑到人在普通状态下的视觉表现会因姿态、设计相机角度以及外界的光照条件发生改变，即图像上有些区域的视觉特征并不稳定。当基于区域直接使用陆地运动距离作为匹配度量，会产生很大的干扰，严重影响识别效果。因此，在把人体图像进分割成多个区域后，根据训练集的图像统计信息作为依据，赋予不同区域不同的判别能力，在测试时能够有效地降低可能存在干扰的区域给匹配带来的影响，同时增强更具有判别能力区域的贡献。

与现有技术相比，本发明根据训练集的统计信息，赋予不同区域不同的判别能力，并与陆地运动距离结合作为加权的陆地运动距离。在各种实验条件下，该算法的平均识别率达到84.54％，比直接用陆地运动距离提高了8.59％。

附图说明

图1是本发明方法中提取前景的示意图。

图2是本发明方法中分割前景的示意图。

图3是本发明方法中提取区域特征的流程图。

图4是本发明方法中训练的工作流程图。

图5是本发明方法中测试的工作流程图。

图6是本发明方法中区域权重学习的示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

如图3和图4所示，本实施例包括如下步骤：

步骤一，对所有图像进行尺度变换并提取前景。

所述的尺度变换所采用的操作为：把图像统一调整为固定大小128＊64像素。

所述的提取前景，具体包括以下步骤：

2.1)以图像中心区域的像素为初始化前景样本，图像边缘的像素为初始化背景样本，其中：以图像中心为参考点，中心区域是矩形区域，该矩形以图像中心为中心，该矩形区域大小为40＊20像素；以图像中心为中心，取大小为100＊50像素的区域rect，整个图像中不属于rect的区域为图像边缘区域。

2.2)根据前景样本和背景样本选择自适应核密度估计的非参数方法分别估计前景和背景的概率密度FGPDF和BGPDF，分别计算图像中的每个像素在FGPDF和BGPDF上的概率分布FGProb和BGProb；当某一像素点的FGProb大于BGProb，则该像素点属于前景，否则属于背景；所有属于前景的像素点的集合为前景样本，其余像素点为背景样本；

所述的自适应核密度估计的操作是指：输入数据为样本数据的颜色值以及待估计概率密度的颜色值范围【1，255]；输出为在【1，255]上的概率密度。

2.3)重复步骤2.2)的操作100次，得到最终前景样本。

步骤二，选择均值偏移为图像分割的方法，把前景图像分割成多个区域，并对每个提取特征，特征向量有颜色直方图和梯度直方图连接而成。其中颜色直方图采用HSV颜色空间模型，梯度直方图是以每个区域为中心，统计该区域内的梯度直方图。

所述的均值漂移的操作是指：使用软件包EDISON(ver1.0)实现，输入为图像数据，输出为分割后的图像。参数设置如下：

SpatialBandWidth＝7；

RangeBandWidth＝6.5；

MinimumRegionArea＝20；

SpeedUp＝2；

GradientWindowRadius＝2；

MixtureParameter＝0.3；

EdgeStrengthThreshold＝3。

步骤三，计算训练集中任意两个样本间的陆地运动距离向量。具体如下：

$D_r\left(s\right)=\frac{\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{c}_{\mathrm{ij}}{f}_{\mathrm{ij}}}{\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{f}_{\mathrm{ij}}}=\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{d}_r^i\left(s\right)$

其中：D_r(s)表示图像r到图像s的陆地运动距离，图像r经过步骤三后有m个区域，图像s经过步骤三后有n个区域，c_ij表示图像r的第i个区域的特征向量与图像s的第j个特征向量间的欧氏距离，f_ij表示图像r的第i个区域与图像s的第j个区域匹配上的像素个数。设图像r的m个区域的像素数分别为a₁，a₂，...，a_m，图像s的n个区域的像素数分别为b₁，b₂，...，b_n，f_ij(i＝1，...，m，j＝1，...，n)是如下优化问题的解：

$\min \underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{c}_{\mathrm{ij}}{f}_{\mathrm{ij}}$

约束条件：

$\begin{array}{c}{f}_{\mathrm{ij}}\&GreaterEqual;0,(i=1,...,m,j=1,...,n)\\ \underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{f}_{\mathrm{ij}}=b_j,(j=1,...,n)\\ \underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{f}_{\mathrm{ij}}=a_i,(i=1,...,m)\end{array}$

该优化问题用EMD软件包求解，输入参数为c_ij(i＝1，...，m，j＝1，...，n)，a₁，a₂，...，a_m，b₁，b₂，...，b_n，输出为f_ij(i＝1，...，m，j＝1，...，n)。

步骤四，通过逻辑回归模型对步骤三得到的陆地运动距离向量进行训练，得到区域权重：回归函数形式为C_r(s)＝<w，d_r(s)>，其中：w表示在匹配时人图像r的各个区域的权重，当图像r和图像s属于同一身份时，将C_r(s)标注为1，否则标注为-1。

所述的同一身份是指：两幅图像中的人体目标表示同一个人。

所述的逻辑回归模型：是研究因变量为二分类观察结果与自变量之间关系的一种多变量分析方法。它将判别函数转换为样本分布的后验概率对数形式，依据统计学习理论，通过最大化训练集中样本间间隔的方法，获得观察结果与自变量之间的关系。其输入是d_r(s)和C_r(s)，输出为w。具体操作为使用LIBLINEAR软件包完成训练。训练时，对训练集的每个图像以5倍交叉验证的方式训练，设置参数项“-wi”为负样本数与正样本数的比值。

步骤五，计算测试图像与训练集中任一图像间的陆地运动距离向量，计算方法如步骤三。根据测试图像与训练图像间的陆地运动距离向量，结合步骤四得到的区域权重计算加权陆地运动距离。

所述的加权陆地运动距离是指：

其中：s为测试图像，r为训练集中的一张图像，w_i表示在匹配时图像r的第i个区域的权重，w是图像r经过步骤四后获得的区域权重。

步骤六，结合步骤五得到的加权陆地运动距离，确定测试图像的身份。具体方法如下：

设训练集中属于身份k(k＝1，2，...，P)的图像有N张，P表示训练集中图像身份的总数。测试图像到这N张图像的加权陆地运动距离分别为

测试图像到身份k图像的最终距离D^k等于

的平均值。设D^k(k＝1，2，...，P)的最小值为D^M，则测试图像的身份为M。

实施效果

依据上述步骤，对ETHZ数据库进行测试。该数据库包括三部分：第一部分包含83个人的4857张图像；第二部分包含35个人的1961张图像；第三部分包含28个人的1762张图像。为了避免实验的偶然性，分别对数据库中的三部分单独做10次独立实验，取10次实验结果的平均值为最终结果。样本选择方法如下：对于每个人随机5张图像作为训练集，随机选取不同于训练集的一张图像作为测试图像。所有实验均在服务器上用matlab实现，该服务器的主要参数为：中央处理器Intel Xeon X54603.16G，内存为14G，操作系统为window server 2003。

采用原始的陆地运动距离方法，可得识别结果为：

数据库第一部分识别率为72.95％；

数据库第二部分识别率为71.71％；

数据库第三部分识别率为83.21％。

本实施例获得的识别结果为：

数据库第一部分识别率为82.77％；

数据库第二部分识别率为82.29％；

数据库第三部分识别率为88.57％。

实验表明，较之于原始的陆地运动距离方法，本实施例的识别率比原先有了大幅度提高。三个部分的平均识别率得到了大约8.59％的提升。

Claims (9)

1.一种基于加权陆地运动距离的人体目标匹配方法，其特征在于，包括如下步骤：

步骤一，对所有图像进行尺度变换并提取前景；

步骤二，使用图像分割的方法把最终前景样本分割成多个区域，并对每个区域进行特征提取；

步骤三，计算训练集中任意两个样本之间的陆地运动距离向量；

步骤四，通过逻辑回归模型对步骤三得到的陆地运动距离向量进行训练，得到区域权重；

步骤五，计算测试图像与训练集中任一图像间的陆地运动距离向量，采用与步骤三相同的计算方法得到，根据测试图像与训练图像间的陆地运动距离向量，结合步骤四得到的区域权重计算加权陆地运动距离；

步骤六，结合步骤五得到的加权陆地运动距离，确定测试图像的身份。

2.根据权利要求1所述的基于加权陆地运动距离的人体目标匹配方法，其特征是，所述的加权陆地运动距离是指：其中：s为测试图像，r为训练集中的一张图像，W_i表示在匹配时图像r的第i个区域的权重，w是图像r经过步骤四后获得的区域权重。

3.根据权利要求1所述的基于加权陆地运动距离的人体目标匹配方法，其特征是，所述的提取前景，具体包括以下步骤：

2.1)以图像中心区域的像素为初始化前景样本，图像边缘的像素为初始化背景样本，其中：以图像中心为参考点，中心区域是矩形区域，该矩形以图像中心为中心，该矩形区域大小为40＊20像素；取大小为100＊50像素的区域rect，整个图像中不属于rect的区域为边缘区域；

2.2)根据前景样本和背景样本采用非参数估计的方法分别估计前景和背景的概率密度FGPDF和BGPDF，分别计算图像中的每个像素在FGPDF和BGPDF上的概率分布FGProb和BGProb当某一像素点的FGProb大于BGProb，则该像素点属于前景，否则属于背景；所有属于前景的像素点的集合为前景样本，其余像素点为背景样本；

2.3)重复步骤2.2)的操作100次，得到最终前景样本。

4.根据权利要求1所述的基于加权陆地运动距离的人体目标匹配方法，其特征是，所述的特征提取中的特征向量由颜色直方图和梯度直方图连接而成，其中：颜色直方图采用HSV颜色空间模型，梯度直方图是以每个区域为中心，统计该区域内的梯度直方图。

5.根据权利要求1所述的基于加权陆地运动距离的人体目标匹配方法，其特征是，所述的陆地运动距离向量为

其中：D_r(s)表示图像r到图像s的陆地运动距离向量，图像r经过步骤二中的分割后有m个区域，图像s经过步骤二中的分割后有n个区域，c_ij表示人体r中的第i个区域的特征向量与人体s中的第j个特征向量间的欧氏距离，图像r的m个区域的像素数分别为a₁，a₂，...，a_m，图像s的n个区域的像素数分别为b₁，b₂，...，b_n，f_ij表示图像r的第i个区域与图像s的第j个区域匹配上的像素个数，其中：i＝1，...，m，j＝1，...，n，f_ij是如下优化问题的解：

约束条件为： $\begin{array}{c}{f}_{\mathrm{ij}}\&GreaterEqual;0,(i=1,...,m,j=1,...,n)\\ \underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{f}_{\mathrm{ij}}=b_j,(j=1,...,n)\\ \underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{f}_{\mathrm{ij}}=a_i,(i=1,...,m)\end{array}.$

6.根据权利要求1所述的基于加权陆地运动距离的人体目标匹配方法，其特征是，所述的区域权重的回归函数形式为C_r(s)＝<w，d_r(s)>，其中：w表示在匹配时人图像r的各个区域的权重，当图像r和图像s属于同一身份时，将C_r(s)标注为1，否则标注为-1，用逻辑回归模型求得w。

7.根据权利要求1所述的基于加权陆地运动距离的人体目标匹配方法，其特征是，所述的逻辑回归模型：是研究因变量为二分类观察结果与自变量之间关系的一种多变量分析方法。它将判别函数转换为样本分布的后验概率对数形式，依据统计学习理论，通过最大化训练集中样本间间隔的方法，获得观察结果与自变量之间的关系。其输入是d_r(s)和C_r(s)，输出为w。

8.根据权利要求1所述的基于加权陆地运动距离的人体目标匹配方法，其特征是，步骤四中所述的进行训练是指：对训练集的每个图像以交叉验证的方式训练逻辑回归模型。

9.根据权利要求1所述的基于加权陆地运动距离的人体目标匹配方法，其特征是，所述的步骤六，具体是指：设训练集中属于身份k，k＝1，2，...，P的图像有N张，P表示训练集中图像身份的总数。测试图像到这N张图像的加权陆地运动距离分别为

测试图像到身份k图像的最终距离D^k等于

的平均值，当D^k，k＝1，2，...，P的最小值为D^M，则测试图像的身份为M。

Images