CN105404871A - 基于多尺度联合学习的无交叠视域摄像头之间的低分辨率行人匹配方法 - Google Patents

Abstract

本发明公开了一种基于多尺度联合学习的无交叠视域摄像头之间的低分辨率行人匹配方法，包括以下步骤：(1)从原始的行人训练数据中分别生成多个不同尺度的行人训练数据；(2)提出不同尺度上同一行人差异最小化准则；(3)建立多尺度联合学习模型；(4)实现不同摄像头间低分辨率行人的匹配。本发明采用多个不同的图像尺度来有效地保持低分辨率行人的表观信息，进一步利用不同尺度上同一行人差异最小化准则来传递行人在不同分辨率下的判别信息，在此基础上建立多尺度联合学习模型，学习每个尺度的最优距离度量。本发明的方法相比于直接将行人图像缩放到单一尺度建模的现有行人匹配方法，能够获得更高的不同摄像头之间低分辨行人的匹配准确率。

Description

基于多尺度联合学习的无交叠视域摄像头之间的低分辨率行人匹配方法

技术领域

本发明涉及视频监控领域不同摄像头之间的行人匹配方法，尤其涉及一种基于多尺度联合学习的无交叠视域摄像头之间的低分辨率行人匹配方法。

背景技术

当前在公共场合，常使用无交叠视域摄像头进行视频监控以扩大监控范围和记录行人轨迹。这其中的关键是实现不同摄像头检测到的行人之间的准确匹配。然而在现实中行人和不同摄像头之间的距离存在较大的差异，行人图像的分辨率往往大小不一，导致了低分辨率行人匹配问题的出现，即一个摄像头检测到的低分辨率行人和另一个摄像头检测到的正常分辨率行人之间的匹配问题。

近五年来出现了很多行人匹配的方法，如基于支持向量排序模型的匹配、基于相对距离比较学习的统计方法、基于等价约束模型的贝叶斯距离、基于自适应决策函数的匹配，以及基于局部线性判别分析的匹配等方法。但是现有方法忽略了行人匹配中存在的低分辨率问题，直接将所有行人图像缩放到单一的标准尺度后再进行匹配，使低分辨行人的信息损失严重，导致低分辨率行人匹配的准确率低下。

发明内容

本发明的目的在于克服现有技术的不足，提供一种实用性强、可明显提高低分辨率行人匹配准确率的基于多尺度联合学习的不同摄像头之间低分辨率行人匹配的方法。本方法对低分辨率行人和正常分辨率行人在多个图像尺度上进行联合建模以充分学习其内在的匹配关系，并获得了较高的匹配准确率。这是现有的方法中第一次解决低分辨率行人的匹配问题。

本发明的目的通过下述方案实现：一种基于多尺度联合学习的无交叠摄像头之间的低分辨率行人匹配方法，包括下述步骤：

(1)生成多个不同图像尺度的行人训练数据；

(2)提出不同尺度上同一行人差异最小化准则；

(3)建立多尺度联合学习模型；

(4)实现不同摄像头间低分辨率行人的匹配。

作为优选的，所述步骤(1)中，不同尺度的行人训练数据是通过将原始分辨率各异的行人训练图像同时缩放到多个不同的尺度得到的。

作为优选的，步骤(1)具体为：

行人训练图像被缩放到两个尺度，即一个标准尺度和一个其他的小尺度，更多尺度的情况可以很容易扩展，具体地，对于一个行人训练集，通过缩放图像可以分别得到一个标准尺度的行人训练集和一个小尺度的行人训练集 $X_s={\left\{(x_i^s,y_i)\right\}}_{i=1}^N,$ 其中 $x_i^h\∈R^{d_h}$ 和 $x_i^s\∈R^{d_s}(d_h>d_s)$ 分别表示同一张行人图像调整到标准尺度和小尺度后提取的特征向量，其所属的行人/类别记为y_i，N是训练集的行人图像样本总数。

作为优选的，所述步骤(2)中，提出的不同尺度同一行人分布差异最小化准则，是通过最小化不同尺度上同一行人的图像特征向量在低维空间中的分布差异实现的。

作为优选的，步骤(2)具体为：

不同尺度的同一个行人差异最小化准则通过最大限度减少同一行人在不同尺度上的图像的特征向量的均值在一个低维空间中的差异来实现，即最小化不同尺度的行人同类均值在低维子空间中的差异，该过程可表示为：

${\min }_{W_h,W_s}HCMD(W_h,W_s)=\frac{1}{C}\underset{i=1}{\overset{C}{\Σ}}\left|\right|W_h^T{u}_i^h-W_s^T{u}_i^s|{|}_2^2$ ①

其中，和分别是X_h和X_s中第i个行人的所属图像的特征向量的均值_，C是行人的总个数即总类别数，和分别是标准尺度和小尺度上距离度量的变换矩阵，用来投影行人样本到低维空间，r是被投影的低维空间的维度。

作为优选的，所述步骤(3)中的多尺度联合学习模型，目的是协同地在每个尺度上学习一个最优的距离度量，既实现不同尺度上同一行人差异最小化准则，同时又保证在同一尺度上，不同行人的类间距离最大化，同一行人的类内距离最小化。

作为优选的，步骤(3)具体为：

首先根据He和Niyogi提出的亲和度矩阵A和Sugiyama提出的局部线性判别理论，构造同一尺度的行人的类间散度矩阵S_b和类内的散度矩阵S_w如下：

$S_b=\underset{i,j=1}{\overset{N}{\Σ}}\frac{{\stackrel{\‾}{A}}_{i,j}^b}{2}(x_i-x_j){(x_i-x_j)}^T$

②

$S_w=\underset{i,j=1}{\overset{N}{\Σ}}\frac{{\stackrel{\‾}{A}}_{i,j}^w}{2}(x_i-x_j){(x_i-x_j)}^T$

其中，x_i和x_j为两张行人图像的特征向量，当x_i和x_j属于同一行人时， ${\stackrel{\‾}{A}}_{i,j}^b=\frac{A_{i,j}}{N}-\frac{A_{i,j}}{N_c},{\stackrel{\‾}{A}}_{i,j}^w=\frac{A_{i,j}}{N_c};$ 当x_i和x_j属于不同行人时， ${\stackrel{\‾}{A}}_{i,j}^b=\frac{1}{N},$ A_i,j是x_i和x_j之间的亲和度，N是所有行人样本的总数，N_c是对应的同一行人的样本数，对于标准尺度和小尺度，其对应的类间散度矩阵分别被表示为和其对应的类内散度矩阵分别被表示为和

为了得到最优距离度量的变换矩阵W_h和W_s，使其既要满足不同尺度的行人同类均值差异HCMD(W_h,W_s)最小化，又要分别实现行人样本的类内距离最小化和类间距离最大化，所以建立多尺度联合学习模型如下：

${\max }_{W_h,W_s}\left\{\begin{array}{c}HCMD{\left(W_h,W_s\right)}^{-1},\\ \frac{tr\left(W_h^T{S}_b^h{W}_h\right)}{tr\left(W_h^T{S}_w^h{W}_h\right)},\\ \frac{tr\left(W_s^T{S}_b^s{W}_s\right)}{tr\left(W_s^T{S}_w^s{W}_s\right)}\·\end{array}\right.$ ③

公式③表示的是基于两个图像尺度的多尺度联合学习模型，通过增加更多的尺度来最小化HCMD并同时学习各个尺度上行人的距离度量，能够很容易扩展到两个以上尺度的联合学习模型，求解公式③即可得到优选方案中标准尺度和小尺度上的最优距离度量的变换矩阵W_h和W_s。

作为优选的，所述步骤(4)是对摄像头cam_A中检测到的低分辨率行人P_A，在摄像头cam_B中检测到的R个正常分辨率行人r∈[1,R]中找到与其匹配的行人，与P_A匹配的行人可由公式确定，其中是P_A与在不同尺度上学习的最优距离度量计算的融合距离。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明使用多个图像尺度来提取行人的信息，与现有的行人匹配技术直接将所有行人缩放到单一图像尺度的做法相比，有效地保持了低分辨率行人的表观信息。

2、本发明提出的不同尺度的同一行人差异最小化准则能够保持不同尺度的行人表观信息的相似性，有效地传递了不同分辨率行人的判别信息。

3、本发明在不同尺度上同一行人差异最小化准则的基础上建立多尺度联合学习模型，学习每个尺度的最优距离度量，有效地增强了低分辨率行人和正常分辨率行人之间的匹配关系。与现有行人匹配技术相比，较好地改善了无交叠视域摄像头之间低分辨率行人的匹配效果。

附图说明

图1为本发明的操作流程图示。

图2为本发明方法的思想描述。

图3为CAVIAR行人数据集示例(第一行是一个摄像头中检测到的正常分辨率行人，第二行是对应的另一摄像头中检测到的低分辨率行人)。

图4为本发明的方法与现有行人匹配方法在CAVIAR行人数据集上的CMC曲线结果对比图。

图5为本发明的方法在低分辨率行人监控场景下的匹配结果示例图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

图1、图2示出了本发明的操作过程，由图1可见，基于多尺度联合学习的无交叠视域摄像头之间的低分辨率行人匹配方法，包括下述步骤：

(1)将原始的行人训练数据分别缩放到多个图像尺度上，以充分保持低分辨率行人的信息。具体地，在本实施例中，采用行人匹配方法中常用的单一标准尺度(128×48)和一个其他的小尺度(64×24)共两个尺度。对于行人图像，提取其颜色、LBP和HOG特征组成特征向量。

(2)构造不同尺度上同一行人差异最小化准则的具体表达形式。在本实施例中，通过最小化同一行人在不同尺度上的图像特征向量的均值在一个低维空间中的差异即来实现该准则。其中W_h和W_s分别是标准尺度和小尺度上距离度量的变换矩阵，用来投影行人样本到低维空间。在本实施例中，低维空间的维度取100维最佳。

(3)构建多尺度联合学习模型，协同学习不同尺度上最优距离度量，从而实现最小化HCMD(W_h,W_s)，又保证同一尺度上不同行人的类间距离最大化和同一行人的类内距离最小化。具体地，在本实施例中，通过以下公式③的近似等价形式来求解最优距离度量的变换矩阵W_h和W_s：

${\max }_{W_h,W_s}\frac{tr(W_h^T{S}_b^h{W}_h+W_s^T{S}_b^s{W}_s)}{tr(W_h^T{S}_w^h{W}_h+W_s^T{S}_w^s{W}_s)+\mathrm{\α}HCMD(W_h,W_s)}$ ④

其中，α是控制HCMD影响幅度的参数，在本实施例中α取10。

(4)实现不同摄像头下的低分辨率行人的匹配(见图5)。具体地，在本实施例中，对于摄像头cam_A中检测到的目标行人P_A和摄像头cam_B中检测到的某一行人P_B，分别提取其在标准尺度上的图像特征向量和以及在小尺度上的图像特征向量和则P_A和P_B在两个不同尺度上分别利用W_h和W_s变换后得到的融合距离度量可以由下式计算得到：

$d(p_A,p_B)=\mathrm{\β}\left|\right|W_h^T{x}_{p_A}^h-W_h^T{x}_{P_B}^h|{|}_2+(1-\mathrm{\β})||W_s^T{x}_{p_A}^s-W_s^T{x}_{p_B}^s|{|}_2$ ⑤

其中，β是调节标准尺度和小尺度影响的权重。在本实施例中β取0.3。假设在一段时间内有R个行人进入摄像头cam_B，则利用公式⑤分别计算目标行人P_A和这R个行人之间的距离，其中与P_A距离最小的行人即为cam_B中与P_A匹配的行人，即 $\hat{r}=\underset{r\∈\[1,R\]}{\mathrm{argmin}}d(P_A,P_B^r).$

本发明通过以下实验对本发明的效果进行说明：低分辨率行人匹配实验选择在CAVIAR行人数据集上进行。具体地，选择CAVIAR数据集的50个行人进行实验，这些行人在一个摄像头下是低分辨率，在另一个摄像头下是正常分辨率(见图3)。在该50个行人中，随机选择25个行人作为训练集，剩余的25个行人作为测试集。该过程重复10次进行实验，取10次结果的平均作为最终的实验结果，以CMC(cumulativematchcharacteristic)曲线来展现。

本实验比较了本发明的方法和六种常用的行人匹配方法，包括1)基于1范数距离的匹配方法(L1norm)；2)基于局部线性判别分析的匹配方法(LFDA)(具体见“S.Pedagadi,J.Orwell,S.Velastin,andB.Boghossian.Localfisherdiscriminantanalysisforpedestrianre-identification.InCVPR,2013.”)；3)基于等价约束的匹配方法(KISSME)(具体见“M.Kostinger,M.Hirzer,P.Wohlhart,P.M.Roth,andH.Bischof.Largescalemetriclearningfromequivalenceconstraints.InCVPR,2012.”)；4)基于自适应决策函数的匹配方法(LADF)(具体见“Z.Li,S.Chang,F.Liang,T.S.Huang,L.Cao,andJ.R.Smith.Learninglocally-adaptivedecisionfunctionsforpersonverification.InCVPR,2013.”)；5)基于支持向量排序模型的匹配方法(PRSVM)(具体见“B.Prosser,W.-S.Zheng,S.Gong,andT.Xiang.Personre-identificationbysupportvectorranking.InBMVC,2010.”)；6)基于相对距离比较学习的匹配方法(RDC)(具体见“W.-S.Zheng,S.Gong,andT.Xiang.Re-identificationbyrelativedistancecomparison.IEEETPAMI,35(3):653–668,2013.”)。比较的结果如图4和表1所示，其中图4是实验中每种方法的CMC曲线图，表1记录了每种方法匹配准确率的具体数值。

表1：行人匹配准确率(％)。其中，Rank1、5、10和20分别表示正确匹配出现在前1、5、10和20个最相似位置的准确率。

Methods	Rank 1	Rank 5	Rank 10	Rank 20
					本发明的方法	22.12	59.56	80.48	97.84
LFDA	14.56	48.76	72.04	96.04
					L1norm	11.56	40.08	64.92	92.60
KISSME	16.72	51.28	75.56	97.80
					LADF	11.12	46.52	72.04	96.00
PRSVM	15.56	45.56	68.60	94.16
					RDC	15.12	45.92	68.92	94.56

从实验结果可以看出，采用本发明进行无交叠视域摄像头之间的低分辨率行人匹配，与现存的行人匹配方法相比，提高了匹配准确率。由于这些方法忽略了视频监控中低分辨率行人的存在，对所有行人在单一图像尺度上建模，既使低分辨率行人的表观信息失真严重，又没有挖掘不同分辨率行人之间的匹配关系，导致低分辨率行人的匹配准确率低下。而本发明的方法利用多个图像尺度来保持低分辨率行人的表观信息，同时提出多尺度联合学习模型，充分挖掘不同尺度之间的联系，较好地改善了低分辨率行人匹配的效果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于多尺度联合学习的无交叠视域摄像头之间的低分辨率行人匹配方法，其特征在于包括以下步骤：

(1)生成多个不同图像尺度的行人训练数据；

(2)提出不同尺度上同一行人差异最小化准则；

(3)建立多尺度联合学习模型；

(4)实现不同摄像头间低分辨率行人的匹配。

2.根据权利要求1所述的基于多尺度联合学习的无交叠视域摄像头之间的低分辨率行人匹配方法，其特征在于，所述步骤(1)中，不同尺度的行人训练数据是通过将原始分辨率各异的行人训练图像同时缩放到多个不同的尺度得到的。

3.根据权利要求2所述的基于多尺度联合学习的无交叠视域摄像头之间的低分辨率行人匹配方法，其特征在于，步骤(1)具体为：

行人训练图像被缩放到两个尺度，即一个标准尺度和一个其他的小尺度，更多尺度的情况可以很容易扩展，具体地，对于一个行人训练集，通过缩放图像可以分别得到一个标准尺度的行人训练集和一个小尺度的行人训练集 $X_s={\left\{(x_i^s,y_i)\right\}}_{i=1}^N,$ 其中 $x_i^h\∈R^{d_h}$ 和 $x_i^s\∈R^{d_s}(d_h>d_s)$ 分别表示同一张行人图像调整到标准尺度和小尺度后提取的特征向量，其所属的行人/类别记为y_i，N是训练集的行人图像样本总数。

4.根据权利要求1所述的基于多尺度联合学习的无交叠视域摄像头之间的低分辨率行人匹配方法，其特征在于，所述步骤(2)中，提出的不同尺度同一行人分布差异最小化准则，是通过最小化不同尺度上同一行人的图像特征向量在低维空间中的分布差异实现的。

5.根据权利要求4所述的基于多尺度联合学习的无交叠视域摄像头之间的低分辨率行人匹配方法，其特征在于，步骤(2)具体为：

不同尺度的同一个行人差异最小化准则通过最大限度减少同一行人在不同尺度上的图像的特征向量的均值在一个低维空间中的差异来实现，即最小化不同尺度的行人同类均值在低维子空间中的差异，该过程可表示为：

${\min }_{W_h,W_s}\mathrm{HCMD}(W_h,W_s)=\frac{1}{C}\underset{i=1}{\overset{C}{\mathrm{\Σ}}}{\left|\right|W_h^T{u}_i^h-W_s^T{u}_i^s\left|\right|}_2^2$ ①

其中，和分别是X_h和X_s中第i个行人的所属图像的特征向量的均值_，C是行人的总个数即总类别数，和分别是标准尺度和小尺度上距离度量的变换矩阵，用来投影行人样本到低维空间，r是被投影的低维空间的维度。

6.根据权利要求1所述的基于多尺度联合学习的无交叠视域摄像头之间的低分辨率行人匹配方法，其特征在于，所述步骤(3)中的多尺度联合学习模型，目的是协同地在每个尺度上学习一个最优的距离度量，既实现不同尺度上同一行人差异最小化准则，同时又保证在同一尺度上，不同行人的类间距离最大化，同一行人的类内距离最小化。

7.根据权利要求6所述的基于多尺度联合学习的无交叠视域摄像头之间的低分辨率行人匹配方法，其特征在于，步骤(3)具体为：

首先根据He和Niyogi提出的亲和度矩阵A和Sugiyama提出的局部线性判别理论，构造同一尺度的行人的类间散度矩阵S_b和类内的散度矩阵S_w如下：

$\begin{array}{c}{S}_b=\underset{i,j=1}{\overset{N}{\mathrm{\Σ}}}\frac{{\stackrel{\‾}{A}}_{i,j}^b}{2}(x_i-x_j){(x_i-x_j)}^T\\ S_w=\underset{i,j=1}{\overset{N}{\mathrm{\Σ}}}\frac{{\stackrel{\‾}{A}}_{i,j}^w}{2}(x_i-x_j){(x_i-x_j)}^T\end{array}$ ②

其中，x_i和x_j为两张行人图像的特征向量，当x_i和x_j属于同一行人时， ${\stackrel{\‾}{A}}_{i,j}^b=\frac{A_{i,j}}{N}-\frac{A_{i,j}}{N_c},{\stackrel{\‾}{A}}_{i,j}^w=\frac{A_{i,j}}{N_c};$ 当x_i和x_j属于不同行人时， ${\stackrel{\‾}{A}}_{i,j}^b=\frac{1}{N},$ A_i,j是x_i和x_j之间的亲和度，N是所有行人样本的总数，N_c是对应的同一行人的样本数，对于标准尺度和小尺度，其对应的类间散度矩阵分别被表示为和其对应的类内散度矩阵分别被表示为和

为了得到最优距离度量的变换矩阵W_h和W_s，使其既要满足不同尺度的行人同类均值差异HCMD(W_h,W_s)最小化，又要分别实现行人样本的类内距离最小化和类间距离最大化，所以建立多尺度联合学习模型如下：

${\max }_{W_h,W_s}\left\{\begin{array}{c}HCMD{\left(W_h,W_s\right)}^{-1},\\ \frac{tr\left(W_h^T{S}_b^h{W}_h\right)}{tr\left(W_h^T{S}_w^h{W}_h\right)},\\ \frac{tr\left(W_s^T{S}_b^s{W}_s\right)}{tr\left(W_s^T{S}_w^s{W}_s\right)}.\end{array}\right.$ ③

公式③表示的是基于两个图像尺度的多尺度联合学习模型，通过增加更多的尺度来最小化HCMD并同时学习各个尺度上行人的距离度量，能够很容易扩展到两个以上尺度的联合学习模型，求解公式③即可得到优选方案中标准尺度和小尺度上的最优距离度量的变换矩阵W_h和W_s。

8.根据权利要求1所述的基于多尺度联合学习的无交叠视域摄像头之间的低分辨率行人匹配方法，其特征在于，所述步骤(4)是对摄像头cam_A中检测到的低分辨率行人P_A，在摄像头cam_B中检测到的R个正常分辨率行人中找到与其匹配的行人，与P_A匹配的行人可由公式确定，其中是P_A与在不同尺度上学习的最优距离度量计算的融合距离。