CN105447465A - 基于行人局部和整体融合匹配的无交叠视域摄像头之间的不完整行人匹配方法 - Google Patents

Abstract

本发明公开了一种基于行人局部和整体融合匹配的无交叠视域摄像头之间的不完整行人匹配方法，包括以下步骤：(1)建立行人局部匹配模型；(2)建立行人整体匹配模型；(3)融合局部模型和整体模型实现不完整行人的匹配。本发明在允许不对行人进行手动规整对齐的情况下，建立行人局部匹配模型和整体匹配模型，最后融合两种模型的匹配度信息，从而实现不完整行人匹配。本发明允许不对行人进行手动规整对齐，从而保持不完整行人的原始信息。同时，本发明对行人局部信息和全局信息进行融合匹配，实现优势互补，相比于直接将行人手动对齐到相同尺度建模的现有行人匹配方法，能够显著地提升不同摄像头之间不完整行人的匹配准确率。

Description

基于行人局部和整体融合匹配的无交叠视域摄像头之间的不完整行人匹配方法

技术领域

本发明涉及视频监控领域不同摄像头之间的行人匹配方法，尤其涉及一种基于行人局部和整体融合匹配的无交叠视域摄像头之间的不完整行人匹配方法。

背景技术

当前公共场合，常使用无交叠视域摄像头进行视频监控以扩大监控范围和记录行人轨迹。这其中的关键是实现不同摄像头检测到的行人之间的准确匹配。然而在现实中行人在运动过程中身体存在被遮挡的情况，行人常常是不完整的，导致了不完整行人匹配问题的出现，即一个摄像头检测到的由于遮挡等因素导致的不完整行人和另一个摄像头检测到的完整行人之间的匹配问题。

近五年来出现了很多行人匹配的方法，如基于支持向量排序模型的匹配、基于相对距离比较学习的统计方法、基于等价约束模型的贝叶斯距离、基于自适应决策函数的匹配、基于局部线性判别分析的匹配等方法。但是现有方法都基于能够检测到完整行人这个假设，忽略了不完整行人的存在，直接将所有行人手动规整对齐到相同尺度后进行匹配，导致不完整行人失真严重，导致匹配准确率严重低下。

发明内容

本发明的目的在于克服现有技术的不足，提供一种实用性强、可明显提高不完整行人匹配准确率的基于行人局部和整体融合匹配的不同摄像机之间的行人匹配方法。本方法允许不对行人进行手动规整对齐，从而保持不完整行人的原始信息。本方法融合了行人局部和整体的信息进行匹配，与现有方法相比，尤其针对大幅度遮挡的情形的不完整行人匹配，大幅提高了不完整行人的匹配准确率。

为了达到上述目的，本发明采用以下技术方案：

一种基于行人局部和整体融合匹配的无交叠视域摄像头之间的不完整行人匹配方法，该方法包括下述步骤：

(1)建立行人局部匹配模型；

(2)建立行人整体匹配模型；

(3)融合局部模型和整体模型实现不完整行人的匹配。

作为优选的，所述步骤(1)中，行人局部匹配模型是在允许无手动对齐的情况下，对不完整行人和完整行人在局部信息上的匹配关系进行建模得到的，根据行人局部匹配模型可以计算得到不完整行人和完整行人之间的局部匹配的相似度信息。

作为优选的，所述步骤(1)中，建立行人局部匹配模型的具体方法为：

对于摄像头cam_A中检测到的不完整行人P_A，其特征矩阵被表示为Y＝[y₁,y₂,…,y_n]，其中Y的每一列是P_A的一个局部特征向量，n是P_A局部特征向量的数量，对于摄像头cam_B中检测到的C个完整行人其特征矩阵被表示为其中D_c的每一列是的一个局部特征向量，k_c是局部特征向量的数量，首先组合C个完整行人的特征矩阵得到D＝[D₁,D₂,…,D_C]，再利用特征矩阵D为P_A的n个局部特征向量y_i,i∈[1,n]分别计算一个重构表达系数x_i，使其满足y_i＝Dx_i，最后利用的特征矩阵D_c对于P_A的每个局部特征向量的重构误差之和来确定P_A和之间的局部距离：

$d_{local}(p_A,p_B^c)=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}\left|\right|y_i-D_c{\mathrm{\δ}}_c\left(x_i\right)|{|}_2^2,$ 其中，δ_c用来从x_i中选择与D_c对应的重构系数。

作为优选的，所述步骤(2)中，行人整体匹配模型是在允许无手动对齐的情况下，对不完整行人和完整行人在整体信息上的匹配关系进行建模得到的，根据行人整体匹配模型可以计算得到不完整行人和完整行人之间的整体匹配的相似度信息。

作为优选的，所述步骤(2)中，建立行人整体匹配模型具体为：

对于所有的行人图像，我们允许不进行手动对齐，而是根据摄像头cam_A中检测到的不完整行人P_A的大小设置一个窗口，在摄像头cam_B中检测到的完整行人上进行滑动搜索，每次滑动后计算一次当前窗口中的行人与P_A的距离，最后取最小的距离作为P_A和的整体距离

作为优选的，所述步骤(3)中，是对摄像头cam_A中检测到的不完整行人P_A，在摄像头cam_B中检测到的C个完整行人中找到与其匹配的行人，与P_A匹配的行人可由公式确定，其中是将步骤(1)中得到的局部信息(比如距离d_local)和步骤(2)中得到的整体信息(比如距离d_global)结合计算得到的不完整行人P_A和完整行人之间的最终距离。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明允许对行人进行无手动对齐的建模，与现有的行人匹配技术直接将所有行人手动对齐到相同图像尺度的做法相比，有效地保持了不完整行人表观信息的真实性。

2、本发明建立的不完整行人局部匹配模型，利用行人局部信息的匹配关系进行建模，能够较好的减少由于摄像头角度变换和行人姿势变化等因素导致行人形变带来的影响。

3、本发明建立的不完整行人整体匹配模型，利用行人整体信息的匹配关系进行建模，增强了行人图像在整体空间布局上的稳定性。

4、本发明融合局部匹配模型和整体匹配模型进行最终的行人匹配，充分利用了两种匹配模型各自的优点，实现了优势互补，与现有行人匹配技术相比，显著地改善了无交叠视域摄像头之间不完整行人的匹配效果。

附图说明

图1为本发明的操作流程图示(实例)。

图2为本发明方法的思想描述。

图3为不完整行人匹配数据集的行人图像示例(第一行是由于遮挡等因素导致的不完整行人图像，第二行是对应的完整行人图像)。

图4为本发明与现有行人匹配方法在不完整行人匹配数据集上的CMC曲线结果对比图。

图5为本发明在不完整行人匹配数据集上的匹配结果示例图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

图1示出了本发明的操作过程，由图1可见，基于行人局部和整体融合匹配的无交叠视域摄像头之间的不完整行人匹配方法，包括下述步骤：

(1)建立无手动对齐的行人局部匹配模型，计算不同行人之间的局部距离。在本实施例中，行人被划分为多个规则网格状的图像块，并分块提取颜色、LBP和HOG的组合特征。具体地，对于摄像头cam_A中检测到的不完整行人P_A，提取其每一个图像块的特征向量构成特征矩阵Y＝[y₁,y₂,…,y_n]。对于摄像头cam_B中检测到的C个完整行人分别提取其每一个图像块的特征向量构成C个特征矩阵并组合得到D＝[D₁,D₂,…,D_C]。为了利用特征矩阵D为P_A的n个局部特征向量y_i,i∈[1,n]分别计算一个满足y_i＝Dx_i的重构系数x_i，在本实施例中，首先构造优化模型如下：

$\underset{x_i}{min}\left|\right|y_i-{\mathrm{DX}}_i|{|}_2^2,i\∈\[1,n\]$ ①

为了提高x_i的重构质量，我们在公式①中加入两个约束项：第一个约束项引入相似性约束，通过最小化增大D中相关特征向量对重构y_i的贡献。其中,s_i是由y_i分别和D中每一列特征向量d_j的相似度(根据公式计算得到)组成的相似度向量。第二个约束项引入稀疏约束，通过最小化||x_i||₁，减少D中无关特征向量对重构y_i的干扰。因此公式②可以转化为：

$\underset{x_i}{min}\left|\right|y_i-{\mathrm{Dx}}_i|{|}_2^2+{\mathrm{\αs}}_i^T{x}_i+\mathrm{\β}|\left|x_i\right|{|}_1,i\∈\[1,n\]$ ②

其中，α和β分别是控制对应约束项的影响幅度的参数，在本实施例中α和β的取值分别是5和0.3。在求解公式③得到最优的重构系数x_i后，即可利用的特征矩阵D_c对于P_A每个局部特征向量的重构误差之和来确定P_A和的局部距离：

$d_{local}(p_A,p_B^c)=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}\left|\right|y_i-D_c{\mathrm{\δ}}_c\left(x_i\right)|{|}_2^2.$ 其中，δ_c用来从x_i中选择与D_c对应的重构系数。

(2)建立允许无手动对齐的行人整体匹配模型，计算不同行人之间的整体距离。具体地，在本实施例中，我们根据摄像头cam_A中检测到的不完整行人P_A的大小设置一个窗口，在摄像头cam_B中检测到的完整行人上进行滑动搜索。每次滑动后计算一次当前窗口中的行人与P_A的距离。该距离通过计算当前窗口中的行人图像特征和P_A的图像特征之差的一范数得到。最后我们取最小的距离作为P_A和的整体距离在本实施例中，颜色、LBP和HOG的组合特征被作为行人图像特征，滑动窗口步长为5个像素点。

(3)融合局部模型和整体模型实现不完整行人的匹配(见图5)。具体地，在本实施例中，对于摄像头cam_A中检测到的不完整行人P_A和摄像头cam_B中检测到的C个完整行人其最终距离由局部距离和整体距离的加权和得到，即：

$d(p_A,p_B^c)={\mathrm{\γd}}_{local}(p_A,p_B^c)+(1-\mathrm{\γ})d_{global}(p_A,p_B^c),c\∈\[1,C\]$ ③

其中，γ用来调节局部距离和整体距离影响，在本实施例中γ取0.7。最后根据公式找出摄像头cam_B下与P_A匹配的行人。

本发明通过以下实验对本发明的效果进行说明：构造一个不完整行人匹配数据集上进行实验。具体地，该数据集含有60个行人，这些行人在一个摄像头下由于遮挡等因素是不完整的，在另一个摄像头下是完整的(见图2)。在该60个行人中，随机选择70％的行人作为测试集。该过程重复10次进行实验，取10次结果的平均作为最终的实验结果，以CMC(cumulativematchcharacteristic)曲线来展现。

本实验比较了本发明的方法和六种常用的行人匹配方法，包括1)基于1范数距离的匹配方法(L1norm)；2)基于局部线性判别分析的匹配方法(LFDA)(具体见“S.Pedagadi,J.Orwell,S.Velastin,andB.Boghossian.Localfisherdiscriminantanalysisforpedestrianre-identification.InCVPR,2013.”)；3)基于等价约束的匹配方法(KISSME)(具体见“M.Kostinger,M.Hirzer,P.Wohlhart,P.M.Roth,andH.Bischof.Largescalemetriclearningfromequivalenceconstraints.InCVPR,2012.”)；4)基于自适应决策函数的匹配方法(LADF)(具体见“Z.Li,S.Chang,F.Liang,T.S.Huang,L.Cao,andJ.R.Smith.Learninglocally-adaptivedecisionfunctionsforpersonverification.InCVPR,2013.”)；5)基于支持向量排序模型的匹配方法(PRSVM)(具体见“B.Prosser,W.-S.Zheng,S.Gong,andT.Xiang.Personre-identificationbysupportvectorranking.InBMVC,2010.”)；6)基于相对距离比较学习的匹配方法(RDC)(具体见“W.-S.Zheng,S.Gong,andT.Xiang.Re-identificationbyrelativedistancecomparison.IEEETPAMI,35(3):653–668,2013.”)。为了进一步说明本发明的有效性，一些相关领域的遮挡或不完整图像匹配技术也被参与比较，具体包括：1)基于多任务稀疏表达的不完整人脸匹配方法(MTSR)(具体见“S.Liao,A.K.Jain,andS.Z.Li.Partialfacerecognitionalignment-freeapproach.IEEETPAMI,35(5),2013.”)；2)基于鲁棒稀疏表达的遮挡人脸匹配方法(SRC)(具体见“J.Wright,A.Y.Yang,A.Ganesh,S.S.Sastry,andY.Ma.Robustfacerecognitionviasparserepresentation.IEEETPAMI,31(2),2009.”)。比较的结果如图4和表1所示，其中图4是实验中每种方法的CMC曲线图，表1记录了每种方法匹配准确率的具体数值。

表1：行人匹配准确率(％)。其中，Rank1、5、10和20分别表示正确匹配出现在前1、5、10和20个最相似位置的准确率。

Methods	Rank 1	Rank 5	Rank 10	Rank 20
					本发明的方法	53.14	76.43	85.29	94.33
LFDA	24.62	47.05	62.48	80.05
					L1norm	24.14	43.90	57.90	76.52

KISSME	24.95	45.19	58.48	77.86
					LADF	26.38	50.52	65.43	83.33
PRSVM	27.00	48.71	64.00	81.14
					RDC	26.76	49.71	64.29	81.10
MTSR	42.00	67.24	79.81	91.14
					SRC	24.90	45.62	58.14	76.19

从图4和表1的实验结果可以看出，采用本发明的方法进行无交叠视域摄像头之间的不完整行人匹配，与现存的行人匹配方法相比，能显著地提高匹配准确率。由于这些方法忽略了视频监控中由于遮挡等因素造成的不完整行人的存在，直接将所有行人手动对齐到相同尺度后再进行建模，导致不完整行人的信息失真严重，无法和完整行人准确对齐，所以造成匹配准确率低下。而本发明设计允许无手动对齐的行人局部和整体融合匹配的方法，既充分保持了行人的原始信息，又同时结合两种匹配模型的优点，所以极大地改善了不完整行人匹配的效果。从图4和表1还能看出，本发明的准确率也高于其他相关领域使用的遮挡或者不完整图像的匹配方法的准确率。此结果进一步说明了本发明在不完整行人匹配上的优势。

此外，由于本发明融合了局部匹配模型和整体匹配模型，为了更好的说明融合的有效性，表2还示出了单独使用本发明的局部匹配模型和整体匹配模型的匹配结果。

表2：行人匹配准确率(％)

Methods	Rank 1	Rank 5	Rank 10	Rank 20
					本发明的方法	53.14	76.43	85.29	94.33

局部匹配	45.19	70.29	81.00	90.62
					整体匹配	47.24	71.05	80.57	92.05

从表2的实验结果可以看出，本发明进行融合匹配的效果优于单独使用局部匹配或整体匹配的效果。此结果更进一步说明了本发明在不完整行人匹配上的有效性。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于行人局部和整体融合匹配的无交叠视域摄像头之间的不完整行人匹配方法，其特征在于，该方法包括下述步骤：

(1)建立行人局部匹配模型；

(2)建立行人整体匹配模型；

(3)融合局部模型和整体模型实现不完整行人的匹配。

2.根据权利要求1所述的基于行人局部和整体融合匹配的无交叠视域摄像头之间的不完整行人匹配方法，其特征在于，所述步骤(1)中，行人局部匹配模型是在允许无手动对齐的情况下，对不完整行人和完整行人在局部信息上的匹配关系进行建模得到的，根据行人局部匹配模型可以计算得到不完整行人和完整行人之间的局部匹配的相似度信息。

3.根据权利要求2所述的基于行人局部和整体融合匹配的无交叠视域摄像头之间的不完整行人匹配方法，其特征在于，所述步骤(1)中，建立行人局部匹配模型的具体方法为：

对于摄像头cam_A中检测到的不完整行人P_A，其特征矩阵被表示为Y＝[y₁,y₂,…,y_n]，其中Y的每一列是P_A的一个局部特征向量，n是P_A局部特征向量的数量，对于摄像头cam_B中检测到的C个完整行人c∈[1,C]，其特征矩阵被表示为c∈[1,C]，其中D_c的每一列是的一个局部特征向量，k_c是局部特征向量的数量，首先组合C个完整行人的特征矩阵得到D＝[D₁,D₂,…,D_C]，再利用特征矩阵D为P_A的n个局部特征向量y_i,i∈[1,n]分别计算一个重构表达系数x_i，使其满足y_i＝Dx_i，最后利用的特征矩阵D_c对于P_A的每个局部特征向量的重构误差之和来确定P_A和之间的局部距离： $d_{local}(p_A,p_B^c)=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}\left|\right|y_i-D_c{\mathrm{\δ}}_c\left(x_i\right)|{|}_2^2,$ 其中，δ_c用来从x_i中选择与D_c对应的重构系数。

4.根据权利要求1所述的基于行人局部和整体融合匹配的无交叠视域摄像头之间的不完整行人匹配方法，其特征在于，所述步骤(2)中，行人整体匹配模型是在允许无手动对齐的情况下，对不完整行人和完整行人在整体信息上的匹配关系进行建模得到的，根据行人整体匹配模型可以计算得到不完整行人和完整行人之间的整体匹配的相似度信息。

5.根据权利要求4所述的基于行人局部和整体融合匹配的无交叠视域摄像头之间的不完整行人匹配方法，其特征在于，所述步骤(2)中，建立行人整体匹配模型具体为：

对于所有的行人图像，我们允许不进行手动对齐，而是根据摄像头cam_A中检测到的不完整行人P_A的大小设置一个窗口，在摄像头cam_B中检测到的完整行人上进行滑动搜索，每次滑动后计算一次当前窗口中的行人与P_A的距离，最后取最小的距离作为P_A和的整体距离

6.根据权利要求1所述的基于行人局部和整体融合匹配的无交叠视域摄像头之间的不完整行人匹配方法，其特征在于，所述步骤(3)中，是对摄像头cam_A中检测到的不完整行人P_A，在摄像头cam_B中检测到的C个完整行人c∈[1,C]中找到与其匹配的行人，与P_A匹配的行人可由公式确定，其中是融合根据局部匹配模型和整体匹配模型分别计算得到的P_A与之间局部匹配相似度信息和全局匹配相似度信息。