CN104794451B

CN104794451B - 基于分块匹配结构的行人比对方法

Info

Publication number: CN104794451B
Application number: CN201510209630.4A
Authority: CN
Inventors: 林巍峣; 沈洋; 屈春光
Original assignee: Shanghai All Trade Infosystems Development In Science And Technology Co Ltd; Shanghai Jiaotong University
Current assignee: Shanghai All Trade Infosystems Development In Science And Technology Co Ltd; Shanghai Jiaotong University
Priority date: 2015-04-28
Filing date: 2015-04-28
Publication date: 2018-01-02
Anticipated expiration: 2035-04-28
Also published as: CN104794451A

Abstract

一种基于分块匹配结构的行人比对方法，将通过至少两个不同的摄像头采集到的行人图片组成行人图像数据集，并对其中所有行人图片进行图像块划分；然后根据图像块序号约束，对行人图像数据集生成候选二值分块匹配结构，并以图像块之间特征相似度对其进行优化，得到反应所述两个不同的摄像头之间关联的优化二值分块匹配结构；最后基于最优分块匹配结构计算所述两个不同的摄像头采集到的两组待测行人图片之间的优化相似分数，并根据优化相似分数的高低确定不同的摄像头采集到的图片关联。本发明中的方法可以适用于摄像头视角差距很大，存在部分遮挡的场景，在行人比对时有比较高的匹配准确率。

Description

基于分块匹配结构的行人比对方法

技术领域

本发明涉及的是一种图像匹配检索领域的技术，具体是一种多摄像头下基于分块匹配结构的视频中行人比对、再识别的方法。

背景技术

行人比对是计算机视觉领域里的一个重要的基础研究，其含义为使用图像处理、机器学习和有效的优化算法在多个摄像头下采集的视频或者图像中对行人进行比对，寻找出多个摄像头中的某个特定行人。行人比对在视频监控，行人追踪和目标行人行为分析等实用领域发挥着重要的作用。

行人比对的技术主要概括为以下三个步骤：首先是对视频或者图像中的行人提取有效的特征信息；然后根据提取的特征信息，利用机器学习或度量学习等合适的算法计算多摄像头下行人之间的相似分数；最后基于不同摄像头下的行人两两之间的相似分数，锁定多摄像头下的同一个行人。

2003年，中国研究员Liang Wang等人在《IEEE transactions on PatternAnalysis and Machine Intelligence》(IEEE模式分析和机器智能期刊)发表了一篇名为“Silhouette Analysis‐based Gait Recognition for Human Identification”(基于轮廓分析步态识别的行人比对)的论文中提出基于人体细节和行人步态来增强行人特征鲁棒性的算法，使得匹配准确率得到较大的提升。基于此算法，研究人员同时提出了许多相应的改进算法来进一步提升检测结果。在2012年，Kostinger等人在《IEEE conference onComputer Vision and Pattern Recognition》(IEEE计算机视觉和模式识别会议)上发表的“Large Scale Metric Learning from Equivalence Constraints”(基于等价约束的大尺度度量学习)中提出了利用机器学习和度量学习的方法，逐步地训练出优秀的特征距离函数，一定程度上弥补了特征的鲁棒性不足。之后，在2013年，Rui Zhao等人在《IEEEconference on Computer Vision and Pattern Recognition》(IEEE计算机视觉和模式识别会议)上发表的“Unsupervised Salience Learning for Person Re‐identification”(基于无监督显著区域学习的行人比对)中将行人图片分成图像块，划分显著区域，并综合不同显著区域中图像块之间的相似度来得到多摄像头下行人之间的相似分数，较好地避免了部分遮挡的干扰，提高了匹配的准确率。

在现阶段，效果较好的行人比对算法是上述提到的Rui Zhao发表的基于行人分块和显著区域的行人比对算法，但是该算法中某镜头下的行人图像块只在另一镜头下对应行人图像块的临近区域寻找最相似的图像块。但是，如果两个摄像头的视角差距比较大，最恰当对应的图像块超出了临近区域，该算法就不适用。同时，这个寻找临近图像块的算法可能会因为行人图片背景的干扰增加多摄像头下不同的行人之间的相似度，从而降低了匹配的准确率。

经过对现有技术的检索发现，中国专利文献号CN102779157A公开(公告)日2012.11.14，公开了一种搜索图像的方法和装置，能够提高从图库中搜索与被比图像相似的图库图像的准确性。该方法包括：计算被比图像和图库图像的梯度直方图特征向量、角度直方图特征向量，根据被比图像和图库图像的梯度直方图特征向量的欧氏距离以及被比图像和图库图像的角度直方图特征向量的欧氏距离确定被比图像与图库图像的相似度，根据该相似度从图库中选择与被比图像具有相似性的图库图像。但该技术在摄像头角度和背景环境差异较大的情况下，直接比较图像之间的全局特征容易产生误匹配的情况；鲁棒性较强的图像全局特征通常维度很高，在计算相似度时，具有较高的计算时间复杂度。

中国专利文献号CN103679142A公开(公告)日2014.03.26，公开了一种基于空间约束的目标人体识别方法，其提取待识别图像和图像目标库内的图像的前景区域，将图像目标库内的图像的前景区域分割成等大小且互相重叠的第一图像块，将待识别图像的前景区域分割成等大小且互相重叠的第二图像块，再提取第一图像块和第二图像块的特征向量，并找到第二图像块在图像目标库内的每幅图像中的最相似块，再分别提取第一图像块和第二图像块的最小距离块序列，然后计算得到待识别图像相对于图像目标库内的图像的匹配得分从而进行人体识别，优点在于将丰富的结构信息融入到匹配得分中去，有效地避免了拍摄角度、姿势和光线变化的影响，能有效识别不同人体的相似区域内的微小差别且不需要对待识别图像进行标记。但该技术中每个第一图像块是寻找第二图像块在图像目标库内的每幅图像中的最相似块，仅仅考虑了局部的特征信息，容易在某些情况下产生误匹配(例如，存在两个不同的行人，其中一个行人身着红色衣服蓝色裤子，另一个行人身穿蓝色衣服红色裤子。这两个不同的行人用该现有技术计算得到的匹配得分会很高)。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于分块匹配结构的行人比对方法，利用了固定摄像头中光线明暗，色调色差和行人姿态较为稳定的性质，结合了基于分块的行人比对算法的优势，能够在两个或多个视角差异较大的摄像头下相对于其他行人比对算法具有较高的行人匹配准确率。

本发明是通过以下技术方案实现的：

本发明涉及一种基于分块匹配结构的行人比对方法，包括以下步骤：

第一步、将通过至少两个不同的摄像头采集到的行人图片组成行人图像数据集，并对其中所有行人图片进行图像块划分。

所述的划分是指：将行人比对数据集中的每张行人图片划分成若干个图像块的集合。

所述的图像块通过固定大小的滑动窗以预设步长按照从左到右，从上到下的顺序滑动所得，同一图片中的所有图像块以从左到右，从上到下的顺序进行编号。

第二步、根据图像块序号约束，对行人图像数据集生成候选二值分块匹配结构，并以图像块之间特征相似度对其进行优化，得到数据集中每个行人的优化二值分块匹配结构，经求平均后得到最终的分块匹配结构，也即是反应所述两个不同的摄像头之间关联的最优分块匹配结构。

所述的图像块序号约束是指：当两个不同的摄像头中的任一一个所得行人图片U_A中第i号图像块和另一个摄像头所得行人图片V_B中的第j号图像块之间满足|i-j|≤l，其中：l为约束距离。

所述的候选二值分块匹配结构M为若干个n×n的0/1矩阵的集合，该集合中每个矩阵对应一幅行人图片，矩阵大小n代表一幅行人图片中图像块的个数，0表示两幅来自不同摄像头的行人图像中的对应位置图像块之间不满足图像块序号约束，否则为1。

所述的行人图像数据集中的行人图片U_A中的第i号图像块与行人图片V_B中的第j号图像块满足且唯一满足上述图像块序号约束，A、B分别指代不同的摄像头。

所述的特征相似度，具体为：其中：一个摄像头下的行人图片U_A中第i号图像块提取得到的特征为另一个摄像头下的行人图片V_B中第j号图像块提取得到的特征为和分别是图像块特征和的第d维度的值，α是归一化的参数。

所述的特征是指：采用Dalal等人在2005年的《IEEE Conference on ComputerVision and Pattern Recognition》(IEEE计算机视觉和模式识别会议)上发表的论文“Histograms of Oriented Gradients for Human Detection"(用于行人检测的梯度方向直方图)中描述的方法进行提取得到。

所述的以图像块之间特征相似度对其进行优化，包括以下步骤：

i)计算两个不同的摄像头中的任一一个所得行人图片U_A和另一个摄像头所得行人图片V之间的所有图像块之间的特征相似度之和，即是对于行人U的优化二值分块匹配结构，是两个图像块之间的特征相似度；对于行人图像数据集中的每个行人都有一个对应的优化二值分块匹配结构(当行人图像数据集有n个行人，就有n个对应的优化二值匹配结构)；然后将所有行人的二值匹配结构进行平均得到最优分块匹配结构。

第三步、基于最优分块匹配结构和特征相似度计算所述两个不同的摄像头采集到的两组待测行人图片之间的优化相似分数，并根据优化相似分数的高低确定不同的摄像头采集到的图片关联。

所述的优化相似分数是指：其中：为最优分块匹配结构，U_A'和V_B'分别为两个不同的摄像头采集到的待测行人图片。

本发明涉及一种实现上述方法的系统，包括：图像块划分模块、数据图库、判断模块以及特征相似度计算模块，其中：图像块划分模块分别与数据图库以及图像采集系统相连并获得训练图像集以及待判断图像集，图像块划分模块与特征相似度计算模块相连并分别输出训练图像块组合以及待判断图像块组合，特征相似度计算模块与判断模块相连并输出最优分块匹配结构以及特征相似度，判断模块根据收到的最优分块匹配结构以及特征相似度进行计算行人之间的优化相似分数，并排序得到待判断图像集中各个行人图片之间的映射关系。

技术效果

与现有技术相比，本发明的技术效果包括：

1)在背景存在一些干扰物体的实际场景中，利用了经过本发明的方法训练得到的分块匹配结构，可以通过该结构的引导，避免了背景干扰物体的影响，依然可以保持较高的行人比对的匹配准确率。

2)相比于全局特征的一一对应，基于分块匹配结构的行人比对算法可以适用于摄像头视角差距非常大的场景。

3)由于本发明中的分块匹配结构都是由实际场景下的训练图片得到，因此对于实际情况具有更好的鲁棒性。

附图说明

图1为本发明流程示意图。

图2为实施例中行人比对数据集的示意图；

图3为实施例中运用滑动窗对行人图片分块的示意图；

图中：实线的方块即是本发明中的图像块，图中仅展示了部分图像块。

图4为实施例中二值分块匹配结构的示意图；

图5为实施例中最终训练得到的最优分块匹配结构的示意图；

图中：线的粗细代表连接的权重。

图6为实施例中按照行人之间相似分数排序示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

如图1所示，本实施例包括：训练部分和检测部分，其中：

训练部分具体包括以下步骤：

第一步、由两个摄像头下采集到的行人图片构成行人比对数据集(假设选取的两个摄像头为摄像头A和摄像头B)，同一个行人在两个摄像头下分别有一张图片。然后取数据集中50％的行人图片对作为训练数据集，剩下50％的行人图片对组成检测数据集。构建完成的数据集示意图如图2所示。将数据集中的每张行人图片划分成一定数目的图像块的集合，并对这些图像块进行编号，分块后行人的示意图如图3所示。

本实施例中使用的行人图片大小为128×48，行人图片中的图像块是利用固定大小(24×18)的滑动窗以预设步长L按照从左到右，从上到下的顺序滑动所得，故一个行人图片可以被划分为84个图像块。对上述方法划分成的图像块以从左到右，从上到下的顺序进行编号。

第二步、对两摄像头中所有的行人图像块提取特征，并计算摄像头A中行人的每个图像块和摄像头B中行人的每个图像块之间的特征相似度。

本实施例中两个摄像头下行人图像块之间的特征相似度可以基于L2‐范式进行计算。假设摄像头A下的行人U中编号i的图像块提取得到的特征为摄像头B下的行人V中编号j的图像块提取得到的特征为则两摄像头下行人图像块之间的特征相似度其中：和分别是图像块特征和的第d维度的值，α是归一化的参数。

第三步、对于训练数据集，在距离约束下产生多个候选的二值分块匹配结构。二值分块匹配结构的示意图如图4所示。

这一步骤中的距离约束是指只有当摄像头A下的行人U中编号i的图像块和摄像头B下的行人V中编号j的图像块之间的编号小于l时，才有可能在二值分块匹配结构中相连，即：|i-j|≤l，l一般取值范围为5到10。

此处的二值分块匹配结构为n×n大小的0、1矩阵M，其中：0代表两个图像块没有连接，1代表两个图像块有连接，行人中图像块的数目为n＝h×w。

矩阵M中，每个图像块i仅和一个图像块j相连且需要满足距离约束，s.t.|i-j|≤l,i∈[1,n]，其中：二值分块匹配结构M的变量i,j分别对应着摄像头A下的行人中编号i的图像块和摄像头B下的行人中编号j的图像块，n代表每个行人总共的图像块数目。多个候选的二值分块匹配结构是用遍历的方式得到。

第四步、针对训练数据集中摄像头A下的任何一个行人U，在候选的二值分块匹配结构集合中，基于摄像头A中行人U和摄像头B中每个行人之间的相似分数和“同一行人排序靠前原则”选择得到对于行人U优化二值分块匹配结构。

这一步骤中的同一行人排序靠前原则是指：先基于各个图像块之间的特征相似度，计算摄像头A中行人U和摄像头B中任一行人V之间的相似分数，并按照相似分数对摄像头B中所有的行人进行降序排序，然后查看行人U和其在摄像头B中对应的行人的排位，此排位越小，说明该二值分块匹配结构越好。

此处摄像头A中行人U和摄像头B中每个行人之间的相似分数是将两行人的各个图像块对之间的特征相似度的值相加所得。比如摄像头A中行人U和摄像头B中行人V之间的行人相似性分数其中：M_U代表行人U的优化二值分块匹配结构，是第二步中所述的两个图像块之间的相似分数，n代表每个行人总共的图像块数目。

第五步、摄像头A中所有行人都选择出对于其优化二值分块匹配结构后，构成训练数据集的二值分块匹配结构集合，并以矩阵归一化处理的方式得到最优分块匹配结构最优分块匹配结构示意图如图5所示。

所述的矩阵归一化处理是指：将二值分块匹配结构集合中的所有的二值分块匹配结构矩阵进行相加，并归一化后得到最优分块匹配结构其中：Γ表示训练数据集中摄像头A采集的行人的集合，U代表该集合中的某个行人，M_U代表行人U的优化二值分块匹配结构。上式的分母起着归一化的作用，最优分块匹配结构中的值都在区间[0,1]内。

所述的检测部分包括：

步骤1、对于检测数据集中摄像头A下的任一行人U，基于训练得到的分块匹配结构和两摄像头下行人图像块之间的特征相似度，计算得到摄像头A下行人U和摄像头B下的任一行人V的优化后相似分数。

这一步骤中的检测数据集中摄像头A下任一行人U和摄像头B下的任一行人V的优化后相似分数可以由以下公式表述：

其中：i和j分别代表两个摄像头下行人的图像块的序号，是第五步中得到的最优分块匹配结构，是第二步中所述的两个图像块之间的相似分数，n代表每个行人总共的图像块数目。

步骤2、将步骤1中计算得到的相似分数进行降序排列，排序最靠前的行人即被认为是摄像头A中行人U在摄像头B中的对应行人，也即同一个行人。根据行人间相似分数排序比较的示意图如图6。

最终，使用本发明与前面提到的Rui Zhao的基于分块和显著区域的行人比对算法(Salience算法)和Kostinger的基于度量学习的行人比对算法(KISSME算法)在两个公开数据库上进行比较。这两个数据库分别是：2007年IEEE International Workshop onPerformance Evaluation for Tracking and Surveillance(IEEE追踪和监控效果评价的国际研讨会)使用的公开数据库VIPeR(数据库地址：https://vision.soe.ucsc.edu/node/178)，以及来自于实际交通监控视频的数据库(交通监控数据库)，其中：，交通监控数据库相对于VIPeR数据库拥有更大的摄像头角度差距；VIPeR相对于交通监控数据库具有更复杂的背景，更大的摄像头色差。效果比较采用了行人比对的匹配准确率，即是能够成功匹配的人数与检测数据总人数的比值，这个比值越高越好。具体比较结果见以下两表。

VIPeR数据库的行人比对结果

	本发明	Salience算法	KISSME算法
				匹配准确率	34.8％	26.7％	27.0％

交通监控数据库的行人比对结果。

	本发明	Salience算法	KISSME算法
				匹配准确率	61.5％	52.4％	54.6％

Claims

1.一种基于分块匹配结构的行人比对方法，其特征在于，包括以下步骤：

第一步、将通过至少两个不同的摄像头采集到的行人图片组成行人图像数据集，并对其中所有行人图片进行图像块划分；

第二步、根据图像块序号约束，对行人图像数据集生成候选二值分块匹配结构，并以图像块之间特征相似度对其进行优化，得到数据集中每个行人的优化二值分块匹配结构，经求平均后得到最优分块匹配结构，最终得到反应所述两个不同的摄像头之间关联的优化分块匹配结构；

第三步、基于最优分块匹配结构计算所述两个不同的摄像头采集到的两组待测行人图片之间的优化相似分数，并根据相似度高低确定不同的摄像头采集到的图片关联；

所述的候选二值分块匹配结构M为若干个n×n的0/1矩阵的集合，该集合中每个矩阵对应一幅行人图片，矩阵大小n代表一幅行人图片中图像块的个数，0表示两幅来自不同摄像头的行人图像中的对应位置图像块之间不满足图像块序号约束，否则为1；

2.根据权利要求1所述的方法，其特征是，所述的划分是指：将行人比对数据集中的每张行人图片划分成若干个图像块的集合，该图像块通过固定大小的滑动窗以预设步长按照从左到右，从上到下的顺序滑动所得，同一图片中的所有图像块以从左到右，从上到下的顺序进行编号。

3.根据权利要求1所述的方法，其特征是，所述的图像块序号约束是指：当两个不同的摄像头中的任一一个所得行人图片U_A中第i号图像块和另一个摄像头所得行人图片V_B中的第j号图像块之间满足|i-j|≤l，其中：l为约束距离。

4.根据权利要求1所述的方法，其特征是，第二步中所述的特征相似度，具体为：其中：一个摄像头下的行人图片U_A中第i号图像块提取得到的特征为另一个摄像头下的行人图片V_B中第j号图像块提取得到的特征为和分别是图像块特征和的第d维度的值，α是归一化的参数。

5.根据权利要求1所述的方法，其特征是，以图像块之间特征相似度对其进行优化，具体包括以下步骤：

i)计算两个不同的摄像头中的任一一个所得行人图片U_A和另一个摄像头所得行人图片V之间的所有图像块之间的特征相似度的值之和，即是对于行人U的优化二值分块匹配结构，是两个图像块之间的特征相似度；对于行人图像数据集中的每个行人都有一个对应的优化二值分块匹配结构，即当行人图像数据集有n个行人，就有n个对应的优化二值匹配结构；然后将所有行人的二值匹配结构进行平均得到最优分块匹配结构。

6.根据权利要求5所述的方法，其特征是，第三步中所述的优化相似分数是指：其中：为最优分块匹配结构，U_A'和V_B'分别为两个不同的摄像头采集到的待测行人图片。

7.一种实现上述任一权利要求所述方法的系统，其特征在于，包括：图像块划分模块、数据图库、判断模块以及特征相似度计算模块，其中：图像块划分模块分别与数据图库以及图像采集系统相连并获得训练图像集以及待判断图像集，图像块划分模块与特征相似度计算模块相连并分别输出训练图像块组合以及待判断图像块组合，特征相似度计算模块与判断模块相连并输出最优分块匹配结构以及特征相似度，判断模块根据收到的最优分块匹配结构以及特征相似度进行计算行人之间的优化相似分数，并排序得到待判断图像集中各个行人图片之间的映射关系。