CN105224937B

CN105224937B - 基于人体部件位置约束的细粒度语义色彩行人重识别方法

Info

Publication number: CN105224937B
Application number: CN201510777182.8A
Authority: CN
Inventors: 胡瑞敏; 杨洋; 叶茫; 梁超; 黄文心; 王正; 陈军; 廖家鸿
Original assignee: Wuhan University WHU
Current assignee: Wuhan University WHU
Priority date: 2015-11-13
Filing date: 2015-11-13
Publication date: 2018-04-20
Anticipated expiration: 2035-11-13
Also published as: CN105224937A

Abstract

本发明公开了一种基于人体部件位置约束的细粒度语义色彩行人重识别方法，属于监控视频检索技术领域，本发明通过引入细粒度色彩表示和人体部件位置约束关系实现对基于语义色彩的行人重识别效果的提升。首先将图像检索中的词袋模型（BOW）与语义颜色特征表示方法结合，从而细化色彩区间，增加色彩种类，本发明称之为细粒度色彩模型。其次在细粒度色彩表示模型中引入三种细化的人体位置约束，分别是位置权重，上下约束以及漂移矫正，主要通过三种形式实现：高斯模板、划分为水平条纹、通过滑动窗形成重叠水平条纹。每一步的有效性都在VIPeR和CUHK数据集上得到了有效证明。同时表明语义特征是对视觉特征的一个很好的补充，并能进一步提升行人重识别效果。

Description

基于人体部件位置约束的细粒度语义色彩行人重识别方法

技术领域

本发明属于监控视频检索技术领域，尤其涉及一种基于人体部件位置约束的细粒度语义色彩行人重识别方法。

背景技术

行人重识别是指判断不同监控摄像头下出现的行人图像是否属于同一行人的技术。由于多摄像头下的行人图像往往存在视角变化、光照变化、姿态变化和尺寸变化等，使得相同行人之间的差异甚至比不同行人之间的还要大。现有行人重识别技术大致可以分为两类：基于特征表示的行人重识别技术、基于尺度学习的行人重识别技术。而基于尺度学习的行人重识别技术依赖大量人工标记样本，基于特征表示的行人重识别技术因此得到大量关注。

现有基于特征表示的行人重识别技术根据特征的类型可分为基于视觉特征和基于语义特征的行人重识别技术两类。

基于视觉特征的行人重识别技术主要是指应用视觉纹理特征和视觉颜色特征来描述行人的外貌特征，例如[文献1]的LBP特征和小波特征，[文献2]的传统视觉颜色直方图表示方法，但是基于视觉特征行人表示方法对环境鲁棒性不够强。

基于语义特征行人重识别技术包括应用语义色彩名来描述行人外貌特征，色彩名是人类对视觉特征的形象表达(如“红”，“绿”，“蓝”等等)，多种不同程度的红色都会被映射到红色区间，因此对光照等环境变化具有更强的鲁棒性。然而，现有基于颜色的特征描述方法只用有限的颜色种类(11或者16种)来描述行人(称之为粗粒度色彩名，如[文献3]，[文献4]，[文献5])，一些具有判别能力的信息因此丢失。

【文献1】Gray D,Tao H.Viewpoint invariant pedestrian recognition withan ensemble of localized features.In:European Conference on Computer Vision(ECCV).262-275(2008).

【文献2】Kviatkovsky I,Adam A,Rivlin E.Color invariants for personreidentification.In:Transactions on Pattern Analysis and Machine Intelligence(TPAMI).1622-1634(2013).

【文献3】Kuo C H,Khamis S,Shet V.Person re-identification usingsemantic color names and rankboost.In:Workshop on Applications of ComputerVision(WACV).281-287(2013).

【文献4】Yang Y,Yang J,Yan J,et al.Salient color names for person re-identification.In:European Conference on Computer Vision(ECCV).536-551(2014).

【文献5】Liu Y,Zhang D,Lu G,et al.Region-based image retrieval withhigh-level semantic color names.In:Multimedia Modelling Conference(MMM).180-187(2005).

发明内容

为了解决上述技术问题，本发明提出了一种基于人体部件位置约束的细粒度语义色彩行人重识别方法。

本发明所采用的技术方案是：一种基于人体部件位置约束的细粒度语义色彩行人重识别方法，其特征在于：包括离线处理过程、在线处理过程两个阶段；

步骤1：离线处理过程，即在训练数据集上进行训练，是将所有图像分成无数个无序的n×n的局部块，每块提取其颜色特征，并用K近邻方法对其聚类，类别总数K即是码本的尺寸，每一类称之为一个码词，那么每个图像块便可以用若干个这样的码词表示；

步骤2：在线处理过程，包括行人特征表示和行人距离度量两个步骤；所述行人特征表示又包括行人细粒度语义色彩表示和基于人体部件位置约束的行人细粒度语义色彩表示两个子步骤；

所述行人细粒度语义色彩表示的实现过程，是计算每个行人图像块的颜色特征与码本中每个码词的欧式距离，其中距离的倒数表示为该码词的发生概率，即码词系数，这样每个颜色块就能用K个码词去表示，从而得到细粒度语义色彩模型；

所述基于人体部件位置约束的行人细粒度语义色彩表示的实现，包括以下子步骤：

步骤2.1：确定位置权重，按照图像块位于图像中的位置给以其不同的权重；

通过给2D行人图像特征附加基于距离的高斯模板，给每个局部块特征赋予不同的高斯权重，高斯模板形式为：N(μ_x,σ_x,μ_y,σ_y)，x,y分别表示行人图像的横纵坐标，μ_x,μ_y分别表示行人图像水平和垂直的高斯均值，σ_x,σ_y分别表示行人图像水平和垂直的高斯标准差；

步骤2.2：进行上下约束；

通过将行人图像按条分割、按条度量特征间距离，将行人图像等分成M个水平条纹，这些水平条纹由若干个不同的局部块组成，基于步骤1和步骤2.1，每个图像局部块能表示为h＝(h₁,h₂,…,h_MA,…,h_k)，h代表局部块中所有码词的发生率，也即带权重的距离的倒数，k是码本总数；检测每段条纹中所有水平位置块，并将对应水平块中对应码词系数相加，那么第m个条纹的特征直方图能表示为d^m，行人图像的颜色特征表示为f＝(d¹,d²,…,d^m,…,d^M)^T，d^m第m个条纹的特征直方图，f为所有水平条纹特征的集合；

步骤2.3：进行漂移矫正，通过同时匹配对应位置周围的行人特征从而减少因位置漂移引起的特征误匹配；

每个行人图像的颜色特征表示为f，此时，选择窗口，其长度u为图像长度，宽度v为t个水平条纹的宽度，t≥1，窗口步长为l，行人颜色特征能表示为个重叠的水平条纹，即行人颜色特征直方图进一步由f＝(d¹,d²,…,d^m,…,d^M)^T，表示为表示水平条纹中码词对应发生率相加的结果，其中和所对应条纹间存在特征重叠；

作为优选，所述在训练数据集上训练，是在独立的TUD-Brrussels数据集上进行训练。

作为优选，所述行人细粒度语义色彩表示的实现过程中，在每个颜色块的K个码词中选取MA个距离最小的码词系数用来表示每个图像块，即将每个图像局部块量化为MA个码词表示。

与现有特征表示方法相比，本发明具有一下有点和有益效果

①与现有专利相比，本发明着眼于基于语义色彩特征为行人图像找到一种合适的特征表述；

②与现有专利相比，本发明着眼于细粒度的语义色彩表示，即用训练出的码本来表示颜色特征，从而使得行人特征具有更强的辨别能力；

③与现有专利相比，本发明从三个方面细化特征间的人体部件位置约束关系。分别是位置权重，上下约束以及漂移矫正，从而使得特征间具有更强的约束和依赖关系，从特征位置约束的角度看，使得方法的拓展性和适用性很强。

附图说明

图1：本发明实施例的流程图；

图2：本发明实施例的行人的细粒度语义色彩表示示意图；

图3：本发明实施例在VIPeR上的平均CMC值示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明基于语义色彩特征对变化的环境具有更强的鲁棒性，是对视觉特征的一种很好的补充的想法，考虑用语义颜色特征来表示行人，并将图像检索中的词袋模型与语义颜色特征表示方法结合，从而细化色彩区间，增加色彩种类，本发明称之为细粒度语义色彩模型，同时，本发明认为图像不同区域具有不同的重要程度，图像区域上下漂移范围小，具有上下特征不变性，因此，在该模型中进一步引入人体部件位置约束，称之为基于人体部件位置约束的细粒度语义色彩行人重识别。

本实例采用MATLAB7作为仿真实验平台，在数据集VIPeR上进行行人重识别测试。VIPeR数据集有两个摄像头下的632个行人图像对，两个摄像头之间存在明显的视角、光照等差异。在TUD-Brussels数据集上训练码本，n＝4，k＝500，MA＝10，M＝32，l＝2，t＝5，以下针对上述实施例对本发明做进一步的阐述，请见图1，本发明提供一种基于人体部件位置约束的细粒度语义色彩行人重识别方法，包括离线处理过程、在线处理过程两阶段；

步骤1：离线处理过程，即在TUD-Brussels数据集上进行训练；

首先将所有图像变成统一的128*48的尺寸，TUD-Brussels数据集用来训练颜色码本，VIPeR数据集用来做算法测试，将VIPeR数据集中所有行人图像均分成两部分，一部分用于训练度量距离矩阵，另一部分用于测试，再提取数据集中每个行人图像的简单颜色特征；

然后将所有图像分成无数个无序的n×n的局部块，每块提取其颜色特征，并用K近邻方法对其聚类，类别总数K即是码本的尺寸，每一类称之为一个码词，那么每个图像块便可以用若干个这样的码词表示；

步骤2：在线处理过程，包括行人特征表示和行人距离度量两个步骤；行人特征表示又包括行人细粒度语义色彩表示和基于人体部件位置约束的行人细粒度语义色彩表示两个子步骤；

⑴行人细粒度语义色彩表示；

将测试集中图片分成n×n的局部块，计算每个行人图像块的颜色特征与码本中每个码词的欧式距离，其中距离的倒数为码词表示该码词发生率，这样每个颜色块就可以用K个码词去表示，本专利称之为细粒度语义色彩模型。请见图2，基于鲁棒性考虑，本专利选取其中MA个距离最小的码词用来表示每个图像块，即将每个图像局部块量化为MA个码词,。

⑵基于人体部件位置约束的行人细粒度语义色彩表示；

①确定位置权重；

基于位于行人中央的特征具有更强的更可靠，而位于图像边缘的特征容易受背景等干扰的先验知识，因此可以按照图像块位于图像中的位置给以其不同的权重，也即赋予基于位置的特征以不同的可靠程度。

通过给行人图像特征附加基于距离的高斯模板，本发明将每个局部块特征赋予不同的高斯权重，高斯模板形式为：N(μ_x,σ_x,μ_y,σ_y)，x,y分别表示行人图像的横纵坐标，μ_x,μ_y分别表示行人图像水平和垂直的高斯均值，σ_x,σ_y分别表示行人图像水平和垂直的高斯标准差，μ_x,μ_y被设置为图像中心，σ_x,σ_y均赋值为1。

②进行上下约束；

行人特征具有上下特征总体一致性，相对而言，因视频图像中，90度等视角的变化时有发生，行人左右特征并不总存在不变性，因此本发明考虑对行人特征按水平条处理，也即通过将行人图像按条分割、按条度量特征距离，从而考虑行人图像的上下关系。

将行人图像等分成M个水平条纹(这些水平条纹由若干个不同的局部块组成)，基于前期步骤每个图像局部块可表示为h＝(h₁,h₂,…,h_MA,…,h_k)，MA是量化个数，k是码本中码词总数，h代表局部块中的码词的发生率，也即带权重的距离的倒数，h_MA+1到h_k值为0，检测每段条纹中所有水平位置块，并将对应水平块中对应码词的系数相加，那么第m个条纹的特征直方图可表示为为该水平条纹中某一码词的总发生率，每个行人图像的颜色特征直方图可表示为f＝(d¹,d²,…,d^m,…,d^M)^T,f为所有水平条纹特征的集合。

③进行漂移矫正；

尽管行人特征存在上下总体不变性，由于环境和行人本身的变化，行人在垂直方向将发生位移，本专利考虑通过同时匹配对应位置周围的行人特征从而减少因位置漂移引起的特征误匹配。

基于前述，每个行人图像的颜色特征可表示为f＝(d¹,d²…,d^M)^T，此时，选择窗口，其长度u为图像长度，宽度v为t个水平条纹的宽度(t≥1)，窗口步长为l，行人颜色特征可表示为个重叠的水平条纹，即行人颜色特征直方图进一步表示为表示水平条纹中码词对应系数相加的结果，其中和对应条纹间存在特征重叠。

行人距离度量，其度量公式为：

其中d_e(·,·)表示欧式距离度量方法，表示查询行人图像，为被查行人图像，f_·'表示行人图像特征；

基于上述步骤，本实施例的行人检索的具体实现过程如下：

TUD-Brussels训练集用于训练码本，将VIPeR中测试集分为gallery集和probe集，将probe中的图片作为查询，gallery中图片为被查询集合，根据欧式距离计算计算排序后的CMC值，此处CMC值是指N次查询中，返回前r个结果中有正确行人对象的概率，当返回前r个结果时，CMC值越高，表示行人检索性能越好。

上述过程对每个测试样本进行K次查询，采用欧式距离度量特征距离，并计算K次查询的平均CMC值，并输出，本发明对每一步进行验证，并进行如下几种方法的比较：基本的粗粒度颜色特征(CN)、考虑水平位置约束下基于码本表示的细粒度颜色特征(BCN)、考虑水平和垂直位置约束下基于码本表示的细粒度颜色特征(pBCN)以及本发明最后的方法即考虑水平和垂直位移同时进行水平漂移矫正(SBCN)。如图3，可见本发明提出的每一步都对检索效果有提升。此外用KISSME方法度量eSBCN方法所提取的特征，并将重识别效果与现有方法比较，如表1，可以看出本方法有很好的效果。

表1在VIPeR上分别返回前1、2、5、10、15、25个结果时的平均CMC值(％)

Methods rank@	1	2	5	10	15	25
							eSBCN+KISSME[本发明]	37.69	52.12	70.51	83.51	89.87	93.10
ELF[文献6]	12.08	17.00	31.28	41.00	54.00	65.00
							SDALF[文献7]	19.87	25.20	38.89	49.37	58.22	70.00
PRDC[文献8]	15.66	22.80	38.42	53.86	64.00	72.78
							PCCA[文献9]	19.27	29.10	48.89	64.91	72.48	82.78
KISSME[文献10]	22.63	32.72	50.13	63.73	71.65	82.12
							SDC[文献11]	23.32	31.27	43.73	54.05	59.87	68.45
SalMatch[文献12]	30.16	39.28	52.00	65.00	74.00	*
							SCNCD[文献13]	37.8	50.10	68.5	81.2	87.0	92.7
LOMO+XQDA[文献14]	38.23	50.95	68.71	80.51	87.22	91.21

表1中：

【文献6】Gray D,Tao H.Viewpoint invariant pedestrian recognition withan ensemble of localized features.In:European Conference on Computer Vision(ECCV).262-275(2008)。

【文献7】Farenzena M,Bazzani L,Perina A,et al.Person re-identificationby symmetrydriven accumulation of local features.In:Computer Vision andPattern Recognition(CVPR).2360-2367(2010)。

【文献8】Zheng W S,Gong S,Xiang T.Person re-identification byprobabilistic relative distance comparison.In:Computer Vision and PatternRecognition(CVPR).649-656。

【文献9】Mignon A,Jurie F.:PCCA:A new approach for distance learningfrom sparse pairwise constraints.In:Computer Vision and Pattern Recognition(CVPR).2666-2672(2012)。

【文献10】Koestinger M,Hirzer M,Wohlhart P,et al.Large scale metriclearning from equivalence constraints.In:Computer Vision and PatternRecognition(CVPR).2288-2295(2012)。

【文献11】Zhao R,Ouyang W,Wang X.Unsupervised salience learning forperson reidentification.In:Computer Vision and Pattern Recognition(CVPR).3586-3593(2013)。

【文献12】Zhao R,Ouyang W,Wang X.Person re-identification by saliencematching.In:International Conference on Computer Vision(ICCV).2528-2535(2013)。

【文献13】Yang Y,Yang J,Yan J,et al.Salient color names for person re-identification.In:European Conference on Computer Vision(ECCV)。

【文献14】Liao S,Hu Y,Zhu X,et al.Person Re-identification by LocalMaximal Occurrence Representation and Metric Learning.In:Computer Vision andPattern Recognition(CVPR).2197-2206。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims

1.一种基于人体部件位置约束的细粒度语义色彩行人重识别方法，其特征在于：包括离线处理过程、在线处理过程两个阶段；

步骤1：离线处理过程，即在训练数据集上进行训练，是将所有图像分成无数个无序的n×n的局部块，每块提取其颜色特征，并用K近邻方法对其聚类，类别总数K即是码本的尺寸，每一类称之为一个码词，每个图像块用若干个这样的码词表示；

步骤2.2：进行上下约束；

通过将行人图像按条分割、按条度量特征间距离，将行人图像等分成M个水平条纹，这些水平条纹由若干个不同的局部块组成，基于步骤1和步骤2.1，每个图像局部块能表示为h＝(h₁,h₂,…,h_MA,…,h_k)，MA是量化个数，h代表局部块中所有码词的发生率，也即带权重的距离的倒数，k是码本总数；检测每段条纹中所有水平位置块，并将对应水平块中对应码词系数相加，那么第m个条纹的特征直方图表示为d^m，行人图像的颜色特征表示为f＝(d¹,d²,…,d^m,…,d^M)^T，d^m第m个条纹的特征直方图，f为所有水平条纹特征的集合；

每个行人图像的颜色特征表示为f，此时，选择窗口，其长度u为图像长度，宽度v为t个水平条纹的宽度，t≥1，窗口步长为l，行人颜色特征表示为个重叠的水平条纹，即行人颜色特征直方图进一步由f＝(d¹,d²,…,d^m,…,d^M)^T，表示为表示水平条纹中码词对应发生率相加的结果，其中和所对应条纹间存在特征重叠。

2.根据权利要求1所述的基于人体部件位置约束的细粒度语义色彩行人重识别方法，其特征在于：所述在训练数据集上训练，是在独立的TUD-Brrussels数据集上进行训练。

3.根据权利要求1所述的基于人体部件位置约束的细粒度语义色彩行人重识别方法，其特征在于：所述行人细粒度语义色彩表示的实现过程中，在每个颜色块的K个码词中选取MA个距离最小的码词系数用来表示每个图像块，即将每个图像局部块量化为MA个码词表示。