CN105975925A

CN105975925A - 基于联合检测模型的部分遮挡行人检测方法

Info

Publication number: CN105975925A
Application number: CN201610284144.3A
Authority: CN
Inventors: 康波; 江鸥; 王冰峰; 赵辉; 李云霞
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2016-05-03
Filing date: 2016-05-03
Publication date: 2016-09-28
Anticipated expiration: 2036-05-03
Also published as: CN105975925B

Abstract

本发明公开了一种基于联合检测模型的部分遮挡行人检测方法，选择遮挡等级较低的单行人训练正样本和遮挡等级较高的双行人训练正样本，结合负样本分别训练单行人可形变部件混合模型和双行人可形变部件混合模型，同时分别训练单行人包围框预测器和双行人包围框预测器；对于待检测图像分别两种可形变部件混合模型进行行人目标行检测，得到检测结果；然后根据重叠度判断得到双行人检测结果和单行人检测结果中的同一目标检测结果，去除响应得分较低的检测结果，对筛选后的检测结果进行包围框预测，得到每个行人目标的包围框，然后再对包围框去重，得到最终的行人目标检测结果。采用本发明可以有效提高遮挡程度较高的行人目标的检测能力。

Description

基于联合检测模型的部分遮挡行人检测方法

技术领域

本发明属于计算机视觉技术领域，更为具体地讲，涉及一种基于联合检测模型的部分遮挡行人检测方法。

背景技术

行人检测就是把行人看成是目标检测的主体，判断输入图像或者视频流中是否包含人体目标，如果有，就将其位置信息标定出来。由于行人具有非刚性特征，在检测中容易受外界环境因素的影响，遮挡问题就是行人检测中的一大难题。在实际情况中，行人产生遮挡问题主要源于拍摄的角度，由于摄像头无法对行人目标进行全方位检测，固定的拍摄角度必然会产生遮挡，所以，遮挡问题也是行人检测领域普遍存在的问题。由于身体被部分遮挡，在检测过程中有用的信息相对减少，从而导致漏检测的发生。现今许多优秀的行人检测算法，对于完整的行人目标有很好的检测效果，一旦遇到遮挡问题，这些算法的检测效果就大打折扣，所以，遮挡问题一直是行人检测中的难点之一。关键之处在于如何通过未被遮挡的部分来估计出行人目标的位置。

行人检测中的遮挡大致分为以下两类：物体遮挡和行人之间的自遮挡。在相对拥挤的环境中，行人之间的自遮挡出现频繁，所以行人的遮挡问题主要集中在行人与行人之间的相互遮挡。Felzenszwalb提出的基于图结构的可形变部件模型(Deformable Part Model，简称DPM)将整体信息和局部信息很好的结合在一起，能够解决遮挡程度较低行人的遮挡问题，对于严重的遮挡问题(遮挡程度在50％以上)却无能为力。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于联合检测模型的部分遮挡行人检测方法，通过单行人可形变部件混合模型和双行人可形变部件混合模型的配合，有效提高了遮挡程度较高的行人目标的检测能力，从而提高了对遮挡行人的检测率。

为实现上述发明目的，本发明基于联合检测模型的部分遮挡行人检测方法包括以下步骤：

S1：选择训练样本，其中单行人训练样本中的正样本为行人自遮挡等级小于阈值T或者被静止物体遮挡的行人样本图像，每个行人作为一个目标；双行人训练样本中的正样本为遮挡等级大于阈值T的行人自遮挡样本图像，每两个相互遮挡的行人作为一个目标；负样本为没有行人目标的样本图像；每个样本图像对应一个标注文件，标注文件包括图像中出现的每个目标的类别以及目标的包围框；

S2：根据预设的单行人正样本聚类数N_s和双行人正样本聚类数N_d，按照每个正样本中的目标包围框长宽比，采用聚类算法分别对单行人训练样本和双行人训练样本的正样本进行聚类；

S3：采用步骤S2聚类得到的正样本图像以及负样本图像，分别训练单行人可形变部件混合模型和双行人可形变部件混合模型，其中单行人可形变部件混合模型包括N_s个可形变部件模型，双行人可形变部件混合模型包括N_d个可形变部件模型；

S4：对于单行人和双行人训练样本中的正样本，分别采用对应的可形变部件混合模型的检测结果作为输入，正样本中的每个单个行人目标包围框作为输出，训练得到对应的单行人包围框预测器和双行人包围框预测器；

S5：对于待检测图像，分别采用单行人可形变部件混合模型和双行人可形变部件混合模型进行行人目标检测，得到检测结果，每个检测结果包括行人目标对应的根滤波器位置和部件滤波器相对位置及行人目标的响应得分；

S6：记单行人可形变部件混合模型的检测结果集合为M_s表示单行人可形变部件混合模型的检测结果数量；双行人可形变部件混合模型的检测结果集合为M_d表示双行人可形变部件混合模型的检测结果数量；对每个单行人检测结果，分别计算其根滤波器目标框与每个双行人检测结果中根滤波器目标框的重叠度，如果重叠度大于阈值，则认为这两个检测结果所对应的行人目标相同，将其中响应得分较低的检测结果删除；将筛选过后得到的单行人检测结果集合记为A′，双行人检测结果集合记为B′；

S7：对于单行人检测结果集合A′中的每个检测结果采用单行人包围框预测器进行目标包围框预测，对双行人检测结果集合B′中的每个检测结果采用双行人包围框预测器进行包围框预测，得到每个单个行人目标的包围框，将行人目标包围框所对应检测结果的响应得分作为该包围框的得分；

S8：将步骤S7得到的包围框记为集合C＝(c₁,c₂,…,c_K)，K表示包围框数量；每次从集合C中选择得分最高的包围框c^*作为行人目标，加入行人目标集合O，并从集合C中删除，计算包围框c^*与集合C中所有包围框的重叠度，如果某个包围框与包围框c^*的重叠度大于阈值，则说明该包围框所对应目标与包围框c^*所对应目标重复，将该包围框从集合C中删除；直到集合将当前的行人目标集合O作为最终的行人目标集合。

本发明基于联合检测模型的部分遮挡行人检测方法，选择遮挡等级低的单行人训练正样本和遮挡等级较高的双行人训练正样本，结合负样本分别训练单行人可形变部件混合模型和双行人可形变部件混合模型，同时根据正样本分别训练单行人包围框预测器和双行人包围框预测器；对于待检测图像，分别采用单行人可形变部件混合模型和双行人可形变部件混合模型进行行人目标行检测，得到检测结果；然后根据重叠度判断得到双行人检测结果和单行人检测结果中的同一目标检测结果，去除响应得分较低的检测结果，对筛选后的检测结果进行包围框预测，得到每个行人目标的包围框，然后再对包围框去重，得到最终的行人目标检测结果。

本发明融合了单行人可形变部件混合模型和双行人可形变部件混合模型的优势，通过双行人模型组件中部件滤波器对行人未遮挡部分进行模板匹配，预测出遮挡行人的位置信息，从而能够有效的解决行人相互遮挡问题，同时单行人模型组件对单个行人有很好的鲁棒性，从而使得在相对较拥挤的环境中能够有效提高行人检测的检测率。本发明通过单行人可形变部件混合模型和双行人可形变部件混合模型的配合，有效提高了遮挡程度较高的行人目标的检测能力，从而提高了对遮挡行人的检测率。

附图说明

图1是本发明基于联合检测模型的部分遮挡行人检测方法的流程图；

图2是训练样本正样本的示例图；

图3是本实施例中5个可形变部件模型的可视图；

图4是检测结果筛选示例图；

图5是本发明中包围框筛选流程图；

图6是包围框筛选示例图；

图7是7张待检测图像的行人检测结果。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于联合检测模型的部分遮挡行人检测方法的流程图。如图1所示，本发明基于联合检测模型的部分遮挡行人检测方法包括以下步骤：

S101：获取训练样本：

本发明中包含了单行人可形变部件模型和双行人可形变部件模型，因此需要分别选择训练样本。单行人训练样本中的正样本图像为行人自遮挡等级(也就是某个行人被另一行人遮挡的面积占该行人目标总面积的百分比)小于阈值T或者被静止物体遮挡的行人样本图像，每个行人作为一个目标；双行人训练样本中的正样本图像为遮挡等级为遮挡等级大于阈值T的行人自遮挡样本图像，每两个相互遮挡的行人作为一个目标。负样本为没有行人目标的样本图像，单行人模型和双行人模型可以共用一个负样本集，也可以分别使用一个负样本集。每个样本图像对应一个标注文件，标注文件包括图像中出现的每个目标的类别以及目标的包围框。

图2是训练样本正样本的示例图。如图2所示，本实施例中的训练样本来一部分来自于INRIA、Calteth等现有的数据集，另一部分来自于在随机采集的图片。为了使模型在训练过程中快速收敛，将所有训练样本进行尺寸归一化，本实施例的归一化尺寸为90×120。行人自遮挡等级阈值T＝10％，单行人训练样本中正样本的行人自遮挡等级小于10％，双行人训练样本中正样本的行人自遮挡等级大于10％。

S102：训练样本聚类：

本发明中采用了联合检测模型，是由多个可形变部件模型构成的，因此需要对训练样本进行聚类。本发明中的聚类标准目标包围框的长宽比，长宽比主要是用来区分同一类目标的外观变化。根据预设的单行人正样本聚类数N_s和双行人正样本聚类数N_d，按照每个正样本中的目标包围框长宽比，采用聚类算法分别对单行人训练样本和双行人训练样本的正样本进行聚类，每一类的正样本图像中的目标包围框具有相似的长宽比。本实施例中设置N_s＝2、N_d＝3，即将单行人正样本聚类为2类，双行人正样本聚类为3类。

S103：训练可形变部件模型：

采用步骤S102聚类得到的正样本图像以及负样本图像，分别训练单行人可形变部件混合模型和双行人可形变部件混合模型，其中单行人可形变部件混合模型包括N_s个可形变部件模型，双行人可形变部件混合模型包括N_d个可形变部件模型。

可形变部件混合模型中的滤波器实际上一个权重矩阵，一个滤波器的响应得分，是在特征图上相应位置特征向量与权重向量的点积。每个可形变部件模型包括一个根滤波器和一组部件滤波器，一般来说，根滤波器在一个低分辨率的图像上扫描，获取目标的整体信息，而部件滤波器在一个两倍于根滤波器分辨率的图像上扫描，获取目标的部件信息。

本发明中，单行人可形变部件混合模型包含N_s个根滤波器和N_s组部件滤波器，单行人可形变部件混合模型包含N_d个根滤波器和N_d组部件滤波器，其训练方法是一样的。对于可形变部件混合模型，其训练过程主要包括以下几个步骤：

1)初始化根滤波器

先对正、负样本提取HOG特征金字塔，然后提取正、负样本的特征向量，根据聚类数采用标准SVM(Support Vector Machine，支持向量机)训练得到N_s或N_d个根滤波器。

2)合并组件：

将N_s或N_d个根滤波器合并成混合模型，在完整数据集(未分类数据)上重新训练根滤波器混合模型。在此训练过程中，一般会采用难例挖掘、随机梯度下降算法等算法来进行模型参数向量的优化。

3)初始化部件滤波器

根据训练好的根滤波器来初始化每个根滤波器的部件滤波器。本实施例中采用启发式算法来初始化部件滤波器。本实施例中设置部件数量为8，每个大小为6×6。在确定部件滤波器的位置时，需要在根滤波器中无穷搜索大小为6×6的高能量的矩形区域，然后将部件放置在该区域，以此类推，直到8个部件滤波器的位置都确定。

4)整体训练

对完整的混合模型进行整体训练，更新每个滤波器。同样地，在此训练过程中，一般会采用难例挖掘、随机梯度下降算法等算法来进行模型参数向量的优化。

可形变部件混合模型训练的具体过程可以参见文献“P.Felzenszwalb,R.B.Grishick,D.McAllister,and D.Ramanan.Object detection with discriminativelytrained part based models[J].TPAMI,32:1627–1645,2010.”。

图3是本实施例中5个可形变部件模型的可视图。如图3所示，每列表示1个可形变部件模型，其中前2个为单行人可形变部件模型，构成单行人可形变部件混合模型，后3个为双行人可形变部件模型，构成双行人可形变部件混合模型。

S104：训练包围框预测器：

对于训练样本中的正样本，分别采用对应的可形变部件混合模型的检测结果作为输入，正样本中的每个单个行人目标包围框作为输出，训练得到对应的单行人包围框预测器和双行人包围框预测器。显然，单行人可形变部件混合模型和双行人可形变部件模型分别有一个包围框预测器，由于单行人图像中每个检测得到的目标只有一个行人，因此包围框预测器对每个目标的输出结果为一个包围框，而双行人图像中每个目标有两个行人，需其每个目标的包围框预测器对每个目标的输出结果为两个包围框。

本实施例中，采用回归模型作为包围框预测器，其训练方法为线性最小二乘法，其输出为包围框的两个对角线顶点。显然，单行人所对应的包围框预测器中包含一个回归模型，输出为一个包围框，而双行人所对应的包围框预测器中包含两个回归模型，输出为两个包围框。

S105：行人目标检测：

对于待检测图像，分别采用单行人可形变部件混合模型和双行人可形变部件混合模型进行行人目标行检测，得到检测结果，每个检测结果包括行人目标对应的根滤波器位置和部件滤波器相对位置及行人目标的响应得分。根据根滤波器位置和部件滤波器相对位置可以得到根滤波器和部件滤波器各自的目标框。

在可形变部件混合模型中，最常用的方式是采用滑动窗口搜索，在HOG特征金字塔中不同尺度的特征图上对目标进行搜索。检测模型的根滤波器和部件滤波器分别对不同分辨率下特征图进行卷积运算，计算出响应得分，相对于特征图来说，整个模型是一个滤波算子，滤波算子在特征图上进行匹配，相似程度越高，响应得分也就越高。当响应得分与阈值比较，如果大于阈值就认定为行人目标检测结果，反之则不是。行人目标的响应得分等于每个滤波器在各自位置的得分(从数据来看)减去此位置相对于根位置的变形花费(从空间来看)再加上偏差值。目标匹配和响应得分的算法是可形变部件混合模型的必要技术手段，其过程在此不再赘述。

S106：检测结果筛选：

由于本发明采用单行人可形变部件混合模型和双行人可形变部件混合模型对同一张待检测图像进行检测，因此有可能会对同一目标有不同的重叠检测。因此本发明首先对两个混合模型的检测结果进行筛选，以抑制不准确的检测结果。记单行人可形变部件混合模型的检测结果集合为M_s表示单行人可形变部件混合模型的检测结果数量；双行人可形变部件混合模型的检测结果集合为M_d表示双行人可形变部件混合模型的检测结果数量。对每个单行人检测结果，分别计算其根滤波器目标框与每个双行人检测结果中根滤波器目标框的重叠度，如果重叠度大于阈值，则认为这两个检测结果所对应的行人目标相同，将其中响应得分较低的检测结果删除。将筛选过后得到的单行人检测结果集合记为A′，双行人检测结果集合记为B′。重叠度阈值的大小根据需要进行设置，经实验得到重叠度阈值设置为0.5至0.8之间可以取得较为良好的效果。

采用以上方式对检测结果进行筛选，主要是因为单行人可形变部件混合模型相对于双行人可形变部件混合模型，在对多个行人进行检测是会产生一个较低的得分。双行人可形变部件混合模型对于单行人目标，一般是不会得到检测结果。因此，检测结果筛选主要是为了抑制单行人模型组件对多个行人不准确的检测结果。图4是检测结果筛选示例图。如图4所示，该图像中包括3个行人目标，且相互之间存在遮挡，采用单行人可形变部件混合模型检测得到检测结果1，双行人可变形部件混合模型检测得到检测结果2和3，显然检测结果1和检测结果2的重叠度很高，并且检测结果1的响应得分较低，因此将检测结果1删除。显然，由于图4中只有多行人目标，因此最终的单行人检测结果集合为空集当一幅待检测图像中既有单行人目标又有双行人或多行人目标时，则单行人检测结果和双行人检测结果集合均不为空。

S107：包围框预测

对于单行人检测结果集合A′中的每个检测结果采用单行人包围框预测器进行目标包围框预测，对双行人检测结果集合B′中的每个检测结果采用双行人包围框预测器进行包围框预测，得到每个单个行人目标的包围框，将行人目标包围框所对应检测结果的响应得分作为该包围框的得分。

S108：包围框筛选：

经过包围框检测后，会得到多个包围框，有可能某个行人目标会对应多个包围框，特别是多行人目标情况下采用双行人检测结果预测到的包围框。由于每个包围框对应一个得分，因此本发明采用得分来进行筛选。图5是本发明中包围框筛选流程图。如图5所示，本发明中包围框筛选的具体方法包括以下步骤：

S501：初始化包围框集合：

将步骤S106得到的包围框记为集合C＝(c₁,c₂,…,c_K)，K表示包围框数量。

S502：选择行人目标：

选择集合C中得分最高的包围框c^*作为行人目标，加入行人目标集合O，并从集合C中删除。

S503：判断是否集合如果不是，进入步骤S504，否则当前的行人目标集合O即为最终的行人目标集合，筛选结束。

S504：删除重复目标：

计算包围框c^*与集合C所有包围框的重叠度，如果某个包围框与包围框c^*的重叠度大于阈值，则说明该包围框所对应目标与包围框c^*所对应目标重复，将该包围框从集合C中删除。

S505：判断判断是否集合如果不是，返回步骤S502，否则当前的行人目标集合O即为最终的行人目标集合，筛选结束。

图6是包围框筛选示例图。如图6所示，该图像中包含3个行人，采用双行人可形变部件混合模型检测，得到2个包围框(如图6(a))。然后通过双行人包围框预测，每个双行人检测结果得到2个包围框，共计4个包围框(如图6(b))，编号分别为1、2、3、4。假设4个包围框按照得分降序排列为1、3、2、4，重叠度阈值设置为0.5。首先选择1号包围框放入行人目标集合，可见没有任何包围框与1号包围框重叠度大于阈值，因此3、2、4号包围框保留不变。然后选择3号包围框放入行人目标集合，显然此时包围框2和包围框3的重叠度很高，大于0.5，因此将包围框2删除。最后剩下包围框4，放入行人目标集合，筛选结束。最终得到3个包围框，分别对应1个行人(如图6(c))。

为了说明本发明的技术效果，采用7张待检测图像进行检测。图7是7张待检测图像的行人检测结果。如图7所示，这些待检测图像中既有单行人目标、被静止物体遮挡的单行人或双行人目标、被行人遮挡的行人目标，且遮挡程度各不相同。根据检测结果可知，本发明对于各种遮挡程度下的行人目标均具有良好的检测结果。

特别针对行人的自遮挡问题，在UESTC遮挡数据集中分别使用本发明基于联合检测模型的部分遮挡行人检测方法和传统的单行人可形变部件模型对行人自遮挡样本的实验结果进行了统计，UESTC数据集中包含了4个等级的遮挡问题，分别是0～10％、20～40％、50～70％、≥70％。表1是单行人可形变部件模型的实验统计结果。表2是本发明基于联合检测模型的部分遮挡行人检测方法的实验统计结果。

遮挡等级	测试行人总数	检测行人数	检测准确率
				0～10％	312	288	92.3％
20～40％	325	215	66.2％
				50～70％	301	168	55.8％
≥70％	260	122	46.9％

表1

遮挡等级	测试行人总数	检测行人数	检测准确率
				0～10％	312	308	98.7％
20～40％	325	309	95.1％
				50～70％	301	258	85.7％
≥70％	260	185	71.2％

表2

如表1和表2所示，虽然随着样本遮挡等级的提高，本发明和单行人可形变部件模型的检测准确率都有所降低，但是本发明的检测率下降程度明显低于传统的单行人可形变部件模型，即使在遮挡等级≥70％时，检测准确率仍然能保持在70％以上。

同时采用本发明基于联合检测模型的部分遮挡行人检测方法和单行人可形变部件模型在公开的INRIA行人数据集上进行了实验，并对实验结果进行统计。单行人可形变部件模型的检测准确率达到86.9％，而本发明的检测准确率达到88.2％，可见本发明的检测效果具有明显提升。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims

1.一种基于联合检测模型的部分遮挡行人检测方法，其特征在于，包括以下步骤：

S1：选择训练样本，其中单行人训练样本中的正样本为行人自遮挡等级小于阈值T或者被静止物体遮挡的行人样本图像，每个行人作为一个目标；双行人训练样本中的正样本为遮挡等级为遮挡等级大于阈值T的行人自遮挡样本图像，每两个相互遮挡的行人作为一个目标；负样本为没有行人目标的样本图像；每个样本图像对应一个标注文件，标注文件包括图像中出现的每个目标的类别以及目标的包围框；

S8：将步骤S7得到的包围框记为集合C＝(c₁,c₂,…,c_K)，K表示包围框数量；每次从集合C中选择得分最高的包围框c^*作为行人目标，加入行人目标集合O，并从集合C中删除，计算包围框c^*与集合C中所有包围框的重叠度，如果某个包围框与包围框c^*的重叠度大于阈值，将该包围框包围框c^*从集合C中删除；直到集合将当前的行人目标集合O作为最终的行人目标集合。

2.根据权利要求1所述的部分遮挡行人检测方法，其特征在于，所述的单行人包围框预测器包括一个回归模型，双行人包围框预测器包括两个回归模型。

3.根据权利要求1所述的部分遮挡行人检测方法，其特征在于，所述的重叠度阈值的取值范围为0.5至0.8。