CN101464946A

CN101464946A - 基于头部识别和跟踪特征的检测方法

Info

Publication number: CN101464946A
Application number: CNA2009100450267A
Authority: CN
Inventors: 张怡; 陈刚; 申瑞民; 郑红; 张峰
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2009-01-08
Filing date: 2009-01-08
Publication date: 2009-06-24
Anticipated expiration: 2029-01-08
Also published as: CN101464946B

Abstract

一种模式识别技术领域的基于头部识别和跟踪特征的检测方法，包括以下步骤：从视频中获取图像，使用头部分类器对获取的图像进行检测，检测到头部区域，依据欧式距离对相邻数帧中检测到的头部区域进行聚类，得到邻近帧中头部区域之间的对应关系；使用直方图相交识别出邻近帧中头部区域的一一对应关系，从而得到头部运动轨迹，最后根据进出口标志和头部运动轨迹判断进出行为，检测人数。本发明运用了大量的样本对头部分类器进行训练，比单纯采用椭圆形匹配来确认头部要精确，本发明的检测精度在90％左右。

Description

基于头部识别和跟踪特征的检测方法

技术领域

本发明涉及一种图像处理技术领域的检测方法，具体是一种基于头部识别和跟踪特征的检测方法。

背景技术

计算机视觉检测技术利用工程技术的方法，从分析人类视觉过程的功能着手，并不去刻意模拟人类视觉系统内部结构，而仅考虑系统的输入和输出，并采用现有的可行的手段实现系统功能。基于视频的人数检测属于计算机视觉应用的一个分支，是通过计算机对视频图像的理解从而达到替代人工检测进出人数的目的。

经过对现有技术文献的检索发现，专利申请号为200510025186.7，名称为：出入口人数计数仪，该统计仪涉及一种自动统计人数的方法，该方法对摄像头采集的图像运用背景减除的方法得到运动区域，再通过对运动区域内检测并跟踪人体来实现人数统计。但该方法基于背景减除方法检测运动区域，受光照影响严重，特别是进出口处经常出现开关门现象，引起光线突然变化使得背景减除方法的检测精度下降，同时通过检测人体来统计人数，会因为人体模式比较复杂而且容易互相遮挡而降低统计精度。

经检索还发现，专申请号为200810116312.3，名称为：基于视频人数统计的智能管理方法及其系统，该项技术虽然加入了类椭圆检测来判断头部区域，但其核心方法依然建立在背景建模的方法上，对光照的影响极不具鲁棒形，同时椭圆模型模拟头部也过于简单，没有通过大量头部特征检测。

发明内容

本发明的目的在于针对现有技术的不足，提出一种基于头部识别和跟踪特征的检测方法，本发明把头部识别问题分成了头顶检测、侧面检测、正面检测和后脑勺检测等多个子检测过程，通过识别头部来达到检测人数的目的，相对基于人体检测大幅度的避免了检测目标互相遮挡的问题，此外提高了检测的精度，同时便于检测器的修改和扩充，在需要增加或增强某一子类的检测率时，只要对该子类进行训练和修改，不影响其它子类。

本发明是通过如下技术方案实现的，本发明包括如下步骤：

步骤一，采集视频，并从视频中获取图像；

步骤二，将头顶级联分类器、正面级联分类器、左侧面级联分类器、右侧面级联分类器以及后脑勺级联分类器组成头部分类器，使用头部分类器对步骤一获得的图像进行检测，识别出头部区域；

步骤三，对于步骤二中识别出的头部区域，根据头部区域之间的距离对相邻数帧中检测到的头部区域进行聚类，获得相邻帧中头部区域之间的对应关系，若每一帧视频中有多个头部，则获得多对多的对应关系；

步骤四，对于步骤三中得到的相邻帧中头部区域之间的对应关系，使用直方图相交识别出相邻帧中头部区域的多对多中的一一对应关系，获得头部运动轨迹；

步骤五，根据步骤四得到的头部运动轨迹，并根据在进出口设置的进出标志识别进出行为，分别检测进出的人数。

所述采集视频，是指通过摄像头和视频采集卡采集图像。

所述使用头部分类器在对步骤一中得到的图像进行检测，识别出头部区域，具体步骤如下：

第一步，将头顶级联分类器、正面级联分类器、左侧面级联分类器、右侧面级联分类器以及后脑勺级联分类器组成头部分类器，若样本图像能通过五个级联分类器的检测则判断为头部图像，选择正样本图像和负样本图像对头部分类器进行训练，训练完成后进入下一步；

第二步，采用头部检测窗口遍历的方式，遍历步骤一得到的图像区域，由第一步得到的头部分类器检测每个窗口对应的矩形图像是否是头部图像；

第三步，对于第二步中检测出来的所有头部区域，按矩形合并方法合并所有的矩形图像，直到没有可以合并的矩形为止。

所述头部分类器的训练，包括采集训练样本和训练分类器两个过程，训练样本包括正样本和负样本，正样本指的是头部样本，根据具体的分类器，选择相应的样本，负样本指的是非头部样本，每类正样本的数量为一千到四千张，正样本由人工收集，第一次训练的负样本的数量为五万张，第一次训练的负样本从不含头顶的图像中通过计算机随机截取，如高分辨率的自然风景和室内设计图片中截取分割出来，第二次训练之后的负样本通过第一次收集的正负样本训练出来的分类器检测得到，其中，训练出来的分类器误检测的图片就作为下次训练的负样本，如此以叠代的方式训练出最终的级联分类器。

所述级联分类器，是指通过弱分类器的线性组合得到一个强分类器，再将强分类器组合得到的最终分类器，弱分类器选取Harr特征作为分类标准，同时级联分类器的层数即强分类器的个数设置为10至20之间。

所述的头部检测窗口遍历的方式，是指设定初始检测窗口的大小，按照步长从运动区域的左上角开始向右移动，每移动一次，便得到一个检测窗口，头部分类器便检测此窗口对应的图像是否是头部图像；当窗口移至图像最右边时，从下一行开始重复同样的操作，直至窗口到达图像最右下方，然后以设定倍率扩大检测窗口，重复同样的检测过程，直至窗口大于设定的检测窗口为止。

所述的矩形合并方法，是指两个矩形中，如果至少有一个矩形中心包含在另一个之中，则将这两个矩形合并成一个矩形，并将两个矩形的坐标值取平均值作为合并后的矩形坐标。

所述根据头部区域之间的距离对相邻数帧中检测到的头部区域进行聚类，具体如下：根据头部的位置进行聚类，当前检测到第i帧，取i帧之前(n-1)帧，共取相邻n帧，n的数量与采集视频的帧频有关，假设第i帧检测到m个头部，则分类数量为m，每个头部位置作为该类的中心，对于任一非聚类中心头部，将其分类到与其欧式距离最近的一个聚类中心点上，非聚类中心点和聚类中心点之间的距离为：l＝Min{(x_i-x)²+(y_i-y)²}i＝1...m，(x_i，y_i)表示第i个聚集中心的坐标，(x，y)表示非聚类中心点坐标，这样当前检测到的每个头部区域都对应若干个之前帧中检测到的头部区域，每个之前检测到的头部区域都关联到零个或唯一一个当前检测到头部区域。

所述使用直方图相交识别出相邻帧中头部区域的多对多中的一一对应关系，获得头部运动轨迹，包括如下步骤：

第一步，检测当前头部区域和每个与其关联的头部区域的直方图，图像特征的统计直方图是一个1-D的离散函数，具体如下：

H(k)＝n_k/Nk＝0，1，2...L-1

式中，k代表图像的特征取值，L是特征可取值个数，n_k是图像中具有特征值为k的像素的个数，N是图像像素的总数；

第二步，计算当前头部区域和邻近帧中与其关联的头部区域之间的直方图匹配值，设H_Q(k)，H_D(k)分别为两幅图像某一特征的统计直方图，则两图像之间的匹配值P(Q，D)计算公式如下：

P (Q, D) = \frac{Σ_{k = 0}^{L - 1} \min [H_{Q} (k), H_{D} (k)]}{Σ_{k = 0}^{L - 1} H_{Q} (k)}

第三步，选取第二步中直方图匹配值最大时对应的头部区域作为当前头部唯一对应的前帧，再根据连续视频图像得到头部在监控区域中的运动轨迹。

所述根据步骤四中得到的头部运动轨迹，根据进出口标志识别进出方向，具体为：设置进出口标志，进口标志和出口标记各由一组线段组成，由用户在配置系统时设定其位置，进出口标记设置在物体进出门的必经之路上，并保持一定的距离，如监控画面宽度的一半，并约定当运动物体先碰到进口标记然后继续运动碰到出口标记为进门行为，当运动物体先碰到出口标记然后继续运动碰到进口标记为出门行为。

与现有技术相比，本发明具有如下有益效果：

本发明方法通过识别头部来达到检测人数的目的，相对基于人体检测大幅度的避免了检测目标互相遮挡的问题，此外把头部检测问题合理的分成了头顶检测、侧面检测、正面检测和后脑勺检测等多个子检测过程，提高了检测的精度，同时便于检测器的修改和扩充，在需要增加或增强某一子类的检测率时，只要对该子类进行训练和修改，不影响其它子类。本发明运用了大量的样本对头部分类器进行训练，比单纯采用椭圆形匹配来确认头部要精确，本发明的检测精度在90％左右。

附图说明

图1是本发明的工作流程图；

图2是本发明级联头顶分类器检测工作流程示意图；

图3是本发明复合头部检测器检测工作流程意图；

图4时本发明的实施例的探测结果

图中，图(a)为准确探测到头部区域的图像，图(b)为包括探测到虚假头部区域的图像；

图5是本发明的实施例中检测到的头部区域对应的直方图

图中，图(a)是真实头部区域的直方图，图(b)是虚假头部区域的直方图；

图6是本发明的实施例中用于检测进出教室人数的工作状态图。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例包括如下步骤：

步骤一，采集视频，并从视频中获取图像；

步骤三，对于步骤二中检测到的头部区域，依据距离对相邻数帧中检测到的头部区域进行聚类，获得相邻帧中头部区域之间的对应关系，若每一帧视频中有多个头部，则获得多对多的对应关系；

所述采集视频，是指通过摄像头和视频采集卡采集图像。

第三步，按矩形合并方法合并所有的矩形图像，直到没有可以合并的矩形为止。

如图3所示，是本实施例头部分类器工作原理示意图：头部分类器由头顶、正面、左侧面、右侧面以及后脑勺五个级联分类器组合而成，检测过程中待检测区域集，分别通过以上子分类器，各子分类器检测出来的结果集进行合并作为复合检测器检测的检测结果，该结构根据应用环境方便的添加和删除子检测器。

如图2所示，所述的头部检测窗口遍历的方式，指的是设定初始检测窗口的大小，如2*2，按照步长(如1个相素)从运动区域的左上角开始向右移动，每移动一次，便得到一个检测窗口，级联头部分类器便检测此窗口对应的图像是否是头部图像；当窗口移至图像最右边时，从下一行开始重复同样的操作，直至窗口到达图像最右下方。然后以一定倍率如1.5倍扩大检测窗口(此时窗口由2*2变成3*3)，重复同样的检测过程，直至窗口大于设定的检测窗口为止。

所述头部区域，为包含头部图像的矩形，因此头部的位置用头部的中心坐标来表示，每帧都检测到一个头部位置列表。

如图4所示，为本实施例的探测结果，图(a)为准确探测到头部区域的图像，图(b)为包括探测到虚假头部区域的图像。

所述使用距离对相邻数帧检测到的头部区域进行聚类，得到邻近帧中头部区域之间的对应关系，具体如下：

根据头部的位置进行聚类，当前检测到第i帧，取i帧之前(n-1)帧，共取相邻n帧，n的数量与采集视频的帧频有关，假设第i帧检测到m个头部，则分类数量为m，每个头部位置作为该类的中心，对于任一非聚类中心头部，将其分类到与其欧式距离最近的一个聚类中心点上，非聚类中心点和聚类中心点之间的距离为：l＝Min{(x_i-x)²+(y_i-y)²}i＝1...m，(x_i，y_i)表示第i个聚集中心的坐标，(x，y)表示非聚类中心点坐标，这样当前检测到的每个头部区域都对应零个、一个或多个之前帧中检测到的头部区域，每个之前检测到的头部区域都关联到零个或唯一一个当前检测到头部区域。

所述使用直方图相交识别出相邻帧中头部区域的一一对应关系，从而得到头部运动轨迹，具体如下：

H(k)＝n_k/N k＝0，1，2...L-1

式中，k代表图像的特征取值，L是特征可取值个数，n_k是图像中具有特征值为k的像素的个数，N是图像像素的总数。例如，当检测100*100的灰度图片的直方图时，通常L＝256，N＝10000。

P (Q, D) = \frac{Σ_{k = 0}^{L - 1} \min [H_{Q} (k), H_{D} (k)]}{Σ_{k = 0}^{L - 1} H_{Q} (k)}

如图5所示，是本实施例中检测到的头部区域对应的直方图，图(a)是真实头部区域的直方图，图(b)是虚假头部区域的直方图。

所述根据在进出口设置的进出标志识别进出行为，具体为：第一步，设置进出口标志，进口标志和出口标记各由一组线段组成，由用户在配置系统时设定其位置，进出口标记设置在物体进出门的必经之路上，并保持一定的距离，如监控画面宽度的一半，并约定当运动物体先碰到进口标记然后继续运动碰到出口标记为进门行为，当运动物体先碰到出口标记然后继续运动碰到进口标记为出门行为。

本实施例方法应用在进出教室人数的检测实验中，检测过程中探测头部区域的工作状态如图6所示，结果如下：不考虑光头和带帽子，试验环境选取普通教室，视频采集设备采用安防用摄像头，该试验结果表明人工检测进入教室人数37人，出教室人数105人，通过本实施例方法检测出的结果为进入教室33人，出教室94人，检测精度在90％左右。

Claims

1、一种基于头部识别和跟踪特征的检测方法，其特征在于，包括如下步骤：

步骤一，采集视频，并从视频中获取图像；

步骤三，对于步骤二中检测到的头部区域，根据头部区域之间的距离对相邻数帧中检测到的头部区域进行聚类，获得相邻帧中头部区域之间的对应关系，若每一帧视频中有多个头部，则获得多对多的对应关系；

步骤五，根据步骤四得到的头部运动轨迹，并根据在进出口设置的进出标志识别进出行为，分别检测出进出的人数。

2、根据权利要求1所述的基于头部识别和跟踪特征的检测方法，其特征是，所述使用头部分类器在对步骤一中得到的图像进行检测，检测得到头部区域，具体步骤如下：

第三步，对于第二步中检测出来的所有头部区域，按矩形合并方法合并所有的矩形图像，直到没有可合并的矩形为止。

3、根据权利要求2所述的基于头部识别和跟踪特征的检测方法，其特征是，所述对头部分类器进行训练，包括采集训练样本和训练分类器两个过程，训练样本包括正样本和负样本，正样本是头部样本，根据具体的分类器选择相应的样本，负样本是非头部样本，每类正样本的数量为一千到四千张，正样本由人工收集，第一次训练的负样本的数量为五万张，第一次训练的负样本从不含头顶的图像中通过计算机随机截取，第二次训练之后的负样本通过第一次收集的正负样本训练出来的分类器检测得到，其中，训练出来的分类器误检测的图片就作为下次训练的负样本，如此以叠代的方式训练出最终的级联分类器。

4、根据权利要求3所述的基于头部识别和跟踪特征的检测方法，其特征是，所述级联分类器，是指通过弱分类器的线性组合得到一个强分类器，再将强分类器组合得到的最终分类器，弱分类器选取Harr特征作为分类标准，同时级联分类器的层数即强分类器的个数设置为10至20之间。

5、根据权利要求2所述的基于头部识别和跟踪特征的检测方法，其特征是，所述的头部检测窗口遍历的方式，是指设定初始检测窗口的大小，按照步长从运动区域的左上角开始向右移动，每移动一次，便得到一个检测窗口，头部分类器便检测此窗口对应的图像是否是头部图像；当窗口移至图像最右边时，从下一行开始重复同样的操作，直至窗口到达图像最右下方，然后以设定倍率扩大检测窗口，重复同样的检测过程，直至窗口大于设定的检测窗口为止。

6、根据权利要求2所述的基于头部识别和跟踪特征的检测方法，其特征是，所述的矩形合并方法，是指两个矩形中，如果至少有一个矩形中心包含在另一个之中，则将这两个矩形合并成一个矩形，并将两个矩形的坐标值取平均值作为合并后的矩形坐标。

7、根据权利要求1所述的基于头部识别和跟踪特征的检测方法，其特征是，所述根据头部区域之间的距离对相邻数帧中检测到的头部区域进行聚类，具体如下：根据头部的位置进行聚类，当前检测到第i帧，取i帧之前(n-1)帧，共取相邻n帧，n的数量与采集视频的帧频有关，假设第i帧检测到m个头部，则分类数量为m，每个头部位置作为该类的中心，对于任一非聚类中心头部，将其分类到与其欧式距离最近的一个聚类中心点上，非聚类中心点和聚类中心点之间的距离为：l＝Min{(x_i-x)²+(y_i-y)²}i＝1...m，(x_i，y_i)表示第i个聚集中心的坐标，(x，y)表示非聚类中心点坐标，这样当前检测到的每个头部区域都对应若干个之前帧中检测到的头部区域，每个之前检测到的头部区域都关联到零个或唯一一个当前检测到头部区域。

8、根据权利要求1所述的基于头部识别和跟踪特征的检测方法，其特征是，所述使用直方图相交识别出相邻帧中头部区域的多对多中的一一对应关系，获得头部运动轨迹，包括如下步骤：

第一步，检测当前头部区域和每个与其关联的头部区域的直方图，图像特征的统计直方图是一个1-D的离散函数，具体如下：H(k)＝n_k/Nk＝0，1，2...L-1，式中，k代表图像的特征取值，L是特征可取值个数，n_k是图像中具有特征值为k的像素的个数，N是图像像素的总数；

P (Q, D) = \frac{Σ_{k = 0}^{L - 1} \min [H_{Q} (k), H_{D} (k)]}{Σ_{k = 0}^{L - 1} H_{Q} (k)};

9、根据权利要求1所述的基于头部识别和跟踪特征的检测方法，其特征是，所述根据步骤四中得到的头部运动轨迹，对比进出口标志判断进出方向，具体为：设置进出口标志，进口标志和出口标记各由一组线段组成，由用户在配置系统时设定其位置，进出口标记设置在物体进出门的必经之路上，并设定当运动物体先碰到进口标记然后继续运动碰到出口标记为进门行为，当运动物体先碰到出口标记然后继续运动碰到进口标记为出门行为。