CN103150552A - 一种基于人头计数的驾驶培训管理方法 - Google Patents

Abstract

本发明属于视频计数领域，具体涉及一种基于人头计数的驾驶培训管理方法，其包括以下步骤：基于AdaBoost算法检测得到候选人头区域；帧差法检测得到运动区域；用改进KLT tracker算法对特征点进行跟踪；人头检测框大小估计：过线跟踪与计数；该方法可以对教室或训练场地内的学员人数的进行实时统计计数。

Description

一种基于人头计数的驾驶培训管理方法

技术领域

本发明属于视频计数领域，具体涉及一种基于人头计数的驾驶培训管理方法。

背景技术

在信息化管理水平日益强大的今天，对教室内学员人数的实时统计计数成为驾培行业管理系统的一种有效途径。要解决这一难题，单纯依靠监控设备和人为的判断处理，不仅费时费力，还得不到准确的结果。

在垂直摄像头环镜下，不同人头有近似圆的形状，但也存在差异，而同一人头在画面中的不同位置，形状也会发生相应变化。使用基于轮廓的方法难以进行准确定位。传统的视频计数方法无法获得准确的计数结果，一个直接的原因是受环境影响较大而计数不准，因此本专利使用基于学习的方法，对人头进行检测。

名称为基于多源信息融合和在线学习的人头计数方法的发明专利公开了基于多源信息融合和在线学习的人头计数方法，其方法利用数字摄像机采集行人的数字图像；应用Adaboost级联分类器检测出具有人头纹理特征的人体区域；应用SVM分类器进行筛选，筛选出具有头部和肩部特殊组合形状的人体区域作为最终人体对象并统计其数量。该发明结合纹理特征和形状特征，并采用两级检测器结构，第一级检测器用来快速排除非人头区域，第二级检测器精确定位人头区域，降低虚警率。该方法还通过在线学习方式，极大增强其方法的环境适应能力。但该方法无法判断行人的出入运动方向，无法动态的统计场景内实际剩有人头数，而且当行人发生重叠时定位精度大为下降。

发明内容

本发明的目的是为了给驾驶培训管理系统提供一种基于人头计数的驾驶培训管理方法，该方法可以对教室或训练场地内的学员人数进行实时并精确的计数。

为实现以上发明目的，所采用的技术方案如下：一种基于人头计数的驾驶培训管理方法，其包括以下步骤：

步骤1)、首先在离线状态下对垂直人头模型进行训练，得到人头检测的分类器，具体地讲就是：在分辨率为70×70像素的人头样本中使用积分图方法提取扩展Harr特征，每一个特征对应一个弱分类器；使用AdaBoost算法训练弱分类器获得强分类器，并把多个强分类器串联得到分级分类器；利用最终得到的人头检测分类器检测输入图像产生候选人头区域；

步骤2)、对AdaBoost算法检测得到的候选人头区域进一步执行帧差法检测得到运动区域，然后在运动区域上进行滑动窗口搜索，对窗口用SVM分类器进行判定；判定为人头的窗口，则添加此区域内的特征点至检测人头列表中并保存起来，如判断不是人头的窗口，则视为非人头特征点；

步骤3)、用改进KLT tracker算法对特征点进行跟踪；

改进KLT tracker算法如下：

31）、如果Deteced_Object_List不为空，则从中取出一个对象A；否则退出算法；

32）、如果Tracked_Object_List为空，则跳转到步骤4)执行，否则利用式(4)从Tracked_Object_List中选取出和A相似度最大的对象B；

$\mathrm{sim}(A,B)=\mathrm{\β}\·\frac{N_{\mathrm{con}}}{N_A}+(1-\mathrm{\β})\frac{N_{\mathrm{con}}}{N_b}---\left(4\right)$

N_A＝#(A)N_B＝#(B)N_con＝#(A∩B)

0＜β＜1

式中，A，B表示两个如上所描述的对象集合，#表示求对象集合元素个数的一个操作；β是一个参数，β＝N_B/(N_A+N_B)；

33）、如果sim(A,B)＞T₁，T₁为一个预先设定的阈值，则合并A和B，并更新B的特征点列表；跳转到步骤1)，否则执行下一步；

34）、如果Missed_Object_List为空，则跳转到步骤36)执行；否则采用最近邻原则，从Missed_Object_List中选取出对象C；

35）、如果A和C相似性度量值小于上述设定的阈值T₁，则将A和C进行合并，更新C的特征点列表，将C插入Tracked_Object_List中；跳转到步骤31)；否则执行下一步；

36）、将对象A作为一个新目标，加入到Tracked_Object_List；转到步骤31)执行；

其中，Deteced_Object_List:检测人头列表，

Tracked_Object_List:跟踪人头列表，

Missed_Object_List:丢失人头列表；

步骤4)、人头检测框大小估计：在垂直摄像头环境下，应用公式（5）来计算每个人头检测框大小的估计值H_k，实际测得的人头检测框大小B_k，凡是大小符合|H_k-B_k|＞d的人头检测框为过小或过大检测框，需要剔除；公式（5）如下：

H_k＝ω₁H_k-2+ω₂H_k-1+(1-ω₁-ω₂)B_k(5)

式中ω₁、ω₂为权重；取ω₁＝0.3，ω₂＝0.5，H₀＝B₀，d＝H_k/3；

步骤5)、过线跟踪与计数：当人头检测框与预先设置的虚拟线相交时执行跟踪，跟踪对象为检测框与虚拟线的相交线段；设第i个人头检测框在过线时与虚拟线的相交次数为U_i，检测框与虚拟线相交的线段为p_ijq_ij，j＝1,2,…,U_i，检测框左上角点到虚拟线的垂直距离为d_ij，j＝1,2,…,U_i；对于过线目标i使用近邻法实现检测框与虚拟线的相交线段在连续两帧间的关联跟踪，此处关联跟踪是指取所有过线的序列图像，在序列图像中，从第一帧过线图像到最后一帧过线图像按过线的时间前后顺序排序，每相邻两帧配对后执行跟踪，同时通过对序列d_ij，j＝1,2,…,U_i分析可以判断目标的进出方向；当式(6)成立时，判断目标从虚拟线上方走向虚拟线下方，否则判断目标从虚拟线下方走向虚拟线上方；根据式(6)人头的运动方向和人头检测框的个数来统计教室内学员总的人头数；

公式（6）如下：

对比现有技术，本发明有益效果如下：本专利发明了一种更加准确有效的视频计数方法，使得所统计的人数准确率更高，本方法可以避免对运动物体、静止物体的误检以及对同一人头的重复计数。传统的剔除误检目标的方法是先帧间检测，然后采用运动强度方法判断所得到的人头检测区域是否具有运动趋势，并剔除没有运动趋势的检测区域，这样的方法仍然会导致在检测与跟踪过程中同一人头的重复检测和计数，为了克服传统方法的不足，本发明选用基于改进的KLT tracker方法对人头进一步执行检测与跟踪，以便过滤掉漏检测或重复检测的运动人头目标,避免对非人头的误检及对同一人头的重复检测，保证计数精度尽可能的准确；人头检测框大小估计步骤能进一步剔除非人头的误检部分，保证检测精度进一步提高；过线跟踪与计数步骤中根据式(6)人头的运动方向和人头检测框的个数来统计教室内学员总的人头数，其优点是可以保证对出入口人头运动方向进行合理判断，进入方向的人头使计数结果增加，外出方向的人头使计数结果减少，从而实时判断教室内实有人数。

附图说明

图1为本发明实施例的总体流程示意图；

图2为本发明实施例第k帧、第k+1帧的过线跟踪计数图。

具体实施方式

以下结合附图进一步说明本发明具体实施方式。

参见图1、图2，本发明具体实施例一种基于人头计数的驾驶培训管理方法的具体步骤如下：步骤1)、首先在离线状态下对垂直人头模型进行训练，得到人头检测的分类器，具体地讲就是：在分辨率为70×70的人头样本中使用积分图方法提取扩展Harr特征，每一个特征对应一个弱分类器；使用AdaBoost算法训练弱分类器获得强分类器，并把多个强分类器串联得到分级分类器；利用最终得到的人头检测分类器检测输入图像产生候选人头区域。然而通过分类器检测出的区域会有误检发生，必须进一步剔除误检目标。传统的剔除误检目标的方法是先帧间检测，然后采用运动强度方法判断所得到的人头检测区域是否具有运动趋势，并剔除没有运动趋势的检测区域，这样的方法仍然会导致在检测与跟踪过程中同一人头的重复检测和计数，为了克服传统方法的不足，本发明的一个优选的实施例中选用基于改进的KLTtracker方法对人头进一步执行检测与跟踪，以便过滤掉漏检测或重复检测的运动人头目标。具体实施按如下步骤2)、步骤3):

步骤2)、对AdaBoost算法检测得到的候选人头区域进一步执行帧差法检测得到运动区域，然后在运动区域上进行滑动窗口搜索，对窗口用SVM分类器进行判定，判定为人头的窗口，则添加此区域内的特征点至检测人头列表中并保存起来。

步骤(3)用KLT tracker对特征点进行跟踪。在检测中，属于人头检测窗口内的特征点已经加入到属性列表中，每个特征点均有一个概率，表明此特征点属于当前人头的置信度。在跟踪过程中，每个特征点属于此人头的概率在动态地随着此特征点和该人头所有特征点的运动模式的差异而发生改变，即

$P_i=\frac{{\mathrm{\αe}}^{-\mathrm{\α}{\mathrm{\τ}}_i}}{P},i=\mathrm{1,2,3},\·\·\·,k---\left(1\right)$

式中，k表示此人头区域内的特征点个数，α是一个衰减速度参数，P为归一化因子。而τ_i这个参数，反应了此特征点的运动模式之间的差异。是一个动态变化的参数。其更新机制如下：

${\mathrm{\&tau;}}_i=\left\{\begin{array}{cc}{\mathrm{\&tau;}}_{i-1}-d_i& d_i<d_{\mathrm{thld}}\\ {\mathrm{\&tau;}}_{i-1}+d_i& \mathrm{else}\end{array}\right.---\left(2\right)$

d_i是该特征点运动矢量和人头所有特征点的平均值点的运动模式之间的余弦距离。d_thld为一个经验值，本专利取d_thld=0.2。τ_i的初始值在本系统中，设为0，即初始时认为所有特征点以等概率归属于该人头。在跟踪过程中，由于人体运动的复杂性，个别特征点的运动可能和人头的运动并非一致，此时这些特征点的运动矢量就会和整体运动矢量表现较大的差异，运动模式一致的，τ_i会减少，相反则增大，如果τ_i＜0则令τ_i＝0。如果“归属概率p”小于某个预先设定好的阈值，这里取此阈值为0.6，则将此特征点从检测人头列表中删除。剩下的特征点，根据其归属概率，对人头位置的更新给出不同的加权，即

$R_j(x,y)=\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{p}_i{r}_i(x,y)---\left(3\right)$

式中r_i(x,y)代表特征点在下一帧中的位置，p_i为其对应的归属概率。

对单个个体，利用数学概率模型将对此人头的跟踪转化为对其内部区域的特征点的跟踪。当多个目标存在时，检测和跟踪之间还必须存在一个对应，以避免同一人头被多次作为新的目标添加到跟踪列表中。解决此问题的方法是利用各个人头的特征点属性列表，来快速判断两个窗口的人头是否为同一目标。在检测结束后，每个人头增加了一个检测属性列表，该表中包含了此区域的特征点，判断两个人头的相似性就可以转化为判断两个属性表的相似性。每一个跟踪特征点列表其内部的各个值是一些非负整数，即特征点的序号。此处关注的是这两个属性表有多少元素是一样的，在此相似性的定义基础上，提出下面的衡量方法：

$\mathrm{sim}(A,B)=\mathrm{\&beta;}\&CenterDot;\frac{N_{\mathrm{con}}}{N_A}+(1-\mathrm{\&beta;})\frac{N_{\mathrm{con}}}{N_b}---\left(4\right)$

N_A＝#(A)N_B＝#(B)N_con＝#(A∩B)

0＜β＜1

式中，A，B表示两个如上所描述的集合，#表示求集合元素个数的一个操作。β是一个参数，本文描述的系统中β＝N_B/(N_A+N_B)。此处将β如此取值，是为了在两个集合元素个数差别比较大时，能够使得上述的相似性偏向于元素较少的集合。在定义完集合的相似性后，就可以根据两个人头的检测属性列表来判断这两个人头是否是同一目标。

因此，由本步骤3)前面所述可知，跟踪列表是对检测列表进行合并与过滤的一个结果。

在系统中，存在着3个重要的目标属性列表，即检测人头列表、跟踪人头列表和丢失人头列表。检测人头列表和跟踪人头列表，在上面已经有了其描述。丢失人头列表是为了保存那些在跟踪过程中，由于人头严重的被遮挡，或者其他一些因素，导致丢失的对象。这些对象，在下一次检测中，可能被检测出来作为新对象，因此需要保存这些跟踪丢失的对象。跟踪过程具体做法是，首先从检测列表中，取出一个对象，和跟踪人头列表中的对象依次对比，利用式(4)计算而人头之间相似性，找到相似性最大的那一个对象，如果此相似性的取值大于预先设定的一个阈值，则认为这两个人头是同一个目标，合并这两个对象，更新跟踪列表中相应对象的特征点属性表；如果跟踪列表中没有和检测列表中取出的对象相似的人头，则将此对象和丢失人头列表中的对象采用最近邻依次比较，如果能够和丢失人头列表中的某个对象匹配，则将此对象从丢失人头列表中移送到跟踪列表中；如果均不能跟当前跟踪列表和丢失人头列表中的任何对象匹配，则将此对象作为一个新出现的目标添加到跟踪列表中。上述过程反复进行，直到检测列表为空。算法描述如下：

Deteced_Object_List:检测人头列表

Tracked_Object_List:跟踪人头列表

Missed_Object_List:丢失人头列表

算法：

1)如果Deteced_Object_List不为空，则从中取出一个对象A；否则退出算法。

2)如果Tracked_Object_List为空，则跳转到步骤4)执行，否则利用式(4)从Tracked_Object_List中选取出和A相似度最大的对象B。

3)如果sim(A,B)＞T₁，(T₁为一个预先设定的阈值，这里取T₁=0.4)则合并A和B，并更新B的特征点列表；跳转到步骤1)，否则执行下一步。

4)如果Missed_Object_List为空，则跳转到步骤6)执行；否则采用最近邻原则，从Missed_Object_List中选取出对象C。

5)如果A和C相似性度量值小于上述设定的阈值T₁，则将A和C进行合并，更新C的特征点列表，将C插入Tracked_Object_List中；跳转到步骤1)；否则执行下一步。

6)将对象A作为一个新目标，加入到Tracked_Object_List；转到步骤1)执行。

步骤4)、人头大小估计：在垂直摄像头环境下，人头大小恒定在某一范围之内。因此让人头大小为每个人头检测框大小的加权平均，可以估计人头包围框的大小。令出现的人头检测框大小的估计值H_k，实际测得的人头检测框大小B_k，凡是大小符合|H_k-B_k|＞d的人头检测框为过小或过大检测框，需要剔除；公式（5）如下：

H_k＝ω₁H_k-2+ω₂G_k-1+(1-ω₁-ω₂)B_k(5)

式中ω₁、ω₂为权重；取ω₁＝0.3，ω₂＝0.5，H₀＝B₀，d＝H_k/3；

步骤5)、过线跟踪与计数：步骤3)已对人头进行了过线前跟踪，而步骤4)是在步骤3)检测跟踪之后，当人头检测框与预先设置的虚拟线相交时，再次执行跟踪，对其所跟踪的结果图像进行人头大小估计。参见图2，算法中的跟踪对象为检测框与虚拟线的相交线段，设第i个人头检测框在过线时与虚拟线的相交次数为U_i，检测框与虚拟线相交的线段为p_ijq_ij，j＝1,2,…,U_i，检测框左上角点到虚拟线的垂直距离为d_ij，j＝1,2,…,U_i。在前后帧间，检测框与虚拟线相交的线段在长度和位置上均发生一定的变化，如第k帧的跟踪线段p₁₁q₁₁在第k+1帧变为p₁₂q₁₂。

对于过线目标i使用近邻法可以实现其与虚拟线的相交线段在帧间的关联跟踪。此处关联跟踪是指取所有过线的序列图像，在序列图像中，从第一帧过线图像到最后一帧过线图像按过线的时间前后顺序排序，每相邻两帧配对后执行跟踪，同时通过对序列d_ij，j＝1,2,…,U_i分析可以判断目标的进出方向；当行人从虚拟线上方走向虚拟线下方时，序列d_ij的值由大变小，反之，序列d_ij的值由小变大。因此当式(6)成立时，可以判断目标方向往下，否则目标方向往上。

这样可以根据式(6)人头的运动方向和人头检测框的个数来统计教室内学员总的人头数。

以上实施例仅供说明本发明之用，而非对本发明的限制，有关技术领域的技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变换或变型，因此所有等同的技术方案，都落入本发明的保护范围。

Claims (1)

1.一种基于人头计数的驾驶培训管理方法，其特征在于：其包括以下步骤： 

步骤1)、首先在离线状态下对垂直人头模型进行训练，得到人头检测的分类器，具体地讲就是：在分辨率为70×70像素的人头样本中使用积分图方法提取扩展Harr特征，每一个特征对应一个弱分类器；使用AdaBoost算法训练弱分类器获得强分类器，并把多个强分类器串联得到分级分类器；利用最终得到的人头检测分类器检测输入图像产生候选人头区域； 

步骤2)、对AdaBoost算法检测得到的候选人头区域进一步执行帧差法检测得到运动区域，然后在运动区域上进行滑动窗口搜索，对窗口用SVM分类器进行判定；判定为人头的窗口，则添加此区域内的特征点至检测人头列表中并保存起来，如判断不是人头的窗口，则视为非人头特征点； 

步骤3)、用改进KLT tracker算法对特征点进行跟踪； 

改进KLT tracker算法如下： 

31）、如果Deteced_Object_List不为空，则从中取出一个对象A；否则退出算法； 

32）、如果Tracked_Object_List为空，则跳转到步骤4)执行，否则利用式(4)从Tracked_Object_List中选取出和A相似度最大的对象B； 

N_A＝#(A)N_B＝#(B)N_con＝#(A∩B) 

0＜β＜1 

式中，A，B表示两个如上所描述的对象集合，#表示求对象集合元素个数的一个操作；β是一个参数，β＝N_B/(N_A+N_B)； 

33）、如果sim(A,B)＞T₁，T₁为一个预先设定的阈值，则合并A和B，并更新B的特征点列表；跳转到步骤1)，否则执行下一步； 

34）、如果Missed_Obkect_List为空，则跳转到步骤36)执行；否则采用最近邻原则，从Missed_Object_List中选取出对象C； 

35）、如果A和C相似性度量值小于上述设定的阈值T₁，则将A和C进行合并，更新C的特征点列表，将C插入Tracked_Object_List中；跳转到步骤31)；否则执行下一步； 

36）、将对象A作为一个新目标，加入到Tracked_Object_List；转到步骤31)执行； 

其中，Deteced_Object_List:检测人头列表， 

Tracked_Object_List:跟踪人头列表， 

Missed_Object_List:丢失人头列表； 

步骤4)、人头检测框大小估计：在垂直摄像头环境下，应用公式（5）来计算每个人头检测框大小的估计值H_k，实际测得的人头检测框大小B_k，凡是大小符合|H_k-B_k|＞d的人头检测框为过小或过大检测框，需要剔除；公式（5）如下： 

式中ω₁、ω₂为权重；取ω₁＝0.3，ω₂＝0.5，H₀＝B₀，d＝H_k/3； 

步骤5)、过线跟踪与计数：当人头检测框与预先设置的虚拟线相交时执行跟踪，跟踪对象为检测框与虚拟线的相交线段；设第i个人头检测框在过线时与虚拟线的相交次数为U_i，检测框与虚拟线相交的线段为p_ijq_ij，j＝1,2,…,U_i，检测框左上角点到虚拟线的垂直距离为d_ij，j＝1,2,…,U_i；对于过线目标i使用近邻法实现检测框与虚拟线的相交线段在连续两帧间的关联跟踪，此处关联跟踪是指取所有过线的序列图像，在序列图像中，从第一帧过线图像到最后一帧过线图像按过线的时间前后顺序排序，每相邻两帧配对后执行跟踪，同时通过对序列d_ij，j＝1,2,…,U_i分析可以判断目标的进出方向；当式(6)成立时，判断目标从虚拟线上方走向虚拟线下方，否则判断目标从虚拟线下方走向虚拟线上方；根据式(6)人头的运动方向和人头检测框的个数来统计教室内学员总的人头数； 

公式（6）如下： 

。

Images