运动目标分类方法及其系统
技术领域
本发明涉及视频监控技术,特别是涉及一种智能视频监控系统中的运动目标分类方法及其系统。
背景技术
常规的智能视频监控技术都包括一个运动目标分类技术。运动目标分类与运动目标检测、运动目标跟踪相结合,可以构成视频监控系统中运动目标识别模块。运动目标分类能否正确区分各类目标(如人和车),直接影响着视频监控系统中的告警,因此成为智能视频监控技术研究中的关键之一。
为了实现运动目标分类,可以使用贝叶斯算法。贝叶斯算法是一类利用概率统计知识进行分类的算法,可以运用到大型数据库中,且方法简单、分类准确率高、速度快。这种方法的缺点是由于贝叶斯定理假设一个属性值对给定类的影响独立于其它属性的值,而此假设在实际情况中经常是不成立的,因此其分类准确率可能会下降。
为了实现运动目标分类,可以使用神经网络算法。神经网络算法能够模拟人类大脑的机构和功能,采用各种学习算法从训练样本中学习,并将获取的知识存储在网络各单元之间的连接权中,能够准确的分类目标。神经网络算法在1998年提出后,又出现许多变形,包括替换的误差函数、网络拓扑的动态调整、学习率和要素参数的动态调整。近年来,从神经网络中提取规则受到越来越多的关注。这种方法的缺点是由于要使用大量的训练样本,且在实际应用中要不断地更新样本信息,因此运算量极大。
综上所述,目前迫切需要提出更为有效的运动目标分类方法。
发明内容
有鉴于此,本发明的目的在于提供一个运动目标分类方法及其系统。所述运动目标分类方法首先提取目标的空间特征和时间特征,然后通过使用概率分类法根据提取的特征对目标进行分类。
为达到上述目的,本发明的技术方案是这样实现的:
本发明提供了一种运动目标分类方法,所述运动目标分类方法包括如下步骤:
提取特征,提取目标的空间特征和时间特征;
判定类型,判定目标的类型。所述判定类型包括每帧分类和整体分类。
根据本发明,所述空间特征包括:区域轮廓拟合椭圆的长轴a、区域轮廓拟合椭圆的短轴b、拟合短轴与水平方向夹角θ、区域轮廓的类圆性ρ、区域的紧集度F、区域的面积A、区域的上部分与下部分的面积比R;所述时间特征为目标的速度v。
其中,区域轮廓拟合椭圆的长轴a、区域轮廓拟合椭圆的短轴b、拟合短轴与水平方向夹角θ通过如下所述的常规步骤确定:
1)计算轮廓点x,y坐标的平均值,公式如下:
x0=meanx,y0=meany
2)计算轮廓点x,y坐标的方差,协方差,公式如下:
3)计算最大最小特征值,公式如下:
4)计算长轴、短轴、椭圆倾角,公式如下:
区域轮廓的类圆性ρ通过如下公式确定:
其中,c为拟合目标区域的周长,s为拟合目标区域的面积,ρ为拟合目标区域的类圆性;
区域的紧集度F是指目标与目标区域的面积比;其中,所述目标是指目标所在的矩形区域里像素值为1的像素点;目标区域是指该矩形区域中所有的像素点;目标与目标区域的面积比为目标与目标区域内统计的像素个数的比值;
区域的上部分与下部分的面积比R是指目标所在的矩形区域的上半部分面积与下半部分面积之比;其中,所述上半部分面积指区域中心点y坐标以上的所有像素值为1的点的个数,下半部分面积指区域中心点y坐标以下的所有像素值为1的点的个数。
根据本发明,所述每帧分类是根据区域轮廓拟合椭圆的长轴、区域轮廓拟合椭圆的短轴、拟合短轴与水平方向夹角、区域轮廓的类圆性、区域的紧集度、区域的面积、区域的上部分与下部分的面积比、及目标的速度特征,通过概率分类法进行每帧分类,以获得目标的历史分类信息;
所述整体分类是根据目标的历史分类信息进行分类,以判定目标的类型。
其中,所述概率分类法,是指分别按照人、人群、车、车群、小动物类型,赋予区域轮廓拟合椭圆的长轴、区域轮廓拟合椭圆的短轴、拟合短轴与水平方向夹角、区域轮廓的类圆性、区域的紧集度、区域的面积、区域的上部分与下部分的面积比、及目标的速度特征不同的权值;然后分别计算人、人群、车、车群、小动物类型的特征概率值,并选择概率值最大的那一类型为目标的当前帧分类信息。
利用概率分类法通过如下公式(PT)计算整体特征概率PT:
PT=Aap*ap+Abp*bp+Aθp*θp+Aρp*ρp+AFp*Fp+AAp*Ap+ARp*Rp+AVp*Vp
其中,ap表示区域轮廓拟合椭圆的长轴a的概率,bp表示区域轮廓拟合椭圆的短轴b的概率,θp表示拟合短轴与水平方向夹角θ的概率,ρp表示区域轮廓的类圆性ρ的概率,Fp表示区域的紧集度F的概率,Ap表示区域的面积A的概率,Rp表示区域的上部分与下部分的面积比的概率R,Vp表示目标的运动速度v的概率。Aap、Abp、Aθp、Aρp、AFp、AAp、ARp、AVp分别为ap、bp、θp、ρp、Fp、Ap、Rp、Vp对应的权值系数;
当
时,将该帧目标被分类为人,否则将该帧目标被分类为车,其中,人的类型的整体特征概率为P
T 1,车的类型的整体特征概率为P
T 2。
其中,所述人的类型的整体特征概率PT 1由下列条件通过公式(PT)计算得到:
当a在阈值Tpa内时,ap取1,否则ap取0;
当b在阈值Tpb内时,bp取1,否则bp取0;
当θ在阈值Tpθ内时,θp取1,否则θp取0;
当ρ在阈值Tpρ内时,ρp取1,否则ρp取0;
当F在阈值TpF内时,Fp取1,否则Fp取0;
当A在阈值TpA内时,Ap取1,否则Ap取0;
当R在阈值TpR内时,Rp取1,否则Rp取0;
当v在阈值TpV内时,Vp取1,否则Vp取0;
所述车的类型的的整体特征概率PT 2由下列条件通过公式(PT)计算得到:
当a在阈值Tba内时,ap取1,否则ap取0;
当b在阈值Tbb内时,bp取1,否则bp取0;
当θ在阈值Tbθ内时,θp取1,否则θp取0;
当ρ在阈值Tbρ内时,ρp取1,否则ρp取0;
当F在阈值TbF内时,Fp取1,否则Fp取0;
当A在阈值TbA内时,Ap取1,否则Ap取0;
当R在阈值TbR内时,Rp取1,否则Rp取0;
当v在阈值TbV内时,Vp取1,否则Vp取0。
其中,所述历史分类信息是指统计每帧目标的分类信息;若目标在历史分类信息中分类为车的个数累加的总和为NUM1,在历史分类信息中分类为人的个数累加的总和为NUM2,若NUM1>NUM2,则判定该目标类型为车;否则,判定该目标类型为人。
根据本发明的另一方面,本发明还提供了一种运动目标分类系统,所述运动目标分类系统包括:
提取特征模块,用于提取目标的空间特征和时间特征;和
判定类型模块,用于判定目标的类型。
其中,所述提取特征模块包括提取目标的空间特征模块和提取目标的时间特征模块。
其中,所述判定类型模块包括每帧分类模块和整体分类模块。
与现有技术不同,本发明的运动目标分类方法是基于物理空间上的,可以直接满足摄像机的标定。
本发明的最大优点在于,可以准确地对运动目标进行分类,能实现人群与车的准确分类。
附图说明
图1为本发明中运动目标分类方法结构示意图;
图2为本发明运动目标分类方法中特征提取的结构示意图;
图3为本发明运动目标分类方法中空间特征的结构示意图;
图4为本发明运动目标分类方法中时间特征的结构示意图;
图5为本发明运动目标分类方法中类型判定的流程示意图;
图6为本发明运动目标分类系统的结构示意图;
图7为本发明运动目标分类系统中提取特征模块的结构示意图;
图8为本发明运动目标分类系统中判定类型模块的结构示意图。
具体实施方式
下面结合具体实施例和附图进一步详细说明。
图1所示为本发明中运动目标分类方法结构示意图,运动目标分类方法具体包括:
提取特征10,提取目标的空间特征和时间特征;
判定类型20,判定目标的类型。
如图2所示,图2为本发明中提取特征10的结构示意图,提取的特征包括目标的空间特征11和时间特征12。
空间特征11的结构示意图如图3所示,具体包括:区域轮廓拟合椭圆的长轴111、区域轮廓拟合椭圆的短轴112、区域轮廓拟合椭圆的短轴112与水平方向的夹角113、区域轮廓的类圆性114、区域的紧集度115、区域的面积116和区域的上部分与下部分的面积比117。
其中,所述拟合短轴与水平方向夹角113中的拟合短轴即为所述的区域轮廓拟合椭圆的短轴112。
所述区域轮廓拟合椭圆就是根据区域轮廓上的数据点,通过计算轮廓上数据点的特征矩阵、特征向量以及特征值来拟合椭圆的参数。假设椭圆几何中心(x0,y0)、椭圆长轴倾角θ、椭圆长轴a、椭圆短轴b。确定椭圆长轴倾角θ、椭圆长轴a、椭圆短轴b的常规步骤如下:
1)计算轮廓点x,y坐标的平均值,公式如下:
x0=meanx,y0=meany
2)计算轮廓点x,y坐标的方差,协方差,公式如下:
3)计算最大最小特征值,公式如下:
4)计算长轴、短轴、椭圆倾角,公式如下:
所述区域轮廓的类圆性ρ是指拟合目标区域的周长与面积的关系,该关系公式为:
其中,c为拟合目标区域的周长,s为拟合目标区域的面积,ρ为拟合目标区域的类圆性。由于拟合目标的区域为矩形,因此c为该区域的长加宽的和的2倍的值,s为该区域的长乘以宽的值。
区域的紧集度F,是指目标与目标区域的面积比;其中,所述目标是指目标所在的矩形区域里像素值为1的像素点;目标区域是指该矩形区域中所有的像素点;目标与目标区域的面积比为目标与目标区域内统计的像素个数的比值;
区域的上部分与下部分的面积比R,是指目标所在的矩形区域的上半部分面积与下半部分面积之比;其中,所述上半部分面积指区域中心点y坐标以上的所有像素值为1的点的个数,下半部分面积指区域中心点y坐标以下的所有像素值为1的点的个数。
本发明中时间特征12的结构示意图如图4所示,包括:目标的速度特征121。目标的速度特征121是指目标的速度信息。
如图5所示,图5表示本发明中判定类型20的流程示意图,判定类型的流程包括:每帧分类501、和整体分类502。
步骤501,每帧分类:根据区域轮廓拟合椭圆的长轴111、区域轮廓拟合椭圆的短轴112、拟合短轴与水平方向夹角113、区域轮廓的类圆性114、区域的紧集度115、区域的面积116、区域的上部分与下部分的面积比117、及目标的速度特征121,通过概率分类法进行每帧分类,以获得目标的历史分类信息。
所述概率分类法的方法是:分别按照人、人群、车、车群、小动物等类型,赋予区域轮廓拟合椭圆的长轴、区域轮廓拟合椭圆的短轴、拟合短轴与水平方向夹角、区域轮廓的类圆性、区域的紧集度、区域的面积、区域的上部分与下部分的面积比、及目标的速度特征等特征不同的权值;然后分别计算人、人群、车、车群、小动物等类型的特征概率值,并选择概率值最大的那一类型为目标的当前帧分类信息。利用概率分类法计算整体特征概率PT的公式如下:
PT=Aap*ap+Abp*bp+Aθp*θp+Aρp*ρp+AFp*Fp+AAp*Ap+ARp*Rp+AVp*Vp
其中,ap表示区域轮廓拟合椭圆的长轴a的概率,bp表示区域轮廓拟合椭圆的短轴b的概率,θp表示拟合短轴与水平方向夹角θ的概率,ρp表示区域轮廓的类圆性ρ的概率,Fp表示区域的紧集度F的概率,Ap表示区域的面积A的概率,Rp表示区域的上部分与下部分的面积比的概率R,Vp表示目标的运动速度V的概率。Aap、Abp、Aθp、Aρp、AFp、AAp、ARp、AVp分别为ap、bp、θp、ρp、Fp、Ap、Rp、Vp对应的权值系数。
所述权值系数Aap、Abp、Aθp、Aρp、AFp、AAp、ARp、AVp的值都在0~1之间,且满足八者的值的和为1。所述权值系数Aap、Abp、Aθp、Aρp、AFp、AAp、ARp、AVp的优选值分别为0.2、0.2、0.1、0.1、0.1、0.2、0.1、0.1。
下面以类型人和车为例。
对于类型人,各特征的概率取值如下:
当a在阈值Tpa内时,ap取1,否则ap取0;
当b在阈值Tpb内时,bp取1,否则bp取0;
当θ在阈值Tpθ内时,θp取1,否则θp取0;
当ρ在阈值Tpρ内时,ρp取1,否则ρp取0;
当F在阈值TpF内时,Fp取1,否则Fp取0;
当A在阈值TpA内时,Ap取1,否则Ap取0;
当R在阈值TpR内时,Rp取1,否则Rp取0;
当v在阈值TpV内时,Vp取1,否则Vp取0。
根据上述特征的概率取值,计算属于类型人的整体特征概率PT 1。
其中,所述阈值Tpa优选为100~200cm。
所述阈值Tpb优选为40~100cm。
所述阈值Tpθ优选为0°~10°。
所述阈值Tpρ优选为0.5~1。
所述阈值TpF优选为0.4~0.7。
所述阈值TpA优选为2000~10000cm2。
所述阈值TpR优选为0~1。
所述阈值TpV优选为0~200cm/s。
对于类型车,各特征的概率取值如下:
当a在阈值Tba内时,ap取1,否则ap取0;
当b在阈值Tbb内时,bp取1,否则bp取0;
当θ在阈值Tbθ内时,θp取1,否则θp取0;
当ρ在阈值Tbρ内时,ρp取1,否则ρp取0;
当F在阈值TbF内时,Fp取1,否则Fp取0;
当A在阈值TbA内时,Ap取1,否则Ap取0;
当R在阈值TbR内时,Rp取1,否则Rp取0;
当v在阈值TbV内时,Vp取1,否则Vp取0。
根据上述特征的概率取值,计算属于类型车的整体特征概率PT 2。
其中,所述阈值Tba优选为200~500cm。
所述阈值Tbb优选为70~300cm。
所述阈值Tbθ优选为20°~90°。
所述阈值Tbρ优选为0.1~0.5。
所述阈值TbF优选为0.7~1。
所述阈值TbA优选为25000~60000cm2。
所述阈值TbR优选为0~1。
所述阈值TbV优选为200~10000cm/s。
当
时,将该帧目标被分类为人,否则将该帧目标被分类为车。
所述历史分类信息是指统计每帧目标的分类信息。
整体类型502是根据目标的历史分类信息进行分类,以判定目标的类型。其方法是:根据目标的历史分类信息中分类的累加数(即统计目标在历史分类信息中的每一分类型的个数累加的总和)判定目标类型。例如,若目标在历史分类信息中分类为车的个数累加的总和为NUM1,在历史分类信息中分类为人的个数累加的总和为NUM2,若NUM1>NUM2,则判定该目标类型为车;否则,判定该目标类型为人。
图6为本发明运动目标分类系统的结构示意图,如图6所示。运动目标分类系统6包括提取特征模块61和判定类型模块62。提取特征模块61用于提取目标的空间特征和时间特征;判定类型模块62,用于判定目标的类型。
图7为本发明运动目标分类系统中提取特征模块的结构示意图,如图7所示。提取特征模块61包括提取目标的空间特征模块611和提取目标的时间特征模块612。
图8为本发明运动目标分类系统中判定类型模块的结构示意图,如图8所示。判定类型模块62包括每帧分类模块621和整体分类模块622。
本发明的运动目标分类方法的各种功能及应用:
1、自动分类
本发明的运动目标分类方法是基于物理空间上的,满足摄像机的标定,能够直接接入视频监控系统中,完成自动分类功能。
2、准确分类
本发明的运动目标分类方法能够准确地对运动目标进行分类,特别是用来能够实现人群与车的准确分类。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,应当理解,本发明并不限于这里所描述的实现方案,这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善,因此本发明只受到本发明权利要求的内容和范围的限制,其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。