CN103020577B - 一种基于hog特征的运动目标识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于hog特征的运动目标识别方法及系统，包括用于提取运动目标区域的码本建模目标检测模块，目标区域确认的目标关联模块，以及基于hog特征的运动目标分类识别模块。该方法和系统主要应用于智能安防平台，本发明实现了任意摄像头角度的运动目标分类识别，在不同光照条件影响下仍能准确识别运动目标类型。

Description

一种基于hog特征的运动目标识别方法及系统

技术领域

本发明涉及计算机视觉和机器学习领域，特别是涉及一种基于hog特征的运动目标识别方法及系统。

技术背景

在智能视频监控系统中，人们最感兴趣的是监控场景中的运动目标。为了提供基于目标类型的实时报警和事后目标检索，对目标分类识别是智能视频监控系统中非常重要的任务。通过对运动目标的类别进行识别，可以更精确的定义事件的发生和结束及特定目标的特定行为分析，降低系统的误报率。

但目标类型识别要满足如系统能够在任意的摄像头角度下工作、在不同光照条件和阴影影响下的正确区分类别以及实时处理和低内存消耗等要求是一个非常有挑战性的问题。目前智能视频监控系统中的运动目标识别方法主要分为三类：基于形状特征的识别方法、基于运动特性的识别方法以及两种特征结合的识别方法。如Lipton等人利用目标的离散度、面积、长宽比等形状特征将运动目标划分为人、人群、车和背景干扰等四类，具有一定的实用性，但基于形状的方法在描述同类目标或具有相似运动的目标时很难用统一的模型加以表征，因此在对目标进行精细分类时存在明显的不足。基于运动特性的识别方法是利用运动周期性将运动目标划分为周期性运动目标和非周期性运动目标，它对于“人”和“车”的识别有较好效果，但是对于识别多种周期性运动目标或非周期性运动目标效果较差，并且提取周期性对观察目标的角度有一定的要求。而基于两种特征结合的识别方法对提取目标轮廓的精度要求很高，而且还会使整体系统变的很复杂。

综合上述，目前急需提出一个对目标分类识别问题更加有效的解决方法。

发明内容

本发明所要解决的技术问题是提供一种基于hog特征的运动目标识别方法，使得运动目标识别能够在任意的摄像头角度下工作、在不同光照条件和阴影影响下的正确进行。

为实现上述发明目的，本发明提供技术方案如下：

步骤1：利用前N帧初始视频图像，建立基于码本(codebook)的背景模型；

步骤2：利用当前输入图像与背景模型作差，得到运动目标前景区域掩码图像，并利用形态学滤波对前景掩码图像去噪；

步骤3：目标关联，通过分析视频前后帧目标前景区域的MBB(最小矩形包围框)重叠关系进行视频中目标的关联，得到关联矩阵；

步骤4：根据关联矩阵判断目标关联状况，确定目标是否出现遮挡和分离，运动目标只有连续关联5帧以上才确定为真正的运动目标，否则为虚假目标，虚假目标不做后续目标识别处理；

步骤5：在于对确认的运动目标提取hog(梯度方向直方图)特征向量，并将特征向量送至训练好的分类器进行分类识别，最终识别运动目标为人，人群，自行车，小车，卡车，公共汽车六类。

所述的步骤2的具体过程为：

a对输入图像点的像素值与背景模型对应点的像素值做差，如果差值在一定的阈值T(一般取10)内，则该点属于背景区域，掩码图像对应点取值为0，否则该点属于运动目标前景区域，掩码图像对应点取1；

b对掩码图像采用3*3的形态学模板，做2次闭操作，1次开操作的形态学处理，滤除杂点噪声。

所述的步骤3中的目标关联的具体过程为：建立t时刻N个前景团块：和t-1时刻M个前景团块：之间的关联矩阵P，矩阵P为M*N，它的元素P(m，n)可由下公式计算：

$P(m,n)=\left\{\begin{array}{cc}1& \mathrm{if}\frac{\mathrm{Area}(B_{t-1}^m\∩B_t^n}{\min (\mathrm{Area}\left(B_{t-1}^m\right),\mathrm{Area}\left(B_t^n\right))}\≥r.\\ 0& \mathrm{else}\end{array}\right\}---\left(1\right)$

其中，r为阈值参数(＞0.4)，表示和的重叠面积。矩阵P的元素P(m，n)为1表示前一帧的第m个目标与当前帧的第n个团块匹配。

所述的步骤4的具体过程为：计算P矩阵的行累加值P m和列累加值Pn：

$P_m=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}P(m,n)---\left(2\right)$

$P_n=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}P(m,n)---\left(3\right)$

Pm表示与第m个目标相匹配的团块个数，Pn表示与第n个团块相匹配的目标个数。Pm＝0时，判定第t-1时刻的目标团块m在t时刻没有关联上，没有连续5帧关联的目标团块为虚假目标团块不做后续处理；而Pm＞1表明t-1时刻的第m个目标出现分离情况；Pn＞1表明t时刻的第n个目标出现遮挡情况；后两种情况下做目标识别也会造成结果不准确。

所述的步骤5的具体过程为：

a.用线性插值的方法将目标区域前景归一化到48*48的大小；

b.采用[-1，0，1]算子同时在水平和垂直两个方向上对图像进行处理得到梯度图像。这里需要注意的是梯度是一个矢量，具有大小和方向；

c.梯度方向直方图的统计，直方图是根据梯度方向将0-180度(无向)平均划分为9个区间；

d.以块为单位归一化梯度直方图，块的大小为R*R，所有的这些归一化后的直方图的值就组成了hog特征向量。

e.将特征向量送至训练好的分类器进行分类识别，最终得到运动目标的类型。

本发明还提供一种基于hog特征的运动目标识别系统，包括：运动目标检测模块，用于从视频图像中提取感兴趣的运动区域；目标关联确认模块，用于建立帧与帧间的目标关联，消去虚假目标；目标分类识别模块，通过提取目标区域的hog特征向量，送给训练好的分类器进行分类识别。

由上述方案可以看出，本发明中利用运动目标hog特征进行分类，够在任意的摄像头角度下工作、在不同光照条件和阴影影响下的正确区分目标类别。同时利用目标关联的方法消除虚假目标，可以进一步提高系统的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中方法流程示意图；

图2为本发明实施例中的目标分类识别的流程示意图；

图3为本发明实施例中系统结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例中本发明提供一种基于hog特征的运动目标识别方法的具体流程如图1所示。

背景建模方法采用码本(codebook)方法进行，取前N＝200帧视频图像进行背景建模，具体实现采用OPENCV开源库(OpenCV是“Open Source ComputerVision Library”的简写，是Intel开源计算机视觉库)中的Codebook.train(IplImage*img，int frmNum)完成。其中img是输入是视频图像指针，frmNum是帧序号。

检测运动目标区域的方法为利用当前输入图像与背景模型作差，具体实现为Codebook.getMask(Ipl Image*img，Ipl Image*fg，int nfrms)，其中imp是输入图像指针，fg为输出运动区域掩码图像指针。

目标关联采用建立t时刻N个前景团块：和t-1时刻M个前景团块：之间的关联矩阵P的方法，分析关联矩阵实现。具体操作同发明内容。

目标分类识别的具体流程如图2所示，其中的图像归一化大小为48*48，直方图区间为在0-180度内，均匀划分为9个区间。块的大小为16*16。所采用的分类器为随机森林，分类器事先通过贴好标签的特征库进行了训练，训练样本的大小为3000，每类样本个数是500。

实施例中本发明还提供一种基于hog特征的运动目标识别系统的具体结构如图3所示。包括：运动目标检测模块，用于从视频图像中提取感兴趣的运动区域；目标关联确认模块，用于建立帧与帧间的目标关联，消去虚假目标；目标分类识别模块，通过提取目标区域的hog特征向量，送给训练好的分类器进行分类识别。

以上所述仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (1)

1. 一种基于hog特征的运动目标识别方法，包括：

步骤S1：利用前N帧初始视频图像，建立基于码本的背景模型；

步骤S2：利用当前输入图像与背景模型作差，得到运动目标前景区域掩码图像，并利用形态学滤波对前景掩码图像去噪；

步骤S3：目标关联，通过分析视频前后帧目标前景区域的MBB重叠关系进行视频中目标的关联，得到关联矩阵；

步骤S4：根据关联矩阵判断目标关联状况，确定目标是否出现遮挡和分离，运动目标只有连续关联5帧以上才确定为真正的运动目标，否则为虚假目标，虚假目标不做后续目标识别处理；

步骤S5：对确认的运动目标提取hog特征向量，并将特征向量送至训练好的分类器进行分类识别；

其特征在于，所述步骤S2具体包括：

步骤S21：对输入图像点的像素值与背景模型对应点的像素值做差，若差值在预设的阈值T内，则该点属于背景区域，掩码图像对应点取值为0，否则该点属于运动目标前景区域，掩码图像对应点取1；

步骤S22：对掩码图像采用3*3的形态学模板，做2次闭操作，1次开操作的形态学处理，滤除杂点噪声；

所述步骤S3中所述目标关联的具体过程为：建立t时刻N个前景团块                                               和t-1时刻M个前景团块之间的关联矩阵P，矩阵P为M*N， 其元素P(m,n)由如下公式计算：

其中，r为阈值参数，r>0.4，表示和的重叠面积，矩阵P的元素P(m,n)为1表示前一帧的第m个目标与当前帧的第n个团块匹配；

所述步骤S4具体包括：

计算矩阵P的行累加值P m和列累加值P n：

Pm表示与第m个目标相匹配的团块个数，Pn表示与第n个团块相匹配 的目标个数；Pm＝0时，判定第t-1时刻的目标团块m在t时刻没有关联上， 没有连续5帧关联的目标团块为虚假目标团块不做后续处理；而Pm＞1表明 t-1时刻的第m个目标出现分离情况；Pn＞1表明t时刻的第n个目标出现遮挡情况；

所述步骤S5具体包括：

步骤S51：用线性插值的方法将目标区域前景归一化到48*48的大小；

步骤S52：采用[-1,0,1]算子同时在水平和垂直两个方向上对图像进行处理得到梯度图像；

步骤S53：梯度方向直方图的统计，直方图是根据梯度方向将0至180度平均划分为9个区间；

步骤S54：以块为单位归一化梯度直方图，块的大小为R*R，所有的这些归一化后的直方图的值组成hog特征向量；

步骤S55：将特征向量送至训练好的分类器进行分类识别，最终得到运动目标的类型。