CN103218831A - 一种基于轮廓约束的视频运动目标分类识别方法 - Google Patents

Abstract

本发明提出了一种基于轮廓约束的视频运动目标分类识别方法，包括：(1)使用基于颜色特征、纹理特征和形状先验约束的水平集分割算法获得实际目标区域和目标轮廓；(2)使用高斯滤波对实际目标区域进行卷积运算，得到目标的空间细节分量；(3)提取目标空间细节分量的局部二值模式直方图，得到目标的纹理特征；(4)提取实际目标区域中轮廓约束局部区域的方向梯度直方图，得到目标的边缘梯度特征；(5)提取训练样本目标的纹理特征和边缘梯度特征并使用机器学习方法进行训练，获得目标分类模型；(6)提取待识别目标的纹理特征和边缘梯度特征，输入分类模型，确定目标的类型。本发明基于轮廓约束的视频运动目标分类识别方法，提高了复杂室外条件下的分类准确率。

Description

一种基于轮廓约束的视频运动目标分类识别方法

技术领域

本发明涉及一种目标识别方法，尤其涉及面向远程室外监控的一种基于轮廓约束的视频运动目标分类识别方法，属于模式识别领域。

背景技术

随着监控系统的不断推广，视频数据正呈现爆炸式增长，单纯的依靠人力已经难以发挥监控系统应有的实时主动的监督作用。为了解决视频监控效率低下和过度依赖人工的问题，智能化处理技术在学术研究和工程应用领域引起了广泛关注。

运动目标分类识别作为智能化处理的关键技术，是指识别视频序列中运动目标的类别，识别的基本过程是根据已知目标数据训练目标分类器，进而利用分类器判别未知目标的类别。目标类别识别通常包含两个重要步骤，首先需要确定分类器选用的特征或模型，其次要选择合适的分类器构建方法。

在实际应用中，监控系统常采用的目标分类方法主要有两大类：(1)基于形状特征的分类识别方法，是利用目标的形状特征对目标进行分类，使用目标区域的分散度、高宽比等特征作为分类的依据。(2)基于目标运动特性的分类识别方法，是利用目标运动的周期性信息进行分类，例如可分析目标是否存在周期性的运动特性而将人识别出来，还可以通过使用光流法计算运动目标区域的残差光流来分析运动实体的刚性和非刚性，对车辆和行人进行区分。但上述方法在应用时需要对视频传感器进行标定，当传感器使用转动云台或对镜头进行变倍变焦时上述方法往往不具鲁棒性。以上方法通常解决的是行人和车辆的二分类问题，随着安防态势的发展，空中低空慢速飞行物（如飞艇、直升机等）以及水面船只目标也应纳入监控体系，仅靠运动目标的形状和运动特征难以将以上目标进行准确的区分。

然而，在面向室外场景的远程视频监控的具体应用中，运动目标的分类识别还面临多种因素的影响，例如：(1)光照影响：受天气（如雾天、阴雨）、人造光源等因素的影响，采集到的目标二维图像信号与场景中光照方向、强度和目标自身的表面反射率有关，目标的局部像素信息会因为光照的变化而发生改变；(2)背景混淆:采集到的视频经常包含十分复杂的背景，使得所需识别的目标呈现在易于混淆的背景之中；(3)视角变化：在远程视频监控系统中，同类目标从不同的倾斜角度进行拍摄，极易造成目标在视频中的整体结构信息和局部细节信息的变化，亦对目标的正确分类产生影响。因此，现有技术尚不能满足应用需求。

近年来，基于表观模型的分类方法由于对目标特征（边缘梯度信息、纹理信息等）具有较好的表达以及较高的准确率而获得较为广泛的应用。基于表观模型的方法将目标看作由一组表观特征块组成，这些表观块可以使用特征描述子来进行特征提取，然后基于这些表观数据对目标进行分类，常用的特征描述子有尺度不变特征变换匹配算法(Scale InvariantFeature Transformation,SIFT)、方向梯度直方图(Histogram of Oriented gradients,HOG)和局部二值模式(Local Binary Pattern,LBP)等。其中，SIFT算子通过在空间尺度中寻找极值点并提取出其位置、尺度、旋转不变量，具有良好的鲁棒性，但该算子存在存储空间大和耗时多等缺点。HOG特征描述子通过统计像素梯度方向密度分布获得目标边缘梯度信息，在行人分类识别方面效果显著，但由于该算子通常对整幅目标图像进行计算，包含了大量冗余信息。图像的纹理特征是与目标表面结构和材质有关的图像内在特征，LBP作为一种简单有效的局部纹理描述算子，用来描述目标纹理特征的表观模型，通过刻画像素的邻域灰度空间分布对目标的纹理进行描述，具有计算速度快的优点，但其鲁棒性易受光照变化及局部噪声的影响。因此，在具体应用中，克服光照、背景干扰等外界因素的影响，准确的提取运动目标的有效特征，是提高运动目标分类准确率的关键之一。

轮廓作为用来描述目标的拓扑结构特征，可定义为“在图像中，如果两个相邻区域内的灰度变化不大，而区域之间的灰度变化较大，则这两个区域之间的分界线称为轮廓”,使用目标的轮廓信息约束表观特征的提取，不仅能够去除不稳定特征，而且能够约减冗余特征，进而实现了对视频对象的准确描述。因此，研究面向视频应用的运动目标分割和轮廓提取方法，以及基于目标轮廓约束的特征提取与目标分类识别方法具有重要意义。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种基于轮廓约束的视频运动目标分类识别方法，提升了运动目标的识别正确率。

本发明采用下述技术方案：一种基于轮廓约束的视频运动目标分类识别方法，主要包括运动目标的轮廓提取和轮廓约束下的特征提取两个方面，具体包括如下步骤：

(A)提取出视频中的运动区域，使用基于水平集模型的分割算法获得实际目标区域和目标轮廓；

(B)对所述实际目标区域进行高斯卷积运算，得到目标的空间细节分量；

(C)提取所述目标空间细节分量的纹理特征；

(D)提取所述实际目标区域中轮廓约束局部区域的边缘梯度特征；

(E)提取训练样本目标的纹理特征和边缘梯度特征使用机器学习方法进行训练，获得目标分类模型；

(F)提取待识别目标的纹理特征和边缘梯度特征，输入目标分类模型，确定待识别目标的类型。

如上所述的基于轮廓约束的视频运动目标分类识别方法，其特征在于所述步骤(A)基于水平集模型的分割算法包括如下步骤，假设封闭曲线Γ将运动目标区域Ω划分为内部区域Ω₀和外部区域Ω₁：

(1)构建颜色特征算子：将实际目标区域转换到CIELab色彩空间，获得L、a、b三个色彩分量，分别计算实际目标区域Ω、Ω₀和Ω₁在第k,k＝1,2,3个色彩分量上所有像素值与该区域像素均值之差的平方和

并将

之和记为

计算

与

的比值

对于所有色彩分量，将

作为

的权值计算加权和C_Γ；

(2)构建纹理特征算子：使用小波变换获得目标区域水平、垂直、对角方向三个高频分量，并将其作为纹理分量，分别计算区域Ω、Ω₀和Ω₁在第k,k＝1,2,3个纹理分量内所有像素点的纹理值与该区域纹理均值之差的平方和

并将

之和记为

计算

与

的比值

对于所有纹理分量，将

作为

的权值计算加权和T_Γ；

(3)构建描述轮廓的自适应特征联合描述子:将颜色和纹理特征分量的权重

映射至区间[0,1]，使用

加权计算颜色特征算子和纹理特征算子；

(4)使用水平集方法求解自适应特征联合描述子，将运动检测区域作为形状先验对目标的分割和过程进行约束。

如上所述的基于轮廓约束的视频运动目标分类识别方法，其特征在于所述步骤(B)中使用两次高斯滤波来提取实际目标区域的空间细节分量，高斯模板的大小为目标区域长宽之间的较小值除以16。

如上所述的基于轮廓约束的视频运动目标分类识别方法，其特征在于所述步骤(C)中提取目标空间细节分量的纹理特征，具体步骤包括：首先对目标的空间细节分量进行金子塔变换，使用局部二值模式在多尺度金字塔的不同层次上进行特征提取，其次将局部二值模式金子塔划分为互不重叠的子区域并建立统计直方图，并对不同尺度的局部二制模式金字塔直方图赋予权值，最终将各个尺度下的局部二制模式金字塔直方图连接起来构成图像的纹理特征向量。

如上所述的基于轮廓约束的视频运动目标分类识别方法，其特征在于所述步骤(D)中使用方向梯度直方图提取实际目标区域中轮廓所约束局部区域的边缘梯度特征。

如上所述的基于轮廓约束的视频运动目标分类识别方法，其特征在于所述步骤(E)中机器学习方法具体采用基于多核学习的支持向量机从训练数据中学习获得目标分类模型。

本发明与现有技术相比的优点在于：本发明提出了一种基于轮廓约束的视频运动目标分类识别方法,利用基于水平集的分割模型获得的实际目标区域和目标轮廓，约束和指导了目标纹理特征和边缘梯度特征的提取，既约简了冗余特征又去除了不稳定特征，提高了对目标的表达描述能力，提升了运动目标的识别正确率。

附图说明

图1为本发明基于轮廓约束的运动目标分类方法框架示意图；

图2为本发明基于颜色、纹理和形状先验的运动目标轮廓提取框架示意图；

图3为本发明中样本视频中的目标样本、运动目标检测与目标轮廓提取示例图；

图4为本发明中基于空间细节分量的目标纹理特征提取框架示意图；

图5为本发明中目标样本库中的示例图像。

具体实施方式

如图1所示，本发明提出了一种基于轮廓约束的视频运动目标分类识别方法，主要包括以下部分。第一，基于颜色特征、纹理特征和形状先验约束的水平集运动目标分割方法。首先，基于目标与背景颜色和纹理的差异，构建描述目标轮廓的自适应特征联合描述子，并结合运动目标检测获得的形状先验，使用基于水平集的分割模型获得较为精细的实际目标区域和目标轮廓。第二，目标空间细节分量的提取。在获得实际目标区域后，对数据进行非线性滤波处理，获得实际目标区域的空间细节分量；第三，提取目标空间细节分量的纹理特征。以目标空间细节分量为基础，使用局部二值模式(Local Binary Pattern,LBP)提取目标的纹理特征，可显著减少光照、局部噪声对LBP算子本身的影响；第四，基于目标轮廓的边缘梯度特征提取。以实际目标区域为基础，在轮廓约束的局部区域上提取方向梯度直方图(Histogram of Oriented gradients,HOG)，用以描述目标边缘梯度变化信息。本发明通过获取较为准确的实际目标区域和目标轮廓，进而约束目标表观特征（LBP和HOG）的提取，使得特征提取更具针对性和鲁棒性，不仅能够去除不稳定特征，而且能够约减冗余特征，实现了对运动目标的准确描述和分类。下述对本发明涉及的关键步骤进行详细说明，具体如下：

1.基于颜色特征、纹理特征和形状先验的水平集运动目标分割方法

为了获得精确的实际目标区域和目标轮廓，综合利用颜色特征、纹理特征以及形状先验等多种信息提高目标分割和轮廓提取的精度。假设封闭曲线Γ将运动目标区域Ω划分为内部区域Ω₀和外部区域Ω₁，其中内部区域包含轮廓曲线，有Ω＝Ω₀∪Ω₁。

(1)颜色特征描述子的构建

考虑到目标与背景在不同色彩分量的区分能力各有差异，在构造颜色特征算子时，通过各色彩分量的权重大小来体现区分能力的差异，目标与背景区分性强的色彩分量自适应地设置较大权重，目标与背景区分性弱的色彩分量自适应地设置较小权重。同时，为了满足目标分割和轮廓提取的要求，颜色特征算子主要用来反映曲线内部区域的颜色变化、曲线外部区域的颜色变化、曲线内部和外部区域之间的颜色差异。在本实施方式中，将运动检测获得目标区域转换到CIE-Lab颜色空间中，将L、a、b共3个色彩分量构建颜色特征描述子，可以理解，采用其它颜色空间（例如RGB、YUV等）也是可以的，但优选CIE-Lab空间。

首先，将目标区域转换到CIE-Lab色彩空间，获得L、a、b三个色彩分量，

分别表示在第k,k＝1,2,3个色彩分量上，区域Ω、Ω₀和Ω₁内所有像素值与该区域像素均值之差的平方和，并将曲线内部颜色值的变化和外部颜色值的变化之和记为

利用

与

的比值

度量内外部之间的颜色差异。对于所有色彩分量，将

作为的权值计算加权和，得到颜色特征算子C_Γ；

(2)纹理特征描述子的构建

考虑到目标与背景在不同高频分量的区分能力各有差异，利用小波变换可获得图像的水平、垂直、对角方向的三个高频分量，在此基础上，进一步构造用于轮廓提取的纹理特征算子。在构造纹理特征算子时，通过调节各纹理特征分量权重的大小来反映目标与背景之间差异的大小，差异大的特征分量自适应地设置较大权重，差异小的特征分量自适应地设置较小权重。同时，为了满足轮廓提取的要求，纹理特征算子应能反映曲线内部区域的纹理变化、曲线外部区域的纹理变化、曲线内部和外部区域之间的纹理差异。在本实施方式中，优选采用非抽取小波变换（UWT）对目标图像进行分解。可以理解，采用其它小波变换方式（例如Haar小波等）也是可以的。

首先，利用小波变换获得目标区域的水平、垂直、对角方向的三个高频分量，然后将高频分量的幅值作为纹理特征分量，对于纹理特征分量k,k＝1,2,3，

具体为第k分量上，区域Ω、Ω₀和Ω₁内所有像素的纹理值与该区域纹理均值之差的平方和，并将曲线内部纹理值的变化和外部纹理值的变化之和记为

利用

与

的比值

度量内外部之间的纹理差异。对于所有纹理分量，将

作为的权值计算加权和，得到纹理特征算子T_Γ；

(3)颜色和纹理特征的线性加权

对颜色和纹理的特征分量进行归一化处理，即按比例将特征分量的权重映射至区间[0,1]，根据归一化的特征权重，构建基于颜色、纹理特征的权值自适应的线性联合描述子。

(1)利用水平集方法求解自适应特征联合描述子，并在求解过程中加入形状先验对分割过程进行约束

当闭合曲线的内部和外部区域各自的颜色和纹理特征变化达到最小，且闭合曲线的内部和外部区域之间的颜色和纹理特征差异达到最大时，可分割出较为精细的实际目标区域。利用能量最小化方法可将目标轮廓描述为：

$\widehat{\mathrm{\φ}}=\arg \inf \{E_{\mathrm{\φ}}+\mathrm{\μ}{K}_{\mathrm{\φ}}+\mathrm{\α}{E}_{\mathrm{shape}}\}=\arg \inf \{\underset{k=1}{\overset{6}{\mathrm{\Σ}}}{\mathrm{\ω}}^k{E}_{\mathrm{\φ}}^k+\mathrm{\μ}{K}_{\mathrm{\φ}}+\mathrm{\α}{E}_{\mathrm{shape}}(\mathrm{\φ},{\mathrm{\φ}}_p)\}---\left(1\right)$

式中

为用以表达目标轮廓的水平集函数；

用来表示目标和背景之间颜色、纹理差异的自适应加权算子；K_φ为目标轮廓长度约束项；E_shape(φ,φ_P)为形状先验约束项。

为了利用变分法求取轮廓能量泛函的最小值，通过使用Heaviside函数H(x)和Delta函数δ(x)将长度约束项K_φ、先验形状约束项E_shape、自适应加权算子E_φ，加权参数ω^k的定义域统一至全局空间Ω；将公式(1)中各项转化为水平集表达式。通过使用一阶光滑逼近函数H_ε(x)避免Heaviside函数H(x)在0点处不连续问题的出现，同时Delta函数δ(x)亦可利用函数H_ε(x)的导数δ_ε(x)来逼近。利用梯度下降流方法进行迭代求解轮廓表达式，从而获得较为精确的实际目标区域和目标轮廓。

本实施例中所述基于颜色特征、纹理特征和形状先验约束的水平集运动目标分割方法流程如图2所示，目标分割及轮廓提取的效果示例如图3所示。

2.目标空间细节分量的提取

视网膜是高度结构化的神经网络，由三层神经细胞体和两层神经突触层组成。外神经层包括杆状细胞和锥状细胞，内神经层包括双极细胞、水平细胞和无长突细胞，神经节细胞层包括神经节细胞和置换无长突细胞。连接这三层神经细胞的是两层神经突触层，即外丛状层和内丛状层。当视觉信号进入人眼的时候，位于外丛状层附近的水平细胞对输入的信号进行非线性处理，水平细胞的输出结果可以认为是对锥状细胞所传递信息进行的滤波处理，然后信号通过双极细胞传递到无长突细胞和神经节细胞。由于无长突细胞位于内丛状层的附近，通常认为其在传递信息的过程中，对信号进行了非线性的调节。

借鉴人眼视网膜外丛状层和内丛状层对视觉信号的非线性处理，可以对获得的目标区域进行两次非线性滤波操作，获得目标的空间细节信息，公式如（9）所示。

I_SD(x,y)=I_IN(x,y)-I_IN(x,y)*G_OPL(x,y)*G_IPL(x,y)   （2）

I_IN表示输入的原始目标图像，I_SD表示实际目标区域的空间细节分量，*表示卷积操作，G_OPL和G_IPL是分别用来模拟外丛状层和内丛状层非线性操作的高斯滤波函数，且高斯函数中所用σ＝min(m,n)/16，m和n分别代表目标区域的长和宽。

3.提取目标空间细节分量的纹理特征

(1)基于目标空间细节分量的局部二值模式

目标的空间细节分量的变化波动较剧烈，主要刻画了图像的纹理信息，反映了图像局部细节的清晰程度。因此，可在目标的空间细节分量上采用LBP算子提取局部邻域关系模式完成对目标的纹理特征进行较为鲁棒的描述。在本实施方式中，采用LBP作为纹理特征描述算子。可以理解，采用其他纹理描述算子（例如局部三值模式等）也是可以的。

LBP算子对目标空间细节分量中每个像素g_c的8邻域采样，每个采样点g_i,i＝0,1,2,...,7与中心像素g_c做灰度二值化运算，通过对每个采样点赋予不同的权值2ⁱ来计算该g_c的LBP值，简记为LSDBP，具体如下式所示：

$\left\{\begin{array}{c}{S}_{\mathrm{SD}}(g_i-g_c)=\left\{\begin{array}{c}1,g_i\&GreaterEqual;g_c\\ 0,g_i<g_c\end{array}\right.\\ \mathrm{LSDBP}={\mathrm{\&Sigma;}}_{i=0}^7{S}_{\mathrm{SD}}(g_i-g_c)2^i\end{array}\right.---\left(3\right)$

(2)基于LSDBP的空间区域直方图序列

本实施例中将提取的LBP特征划分为多尺度金字塔进行分析，并用直方图描述每个区域纹理的分布属性，对不同尺度的金字塔直方图赋予权值，最终将各个尺度下的直方图特征连接起来构成目标图像的纹理特征向量。

$H=\underset{l=0}{\overset{L-1}{\mathrm{\&Sigma;}}}w\left(l\right)H^l=\underset{l=0}{\overset{L-1}{\mathrm{\&Sigma;}}}\underset{i=1}{\overset{2^l}{\mathrm{\&Sigma;}}}w\left(l\right)H^l\left(i\right)---\left(4\right)$

$w\left(l\right)=\frac{1}{2^{L-l}},l=\mathrm{0,1},...,L-1$

式中H^l(i)表示在第l层第i个区域的LSDBP直方图，w(l)表示权值，在本实施例中，所述基于目标空间细节分量的局部二值模式的纹理特征提取流程如图4所示。

4.基于目标轮廓的边缘梯度特征提取

目标的边缘和轮廓通常是指目标局部区域亮度变化明显的部分，该区域的灰度图像可以看作是一个阶跃，即从一个灰度值急剧变化到另一个灰度相差较大的区域内，对目标边缘和轮廓局部区域信息的描述对于目标的识别具有重要意义。

HOG特征的核心思想是局部目标的表观和形状能够被梯度或边缘的方向密度分布很好地描述，其优点在于它是基于梯度方向的分布直方图，但如果从没有明显边缘或轮廓的区域中提取HOG特征会对识别准确率产生负面影响。因此，在目标区域的基础上，只提取目标轮廓约束的局部邻域的HOG特征用以描述目标的边缘梯度信息，既去除了不稳定特征，又能够约减冗余特征，实现了对目标的准确描述。

为了验证方法有效性，使用采集的运动目标数据库对提出的方法进行了测试。采集的数据库包含31000个目标，涵盖了可能出现在视频监控系统中的地面、低空和水面等三大类目标，其中地面目标包括行人、轿车、卡车、巴士，低空慢速飞行物包括飞机、飞艇、直升机、热气球以及船只这类水面目标。将数据库随机划分为训练集和测试集，在训练集中提取每类目标图像各400幅进行训练，在测试集集中提取每类训练集中提取每类目标图像各200幅进行训练，平均正确识别率为86.44%。图5示出了本发明采用的数据库中的部分样本数据。

本发明未详细阐述部分属于本领域公知技术。

以上公开的仅为本发明的具体实施例。根据本发明提供的技术思想，本领域的技术人员能思及的变化，都应落入本发明的保护范围内。

Claims (6)

1.一种基于轮廓约束的视频运动目标分类识别方法，主要包括运动目标的轮廓提取和轮廓约束下的特征提取两个方面，其特征在于实现步骤如下：

(A)提取出视频中的运动区域，使用基于水平集模型的分割算法获得实际目标区域和目标轮廓；

(B)对所述实际目标区域进行高斯卷积运算，得到目标的空间细节分量；

(C)提取所述目标空间细节分量的纹理特征；

(D)提取所述实际目标区域中轮廓约束局部区域的边缘梯度特征；

(E)提取训练样本目标的纹理特征和边缘梯度特征使用机器学习方法进行训练，获得目标分类模型；

(F)提取待识别目标的纹理特征和边缘梯度特征，输入目标分类模型，确定待识别目标的类型。

2.如权利要求1所述的基于轮廓约束的视频运动目标分类识别方法，其特征在于：所述步骤(A)基于水平集模型的分割算法包括如下步骤，假设封闭曲线Γ将运动检测区域Ω划分为内部区域Ω₀和外部区域Ω₁，其中内部区域包含目标轮廓，有Ω＝Ω₀∪Ω₁：

(1)构建颜色特征算子：将运动目标区域转换到CIELab色彩空间，获得L、a、b三个色彩分量，分别计算区域Ω、Ω₀和Ω₁在第k,k＝1,2,3个色彩分量上所有像素值与该区域像素均值之差的平方和

并将

之和记为

计算

与

的比值

对于所有色彩分量，将

作为

的权值计算加权和C_Γ；

(2)构建纹理特征算子：使用小波变换获得目标区域水平、垂直、对角方向的三个高频分量，并将其作为纹理分量，分别计算区域Ω、Ω₀和Ω₁在第k,k＝1,2,3个纹理分量上内所有像素点的纹理值与该区域纹理均值之差的平方和

并将

之和记为

计算

与的比值

对于所有纹理分量，将

作为

的权值计算加权和T_Γ；

(3)构建描述轮廓的自适应特征联合描述子:将颜色和纹理特征分量的权重

映射至区间[0,1]，使用加权计算颜色特征算子和纹理特征算子；

(4)使用水平集方法求解自适应特征联合描述子，将运动检测区域作为形状先验对目标的分割和过程进行约束。

3.如权利要求1所述的基于轮廓约束的视频运动目标分类识别方法，其特征在于：所述步骤(B)中使用两次高斯滤波来提取实际目标区域的空间细节分量，高斯模板的大小为目标区域长宽之间的最小值除以16。

4.如权利要求1所述的基于轮廓约束的视频运动目标分类识别方法，其特征在于：所述步骤(C)中提取目标空间细节分量的纹理特征，具体步骤包括：首先对目标的空间细节分量进行金子塔变换，使用局部二值模式在多尺度金字塔的不同层次上进行特征提取，其次将局部二值模式金子塔划分为互不重叠的子区域并建立统计直方图，并对不同尺度的局部二制模式金字塔直方图赋予权值，最终将各个尺度下的局部二制模式金字塔直方图连接起来构成图像的纹理特征向量。

5.如权利要求1所述的基于轮廓约束的视频运动目标分类识别方法，其特征在于：所述步骤(D)中使用方向梯度直方图提取实际目标区域中轮廓所约束局部区域的边缘梯度特征。

6.如权利要求1所述的基于轮廓约束的视频运动目标分类识别方法，其特征在于：所述步骤(E)中机器学习方法具体采用基于多核学习的支持向量机从训练数据中获得目标分类模型。

Images