CN102496001B - 一种视频监控目标自动检测的方法和系统 - Google Patents

Abstract

本发明公开一种视频监控目标自动检测的方法和系统，结合视频中目标运动信息和形态信息，基于Gentle AdaBoost算法和扩展的Harr特征训练分类器并自动进行视频中的目标检测，最后判断采用训练样本窗口通过级联分类器每一层后的返回值，返回正值时，目标在视频监控中被实时检索出来并突出显示，从而解决现有技术中对海量视频数据查询效率低的问题。该发明设计简单，具有检测速度快，精度高、鲁棒性强的特点，提高了视频中特征提取的效率，可以广泛应用于视频检索领域中行人的检测和跟踪。

Description

一种视频监控目标自动检测的方法和系统

技术领域

本发明涉及视频监控图像处理技术领域，尤其涉及一种视频监控目标自动检测的方法和系统。

背景技术

随着社会对公共安全的重视和监控设备的普及，视频监控得到了越来越广泛的应用，视频数据为许多行业的取证工作提供了法律依据，同时视频数据已经达到了海量，有些时候为了取证一段录像，会让很多人连续不断地调阅视频历史录像，造成大量的人力、物力、财力的浪费，工作效率低。

此外，由于视频监控设备的规格有差异，有些视频监控中图像分辨率低、画面模糊，给视频自动行人检测增加了不少难度。如何从视频录像中迅速准确地找到用户感兴趣的片段或目标，成为目前传统视频监控领域一个比较棘手的问题。

发明内容

本发明的目的在于克服现有技术的缺陷和不足，提供一种视频监控目标自动检测方法和系统，解决现有技术中对海量视频数据查询效率低的问题。

为达到上述目的，本发明是通过以下技术方案来实现的：

一种视频监控目标自动检测的方法，该方法包括如下步骤：

S1：创建待测目标样本，离线训练级联分类器；

S2：选取待测目标样本中相邻两帧目标图像利用运动差分算子得到运动差分图像，训练运动特征分类器；

S3：利用所述运动特征分类器检测并筛选出视频监控中的运动区域，然后调用训练好的匹配分类器进行匹配循环，直至匹配分类器的大小大于原图；

S4：判断采用训练样本窗口通过级联分类器每一层后的返回值；

S5：步骤S4中返回正值时，目标在视频监控中被实时检索出来并突出显示。

进一步的，所述步骤S1中离线训练分类器的方法是选取扩展的Haar特征，采用Gentle AdaBoost算法进行分类器训练。

进一步的，所述步骤S2中根据下述公式(1)～(5)得到运动差分图像：

Δ＝abs(I_t-I_t+1)(式1)

U＝abs(I_t-I_t+1↑)(式2)

L＝abs(I_t-I_t+1←)(式3)

R＝abs(I_t-I_t+1→)(式4)

D＝abs(I_t-I_t+1↓)(式5)

其中，定义Δ为第一帧图像的像素值I_t与第二帧图像的像素值I_t+1的差，U为第一帧图像的像素值I_t与第二帧图像向上位移一个像素值I_t+1的差，L为第一帧图像的像素值I_t与第二帧图像向左位移一个像素值I_t+1的差，R为第一帧图像的像素值I_t与第二帧图像向右位移一个像素值I_t+1的差，D为第一帧图像的像素值I_t与第二帧图像向下位移一个像素值I_t+1的差，abs()代表绝对值。

进一步的，所述步骤S4中匹配循环的方法是将匹配分类器放大给定的参数倍，同时原图缩小给定的参数倍，进行匹配，直到匹配分类器的大小大于原图，返回匹配结果。

进一步的，所述步骤S1中级联分类器用于检测视频图像中尺寸20像素×15像素的目标。

进一步的，所述步骤S4中采用判定训练样本窗口中的目标特征像素值大于相应级联分类器的阈值来确定通过每一层级联分类器。

本发明还公开一种采用所述的视频监控目标自动检测的方法的系统，该系统包括：

级联分类器，用于检测监控视频中目标的外形特征；

运动特征分类器，用于检测并筛选出监控视频中的运动区域；

信号处理单元，对筛选出的运动区域调用训练好的匹配分类器进行匹配循环，判断采用训练样本窗口通过级联分类器每一层后的返回值；

控制单元，对所要进行提取的目标进行设置。

进一步的，所述级联分类器包括人脸检测分类器、人脸局部特征检测分类器、上身肩膀区域特征分类器。

进一步的，所述系统用于视频监控中行人、车辆、车牌的实时检测。

进一步的，所述系统用于检测视频图像中尺寸20像素×15像素的目标。

本发明公开一种视频监控目标自动检测的方法和系统，结合视频中行人运动信息和形态信息，基于Gentle AdaBoost算法和扩展的Harr特征训练分类器并自动进行视频中的行人检测，该方法具有速度快，精度高的特点，提高了视频中特征提取的效率，可以广泛应用于视频检索领域中行人的检测和跟踪。

附图说明

下面根据附图和实施例对本发明作进一步详细说明。

图1为从视频监控中人工选取的正样本图；

图2为训练后的正样本集；

图3为对训练后的样本图像对采用运动差分算子运算后的差分图像；

图4为扩展的Haar特征；

图5为分类器训练流程图；

图6为拥有K级分类器的人脸检测系统；

图7为本发明视频监控目标自动检测的方法流程图；

图8为本发明视频监控目标自动检测的系统框图。

具体实施方式

本发明的技术原理：基于Gentle AdaBoost分类器和扩展Harr特征进行视频监控中的行人检测，该方法主要涉及两个方面：分类器离线训练和行人实时检测。

分类器离线训练，创建训练目标样本，训练样本分为正例样本和反例样本，其中正例样本是指待检目标样本，反例样本指其它任意图片。

分类器训练中利用图像的运动信息和外形信息，提高识别的准确性。

行人实时检测，根据监控视频的运行信息，只检测运动的部分，提高系统的实时性。

该方法综合利用视频图像中的目标运动特征和外形特征，能有效检测视频图像中小尺度目标(20像素*15像素)行人；同时利用人脸及其局部信息，主要包括人脸和上身肩膀区域特征，可大幅度增强行人检测的精度和鲁棒性。

实时检测阶段，将首先利用监控视频编码信息中的运动信息，确定视频图像中的运动区域，调用训练好cascade分类器进行模式匹配，可大大减少匹配区域，提高系统检测速度。

采用Gentle AdaBoost及其提出的扩展Harr特征在行人检测领域性能最优。

下面结合附图和实施例对本发明作进一步说明。

图1为从视频监控中人工选取的正样本图；

对于正样本，通常的做法是先把所有正样本裁切好，并对尺寸做规整(即缩放至指定大小)。本方案采用实际监控视频若干段，每段视频包括若干帧图像，其中包括行人图像和背景图像。对于每一帧图像里，通过手动的方式框选出行人，作为训练正样本。

图2为训练后的正样本集；

对图1中的样本数据进行运动训练，提取出正样本图像对，如图2所示。

图3为对训练后的样本图像对采用运动差分算子运算后的差分图像；

利用图2中的正样本图像对相邻两帧目标图像通过运动差分算子进行运算，得到运动差分图像，如图3所示。运动差分算子的定义如下：

Δ＝abs(I_t-I_t+1)(式1)

U＝abs(I_t-I_t+1↑)(式2)

L＝abs(I_t-I_t+1←)(式3)

R＝abs(I_t-I_t+1→)(式4)

D＝abs(I_t-I_t+1↓)(式5)

其中，定义Δ为第一帧图像的像素值I_t与第二帧图像的像素值I_t+1的差，U为第一帧图像的像素值I_t与第二帧图像向上位移一个像素值I_t+1的差，L为第一帧图像的像素值I_t与第二帧图像向左位移一个像素值I_t+1的差，R为第一帧图像的像素值I_t与第二帧图像向右位移一个像素值I_t+1的差，D为第一帧图像的像素值I_t与第二帧图像向下位移一个像素值I_t+1的差，abs()代表绝对值。

图4为扩展的Haar特征；

Haar特征为一种简单矩形特征，其值是黑色矩形和白色矩形在图像子窗口对应的区域的灰度值之和的差，反映图像局部的灰度变化。Haar特征分为三类：边缘特征、线性特征、中心特征和对角线特征，组合成特征模板。在确定了特征形式后Haar特征的数量就取决于训练样本图像矩阵的大小，特征模板在子窗口内任意放置，一种形态称为一种特征，找出所有子窗口的特征是进行弱分类训练的基础。

AdaBoost算法是一种能将若干弱分类器组合成强分类器的方法。每个弱分类器选择一个或几个Haar特征来对样本进行分类，若干个弱分类器通过AdaBoost算法组合成一级强分类器。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。使用AdaBoost分类器可以排除一些不必要的训练数据特徵，并将关键放在关键的训练数据上面。

Adaboost算法的具体步骤如下：

1.给定训练样本集S，其中X和Y分别对应于正例样本和负例样本；T为训练的最大循环次数；

2.初始化样本权重为1/n，即为训练样本的初始概率分布；

3.第一次迭代：

(1)训练样本的概率分布相当下，训练弱分类器；

(2)计算弱分类器的错误率；

(3)选取合适阈值，使得误差最小；

(4)更新样本权重；

经T次循环后，得到T个弱分类器，按更新的权重叠加，最终得到的强分类器。

AdaBoost算法分为Real AdaBoost、Discrete AdaBoost和Gentle AdaBoost。通过三种算法在弱分类器上进行对比试验，Gentle AdaBoost的效果明显好于其他两种算法。下面以具体的实施例来进行说明，本项目采用Gentle AdaBoost进行分类器训练。

输入：训练样本{(x_i，y_i)}，x_i∈X，y_i∈{-1，+1}，i＝1，2，…，N.

1初始化样本的权值分布d_i＝1/N，i＝1，2，…，N.

2for t＝1to T do

输出： $F\left(x\right)=\mathrm{sign}\left(f\left(x\right)\right)=\mathrm{sign}\left(\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\ω}}^t{h}^t\left(x\right)\right).$

本实施方案基于Gentle AdaBoost算法和扩展Harr特征进行分类器训练。训练分类器是由haartraining程序实现的。分类器训练流程如图5。

首先，haartraining程序开始，创建Haar特征，载入正样本，载入负样本，判断是否达到虚警率指标，

达到虚警率指标，则保存级联强分类器信息到XML文件，然后测试最终分类器性能，haartraining程序结束；

未达到虚警率指标，判断是否训练了指定数目的强分类器，

是则保存级联强分类器信息到XML文件，然后测试最终分类器性能，haartraining程序结束；

未训练指定数目的强分离器，则计算Haar特征值，根据Haar特征值训练一个强分类器，然后保存分离器信息到临时文件，然后重新载入样本目标。

分类器是一种计算机程序，通过学习后，可自动将数据分到已知类别。分类器中的级联是指最终的分类器是由几个简单分类器级联组成。图像检测中被检窗口依次通过每一级分类器，这样在前几层的检测中大部分的候选区域就被排除掉了，全部通过每一级分类器检测的区域即为目标区域。

本实施方案中的人脸及其局部信息是由级联分类器来完成的。一个扫描窗口仅在被当前的级分类器判断为行人图像时才会进入到下一个级分类器中，否则将立即被划为非行人图像。

分类器的级联结构是将包含较少特征的分类器，通过调整该分类器的阈值，使它能够排除掉大量的非行人窗口，而又几乎不漏掉任何包含行人的扫描窗口，在更为复杂的分类器被调用之前，从而极大地减少待检测区域的数量。

图6为拥有K级分类器的人脸检测系统。如图6所示，其中x表示扫描窗口，h_kj(·)表示第k级分类器的第j个决策树桩，ω_kj表示它的权重，θ_k表示第k级分类器的阈值。

在该图像中，绝大多数的窗口都是非行人图像，它们将在级联分类器的早期被迅速排除掉，只有很少量的窗口(主要是行人图像)才会依次触发每一个级分类器，经多级分类器检测，目标特征在最短的时间内得到了提取，因此检测速度被极大提升。

对于一幅分辨率为384×288的图像，级联结构的使用能够使行人检测的时间从0.7秒减少到0.067秒。

图7为本发明视频监控目标自动检测的方法流程图。

S1：创建待测目标样本，离线训练级联分类器；

S2：选取待测目标样本中相邻两帧目标图像利用运动差分算子得到运动差分图像，训练运动特征分类器；

S3：利用所述运动特征分类器检测并筛选出视频监控中的运动区域，然后调用训练好的匹配分类器进行匹配循环，直至匹配分类器的大小大于原图；

S4：判断采用训练样本窗口通过级联分类器每一层后的返回值；

S5：步骤S4中返回正值时，目标在视频监控中被实时检索出来并突出显示。

训练完成的分类器首先检测监控视频编码信息中的运动信息，确定视频图像中的运动区域，调用训练好的cascade分类器进行模式匹配，可大大减少匹配区域，提高系统检测速度。

匹配循环过程：将匹配分类器放大scale(传入参数值)倍，同时原图缩小scale倍，进行匹配，直到匹配分类器的大小大于原图，则返回匹配结果。根据传入的cascade类型不同(树型或stump)，进行不同的匹配方式。当分析的矩形框全部通过级联分类器每一层的时返回正值，否则返回负值。

返回值为正时，目标在视频监控中被实时检索出来并突出显示。

图8为本发明视频监控目标自动检测的系统框图。该系统包括：该系统包括运动特征分类器、级联分类器、信号处理单元和控制单元，其中，运动特征分类器与级联分类器连接，分类器检测后的运动区域及目标的外形特征信息传输到信号处理单元处理，信号处理单元处理后的结果传输到控制单元显示，从而实现对监控视频目标的实时自动检测。

信号处理单元包括计算机和安装在计算机上的软件程序，其中，信号处理单元对筛选出的运动区域调用训练好的匹配分类器进行匹配循环，可大大减少匹配区域，提高系统检测速度。

匹配循环过程：将匹配分类器放大scale(传入参数值)倍，同时原图缩小scale倍，进行匹配，直到匹配分类器的大小大于原图，则返回匹配结果。根据传入的cascade类型不同(树型或stump)，进行不同的匹配方式。匹配完成的视频图像中的运动区域传输到级联分类器进行检测。级联分类器包括人脸检测分类器、人脸局部特征检测分类器、上身肩膀区域特征分类器，检测的人脸局部特征包括眼睛或头发，所述上身肩膀区域特征包括双肩等。当采用训练样本窗口通过级联分类器每一层后得到程序的返回值，然后对返回值进行判断，当返回值为正值时，则信号处理单元将结果传输给控制单元，控制单元用于将待提取目标检索出来并突出显示。

控制单元包括外部输入设备和显示装置。其中，外部输入设备包括键盘、鼠标或其他控制设备，显示装置包括外接的放大的外接显示屏或其他辅助显示装置。输入设备可用于对控制单元要进行的动作进行设置，如要提取车辆、行人信息等。

此外，该系统还可用于自动检测视频监控中的车辆、车牌等目标，特别的可有效监测视频图像中尺寸20像素×15像素的目标。

有益效果：本发明公开一种视频监控目标自动检测的方法和系统，结合视频中行人运动信息和形态信息，基于Gentle AdaBoost算法和扩展的Harr特征训练分类器并自动进行视频中的目标检测，该方法设计简单，具有检测速度快，精度高、鲁棒性强的特点，提高了视频中特征提取的效率，可以广泛应用于视频检索领域中行人的检测和跟踪。

Claims (8)

1.一种视频监控目标自动检测的方法，其特征在于，包括如下步骤：

S1：创建待测目标样本，离线训练级联分类器；并根据选取的待测目标样本中相邻两帧目标图像利用运动差分算子得到的运动差分图像，训练运动特征分类器；

S2：利用所述运动特征分类器检测并筛选出视频监控中的运动区域;

S3：调用级联分类器，通过调整每一级分类器的阈值，将分类器放大给定的参数倍，同时原图缩小给定的参数倍，进行匹配，直至分类器的大小大于原图；

S4：当采用训练样本窗口通过级联分类器每一层后的返回值都为正值时，目标在视频监控中被实时检索出来并突出显示；

所述步骤S1中根据下述公式(1)～(5)得到运动差分图像：

Δ＝abs(I_t-I_t+1)   (式1)

U＝abs(I_t-I_t+1↑)   (式2)

L＝abs(I_t-I_t+1←)   (式3)

R＝abs(I_t-I_t+1→)   (式4)

D＝abs(I_t-I_t+1↓)   (式5)

其中，定义△为第一帧图像的像素值I_t与第二帧图像的像素值I_t+1的差，U为第一帧图像的像素值I_t与第二帧图像向上位移一个像素值I_t+1的差，L为第一帧图像的像素值I_t与第二帧图像向左位移一个像素值I_t+1的差，R为第一帧图像的像素值I_t与第二帧图像向右位移一个像素值I_t+1的差，D为第一帧图像的像素值I_t与第二帧图像向下位移一个像素值I_t+1的差，abs()代表绝对值。

2.根据权利要求1所述的视频监控目标自动检测的方法，其特征在于，所述步骤S1中离线训练分类器的方法是选取扩展的Haar特征，采用GentleAdaBoost算法进行分类器训练。

3.根据权利要求1所述的视频监控目标自动检测的方法，其特征在于，所述步骤S1中级联分类器用于检测视频图像中尺寸20像素×15像素的目标。

4.根据权利要求1所述的视频监控目标自动检测的方法，其特征在于，所述步骤S4中采用判定训练样本窗口中的目标特征像素值大于相应级联分类器的阈值来确定通过每一层级联分类器。

5.一种视频监控目标自动检测的系统，其特征在于，所述系统包括：

创建单元，用于创建待测目标样本；

分类器训练单元，用于根据待测目标样本，离线训练级联分类器；并根据选取的待测目标样本中相邻两帧目标图像利用运动差分算子得到的运动差分图像，训练运动特征分类器；

运动区域确定单元，用于利用所述运动特征分类器检测并筛选出视频监控中的运动区域;

处理单元，用于调用级联分类器，通过调整每一级分类器的阈值，将分类器放大给定的参数倍，同时原图缩小给定的参数倍，进行匹配，直到分类器的大小大于原图；

控制单元，用于当采用训练样本窗口通过级联分类器每一层后的返回值都为正值时，控制目标在视频监控中被实时检索出来并突出显示；

所述分类器训练单元根据下述公式(1)～(5)得到运动差分图像：

Δ＝abs(I_t-I_t+1)   (式1)

U＝abs(I_t-I_t+1↑)   (式2)

L＝abs(I_t-I_t+1←)   (式3)

R＝abs(I_t-I_t+1→)   (式4)

D＝abs(I_t-I_t+1↓)   (式5)

其中，定义△为第一帧图像的像素值I_t与第二帧图像的像素值I_t+1的差，U为第一帧图像的像素值I_t与第二帧图像向上位移一个像素值I_t+1的差，L为第一帧图像的像素值I_t与第二帧图像向左位移一个像素值I_t+1的差，R为第一帧图像的像素值I_t与第二帧图像向右位移一个像素值I_t+1的差，D为第一帧图像的像素值I_t与第二帧图像向下位移一个像素值I_t+1的差，abs()代表绝对值。

6.根据权利要求5所述的系统，其特征在于，所述级联分类器还包括人脸检测分类器、人脸局部特征检测分类器、上身肩膀区域特征分类器。

7.根据权利要求5所述的系统，其特征在于，所述系统用于视频监控中行人、车辆、车牌的实时检测。

8.根据权利要求5所述的系统，其特征在于，所述系统用于检测视频图像中尺寸20像素×15像素的目标。