CN106971193A - 基于结构型Haar和Adaboost的目标检测方法 - Google Patents

Abstract

本发明公开了一种基于结构型Haar和Adaboost的目标检测方法，包括如下步骤：先创建样本，得到正例样本向量描述文件和反例样本描述文件；然后构造结构型Haar特征，根据结构型Haar特征进行训练，得到弱分类器和强分类器；之后得到级联分类器，最后利用得到的级联分类器进行目标检测，得到最终的检测结果。本发明中所得到的目标检测结果不但能保证良好的检测精度，降低误检率，还有效地缩短了训练的时间，可以应用于智能交通检测、视频监控领域，以及图像识别、搜索等领域。

Description

基于结构型Haar和Adaboost的目标检测方法

技术领域

本发明涉及目标检测技术领域，特别是一种基于结构型Haar和Adaboost的目标检测方法。

背景技术

智能视频监控是计算机视觉的重要领域，有着广泛的应用场景，尤其是那些对安全 要求比较敏感的场合，如银行、商店、飞机场、地铁站、停车场等；另外，还有工业生 产现场的监控以及交通系统的监控等。智能视频监控可以通过对目标的持续跟踪，进而 进行轨迹分析、行为识别和理解，做出是否发生异常事件的判断，从而采取必要的措施 并且发出报警信号，同时记录有关信息。

目前，比较成熟的目标检测算法可以分为以下三类：

(1)帧差法等简单的目标检测算法。帧间差分法的主要思想就是利用视频图像序列中连续两帧或三顿的差异来检测发生运动的区域。帧间差分法的特点是动态性强，能 够适应动态背景下的运动目标检测。但是，这类算法检测出的目标轮廓非常不理想，在 目标内部会留有许多空洞，在目标运动较快时目标的轮廓会被扩大，在目标运动较慢时 甚至有可能无法得到目标的边界。

(2)基于光流的目标检测算法。基于光流的目标检测算法是利用光流方程计算出每个像素点的运动状态矢量，从而发现运动的像素点，并且能够对这些像素点进行跟踪。在摄像机运动、背景变化时，光流法也能检测出运动目标，并且它能同时完成运动目标 检测和跟踪，但是该方法的计算复杂度高，在没有专用硬件支持的情况下很难做到实时 检测，同时光流场的计算非常容易受到噪声、光照变化和背景扰动的影响。采用光流场 计算的方法也很难将运动目标的轮廓完整地提取出来。

(3)基于背景差分法的目标检测算法，如多帧平均法，IIR滤波法，高斯建模法等都是侧重于背景差分法中背景的建立或背景的更新机制。在这类目标检测算法中，首先 根据一定的原理建立背景模型，然后利用输入一帧图像和背景模型比较，不同的则是运 动目标，得到运动目标像素，反之则是背景像素，得到检测结果。此类算法的缺点是由 于通常需要缓冲若干帧来学习背景，因此往往需要消耗大量的内存，这使其使用范围受 到了限制。此外，对于大范围的背景扰动，此类算法的检测效果也不理想。

目前，Adaboost算法是一种自适应boosting方法，它在海量的特征库中进行学习并 且选出少量的具有高效性的特征来组成各级的弱的分类器，之后根据弱分类器训练强的 分类器，最后将多个强分类器按照一定的规则组合成为一个级联的分类器。但是在Adaboost训练过程中，每个迭代都会对那些分类错误的样本进行加权，当这个样本多次 被分类错误，那么就会使权重过大，分类器的精确度下降。

发明内容

本发明的目的在于提供一种基于结构型Haar特征和Adaboost算法的目标检测方法， 从而实现对视频中指定目标的精确、高效检测。

实现本发明目的的技术解决方案为：一种基于结构型Haar和Adaboost的目标检测方法，所述方法包括以下步骤：

步骤1，准备正例样本和反例样本，进行训练样本的创建，得到正样本向量描述文件和负样本向量描述文件；

步骤2，构造五种基本的类Haar特征，然后构造以车辆为实例的结构型Haar特征，分别计算结构型Haar特征的特征值；

步骤3，分别进行弱分类器和强分类器的训练；

步骤4，将多个强分类器按照规则组合成为一个级联的分类器；

步骤5，根据所得到的级联分类器进行目标检测。

本发明与现有技术相比，其显著优点为：(1)利用了自适应阈值的优化方法去实现特征的选取，可以选出对训练器最有意义的特征值，将弱分类器的总个数减少，提高了Adaboost训练的速度；(2)对改进后的Adaboost算法得出的特征库进行分析，找到最 高效的分类特征，根据这些特征提出了基于先验特征的结构型Haar特征的Adaboost算 法，使用了快速搜索算法，大大的减少了计算量，从而大大加快了搜索的速度，使得检 测图像的实时性得到了有效的保证；(3)使用了结构型Haar特征进行样本的训练，使 得检测的结果精度得到很大的提升，同时降低了误检率。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明基于结构型Haar特征和Adaboost算法的目标检测方法的流程图。

图2是本发明正样本生成info.txt文件示意图。

图3是本发明生成正样本向量描述文件示意图。

图4是本发明5种基本的Haar特征图，其中(a)是水平边缘的Haar特征图，(b) 是垂直边缘的Haar特征图，(c)是水平中心的Haar特征图，(d)是垂直中心的Haar 特征图，(e)是对角的Haar特征图。

图5是本发明车辆与路面等外界环境外接的Haar特征示意。

图6是本发明车辆的车灯、排气孔等具有与其他物体高区分度的Haar特征示意图。

图7是本发明一个级联的分类器的检测的过程图。

图8是本发明目标检测的仿真结果图，其中(a)是原始视频图像第10帧目标检测的仿真结果图，(b)是原始视频图像第40帧目标检测的仿真结果图，(c)是原始视频 图像第78帧目标检测的仿真结果图。

具体实施方式

结合图1该目标检测方法的流程图，本发明基于结构型Haar特征和Adaboost算法的目标检测方法包括以下步骤：

步骤1、准备正例样本和反例样本，进行训练样本的创建，得到正样本向量描述文件和负样本向量描述文件，具体步骤为：

(1.1)训练样本分为正例样本和反例样本，准备正例样本图片2500张，反例样本图片4500张，所有的样本图片格式转换为.BMP格式，并且所有的样本图片归一化为 24×24的尺寸大小；

(1.2)采用分组的方式创建正样本描述文件即向量文件。

首先，训练样本分为正例样本和反例样本，准备正例样本图片2500张，反例样本图片4500张，其中正例样本是待检测目标样本，反例样本是其它任意不包含待检测目 标图片，创建样本的过程如下：

①将所有的样本用任意的图片处理软件把图片格式转换为.BMP格式；

②对于正样本，截图目标区域，由于样本数目过多，可以进行分组，先处理100张图片，生成一个小文件，最后将几个小文件合并成一个大文件，生成info.txt文件如图2 所示；

③创建正样本描述文件即向量文件，利用openCV执行createsamples.exe-infopositive/info.txt-vec data/vector.vec-num 2500-w 24-h 24命令，其中，createsamples.exe 为openCV自带的程序，info.txt为②中所得到的文件，-num后面为数量，这里设置为 样本的数量2500，-w和-h后为图片的resize大小，这里设置为归一化尺寸24×24，最 后生成vector.vec文件，即为向量描述文件，如图3所示；

④按照②相同的方法生成反例样本的描述文件。

步骤2、构造五种基本的类Haar特征，然后构造以车辆为实例的结构型Haar特征，分别计算结构型Haar特征的特征值；

对于如图4所示的5种基本的类Haar特征类型，分别求其特征值的过程如下：

(2.1)利用步骤1中得到的向量描述文件，根据对待检测目标的结构分析，构造结构型Haar特征；

利用步骤1中所生成的向量描述文件vector.vec,计算类Haar矩形特征在图像中的位 置，计算结果按照type x1 x2 x3 x4 x5 x6 y1 y2 y3 y4 y5 y6为一行的格式，存储在Haar.txt 中，其中type为特征类型，x和y为特征坐标；

(2.2)积分图像中任意一像素点(x,y)的积分图如下：

其中，ii(x,y)表示像素点(x,y)的积分图，i(x',y')为原图像中点(x',y')的像素值；

通过对原始图像的每个像素进行一遍顺序扫描得到ii(x,y)，计算方法：

s(x,y)＝s(x,y-1)+i(x,y) (2)

ii(x,y)＝ii(x-1,y)+s(x,y) (3)

其中，

s(x,y)表示点(x,y)的y方向的所有原始图像之和，i(x,y)表示原始图像。

之后得到的值存储在二维数组data中,由于当像素很接近，Haar特征值是相同的，因此为了加快运算，因此每十个坐标取一个，对于在程序中设置了而暂时没有使用到的 坐标位置全部置为-1。

之后以车辆为例设计结构型Haar矩形特征如图5和图6所示，图5构造了车辆与路面等外界环境外接的Haar特征，图6构造了车辆的车灯、排气孔等具有与其他物体高 区分度的Haar特征。特征值的计算方法与上面的5种基本的Haar特征的计算一致。

步骤3、分别进行弱分类器和强分类器的训练；

经过步骤2计算得到Haar特征的特征值，首先对于弱的分类器的训练，训练过程如下：

(3.1)假设训练集中有m个训练样本，训练时用到的Haar特征总数为n，样本的 特征值存储在二维数组feature[i][j]中，其中1≤i≤n,1≤j≤m，表示第i个特征下所有 样本的特征值存储在数组的第i行feature[i][]中；

(3.2)遍历每个矩阵特征，将每个矩阵特征下样本的特征值全部复制到一维数组value中，并且使得其中的值从大到小排序，之后遍历每个样本，得到前j个样本的聚集 度leftvalue：

余下的m-j个样本的聚集度rightvalue：

前j个样本的离散度lefterror和余下的m-j个样本的离散度righterror为：

其中，w_k代表的是第k个样本的权重，y_k代表的是第k个样本的标记，y_k＝1标示 为正样本，y_k＝-1标示为负样本；

计算均方误差value＝lefterror+righterror，将均方误差最小的Haar特征记录下来；

(3.3)将最优的矩形特征参数记录下来，得到一个弱分类器。

接下来，训练强分类器，过程如下：

①设定初值，强分类器的最小检测率d_min，最大的误检率f_min；

②假设训练样本共有m个，其中正样本numPos个和负样本numNeg个，则 m＝numPos+numNeg，训练样本的形式表示为：(x₁,y₁),…(x_m,y_m),其中，x_i表示第i 个样本，y_i＝1代表的是正样本，权重的最初值设为w_i＝1/(2×numPos)，y_i＝1代表的是 正样本，权重的最初值设为w_i＝1/(2×numNeg)；

③设强分类器的当前检测率为d_cur，误检率f_cur，令最初值分别为d_cur＝0,f_cur＝1.0；

④先计算当前强分类器检测率满足d_cur≥d_min，目前强分类器阈值ψ_t，之后计算强分类器误检率f_cur，当f_cur≤f_max，停止训练，然后更新权重，归一化样本权重，最后记 录下强分类器。

步骤4、将多个强分类器按照规则组合成为一个级联的分类器；

一个强分类器由若干个弱分类器组成，一般对正样本已有较强的检测能力，然而对 于负样本，它的排除能力还是很弱，当多个强分类器通过一定的规则组合成为一个级联分类器时，就会降低对负样本的误检率，同时也会提高检测速度，如图7所示。由步骤 3所得到的弱分类器和强分类器，级联分类器的训练过程如下：

(4.1)将级联的分类器的最大误检率设为F_max,每个强分类器的最小的检测率设置为d_min，最大的误检率设置为f_max，计算级联的分类器的最大的层数为：

M＝log(F_max)/log(f_max) (9)

(4.2)在样本库中，挑选正样本numPos个和负样本numNeg个；

(4.3)计算出所有正负样本的全部矩阵特征值，并且用矩阵的形式来存储；

(4.4)对{t|t＝1,2,…,M}，训练第t个强分类器，设定误检率f_t≤f_max，设定检测率d_t≥d_min，将前t个强分类器构造成级联的分类器，改变F_t为f_t*F_t-1，当F_t≤F_max时，结 束训练，将正样本拿来验证，如果通过级联的分类器的正样本的数量为N，则改变下一 轮训练强分类器的正样本的数目为N，将负样本拿来验证，滤除掉被否决掉的非目标， 继续从负样本中补充负样本样本的数量为numPos/ratio，ratio定义为负样本与正样本 的比率，如下所示：

ratio＝numNeg/numPos (10)

训练结束后将级联分类器记录下来。

图像只有通过所有层的分类器才会被判为目标。不能通过级联分类器的正样本和能 通过级联分类器的负样本，都是被误分的样本，这些被错分的样本对于训练下一层没有任何意义，若继续使用会拉低整个系统的整体的性能。相对正样本，我们训练得出的强 的分类器的检测率就趋近于1，这样在每一层正样本被滤除的个数就极其少，基本对整 个训练过程没影响；增加非目标的样本时，设定将此轮的训练强的分类器的过程里使到 的非目标全部直接去除，然后再在负的样本库里面选出来被错分的负样本，提升负样本 的丰富度，让它更加符合实际生活的情况。

步骤5、根据所得到的级联分类器进行目标检测；

(5.1)利用步骤4得到的级联分类器检测目标，首先固定待检测图像的大小不变，根据设定的比例对检测窗口进行等比放大，随后将原始图用放大后的窗口进行检测，到 待测图像的宽与设定的窗口相同时停止；

(5.2)对不同尺寸下检测挑选来的备选窗进行合并处理，设两个矩形窗口的位置的 参数分别为r₁＝(x₁,y₁,w₁,h₁),r₂＝(x₂,y₂,w₂,h₂)，其中r₁,r₂分别为两个窗口的位置参数， x₁,y₁,w₁,h₁分别表示第一个窗口的顶点坐标，窗口的宽和高，x₂,y₂,w₂,h₂分别表示第二个窗口的顶点坐标，窗口的宽和高。

如果两个窗口有下列条件

其中，α为一个中间参数。

当满足上面的条件，就进行合并，然后剔除非目标，最后得到待检测的目标。

下面结合算法仿真实例对本发明做进一步的说明。

实施例1

如图1所示，先创建样本，得到正样本向量描述文件和负样本描述文件，然后构造结构型Haar特征，根据结构型Haar特征和5中基本的Haar特征如图4、图5及图6所 示，进行训练得到弱的分类器，利用弱的分类器得到强分类器，之后得到级联分类器， 最后利用得到的级联分类器进行目标检测，得到最终检测结果如图8所示。

本算法利用Intel公司开发的openCV3.0.0计算机视觉库，用来处理目标检测阶段利 用到的各种图像处理算法，例如彩色图像的灰度化、图像的复制、图像的背景检测等。实验的硬件平台为：计算机系统为Windows 7，64位操作系统，内存8G，处理器为Intel(R)Core(TM)i5-2450M CPU@2.50GHz，开发环境VS2012。

在训练级联分类器时，选用了2500张24×24大小的正样本，4500张24×24大小的负样本。在训练过程中将强分类器的最小检测率设为d_min，根据一般规定，设定为 d_min＝0.999，最大的漏检率设定为f_max＝0.5，最大的训练层数设定为N＝50。

表1是针对各种Haar特征的训练结果，特征总数、训练耗时、训练层数、最小检测率、最大误检率等。从图8中可以看出，使用结构型Haar特征时，对于相同大小的样 本，特征总数明显减少，训练耗时减小，训练出的级联分类器的层数变化不大，从而实 现了加快训练速度的目的。

表1针对各种Haar特征的训练结果

训练的Haar特征	特征总数	训练耗时	训练层数	最小检测率	最大误检率
						水平边缘	13516	6h	15	0.999	0.5
垂直边缘	13516	6h	13	0.999	0.5
						水平中心	8712	5h	17	0.999	0.5
垂直中心	8712	5h	25	0.999	0.5
						对角	7131	3.5h	24	0.999	0.5
5种基本	51587	9.5h	19	0.999	0.5
						结构型	1152	2.5h	17	0.999	0.5

图8中(a)、(b)、(c)分别是原始视频图像第10、40、78帧目标检测后的图像， 原始视频为AVI格式，共120帧，其中用矩形框表示出的即为检测目标，图8展示了一 个车辆和多个车辆的检测结果，对于少量遮挡，只要车脸能显示出来，就能够检测到， 但当车辆成像不清晰时，可能会出现误检或者漏检的情况。

表2自建车辆测试库的检测结果

表2是自建车辆测试库的检测结果，使用结构型Haar特征训练出来的分类器，训练时间明显减少，而且检测效果也有提高，由于使用使用了结构型特征训练的方法，因 此对正样本的检测率更高一些。

综上，本发明利用了自适应阈值的优化方法去实现特征的选取，可以选出对训练器 最有意义的特征值，将弱分类器的总个数减少，提高了Adaboost训练的速度，解决掉Adaboost训练过程中计算量庞大，消耗较长时间的缺点。另外，对改进后的Adaboost 算法得出的特征库进行分析，找到最高效的分类特征，根据这些特征提出了基于先验特 征的结构型Haar特征的Adaboost算法，使用了较新的快速搜索算法，对比与之前的传 统的全搜索算法，大大的减少了计算量，从而大大加快了搜索的速度，使得检测图像的 实时性得到了有效的保证。使用了结构型Haar特征进行样本的训练，使得检测的结果 精度得到很大的提升，同时降低了误检率。

Claims (6)

1.一种基于结构型Haar和Adaboost的目标检测方法，其特征在于，所述方法包括以下步骤：

步骤1，准备正例样本和反例样本，进行训练样本的创建，得到正样本向量描述文件和负样本向量描述文件；

步骤2，构造五种基本的类Haar特征，然后构造以车辆为实例的结构型Haar特征，分别计算结构型Haar特征的特征值；

步骤3，分别进行弱分类器和强分类器的训练；

步骤4，将多个强分类器按照规则组合成为一个级联的分类器；

步骤5，根据所得到的级联分类器进行目标检测。

2.根据权利要求1所述的基于结构型Haar和Adaboost的目标检测方法，其特征在于，步骤1所述进行训练样本的创建，具体步骤为：

(1.1)训练样本分为正例样本和反例样本，准备正例样本图片2500张，反例样本图片4500张，所有的样本图片格式转换为.BMP格式，并且所有的样本图片归一化为24×24的尺寸大小；

(1.2)采用分组的方式创建正样本描述文件即向量文件。

3.根据权利要求1所述的基于结构型Haar和Adaboost的目标检测方法，其特征在于，步骤2所述构造五种基本的类Haar特征，具体步骤为：

(2.1)利用步骤1中得到的向量描述文件，根据对检测目标的结构分析，构造结构型Haar特征；

(2.2)积分图像中任意一像素点(x,y)的积分图如下：

$ii(x,y)=\underset{x^{\′}\≤x,y^{\′}\≤y}{\Σ}i(x^{\′},y^{\′})---\left(1\right)$

其中，ii(x,y)表示像素点(x,y)的积分图，i(x',y')为原图像中点(x',y')的像素值；

通过对原始图像的每个像素进行一遍顺序扫描得到ii(x,y)，计算方法：

s(x,y)＝s(x,y-1)+i(x,y) (2)

ii(x,y)＝ii(x-1,y)+s(x,y) (3)

其中，

$s(x,y)=\underset{x^{\&prime;}<x}{\&Sigma;}i(x^{\&prime;},y)---\left(4\right)$

s(x,y)表示点(x,y)的y方向的所有原始图像之和，i(x,y)表示原始图像。

4.根据权利要求1所述的基于结构型Haar和Adaboost的目标检测方法，其特征在于，步骤3所述弱分类器的训练步骤具体如下：

(3.1)假设训练集中有m个训练样本，训练时用到的Haar特征总数为n，样本的特征值存储在二维数组feature[i][j]中，其中1≤i≤n,1≤j≤m，表示第i个特征下所有样本的特征值存储在数组的第i行feature[i][]中；

(3.2)遍历每个矩阵特征，将每个矩阵特征下样本的特征值全部复制到一维数组value中，并且使得其中的值从大到小排序，之后遍历每个样本，得到前j个样本的聚集度leftvalue：

$leftvalue=\underset{k=1}{\overset{j}{\&Sigma;}}(w_k\&CenterDot;y_k)/\underset{k=1}{\overset{j}{\&Sigma;}}{w}_k---\left(5\right)$

余下的m-j个样本的聚集度rightvalue：

$rightvalue=\underset{k=j+1}{\overset{m}{\&Sigma;}}(w_k\&CenterDot;y_k)/\underset{k=j+1}{\overset{m}{\&Sigma;}}{w}_k---\left(6\right)$

前j个样本的离散度lefterror和余下的m-j个样本的离散度righterror为：

$lefterror=\underset{k=1}{\overset{j}{\&Sigma;}}{w}_k\&CenterDot;{(y_k-leftvalue)}^2---\left(7\right)$

$righterror=\underset{k=j+1}{\overset{m}{\&Sigma;}}{w}_k\&CenterDot;{(y_k-leftvalue)}^2---\left(8\right)$

其中，w_k代表的是第k个样本的权重，y_k代表的是第k个样本的标记，y_k＝1标示为正样本，y_k＝-1标示为负样本；

计算均方误差value＝lefterror+righterror，将均方误差最小的Haar特征记录下来；

(3.3)将最优的矩形特征参数记录下来，得到一个弱分类器。

5.根据权利要求1所述的基于结构型Haar和Adaboost的目标检测方法，其特征在于，步骤4所述将多个强分类器按照规则组合成为一个级联的分类器，具体步骤为：

(4.1)将级联的分类器的最大误检率设为F_max，每个强分类器的最小的检测率设置为d_min，最大的误检率设置为f_max，计算级联的分类器的最大的层数为：

M＝log(F_max)/log(f_max) (9)

(4.2)在样本库中，挑选正样本numPos个和负样本numNeg个；

(4.3)计算出所有正负样本的全部矩阵特征值，并且用矩阵的形式来存储；

(4.4)对{t|t＝1,2,…,M}，训练第t个强分类器，设定误检率f_t≤f_max，设定检测率d_t≥d_min，将前t个强分类器构造成级联的分类器。

6.根据权利要求1所述的基于结构型Haar和Adaboost的目标检测方法，其特征在于，步骤5根据所得到的级联分类器进行目标检测，步骤为：

(5.1)首先固定待检测图像的大小不变，根据设定的比例对检测窗口进行等比放大，随后将原始图用放大后的窗口进行检测，到待测图像的宽与设定的窗口相同时停止；

(5.2)对不同尺寸下检测挑选来的备选窗进行合并处理，设两个矩形窗口的位置参数分别为r₁＝(v₁,u₁,w₁,h₁),r₂＝(v₂,u₂,w₂,h₂)，其中，v₁,u₁,w₁,h₁分别表示第一个窗口的顶点坐标、窗口的宽和高，v₂,u₂,w₂,h₂分别表示第二个窗口的顶点坐标、窗口的宽和高；

如果两个窗口有下列条件：

其中，α为中间参数；

当满足上面的条件，就进行合并，然后剔除非目标，最后得到待检测的目标。