CN105718866A - 一种视觉目标检测与识别方法 - Google Patents

Abstract

本发明提供了一种视觉目标检测与识别方法，包括以下步骤：对训练样本提取基本视觉特征训练级联分类器，得到目标的初步检测模型；对训练样本提取强视觉特征训练强分类器，得到目标的二次判别验证模型；利用滑动窗策略对图像进行扫描，得到候选图像区域；利用二次判别验证模型对目标候选区域进行二次判别验证，得到最终的检测与识别结果。本发明在初步检测过程中采用多种基本视觉特征，增强了对复杂应用场景的鲁棒性，并利用级联分类器快速过滤掉大部分非目标区域，大大提高检测速度，然后利用描述能力更强的局部特征和分类性能更好的强分类器对候选区域进行二次判别验证，进一步去除较难分辨的非目标区域，有效提高了检测与识别的准确性。

Description

一种视觉目标检测与识别方法

技术领域

本发明属于视觉目标检测与识别领域，具体涉及一种视觉目标检测与识别方法。

背景技术

目标检测是把感兴趣的目标(如标志、车辆、行人等)从图像或者视频帧的背景中检测出来并精确定位的过程，通常是利用目标的特征和位置区域来实现目标检测。由于图像背景复杂、目标与背景相互交错、各种仿射变换以及光照不均等条件的限制，到目前为止要取得理想的目标检测结果仍是一个难题。

近年来，经过研究人员的不断努力，在某些约束环境下已经提出了一些有效的目标检测方法。传统的目标检测方法包括背景差法、帧差法、光流法和基于模板的检测方法等。然而，由于目标形状和外貌千差万别，使得运用常规的基于图像处理的目标检测方法往往不能达到较好的检测效果。为此，研究人员提出了基于统计学习的目标检测方法，如Viola等人在文献“RobustReal-TimeObjectDetection”中提出了一种快速的人脸检测算法，采用Haar特征描述待检测区域的信息，并结合级联分类器和滑动窗定位对待检测区域是否包含目标进行判别，得益于积分图像和级联分类器的加速作用，该算法可以实现人脸目标的实时检测，且具有较高的检测率。Dalal等人在文献“HistogramsofOrientedGradientsforHumanDetection”中提出了利用HOG特征和SVM分类器的行人检测算法，该方法分为训练和预测两个阶段：在训练阶段，对训练样本提取HOG特征，并利用SVM分类器训练得到一个行人分类器；在预测阶段，利用滑动窗口对图像进行扫描，利用训练得到的分类器对候选窗口进行判别，最后在尺度空间融合检测结果，得到最终的行人区域。另外，Felzenszwalb等人在文献“ADiscriminativelyTrained,Multiscale,DeformablePartModel”中提出了利用可变形部件模型进行目标检测的方法，首先通过HOG特征模板来刻画目标整体及其每一个可变形部件，然后对这些部件进行匹配，在较大分辨率尺度下使用根滤波器匹配整个目标，在较细分辨率尺度下使用部件滤波器匹配目标的局部组成区域，最后将不同分辨率尺度下的匹配结果相结合，在目标检测过程中，每个检测窗口的得分等于所有部件的匹配得分减去模型变化的代价。该方法在训练模型时需要训练得到每一个可变形部件的HOG模型，以及衡量部件位置分布的代价参数。这些基于统计学习的目标检测方法在一些公开的数据集上取得了很好的结果，然而，在实际应用中，使用单一方法往往并不能得到比较理想的检测结果，主要原因在于一方面，实际应用中所要处理的图像或者视频帧往往比数据集要复杂，单一视觉特征或模型无法很好适用于这些复杂情况，为了提高检测的准确性，往往需要同时使用多种视觉特征和目标模型；另一方面，这些方法的计算复杂度一般都比较高，如果不加改动直接使用的话时间代价太大，所以通常会根据实际应用场景结合多种方法，取长补短，在检测效果和检测速度上取得平衡。

综上所述，现有的目标检测技术的不足之处主要在于：常规的基于图像处理的目标检测方法无法适用于形状复杂和外貌差别很大的目标；而基于统计学习的目标检测方法由于鲁棒性和复杂度的原因，需要根据实际应用场景做出相应调整和优化。

发明内容

针对现有技术的不足，本发明提出了一种视觉目标检测与识别方法，该技术首先结合多种视觉特征和级联分类器从图像中获取目标的候选区域，快速过滤掉大部分非目标的图像区域，然后利用强视觉特征和强分类器对候选区域进行二次判别验证，进一步去除较难分辨的非目标区域，获得最终更准确的检测结果。

本发明所提出的一种视觉目标检测与识别方法，包括以下步骤：

(1)对于待检测的每种目标，准备一定数量的正样本，同时准备不少于正样本数量的负样本，所述正样本和负样本一起构成了训练样本；

(2)对所述训练样本提取多种基本视觉特征，然后基于这些特征训练一个级联分类器，作为目标的初步检测模型；

(3)对所述训练样本提取强视觉特征，并基于此特征训练一个强分类器，作为目标的二次判别验证模型；

(4)在检测阶段，利用滑动窗策略对待检测图像进行扫描，对每个扫描窗口利用步骤(2)中所述的目标初步检测模型进行检测，获得目标的候选区域；

(5)利用步骤(3)中所述的二次判别验证模型对步骤(4)中所述目标的候选区域进行二次判别验证，进一步去除较难分辨的非目标区域，获得最终的目标检测结果。

进一步，上述一种基于多特征级联分类器和二次判别验证的目标检测方法，所述步骤(1)中准备的正样本数量一般不少于300个，负样本数量一般为正样本数量的2-5倍，另外需要从样本中截取出目标区域，并将目标区域缩放到统一大小。

进一步，上述一种基于多特征级联分类器和二次判别验证的目标检测方法，所述步骤(2)中目标初步检测模型训练，提取的基本视觉特征包括颜色、梯度幅值和梯度方向直方图等，将这些特征作为输入，并利用Adaboost算法训练级联分类器。

进一步，上述一种视觉目标检测与识别方法，所述步骤(3)中目标二次判别模型训练，提取的强视觉特征包括SIFT(Scale-InvariantFeatureTransform)特征、SURF(SpeededUpRobustFeatures)特征等，对特征进行聚类量化，并统一特征维度，利用量化后的特征作为输入训练强分类器。

进一步，上述一种视觉目标检测与识别方法，所述步骤(4)中利用滑动窗策略从检测图像中得到多个检测窗口，并采用所述的级联分类器对每个窗口进行预测，保留那些预测得分超过阈值的窗口作为目标候选区域，在滑动过程中对窗口进行一定范围的尺度缩放，以适应尺度变化。

进一步，上述一种视觉目标检测与识别方法，所述步骤(5)中二次判别验证过程，对上述目标候选区域采用所述的强分类器(比如SVM分类器)进行进一步预测，去掉那些预测得分小于预先设定阈值的候选区域，将留下的区域作为最终的检测结果。

本发明的有益效果在于：与现有方法相比，本发明能够更好地兼顾检测速度与检测准确率，并且对实际应用环境下的图像和视频数据具有较好的鲁棒性。本发明之所以具有上述效果，其原因在于：本发明在获得候选区域阶段利用了多种视觉特征，增强了对复杂目标的鲁棒性；然后利用级联分类器快速过滤掉大部分非目标区域，保证了检测速度，也为后续基于强特征和强分类器的二次判别验证奠定了基础；最后，利用描述能力更强的局部特征和分类性能更好的强分类器对候选区域进行二次判别验证，进一步去除较难分辨的非目标区域，有效提高了检测的准确性。

附图说明

图1是本发明的技术流程图。

图2是获取候选窗示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细的描述。

本发明是一种视觉目标检测与识别方法，其整体流程如图1所示，具体包含以下步骤：

(1)对于待检测的目标类别，准备训练正样本和负样本，并提取多种视觉特征。

对于待检测的每种目标，准备一定数量的正样本(一般数目不少于300)，和一定数量的负样本(数量不少于正样本，一般为正样本的2～5倍)，并从正样本中截取出目标区域，将它们缩放到统一大小以方便后续特征提取。

接着对训练样本提取多种视觉特征，本实施例中，提取的视觉特征包括颜色(HSV)、梯度幅值和梯度方向直方图(HOG)三种，并将这三种特征拼接起来得到鲁棒性更好的组合特征。

(2)利用组合特征训练一个级联分类器，作为目标的初步检测模型。

本实施例中采用Adaboost算法实现基于组合特征的级联分类器训练，训练过程为迭代循环优化方式。具体地，首先在给定的样本空间S上初始化一个分布D^init，然后采用循环迭代的方式不断优化：算法执行T轮选择，其中T为预先设定的最大循环迭代次数，在每次循环t中，选择一个分类误差ε^t＝err(h^t,S,D^t)最小的弱分类器，并根据此误差计算相应的权重其中h^t表示第t次循环时选择的弱分类器，S表示样本空间，D^t表示第t次循环时所有样本的分布。接下来利用此权重对样本空间S中的每个样本e更新其分布，如果pred(h^t,e)＝y(e)，即表示当前样本的预测输出与样本标签一致，则其新的分布更新方式为 $D^{t+1}\left(e\right)=\frac{D^t\left(e\right)\·\exp (-{\mathrm{\α}}^t)}{Z^t},$ 否则为 $D^{t+1}\left(e\right)=\frac{D^t\left(e\right)\·\exp (+{\mathrm{\α}}^t)}{Z^t},$ 其中Z^t表示预先设定的调整系数。最终，算法将每次循环中优化得到的各个弱分类器通过线性加权融合的方式得到一个最终的级联分类器其中x表示输入待检测样本，H(x)表示最终得到的分类器。

(3)对训练样本提取强视觉特征，并基于此特征训练一个强分类器，作为目标的二次判别验证模型。

在本实施例中，提取的强视觉特征为稠密SIFT特征，并对SIFT特征进行聚类和量化，得到其词包直方图特征，然后基于此词包直方图特征训练一个SVM分类器。

词包特征的提取包含三个主要步骤：1)利用SIFT算法，从每类图像中提取视觉词汇，将所有视觉词汇集合在一起；2)根据视觉词汇之间的距离远近，利用K-Means算法将词义相近的词汇合并，作为单词表中的基础词汇，得到大小为K的单词表；3)对于每幅图像，将利用SIFT算法得到的特征点用单词表中的近似词代替，通过统计单词表中每个单词在图像中出现的次数，将图像表示成一个K维的数值向量。

分类器的训练过程为：从训练数据集T＝{(x₁,y₁),(x₂,y₂),…(x_N,y_N)}中学习出一个分类决策函数，其中(x_i,y_i)表示第i个训练样本，x＝1,2,…N。具体步骤如下：

1)选取适当的核函数K(x,z)和适当的参数C，构造并求解最优化问题：

${\min }_{\mathrm{\α}}\frac{1}{2}{\mathrm{\Σ}}_{i=1}^N{\mathrm{\Σ}}_{j=1}^N{\mathrm{\α}}_i{\mathrm{\α}}_j{y}_i{y}_{j}K(x_i,x_j)-{\mathrm{\Σ}}_{i=1}^N{\mathrm{\α}}_i,s.t.{\mathrm{\Σ}}_{i=1}^N{\mathrm{\α}}_i{y}_i=0,0\≤{\mathrm{\α}}_i\≤C,$

求得最优解其中x,z表示特征向量，y表示训练集标签，α为要求解的参数；

2)选择α^*的一个正分量 $0<{\mathrm{\&alpha;}}_j^{*}<C,$ 计算 $b^{*}=y_j-{\mathrm{\&Sigma;}}_{i=1}^N{\mathrm{\&alpha;}}_i^{*}{y}_{i}K(x_i,x_j);$

3)构造决策函数， $f\left(x\right)=sign\left({\mathrm{\&Sigma;}}_{i=1}^N{\mathrm{\&alpha;}}_i^{*}{y}_{i}K\right(x_i,x_j)+b^{*}).$

(4)利用滑动窗策略和目标初步检测模型对待检测图像进行扫描检测，得到候选目标区域。

对于输入的待检测图像，首先采用图像金字塔缩放方式，将输入图像缩放到若干个不同的尺度，并将这些缩放后的图像重叠在一起组成一个金字塔形式，然后利用滑动窗检测策略按照一定的步长对各个图像进行遍历扫描，将其分为多个检测窗口，然后利用目标初步检测模型对每个窗口进行预测，检测过程如图2所示。在检测过程中，只保留那些极有可能包含目标的区域(预测得分大于预先设定的阈值α)作为候选区域，而那些非目标区域被快速去除掉。级联分类器能够在取得高检测率的同时保证快速的检测速度，为后续二次验证创造了可能。

(5)利用目标二次判别验证模型对候选区域进行二次判别验证，获得最终的检测结果。

对于级联分类器输出的候选区域，进一步利用目标二次判别验证模型进行预测，预测得分作为判断候选窗口是否包含目标的置信度，保留最终预测得分大于预先设定阈值β的区域为目标区域。由于进一步去除了较难分辨的非目标区域，二次判别验证可以获得更高的检测准确率；另外虽然与级联分类器相比，二次判别验证的速度慢一些，但是由于经过级联分类器筛选后候选区域数目有限，所以整个二次判别验证过程也能在较短时间内完成。

下面的实验结果表明，本发明能够从图像中快速过滤掉大部分非目标的图像区域，然后利用二次判别验证，进一步获得更准确的目标检测结果。

本实施例采用构造的目标检检测数据集来进行测试，验证本发明的有效性。在数据集构造方法上，选择200个视频作为训练样本，时长约20小时，视频中包含待检测的5个视觉目标；再选择1500个视频作为测试集，时长约150小时。测试任务为：从测试集中检测这5个视觉目标，对于每个目标，根据置信度返回前10000个镜头，统计检测时间。实验采用信息检索领域常用的平均准确率(mAP)指标来评测目标检测的准确性，mAP值越高，说明检测效果越好。

为了证明本发明能够从图像(视频)中快速并准确地检测到目标，本实施例设计了如下实验：

实验一：利用多特征级联分类器进行目标检测，不使用二次判别，统计mAP和检测时间；

实验二：利用多特征级联分类器和二次判别验证进行目标检测，统计mAP和检测时间。

实验环境为DellC6100服务器，配置为：IntelXeonE56452.40GHz,双核，内存96G。实验结果如表1所示：

表1.实验结果

	平均准确率(％)	检测时间(小时)	检测速度
				实验一	65.2％	3.5	42.0帧/秒
实验二	72.1％	4.0	37.5帧/秒

从表1可以看出，本发明所提出的目标检测方法，在不使用二次判别的情况下，检测速度为42帧/秒，能够得到65.2％的平均检测准确率；在使用了二次判别以后，检测速度约为37.5帧/秒，平均准确率提高到了72.1％。

本发明基于多特征级联分类器和二次判别验证的目标检测方法，在初步检测过程中采用多种基本视觉特征，增强了对复杂应用场景的鲁棒性，并利用级联分类器快速过滤掉大部分非目标区域，大大提高了检测速度，然后利用描述能力更强的局部特征和分类性能更好的强分类器对候选区域进行二次判别验证，进一步去除较难分辨的非目标区域，有效提高了检测的准确性，具有很好的实用价值。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种视觉目标检测与识别方法，包括以下步骤：

(1)对于待识别的每种目标，准备一定数量的训练样本；

(2)对训练样本提取多种基本视觉特征，用于训练级联分类器，得到初步检测模型；

(3)对训练样本提取强视觉特征，用于训练强分类器，得到二次判别验证模型；

(4)利用滑动窗策略和级联分类器对测试图像进行扫描检测，得到候选区域；

(5)利用二次判别验证模型对候选区域进行二次判别验证，获得最终的检测与识别结果。

2.如权利要求1所述的方法，其特征在于，所述步骤(1)准备的正样本数量不少于300个，负样本数量为正样本数量的2～5倍。

3.如权利要求1所述的方法，其特征在于，所述步骤(2)提取的基本视觉特征包括颜色、梯度幅值和梯度方向直方图，将这些特征作为输入训练级联分类器。

4.如权利要求3所述的方法，其特征在于，所述步骤(2)采用Adaboost算法实现基于组合特征的级联分类器训练，训练过程为迭代循环优化方式。

5.如权利要求1所述的方法，其特征在于，所述步骤(3)提取的强视觉特征包括SIFT特征、SURF特征，对特征进行聚类量化，并统一特征维度，利用量化后的特征作为输入训练强分类器。

6.如权利要求1所述的方法，其特征在于，所述步骤(4)利用滑动窗策略从检测图像得到多个检测窗口，并采用所述级联分类器对每个窗口进行预测，保留预测得分超过阈值的窗口作为所述候选区域，在滑动过程中对窗口进行一定的尺度缩放，以适应尺度变化。

7.如权利要求1所述的方法，其特征在于，所述步骤(5)对所述候选区域采用强分类器进行二次判别，去掉那些预测得分小于预先设定阈值的候选区域，将留下的区域作为最终的结果。