CN104268595A - 通用物件检测方法及系统 - Google Patents

Abstract

本发明公开了一种通用物件检测方法及系统。方法包括检测过程，该过程为：对于输入的待检测图像，根据预设窗口进行遍历；在遍历期间，对待检测图像进行提取颜色特征、梯度特征及位置尺寸特征，提取位置尺寸特征包括根据预先获得的位置概率表确定出待检测图像中不同位置上出现目标的概率；将提取出的梯度特征输入第一SVM进行训练，得到第一SVM的输出；将提取出的颜色特征、第一SVM的输出及确定出的概率输入到预先训练得到的第二SVM分类器，输出目标检测结果。本发明结合三种特征以及级联的SVM分类器进行物件检测，从而可以不仅仅是关注在某一特定物件的检测，而且能够将待检测图像中所有可能存在有用信息的区域(即通用物件)检测出来。

Description

通用物件检测方法及系统

技术领域

本发明涉及视频监控技术领域，具体涉及一种通用物件检测方法与系统。

背景技术

目前视频监控已经非常普遍，许多场所都安装有摄像头用于监视场所周围的状况。作为视频监控的基本处理部分，物件检测是个非常活跃的研究方向。现有的物件检测通常针对单一的特定的物件例如行人、车辆或动物等进行检测，其涉及的物件检测算法只能检测一种特定的物件，例如算法只能够检测行人，不能将该算法用于检测车辆，否则检测结果通常会出错。也就是说，现有的物件检测算法不能在输入的待检测图像中检测出一般认为是有用信息的物件，即广义的物件。广义的物件是指具有封闭边界的有用物件，又称通用物件。此外，在物件检测过程中，常常遇到动态的背景或者是由于光照导致的背景被误认为是物件而被框选出来的情况，例如水波纹，而这些通常不是希望检测的物件，称之为无定型背景物件，无定型背景与通用物件的形态有很大的区别，无定型背景通常不具有封闭边界。

发明内容

本发明提供一种适用于对通用物件进行检测的方法和系统。

根据本发明的第一方面，本发明提供一种通用物件的检测方法，包括检测过程，所述检测过程包括：对于输入的待检测图像，根据预设窗口进行遍历；在遍历期间，对所述待检测图像进行特征提取，包括提取颜色特征、提取梯度特征、以及提取位置尺寸特征，所述提取位置尺寸特征包括根据预先获得的位置概率表确定出所述待检测图像中不同位置上出现目标的概率；将提取出的梯度特征输入第一支持向量机进行训练，得到与梯度特征对应的第一支持向量机的输出；将提取出的颜色特征、所述第一支持向量机的输出、以及所述待检测图像中不同位置上出现目标的概率输入到预先训练得到的第二支持向量机分类器，输出目标检测结果。

根据本发明的第二方面，本发明提供一种通用物件的检测系统，包括检测装置，所述检测装置包括：特征提取模块，用于对输入的待检测图像，根据预设窗口进行遍历，在遍历期间，对所述待检测图像进行特征提取，包括提取颜色特征、提取梯度特征、以及提取位置尺寸特征，所述提取位置尺寸特征包括根据预先获得的位置概率表确定出所述待检测图像中不同位置上出现目标的概率，还用于将提取出的梯度特征第一支持向量机进行训练，得到与梯度特征对应的第一支持向量机的输出；目标检测模块，用于将提取出的颜色特征、所述第一支持向量机的输出、以及所述待检测图像中不同位置上出现目标的概率输入到预先训练得到的第二支持向量机分类器，输出目标检测结果。

本发明的有益效果是：由于含有物件的小块图像与其邻域图像的颜色一般相差较大，本发明通过提取的颜色特征来区分待检测图像中是否含有物件，又考虑到梯度图对形状和位移的变化不敏感，所以本发明提取梯度特征并使用SVM对其梯度特征进行训练以得到较好的梯度信息，本发明还根据含有物件的小块图像的高宽及其在待检测图像中的位置作为特征来计算待检测图像中与小块图像对应的区域含有物件的概率，结合这三种特征送入SVM分类器进行物件检测，从而，可以不仅仅是关注在某一特定物件的检测，而且能够将待检测图像中所有可能存在有用信息的区域(即通用物件)检测出来。

附图说明

图1为本发明一种实施例的通用物件检测方法的训练过程的流程示意图；

图2为本发明一种实施例的通用物件检测方法的检测过程的流程示意图；。

具体实施方式

本发明根据通用物件如车、人、牛等都是具有完整的闭合曲线而无定型背景物件如天空、草、路等没有完整闭合曲线的特点，使用SVM(Support VectorMachine，支持向量机)分类器组合的方式以及计算先验概率来检测出通用物件。

下面通过具体实施方式结合附图对本发明作进一步详细说明。

[实施例1]

本实施例提供一种通用物件的检测方法，其将输入的待检测图像送入预先训练好的SVM分类器进行检测，由此检测出待检测图像中包含的所有通用物件。该方法包括如图1所示的训练过程和如图2所示的检测过程，具体说明如下。

1.训练过程

对于输入的样本图像，检测操作者在其上选择的目标区域，例如操作者通过鼠标等输入设备在样本图像中框选出含有物件的区域，这里将该区域称为预设窗口或者称为子图，而所输入的样本图像可以称为主图。

由于含有物件的子图一般与它附近的区域(称为邻域图)相差较大，通过二者的颜色对比度可以得到子图与邻域图的区分度，据此，通过对颜色特征的提取，从而可以确定图像上某区域是否物件。本实施例中颜色特征的提取是基于颜色直方图的巴氏(Bhattacharyya)距离判定方法来进行的。假设Surr(w,thetaCC)为邻域图，即以子图w为中心来扩大预设范围thetaCC后的图像且该图像不包含子图，显然，Surr(w,thetaCC)＝w*thetaCC*thetaCC-w，采用如下公式(1)可以得到颜色特征CC。

CC(w,thetaCC)＝compare(h(w),h(Surr(w,thetaCC)))    (1)

其中，h(w)表示子图的LAB直方图(即在LAB颜色空间上的颜色直方图)，h(Surr(w,thetaCC))表示邻域图的LAB直方图，CC(w,thetaCC)为两个直方图即h(w)和h(Surr(w,thetaCC))的对比值，compare(h(w),h(Surr(w,thetaCC)))代表比较方式，实施例中采用的是巴氏距离作为这两个直方图的比较方式。

考虑到颜色特征能够在物件颜色与背景颜色差别比较大的时候能有较好的表现，而当物件颜色与背景颜色非常接近时，颜色特征的效果会失效。所以本实施例还考虑了梯度特征，这是由于具有有用物件的子图一般具有封闭的边界，当子图缩小时，封闭边界的变化很少，因此将含物件的子图缩小到一定大小的时候，其梯度绝对值有很大的相关性。梯度特征具有位置、尺度的不变性，因此，它对物件的位置、偏移都不敏感，而这对于分辨任意的是否含有物件的子图非常有利。即使用梯度特征可以作为检测图像是否含有物件的依据之一。为了有效的使用这个特征，首先将这个输入图像放大或缩小到预设尺寸即进行归一化处理，例如为8*8的大小，然后计算它们的梯度绝对值NG，采用如下公式(2)～(4)。

GradX(x,y)＝|I(x-1,y)-I(x+1,y)|*2      (2)

GradY(x,y)＝|I(x,y-1)-I(x,y+1)|*2      (3)

NG(x,y)＝max(GradX(x,y),GradY(x,y))    (4)

其中，NG(x,y)为坐标位置(x,y)处像素点的梯度值，GradX(x,y)为坐标位置(x,y)处像素点在X方向的梯度值，GradY(x,y)为坐标位置(x,y)处像素点在Y方向的梯度值，I(x-1,y)、I(x+1,y)、I(x,y-1)和I(x,y+1)分别表示坐标位置(x-1,y)、(x+1,y)、(x,y-1)和(x,y+1)处像素点的灰度值。

将提取出的梯度特征输入SVM(为便于说明，将此SVM称为第一级SVM)进行训练，得到对应的权重向量V以及偏移量rho，以前述8*8为例，V的尺寸为1*64，梯度特征为64维，假设对于提取的梯度特征为f(64*1)，则第一级SVM的输出O_NG可以采用公式(5)计算。

O_NG＝f*V+rho    (5)

又考虑到虽然这种归一化梯度特征对形状的变化与位移的变化并不敏感，然而，对于例如挨在一起的多个物件，这种特征所起的作用并不大，所以本实施例还采用了与位置尺寸相关的位置尺寸特征。具体地，子图的大小及其在主图中的位置是不一样的，但是一些特定大小的窗口以及特定的位置会比其它的窗口大小以及位置更加有可能含有物件，例如一个瘦长的窗口位于主图的中央含有有用物件的可能性会比一个矩形的窗口位于同样的位置小，根据这一特点可以评估窗口中含有物件的可能性，且这一特点并不需要考虑子图的像素内容，只需要考虑子图的位置以及大小信息，而这些信息在检测到操作者选择子图时就可以记录下来，即记录下子图的高度、宽度以及子图在主图中的坐标位置，然后根据这些信息来确定图像中含有物件的概率。

由于主图的大小不一定，因此首先将对其大小进行归一化，例如将其放大或缩小到预设尺寸如100*100，根据之前记录的子图的位置尺寸信息确定出子图在该放大或缩小后的样本图像中的位置尺寸信息，这里将确定结果称为子图的缩放位置尺寸信息，然后对构建的4D模型W进行核密度估计，这里4D模型W定义为子图的中心位置(x,y)以及子图的高度和宽度，也就是说W表示子图的缩放位置尺寸信息。使用N个含有物件的子图{W1,W2,…,WN}进行核密度估计。由于每一幅主图缩放到100*100,因此W的范围为[0,100]⁴。实施例中使用高斯模型来进行对子图进行核密度估计。使用的高斯模型中的平均值为Wi，其可以通过已经确定的[0,100]⁴求取平均值而得到，高斯模型的方差值为thetaLS，该值通常为预先设定的经验值，例如将该值设为2.15。使用下面的公式计算测试窗口win(即子图在样本中遍历时对应的图像区域)为含有物件的窗口概率LS(W,thetaLS)。

$\mathrm{LS}(W,\mathrm{thetaLS})=\frac{1}{C}{\mathrm{\Σ}}_{i=1}^N\frac{1}{\left|\mathrm{thetaLS}\right|{\left(2\mathrm{\π}\right)}^2}{e}^{-\frac{1}{2}{(W-W_i)}^T{\mathrm{thetaLS}}^{-1}(W-W_i)}$

其中，C表示归一化常数，它保证了∑_win∈WLS(win)＝1。

由于LS与子图内容无关，因此可以将所有可能的窗口概率计算并列入概率表LS中。当输入某个测试窗口win时，可以寻找列表中与它最相近的已知窗口概率作为输出。因此通过查表的方式，LS的计算效率会很高。

上述的3个特征具有各自的优点与缺点，因此使用级联的SVM方式(第一级为如前述的对提取梯度特征后进行的SVM计算，第二级为将所有的提取得到的最终输出值)来进行分类和判断子图是否含有物件。这里对第二级SVM进行说明，将根据公式(1)计算得到的CC值作为第一输入O1，将根据公式(5)计算得到的值作为第二输入O2，将根据公式(6)计算得到的值作为第三输入(显然该第三输入为得到的概率表中的所有概率)，把第一输入O1、第二输入O2和第三输入O3作为第二级SVM分类器的输入，对该SVM进行训练，从而可以得到训练好的SVM分类器，该分类器用于后续的检测过程。

2.检测过程

该检测过程类似前述训练过程，只是对于输入的图像以及最后训练时改为采用已经训练好的SVM分类器进行检测即可。具体地，该检测过程包括如下步骤：

步骤S1：将待检测图像代入到公式(1)计算CC的值，然后得到第一输入；

步骤S2：根据公式(2)～(4)计算待检测图像的NG特征，以此作为输入放入训练好的第一级SVM分类器中，得到第二输出O2；

步骤S3：根据待检测图像在主图中的位置以及它的大小通过查概率表LS得到第三输出O3；

步骤S4：将{O1,O2,O3}作为已训练好的第二级SVM的输入，从而检测出待检测图像中是否含有物件以及检测出物件的位置。

基于上述通用物件检测方法的实施例，本发明还提供了一种通用物件检测系统的实施例，该通用物件检测系统包括检测装置和训练装置。

训练装置包括信息获取模块、特征提取模块和训练分类模块。信息获取模块用于将检测到的操作者在输入的样本图像上选择的目标区域作为预设窗口，记录所述预设窗口的位置尺寸信息，所述位置尺寸信息包括所述预设窗口的高度和宽度以及所述预设窗口在所述样本图像中的位置；特征提取模块用于根据所述预设窗口及其预设邻域的颜色信息提取颜色特征，还用于对所述预设窗口提取梯度特征，将提取出的梯度特征通过第一支持向量机进行训练，得到训练过程中与梯度特征对应的第一支持向量机的输出，还用于根据所述预设窗口的位置尺寸信息对所述样本进行位置概率计算以便得到位置概率表，所述位置概率表包括所述样本图像中不同位置及其对应的可能出现目标的概率；训练分类模块，用于将提取出的颜色特征、所述训练过程中与梯度特征对应的第一支持向量机的输出、以及所述位置概率表输入第二支持向量机进行训练，得到第二支持向量机分类器。

检测装置包括特征提取模块和目标检测模块。特征提取模块，用于对输入的待检测图像，根据预设窗口进行遍历，在遍历期间，对所述待检测图像进行特征提取，包括提取颜色特征、提取梯度特征、以及提取位置尺寸特征，所述提取位置尺寸特征包括根据预先获得的位置概率表确定出所述待检测图像中不同位置上出现目标的概率，还用于将提取出的梯度特征第一支持向量机进行训练，得到与梯度特征对应的第一支持向量机的输出；目标检测模块，用于将提取出的颜色特征、所述第一支持向量机的输出、以及所述待检测图像中不同位置上出现目标的概率输入到预先训练得到的第二支持向量机分类器，输出目标检测结果。

上述涉及的装置和模块的具体实现可参看前述通用物件检测方法中相关的步骤实现，在此不作重述。

综上，本实施例公开的通用物件检测方法或系统可以用于检测出图像中的有用物件，去除前景检测中错报物件。该方法或系统根据待检测图片与周围区域的颜色直方图的差异值作为特征之一区分待检测图内是否含有物件，使用梯度绝对值图作为另外一个特征，并使用SVM分类器对其进行训练，同时还根据待检验的子图的大小以及在原图中的位置作为特征计算子图含有物件的概率，最后综合这三个特征训练第二个SVM分类器进行训练，由此得到后续检测过程待用的已训练好的SVM分类器。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过程序来指令相关硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘或光盘等。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换。

Claims (10)

1.一种通用物件的检测方法，其特征在于包括检测过程，所述检测过程包括：

对于输入的待检测图像，根据预设窗口进行遍历；

在遍历期间，对所述待检测图像进行特征提取，包括提取颜色特征、提取梯度特征、以及提取位置尺寸特征，所述提取位置尺寸特征包括根据预先获得的位置概率表确定出所述待检测图像中不同位置上出现目标的概率；

将提取出的梯度特征输入第一支持向量机进行训练，得到与梯度特征对应的第一支持向量机的输出；将提取出的颜色特征、所述第一支持向量机的输出、以及所述待检测图像中不同位置上出现目标的概率输入到预先训练得到的第二支持向量机分类器，输出目标检测结果。

2.如权利要求1所述的方法，其特征在于，还包括在所述检测过程执行之前的训练过程，所述训练过程包括：

将检测到的操作者在输入的样本图像上选择的目标区域作为预设窗口，记录所述预设窗口的位置尺寸信息，所述位置尺寸信息包括所述预设窗口的高度和宽度以及所述预设窗口在所述样本图像中的位置；

根据所述预设窗口及其预设邻域的颜色信息提取颜色特征；

对所述预设窗口提取梯度特征，将提取出的梯度特征输入第一支持向量机进行训练，得到训练过程中与梯度特征对应的第一支持向量机的输出；

根据所述预设窗口的位置尺寸信息对所述样本进行位置概率计算以便得到位置概率表，所述位置概率表包括所述样本图像中不同位置及其对应的可能出现目标的概率；

将提取出的颜色特征、所述训练过程中与梯度特征对应的第一支持向量机的输出、以及所述位置概率表输入第二支持向量机进行训练，得到第二支持向量机分类器。

3.如权利要求1或2所述的方法，其特征在于，所述提取颜色特征包括：基于颜色直方图的巴氏距离判定方法进行计算，计算结果作为提取出的颜色特征。

4.如权利要求1或2所述的方法，其特征在于，所述提取梯度特征包括：将预设窗口放大或缩小到预设尺寸，对放大或缩小后的预设窗口进行梯度计算，计算公式为：NG(x,y)＝max(GradX(x,y),GradY(x,y))，其中NG(x,y)为坐标位置(x,y)处像素点的梯度值，GradX(x,y)为坐标位置(x,y)处像素点在X方向的梯度值，GradY(x,y)为坐标位置(x,y)处像素点在Y方向的梯度值。

5.如权利要求2所述的方法，其特征在于，所述位置概率计算包括：

将所述样本图像放大或缩小到预设尺寸，根据所述预设窗口的位置尺寸信息，确定出所述预设窗口在放大或缩小后的样本图像中的位置尺寸信息；

根据确定出的位置尺寸信息，按所述预设窗口在所述放大或缩小后的样本图像中进行遍历，并利用高斯模型进行核密度估计，以便得到遍历过程中与所述预设窗口对应的区域含有物件的概率。

6.如权利要求2所述的方法，其特征在于，所述核密度估计的计算公式为

$\mathrm{LS}(W,\mathrm{thetaLS})=\frac{1}{C}{\mathrm{\Σ}}_{i=1}^N\frac{1}{\left|\mathrm{thetaLS}\right|{\left(2\mathrm{\π}\right)}^2}{e}^{-\frac{1}{2}{(W-W_i)}^T{\mathrm{thetaLS}}^{-1}(W-W_i)}$

其中，W表示所述确定出的位置尺寸信息，thetaLS表示高斯模型的方差值，W_i表示高斯模型的平均值，N表示所述预设窗口的个数，C表示归一化常数。

7.一种通用物件的检测系统，其特征在于包括检测装置，所述检测装置包括：

特征提取模块，用于对输入的待检测图像，根据预设窗口进行遍历，在遍历期间，对所述待检测图像进行特征提取，包括提取颜色特征、提取梯度特征、以及提取位置尺寸特征，所述提取位置尺寸特征包括根据预先获得的位置概率表确定出所述待检测图像中不同位置上出现目标的概率，还用于将提取出的梯度特征输入第一支持向量机进行训练，得到与梯度特征对应的第一支持向量机的输出；

目标检测模块，用于将提取出的颜色特征、所述第一支持向量机的输出、以及所述待检测图像中不同位置上出现目标的概率输入到预先训练得到的第二支持向量机分类器，输出目标检测结果。

8.如权利要求7所述的系统，其特征在于，还包括训练装置，所述训练装置包括：

信息获取模块，用于将检测到的操作者在输入的样本图像上选择的目标区域作为预设窗口，记录所述预设窗口的位置尺寸信息，所述位置尺寸信息包括所述预设窗口的高度和宽度以及所述预设窗口在所述样本图像中的位置；

特征提取模块，用于根据所述预设窗口及其预设邻域的颜色信息提取颜色特征，还用于对所述预设窗口提取梯度特征，将提取出的梯度特征输入第一支持向量机进行训练，得到训练过程中与梯度特征对应的第一支持向量机的输出，还用于根据所述预设窗口的位置尺寸信息对所述样本进行位置概率计算以便得到位置概率表，所述位置概率表包括所述样本图像中不同位置及其对应的可能出现目标的概率；

训练分类模块，用于将提取出的颜色特征、所述训练过程中与梯度特征对应的第一支持向量机的输出、以及所述位置概率表输入第二支持向量机进行训练，得到第二支持向量机分类器。

9.如权利要求7或8所述的系统，其特征在于，

所述提取颜色特征包括：基于颜色直方图的巴氏距离判定方法进行计算，计算结果作为提取出的颜色特征；

所述提取梯度特征包括：将预设窗口放大或缩小到预设尺寸，对放大或缩小后的预设窗口进行梯度计算，计算公式为：NG(x,y)＝max(GradX(x,y),GradY(x,y))，其中NG(x,y)为坐标位置(x,y)处像素点的梯度值，GradX(x,y)为坐标位置(x,y)处像素点在X方向的梯度值，GradY(x,y)为坐标位置(x,y)处像素点在Y方向的梯度值。

10.如权利要求7或8所述的系统，其特征在于，所述位置概率计算包括：

将所述样本图像放大或缩小到预设尺寸，根据所述预设窗口的位置尺寸信息，确定出所述预设窗口在放大或缩小后的样本图像中的位置尺寸信息；

根据确定出的位置尺寸信息，按所述预设窗口在所述放大或缩小后的样本图像中进行遍历，并利用高斯模型进行核密度估计，以便得到遍历过程中与所述预设窗口对应的区域含有物件的概率。