CN102081741A - 一种基于视觉注意原理的行人检测方法和系统 - Google Patents

Abstract

本发明公开了一种基于视觉注意原理的行人检测方法和系统，利用基于视觉注意原理的局部特征直方图来训练基于特征块的行人表示模型和AdaBoost检测分类器，用滑动窗口的方法在测试图像中检测行人。本发明能够有效的区分有竖直边缘的景物和行人，能够处理光照的变化以及部分遮挡的情况，在低分辨率下也有较好的检测效果。本发明能广泛的用于视频监控、智能交通等领域。

Description

一种基于视觉注意原理的行人检测方法和系统

技术领域

本发明属于计算机视觉技术领用，具体涉及视频监控、智能交通中的行人检测方法。

背景技术

近年来，在图像和视频中检测行人备受人们关注，该技术可用于智能监控、智能交通和运动分析等领域。在复杂的场景中检测行人异常困难。其中，光照时常发生变化；景物复杂多样；行人具有多变的服饰和姿态；行人与行人之间、行人与景物之间常常相互遮挡；行人图像分辨率往往较低，只占据了视野中的一小部分。而这又是智能监控和智能交通中常见的情形，具有重要的研究和应用价值。

下面介绍几个与本发明相近的对比文献。

基于视频监控的行人检测方法(申请号：201010227766.5，公开号：CN101887524A)提供了一种基于视频监控的行人检测方法，利用扩展梯度直方图特征与Adaboost算法来快速检测行人，然后利用梯度直方图特征和支持向量机来进一步识别验证前面的检测出来的行人。

一种基于小波分形特征的行人检测方法(申请号：200910183075.7，公开号：CN101630369)提供了一种基于小波分形特征的行人检测方法，该方法用图像的小波分形特征训练支持向量机，实现行人检测。

变化场景下行人检测的方法(申请号：201010141956.5，公开号：CN101807260A)提供了一种变化场景下行人检测的方法，利用第一场景训练得到级联分类器后，用第二场景的少量样本数据优化级联分类器，实现变化场景下的行人检测。

以上公开的发明大多对图像中竖直边缘比较敏感，容易将有较长竖直边缘的景物当作行人，产生较多误报。此外，在分辨率较低和有遮挡出现时，上述方法也难以有效处理。

发明内容

本发明的目的在于提供一种利用了人眼视觉注意原理的行人检测方法，此种方法能较好的区分有较长竖直边缘的景物和行人，能够处理光照变化和行人被部分遮挡的情况，在图像分辨率较低时也有很好的效果。

为实现上述目标，本发明采用的技术方案：一种基于视觉注意原理的行人检测方法和系统，包括如下步骤：

(a)利用训练图像训练行人模型；

(b)利用训练图像和步骤(a)得到的行人模型训练AdaBoost检测分类器；

(c)利用步骤(b)得到的检测分类器，在不同尺度下，用滑动窗口方法检测图像中的行人。

进一步，所述步骤(a)包括以下步骤：

(a1)把训练图像规格化为64×128像素大小，训练图像为灰度图像，包含完整的行人；

(a2)在按照步骤(a1)规格化后的每幅训练图像中，随机、均匀的取32个16×16像素的图像块，记录这些图像块的左上角坐标，并计算图像块的基于视觉注意原理的局部特征直方图(Histograms of Local Feature based on Vision Attention，HoL)；

(a3)对按照步骤(a2)得到的图像块的基于视觉注意原理的局部特征直方图(HoL)用K-means算法聚类，在聚类结果中进一步按照图像块的左上角坐标用K-means算法聚类，最终的聚类数量n在800～1200之间；

(a4)对按照步骤(a3)得到的图像块聚类结果中，对第i类图像块计算基于视觉注意原理的局部特征直方图(HoL)均值向量V_i和左上角坐标均值向量P_i，用集合M＝{(V_i，P_i)}表示行人模型，其中i＝1...n，n是步骤(a3)中的聚类数量。

进一步，所述步骤(b)包括以下步骤：

(b1)把包含完整行人的训练图像规格化为64×128像素大小，称为正样本。在不包含行人的训练图像中，按照16像素为步长，顺序取64×128像素大小的图像块做为负样本。训练图像为灰度图像；

(b2)对步骤(b1)得到的每一个训练样本S_j(j＝1...m，其中m为训练样本数量)，根据步骤(a)得到的行人模型M＝{(V_i，P_i)}，对所有的i＝1...n(其中n是步骤(a3)中的聚类数量)，计算以P_i为中心、大小为32×32像素范围内所有大小为16×16像素图像块的基于视觉注意原理的局部特征直方图(HoL)，计算它们到V_i的最小欧氏距离，记为d_ij；

(b3)用步骤(b2)得到的向量集{d_j＝(d_1j，d_2j，...，d_nj)|j＝1...m}以及与之对应的正负样本标记训练AdaBoost检测分类器。

进一步，所述步骤(c)包括以下步骤：

(c1)在测试图像中，在水平和垂直方向上以8个像素为步长，取一系列64×128像素大小的图像块，做为检测窗口；

(c2)对步骤(c1)中得到的每一个检测窗口，根据步骤(a)得到的行人模型M＝{(V_i，P_i)}，对所有的i＝1...n(其中n是步骤(a3)中的聚类数量)，计算以P_i为中心、大小为32×32像素范围内所有大小为16×16像素图像块的基于视觉注意原理的局部特征直方图(HoL)，计算它们到V_i的最小欧氏距离，记为t_i，把测试向量(t₁，t₂，...，t_n)输入到步骤(b3)得到的AdaBoost检测分类器中，标记输出为正的测试样本为行人出现的检测窗口；

(c3)把测试图像的高和宽缩小2％，做为新的测试图像，如果新的测试图像的高大于128像素并且宽大于64像素则转到步骤(c1)，否则执行步骤(c4)；

(c4)合并重叠面积超过80％的有行人出现的检测窗口。

更进一步，基于视觉注意原理的局部特征直方图(HoL)的计算方法包括以下步骤：

(d1)对每一个像素点按照下式计算基于视觉注意的局部特征(Local Feature based on Vision Attention.LFVA)：

${\mathrm{LFVA}}_{r_1,r_2,n}(x,y)=\underset{i=0}{\overset{k-1}{\mathrm{\Σ}}}S(I(x_{r_1,i},y_{r_1,i})-I(x_{r_2,i},y_{r_2,i}))\·2^i$

其中，k是圆周上采样点的个数，r₁、r₂分别是外圆和内圆半径，(x_r，i，y_r，i)表示半径为r的圆周上第i个采样点坐标，采样点均匀分布在圆周上，采样点的坐标按下式计算：

$\left\{\begin{array}{c}{x}_{r,i}=x+r\·\cos (i\·\mathrm{\α})\\ y_{r,i}=y+r\·\sin (i\·\mathrm{\α})\end{array}\right.\mathrm{\α}=2\mathrm{\π}/k;i=\mathrm{0,1},...,k-1;$

I(x，y)表示点(x，y)处图像的灰度值，如果x、y不是整数则采用插值的方法计算I(x，y)；S(x)是符号函数；参数r₁、r₂、k的取值分别是r₁＝2、r₂＝1、k＝8；

(d2)在16×16像素的图像块内，按照步骤(d1)计算每个像素点的基于视觉注意的局部特征(LFVA)，把图像块进一步分为4个8×8像素的子块，在每一个子块内计算有b个区间的直方图，按照从左到右、从上到下的顺序连接子块的直方图，构成基于视觉注意的局部特征直方图(HoL)，参数b的取值是b＝256。

附图说明

图1为本发明一种基于视觉注意原理的行人检测方法和系统的总体流程图；

图2为本发明训练行人模型的流程图；

图3为本发明训练检测分类器的流程图；

图4为本发明检测行人的流程图；

图5为本发明计算基于视觉注意原理局部特征直方图的流程图。

具体实施方式

下面结合附图详细说明本发明的实施方式，这些描述都是实例性的，仅用于解释本发明，不能解释为对本发明的限制。

参考图1，该图给出了本发明一种基于视觉注意原理的行人检测方法和系统的总体流程。如图所示本发明一种基于视觉注意原理的行人检测方法和系统包括以下步骤：训练行人模型(步骤101)、训练AdaBoost检测分类器(步骤102)、行人检测(步骤103)。基于特征块的行人模型(20)是步骤101的产物。AdaBoost检测分类器(30)是步骤102的产物，步骤102训练AdaBoost检测分类器需要用到基于特征块的行人表示模型(20)。步骤103行人检测需要用到基于特征块的行人模型(20)和AdaBoost检测分类器(30)。

图2描述了训练行人模型的详细步骤，包括：

(步骤201)读取训练图像，规格化为64×128像素大小。用于训练行人模型的图像为灰度图像，包含完整的行人，行人所占的面积要尽可能的大；

(步骤201)规格化后的训练图像中，随机、均匀的取32个16×16像素的图像块，记录这些图像块的左上角坐标，并计算图像块的基于视觉注意原理的局部特征直方图(Histograms of Local Feature based on Vision Attention，HoL)；

(步骤203)对图像块的基于视觉注意原理的局部特征直方图(HoL)用K-means算法聚类，在聚类结果中进一步按照图像块的左上角坐标用K-means算法聚类，最终的聚类数量n在800～1200之间；

(步骤204)在图像块聚类结果中，对第i类图像块计算基于视觉注意原理的局部特征直方图(HoL)均值向量V_i和左上角坐标均值向量P_i，用二元组(V_i，P_i)表示行人的一个显著特征，称为特征块。用特征块的集合M＝{(V_i，P_i)}表示行人模型，其中i＝1...n，n是步骤203中的聚类数量。

图3描述了训练AdaBoost检测分类器的详细步骤，包括：

(步骤301)获取并规格化训练图像。在训练图像集中，把包含完整行人的训练图像规格化为64×128像素大小，称为正样本，要求正样本中的行人要尽可能的大。在不包含行人的训练图像中，按照16像素为步长，顺序取64×128像素大小的图像块做为负样本；

(步骤302)根据行人模型计算训练向量。对步骤301得到的每一个训练样本S_j(j＝1...m，其中m为训练样本数量)，根据基于特征块的行人模型(20)M＝{(V_i，P_i)}，对所有的i＝1...n(其中n是步骤203中的聚类数量)，计算以P_i为中心、大小为32×32像素范围内所有大小为16×16像素图像块的基于视觉注意原理的局部特征直方图(HoL)，计算它们到V_i的最小欧氏距离，记为d_ij；

(步骤303)训练AdaBoost检测分类器。用步骤302得到的向量集{d_j＝(d_1j，d_2j，...，d_nj)|j＝1...m}以及与之对应的正负样本标记训练AdaBoost检测分类器。

图4描述了行人检测的详细步骤，包括：

(步骤401)在测试图像中，在水平和垂直方向上以8个像素为步长，取一系列64×128像素大小的图像块，做为检测窗口；

(步骤402)计算测试向量。对步骤401中得到的每一个检测窗口，根据步骤101得到的行人模型(20)M＝{(V_i，P_i)}，对所有的i＝1...n(其中n是步骤203中的聚类数量)，计算以P_i为中心、大小为32×32像素范围内所有大小为16×16像素图像块的基于视觉注意原理的局部特征直方图(HoL)，计算它们到V_i的最小欧氏距离，记为t_i，把(t₁，t₂，...，t_n)称为测试向量；

(步骤403)把测试向量输入到AdaBoost检测分类器中，把输出为正的测试样本标记为行人出现的检测窗口；

(步骤404)把测试图像的高和宽缩小2％，做为新的测试图像，

(步骤405)如果新的测试图像的高大于128像素并且宽大于64像素则转到步骤401，否则执行步骤406；

(步骤406)合并重叠面积超过80％的有行人出现的检测窗口。

图5是计算基于视觉注意的局部特征直方图(HoL)的详细步骤，包括：

(步骤501)对每一个像素点按照下式计算基于视觉注意的局部特征(Local Feature based on Vision Attention，LFVA)：

${\mathrm{LFVA}}_{r_1,r_2,n}(x,y)=\underset{i=0}{\overset{k-1}{\mathrm{\Σ}}}S(I(x_{r_1,i},y_{r_1,i})-I(x_{r_2,i},y_{r_2,i}))\·2^i$

其中，k是圆周上采样点的个数，r₁、r₂分别是外圆和内圆半径，(x_r，i，y_r，i)表示半径为r的圆周上第i个采样点坐标，采样点均匀分布在圆周上，采样点的坐标按下式计算：

$\left\{\begin{array}{c}{x}_{r,i}=x+r\·\cos (i\·\mathrm{\α})\\ y_{r,i}=y+r\·\sin (i\·\mathrm{\α})\end{array}\right.\mathrm{\α}=2\mathrm{\π}/k;i=\mathrm{0,1},...,k-1;$

I(x，y)表示点(x，y)处图像的灰度值，如果x、y不是整数则采用插值的方法计算I(x，y)；S(x)是符号函数；参数r₁、r₂、k的取值分别是r₁＝2、r₂＝1、k＝8；

(步骤502)在16×16像素的图像块内，按照步骤501计算每个像素点的基于视觉注意的局部特征(LFVA)，把图像块进一步分为4个8×8像素的子块，在每一个子块内计算有b个区间的直方图，按照从左到右、从上到下的顺序连接子块的直方图，构成基于视觉注意的局部特征直方图(HoL)，参数b的取值是b＝256。

Claims (6)

1.一种基于视觉注意原理的行人检测方法和系统，其特征是，包括以下步骤：

(a)利用训练图像训练基于特征块的行人模型；

(b)利用训练图像和步骤(a)得到的基于特征块的行人模型训练AdaBoost检测分类器；

(c)利用步骤(b)得到的检测分类器，在不同尺度下，用滑动窗口方法检测图像中的行人。

2.如权利要求1所述的一种基于视觉注意原理的行人检测方法和系统，其特征在于，步骤(a)包括：

(a1)训练图像为灰度图像，包含完整的行人，规格化为64×128像素大小；

(a2)在按照步骤(a1)规格化后的每幅训练图像中，随机、均匀的取32个16×16像素的图像块，记录这些图像块的左上角坐标，并计算图像块的基于视觉注意原理的局部特征直方图(Histograms of Local Feature based on Vision Attention，HoL)；

(a3)对按照步骤(a2)得到的图像块的HoL用K-means算法聚类，在聚类结果中进一步按照图像块的左上角坐标用K-means算法聚类，最终的聚类数量n在800～1200之间；

(a4)对按照步骤(a3)得到的图像块聚类结果中，对第i类图像块计算基于视觉注意原理的局部特征直方图(HoL)均值向量V_i和左上角坐标均值向量P_i，用集合M＝{(V_i，P_i)}表示行人模型，其中i＝1...n，n是步骤(a3)中的聚类数量。

3.如权利要求1所述的一种基于视觉注意原理的行人检测方法和系统，其特征在于，步骤(b)包括：

(b1)把包含完整行人的训练图像规格化为64×128像素大小，称为正样本，在不包含行人的训练图像中，按照16像素为步长，顺序取64×128像素大小的图像块做为负样本，训练图像为灰度图像；

(b2)对步骤(b1)得到的每一个训练样本S_j(j＝1...m，m为训练样本数量)，根据步骤(a4)得到的行人模型M＝{(V_i，P_i)}，对所有的i＝1...n(n是步骤(a3)中的聚类数量)，计算以P_i为中心的，大小为32×32像素范围内所有大小为16×16像素图像块的基于视觉注意原理的局部特征直方图(HoL)，计算它们到V_i的最小欧氏距离，记为d_ij；

(b3)用步骤(b2)得到的向量集{d_j＝(d_1j，d_2j，...，d_nj)|j＝1...m}训练AdaBoost检测分类器。

4.如权利要求1所述的一种基于视觉注意原理的行人检测方法和系统，其特征在于，步骤(c)中窗口滑动水平方向和竖直方向的步长均为8像素，每次改变尺度时测试图像的长和宽缩小2％，检测窗口的大小为64×128像素。

5.如权利要求1～4所述的一种基于视觉注意原理的行人检测方法和系统，其特征在于，计算图像块的基于视觉注意原理的局部特征直方图(HoL)的方法是：

(d1)对每一个像素点按照下式计算基于视觉注意的局部特征(Local Feature based on Vision Attention，LFVA)：

${\mathrm{LFVA}}_{r_1,r_2,n}(x,y)=\underset{i=0}{\overset{k-1}{\mathrm{\Σ}}}S(I(x_{r_1,i},y_{r_1,i})-I(x_{r_2,i},y_{r_2,i}))\·2^i$

其中，k是圆周上采样点的个数，r₁、r₂分别是外圆和内圆半径，(x_r，i，y_r，i)表示半径为r的圆周上第i个采样点坐标，采样点均匀分布在圆周上，采样点的坐标按下式计算：

$\left\{\begin{array}{c}{x}_{r,i}=x+r\·\cos (i\·\mathrm{\α})\\ y_{r,i}=y+r\·\sin (i\·\mathrm{\α})\end{array}\right.\mathrm{\α}=2\mathrm{\π}/k;i=\mathrm{0,1},...,k-1;$

I(x，y)表示点(x，y)处图像的灰度值，如果x、y不是整数则采用插值的方法计算I(x，y)；S(x)是符号函数；

(d2)在16×16像素的图像块内，按照步骤(d1)计算每个像素点的基于视觉注意的局部特征(LFVA)，把图像块进一步分为4个8×8像素的子块，在每一个子块内计算有b个区间的直方图，按照从左到右、从上到下的顺序连接子块的直方图，构成图像块的基于视觉注意原理的局部特征直方图(HoL)。

6.如权利要求5所述的一种基于视觉注意原理的行人检测方法和系统，其特征在于，参数r₁、r₂、k、b的取值分别是r₁＝2、r₂＝1、k＝8、b＝256。

Images