CN104008380A - 一种基于显著区域的行人检测方法及系统 - Google Patents

Abstract

一种基于显著区域的行人检测方法及系统，搜集包含行人的正样本及不包含行人的负样本的数据集，将归一化正样本和负样本为预设尺寸，然后分别从各正样本和负样本中提取协方差矩阵特征作为训练数据，构成级联分类器；对于输入图像提取有效区域，进行先验概率的分析，对各有效区域提取协方差矩阵特征，将所得结果输入分类器进行行人检测，得到有效区域是否为包含行人的局部区域，根据贝叶斯分布由统计学推导出最优结果。

Description

一种基于显著区域的行人检测方法及系统

技术领域

本发明涉及目标检测领域，特别是一种基于显著区域的行人检测方法及系统。

背景技术

行人检测，是一种在多图像训练集的帮助下检测出含有行人的图像并把行人的所在位置标注出来的技术。行人检测常应用于智能交通、人机交互、监控视频、辅助驾驶、老年人及残疾人的看护等领域，因此成为目前计算机视觉的一个热点；但是，行人的大小和姿态是变化的，这主要受到行人间的本身尺度差异和摄像头拍摄角度差异的影响，同样行人检测也就成为一个难点。目前大部分的检测算法都是基于Navneet Dalal and Bill Triggs的在文献(“Histograms of oriented gradients for human detection,”in Computer Vision and PatternRecognition,2005.CVPR2005.IEEE Computer Society Conference on.IEEE,2005,vol.1,pp.886–893.)中提出的梯度直方图的人体检测方法，Dalal在提取梯度方向直方图(Histograms ofOriented Gradients，HOG)特征的基础上并采用滑动窗口多次扫描方法以及支持向量机(Support VectorMachine,SVM)分类器来做检测，最后获得了较好的人体检测效果。PiotrDollar等人在文献(Piotr Doll′ar,Serge Belongie,and Pietro Perona,“The fastest pedestriandetector in the west.,”in BMVC,2010,vol.2,p.7.)提到多尺度的缩放来检测行人，也就是把滑动窗口的缩放和原图的缩放相结合。

正是这种尺度缩放带来的计算量过大，所有的窗口在高分辨率图像下的扫描次数可以到达上百万，但是窗口缩放是有一定限度的，而行人在图像中的位置和尺度是未知的，同时引起了很高的漏检。也有相关研究致力于解决这个问题，如Lampert et al.’s等人在文献(Christoph H Lampert,Matthew B Blaschko,and Thomas Hofmann,“Efficient subwindow search:A branch and bound framework for object localization,”Pattern Analysis and Machine Intelligence,IEEE Transactions on,vol.31,no.12,pp.2129–2142,2009.)中针对检测中的计算复杂提出的界定算法，Felzenszwalb et al.等人在文献(Pedro F Felzenszwalb,Ross B Girshick,and DavidMcAllester,“Cascade object detection with deformable part models,”in Computer vision andpattern recognition(CVPR),2010IEEE conference on.IEEE,2010,pp.2241–2248.)中提出的多尺度特征检测算法。据文献(Piotr Dollar,Christian Wojek,Bernt Schiele,and Pietro Perona,“Pedestrian detection:An evaluation of the state of the art,”Pattern Analysis and MachineIntelligence,IEEE Transactions on,vol.34,no.4,pp.743–761,2012.)调研显示，这些检测算法的计算复杂度仍很高。主要是因为这些算法是基于整张图像的检测算法，而忽略了图像的有效区域(含有行人概率比较大的区域)。

由上述分析可以很容易发现，目前各种改进的行人检测方法尽管取得了不错的检测效果，但是在减小计算量、提高检测效率和减小误检率等方面仍然需要改进。

发明内容

本发明的目的是提出一种基于显著区域的行人检测方法及系统，解决现有的同类算法计算复杂度高，检测率低的问题，通过利用贝叶斯准则计算后验概率获得最优的结果。

为了达到以上目的，本发明采用的技术方案包括一种基于显著区域的行人检测方法，包含以下步骤，

步骤1，输入包含行人的正样本及不包含行人的负样本的数据集，归一化正样本和负样本为预设尺寸，然后分别从各正样本和负样本中提取协方差矩阵特征作为训练数据，构造若干弱分类器，再根据级联AdaBoost算法将若干弱分类器组成强分类器，多个强分类器构成级联分类器；

步骤2，对于输入图像I^*提取有效区域，进行先验概率的分析，包括以下子步骤，

步骤2.1，提取输入图像I^*的任意像素的显著度；

步骤2.2，以输入图像的每个像素为中心分别建立预设尺寸的局部区域R，获取每个局部区域R的显著概率值；

步骤2.3，根据步骤2.2所得每个局部区域R的显著概率值判断出有效区域；

步骤2.4，设p(E_R)表示的是以输入图像的任一像素为中心建立的局部区域R是有效区域的概率，有效区域中包含行人的概率p(P_ER|E_R)根据步骤2.3所得有效区域E_R通过步骤1训练所得级联分类器得到，其中P_ER是从有效区域中检测到行人的结果，

贝叶斯准则的先验部分p(E_R,P_ER)表示为，

p(E_R,P_ER)＝p(P_ER|E_R)p(E_R)

步骤3，对各有效区域提取协方差矩阵特征；

步骤4，将步骤3中所得结果输入步骤1训练所得级联分类器进行行人检测，得到有效区域E_R是否为包含行人P_ER的局部区域R，从概率学角度分析表示为p(R|E_R,P_ER)，作为贝叶斯的似然函数；

步骤5，利用步骤4所得p(R|E_R,P_ER)和步骤2.4中得到的p(P_ER|E_R)和p(E_R)结合成贝叶斯分布，由统计学推导出最后结果，实现如下，

通过结合成贝叶斯分布，得出后验部分如下，

p(E_R,P_ER|R)∝p(R|E_R,P_ER)p(P_ER|E_R)p(E_R)

从联合概率分布(E_R,P_ER)的角度把上式补全，检测结果如下，

$p(E_R,P_{\mathrm{ER}}|R)=\frac{p(E_R,P_{\mathrm{ER}},R)}{{\mathrm{\Σ}}_{R}p\left(R\right|E_R,P_{\mathrm{ER}})p(E_R,P_{\mathrm{ER}})}$

其中，p(E_R,P_ER|R)表示的是局部区域R是否包含行人的概率值，p(R|E_R,P_ER)是局部区域R是有效区域并且该有效区域包含行人的条件概率，p(E_R,P_ER,R)表示的是局部区域R是有效区域并且包含行人的联合概率；分母是一个定值，分子表示如下，

p(E_R,P_ER,R)＝p(R|E_R,P_ER)p(E_R,P_ER)

将步骤2.4和步骤4所得结果代入，最后得出行人检测结果如下，

$p(E_R,P_{\mathrm{ER}}|R)=\frac{p\left(R\right|E_R,P_{\mathrm{ER}})p\left(P_{\mathrm{ER}}\right|E_R)p\left(E_R\right)}{{\mathrm{\Σ}}_{R}p\left(R\right|E_R,p_{\mathrm{ER}})p(E_R,P_{\mathrm{ER}})}$

当p(E_R,P_ER|R)的值大于等于0.5，表示局部区域R处包含行人；当p(E_R,P_ER|R)的值小于0.5，表示局部区域R处不含有行人。

而且，步骤1从各正样本和负样本中提取协方差矩阵特征和步骤3对各有效区域提取协方差矩阵特征时，将提取对象视为局部区域R，所采用的提取方式如下，

设局部区域R相应亮度图为I，在这个亮度图I内的协方差特征被表示为，

$\mathrm{\Φ}(I,x,y)={\left[\mathrm{x\; y}\right|I_x\left|\right|I_y\left|\arctan \frac{\left|I_x\right|}{\left|I_y\right|}\sqrt{I_x^2+I_y^2}\right|I_{\mathrm{xx}}\left|\right|I_{\mathrm{yy}}\left|\right]}^T$

其中，Φ(I,x,y)表示的是局部区域R中(x,y)像素的协方差特征向量，I_x表示的是x方向偏导亮度信息，I_xx表示的是x方向二次偏导亮度信息，I_y表示的是y方向偏导亮度信息，I_yy表示的是y方向二次偏导亮度信息；

设局部区域n是r_i的总个数，r_i是R中的任意一个元素的一个d维的特征向量，即r_i∈R^d，此处i的取值为1,2,…,n，局部区域R的协方差描述子表示为，

$C_R=\frac{1}{n-1}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(r_i-\stackrel{\‾}{r}){(r_i-\stackrel{\‾}{r})}^T$

其中，C_R∈R^d×d，是特征向量的均值，

进行描述子的归一化，得到最终的协方差矩阵描述子如下，

$C_r^{/}(x,y)=\frac{C_r(x,y)}{\sqrt{C_R(x,x)C_R(y,y)}}$

其中，C_r是在局部区域R中用来检测行人的子窗口，C_R(x,x)是归一化前的偏x方向的协方差，C_R(y,y)是归一化前的偏_y方向的协方差，C_r(x,y)是归一化前(x,y)位置处的协方差描述子。

而且，步骤2.1，提取输入图像I^*的任意像素的显著度如下，

首先，像素的显著度通过下式获得，

$Y\left(I_k^{*}\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}d(I_k^{*},I_i^{*})$

其中，是输入图像I^*的一个像素，此处i的取值为1,2,…,N，k的取值为1,2,…,N，是像素和在色彩LUV空间的距离，N是输入图像I^*的像素个数；

然后，将像素的显著度重新定义为如下，

$S\left(I_k^{*}\right)=\frac{1}{9}{\mathrm{\Σ}}_D\left(I_k^{*}\right)$

其中，D为像素和相邻的8个像素组成的集合空间。

而且，步骤2.2的实现如下，

设R_k代表的是以像素为中心的局部区域R，代表该局部区域的显著度，设局部区域R_k中的显著度符合高斯分布，相应显著概率值如下，

$G\left(s_{R_k}\right)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}\exp (-\frac{(s_{R_k}-\stackrel{\‾}{s})}{{2\mathrm{\σ}}^2})$

其中，σ²分别代表高斯分布的均值和方差，σ代表的是高斯分布的标准差。

而且，步骤2.3的实现方式为，

通过显著概率值是否大于预设阈值，判断相应局部区域R_k是否为有效区域。

本发明还提供一种基于显著区域的行人检测系统，包含以下模块，

训练模块，用于搜集包含行人的正样本及不包含行人的负样本的数据集，将归一化正样本和负样本为预设尺寸，然后分别从各正样本和负样本中提取协方差矩阵特征作为训练数据，构造若干弱分类器，再根据级联AdaBoost算法将若干弱分类器组成强分类器，多个强分类器构成级联分类器；

先验概率分析模块，用于输入图像I^*提取有效区域，进行先验概率的分析，包括以下子模块，

显著度子模块，用于提取输入图像I^*的任意像素的显著度；

显著概率值子模块，用于以输入图像的每个像素为中心分别建立预设尺寸的局部区域R，获取每个局部区域R的显著概率值；

有效区域子模块，用于根据显著概率值子模块所得每个局部区域R的显著概率值判断出有效区域；

分析子模块，用于执行分析，包括设p(E_R)表示的是以输入图像的任一像素为中心建立的局部区域R是有效区域的概率，有效区域中包含行人的概率p(P_ER|E_R)根据有效区域子模块所得有效区域E_R通过训练模块所得级联分类器得到，其中P_ER是从有效区域中检测到行人的结果，

贝叶斯准则的先验部分p(E_R,P_ER)表示为，

p(E_R,P_ER)＝p(P_ER|E_R)p(E_R)

特征提取模块，对各有效区域提取协方差矩阵特征；

似然函数模块，用于将特征提取模块所得结果输入训练模块所得级联分类器进行行人检测，得到有效区域E_R是否为包含行人P_ER的局部区域R，从概率学角度分析表示为p(R|E_R,P_ER)，作为贝叶斯的似然函数；

结果模块，用于利用似然函数模块所得p(R|E_R,P_ER)和分析子模块中得到的p(P_ER|E_R)和p(E_R)结合成贝叶斯分布，由统计学推导出最后结果，实现如下，

通过结合成贝叶斯分布，得出后验部分如下，

p(E_R,P_ER|R)∝p(R|E_R,P_ER)p(P_ER|E_R)p(E_R)

从联合概率分布(E_R,P_ER)的角度把上式补全，检测结果如下，

$p(E_R,P_{\mathrm{ER}}|R)=\frac{p(E_R,P_{\mathrm{ER}},R)}{{\mathrm{\Σ}}_{R}p\left(R\right|E_R,P_{\mathrm{ER}})p(E_R,P_{\mathrm{ER}})}$

其中，p(E_R,P_ER|R)表示的是局部区域R是否包含行人的概率值，p(R|E_R,P_ER)是局部区域R是有效区域并且该有效区域包含行人的条件概率，p(E_R,P_ER,R)表示的是局部区域R是有效区域并且包含行人的联合概率；分母是一个定值，分子表示如下，

p(E_R,P_ER,R)＝p(R|E_R,P_ER)p(E_R,P_ER)

将分析子模块和似然函数模块所得结果代入，最后得出行人检测结果如下，

$p(E_R,P_{\mathrm{ER}}|R)=\frac{p\left(R\right|E_R,P_{\mathrm{ER}})p\left(P_{\mathrm{ER}}\right|E_R)p\left(E_R\right)}{{\mathrm{\Σ}}_{R}p\left(R\right|E_R,p_{\mathrm{ER}})p(E_R,P_{\mathrm{ER}})}$

当p(E_R,P_ER|R)的值大于等于0.5，表示局部区域R处包含行人；当p(E_R,P_ER|R)的值小于0.5，表示局部区域R处不含有行人。

本发明的技术方案利用了包含前景目标的局部区域，并在有效的局部区域上做检测，大大提高了检测率，降低了误检率；在有效区域中检测行人的过程中提取的特征是协方差矩阵而不是基于整张图中的滑动窗口来检测高维的梯度方向直方图特征，从而大大减小了计算复杂度；又将显著区域的提取和基于显著区域的检测用贝叶斯准则结合在一起，将贝叶斯理论应用到行人检测领域中，能够得到最优结果。

附图说明

图1为本发明实施例的基于显著区域的行人检测方法的流程图；

图2为现有技术中AdaBoost分类器的训练过程图。

具体实施方式

本发明技术方案可采用软件技术实现自动流程运行。下面结合附图和实施例对本发明技术方案进一步详细说明。本发明实施例具体步骤如下：

步骤1，输入包含行人的正样本及不包含行人的负样本的数据集，分别从正样本和负样本中提取特征作为训练数据，构造若干弱分类器；再根据级联AdaBoost算法将若干弱分类器组成强分类器，多个强分类器构成级联分类器。

实施例的具体训练过程参见图2，包括以下子步骤：

步骤1.1，输入样本：可以预先搜集包含行人和不包含行人的图像，分别作为正样本和负样本；建议选择单人室外照片作为正样本，选取不包含行人的室外照片为负样本。可先归一化正样本和负样本为预设尺寸，例如实施例归一化为128×64的矩形图像。

步骤1.2，对每个正样本或负样本分别进行特征的提取：

步骤1.2.1，设待提取的正样本或负样本相应亮度图为I。在这个亮度图I内的协方差特征被表示为：

$\mathrm{\Φ}(I,x,y)={\left[\mathrm{x\; y}\right|I_x\left|\right|I_y\left|\arctan \frac{\left|I_x\right|}{\left|I_y\right|}\sqrt{I_x^2+I_y^2}\right|I_{\mathrm{xx}}\left|\right|I_{\mathrm{yy}}\left|\right]}^T$

其中，Φ(I,x,y)表示的是待提取的正样本或负样本中(x,y)像素的协方差特征向量，I_x表示的是x方向偏导亮度信息，I_xx表示的是x方向二次偏导亮度信息，I_y表示的是y方向偏导亮度信息，I_yy表示的是y方向二次偏导亮度信息；

步骤1.2.2，协方差描述子的表示：设某局部区域R(实施例统一为128×64的矩形区域)中，n是r_i的总个数，r_i是R中的任意一个元素的一个d维的特征向量，即r_i∈R^d，此处i的取值为1,2,…,n，局部区域R的协方差描述子表示为：

$C_R=\frac{1}{n-1}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(r_i-\stackrel{\‾}{r}){(r_i-\stackrel{\‾}{r})}^T$

其中C_R∈R^d×d，是特征向量的均值，

步骤1.2.3，描述子的归一化，得到最终的协方差矩阵描述子

$C_r^{/}(x,y)=\frac{C_r(x,y)}{\sqrt{C_R(x,x)C_R(y,y)}}$

其中C_r是在局部区域R中用来检测行人的子窗口(实施例为32×64)，C_R(x,x)是归一化前的偏x方向的协方差，C_R(y,y)是归一化前的偏y方向的协方差，C_r(x,y)是归一化前(x,y)位置处的协方差描述子。

由于已经预先将正样本和负样本归一化为预设尺寸，步骤1.2.2、步骤1.2.3之中的局部区域R可以直接采用归一化后的正样本或负样本，特征向量r_i为其中任一像素的协方差特征向量Φ(I,x,y)。

步骤1.3，分类器的构建：参见图2，根据现有的级联AdaBoost技术对正负样本特征库的训练数据进行学习和训练，并将这些训练数据构造弱分类器，再将若干弱分类器组成强分类器，多个强分类器构成级联分类器。

从步骤2开始测试过程，参见图1：

步骤2，输入测试集中的任一张图像并记为I^*，对于输入图像I^*的每种色彩的统计信息可以算出I^*中每个像素上显著度，即对待检测图片得到显著图。以输入图像I^*的每个像素为中心分别建立预设尺寸的局部区域，局部区域与正样本和负样本归一化后尺寸一致，同样可取128×64的矩形局部区域，超出输入图像I^*的部分假设像素值为0。假设局部区域中的显著度符合高斯分布，计算出高斯分布的均值和方差，这样就可以把显著信息转换成概率值。根据概率值可提取原输入图像I^*的有效区域。

实施例的步骤2包括以下子步骤：

步骤2.1，显著度的提取：设输入图像I^*的任意一像素为k的取值为1,2,…,N，像素的显著度一般通过下式获得，

$Y\left(I_k^{*}\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}d(I_k^{*},I_i^{*})$

其中是输入图像I^*的一个像素，此处i的取值为1,2,…,N，是像素和在色彩LUV空间的距离，N是输入图像I^*的像素个数。实施例将每个像素的显著度重新定义为该像素与周围最近的8个像素的显著度一起求和取平均值的方法，像素新的显著度记为

$S\left(I_k^{*}\right)=\frac{1}{9}{\mathrm{\Σ}}_D\left(I_k^{*}\right)$

其中，D为像素和相邻的8个像素组成的集合空间。

步骤2.2，显著度的概率转换：以输入图像I^*的每个像素为中心建立预设尺寸的局部区域，获取每个局部区域的显著概率值。

设R_k代表的是以像素为中心的局部区域R，代表的是该局部区域的显著度(取像素的显著度设局部区域中的显著度符合高斯分布，可以计算出高斯分布的均值和方差。显著概率值如下，

$G\left(s_{R_k}\right)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}\exp (-\frac{(s_{R_k}-\stackrel{\‾}{s})}{{2\mathrm{\σ}}^2})$

其中，代表的是局部区域内显著度的概率分布，σ²分别代表高斯分布的均值和方差，σ代表的是高斯分布的标准差，实施例中R_k代表的是像素处的128×64的局部矩形区域，代表的是该矩形区域的显著度。

步骤2.3，E(R_k)是输入图像I^*中显著度较高的有效区域：具体实施时，可通过是否大于预设阈值，判断相应R_k是否为有效区域。本领域技术人员可以自行预先设定阈值。为简便起见，有效区域E(R_k)后文中用E^R表示。

步骤2.4，先验概率的分析：p(E_R)表示的是以输入图像的任一像素为中心建立的局部区域R是有效区域的概率，有效区域中包含行人的概率p(P_ER|E_R)可根据E_R通过训练好的级联分类器得到，其中，P_ER代表的是从有效区域中检测到行人的结果。

因此贝叶斯准则的先验部分p(E_R,P_ER)可以表示为，

p(E_R,P_ER)＝p(P_ER|E_R)p(E_R)

步骤3，对有效图的局部块(即各有效区域)提取协方差矩阵特征。

步骤3.1，在有效区域中提取协方差特征：设步骤2.3所得某个有效区域的相应亮度图为I，该有效区域内的协方差特征被表示为，

$\mathrm{\Φ}(I,x,y)={\left[\mathrm{x\; y}\right|I_x\left|\right|I_y\left|\arctan \frac{\left|I_x\right|}{\left|I_y\right|}\sqrt{I_x^2+I_y^2}\right|I_{\mathrm{xx}}\left|\right|I_{\mathrm{yy}}\left|\right]}^T$

其中Φ(I,x,y)表示的是上述有效区域中像素(x,y)对应的协方差特征向量，I_x表示的是x方向偏导亮度信息，I_xx表示的是x方向二次偏导亮度信息，I_y表示的是y方向偏导亮度信息，I_yy表示的是y方向二次偏导亮度信息；

步骤3.2，协方差描述子的表示：设某局部区域R(实施例统一为128×64的矩形区域)中，n是r_i的总个数，r_i是R中的任意一个元素的一个d维的特征向量，即r_i∈R^d，此处i的取值为1,2,…,n，局部区域R的协方差描述子表示为：

$C_R=\frac{1}{n-1}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(r_i-\stackrel{\‾}{r}){(r_i-\stackrel{\‾}{r})}^T$

其中C_R∈R^d×d，是特征向量的均值，

步骤3.3，描述子的归一化，得到最终的协方差矩阵描述子

$C_r^{/}(x,y)=\frac{C_r(x,y)}{\sqrt{C_R(x,x)C_R(y,y)}}$

其中C_r是在局部区域R中用来检测行人的子窗口(实施例为32×64)，C_R(x,x)是归一化前的偏x方向的协方差，C_R(y,y)是归一化前的偏y方向的协方差，C_r(x,y)是归一化前(x,y)位置处的协方差描述子。

步骤3具体实现与步骤1.2一致，不过局部区域R为步骤2.3所得各有效区域。

步骤4，将步骤3中得到的各有效区域的协方差矩阵描述子(即步骤3.3所得)分别输入步骤1中训练得到的级联分类器进行行人检测。可以得到有效区域E_R是否为包含行人P_ER的局部区域R，从概率学角度分析可以表示为p(R|E_R,P_ER)，同样可以作为贝叶斯的似然函数。

步骤5，利用步骤4所得p(R|E_R,P_ER)和步骤2.4中得到的p(P_ER|E_R)和p(E_R)结合成贝叶斯分布，由统计学推导出最后结果。

实施例利用步骤4和步骤2.4中得到的有效信息结合成贝叶斯分布，得出后验部分：

p(E_R,P_ER|R)∝p(R|E_R,P_ER)p(P_ER|E_R)p(E_R)

更准确地说，可以从联合概率分布(E_R,P_ER)的角度把上式补全，检测结果重新写为：

$p(E_R,P_{\mathrm{ER}}|R)=\frac{p(E_R,P_{\mathrm{ER}},R)}{{\mathrm{\Σ}}_{R}p\left(R\right|E_R,P_{\mathrm{ER}})p(E_R,P_{\mathrm{ER}})}$

其中p(E_R,P_ER|R)表示的是局部区域R是否包含行人的概率值，P_ER是从有效区域中检测到行人的结果，p(R|E_R,P_ER)是局部区域R是有效区域并且该有效区域包含行人的条件概率，p(E_R,P_ER,R)表示的是局部区域R是有效区域并且包含行人的联合概率。分母是一个定值，分子可以表示为：

p(E_R,P_ER,R)＝p(R|E_R,P_ER)p(E_R,P_ER)

将步骤2.4和步骤4结果代入，最后得出具体的行人检测结果：

$p(E_R,P_{\mathrm{ER}}|R)=\frac{p\left(R\right|E_R,P_{\mathrm{ER}})p\left(P_{\mathrm{ER}}\right|E_R)p\left(E_R\right)}{{\mathrm{\Σ}}_{R}p\left(R\right|E_R,p_{\mathrm{ER}})p(E_R,P_{\mathrm{ER}})}$

当p(E_R,P_ER|R)的值大于等于0.5，表示局部区域R处包含行人；当p(E_R,P_ER|R)的值小于0.5，表示局部区域R处不含有行人。由此可得，以输入图像I^*的每个像素为中心建立的各局部区域分别的行人包含情况。

发明人在Pentium(R)、Dual一Core3.20GHz CPU、2G内存的计算机上运行，使用本实施例方法，使用公开的数据集INRIA和文献(“Histograms of oriented gradients for humandetection,”in Computer Vision and Pattern Recognition,2005.CVPR2005.IEEE ComputerSociety Conference on.IEEE,2005,vol.1,pp.886–893.)(Piotr Doll′ar,Serge Belongie,and PietroPerona,“The fastest pedestrian detector in the west.,”in BMVC,2010,vol.2,p.7.)(Oncel Tuzel,Fatih Porikli,and Peter Meer,“Pedestrian detection via classification on riemannian manifolds,”Pattern Analysis and Machine Intelligence,IEEE Transactions on,vol.30,no.10,pp.1713–1727,2008.)做了比较，误检率有了很大的降低,因此可以应用于智能交通、视频监控、图像压缩、多媒体检索等领域。

具体实施时，还可采用软件模块化方式实现一种基于显著区域的行人检测系统，包含以下模块，

训练模块，用于搜集包含行人的正样本及不包含行人的负样本的数据集，将归一化正样本和负样本为预设尺寸，然后分别从各正样本和负样本中提取协方差矩阵特征作为训练数据，构造若干弱分类器，再根据级联AdaBoost算法将若干弱分类器组成强分类器，多个强分类器构成级联分类器；

先验概率分析模块，用于输入图像I^*提取有效区域，进行先验概率的分析，包括以下子模块，

显著度子模块，用于提取输入图像I^*的任意像素的显著度；

显著概率值子模块，用于以输入图像的每个像素为中心分别建立预设尺寸的局部区域R，获取每个局部区域R的显著概率值；

有效区域子模块，用于根据显著概率值子模块所得每个局部区域R的显著概率值判断出有效区域；

分析子模块，用于执行分析，包括设p(E_R)表示的是以输入图像的任一像素为中心建立的局部区域R是有效区域的概率，有效区域中包含行人的概率p(P_ER|E_R)根据有效区域子模块所得有效区域E_R通过训练模块所得级联分类器得到，其中P_ER是从有效区域中检测到行人的结果，

贝叶斯准则的先验部分p(E_R,P_ER)表示为，

p(E_R,P_ER)＝p(P_ER|E_R)p(E_R)

特征提取模块，对各有效区域提取协方差矩阵特征；

似然函数模块，用于将特征提取模块所得结果输入训练模块所得级联分类器进行行人检测，得到有效区域E_R是否为包含行人P_ER的局部区域R，从概率学角度分析表示为p(R|E_R,P_ER)，作为贝叶斯的似然函数；

结果模块，用于利用似然函数模块所得p(R|E_R,P_ER)和分析子模块中得到的p(P_ER|E_R)和p(E_R)结合成贝叶斯分布，由统计学推导出最后结果，实现如下，

通过结合成贝叶斯分布，得出后验部分如下，

p(E_R,P_ER|R)∝p(R|E_R,P_ER)p(P_ER|E_R)p(E_R)

从联合概率分布(E_R,P_ER)的角度把上式补全，检测结果如下，

$p(E_R,P_{\mathrm{ER}}|R)=\frac{p(E_R,P_{\mathrm{ER}},R)}{{\mathrm{\Σ}}_{R}p\left(R\right|E_R,P_{\mathrm{ER}})p(E_R,P_{\mathrm{ER}})}$

其中，p(E_R,P_ER|R)表示的是局部区域R是否包含行人的概率值，p(R|E_R,P_ER)是局部区域R是有效区域并且该有效区域包含行人的条件概率，p(E_R,P_ER,R)表示的是局部区域R是有效区域并且包含行人的联合概率；分母是一个定值，分子表示如下，

p(E_R,P_ER,R)＝p(R|E_R,P_ER)p(E_R,P_ER)

将分析子模块和似然函数模块所得结果代入，最后得出行人检测结果如下，

$p(E_R,P_{\mathrm{ER}}|R)=\frac{p\left(R\right|E_R,P_{\mathrm{ER}})p\left(P_{\mathrm{ER}}\right|E_R)p\left(E_R\right)}{{\mathrm{\Σ}}_{R}p\left(R\right|E_R,p_{\mathrm{ER}})p(E_R,P_{\mathrm{ER}})}$

当p(E_R,P_ER|R)的值大于等于0.5，表示局部区域R处包含行人；当p(E_R,P_ER|R)的值小于0.5，表示局部区域R处不含有行人。

各模块具体实现与方法步骤一致，本发明不予赘述。

本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明技术领域的技术人员可以对所描述的具体实施例做各种各样的修改补充或者采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于显著区域的行人检测方法，其特征在于：包含以下步骤，

步骤1，输入包含行人的正样本及不包含行人的负样本的数据集，归一化正样本和负样本为预设尺寸，然后分别从各正样本和负样本中提取协方差矩阵特征作为训练数据，构造若干弱分类器，再根据级联AdaBoost算法将若干弱分类器组成强分类器，多个强分类器构成级联分类器；

步骤2，对于输入图像I^*提取有效区域，进行先验概率的分析，包括以下子步骤，

步骤2.1，提取输入图像I^*的任意像素的显著度；

步骤2.2，以输入图像的每个像素为中心分别建立预设尺寸的局部区域R，获取每个局部区域R的显著概率值；

步骤2.3，根据步骤2.2所得每个局部区域R的显著概率值判断出有效区域；

步骤2.4，设p(E_R)表示的是以输入图像的任一像素为中心建立的局部区域R是有效区域的概率，有效区域中包含行人的概率p(P_ER|E_R)根据步骤2.3所得有效区域E_R通过步骤1训练所得级联分类器得到，其中P_ER是从有效区域中检测到行人的结果，

贝叶斯准则的先验部分p(E_R,P_ER)表示为，

p(E_R,P_ER)＝p(P_ER|E_R)p(E_R)

步骤3，对各有效区域提取协方差矩阵特征；

步骤4，将步骤3中所得结果输入步骤1训练所得级联分类器进行行人检测，得到有效区域E_R是否为包含行人P_ER的局部区域R，从概率学角度分析表示为p(R|E_R,P_ER)，作为贝叶斯的似然函数；

步骤5，利用步骤4所得p(R|E_R,P_ER)和步骤2.4中得到的p(P_ER|E_R)和p(E_R)结合成贝叶斯分布，由统计学推导出最后结果，实现如下，

通过结合成贝叶斯分布，得出后验部分如下，

p(E_R,P_ER|R)∝p(R|E_R,P_ER)p(P_ER|E_R)p(E_R)

从联合概率分布(E_R,P_ER)的角度把上式补全，检测结果如下，

$p(E_R,P_{\mathrm{ER}}|R)=\frac{p(E_R,P_{\mathrm{ER}},R)}{{\mathrm{\Σ}}_{R}p\left(R\right|E_R,P_{\mathrm{ER}})p(E_R,P_{\mathrm{ER}})}$

其中，p(E_R,P_ER|R)表示的是局部区域R是否包含行人的概率值，p(R|E_R,P_ER)是局部区域R是有效区域并且该有效区域包含行人的条件概率，p(E_R,P_ER,R)表示的是局部区域R是有效区域并且包含行人的联合概率；分母是一个定值，分子表示如下，

p(E_R,P_ER,R)＝p(R|E_R,P_ER)p(E_R,P_ER)

将步骤2.4和步骤4所得结果代入，最后得出行人检测结果如下，

$p(E_R,P_{\mathrm{ER}}|R)=\frac{p\left(R\right|E_R,P_{\mathrm{ER}})p\left(P_{\mathrm{ER}}\right|E_R)p\left(E_R\right)}{{\mathrm{\Σ}}_{R}p\left(R\right|E_R,p_{\mathrm{ER}})p(E_R,P_{\mathrm{ER}})}$

当p(E_R,P_ER|R)的值大于等于0.5，表示局部区域R处包含行人；当p(E_R,P_ER|R)的值小于0.5，表示局部区域R处不含有行人。

2.根据权利要求1所述基于显著区域的行人检测方法，其特征在于：步骤1从各正样本和负样本中提取协方差矩阵特征和步骤3对各有效区域提取协方差矩阵特征时，将提取对象视为局部区域R，所采用的提取方式如下，

设局部区域R相应亮度图为I，在这个亮度图I内的协方差特征被表示为，

$\mathrm{\Φ}(I,x,y)={\left[\mathrm{x\; y}\right|I_x\left|\right|I_y\left|\arctan \frac{\left|I_x\right|}{\left|I_y\right|}\sqrt{I_x^2+I_y^2}\right|I_{\mathrm{xx}}\left|\right|I_{\mathrm{yy}}\left|\right]}^T$

其中，Φ(I,x,y)表示的是局部区域R中(x,y)像素的协方差特征向量，I_x表示的是x方向偏导亮度信息，I_xx表示的是x方向二次偏导亮度信息，I_y表示的是y方向偏导亮度信息，I_yy表示的是y方向二次偏导亮度信息；

设局部区域n是r_i的总个数，r_i是R中的任意一个元素的一个d维的特征向量，即r_i∈R^d，此处i的取值为1,2,…,n，局部区域R的协方差描述子表示为，

$C_R=\frac{1}{n-1}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(r_i-\stackrel{\‾}{r}){(r_i-\stackrel{\‾}{r})}^T$

其中，C_R∈R^d×d，是特征向量的均值，

进行描述子的归一化，得到最终的协方差矩阵描述子如下，

$C_r^{/}(x,y)=\frac{C_r(x,y)}{\sqrt{C_R(x,x)C_R(y,y)}}$

其中，C_r是在局部区域R中用来检测行人的子窗口，C_R(x,x)是归一化前的偏x方向的协方差，C_R(y,y)是归一化前的偏y方向的协方差，C_r(x,y)是归一化前(x,y)位置处的协方差描述子。

3.根据权利要求1或2所述基于显著区域的行人检测方法，其特征在于：步骤2.1，提取输入图像I^*的任意像素的显著度如下，

首先，像素的显著度通过下式获得，

$Y\left(I_k^{*}\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}d(I_k^{*},I_i^{*})$

其中，是输入图像I^*的一个像素，此处i的取值为1,2,…,N，k的取值为1,2,…,N，是像素和在色彩LUV空间的距离，N是输入图像I^*的像素个数；

然后，将像素的显著度重新定义为如下，

$S\left(I_k^{*}\right)=\frac{1}{9}{\mathrm{\Σ}}_D\left(I_k^{*}\right)$

其中，D为像素和相邻的8个像素组成的集合空间。

4.根据权利要求3所述基于显著区域的行人检测方法，其特征在于：步骤2.2的实现如下，

设R_k代表的是以像素为中心的局部区域R，代表该局部区域的显著度，设局部区域R_k中的显著度符合高斯分布，相应显著概率值如下，

$G\left(s_{R_k}\right)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}\exp (-\frac{(s_{R_k}-\stackrel{\‾}{s})}{{2\mathrm{\σ}}^2})$

其中，σ²分别代表高斯分布的均值和方差，σ代表的是高斯分布的标准差。

5.根据权利要求4所述基于显著区域的行人检测方法，其特征在于：步骤2.3的实现方式为，通过显著概率值是否大于预设阈值，判断相应局部区域R_k是否为有效区域。

6.一种基于显著区域的行人检测系统，其特征在于：包含以下模块，

训练模块，用于搜集包含行人的正样本及不包含行人的负样本的数据集，将归一化正样本和负样本为预设尺寸，然后分别从各正样本和负样本中提取协方差矩阵特征作为训练数据，构造若干弱分类器，再根据级联AdaBoost算法将若干弱分类器组成强分类器，多个强分类器构成级联分类器；

先验概率分析模块，用于输入图像I^*提取有效区域，进行先验概率的分析，包括以下子模块，

显著度子模块，用于提取输入图像I^*的任意像素的显著度；

显著概率值子模块，用于以输入图像的每个像素为中心分别建立预设尺寸的局部区域R，获取每个局部区域R的显著概率值；

有效区域子模块，用于根据显著概率值子模块所得每个局部区域R的显著概率值判断出有效区域；

分析子模块，用于执行分析，包括设p(E_R)表示的是以输入图像的任一像素为中心建立的局部区域R是有效区域的概率，有效区域中包含行人的概率p(P_ER|E_R)根据有效区域子模块所得有效区域E_R通过训练模块所得级联分类器得到，其中P_ER是从有效区域中检测到行人的结果，

贝叶斯准则的先验部分p(E_R,P_ER)表示为，

p(E_R,P_ER)＝p(P_ER|E_R)p(E_R)

特征提取模块，对各有效区域提取协方差矩阵特征；

似然函数模块，用于将特征提取模块所得结果输入训练模块所得级联分类器进行行人检测，得到有效区域E_R是否为包含行人P_ER的局部区域R，从概率学角度分析表示为p(R|E_R,P_ER)，作为贝叶斯的似然函数；

结果模块，用于利用似然函数模块所得p(R|E_R,P_ER)和分析子模块中得到的p(P_ER|E_R)和p(E_R)结合成贝叶斯分布，由统计学推导出最后结果，实现如下，

通过结合成贝叶斯分布，得出后验部分如下，

p(E_R,P_ER|R)∝p(R|E_R,P_ER)p(P_ER|E_R)p(E_R)

从联合概率分布(E_R,P_ER)的角度把上式补全，检测结果如下，

$p(E_R,P_{\mathrm{ER}}|R)=\frac{p(E_R,P_{\mathrm{ER}},R)}{{\mathrm{\Σ}}_{R}p\left(R\right|E_R,P_{\mathrm{ER}})p(E_R,P_{\mathrm{ER}})}$

其中，p(E_R,P_ER|R)表示的是局部区域R是否包含行人的概率值，p(R|E_R,P_ER)是局部区域R是有效区域并且该有效区域包含行人的条件概率，p(E_R,P_ER,R)表示的是局部区域R是有效区域并且包含行人的联合概率；分母是一个定值，分子表示如下，

p(E_R,P_ER,R)＝p(R|E_R,P_ER)p(E_R,P_ER)

将分析子模块和似然函数模块所得结果代入，最后得出行人检测结果如下，

$p(E_R,P_{\mathrm{ER}}|R)=\frac{p\left(R\right|E_R,P_{\mathrm{ER}})p\left(P_{\mathrm{ER}}\right|E_R)p\left(E_R\right)}{{\mathrm{\Σ}}_{R}p\left(R\right|E_R,p_{\mathrm{ER}})p(E_R,P_{\mathrm{ER}})}$

当p(E_R,P_ER|R)的值大于等于0.5，表示局部区域R处包含行人；当p(E_R,P_ER|R)的值小于0.5，表示局部区域R处不含有行人。