CN105260712A - 一种车辆前方行人检测方法及系统 - Google Patents

Abstract

本发明公开一种车辆前方行人检测方法及系统，该方法包括：图像获取与预处理、图像缩放、LBP与HOG特征提取、感兴趣区域提取、目标识别、目标融合及预警，并在车辆前方有行人时及时提示驾驶员。该车辆前方行人检测系统包括三个大部分：图像获取单元、SOPC单元和ASIC单元，其中图像获取单元即为摄像机单元，SOPC单元包括图像预处理单元、感兴趣区域提取单元、目标识别单元、目标融合及预警单元，ASIC单元包括：图像缩放单元、LBP特征提取单元、HOG特征提取单元。本发明通过将LBP特征和HOG特征联合使用，两级检测在整体上提高了行人检测的准确率；根据基于LBP的SVM的分类情况来动态调节HOG特征提取，降低了计算量，提高了计算速度，提高了车辆行驶的安全性。

Description

一种车辆前方行人检测方法及系统

技术领域

本发明涉及图像处理、模式识别、智能控制等学科，属于汽车电子和计算机视觉领域，尤其是一种车辆前方行人检测方法和系统。

背景技术

基于计算机视觉的车辆前方行人检测就是利用安装在运动车辆上的摄像头获取车辆前方的图像信息，然后根据特定算法从图像中检测出行人的位置。这项技术是城市交通环境下智能车辆辅助导航技术中的一项关键技术，它能有效地辅助驾驶员及时地对外界环境做出反应，避免碰撞行人。

车辆前方行人检测不同于普通的人体检测，除了包含一般人体检测具有的服饰多变、姿态多变等产生的难点外，由于其特定的应用还具有以下难点：摄像机是运动的，这样广泛应用于智能监控领域中检测动态目标的方法便不能直接使用；行人检测面临的是一个开放的环境，要考虑不同的路况、天气和光线变化，对算法的鲁棒性提出了很高的要求；实时性是辅助驾驶系统必须满足的要求，因此图像处理要有较快的计算速度。

为了解决这些难点，高校、企业对此进行的大量的研究。目前，车辆前方行人检测一般分为两个步骤：感兴趣区域提取和目标识别。感兴趣区域分割的目的是从图像中提取出可能包含行人的窗口，以避免穷尽搜索，提高系统的速度。目标识别是行人检测系统的核心，它对感兴趣区域分割得到的行人窗口验证，判断其中是否包含行人，它的性能决定了整个系统可以达到的精度和鲁棒性。近年来，对感兴趣区域提取研究的主要方法有：基于运动的方法、基于立体视觉的方法、基于激光雷达的方法、基于图像特征的方法；而针对目标识别的方法主要有：基于特征提取的方法、基于分类器构造的方法、基于搜索框的方法。

到目前为止，全世界各大公司企业、高等院校、科研院所每年都会有不少关于行人检测方面的论文发表，但大都停留在理论阶段，实验也多在PC平台上通过Matlab仿真或借助于OpenCV库完成，实时性不好，罕有能直接应用在车载系统中的方法和装置。

发明内容

针对现有技术存在的缺陷，本发明的目的在于提供一种能在不降低行人检测准确率条件下，提高行人检测速度并准确预警的车辆前方行人检测方法及系统。

为达到上述目的，本发明采用如下技术方案：

一种车辆前方行人检测方法，包括如下步骤：

(a)通过固定安装在汽车上的摄像机获取车辆前方图像，并对此图像进行实时的预处理；

(b)对预处理后的图像进行缩放；

(c)对缩放后的图像提取局部二进制模式(LBP,LocalBinaryPatterns)特征；

(d)利用提取到的LBP特征和支持向量机(SVM，SupportVectorMachine)分类器进行感兴趣区域(RegionsofInterest,ROIs)提取；

(e)对感兴趣区域提取方向梯度直方图(HOG，HistogramsofOrientedGradients)特征；

(f)对感兴趣区域再利用HOG特征和SVM分类器进行目标识别；

(g)对目标进行层内融合和层间融合并对驾驶员预警。

所述步骤(a)中对图像预处理包括归一化图像大小、灰度化、有效检测区分割的操作。

所述步骤(b)中根据检测目标大小的不同，对预处理后的图像采用插值法进行多级缩放。

所述步骤(d)中的SVM分类器是根据LBP特征已经训练好的，用此分类器提取各级图像中感兴趣区域；基于LBP特征行人分类器的产生包括以下步骤：

步骤一，打开样本图像：样本图像包括一定数目的含有行人的正样本和一定数目的负样本，样本的大小为固定格式，如64*128；

步骤二，图像灰度化，将彩色的图像转换为灰度图像，降低图像处理数据量；

步骤三，对图像里的每一个像素进行LBP编码，像素点(x,y)的LBP特征计算公式为：

$LBP(x,y)=\underset{i=0}{\overset{7}{\Σ}}{b}_i{2}^i$

其中，i为像素点(x,y)周围第i个像素序列，当第i个像素值大于等于像素点(x,y)的像素值时，b_i取1，否则取0。i的起始点为邻域内任意一点，编码完成后，将循环的二进制LBP编码数从0到1或者从1到0跳变次数多于两次的分为一类，其余的每一个循环编码为一类，得到新的均匀模式LBP编码；

步骤四，将样本图像每16*16个像素组成一个块，得到此像素块的59维的LBP特征向量，再将所有像素块的特征向量串联起来，构成样本图像的LBP特征向量；

步骤五，将步骤四得到的LBP特征向量导入到MATLAB中，采用线性SVM进行离线训练。

步骤六，经过一定数量的正负样本的训练，得到基于LBP特征的行人分类SVM。

所述步骤(f)中SVM分类器是根据HOG特征已经训练好的，用此分类器对感兴趣区域进行目标识别；基于HOG特征行人分类器的产生包括以下步骤：

步骤一，打开样本图像：样本图像包括一定数目的含有行人的正样本和一定数目的负样本，样本的大小为固定格式，如64*128；

步骤二，图像灰度化，将彩色的图像转换为灰度图像，降低图像处理数据量；

步骤三，对灰度图像的每一个像素点采用水平卷积算子[-1,0,1]和垂直卷积算子[-1,0,1]^T进行水平方向和垂直方向梯度计算，得到像素点(x,y)梯度为：

G_x(x,y)＝H(x+1,y)-H(x-1,y)

G_y(x,y)＝H(x,y+1)-H(x,y-1)

$\mathrm{\θ}(x,y)={\tan }^{-1}\left(\frac{G_y(x,y)}{G_x(x,y)}\right)$

其中，H(x+1,y)、H(x-1,y)、H(x,y+1)、H(x,y-1)分别代表(x+1,y)、(x-1,y)、H(x,y+1)、H(x,y-1)处的像素值，G_x(x,y)、G_y(x,y)、θ(x,y)分别表示为(x,y)点的水平方向梯度值、垂直方向梯度值和梯度方向；

步骤四，采用优化的三线性插值对图像的块中每一个“细胞”中的像素梯度进行映射，得到整个块的各个“细胞”梯度直方图，优化的三线性插值的卷子算子Conv为：

$Conv=\frac{1}{256}*\left|\begin{array}{ccccccc}1& 2& 3& 4& 3& 2& 1\\ 2& 4& 6& 8& 6& 4& 2\\ 3& 6& 9& 12& 9& 6& 3\\ 4& 8& 12& 16& 12& 8& 4\\ 3& 6& 9& 12& 9& 6& 3\\ 2& 4& 6& 8& 6& 4& 2\\ 1& 2& 3& 4& 3& 2& 1\end{array}\right|$

步骤五，先计算各直方图在这个块中的密度，然后根据这个密度对块中的各个细胞单元做归一化；

步骤六，每一个块归一化完成后，得到此块的特征向量，将图像中所有块的特征向量级联起来构成整个图像的HOG特征向量；

步骤七，将步骤六到的HOG特征向量导入到MATLAB中，采用线性SVM进行离线训练。

步骤八，经过一定数量的正负样本的训练，得到基于HOG特征的行人分类SVM。

所述步骤(g)中先根据图像中各目标动态重叠面积和目标的权值进行目标融合，再对各级图像中目标进行融合，得到最终目标后提醒对驾驶员有行人在危险区内活动。

在步骤(d)和步骤(e)之间包括步骤(d1)，其判断步骤(d)获取的感兴趣区域数目，若数目为零则返回步骤(a)，否则进行步骤(e)。

在步骤(f)和步骤(g)之间包括步骤(f1)，其判断步骤(f)获取的目标数目，若数目为零则返回步骤(a)，否则进行步骤(g)。

一种车辆前方行人检测系统，其包括有：

图像获取及预处理单元，用于获取车辆前方图像并对图像实时预处理；

与所述图像获取及预处理单元连接的特征提取单元，该特征提取单元先对图像进行缩放，然后对各级图像进行LBP特征和HOG特征的提取；

与所述特征提取单元连接的是SVM分类单元，该单元根据特征提取单元提取到的LBP特征找出感兴趣区域，再用感兴趣区域的HOG特征进行目标识别；

与SVM分类单元连接的是目标融合及预警单元，该目标融合及预警单元根据图像中各目标动态重叠面积和目标的权值进行目标融合，若目标数目不为零则提醒驾驶员注意行人。

与现有技术相比，本发明具有如下突出的实质性特点和显著的优点：

本发明通过将LBP特征和HOG特征联合使用，两级检测在整体上提高了行人检测的准确率；根据基于LBP的SVM的分类情况来动态调节HOG特征提取，降低了计算量，提高了计算速度，进而及时提醒驾驶员前方行人情况，提高了车辆行驶的安全性。

附图说明

图1是本发明一种车辆前方行人检测方法步骤流程图。

图2是基于LBP特征行人分类器的产生流程图。

图3是基于HOG特征行人分类器的产生流程图。

图4为本发明一种车辆前方行人检测方法层内目标融合示意图。

图5为本发明一种车辆前方行人检测方法层间目标融合示意图。

图6为本发明一种车辆前方行人检测系统中摄像机的安装示意图。

图7为本发明一种车辆前方行人检测系统各个硬件模块示意图。

具体实施方式

为便于对本发明的方法及系统有进一步的了解，现结合附图并举较佳实施例详细说明。

本发明通过安装在汽车上的摄像机获取车辆前方图像信息，摄像机的安装如图6所示。然后对获取的图像信息进行一系列的图像处理与行人识别，判断是否有行人在车辆前方的危险区域，如果有行人处于危险区则提示驾驶员，达到安全驾驶的目的。

如图1所示，一种车辆前方行人检测方法，包括如下步骤：

(a)通过固定安装在汽车上的摄像机获取车辆前方图像，并对此图像进行实时的预处理；

在步骤(a)中，图像获取是通过摄像机单元，图像获取单元将图像的数字信息传输给可编程片上系统(SOPC，SystemOnProgrammableChip)芯片，芯片里的图像预处理单元对其进行预处理。

(b)对预处理后的图像进行缩放；缩放分1、0.75、0.5三级。

在步骤(b)中，SOPC将预处理后的图像传输给专用集成电路芯片(ASIC,ApplicationSpecificIntegratedCircuit)里的图像缩放单元进行计算。

(c)对缩放后的图像提取局部二进制模式(LBP,LocalBinaryPatterns)特征；

(d)利用提取到的LBP特征和支持向量机(SVM，SupportVectorMachine)分类器进行感兴趣区域(RegionsofInterest,ROIs)提取；

(e)对感兴趣区域提取方向梯度直方图(HOG，HistogramsofOrientedGradients)特征；

在步骤(c)和步骤(e)中，LBP特征与HOG特征提取在图7的LBP特征提取单元和HOG特征提取单元中进行。这里采用ASIC提高了特征提取的速度。LBP特征和HOG特征提取不是同时进行的，而是条件触发的，即在有图像输入时LBP特征模块提取LBP特征，在有感兴趣区域产生时HOG特征提取模块才开始工作，两个模块呈流水线模式。

(f)对感兴趣区域再利用HOG特征和SVM分类器进行目标识别；

在步骤(f)中，ASIC中的HOG特征提取单元将HOG特征传输给SOPC中的目标识别单元，目标识别单元用基于LBP特征的SVM分类器进行目标识别。

(g)对目标进行层内融合和层间融合并对驾驶员预警。

所述步骤(a)中对图像预处理包括归一化图像大小、灰度化、有效检测区分割的操作。

所述步骤(b)中根据检测目标大小的不同，对预处理后的图像采用插值法进行多级缩放。

所述步骤(d)中的SVM分类器是根据LBP特征已经训练好的，用此分类器提取各级图像中感兴趣区域；基于LBP特征行人分类器的产生包括以下步骤：

步骤一，打开样本图像：样本图像包括一定数目的含有行人的正样本和一定数目的负样本，样本的大小为固定格式，如64*128；

步骤二，图像灰度化，将彩色的图像转换为灰度图像，降低图像处理数据量；

步骤三，对图像里的每一个像素进行LBP编码，像素点(x,y)的LBP特征计算公式为：

$LBP(x,y)=\underset{i=0}{\overset{7}{\Σ}}{b}_i{2}^i$

其中，i为像素点(x,y)周围第i个像素序列，当第i个像素值大于等于像素点(x,y)的像素值时，b_i取1，否则取0。i的起始点为邻域内任意一点，编码完成后，将循环的二进制LBP编码数从0到1或者从1到0跳变次数多于两次的分为一类，其余的每一个循环编码为一类，得到新的均匀模式LBP编码；

步骤四，将样本图像每16*16个像素组成一个块，得到此像素块的59维的LBP特征向量，再将所有像素块的特征向量串联起来，构成样本图像的LBP特征向量；

步骤五，将步骤四得到的LBP特征向量导入到MATLAB中，采用线性SVM进行离线训练；

步骤六，经过一定数量的正负样本的训练，得到基于LBP特征的行人分类SVM。

所述步骤(f)中SVM分类器是根据HOG特征已经训练好的，用此分类器对感兴趣区域进行目标识别；基于HOG特征行人分类器的产生包括以下步骤：

步骤一，打开样本图像：样本图像包括一定数目的含有行人的正样本和一定数目的负样本，样本的大小为固定格式，如64*128；

步骤二，图像灰度化，将彩色的图像转换为灰度图像，降低图像处理数据量；

步骤三，对灰度图像的每一个像素点采用水平卷积算子[-1,0,1]和垂直卷积算子[-1,0,1]^T进行水平方向和垂直方向梯度计算，得到像素点(x,y)梯度为：

G_x(x,y)＝H(x+1,y)-H(x-1,y)

G_y(x,y)＝H(x,y+1)-H(x,y-1)

$\mathrm{\θ}(x,y)={\tan }^{-1}\left(\frac{G_y(x,y)}{G_x(x,y)}\right)$

其中，H(x+1,y)、H(x-1,y)、H(x,y+1)、H(x,y-1)分别代表(x+1,y)、(x-1,y)、H(x,y+1)、H(x,y-1)处的像素值，G_x(x,y)、G_y(x,y)、θ(x,y)分别表示为(x,y)点的水平方向梯度值、垂直方向梯度值和梯度方向；

步骤四，采用优化的三线性插值对图像的块中每一个“细胞”中的像素梯度进行映射，得到整个块的各个“细胞”梯度直方图，优化的三线性插值的卷子算子Conv为：

$Conv=\frac{1}{256}*\left|\begin{array}{ccccccc}1& 2& 3& 4& 3& 2& 1\\ 2& 4& 6& 8& 6& 4& 2\\ 3& 6& 9& 12& 9& 6& 3\\ 4& 8& 12& 16& 12& 8& 4\\ 3& 6& 9& 12& 9& 6& 3\\ 2& 4& 6& 8& 6& 4& 2\\ 1& 2& 3& 4& 3& 2& 1\end{array}\right|$

步骤五，先计算各直方图在这个块中的密度，然后根据这个密度对块中的各个细胞单元做归一化；

步骤六，每一个块归一化完成后，得到此块的特征向量，将图像中所有块的特征向量级联起来构成整个图像的HOG特征向量；

步骤七，将步骤六到的HOG特征向量导入到MATLAB中，采用线性SVM进行离线训练；

步骤八，经过一定数量的正负样本的训练，得到基于HOG特征的行人分类SVM。

所述步骤(g)中先根据图像中各目标动态重叠面积和目标的权值进行目标融合，再对各级图像中目标进行融合，得到最终目标后提醒对驾驶员有行人在危险区内活动。层内融合如图4所示，若两个目标重叠的面积超过一个固定的阈值，则将两个目标合为一个，新目标的位置为原目标的重心。层间融合如图5所示，若两个目标的重叠面积超过一个固定阈值，则将两个目标合为一个，新目标的位置及大小根据线性插值的方法得到。经过层内融合与层间融合后的目标为最终确定的目标，找到目标后即提醒驾驶员，有行人进入前方危险区域。

在步骤(d)和步骤(e)之间包括步骤(d1)，其判断步骤(d)获取的感兴趣区域数目，若数目为零则返回步骤(a)，否则进行步骤(e)。

在步骤(f)和步骤(g)之间包括步骤(f1)，其判断步骤(f)获取的目标数目，若数目为零则返回步骤(a)，否则进行步骤(g)。

如图7所示，一种车辆前方行人检测系统，其包括有：

图像获取及预处理单元，用于获取车辆前方图像并对图像实时预处理；

与所述图像获取及预处理单元连接的特征提取单元，该特征提取单元先对图像进行缩放，然后对各级图像进行LBP特征和HOG特征的提取；

与所述特征提取单元连接的是SVM分类单元，该单元根据特征提取单元提取到的LBP特征找出感兴趣区域，再用感兴趣区域的HOG特征进行目标识别；

与SVM分类单元连接的是目标融合及预警单元，该目标融合及预警单元根据图像中各目标动态重叠面积和目标的权值进行目标融合，若目标数目不为零则提醒驾驶员注意行人。

Claims (9)

1.一种车辆前方行人检测方法，其特征在于，包括如下步骤：

(a)通过固定安装在汽车上的摄像机获取车辆前方图像，并对此图像进行实时的预处理；

(b)对预处理后的图像进行缩放；

(c)对缩放后的图像提取局部二进制模式，即LocalBinaryPatterns，LBP特征；

(d)利用提取到的LBP特征和支持向量机，即SupportVectorMachine，SVM分类器进行感兴趣区域，即RegionsofInterest，ROIs提取；

(e)对感兴趣区域提取方向梯度直方图，即HistogramsofOrientedGradients，HOG特征；

(f)对感兴趣区域再利用HOG特征和SVM分类器进行目标识别；

(g)对目标进行层内融合和层间融合并对驾驶员预警。

2.根据权利要求1所述的车辆前方行人检测方法，其特征在于，所述步骤(a)中对图像预处理包括归一化图像大小、灰度化、有效检测区分割的操作。

3.根据权利要求1所述的车辆前方行人检测方法，其特征在于，所述步骤(b)中根据检测目标大小的不同，对预处理后的图像采用插值法进行多级缩放。

4.根据权利要求1所述的车辆前方行人检测方法，其特征在于，所述步骤(d)中的SVM分类器是根据LBP特征已经训练好的，用此分类器提取各级图像中感兴趣区域；基于LBP特征行人分类器的产生包括以下步骤：

步骤一，打开样本图像，样本图像包括一定数目的含有行人的正样本和一定数目不含行人的负样本，样本的大小为固定格式，如64*128；

步骤二，图像灰度化，将彩色的图像转换为灰度图像，降低图像处理数据量；

步骤三，对图像里的每一个像素进行LBP编码，像素点(x,y)的LBP特征计算公式为：

$LBP(x,y)=\underset{i=0}{\overset{7}{\Σ}}{b}_i{2}^i$

其中，i为像素点(x,y)周围第i个像素序列，当第i个像素值大于等于像素点(x,y)的像素值时，b_i取1，否则取0；i的起始点为邻域内任意一点，编码完成后，将循环的二进制LBP编码数从0到1或者从1到0跳变次数多于两次的分为一类，其余的每一个循环编码为一类，得到新的均匀模式LBP编码；

步骤四，将样本图像每16*16个像素组成一个块，得到此像素块的59维的LBP特征向量，再将所有像素块的特征向量串联起来，构成样本图像的LBP特征向量；

步骤五，将步骤四得到的LBP特征向量导入到MATLAB中，采用线性SVM进行离线训练；

步骤六，经过一定数量的正负样本的训练，得到基于LBP特征的行人分类SVM。

5.根据权利要求1所述的车辆前方行人检测方法，其特征在于，所述步骤(f)中SVM分类器是根据HOG特征已经训练好的，用此分类器对感兴趣区域进行目标识别；基于HOG特征行人分类器的产生包括以下步骤：

步骤一，打开样本图像：样本图像包括一定数目的含有行人的正样本和一定数目的负样本，样本的大小为固定格式，如64*128；

步骤二，图像灰度化，将彩色的图像转换为灰度图像，降低图像处理数据量；

步骤三，对灰度图像的每一个像素点采用水平卷积算子[-1,0,1]和垂直卷积算子[-1,0,1]^T进行水平方向和垂直方向梯度计算，得到像素点(x,y)梯度为：

G_x(x,y)＝H(x+1,y)-H(x-1,y)

G_y(x,y)＝H(x,y+1)-H(x,y-1)

$\mathrm{\θ}(x,y)={\tan }^{-1}\left(\frac{G_y(x,y)}{G_x(x,y)}\right)$

其中，H(x+1,y)、H(x-1,y)、H(x,y+1)、H(x,y-1)分别代表(x+1,y)、(x-1,y)、H(x,y+1)、H(x,y-1)处的像素值，G_x(x,y)、G_y(x,y)、θ(x,y)分别表示为(x,y)点的水平方向梯度值、垂直方向梯度值和梯度方向角度；

步骤四，采用优化的三线性插值对图像的块中每一个“细胞”中的像素梯度进行映射，得到整个块的各个“细胞”梯度直方图，优化的三线性插值的卷子算子Conv为：

$Conv=\frac{1}{256}*\left|\begin{array}{ccccccc}1& 2& 3& 4& 3& 2& 1\\ 2& 4& 6& 8& 6& 4& 2\\ 3& 6& 9& 12& 9& 6& 3\\ 4& 8& 12& 16& 12& 8& 4\\ 3& 6& 9& 12& 9& 6& 3\\ 2& 4& 6& 8& 6& 4& 2\\ 1& 2& 3& 4& 3& 2& 1\end{array}\right|$

步骤五，先计算各直方图在这个块中的密度，然后根据这个密度对块中的各个细胞单元做归一化；

步骤六，每一个块归一化完成后，得到此块的特征向量，将图像中所有块的特征向量级联起来构成整个图像的HOG特征向量；

步骤七，将步骤六到的HOG特征向量导入到MATLAB中，采用线性SVM进行离线训练；

步骤八，经过一定数量的正负样本的训练，得到基于HOG特征的行人分类SVM。

6.根据权利要求1所述的车辆前方行人检测方法，其特征在于，所述步骤(g)中先根据图像中各目标动态重叠面积和目标的权值进行目标融合，再对各级图像中目标进行融合，得到最终目标后提醒对驾驶员有行人在危险区内活动。

7.根据权利要求1所述的车辆前方行人检测方法，其特征在于，在步骤(d)和步骤(e)之间包括步骤(d1)，其判断步骤(d)获取的感兴趣区域数目，若数目为零则返回步骤(a)，否则进行步骤(e)。

8.根据权利要求1所述的车辆前方行人检测方法，其特征在于，在步骤(f)和步骤(g)之间包括步骤(f1)，其判断步骤(f)获取的目标数目，若数目为零则返回步骤(a)，否则进行步骤(g)。

9.一种车辆前方行人检测系统，其特征在于，其包括有：

图像获取及预处理单元，用于获取车辆前方图像并对图像实时预处理；

与所述图像获取及预处理单元连接的特征提取单元，该特征提取单元先对图像进行缩放，然后对各级图像进行LBP特征和HOG特征的提取；

与所述特征提取单元连接的是SVM分类单元，该单元根据特征提取单元提取到的LBP特征找出感兴趣区域，再用感兴趣区域的HOG特征进行目标识别；

与SVM分类单元连接的是目标融合及预警单元，该目标融合及预警单元根据图像中各目标动态重叠面积和目标的权值进行目标融合，若目标数目不为零则提醒驾驶员注意行人。