CN104966064A - 基于视觉的前方行人测距方法 - Google Patents

Abstract

本发明属于汽车主动安全领域，具体涉及一种基于视觉的前方行人测距方法，本方法根据摄像头图像坐标与真实世界坐标的映射关系，采集图像信息来计算真实场景的行人距离，具体包括以下步骤：1)图像采集，通过车载摄像头采集汽车前方图像；2)特征识别，识别图像中的人物特征；3)特征增强，增强人物特征与图像背景之间的视觉反差；4)图像分析，判断人物特征最低点对应的图像坐标位置；5)测距，根据摄像头图像坐标与真实世界坐标的映射关系，换算出真实场景的行人距离。本发明在行人检测得到的大致行人区域内采用图像处理技术对行人距离进行精确定位，提高了行人测距的测量精度。

Description

基于视觉的前方行人测距方法

技术领域

本发明属于汽车主动安全领域，具体涉及一种基于视觉的前方行人测距方法。

背景技术

从道路交通事故的成因来看，驾驶员开车注意力不集中是导致交通事故的主要因素，而行人是在交通事故中主要的受害群体。在日本，行人伤亡人数约占整个交通事故伤亡总数的27％；在欧洲，每年因车辆与行人或骑自行车人发生碰撞事故而导致约9,000人死亡，200,000人受伤。因此，主动安全技术成为汽车提高安全性能的重要途径。传统行人测距根据行人检测得到粗略行人位置测量行人距离，测量精度低，误差大。

发明内容

本发明的目的是提供一种基于视觉的前方行人测距方法，能够有效察觉车辆前方行人，并准确测量出行人距离，从而提高车辆主动安全性能。

为实现上述目的，本发明提供了以下技术方案：一种基于视觉的前方行人测距方法，其特征在于：本方法根据摄像头图像坐标与真实世界坐标的映射关系，采集图像信息来计算真实场景的行人距离，具体包括以下步骤：

1)图像采集，通过车载摄像头采集汽车前方图像；

2)特征识别，识别图像中的人物特征；

3)特征增强，增强人物特征与图像背景之间的视觉反差；

4)图像分析，判断人物特征最低点对应的图像坐标位置；

5)测距，根据摄像头图像坐标与真实世界坐标的映射关系，换算出真实场景的行人距离。

本发明的技术效果在于：本发明在行人检测得到的大致行人区域内采用图像处理技术对行人距离进行精确定位，提高了行人测距的测量精度。

附图说明

图1是本发明的流程框图；

图2是HOG特征提取算法中的BLOCK区域分块图；

图3是本发明的边缘增强算法中的Sobel卷积因子。

具体实施方式

如图1所示，一种基于视觉的前方行人测距方法，本方法根据摄像头图像坐标与真实世界坐标的映射关系，采集图像信息来计算真实场景的行人距离，具体包括以下步骤：

1)图像采集，通过车载摄像头采集汽车前方图像；

2)特征识别，识别图像中的人物特征；

3)特征增强，增强人物特征与图像背景之间的视觉反差；

4)图像分析，判断人物特征最低点对应的图像坐标位置；

5)测距，根据摄像头图像坐标与真实世界坐标的映射关系，换算出真实场景的行人距离。

进一步的，所述步骤2)的特征识别又包括以下步骤：

a.特征提取，从图像中提取可能存在人物特征的区域，采用HOG特征提取方法对人物特征进行检测。由于行人姿态变化的多样性，行人特征表示一直是行人检测的难点。目前用行人特征提取的算法主要有：类Haar特征，HOG特征、LBP特征、小波特征等。HOG算法的主要思想是行人形状和直立垂直特性可以用梯度方向分布来表示。与其它特征描述方法如SIFT相比，HOG特征算法可以有效地表达人体形状和轮廓信息，而且对于直立行人走、跑等有较小运动和旋转的行人状态能够保持其特有的垂直方向特性。因此，本发明采用HOG特征作为行人特征提取算法。

b.建立行人模型数据库，采用AdaBoost算法对图像进行搜索检测，将提取的人物特征与数据库的行人模型进行比较，进一步判断图像中是否存在行人。目前应用于行人识别的机器学习方法主要有支持向量机、神经网络、AdaBoost方法。AdaBoost是1997年Freund和Schapire提出来的一种自适应的boosting算法，算法的基本目标是将一族弱学习算法结合成为一个强学习算法，将若干个强分类器串连成为一个最终的分级分类器完成图像的搜索检测。AdaBoost算法能够“聚焦于”那些比较困难的样本。该算法简单、实时性好，检测速度很快，是目前行人检测使用最多的算法。

进一步的，所属步骤3)的特征增强具体包含以下步骤：

I.垂直边缘增强，使图像中的人物特征边缘与图像背景之间的视觉反差增强，本发明采用Sobel算子作为边缘增强算法。常用的边缘增强算子有一阶微分算子(如Robert算子、Sobel算子、Prewitt算子等)、二阶微分算子(Laplacian算子)、LOG算子和Canny算子。为了减少计算量，本文选用一阶微分算子作为边缘增强算子。比较分析Roberts算子、Sobel算子和Prewitt算子，Roberts算子对具有陡峭的低噪声的图像处理效果较好，但边缘定位不是很准确；Sobel算子和Prewitt算子对灰度渐变和噪声较多的图像处理效果较好，但是Sobel算子边缘定位比较准确，它是先做加权平均，然后再微分，所以有一定的噪声抑制能力，本发明采用Sobel算子作为边缘增强算法。

II.二值化，将人物特征部分的像素灰度调整为同一数值，同时将背景部分的像素灰度值调整为另一数值，得到只有两种灰度级的图像，进一步增强人物特征部分与背景的视觉反差。图像经过Sobel算子处理后，仍然包括了大量无用信息。为了进一步减小无用信息的影响，本文进行阈值分割进行二值化处理。阈值的确定可分全局阈值和局部阈值，为了减少系统计算的复杂性，本文采用最大类间方差法全局阈值方法。1979年Otsu提出的基于类间方差最大化的分割算法一直被认为是分割阈值自动选取的最优算法，算法简单且自适应性强。

具体的，所述步骤4)中，图像经过二值化，得到0和255两种灰度级的图像，对行人区域图像自上到下进行水平方向灰度级为255的像素点个数统计，然后从行人区域最下行逐行向上搜索第一次大于投影阈值的投影序列行对应行号，标记此行为行人测距的依据行，投影阈值设定为4-5。

所述步骤5)的测距方法为：采用摄像头采集20张棋盘网格图像，采用matlab摄像头标定工具箱计算出摄像头内部参数，然后采集真实场景图像计算出摄像头外部参数，根据摄像头内部参数和外部参数计算出摄像头图像坐标系到世界坐标系的映射关系，根据上一步计算得到的行人行号计算出真实场景的行人距离。

本发明涉及的相关算法，如HOG特征提取算法、AdaBoost算法、基于Sobel算子的边缘增强算法等都属于国际上较为成熟的图像处理算法，现对上述算法的大致原理进行简要叙述：

一.HOG算法原理(Histograms of Oriented Gradients)

基于特征的人体检测算法中的特征必须能够具有很好的可分性，即使在复杂背景和不同的光线情况下，该特征也可以很好地将人体和非人体区别开来。梯度方向直方图(Histogram of Oriented Gradients)是由Navneet Dalal于2005年在论文“Histograms of OrientedGradients for Human Detection”中提出。HOG特征的优点在于它是基于梯度方向的分布直方图，既可以描述人体的轮廓特征，同时又对光照和小量的偏移不敏感。

第一步：计算图像梯度

我们这里采用sobel算子分别计算x和y两个方向的梯度值，对x和y两个方向分别用sobel差分核[1,0,-1]和[1,0,-1]T计算得到。用G_x和G_y分别表示差分核卷积图像后的梯度。G表示与原图相同位置上的像素的梯度的模。

(1) $G=\sqrt{G_x^2+G_y^2}$

像素的梯度的方向为：

(2)θ＝arctan(G_y/G_X)

第二：统计单元内梯度方向直方图

梯度范围有两种选择：0-180度或者0-360度。

对于梯度范围0-180度情况：

根据公式(2)，如果θ角度小于零，则θ值用以下公式计算：

(3)θ＝π+arctan(G_y/G_X)

对于梯度范围0-360度情况：

根据公式(2)，如果θ角度小于零，则θ值用以下公式计算：

(4)θ＝2*π+arctan(G_y/G_X)

本发明采用梯度范围为0-180度。因此需要对0-180度等分划分为bins份。本发明中bins＝9。计算每一个单元内所有边缘上的像素点梯度的方向与所属的类别，并统计累加此像素所对应的权重。像素点梯度的方向与所属的类别计算公式表示为：

(5)generic＝ceil(θ*bins/π)

统计累加此像素所对应的权重

(6)weight[i]＝weight[i]+G

其中

(7)i＝generic(x,y),0＜i＜bins-1

按此方法统计子窗口内梯度方向直方图，最终每一个单元便会得到一个bins维的特征向量。通常bins取9或者18。梯度方向直方图的具体求取一般采用三线性插值的方法。

第三：图像HOG特征获得

BLOCK块是HOG特征提取基本单元，其中BLOCK由n*n的CEIL组成。同时每一个CEIL又是由m*m的像素组成。

本发明中，每个BLOCK为8*8的像素组成，每个BLOCK由2*2的CEIL组成，每个CEIL是由4*4的像素组成。

HOG特征提取过程是以BLOCK区域平移，同时保证平移后的BLOCK块与上次相邻的BLOCK具有重合区域。如图2所示。第一次BLOCK块为B1，平移后的BLOCK块为B2。其中B1和B2重合区域为C2和C6。每个BLOCK块可以提取36维的特征向量，对于64*128大小图像，可划分7×15个8×8pixel的BLOCK区域。子图像中所有单元的特征向量联结起来，即构成图像对应的特征向量。因此，一张64×128的图片总体的向量变成一组105×4×9＝3780维的向量。

第四：归一化梯度方向直方图

在求取上述HOG向量后，用整个子图像的直方图“能量”对特征向量进行归一化处理，可以进一步去除光照变化的影响。经过实验对比可以确定归一化算子为：

(8) ${V_i}^{*}=\frac{V_i}{\sqrt{\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{V_i}^2+\mathrm{\ϵ}}}$

其中，V_i为原向量；V_i ^*为归一化后的向量；ε为常数。

二.AdaBoost训练算法

AdaBoost训练强分类器的算法描述如下：

S1:给定一系列训练样本(x₁,y₁),(x₂,y₂),…,(x_n,y_n)，其中y_i＝1表示其为负样本(非行人)，y_i＝2表示其为正样本(行人)。n为一共的训练样本数量。

S2：初始化权重w_1,j＝D(i)

S3:对t＝1,2,…T：

1.归一化权重：

$q_{t,i}=\frac{w_{t,i}}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{w}_{t,j}}$

2.对每个特征f，训练一个弱分类器h(x,f,p,q)；计算对应所有特征的弱分类器的加权(q_t)错误率ξ_f

${\mathrm{\ξ}}_f=\underset{i}{\mathrm{\Σ}}{q}_i\left|h(x_i,f,p,\mathrm{\θ}-y_i)\right|$

选取最佳的弱分类器h(x)t(拥有最小错误率ξ_f)：

${\mathrm{\ξ}}_t={\min }_{f,p,\mathrm{\θ}}\underset{i}{\mathrm{\Σ}}{q}_i\left|h(x_i,f,p,\mathrm{\θ}-{\mathrm{ry}}_i)\right|$

按照这个最佳弱分类器，调整权重：

$w_{t+1,i}=w_{t,i}{\mathrm{\β}}_t^{1-e_i}$

其中e_i＝0表示x_i被正确分类，e_i＝1表示x_i被错误分类；

${\mathrm{\β}}_t=\frac{{\mathrm{\ξ}}_t}{1-{\mathrm{\ξ}}_t}$

S4:最后的强分类器为：

其中， ${\mathrm{\α}}_t=\log \frac{1}{{\mathrm{\β}}_t}$

三.基于Sobel算子的边缘增强算法

索贝尔算子(Sobel operator)主要用作边缘检测，在技术上，它是一离散性差分算子。在图像的任何一点使用此算子，将会产生对应的灰度图像的边缘增强图像。

Sobel卷积因子如图3所示，该算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。如果以A代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像灰度值，其公式如下：

$G_x=\left[\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right]*A$ and $G_y=\left[\begin{array}{ccc}+1& +2& +1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]*A$

具体计算如下：

Gx＝(-1)*f(x-1,y-1)+0*f(x,y-1)+1*f(x+1,y-1)+(-2)*f(x-1,y)+0*f(x,y)+2*f(x+1,y)+(-1)*f(x-1,y+1)+0*f(x,y+1)1*f(x+1,y+1)＝[f(x+1,y-1)+2*f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2*f(x-1,y)+f(x-1,y+1)]

Gy＝1*f(x-1,y-1)+2*f(x,y-1)+1*f(x+1,y-1)+0*f(x-1,y)0*f(x,y)+0*f(x+1,y)+(-1)*f(x-1,y+1)+(-2)*f(x,y+1)+(-1)*f(x+1,y+1)＝[f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1)]-[f(x-1,y+1)+2*f(x,y+1)+f(x+1,y+1)]

其中f(x,y),表示图像(x,y)点的灰度值。

Claims (7)

1.一种基于视觉的前方行人测距方法，其特征在于：本方法根据摄像头图像坐标与真实世界坐标的映射关系，采集图像信息来计算真实场景的行人距离，具体包括以下步骤：

1)图像采集，通过车载摄像头采集汽车前方图像；

2)特征识别，识别图像中的人物特征；

3)特征增强，增强人物特征与图像背景之间的视觉反差；

4)图像分析，判断人物特征最低点对应的图像坐标位置；

5)测距，根据摄像头图像坐标与真实世界坐标的映射关系，换算出真实场景的行人距离。

2.根据权利要求1所述的基于视觉的前方行人测距方法，其特征在于：所述步骤2)的特征识别又包括以下步骤：

a.特征提取，从图像中提取可能存在人物特征的区域；

b.建立行人模型数据库，将提取的人物特征与数据库的行人模型进行比较，进一步判断图像中是否存在行人。

3.根据权利要去1所述的基于视觉的前方行人测距方法，其特征在于：所属步骤3)的特征增强具体包含以下步骤：

I.垂直边缘增强，使图像中的人物特征边缘与图像背景之间的视觉反差增强。

II.二值化，将人物特征部分的像素灰度调整为同一数值，同时将背景部分的像素灰度值调整为另一数值，得到只有两种灰度级的图像，进一步增强人物特征部分与背景的视觉反差。

4.根据权利要求2所述的基于视觉的前方行人测距方法，其特征在于：在步骤a中，采用HOG特征提取方法对人物特征进行检测；在步骤b中，采用AdaBoost算法对图像进行搜索检测。

5.根据权利要求3所述的基于视觉的前方行人测距方法，其特征在于：在步骤I中，采用Sobel算子作为边缘增强算法。

6.根据权利要求5所述的基于视觉的前方行人测距方法，其特征在于：所述步骤4)中，图像经过二值化，得到0和255两种灰度级的图像，对行人区域图像自上到下进行水平方向灰度级为255的像素点个数统计，然后从行人区域最下行逐行向上搜索第一次大于投影阈值的投影序列行对应行号，标记此行为行人测距的依据行，投影阈值设定为4-5。

7.根据权利要求6所述的基于视觉的前方行人测距方法，其特征在于：所述步骤5)的测距方法为：采用摄像头采集20张棋盘网格图像，采用matlab摄像头标定工具箱计算出摄像头内部参数，然后采集真实场景图像计算出摄像头外部参数，根据摄像头内部参数和外部参数计算出摄像头图像坐标系到世界坐标系的映射关系，根据上一步计算得到的行人行号计算出真实场景的行人距离。