CN104573646A - 基于激光雷达和双目相机的车前行人检测方法及系统 - Google Patents

Abstract

本发明属于汽车主动安全领域，具体公开了一种基于激光雷达和双目相机的车前行人检测方法及系统，该方法包括如下步骤：利用激光雷达和双目相机采集车辆前方数据；分别对激光雷达和双目相机采集的数据进行处理，得到行人相对于车辆的距离、方位角及速度值；对得到的行人信息进行卡尔曼滤波器进行修正。本发明综合运用了立体视觉技术和遥感技术，融合激光雷达和双目视觉信息，测量精度高，行人检测正确率高，能有效降低交通事故发生率。

Description

基于激光雷达和双目相机的车前行人检测方法及系统

技术领域

本发明属于汽车安全驾驶领域，具体涉及了立体视觉技术和遥感技术，是融合激光雷达和双目相机的信息进行车辆前方行人检测的装置与方法。

背景技术

我国经济的快速发展，人民生活水平的不断提高，交通运输业和汽车工业的高速发展，都促使了我国机动车辆保有量的不断攀升。到2013年底，我国汽车保有量高达1.37亿辆，车辆碰撞事故频发。复杂的交通环境下，如何在车辆行驶过程中保证行人安全以及车辆和驾驶员的安全显得尤为重要。但是，当驾驶员疲劳驾驶或者一时疏忽，甚至有的驾驶员身处危险状况下，因心理承受压力大而不能冷静判断，短时间内难以做出正确决策而错失了最佳避让行人的时机。因此，需要一种能够自动且精确检测车辆前方行人的装置和方法，辅助驾驶员安全驾驶汽车。

已有的车辆前方行人检测装置，大多是基于单目相机，但是视觉信息受环境因素影响较大，如下雨、雾霾；也有部分采用雷达信息来检测行人，但是雷达信息量有限，不能单独用来做行人检测装置；针对单一传感器无法满足信息感知完整性和可靠性的问题，出现了融合多传感器的行人检测方法，但在算法设计及硬件设计上不尽相同，且检测效果不够精确。

发明内容

针对上述现有技术中存在的缺陷与不足，本发明的目的在于，提供一种基于激光雷达和双目相机的车前行人检测方法。

为了实现上述目的，本发明采用如下技术方案予以解决：

一种基于激光雷达和双目相机的车前行人检测方法，具体包括以下步骤：

步骤1，利用三台激光雷达和一台双目相机采集车辆前方数据；

步骤2，分别对激光雷达和双目相机采集的数据进行处理，得到行人相对于车辆的距离、方位角及速度值；具体包括以下步骤：

步骤21，根据激光雷达采集的数据，进行疑似行人目标的确定及行人距离、方位角和速度的计算；

步骤22，将三个激光雷达分别与双目相机进行标定，使得每个激光雷达确定的疑似行人目标分别映射到双目相机采集的左、右图像中；

步骤23、采用SURF算法分别对左、右图像进行处理，得到左、右图像中每个疑似行人目标的特征点，并得到每个特征点对应的特征向量；

步骤24、根据得到的每个特征点对应的特征向量，基于SURF特征的AdaBoost级联分类器检测图像中的行人并标记；

步骤25、利用双目相机采集的图像数据计算得到行人相对于车辆的距离、方位角及速度值。

进一步的，所述步骤21具体包括如下步骤：

(1)采用K均值聚类法对激光雷达每帧中的1081个数据点进行聚类，得到多个疑似行人点簇，疑似行人点簇为激光雷达视野范围内所有障碍物；将疑似行人点簇与行人的物理特征结合确定疑似行人目标；每个疑似行人点簇用式(3)表示：

{(x_i,y_i,r_i)|i＝1,2,...,m}          (3)

其中，i为每帧中疑似行人点簇的个数；x_i、y_i为簇中心的坐标；r_i为簇中心点(x_i,y_i)到簇边界的最大距离值，m为每帧中疑似行人点簇的最大个数；

(2)记录疑似行人目标的距离H_i、方位角θ_i及速度v_i信息；

疑似行人目标确定以后，记录其对应的疑似点簇中心相对于激光雷达坐标系的距离、方位角及速度信息，作为疑似行人目标的信息，疑似行人目标信息用式(4)表示：

{(H_i,θ_i,v_i)|i＝1,2,...,n}           (4)

式中，n为每帧中疑似行人目标的最大个数；n≤m。

进一步的，所述步骤23的具体步骤是：对于每个所述的特征点，选取其邻域范围内20σ*20σ大小的区域，其中，σ为空间中的任一点在尺度空间中的尺度；将区域的主方向旋转到特征点的主方向；将此区域划分为4*4共16个子区域；对每个子区域，计算每个像素点经过加权的Harr小波在X方向和Y方向的响应值dx、dy，然后建立一个四维的特征向量如式(8)：

v＝(Σdx,Σdy,Σ|dx|,Σ|dy)         (8)

将16个子区域的向量分别加入到该特征向量中，形成上述特征点对应的64(4*16)维的特征向量。

进一步的，所述步骤24具体包括如下步骤：

(1)将SURF特征点对应的特征向量输入到二值弱分类器进行训练；

所述二值弱分类器输出1代表存在行人，输出0代表不存在行人，用公式(9)描述：

其中，x为一个检测子窗口，取为20*20，n为检测子窗口中SURF特征点的个数，f_j(x)为第j个特征点的特征向量，p_j为偏置系数，θ_j为阈值；

对每个特征点对应的特征向量f_j(x)，训练弱分类器h_j(x,f,p,θ)，使得弱分类器h_j(x,f,p,θ)对所有训练样本的分类误差最低；

(2)强分类器的生成

使用得到的弱分类器对样本集中的样本图像逐一进行处理，处理的过程中，迭代次数S取值为10；得到强分类器；

(3)级联分类器的构建

将上述的强分类器串联组成级联分类器；级联分类器层数c＝15；

(4)行人存在性检测

(4.1)对于每一对经步骤23处理后的左、右图像，按式(16)对该左、右图像进行灰度化处理：

Y＝(0.299)R+(0.587)G+(0.114)B         (16)

(4.2)对灰度化处理后的图像进行缩放，使得该左、右图像均与训练样本图像大小一致，即20*20；然后使用得到的级联分类器分别对缩放后的左、右图像进行处理，确定每一对左、右图像中是否存在行人，若存在，用矩形框对行人进行标记，并用式(17)记录：

{(u_i,v_i)|i＝1,2,...n}        (17)

其中，i为当前帧待检测图像中的行人数目，(u_i,v_i)为标记行人的矩形框中心坐标。

进一步的，所述步骤(1)中阈值θ_j的确定具体包括以下步骤：

(1.0)输入训练样本集，包括M个正样本，N个负样本，共Q＝M+N个样本，初始化样本权重为1/Q；

(1.1)采用SURF算法分别对正、负样本图像进行处理，得到正、负样本图像中的特征点，并得到特征点对应的64(4*16)维的特征向量f_j(x)，其中，j＝1,...,n，n为检测子窗口中SURF特征点的个数；

对每个特征点对应的特征向量f_j(x)，利用式(10)计算正、负样本集中每一个特征点对应的训练样本特征值：

$F_j=\frac{1}{64}\underset{k=1}{\overset{16}{\mathrm{\Σ}}}\left(\right|\mathrm{\Σdx}|+|\mathrm{\Σdy}|+\mathrm{\Σ}|\mathrm{dx}|+\mathrm{\Σ}|\mathrm{dy}\left|\right)---\left(10\right)$

(1.2)将所有样本特征值按由大到小的顺序排序；

(1.3)遍历每一个特征值：计算全部行人样本的权重和T⁺；计算全部非行人样本的权重和T^-；计算该特征值前所有特征值对应的行人样本权重和S⁺；计算该特征值前所有特征值对应的非行人样本权重和S^-；

(1.4)选取当前特征值F_j与其前一个特征值F_j-1之间的数作为阈值，该阈值的分类误差为式(11)：

θ_j＝min(S⁺+(T^--S^-),S^-+(T⁺-S⁺))         (11)

寻找θ_j值最小的元素作为最优阈值，最优弱分类器训练结束。

进一步的，所述步骤25具体包括如下步骤：

(1)相机标定，得到双目相机的内外参数；

(2)利用改进SURF算法对步骤24中得到标记的SURF特征点进行匹配运算；具体包括如下步骤：

(2.1)快速索引匹配

对于有行人存在的左、右图像中的每个SURF特征点，计算Hessian矩阵的迹；如果左、右图像中有同号的特征点，说明该两个特征点具有相同的对比度；如果异号，说明两个特征点的对比度不同，放弃该两个特征点之间后续的相似性度量；

(2.2)绝对值距离的相似度

对于每两个同号的特征点采用式18所示的绝对值距离计算它们的相似度：

$L=\underset{r=1}{\overset{16}{\mathrm{\Σ}}}\underset{k=1}{\overset{4}{\mathrm{\Σ}}}|l_{\mathrm{irk}}-l_{\mathrm{jrk}}|,i=\mathrm{1,2},\·\·\·,N_1;j=\mathrm{1,2},\·\·\·,N_2---\left(18\right)$

式中，l_irk表示左图像中第i个SURF特征点在第r子区域的特征向量中的第k维值；l_jrk表示右图像中的第j个SURF特征点在第r子区域的特征向量中的第k维值；N₁表示左图像SURF特征点的个数；N₂表示右图像SURF特征点的个数；

对于左图像上的每个特征点，计算它到右图像上所有特征点的绝对值距离，得到一个距离集合；通过对距离集合进行比较运算，得到最小绝对值距离和次最小绝对值距离；设定阈值T，当最小绝对值距离和次最小绝对值距离的比值小于T时，认为该最小绝对值距离对应的右图像的特征点与左图像中的当前特征点是匹配的，否则，右图像中没有特征点与左图像中的当前特征点相匹配；阈值T＝0.5；

(2.3)基于主方向角度差消除误匹配

计算左、右图像中能够匹配的每一个特征点的主方向，通过式19计算每一对匹配点中两个特征点的主方向的角度差：

Δφ＝w₁-w₂           (19)

其中，w₁是左图像的特征点F₁对应的主方向，w₂是右图像的特征点F₂对应的主方向；

图像旋转体现在特征点主方向的旋转，角度差在某一水平值上下波动，误差极小；对于错误的匹配点，其角度差明显区别于整体变化趋势。因此，本发明中，对所有对匹配点以主方向角度差小于T₁为准则进行分类，即分别将主方向角度差小于T₁的匹配点对划为一类，不小于T₁的匹配点对划为另一类；类别中数量较多的一类即为正确的匹配点对，其余类别为错误匹配点对，对错误的匹配点对进行消除。

(3)三维测量，以左相机光心为世界坐标系原点，计算标记行人的矩形框中心的三维坐标值，根据三维坐标值得到行人相对于本车辆距离值、方位角，根据左图像或右图像的前后帧图像中行人距离变化值及方位角变化值，计算得到行人速度。

进一步的，还包括步骤3：基于卡尔曼滤波器的行人相关信息修正，具体包括如下步骤：

步骤31，加权融合：将步骤21得到的疑似行人目标的距离、方位角、速度和步骤24得到行人目标的距离、方位角以及速度进行如下式的加权融合处理，得到加权融合后的距离、方位角及速度；

C＝αA+βB        (20)

其中，α+β＝1，α是激光雷达数据的置信度；β是双目相机数据的置信度，α＝0.35，β＝0.65；A表示步骤21得到的疑似行人目标的距离、方位角或速度，B表示步骤24得到行人目标的距离、方位角或速度；

步骤32，对步骤31得到的三个行人信息分别采用卡尔曼滤波器处理，得到修正后的行人信息。

进一步的，所述步骤32的具体过程如下：

通过式(23)分别计算得到卡尔曼滤波处理后的三个行人相关信息：

X(k|k-1)＝AX(k-1|k-1)+BU(k)         (23)

式中，X(k|k-1)是行人信息的预测值；X(k-1|k-1)是上一时刻k-1的某一类行人信息的最优值，该行人信息的最优值的初始值设为0；U(k)为现在状态的控制量，U(k)＝0；A和B是系统参数，A为单位矩阵；

结合预测值和测量值，通过式25计算得到当前时刻k的行人信息的最优值X(k|k)：

X(k|k)＝X(k|k-1)+K_g(k)(Z(k)-HX(k|k-1))          (25)

其中，Z(k)为系统测量值，即步骤31得到的某一类行人信息；H是测量系统的参数，设为单位矩阵；K_g(k)为卡尔曼增益，用式(26)计算得到：

K_g(k)＝P(k|k-1)H′/(HP(k|k-1)H′+R)        (26)

式中，R是卡尔曼滤波器的测量方程中的测量噪声V(k)对应的协方差矩阵，R＝1e-2；H′是H的转置矩阵；P(k|k-1)是X(k|k-1)对应的协方差矩阵，用式(24)计算得到：

P(k|k-1)＝AP(k-1|k-1)A′+Q           (24)

式中，P(k-1|k-1)是X(k-1|k-1)对应的协方差矩阵，其初始值设为5；A′是A的转置矩阵；Q是状态方程中的过程噪声W(k)对应的协方差矩阵，Q＝1e-5；

更新k时刻的X(k|k)的协方差矩阵以保证卡尔曼滤波处理过程循环进行，如式(27)所示：

P(k|k)＝(I-K_g(k)H)P(k|k-1)            (27)

式中，I是元素都为1的矩阵；

当系统进入k+1状态时，P(k|k)即相当于式(24)中的P(k-1|k-1)。

本发明的另一个目的在于，提供一种基于激光雷达和双目相机的车前行人检测系统，具体包括相连接的数据采集模块以及行人信息计算模块：

数据采集模块，用于利用三台激光雷达和一台双目相机采集车辆前方数据；

行人信息计算模块，用于分别对激光雷达和双目相机采集的数据进行处理，得到行人相对于车辆的距离、方位角及速度值；该模块具体包括以下相连接的子模块：

疑似行人目标确定子模块，用于根据激光雷达采集的数据，进行疑似行人目标的确定及行人距离、方位角和速度的计算；

行人目标映射子模块，用于将三个激光雷达分别与双目相机进行标定，使得每个激光雷达确定的疑似行人目标分别映射到双目相机采集的左、右图像中；

特征点采集子模块，用于采用SURF算法分别对左、右图像进行处理，得到左、右图像中每个疑似行人目标的特征点，并得到每个特征点对应的特征向量；

行人标记子模块，用于根据得到的每个特征点对应的特征向量，基于SURF特征的AdaBoost级联分类器检测图像中的行人并标记；

行人目标计算子模块，用于利用双目相机采集的图像数据计算得到行人相对于车辆的距离、方位角及速度值。

进一步的，该系统还包括与数据采集模块以及行人信息计算模块分别相连接的行人信息修正模块，所述行人信息修正模块包括如下子模块：

加权融合子模块，用于将疑似行人目标确定子模块输出的疑似行人目标的距离、方位角、速度和行人标记子模块输出的行人目标的距离、方位角以及速度进行如下式的加权融合处理，得到加权融合后的距离、方位角及速度；

C＝αA+βB        (20)

其中，α+β＝1，α是激光雷达数据的置信度；β是双目相机数据的置信度，α＝0.35，β＝0.65；A表示步骤21得到的疑似行人目标的距离、方位角或速度，B表示行人标记子模块输出的行人目标的距离、方位角或速度；

修正子模块，用于对加权融合子模块得到的三个行人信息分别采用卡尔曼滤波器处理，得到修正后的行人信息。

本发明与已有技术相比，具有以下优点：

(1)测量精度高。通过传感器多方位、多层次化放置，以及传感器数据从时间和空间的融合，能够获得准确且完整的数据，为精确计算车辆前方的行人距离、位置以及速度信息提供保证；

(2)融合激光雷达和双目相机的行人检测，其次通过基于SURF的AdaBoost级联分类器进行行人存在性检测，最后基于改进SURF的立体视觉计算行人信息。能够高效且准确的判断行人存在情况。

附图说明

图1是本发明的基于激光雷达和双目相机的车前行人检测方法的流程图。

图2是激光雷达与双目相机的安装示意图。

图3是于SURF特征的AdaBoost级联分类器检测图像中的行人的流程图。

图4是行人车辆位置示意图。

以下结合附图和具体实施方式对本发明进一步解释说明。

具体实施方式

实施例：

本实施例的激光雷达与双目相机的车前行人检测方法，所采用的数据采集装置包括安装在车辆前方左右两处的两个LMS111激光雷达、安装在车辆前方中间处的LMS511激光雷达、安装在车内后视镜背面中间处的Bumblebee2立体相机、与三个激光雷达和相机相连接的千兆网络交换机，以及与千兆网络交换机相连接的服务器，一台发电机以及一台UPS。其中，LMS511远距离激光雷达的激光扫描平面与车底座平面平行，左边的LMS111近距离雷达的激光扫描平面斜向下8°，右边的LMS111近距离雷达的激光扫描平面斜向上8°。双目相机的视野能够覆盖车辆前方横向66°范围以满足车辆前方行人检测需求；服务器、千兆网络交换机和UPS放置于车内后排平台上的机架内，发电机放置于车辆后备箱中。

激光雷达的上中下三个位置设计以及型号选择，使得获取的数据较为完整和准确。双目相机型号及安装位置的选择，都严格考虑到真实交通环境中车辆行驶速度以及行人检测范围，满足车辆行驶中行人检测要求。上述各部件安装角度的选择能够实现多层次扫描以扫描到更多的点，从而能够精确的判断疑似行人目标的存在。

如图1所示，本发明的融合激光雷达与双目相机信息的车辆前方行人检测方法，具体包括以下步骤：

步骤1，利用三台激光雷达和一台双目相机采集车辆前方数据。

已知激光雷达数据采集频率为25Hz，摄像机数据采集频率为48fps，由于频率不同，采集得到的数据不同步。为了解决时间同步问题，引入线程同步策略，以分配三个激光雷达数据采集线程和两个相机数据采集线程，激光雷达数据采集线程接收数据的同时摄像机数据采集线程采集帧图像，实现了激光雷达和双目相机在时间上的同步。

三个激光雷达采集的数据为帧格式，每帧数据包含1081个检测点的距离值；双目相机采集的数据为视频流数据，算法处理对象是视频流中的图像帧。较高的采集速率以及较宽的视野范围，保证了采集数据的完整性和可靠性。

上述时间上和空间上的数据融合是为了使采集到的行人相对于车辆的距离、方位角及速度信息的可靠、准确。

步骤2，分别对激光雷达和双目相机采集的数据进行处理，得到行人相对于车辆的距离、方位角及速度值。包括以下步骤：

步骤21，根据激光雷达采集的数据，进行疑似行人目标的确定及距离、方位角和速度的计算。

(1)采用K均值聚类法对激光雷达每帧中的1081个数据点进行聚类，得到多个疑似行人点簇，疑似行人点簇为激光雷达视野范围内所有障碍物；将疑似行人点簇与行人的物理特征结合确定疑似行人目标；行人物理特征(如人的身高、宽度等特征)，本发明中采用身高、身体宽度作为行人物理特征，身高取值范围0.3m～2.5m，身体宽度取值范围为5cm～80cm。每个疑似行人点簇用式(3)表示：

{(x_i,y_i,r_i)|i＝1,2,...,m}           (3)

其中，i为每帧中疑似行人点簇的个数；x_i、y_i为簇中心的坐标；r_i为簇中心点(x_i,y_i)到簇边界的最大距离值，m为每帧中疑似行人点簇的最大个数。

(2)记录疑似行人目标的距离H_i、方位角θ_i及速度v_i信息。

疑似行人目标确定以后，记录其对应的疑似点簇中心相对于激光雷达坐标系的距离、方位角及速度信息，作为疑似行人目标的信息，疑似行人目标信息用式(4)表示：

{(H_i,θ_i,v_i)|i＝1,2,...,n}          (4)

式中，n为每帧中疑似行人目标的最大个数；n≤m；

步骤22，将三个激光雷达分别与双目相机进行标定，使得每个激光雷达确定的疑似行人目标分别映射到双目相机采集的左、右图像中。

下面以一台激光雷达与双目相机的标定方法进行说明：

通过式(1)、式(2)完成激光雷达数据到左右图像二维平面的映射：

[u_l v_l 1]^T＝A_l[Scosα*cosβ Ssinα H-Scosα*cosβ 1]^T      (1)

[u_r v_r 1]^T＝A_r[Scosα*cosβ Ssinα H-Scosα*cosβ 1]^T(2)

其中，u_l、v_l是左图像的像素坐标，A_l是激光雷达坐标系到左摄像机图像像素坐标系的3*4变换矩阵；u_r、v_r是右图像的像素坐标，A_r是激光雷达坐标系到右摄像机图像像素坐标系的3*4变换矩阵；S是激光雷达到扫描点的距离；H是激光雷达安装高度；α是激光雷达横向扫描角度；β是激光雷达安装俯仰角。矩阵A_l和矩阵A_r采用奇异值分解(SVD)确定得到的。

本发明采用改进的SURF算法检测特征点，算法执行效率高且鲁棒性好。

步骤23、采用SURF算法分别对左、右图像进行处理，得到左、右图像中每个疑似行人目标的特征点，对于每个特征点，以每个特征点为中心，选取其邻域范围内20σ*20σ大小的区域，其中，σ为空间中的任一点在尺度空间中的尺度；将区域的主方向旋转到特征点的主方向。将此区域划分为4*4共16个子区域。对每个子区域，计算每个像素点经过加权的Harr小波在X方向和Y方向的响应值dx、dy，然后建立一个四维的特征向量如式(8)：

v＝(Σdx,Σdy,Σ|dx|,Σ|dy)        (8)

将16个子区域的向量分别加入到该特征向量中，形成上述特征点对应的64(4*16)维的特征向量。

在本发明的特征点检测中，Hessian矩阵的行列式计算中的权重系数ω取值为0.9。

步骤24、根据得到的每个特征点对应的特征向量，基于SURF特征的AdaBoost级联分类器检测图像中的行人并标记；

本发明提出一种基于SURF特征的AdaBoost级联分类器进行行人检测。首先将SURF特征点对应的特征向量输入到弱分类器进行训练，将训练后的弱分类器形成强分类器，最后构建级联分类器，离线训练过程完成后，输入待检测图像数据进行行人存在性检测。AdaBoost是一种迭代算法，其核心思想是针对同一个训练集训练不同的弱分类器，然后把这些弱分类器结合起来，构造一个最终的强分类器。

具体如下：

(1)将SURF特征点对应的特征向量输入到弱分类器进行训练；

在本发明中为简化计算，采用二值弱分类器。该弱分类器输出1代表存在行人，输出0代表不存在行人，用公式(9)描述：

其中，x为一个检测子窗口，本发明中取值为20*20，n为检测子窗口中SURF特征点的个数，f_j(x)为第j个特征点的特征向量，p_j为偏置系数，θ_j为阈值。

对每个特征点对应的特征向量f_j(x)，训练弱分类器h_j(x,f,p,θ)即确定最优分类阈值，使得弱分类器h_j(x,f,p,θ)对所有训练样本的分类误差最低。

对阈值θ_j的确定具体包括以下步骤：

(1.0)输入训练样本集，包括M个正样本，N个负样本，共Q＝M+N个样本，初始化样本权重为1/Q。

输入大小为64*128的正、负样本作为训练样本，其中，正样本图像包含各种姿态、高矮、胖瘦的行人，负样本图像中不包含行人，正样本个数M为1003，负样本个数N为3028。输入的样本图像先要经过样本归一化预处理，即将输入的灰度化样本归一化为20*20像素的样本集，归一化后的样本集能够更快速的训练分类器。

(1.1)采用SURF算法分别对正、负样本图像进行处理，得到正、负样本图像中的特征点，并得到特征点对应的64(4*16)维的特征向量f_j(x)，其中，j＝1,...,n，n为检测子窗口中SURF特征点的个数；(该步骤的具体处理同步骤23)

对每个特征点对应的特征向量f_j(x)，利用式(10)计算正、负样本集中每一个特征点对应的训练样本特征值：

$F_j=\frac{1}{64}\underset{k=1}{\overset{16}{\mathrm{\Σ}}}\left(\right|\mathrm{\Σdx}|+|\mathrm{\Σdy}|+\mathrm{\Σ}|\mathrm{dx}|+\mathrm{\Σ}|\mathrm{dy}\left|\right)---\left(10\right)$

(1.2)将所有样本特征值按由大到小的顺序排序；

(1.3)遍历每一个特征值：计算全部行人样本的权重和T⁺；计算全部非行人样本的权重和T^-；计算该特征值前所有特征值对应的行人样本权重和S⁺；计算该特征值前所有特征值对应的非行人样本权重和S^-；

(1.4)选取当前特征值F_j与其前一个特征值F_j-1之间的数作为阈值，该阈值的分类误差为式(11)：

θ_j＝min(S⁺+(T^--S^-),S^-+(T⁺-S⁺))        (11)

寻找θ_j值最小的元素作为最优阈值，最优弱分类器训练结束。

(2)强分类器的生成

使用得到的弱分类器对样本集中的样本图像逐一进行处理，处理的过程中，迭代次数S取值为10；得到强分类器。

(3)级联分类器的构建

将上述的强分类器串联组成级联分类器；本发明中，级联分类器层数c＝15。

(4)行人存在性检测

(4.1)对于每一对经步骤23处理后的左、右图像，按式(16)对该左、右图像进行灰度化处理：

Y＝(0.299)R+(0.587)G+(0.114)B         (16)

(4.2)对灰度化处理后的图像进行缩放，使得该左、右图像均与训练样本图像大小一致，即20*20；这是由于灰度化处理后的图像中行人位置不确定且大小不确定，为了应用生成的级联分类器检测出行人而进行该处理。然后使用得到的级联分类器分别对缩放后的左、右图像进行处理，确定每一对左、右图像中是否存在行人，若存在，用矩形框对行人进行标记，并用式(17)记录：

{(u_i,v_i)|i＝1,2,...n}       (17)

其中，i为当前帧待检测图像中的行人数目，(u_i,v_i)为标记行人的矩形框中心坐标。

本发明中，单帧图像行人检测处理时间为42ms。强分类器的正确检测率d_c≥99.5％，误识率f_c≤50％。计算得到该级联分类器的最终行人正检率D≥92.8％，最终行人误检率F≤0.0003％。

步骤25、利用双目相机采集的图像数据计算行人相对于车辆的距离、方位角及速度值。

对于检测出行人的每一对左、右图像，计算出行人的距离、方位角及速度值。具体包括如下步骤：

(1)相机标定，采用张正友标定方法，利用加州理工学院开发Matlab标定工具箱进行标定，得到双目相机的内外参数；

(2)立体匹配，利用改进SURF算法对步骤24中得到的有行人存在的图像中的矩形框内的SURF特征点进行匹配运算。

该步骤中用来匹配的点是步骤24中得到的有行人存在的图像中的矩形框内的SURF特征点。特征点匹配分3步进行，首先，沿用SURF算法自有的快速索引匹配进行初步筛选；然后，选用绝对值距离匹配特征点对快速索引匹配的结果进一步优化；最后，基于主方向的角度差消除误匹配点，获得最终匹配点。

(2.1)快速索引匹配

对于有行人存在的左、右图像中的每个SURF特征点，计算Hessian矩阵的迹；如果左、右图像中有同号的特征点，说明该两个特征点具有相同的对比度；如果异号，说明两个特征点的对比度不同，放弃该两个特征点之间后续的相似性度量。以减少匹配所用时间，且不会影响配准的匹配率。

(2.2)绝对值距离的相似度

对于每两个同号的特征点采用式18所示的绝对值距离计算它们的相似度：

$L=\underset{r=1}{\overset{16}{\mathrm{\Σ}}}\underset{k=1}{\overset{4}{\mathrm{\Σ}}}|l_{\mathrm{irk}}-l_{\mathrm{jrk}}|,i=\mathrm{1,2},\·\·\·,N_1;j=\mathrm{1,2},\·\·\·,N_2---\left(18\right)$

式中，l_irk表示左图像中第i个SURF特征点在第r子区域的特征向量中的第k维值；l_jrk表示右图像中的第j个SURF特征点在第r子区域的特征向量中的第k维值；N₁表示左图像SURF特征点的个数；N₂表示右图像SURF特征点的个数。

对于左图像上的每个特征点，计算它到右图像上所有特征点的绝对值距离，得到一个距离集合；通过对距离集合进行比较运算，得到最小绝对值距离和次最小绝对值距离；设定阈值T，当最小绝对值距离和次最小绝对值距离的比值小于T时，认为该最小绝对值距离对应的右图像的特征点与左图像中的当前特征点是匹配的，否则，右图像中没有特征点与左图像中的当前特征点相匹配。阈值设定越小，配准点对越少，但配准更稳定。在本发明中，取阈值T＝0.5。

本发明采用绝对值距离代替欧氏距离，提高了算法的效率。对于每一对待判断匹配点，已知采用欧氏距离需要进行64次乘法、63次加法和1次开方，而绝对值距离只需进行63次加法。那么，当有n对待判断匹配点时，绝对值距离较欧氏距离计算量将减少65n次，缩短了运行时间。

(2.3)基于主方向角度差消除误匹配

计算左、右图像中能够匹配的每一个特征点的主方向，通过式19计算每一对匹配点中两个特征点的主方向的角度差：

Δφ＝w₁-w₂        (19)

其中，w₁是左图像的特征点F₁对应的主方向，w₂是右图像的特征点F₂对应的主方向；

图像旋转体现在特征点主方向的旋转，角度差在某一水平值上下波动，误差极小；对于错误的匹配点，其角度差明显区别于整体变化趋势。因此，本发明中，对所有对匹配点以主方向角度差小于T₁为准则进行分类，即分别将主方向角度差小于T₁的匹配点对划为一类，不小于T₁的匹配点对划为另一类；类别中数量较多的一类即为正确的匹配点对，其余类别为错误匹配点对，对错误的匹配点对进行消除。

(3)三维测量，以左相机光心为世界坐标系原点，计算标记行人的矩形框中心的三维坐标值，根据三维坐标值得到行人相对于本车辆距离值、方位角，根据左图像或右图像的前后帧图像中行人距离变化值及方位角变化值，计算得到行人速度。

单个传感器测量结果可能受到噪声影响而致使测量存在误差，为了进一步减小误差，采用信息滤波策略能够得到更精确的结果。可选的，在本发明中，可采用卡尔曼滤波器对行人的相关信息进行修正。

步骤3、基于卡尔曼滤波器的行人相关信息修正。

步骤31，加权融合：将步骤21得到的疑似行人目标的距离、方位角、速度和步骤24得到行人目标的距离、方位角以及速度进行如下式的加权融合处理，得到加权融合后的距离、方位角及速度。

C＝αA+βB        (20)

其中α+β＝1，α是激光雷达数据的置信度；β是双目相机数据的置信度。考虑到不同类型传感器数据可信度不同，激光雷达和相机分别设置不等置信度，经试验确定，α＝0.35，β＝0.65；A表示步骤21得到的疑似行人目标的距离、方位角或速度，B表示步骤24得到行人目标的距离、方位角或速度。

步骤32，可选的，为了进一步修正处理结果，对步骤31得到的三个行人信息分别采用卡尔曼滤波器处理，卡尔曼滤波器处理计算过程如下：

通过式(23)分别计算得到卡尔曼滤波处理后的三个行人相关信息，如：

X(k|k-1)＝AX(k-1|k-1)+BU(k)         (23)

式中，X(k|k-1)是行人信息的预测值；X(k-1|k-1)是上一时刻k-1的某一类行人信息的最优值，在本发明中将行人信息的最优值的初始值设为0；U(k)为现在状态的控制量，本发明中，U(k)＝0；A和B是系统参数，在本发明中，设A为单位矩阵。

结合预测值和测量值，通过式25计算得到当前时刻k的行人信息的最优值X(k|k)：

X(k|k)＝X(k|k-1)+K_g(k)(Z(k)-HX(k|k-1))       (25)

其中，Z(k)为系统测量值，即步骤31得到的某一类行人信息；H是测量系统的参数，本发明中设为单位矩阵；K_g(k)为卡尔曼增益，用式(26)计算得到：

K_g(k)＝P(k|k-1)H′/(HP(k|k-1)H′+R)       (26)

式中，R是卡尔曼滤波器的测量方程中的测量噪声V(k)对应的协方差矩阵，在本发明中，R＝1e-2；H′是H的转置矩阵；P(k|k-1)是X(k|k-1)对应的协方差矩阵，用式(24)计算得到：

P(k|k-1)＝AP(k-1|k-1)A′+Q        (24)

式中，P(k-1|k-1)是X(k-1|k-1)对应的协方差矩阵，在本发明中其初始值设为5；A′是A的转置矩阵；Q是状态方程中的过程噪声W(k)对应的协方差矩阵，在本发明中，Q＝1e-5。

更新k时刻的X(k|k)的协方差矩阵以保证卡尔曼滤波处理过程循环进行，如式(27)所示：

P(k|k)＝(I-K_g(k)H)P(k|k-1)         (27)

式中，I是元素都为1的矩阵。

当系统进入k+1状态时，P(k|k)即相当于式(24)中的P(k-1|k-1)。

经过本发明中以上步骤的处理，得到修正后的行人相关信息。

根据上述本发明的技术方案得到的行人相关信息，可以制定如下的行人防碰控制策略并加载到汽车的控制单元中。参见图4，是根据本发明的技术方案得到的当前行人相对于车辆的方位示意图。例如，当前的车辆行驶速度V1＝80Km/h，当前行人与本车辆距离S＝50m，行人行驶速度为V2＝4Km/h，行人相对于车辆前进方向夹角α＝30°，行人行走方向与车辆行驶方向的垂直方向夹角β＝20°；计算得到车辆从当前位置到A点距离值L＝S*sinα*tanβ+S*cosα，所需行驶时间t_l＝L/v₁；行人从当前位置到A点距离值M＝S·sinα/cosβ，所需行走时间t_m＝M/v₂。可知，当车辆到达A点所需行驶时间与行人到达A点所需行走时间相等时，即 $\frac{(S\·\sin \mathrm{\α}\·\tan \mathrm{\β}+S\·\cos \mathrm{\α})}{v_1}=\frac{S\·\sin \mathrm{\α}/\cos \mathrm{\β}}{v_2}$ 时，行人安全会受到威胁。

设驾驶员发现行人并做出反应需要时间为t_r，开始刹车到车辆停止时间为t_q，车辆警告发出到停止而无响应期间车辆行驶距离为L′。当满足(t_r+t_q)v₁+L′＜L时，为安全距离；当满足(t_r+t_q)v₁+L′＝L时，为警告距离；当车辆控制单元警告发出而无驾驶员响应即将结束时，为即将进入危险距离。

当控制单元为警告提醒时，触发报警装置警告驾驶员车辆前方存在危险行人，必须立即采取鸣笛、制动或者改变车辆航向角措施；当控制决策为危险信号时，车辆启动自动鸣笛、制动及改变车辆航向角措施。

所述车辆自动鸣笛、制动及改变车辆航向角措施中，鸣笛、刹车制动是启动后就直接执行而无需先验信息的，车辆航向角的改变是根据激光雷达和双目相机采集的数据而实施的。行人相对于车辆的位置已知，车辆行驶方向朝无行人区域改变。

Claims (10)

1.一种基于激光雷达和双目相机的车前行人检测方法，其特征在于，具体包括以下步骤：

步骤1，利用三台激光雷达和一台双目相机采集车辆前方数据；

步骤2，分别对激光雷达和双目相机采集的数据进行处理，得到行人相对于车辆的距离、方位角及速度值；具体包括以下步骤：

步骤21，根据激光雷达采集的数据，进行疑似行人目标的确定及行人距离、方位角和速度的计算；

步骤22，将三个激光雷达分别与双目相机进行标定，使得每个激光雷达确定的疑似行人目标分别映射到双目相机采集的左、右图像中；

步骤23、采用SURF算法分别对左、右图像进行处理，得到左、右图像中每个疑似行人目标的特征点，并得到每个特征点对应的特征向量；

步骤24、根据得到的每个特征点对应的特征向量，基于SURF特征的AdaBoost级联分类器检测图像中的行人并标记；

步骤25、利用双目相机采集的图像数据计算得到行人相对于车辆的距离、方位角及速度值。

2.如权利要求1所述的基于激光雷达和双目相机的车前行人检测方法，其特征在于，所述步骤21具体包括如下步骤：

(1)采用K均值聚类法对激光雷达每帧中的1081个数据点进行聚类，得到多个疑似行人点簇，疑似行人点簇为激光雷达视野范围内所有障碍物；将疑似行人点簇与行人的物理特征结合确定疑似行人目标；每个疑似行人点簇用式(3)表示：

{(x_i,y_i,r_i)|i＝1,2,...,m}         (3)

其中，i为每帧中疑似行人点簇的个数；x_i、y_i为簇中心的坐标；r_i为簇中心点(x_i,y_i)到簇边界的最大距离值，m为每帧中疑似行人点簇的最大个数；

(2)记录疑似行人目标的距离H_i、方位角θ_i及速度v_i信息；

疑似行人目标确定以后，记录其对应的疑似点簇中心相对于激光雷达坐标系的距离、方位角及速度信息，作为疑似行人目标的信息，疑似行人目标信息用式(4)表示：

{(H_i,θ_i,v_i)|i＝1,2,...,n}            (4)

式中，n为每帧中疑似行人目标的最大个数；n≤m。

3.如权利要求1所述的基于激光雷达和双目相机的车前行人检测方法，其特征在于，所述步骤23的具体步骤是：对于每个所述的特征点，选取其邻域范围内20σ*20σ大小的区域，其中，σ为空间中的任一点在尺度空间中的尺度；将区域的主方向旋转到特征点的主方向；将此区域划分为4*4共16个子区域；对每个子区域，计算每个像素点经过加权的Harr小波在X方向和Y方向的响应值dx、dy，然后建立一个四维的特征向量如式(8)：

v＝(Σdx,Σdy,Σ|dx|,Σ|dy|)            (8)

将16个子区域的向量分别加入到该特征向量中，形成上述特征点对应的64(4*16)维的特征向量。

4.如权利要求1所述的基于激光雷达和双目相机的车前行人检测方法，其特征在于，所述步骤24具体包括如下步骤：

(1)将SURF特征点对应的特征向量输入到二值弱分类器进行训练；

所述二值弱分类器输出1代表存在行人，输出0代表不存在行人，用公式(9)描述：

其中，x为一个检测子窗口，取为20*20，n为检测子窗口中SURF特征点的个数，f_j(x)为第j个特征点的特征向量，p_j为偏置系数，θ_j为阈值；

对每个特征点对应的特征向量f_j(x)，训练弱分类器h_j(x,f,p,θ)，使得弱分类器h_j(x,f,p,θ)对所有训练样本的分类误差最低；

(2)强分类器的生成

使用得到的弱分类器对样本集中的样本图像逐一进行处理，处理的过程中，迭代次数S取值为10；得到强分类器；

(3)级联分类器的构建

将上述的强分类器串联组成级联分类器；级联分类器层数c＝15；

(4)行人存在性检测

(4.1)对于每一对经步骤23处理后的左、右图像，按式(16)对该左、右图像进行灰度化处理：

Y＝(0.299)R+(0.587)G+(0.114)B         (16)

(4.2)对灰度化处理后的图像进行缩放，使得该左、右图像均与训练样本图像大小一致，即20*20；然后使用得到的级联分类器分别对缩放后的左、右图像进行处理，确定每一对左、右图像中是否存在行人，若存在，用矩形框对行人进行标记，并用式(17)记录：

{(u_i,v_i)|i＝1,2,...n}         (17)

其中，i为当前帧待检测图像中的行人数目，(u_i,v_i)为标记行人的矩形框中心坐标。

5.如权利要求4所述的基于激光雷达和双目相机的车前行人检测方法，其特征在于，所述步骤(1)中阈值θ_j的确定具体包括以下步骤：

(1.0)输入训练样本集，包括M个正样本，N个负样本，共Q＝M+N个样本，初始化样本权重为1/Q；

(1.1)采用SURF算法分别对正、负样本图像进行处理，得到正、负样本图像中的特征点，并得到特征点对应的64(4*16)维的特征向量f_j(x)，其中，j＝1,...,n，n为检测子窗口中SURF特征点的个数；

对每个特征点对应的特征向量f_j(x)，利用式(10)计算正、负样本集中每一个特征点对应的训练样本特征值：

$F_j=\frac{1}{64}\underset{k=1}{\overset{16}{\mathrm{\Σ}}}\left(\right|\mathrm{\Σdx}|+|\mathrm{\Σdy}|+\mathrm{\Σ}|\mathrm{dx}|+\mathrm{\Σ}|\mathrm{dy}\left|\right)---\left(10\right)$

(1.2)将所有样本特征值按由大到小的顺序排序；

(1.3)遍历每一个特征值：计算全部行人样本的权重和T⁺；计算全部非行人样本的权重和T^-；计算该特征值前所有特征值对应的行人样本权重和S⁺；计算该特征值前所有特征值对应的非行人样本权重和S^-；

(1.4)选取当前特征值F_j与其前一个特征值F_j-1之间的数作为阈值，该阈值的分类误差为式(11)：

θ_j＝min(S⁺+(T^--S^-),S^-+(T⁺-S⁺))         (11)

寻找θ_j值最小的元素作为最优阈值，最优弱分类器训练结束。

6.如权利要求1所述的基于激光雷达和双目相机的车前行人检测方法，其特征在于，所述步骤25具体包括如下步骤：

(1)相机标定，得到双目相机的内外参数；

(2)利用改进SURF算法对步骤24中得到标记的SURF特征点进行匹配运算；具体包括如下步骤：

(2.1)快速索引匹配

对于有行人存在的左、右图像中的每个SURF特征点，计算Hessian矩阵的迹；如果左、右图像中有同号的特征点，说明该两个特征点具有相同的对比度；如果异号，说明两个特征点的对比度不同，放弃该两个特征点之间后续的相似性度量；

(2.2)绝对值距离的相似度

对于每两个同号的特征点采用式18所示的绝对值距离计算它们的相似度：

$L=\underset{r=1}{\overset{16}{\mathrm{\Σ}}}\underset{k=1}{\overset{4}{\mathrm{\Σ}}}|l_{\mathrm{irk}}-l_{\mathrm{jrk}}|,i=\mathrm{1,2},...,N_1;j=\mathrm{1,2},...,N_2---\left(18\right)$

式中，l_irk表示左图像中第i个SURF特征点在第r子区域的特征向量中的第k维值；l_jrk表示右图像中的第j个SURF特征点在第r子区域的特征向量中的第k维值；N₁表示左图像SURF特征点的个数；N₂表示右图像SURF特征点的个数；

对于左图像上的每个特征点，计算它到右图像上所有特征点的绝对值距离，得到一个距离集合；通过对距离集合进行比较运算，得到最小绝对值距离和次最小绝对值距离；设定阈值T，当最小绝对值距离和次最小绝对值距离的比值小于T时，认为该最小绝对值距离对应的右图像的特征点与左图像中的当前特征点是匹配的，否则，右图像中没有特征点与左图像中的当前特征点相匹配；阈值T＝0.5；

(2.3)基于主方向角度差消除误匹配

计算左、右图像中能够匹配的每一个特征点的主方向，通过式19计算每一对匹配点中两个特征点的主方向的角度差：

Δφ＝w₁-w₂           (19)

其中，w₁是左图像的特征点F₁对应的主方向，w₂是右图像的特征点F₂对应的主方向；

图像旋转体现在特征点主方向的旋转，角度差在某一水平值上下波动，误差极小；对于错误的匹配点，其角度差明显区别于整体变化趋势。因此，本发明中，对所有对匹配点以主方向角度差小于T₁为准则进行分类，即分别将主方向角度差小于T₁的匹配点对划为一类，不小于T₁的匹配点对划为另一类；类别中数量较多的一类即为正确的匹配点对，其余类别为错误匹配点对，对错误的匹配点对进行消除。

(3)三维测量，以左相机光心为世界坐标系原点，计算标记行人的矩形框中心的三维坐标值，根据三维坐标值得到行人相对于本车辆距离值、方位角，根据左图像或右图像的前后帧图像中行人距离变化值及方位角变化值，计算得到行人速度。

7.如权利要求1所述的基于激光雷达和双目相机的车前行人检测方法，其特征在于，还包括步骤3：基于卡尔曼滤波器的行人相关信息修正，具体包括如下步骤：

步骤31，加权融合：将步骤21得到的疑似行人目标的距离、方位角、速度和步骤24得到行人目标的距离、方位角以及速度进行如下式的加权融合处理，得到加权融合后的距离、方位角及速度；

C＝αA+βB            (20)

其中，α+β＝1，α是激光雷达数据的置信度；β是双目相机数据的置信度，α＝0.35，β＝0.65；A表示步骤21得到的疑似行人目标的距离、方位角或速度，B表示步骤24得到行人目标的距离、方位角或速度；

步骤32，对步骤31得到的三个行人信息分别采用卡尔曼滤波器处理，得到修正后的行人信息。

8.如权利要求7所述的基于激光雷达和双目相机的车前行人检测方法，其特征在于，所述步骤32的具体过程如下：

通过式(23)分别计算得到卡尔曼滤波处理后的三个行人相关信息：

X(k|k-1)＝AX(k-1|k-1)+BU(k)          (23)

式中，X(k|k-1)是行人信息的预测值；X(k-1|k-1)是上一时刻k-1的某一类行人信息的最优值，该行人信息的最优值的初始值设为0；U(k)为现在状态的控制量，U(k)＝0；A和B是系统参数，A为单位矩阵；

结合预测值和测量值，通过式25计算得到当前时刻k的行人信息的最优值X(k|k)：

X(k|k)＝X(k|k-1)+K_g(k)(Z(k)-HX(k|k-1))         (25)

其中，Z(k)为系统测量值，即步骤31得到的某一类行人信息；H是测量系统的参数，设为单位矩阵；K_g(k)为卡尔曼增益，用式(26)计算得到：

K_g(k)＝P(k|k-1)H′/(HP(k|k-1)H′+R)        (26)

式中，R是卡尔曼滤波器的测量方程中的测量噪声V(k)对应的协方差矩阵，R＝1e-2；H′是H的转置矩阵；P(k|k-1)是X(k|k-1)对应的协方差矩阵，用式(24)计算得到：

P(k|k-1)＝AP(k-1|k-1)A′+Q              (24)

式中，P(k-1|k-1)是X(k-1|k-1)对应的协方差矩阵，其初始值设为5；A′是A的转置矩阵；Q是状态方程中的过程噪声W(k)对应的协方差矩阵，Q＝1e-5；

更新k时刻的X(k|k)的协方差矩阵以保证卡尔曼滤波处理过程循环进行，如式(27)所示：

P(k|k)＝(I-K_g(k)H)P(k|k-1)            (27)

式中，I是元素都为1的矩阵；

当系统进入k+1状态时，P(k|k)即相当于式(24)中的P(k-1|k-1)。

9.一种基于激光雷达和双目相机的车前行人检测系统，其特征在于，具体包括相连接的数据采集模块以及行人信息计算模块：

数据采集模块，用于利用三台激光雷达和一台双目相机采集车辆前方数据；

行人信息计算模块，用于分别对激光雷达和双目相机采集的数据进行处理，得到行人相对于车辆的距离、方位角及速度值；该模块具体包括以下相连接的子模块：

疑似行人目标确定子模块，用于根据激光雷达采集的数据，进行疑似行人目标的确定及行人距离、方位角和速度的计算；

行人目标映射子模块，用于将三个激光雷达分别与双目相机进行标定，使得每个激光雷达确定的疑似行人目标分别映射到双目相机采集的左、右图像中；

特征点采集子模块，用于采用SURF算法分别对左、右图像进行处理，得到左、右图像中每个疑似行人目标的特征点，并得到每个特征点对应的特征向量；

行人标记子模块，用于根据得到的每个特征点对应的特征向量，基于SURF特征的AdaBoost级联分类器检测图像中的行人并标记；

行人目标计算子模块，用于利用双目相机采集的图像数据计算得到行人相对于车辆的距离、方位角及速度值。

10.如权利要求9所述的基于激光雷达和双目相机的车前行人检测系统，其特征在于，还包括与数据采集模块以及行人信息计算模块分别相连接的行人信息修正模块，所述行人信息修正模块包括如下子模块：

加权融合子模块，用于将疑似行人目标确定子模块输出的疑似行人目标的距离、方位角、速度和行人标记子模块输出的行人目标的距离、方位角以及速度进行如下式的加权融合处理，得到加权融合后的距离、方位角及速度；

C＝αA+βB           (20)

其中，α+β＝1，α是激光雷达数据的置信度；β是双目相机数据的置信度，α＝0.35，β＝0.65；A表示步骤21得到的疑似行人目标的距离、方位角或速度，B表示行人标记子模块输出的行人目标的距离、方位角或速度；

修正子模块，用于对加权融合子模块得到的三个行人信息分别采用卡尔曼滤波器处理，得到修正后的行人信息。