CN109472218A - 一种基于行人方向识别的汽车辅助驾驶安全方法 - Google Patents

Abstract

本发明公开了一种基于行人方向识别的汽车辅助驾驶安全方法包括：基于单帧图像的行人检测，基于单帧图像的行人方向识别，基于视频序列的行人行走方向分析，预测行人未来的行走方向，预测汽车与行人发生碰撞的潜在危险，将潜在危险提示给驾驶员。本发明提供的技术方案在行人识别的基础上，通过分析和预测行人的行走方向，以实现预测汽车与行人相撞的潜在危险，最后将潜在危险提示给驾驶员，从而辅助驾驶员安全驾驶。本发明通过优化之后的特征选取和分类器，使用车载摄像头和图像处理器实现了对行人的检测，在保证准确率的同时还具有较高的实时性，有效保障了行人的安全。

Description

一种基于行人方向识别的汽车辅助驾驶安全方法

技术领域

本发明涉及安全驾驶技术领域，尤其涉及一种基于行人方向识别的汽车辅助驾驶安全方法。

背景技术

汽车辅助驾驶安全系统通过雷达、探测器、摄像头等车载设备，利用计算机视觉技术检测行人/障碍物，预测汽车与行人/障碍物相撞的潜在危险，及时提醒驾驶员或者利用自动控制技术使汽车自动减速或自动停车。行人检测作为该系统的重要一部分，是当今计算机视觉领域的核心难点问题。对于运动的行人，光线、路面环境的复杂性，行人服装、姿态的多样性以及行人行走方向的不确定性，都会增加行人识别的难度。很多学者提出了许多行之有效的检测行人的算法。例如，ASM(Active Shape Model)通过若干关键特征点的坐标依次串联形成一个特征向量来表示行人的几何形状，对行人服装、光线等变化具有鲁棒性，但是要数据的归一化操作，而且过分依赖平均模型的初始化位置；方向梯度直方图(Histogram of Oriented Gradient)特征和支持向量机(Support Vector Machines)构建的行人检测器，其分单元的处理方法使得图像局部像素点之间的关系可以很好得到表征，但由于其描述子生成过程冗长，导致速度慢，实时性差。

发明内容

为解决现有技术存在的局限和缺陷，本发明提供一种基于行人方向识别的汽车辅助驾驶安全方法，包括：

根据Haar-like特征和Adaboost算法形成行人检测器，用于检测单帧图像之中的行人位置；

通过整合头部方向信息的级联分类器对行人方向进行识别，以对所述单帧图像之中的行人方向进行分类；

根据一段视频之中连续帧的信息对所述行人位置和所述行人方向进行纠错，而且通过统计学模型分析出行人在所述视频之中的分段方向；

根据所述行人位置、所述行人方向以及所述分段方向使用预测模型预测所述单帧图像之中预设帧数之后行人的行走方向和位置信息；

根据汽车的速度、方向以及行人的速度、预测的行走方向、预测的位置信息获得所述汽车与所述行人之间发生碰撞的概率；

根据所述概率获得具有潜在碰撞危险的行人信息，而且将所述行人信息提示给驾驶员。

可选的，所述根据Haar-like特征和Adaboost算法形成行人检测器的步骤包括：

获取训练样本，所述训练样本包括2800个行人样本和4100个背景样本；

使用Haar-like特征和Adaboost算法对所述训练样本进行训练；

根据训练结果形成行人检测器。

可选的，所述使用Haar-like特征和Adaboost算法对所述训练样本进行训练的步骤包括：

使用Haar-like特征对所述训练样本的输入图像进行特征提取；

根据特征提取结果使用Adaboost算法对所述训练样本进行训练。

可选的，所述通过整合头部方向信息的级联分类器对行人方向进行识别的步骤包括：

通过整合头部方向信息、一对一分类的分类方法以及一类对余类的分类方法形成级联分类器；

根据所述级联分类器对所述行人方向进行识别。

可选的，所述级联分类器将所述单帧图像之中的行人方向分类为8种，从0°到315°，每45°分为一类。

可选的，所述一对一分类的分类方法为每两类训练一个分类器，对于一个k类问题，需要k(k-1)/2个分类函数；

所述一类对余类的分类方法训练k个分类器，其中第i个分类器把第i类与余下的各类分开，训练时第i个分类器取训练集之中第i类为正类，其余类别为负类进行训练。

可选的，所述通过整合头部方向信息、一对一分类的分类方法以及一类对余类的分类方法形成级联分类器的步骤包括：

形成8个分类器，每个分类器以一个方向和剩余的七个方向作为训练数据进行训练，根据公式(1)获得输入信号

F_i(x)＝sgn(g_i(x)) (1)

其中，i取值范围为[1，8]，sgn为信号函数。

可选的，所述根据所述级联分类器对所述行人方向进行识别的步骤包括：

将行人的头部方向样本分为两大类：背向样本和面向样本，所述背向样本包括45°、90°、135°，所述面向样本包括225°、270°、315°；

平均间隔45°将所述行人方向分为6类，行人的身体方向分为6类，行人的头部方向分为6类；

根据所述身体方向和所述头部方向使用贝叶斯公式对所述行人方向进行判断，所述贝叶斯公式如下

f(I)＝argmax P(x_i|θ_i，ω_i) (2)

其中，x_i∈D为行人方向，θ_i为身体方向，ω_i为头部方向。

本发明具有下述有益效果：

本发明提供的基于行人方向识别的汽车辅助驾驶安全方法包括：基于单帧图像的行人检测，基于单帧图像的行人方向识别，基于视频序列的行人的行走方向分析，预测行人未来的行走方向，预测汽车与行人发生碰撞的潜在危险，将潜在危险提示给驾驶员。

本发明提供的技术方案在行人识别的基础上，通过分析和预测行人的行走方向，以实现预测汽车与行人相撞的潜在危险，最后将潜在危险的相关信息实时提供给驾驶员，从而辅助驾驶员安全驾驶。本发明通过优化之后的特征选取和分类器，使用车载摄像头和图像处理器实现了对行人的检测，在保证准确率的同时还具有较高的实时性，有效保障了行人的安全。

附图说明

图1为本发明实施例一提供的汽车辅助驾驶安全方法的金字塔模型示意图。

图2为本发明实施例一提供的行人检测器检测率的ROC曲线。

图3为本发明实施例一提供的级联分类器之中一类对余类分类器的分类结果。

图4为本发明实施例一提供的级联分类器的识别示意图。

图5为本发明实施例一提供的级联分类器基于单帧的行人方向识别结果。

图6为本发明实施例一提供的行人的行走方向分析以及预测示意图。

具体实施方式

为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图对本发明提供的基于行人方向识别的汽车辅助驾驶安全方法进行详细描述。

实施例一

图1为本发明实施例一提供的汽车辅助驾驶安全方法的金字塔模型示意图。如图所示，本实施例提供的汽车辅助驾驶安全方法的金字塔模型包含5个模块：行人检测模块、行人方向识别模块、行走方向分析模块、行人未来行走方向预测模块以及预测汽车与行人碰撞的危险性分析模块。从真实场景之中的行人检测开始，一级模块触发上一级模块的运行，直至预测汽车与行人碰撞的危险性分析，以便将更准确的危险信息提示给驾驶员。

本实施例提供的行人检测器的具体构建过程如下：

首先，识别精度和计算时间为实际驾驶环境之中检测和定位行人的两个标准，但是考虑到辅助驾驶系统的实时性，在保证一定识别精度的前提之下，需要选取计算速度更快的特征和学习算法。此外，宁愿出现多的误检也要尽量降低漏检，通过后续的阶段来纠正以提高行人检测的精度。因此，本实施例使用Haar-like特征和Adaboost分类器。

本实施例根据Haar-like特征和Adaboost算法形成行人检测器，用于检测单帧图像之中的行人位置。具体来说，本实施例获取训练样本，所述训练样本包括2800个行人样本和4100个背景样本；使用Haar-like特征和Adaboost算法对所述训练样本进行训练；根据训练结果形成行人检测器。图2为本发明实施例一提供的行人检测器检测率的ROC曲线。如图2所示，本实施例提供的实验数据采用2800个行人样本做正样本，4100个背景样本作为负样本。对于输入图像，本实施例首先使用Haar-like算法进行特征提取，然后使用级联Adaboost算法对6900个训练样本进行训练。

本实施例通过整合头部方向信息的级联分类器对行人方向进行识别，以对所述单帧图像之中的行人方向进行分类。具体来说，通过整合头部方向信息、一对一分类的分类方法以及一类对余类的分类方法形成级联分类器；根据所述级联分类器对所述行人方向进行识别。本实施例提供的技术方案在行人识别的基础上，通过分析和预测行人的行走方向，以实现预测汽车与行人相撞的潜在危险，最后将潜在危险的相关信息实时提供给驾驶员，从而辅助驾驶员安全驾驶。

考虑到不止是0°等垂直方向存在与汽车碰撞的潜在危险，夹角方向为45°也可能发生危险情况。通过更及时的掌握行走角度的变换，更有助于分析和预测行人未来的行走方向。因此，本实施例将行人方向分为8个，从0°到315°每45°分为一类。

本实施例分别使用一对一和一类对余类的分类方法。一对一分类方法为每两类训练一个分类器，对于一个k类问题，将有k(k-1)/2个分类函数。当对一个未知样本进行分类时，每个分类器都对这个样本的类别进行判断，而且为相应的类别“投上一票”，最后得票最多的类别即为该未知样本的类别。对于识别8个行人方向的问题，总共需要训练28个分类器。输出结果进行投票表决，获得票数最多的方向即为识别方向。

本实施例提供的一类对余类分类方法需要构造k个两类分类机，其中第i个分类机把第i类与余下的各类分开，训练时第i个分类机取训练集之中第i类为正类，其余类别为负类进行训练。本实施例通过优化之后的特征选取和分类器，使用车载摄像头和图像处理器实现了对行人的检测，在保证准确率的同时还具有较高的实时性，有效保障了行人的安全。

本实施例构建8个分类器，每一个分类器以一个方向和剩余的七个方向作为训练数据进行训练，根据公式(1)获得输入信号

F_i(x)＝sgn(g_i(x)) (1)

其中，i取值范围为[1，8]，sgn为信号函数。若只有一个+1值，则其对应类别为输入信号类别；若输出不只一个+1，即不只一类声称它属于自己，或者没有一个输出为+1，即没有一个类声称它属于自己，则比较g(x)输出值，最大者对应类别为输入的类别。图3为本发明实施例一提供的级联分类器之中一类对余类分类器的分类结果。如图3所示，本实施例以混淆矩阵的形式表示，其中对角线上的值为每个方向分类正确率。

为了解决临近的方向(如0°方向和45°、315°这两个相邻的方向)以及相向的方向(如0°和180°这两个相向的方向)误识别率较高的问题，本实施例进而构建级联分类器。图4为本发明实施例一提供的级联分类器的识别示意图。如图4所示，把易发生分类错误的行人方向放入一类作为正样本，其余的放入一类作为负样本进行训练，获得一个全局分类器(Global Classifier)，然后再进一步细化，把一个行人方向的样本作为正样本，其余的作为负样本进行训练，获得一个针对某个特定方向的局部分类器(Local Classifier)。最后，本实施例使用8个全局分类器对行人方向进行分类，出现正分类(即属于这一类)结果时触发对应的下级局部分类器，通过比较局部分类器的分类结果来判断行人方向。

由于行人的头部方向对行人行走路线的预测能提供非常重要的信息，本实施例在上述级联分类器的基础上引入头部方向结合身体方向来进一步识别行人的方向。在头部方向的识别之中，本实施例将行人头部方向的样本分为两大类：背向(45°、90°，135°)和面向(225°、270°，315°)，左右方向将在后续步骤之中利用多帧信息进行分类。本实施例平均间隔45°将所述行人方向分为6类，行人的身体方向分为6类，行人的头部方向分为6类。根据所述身体方向和所述头部方向使用贝叶斯公式对所述行人方向进行判断，所述贝叶斯公式如下

f(I)＝argmax P(x_i|θ_i，ω_i) (2)

其中，x_i∈D为行人方向，θ_i为身体方向，ω_i为头部方向。

本实施例采集了共4000张行人样本，其中3200张行人样本作为训练样本，每个行人方向各400张。800张行人样本作为测试样本，每个行人方向各100张。图5为本发明实施例一提供的级联分类器基于单帧的行人方向识别结果。如图5所示，本实施例提供的技术方案的平均识别率达到64％。若仅对4个垂直方向进行预测，整合头部的级联分类器可以达到77.5％，但是考虑到行人行走方向的多种可能，细化为8个行走方向的识别有助于更加及时的感知行人行走方向的改变，加入头部信息会增加计算量，因此选择牺牲部分准确率以达到较高实时性。本实施例提供的基于行人方向识别的汽车辅助驾驶安全方法接收第一时间的单帧行人图像信息，判断而且分类行人的位置以及行人当前方向，为后续的基于视频序列的行人行走方向识别提供信息。

图6为本发明实施例一提供的行人的行走方向分析以及预测示意图。如图6所示，根据一段连续视频之中连续帧的信息对所述行人位置和所述行人方向进行纠错，通过统计学模型分析出行人在所述连续视频之中的分段方向，根据所述行人位置、所述行人方向以及所述分段方向使用预测模型预测所述单帧图像之中预设帧数之后行人的行走方向和位置信息。

在获取行人位置以及行人方向信息之后，本实施例分析一段连续的视频序列之中各个行人的行走方向。通过连续帧的信息进一步对误检和漏检的行人纠错。对于每个行人选取一段连续帧，根据基于单帧的行人位置信息(x，y)和方向信息，使用统计学模型分析出行人在这段视频序列的分段方向。

本实施例采用预测模型来预测未来若干帧之后的行人行走方向和位置信息。为候补行人库之中的每个行人计算出N秒后有可能所在的区域，N可以小于1，数值通过实验确定。综合行人行走方向的分析结果，预测行人未来可能的行走方向，并且预测N秒后行人可能出现的位置。根据汽车的速度、方位以及行人的速度、行走方向、未来方位来预测汽车与行人可能发生碰撞的概率，再把存在潜在碰撞危险的行人信息提示给驾驶员。

本实施例提供的基于行人方向识别的汽车辅助驾驶安全方法包括：基于单帧图像的行人检测，基于单帧图像的行人方向识别，基于视频序列的行人的行走方向分析，预测行人未来的行走方向，预测汽车与行人发生碰撞的潜在危险，将潜在危险提示给驾驶员。本实施例提供的技术方案在行人识别的基础上，通过分析和预测行人的行走方向，以实现预测汽车与行人相撞的潜在危险，最后将潜在危险的相关信息实时提供给驾驶员，从而辅助驾驶员安全驾驶。本实施例通过优化之后的特征选取和分类器，使用车载摄像头和图像处理器实现了对行人的检测，在保证准确率的同时还具有较高的实时性，有效保障了行人的安全。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (8)

1.一种基于行人方向识别的汽车辅助驾驶安全方法，其特征在于，包括：

根据Haar-like特征和Adaboost算法形成行人检测器，用于检测单帧图像之中的行人位置；

通过整合头部方向信息的级联分类器对行人方向进行识别，以对所述单帧图像之中的行人方向进行分类；

根据一段视频之中连续帧的信息对所述行人位置和所述行人方向进行纠错，而且通过统计学模型分析出行人在所述视频之中的分段方向；

根据所述行人位置、所述行人方向以及所述分段方向使用预测模型预测所述单帧图像之中预设帧数之后行人的行走方向和位置信息；

根据汽车的速度、方向以及行人的速度、预测的行走方向、预测的位置信息获得所述汽车与所述行人之间发生碰撞的概率；

根据所述概率获得具有潜在碰撞危险的行人信息，而且将所述行人信息提示给驾驶员。

2.根据权利要求1所述的基于行人方向识别的汽车辅助驾驶安全方法，其特征在于，所述根据Haar-like特征和Adaboost算法形成行人检测器的步骤包括：

获取训练样本，所述训练样本包括2800个行人样本和4100个背景样本；

使用Haar-like特征和Adaboost算法对所述训练样本进行训练；

根据训练结果形成行人检测器。

3.根据权利要求2所述的基于行人方向识别的汽车辅助驾驶安全方法，其特征在于，所述使用Haar-like特征和Adaboost算法对所述训练样本进行训练的步骤包括：

使用Haar-like特征对所述训练样本的输入图像进行特征提取；

根据特征提取结果使用Adaboost算法对所述训练样本进行训练。

4.根据权利要求1所述的基于行人方向识别的汽车辅助驾驶安全方法，其特征在于，所述通过整合头部方向信息的级联分类器对行人方向进行识别的步骤包括：

通过整合头部方向信息、一对一分类的分类方法以及一类对余类的分类方法形成级联分类器；

根据所述级联分类器对所述行人方向进行识别。

5.根据权利要求4所述的基于行人方向识别的汽车辅助驾驶安全方法，其特征在于，所述级联分类器将所述单帧图像之中的行人方向分类为8种，从0°到315°，每45°分为一类。

6.根据权利要求5所述的基于行人方向识别的汽车辅助驾驶安全方法，其特征在于，所述一对一分类的分类方法为每两类训练一个分类器，对于一个k类问题，需要k(k-1)/2个分类函数；

所述一类对余类的分类方法训练k个分类器，其中第i个分类器把第i类与余下的各类分开，训练时第i个分类器取训练集之中第i类为正类，其余类别为负类进行训练。

7.根据权利要求6所述的基于行人方向识别的汽车辅助驾驶安全方法，其特征在于，所述通过整合头部方向信息、一对一分类的分类方法以及一类对余类的分类方法形成级联分类器的步骤包括：

形成8个分类器，每个分类器以一个方向和剩余的七个方向作为训练数据进行训练，根据公式(1)获得输入信号

F_i(x)＝sgn(g_i(x)) (1)

其中，i取值范围为[1，8]，sgn为信号函数。

8.根据权利要求4所述的基于行人方向识别的汽车辅助驾驶安全方法，其特征在于，所述根据所述级联分类器对所述行人方向进行识别的步骤包括：

将行人的头部方向样本分为两大类：背向样本和面向样本，所述背向样本包括45°、90°、135°，所述面向样本包括225°、270°、315°；

平均间隔45°将所述行人方向分为6类，行人的身体方向分为6类，行人的头部方向分为6类；

根据所述身体方向和所述头部方向使用贝叶斯公式对所述行人方向进行判断，所述贝叶斯公式如下

f(I)＝argmax P(x_i|θ_i，ω_i) (2)

其中，x_i∈D为行人方向，θ_i为身体方向，ω_i为头部方向。