CN106156725A - 一种基于车辆前方的行人及骑车人的识别预警系统的工作方法 - Google Patents

Abstract

本发明公开了一种基于车辆前方的行人及骑车人的识别预警系统的工作方法，离线训练模块从实车拍摄的视频中选取人上半身的正负样本，采用Adaboost算法训练得到一个用于识别人上半身的级联分类器，并将级联分类器提供给在线检测模块，在线检测模块利用CCD摄像头采集图像，并用视频采集卡进行转换，对预处理之后的图像使用了改进的多尺度扫描方法获得子窗口；在线检测模块将识别出的目标框选出来，传给碰撞预警模块，碰撞预警模块利用单目视觉测距几何模型计算出目标与本车之间的横向距离X、纵向距离D、目标的纵向速度V_y和纵向碰撞时间TTC，最后综合利用这些信息及本车车速u，判断目标的危险程度，并及时提醒驾驶员，可有效地减少事故的发生并保护了行人和骑车人。

Description

一种基于车辆前方的行人及骑车人的识别预警系统的工作 方法

技术领域

本发明属于汽车主动安全技术领域，涉及到图像处理以及行人及骑车人安全保护知识，具体涉及一种基于车辆前方的行人及骑车人的识别预警系统的工作方法。

背景技术

在中国这样典型的混合交通系统中，行人、自行车、电动车、汽车等都是交通系统的主要参与者。随着我国汽车保有量的增加，交通事故也在逐年递增，而行人、自行车、电动车由于人是暴露在外面的，没有防护措施，在交通事故中容易受到更大的伤害，因此，研究混合交通条件下行人及骑车人的识别预警方法，有利于在交通事故发生前就提醒驾驶员，避免事故的发生，这对于道路交通安全工作是一项非常重要的任务。

近年来，随着机器视觉、人工智能以及模式识别的发展，学者们对行人识别预警的研究比较广泛，常用haar特征+Adaboost级联分类器，hog特征+svm分类器，神经网络等实现行人识别，并结合本车车速、纵向距离等实现行人预警。但对自行车、电动车等骑车人识别预警的研究却很少。在识别方面有学者利用BP神经网络对行人、骑车人等进行识别，但BP神经网络学习速率小，训练时间长，容易出现局部极小化问题，而且其在训练过程中需要反复调整设计参数，识别精度不高。在预警方面，目前大多数研究都是针对车辆前方的所有目标，没有突出对暴露在外面的人的保护。

相关专利：中国专利CN103279741A公开了一种基于车载红外图像的行人预警系统及其工作方法，其利用K均值聚类分析算法和模板匹配识别行人，再根据行人信息和本车车速信息建立预警单元；该方法只能运用于行人，忽略了对骑车人的保护，而且构建预警单元的信息较少，容易出现虚报漏报。中国专利CN103204123A公开了一种车辆行人检测跟踪预警装置及其预警方法，对本车以外的其他车辆及行人进行检测并跟踪测距，通过计算与其他车辆及行人的距离，进行预警；该方法将与其他车辆及行人的距离作为预警判别的唯一指标，预警系统的可靠性较差。

发明内容

针对上述问题，本发明提出一种基于车辆前方的行人及骑车人的识别预警系统的工作方法，根据本车车速u、目标纵向速度V_y、纵向碰撞时间TTC、目标与本车的纵向距离D及横向距离X构建了基于多信息融合的前方碰撞预警系统，可以有效的识别出暴露在外面的人包括行人和骑车人，并对进入危险区域的目标进行预警，扩展了行人保护的范围。

本发明是通过以下技术方案实现上述技术目的的。

一种基于车辆前方的行人及骑车人的识别预警系统的工作方法，包括以下步骤：

S1，搭建一种基于车辆前方的行人及骑车人的识别预警系统；

S2，离线训练模块获得识别行人及骑车人上半身的级联分类器；

从实车拍摄的视频序列图像中离线手动分割出行人及骑车人的上半身图片，作为正样本；将不含行人及骑车人上半身的图片作为负样本，使用Adaboost算法训练得到级联分类器；

S3，在线检测模块检测出行人及骑车人的上半身，并用矩形框将行人及骑车人的上半身框出来；

S4，碰撞预警模块根据本车车速u、目标纵向速度V_y、纵向碰撞时间TTC、目标与本车的纵向距离D及目标与本车的横向距离X的综合信息，判断前方目标存在碰撞危险的程度，设置两级预警；

S4.1，通过车速传感器测量本车车速u；

S4.2，将本车车速u及目标矩形框的信息输入到预警子程序，判断前方目标存在碰撞危险的程度；

S4.2.1，当本车车速u＞30km/h时，执行以下步骤，否则认为本车处于安全行驶状态；

S4.2.2，计算相邻两帧图片之间目标与本车的纵向距离D₁、D₂，设t为相邻两帧图片之间的时间间隔；当D₂+u*t＞D₁时，目标与本车同向，执行S4.2.3；当D₂+u*t≤D₁时，目标与本车反向，执行S4.2.4；

S4.2.3，计算目标与本车同向时目标纵向速度：当u＞V_y时，计算纵向碰撞时间:并执行S4.2.5；否则，认为本车处于安全行驶状态；

S4.2.4，计算目标与本车反向时目标纵向速度：再计算纵向碰撞时间然后执行S4.2.5；

S4.2.5，当纵向碰撞时间TTC＜3.5时，计算第二帧图片目标与本车的横向距离X₂，并判断纵向碰撞时间TTC是否＜1.1以及X₂是否＜1.2；当TTC＜1.1且X₂＜1.2时，确定为一级碰撞警告；当1.1≤TTC＜3.5且X₂＜1.2时，确定为二级碰撞预警；其他情况认为本车处于安全行驶状态；

S4.3，根据预警子程序输出的危险等级，执行报警。

进一步，所述S1中的一种基于车辆前方的行人及骑车人的识别预警系统包括离线训练模块、在线检测模块及碰撞预警模块，所述离线训练模块、在线检测模块和碰撞预警模块依次顺序串联；所述离线训练模块包括PC机，所述在线检测模块包括CCD摄像头、视频采集卡，所述碰撞预警模块包括车速传感器、蜂鸣器及指示灯。

进一步，所述S2中使用Adaboost算法训练得到级联分类器具体为：在命令行程序cmd.exe中调用OpenCV自带的执行文件opencv_traincascade.exe实现级联分类器的训练：该执行文件中封装了Haar-like特征提取以及Gentle Adaboost分类器的训练过程，最终得到一个用于识别行人及骑车人的上半身的级联分类器。

进一步，所述S4中，目标与本车的纵向距离D的计算方法为：

当目标在光轴上方时，由单目视觉测距几何模型推导出公式和并由此求出CCD摄像头的镜头中心到目标的纵向距离d，其中H为CCD摄像头的高度，h1为目标的高度，α为CCD摄像头的俯仰角，y1、y2为矩形框上下边的中点在图像坐标系上的纵坐标，f为CCD摄像头的焦距；

当光轴穿过目标时，由单目视觉测距几何模型推导出公式和并由此求出CCD摄像头的镜头中心到目标的纵向距离d；

将本车车道内最近的前方目标作为需要测距的对象，读取其外接矩形框上下边中点在像素坐标系上的纵坐标，并利用像素坐标系与图像坐标系之间的转换关系转成在图像坐标系上的纵坐标,再判断是目标在光轴上方还是光轴穿过目标并求出相应的CCD摄像头的镜头中心到目标的纵向距离d，然后测量出CCD摄像头与本车车体前端之间的距离d₁，则目标与本车的纵向距离D＝d-d₁。

进一步，所述S4中目标与本车的横向距离X的计算方法为：读取目标外接矩形框上下边中点在像素坐标系上的横坐标，并利用像素坐标系与图像坐标系之间的转换关系转成在图像坐标系上的横坐标，再根据摄像机坐标系、图像坐标系、目标距离估测坐标系之间的转换关系以及CCD摄像头的镜头中心到目标的纵向距离d，求出目标与本车的横向距离X。本发明的有益效果为：

1.本发明在训练检测行人及骑车人的级联分类器上，采用人的上半身图片作为正样本，扩展了行人识别的范围。

2.本发明在行人及骑车人的识别上采用改进的多尺度扫描方法，大幅度减少了搜索窗口的数量，从而降低了目标识别的时间，提高了实时性。

3.本发明利用单目视觉测距几何模型，计算出目标与本车的横向距离X及纵向距离D，进一步求出目标纵向速度V_y、纵向碰撞时间TTC，方法简单可靠，实用性强。

4.本发明利用本车车速u、目标纵向速度V_y、纵向碰撞时间TTC、目标与本车的纵向距离D及横向距离X，构建了基于多信息融合的前方碰撞预警系统，可在事故发生前提醒驾驶员，减少事故的发生，扩展了行人保护的范围。

附图说明

图1为本发明一种基于车辆前方的行人及骑车人的识别预警系统的工作方法流程图；

图2为本发明一种基于车辆前方的行人及骑车人的识别预警系统的框图；

图3为本发明基于多信息融合的预警子程序流程图；

图4为目标在光轴上方时的单目视觉测距几何模型图；

图5为光轴穿过目标时的单目视觉测距几何模型图。

具体实施方式

下面将结合附图及具体实施例对本发明做进一步的说明，但本发明的保护范围并不限于此。

如图1所示，一种基于车辆前方的行人及骑车人的识别预警系统的工作方法，包括以下步骤：

S1，搭建一种基于车辆前方的行人及骑车人的识别预警系统；一种基于车辆前方的行人及骑车人的识别预警系统包括离线训练模块、在线检测模块及碰撞预警模块，离线训练模块、在线检测模块和碰撞预警模块依次顺序串联；离线训练模块包括PC机，在线检测模块包括CCD摄像头、视频采集卡，碰撞预警模块包括车速传感器、蜂鸣器及指示灯，如图2所示；离线训练模块在PC机上离线训练出级联分类器，在线检测模块由CCD摄像头获取图像信息，经处理后，加载级联分类器，完成目标识别；并将识别结果以及车辆当前的车速信息输入到预警子程序，输出目标的危险等级，向驾驶员执行报警。

S2，离线训练模块获得识别行人及骑车人上半身的级联分类器；

S2.1，选取训练样本：

从实车拍摄的视频序列图像中离线手动分割出车辆前方不同距离、走向、衣着和尺寸的行人及骑车人的上半身图片，将不含行人及骑车人上半身的图片作为负样本，共收集了正样本5400个，负样本12000个；将所有图片灰度化，正样本统一缩放成24*24像素大小，并调整负样本尺寸使其大于正样本尺寸。

S2.2，在命令行程序cmd.exe中调用OpenCV自带的执行文件opencv_traincascade.exe实现级联分类器的训练：该执行文件中封装了Haar-like特征提取以及Gentle Adaboost分类器的训练过程，最终得到一个用于识别行人及骑车人的上半身的级联分类器。

具体训练步骤如下：

S2.2.1，创建正负样本描述文件：正样本通过使用opencv_createsamples.exe可执行文件生成.vec文件，负样本一般使用.txt文件即可；

S2.2.2，运行traincascade程序，设置参与训练的正样本为4590个，负样本为12000个，每级的最小检测率HR_min＝0.995，最大误检率FA_max＝0.5，分类器级数为12,boostType类型为GAB；

S2.2.3，通过训练，最后得到检测窗口初始尺寸为24*24像素大小的12级分类器cascade.xml。

S3，在线检测模块检测出行人及骑车人的上半身，并用矩形框将行人及骑车人的上半身框出来；

S3.1，采集图像：利用安装在前挡风玻璃内侧中部的CCD摄像头采集车辆前方的图像信息，再通过视频采集卡将模拟信号转换成数字信号传输给PC机；

S3.2，图像预处理：对图像进行滤波处理来降噪，并对图像进行灰度化处理，有利于更好的提取haar-like特征；

S3.3，改进的多尺度扫描获得子窗口：根据行人及骑车人在图像中的高度h与人脚距离图像底部之间的距离D大致满足推算出行人及骑车人上半身在图像中的高度h′与人肚脐到图像底部的距离D′满足即(假设人的上下半身一样高)，而人的宽度根据上半身的高度设置为w＝h′；从图像左下角开始，通过对不同位置的滑动窗口设置不同的窗口高度，设置移动步长为2个像素，遍历图像，大幅度的减少了搜索窗口的数量；

S3.4，加载级联分类器：利用训练好的级联分类器对S3.3中所有子窗口进行判决，并将目标用矩形框框选出来。

S4，碰撞预警模块根据本车车速u、目标纵向速度V_y、纵向碰撞时间TTC、目标与本车的纵向距离D及目标与本车的横向距离X的综合信息，判断前方目标存在碰撞危险的程度，设置两级预警；

S4.1，通过车速传感器测量本车车速u；

S4.2，将本车车速u及目标矩形框的信息输入到预警子程序，判断前方目标存在碰撞危险的程度，如图3所示；

S4.2.1，当本车车速u＞30km/h时，执行以下步骤，否则认为本车处于安全行驶状态；

S4.2.2，计算相邻两帧图片之间目标与本车的纵向距离D₁、D₂，设t为相邻两帧图片之间的时间间隔；当D₂+u*t＞D₁时，目标与本车同向，执行S4.2.3；当D₂+u*t≤D₁时，目标与本车反向，执行S4.2.4；

目标与本车的纵向距离D的计算方法为：

①求出坐标系之间的转换关系：

根据小孔成像原理，可以求出摄像机坐标系中的一点P(X′,Y′,Z′)与对应的图像坐标系中的p(x,y)之间的关系：

$\left\{\begin{array}{c}{Z}^{\′}=f*\frac{Y^{\′}}{y}\\ X^{\′}=\frac{Z^{\′}*x}{f}\end{array}\right.---\left(1\right)$

其中，f表示CCD摄像头的焦距；

图像坐标系上一点p(x,y)与对应的像素坐标系上的p′(u,v)之间的关系表示为：

$\left\{\begin{array}{c}u=\frac{x}{dx}+u_0\\ v=\frac{y}{dy}+v_0\end{array}\right.---\left(2\right)$

其中，dx和dy分别表示单位像素在图像坐标系x轴和y轴方向上的物理尺寸，由摄像机厂家提供，可以在摄像机说明书上查找到，为已知量；(u₀,v₀)为像素坐标系的原点，是CCD摄像头内部参数，可以通过CCD摄像头的标定求出；

摄像机坐标系(X′,Y′,Z′)与目标距离估测坐标系(X,Y,Z)之间的转换关系为：

$\left\{\begin{array}{c}{Z}^{\′}=\frac{Z}{cos\mathrm{\α}}\\ X=X^{\′}\end{array}\right.---\left(3\right)$

其中，α为CCD摄像头的俯仰角；

②求解目标与本车的纵向距离D；

当目标在光轴上方时，如图4所示，由单目视觉测距几何模型可得：

$d=\frac{H-h1}{tan(\mathrm{\α}-arctan\frac{\left|y1\right|}{f})}---\left(4\right)$

$tan(\mathrm{\α}+arctan\frac{2h1-H}{d})=\frac{\left|y2\right|}{f}---\left(5\right)$

其中H为摄像头的高度，h1为目标的高度，y1、y2为矩形框上下边的中点在图像坐标系上的纵坐标，d为CCD摄像头的镜头中心到目标的纵向距离。

当光轴穿过目标时，如图5所示，由单目视觉测距几何模型可得：

$d=\frac{H-h1}{tan(\mathrm{\α}+arctan\frac{\left|y1\right|}{f})}---\left(6\right)$

将本车道内最近的前方目标作为需要测距的对象，读取其外接矩形框上下边中点在像素坐标系上的纵坐标v1、v2，利用式(2)转成图像坐标上的y1、y2,根据y1,y2的值判断是目标在光轴上方还是光轴穿过目标，再带入(4)、(5)或(6)、(5)求出CCD摄像头的镜头中心到目标的纵向距离d，然后测量出摄像头与本车车体前端之间的距离d₁，则目标与本车的纵向距离D＝d-d₁。

S4.2.3，计算目标与本车同向时目标纵向速度：当u＞V_y时，计算纵向碰撞时间:并执行S4.2.5；否则，认为本车处于安全行驶状态；

S4.2.4，计算目标与本车反向时目标纵向速度：再计算纵向碰撞时间然后执行S4.2.5；

S4.2.5，当纵向碰撞时间TTC＜3.5时，计算第二帧图片目标与本车的横向距离X₂，并判断纵向碰撞时间TTC是否＜1.1以及X₂是否＜1.2；当TTC＜1.1且X₂＜1.2时，确定为一级碰撞警告；当1.1≤TTC＜3.5且X₂＜1.2时，确定为二级碰撞预警；其他情况认为本车处于安全行驶状态；

目标与本车的横向距离X的计算方法为：

读取目标外接矩形框上下边中点在像素坐标系上的横坐标u(矩形框上下边中点的横坐标相同)，并利用式(2)转成图像坐标上的x，最后根据公式(1)、(3)及CCD摄像头的镜头中心到目标的纵向距离d，可得目标与本车的横向距离X为：

$X=\frac{d*x}{\cos \mathrm{\α}*f}---\left(7\right)$

S4.3，根据预警子程序输出的危险等级，执行报警，当确定为二级碰撞预警时，蜂鸣器提示“减速行驶”，橙色指示灯闪烁；当确定为一级碰撞警告时，蜂鸣器提示“请紧急制动”，红色指示灯闪烁。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (5)

1.一种基于车辆前方的行人及骑车人的识别预警系统的工作方法，其特征在于，包括以下步骤：

S1，搭建一种基于车辆前方的行人及骑车人的识别预警系统；

S2，离线训练模块获得识别行人及骑车人上半身的级联分类器；

从实车拍摄的视频序列图像中离线手动分割出行人及骑车人的上半身图片，作为正样本；将不含行人及骑车人上半身的图片作为负样本，使用Adaboost算法训练得到级联分类器；

S3，在线检测模块检测出行人及骑车人的上半身，并用矩形框将行人及骑车人的上半身框出来；

S4，碰撞预警模块根据本车车速u、目标纵向速度V_y、纵向碰撞时间TTC、目标与本车的纵向距离D及目标与本车的横向距离X的综合信息，判断前方目标存在碰撞危险的程度，设置两级预警；

S4.1，通过车速传感器测量本车车速u；

S4.2，将本车车速u及目标矩形框的信息输入到预警子程序，判断前方目标存在碰撞危险的程度；

S4.2.1，当本车车速u＞30km/h时，执行以下步骤，否则认为本车处于安全行驶状态；

S4.2.2，计算相邻两帧图片之间目标与本车的纵向距离D₁、D₂，设t为相邻两帧图片之间的时间间隔；当D₂+u*t＞D₁时，目标与本车同向，执行S4.2.3；当D₂+u*t≤D₁时，目标与本车反向，执行S4.2.4；

S4.2.3，计算目标与本车同向时目标纵向速度：当u＞V_y时，计算纵向碰撞时间:并执行S4.2.5；否则，认为本车处于安全行驶状态；

S4.2.4，计算目标与本车反向时目标纵向速度：再计算纵向碰撞时间然后执行S4.2.5；

S4.2.5，当纵向碰撞时间TTC＜3.5时，计算第二帧图片目标与本车的横向距离X₂，并判断纵向碰撞时间TTC是否＜1.1以及X₂是否＜1.2；当TTC＜1.1且X₂＜1.2时，确定为一级碰撞警告；当1.1≤TTC＜3.5且X₂＜1.2时，确定为二级碰撞预警；其他情况认为本车处于安全行驶状态；

S4.3，根据预警子程序输出的危险等级，执行报警。

2.根据权利要求1所述的一种基于车辆前方的行人及骑车人的识别预警系统的工作方法，其特征在于，所述S1中的一种基于车辆前方的行人及骑车人的识别预警系统包括离线训练模块、在线检测模块及碰撞预警模块，所述离线训练模块、在线检测模块和碰撞预警模块依次顺序串联；所述离线训练模块包括PC机，所述在线检测模块包括CCD摄像头、视频采集卡，所述碰撞预警模块包括车速传感器、蜂鸣器及指示灯。

3.根据权利要求1所述的一种基于车辆前方的行人及骑车人的识别预警系统的工作方法，其特征在于，所述S2中使用Adaboost算法训练得到级联分类器具体为：在命令行程序cmd.exe中调用OpenCV自带的执行文件opencv_traincascade.exe实现级联分类器的训练：该执行文件中封装了Haar-like特征提取以及Gentle Adaboost分类器的训练过程，最终得到一个用于识别行人及骑车人的上半身的级联分类器。

4.根据权利要求1所述的一种基于车辆前方的行人及骑车人的识别预警系统的工作方法，其特征在于，所述S4中，目标与本车的纵向距离D的计算方法为：

当目标在光轴上方时，由单目视觉测距几何模型推导出公式和并由此求出CCD摄像头的镜头中心到目标的纵向距离d，其中H为CCD摄像头的高度，h1为目标的高度，α为CCD摄像头的俯仰角，y1、y2为矩形框上下边的中点在图像坐标系上的纵坐标，f为CCD摄像头的焦距；

当光轴穿过目标时，由单目视觉测距几何模型推导出公式和并由此求出CCD摄像头的镜头中心到目标的纵向距离d；

将本车车道内最近的前方目标作为需要测距的对象，读取其外接矩形框上下边中点在像素坐标系上的纵坐标，并利用像素坐标系与图像坐标系之间的转换关系转成在图像坐标系上的纵坐标,再判断是目标在光轴上方还是光轴穿过目标并求出相应的CCD摄像头的镜头中心到目标的纵向距离d，然后测量出CCD摄像头与本车车体前端之间的距离d₁，则目标与本车的纵向距离D＝d-d₁。

5.根据权利要求1所述的一种基于车辆前方的行人及骑车人的识别预警系统的工作方法，其特征在于，所述S4中目标与本车的横向距离X的计算方法为：读取目标外接矩形框上下边中点在像素坐标系上的横坐标，并利用像素坐标系与图像坐标系之间的转换关系转成在图像坐标系上的横坐标，再根据摄像机坐标系、图像坐标系、目标距离估测坐标系之间的转换关系以及CCD摄像头的镜头中心到目标的纵向距离d，求出目标与本车的横向距离X。