CN111332288A - 一种基于视觉系统的车辆行人碰撞避免方法 - Google Patents

Abstract

本发明公开了一种基于视觉系统的车辆行人碰撞避免方法,包括以下步骤：Step1：自动驾驶车辆搭载有惯性导航系统来收集其自身的状态信息，搭载单目相机来检测行人；Step2：自动驾驶车辆搭载的单目相机检测到行人后，获取行人信息，预测行人位置；Step3：将Step2中预测到的行人位置进行坐标转换，转换成车辆所在的地面坐标系中的坐标；Step4：根据碰撞预警算法，分析车辆和行人的相对运动关系，进行预警。本发明的方法可以在车载设备上准确检测到行人，实现对行人的实时检测，避免车辆和行人碰撞事故的发生。

Description

一种基于视觉系统的车辆行人碰撞避免方法

技术领域

本发明涉及计算机应用技术领域，特别涉及一种基于视觉系统的车辆行人碰撞避免方法。

背景技术

目前，车辆中的高级驾驶辅助系统(Advanced Driver Assistance System,ADAS)通过多种传感器获取车辆外部和内部环境参数，对路况和车辆行驶状态进行分析，进而为驾驶员提供危险报警、辅助决策以及在极端危险情况下主动干预等一系列辅助措施。行人碰撞预警是ADAS中的一项重要技术，统计数据表明，超过70％的人车碰撞事故发生在车辆的前部，且主要为运动的行人，行人安全系统依靠传感器探测车身前方区域，检测区域内存在的行人，同时获取行人的位置和运动信息，系统根据得到的信息对可能的危险进行判断，并通过声光报警等方式提醒驾驶员做出相应的避险操作。

行人检测是行人碰撞预警的关键环节，目前检测行人使用的传感器分为视觉传感器和雷达传感器两种。雷达传感器主要为激光雷达和毫米波雷达，通过比较传感器自身发射信号和目标反射信号间的差异获取距离和速度信息，激光雷达探测距离远、分辨率高、响应时间短，但是穿透能力差，在雨雾等恶劣天气下难以正常工作，且成本偏高；毫米波雷达的探测距离和分辨率不如激光雷达，但是穿透能力强，具有较强的环境适应性，其成本也低于激光雷达视觉传感器中使用多的是CCD(Charge Coupled Device)摄像头，其分辨率高于其他传感器，具有探测范围广、功耗低、畸变小等优点。

视觉传感符合人类的认知方式，采集到的图像包含完整的道路环境信息，便于后续图像信息处理功能的开发，可以同时提供前方障碍物识别、交通标志识别、车道线定位等多种驾驶辅助信息，并且硬件成本相对低廉，便于系统集成。因此，视觉传感器在智能车载系统中具有广泛的应用，逐渐占据主导地位，视觉传感方案根据摄像头数目可分为单目视觉技术和双目视觉技术。双目视觉测距的精度高于单目视觉，但对两台相机的协同性具有很高的约束，且立体匹配过程计算耗时，实时性差，而且其数据量大，会受到计算单元性能和硬件存储空间的制约。

因此，针对非机动车大量普及、城市道路人车流量大、道路使用者安全意识不高的国内交通状况，提出一种基于视觉系统的车辆行人碰撞避免方法是尤为必要和可行的。

发明内容

本发明的目的是提供一种基于视觉系统的车辆行人碰撞避免方法，该方法可以在车载设备上准确检测到行人，实现对行人的实时检测，避免车辆和行人碰撞事故的发生。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种基于视觉系统的车辆行人碰撞避免方法,包括以下步骤：

Step1：自动驾驶车辆搭载有惯性导航系统来收集其自身的状态信息，搭载单目相机来检测行人；

Step2：自动驾驶车辆搭载的单目相机检测到行人后，获取行人信息，预测行人位置；

Step3：将Step2中预测到的行人位置进行坐标转换，转换成车辆所在的地面坐标系中的坐标；

Step4：根据碰撞预警算法，分析车辆和行人的相对运动关系，进行预警。

进一步地，所述Step2中，预测行人位置的具体步骤为：

将行人的当前位置定义为(x_cur,y_cur)，相应的行人的预测位置为(x_pre,y_pre)，行人的速度为v，x轴与速度v的方向的夹角为Φ，则行人的运动模型建立如下：

进一步地，Step3中所述坐标转换的具体步骤为：

定义基于地面坐标系的车辆坐标为(x,y)，而基于摄像头坐标系的行人坐标为(x',y')，因此，基于地面坐标系的行人坐标为(x”,y”)；

其中，α为在单目相机坐标系中行人位置与横坐标轴的夹角，β为车辆在地面坐标系中与横坐标轴的夹角在这项研究中，假设道路是平坦的和水平的，必须准确预测行人的位置才能分析碰撞，而扩展卡尔曼滤波器被广泛用于位置预测，现在已经获得行人的运动信息，则可以根据扩展卡尔曼滤波器准确地预测行人的位置，此处的行人状态向量定义为：

Q(t)＝[x_p y_p v_x v_y]^T

过程方程为：Q(t)＝AQ(t-1)+σ(t)

σ(t)为过程噪声，被模型化为零均值白噪声，状态向量和观察向量由测量方程式描述，可以得到测量方程：

ε(k)代表测量噪声，并且由于测量方程是非线性的，所以能用使用扩展卡尔曼滤波器对其进行处理。

具体地，由于相机和地面应用的坐标系不同，所以必须需要变换坐标系，才能对碰撞进行分析。

进一步地，，Step4中所述碰撞预警算法具体为：

碰撞时间已被广泛认为是碰撞分析中的安全指标，TTC的值定义为即时时间；

其中，L₁是本车与碰撞地点之间的距离，L₂是其他车辆与碰撞地点之间的距离，v₁是本车的速度，v₂是另一车辆或障碍物的速度，l是主车辆的长度，发生碰撞时，TTC将向驾驶员发出警告，但是TTC不能预测潜在的碰撞，潜在的碰撞可能会对行人造成危险，例如，如果驾驶员减速车辆，则可能不会发生潜在的碰撞，但是，如果车辆加速离开行人自己的车道，则必须发生潜在的碰撞，在这种情况下，在车辆加速之前警告驾驶员可能发生的碰撞，则可以防止碰撞，因此，为了确保行人安全，建立了碰撞时间范围(TTCR)；TTCR分为三个级别，包括安全，潜在碰撞和发生碰撞；尽管检测到行人，但车辆和行人的轨迹在一定时间内没有相交，此情况定义为安全级别；如果车辆保持运动，则车辆和行人的轨迹可能会相交，这种情况被定义为潜在的碰撞级别；在潜在的碰撞级别中考虑了两种情况，一种情况是行人正好越过碰撞的交叉点，另一种情况是车辆正好穿过碰撞的交叉点，在这种情况下，TTCR的值具有阈值(φ,ε)；即：

φ<TTCR<ε

如果车辆保持运动，则车辆和行人的轨迹必须是相交的，这种情况被定义为发生碰撞等级；TTCR的值为零，即：

。

与现有技术相比，本发明具有以下有益效果：

其一、本发明的方法可以在车载设备上准确检测到行人，以减少交通事故的发生，本发明通过车载单目相机来检测道路上的行人，相比传统摄像设备，单目相机有效地提高了检测行人的准确率，视觉测距结构简单，处理速度快。

其二、本发明通过车载单目相机检测行人的同时，还应用了EKF对行人位置进行了预测，检测行人具有的实时性，提高了事故预警准确率，为解决车辆行人碰撞事故的发生提供了一种全新的方案。

附图说明

图1是本发明的坐标系统图；

图2用于展示潜在发生碰撞级别；

图3用于展示必然发生碰撞等级。

具体实施方式

为了更详细的描述本发明和便于本领域人员的理解，下面结合附图以及实施例对本发明做进一步的描述，本部分的实施例是为了解释说明本发明，便于理解的目的，并不能以此来限制本发明。

一种基于视觉系统的车辆行人碰撞避免方法,包括以下步骤：

Step1：自动驾驶车辆搭载有惯性导航系统来收集其自身的状态信息，搭载单目相机来检测行人；

Step2：自动驾驶车辆搭载的单目相机检测到行人后，获取行人信息，预测行人位置；

Step3：将Step2中预测到的行人位置进行坐标转换，转换成车辆所在的地面坐标系中的坐标；

Step4：根据碰撞预警算法，分析车辆和行人的相对运动关系，进行预警。

进一步地，所述Step2中，预测行人位置的具体步骤为：

将行人的当前位置定义为(x_cur,y_cur)，相应的行人的预测位置为(x_pre,y_pre)，行人的速度为v，x轴与速度v的方向的夹角为Φ，则行人的运动模型建立如下：

进一步地，Step3中所述坐标转换的具体步骤为：

定义基于地面坐标系的车辆坐标为(x,y)，而基于摄像头坐标系的行人坐标为(x',y')，因此，基于地面坐标系的行人坐标为(x”,y”)；

其中，α为在单目相机坐标系中行人位置与横坐标轴的夹角，β为车辆在地面坐标系中与横坐标轴的夹角在这项研究中，假设道路是平坦的和水平的，必须准确预测行人的位置才能分析碰撞，而扩展卡尔曼滤波器被广泛用于位置预测，现在已经获得行人的运动信息，则可以根据扩展卡尔曼滤波器准确地预测行人的位置，此处的行人状态向量定义为：

Q(t)＝[x_p y_p v_x v_y]^T

过程方程为：Q(t)＝AQ(t-1)+σ(t)

σ(t)为过程噪声，被模型化为零均值白噪声，状态向量和观察向量由测量方程式描述，可以得到测量方程：

ε(k)代表测量噪声，并且由于测量方程是非线性的，所以能用使用扩展卡尔曼滤波器对其进行处理。

如图1所示，由于相机和地面应用的坐标系不同，所以必须需要变换坐标系，才能对碰撞进行分析。

进一步地，，Step4中所述碰撞预警算法具体为：

碰撞时间已被广泛认为是碰撞分析中的安全指标，TTC的值定义为即时时间；

其中，L₁是本车与碰撞地点之间的距离，L₂是其他车辆与碰撞地点之间的距离，v₁是本车的速度，v₂是另一车辆或障碍物的速度，l是主车辆的长度，发生碰撞时，TTC将向驾驶员发出警告，但是TTC不能预测潜在的碰撞，潜在的碰撞可能会对行人造成危险，例如，如果驾驶员减速车辆，则可能不会发生潜在的碰撞，但是，如果车辆加速离开行人自己的车道，则必须发生潜在的碰撞，在这种情况下，在车辆加速之前警告驾驶员可能发生的碰撞，则可以防止碰撞，因此，为了确保行人安全，建立了碰撞时间范围(TTCR)；TTCR分为三个级别，包括安全，潜在碰撞和发生碰撞；尽管检测到行人，但车辆和行人的轨迹在一定时间内没有相交，此情况定义为安全级别；如果车辆保持运动，则车辆和行人的轨迹可能会相交，这种情况被定义为潜在的碰撞级别；在潜在的碰撞级别中考虑了两种情况，一种情况是行人正好越过碰撞的交叉点，另一种情况是车辆正好穿过碰撞的交叉点，在这种情况下，TTCR的值具有阈值(φ,ε)；即：

φ<TTCR<ε

如果车辆保持运动，则车辆和行人的轨迹必须是相交的，这种情况被定义为发生碰撞等级；TTCR的值为零，即：

。

具体地，发明人应用本发明的方法，使用单个光学相机来检测行人，应用Wu等人在Real-Time Human Detection Using Contour Cues中提出的C4算法来检测行人，在此算法中，纹理内存用于计算Sobel图像，调整大小的过程也可以通过纹理来实现；在图像中，移动了一个36*108的滑动窗口，在每个窗口中，都会计算CENTRIST描述符，使用Census变换图像计算CENTRIST描述符，该值通过Census变换在Sobel图像中的一个像素及其八个相邻像素之间进行计算，CENTRIST描述符由这些CT值的直方图构成，在窗口中，提取特征向量，如果窗口的值大于定义的阈值，则认为是行人。

检测到行人后，将其位置坐标转换为地面坐标系中的坐标，应用EKF对其进行预测，应用TTCR对碰撞时间进行检测，判断是否需要预警。

附图2展示的是，如果车辆行人继续保持当前运动，车辆和行人的轨迹可能相交的情况；这种情况被定义为潜在发生碰撞级别，在潜在的碰撞级别中考虑了两种情况，一种情况是行人正好穿过碰撞的交叉点；另一种情况是车辆刚好通过碰撞点，此时TTCR有阈值(φ,ε)，即：

φ<TTCR<ε。

附图3展示的是，如果车辆行人继续保持当前运动，车辆和行人的轨迹必然相交的情况；这种情况被定义为发生碰撞级别，此时TTCR的值为零。

以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (4)

1.一种基于视觉系统的车辆行人碰撞避免方法,其特征在于，包括以下步骤：

Step1：自动驾驶车辆搭载有惯性导航系统来收集其自身的状态信息，搭载单目相机来检测行人；

Step2：自动驾驶车辆搭载的单目相机检测到行人后，获取行人信息，预测行人位置；

Step3：将Step2中预测到的行人位置进行坐标转换，转换成车辆所在的地面坐标系中的坐标；

Step4：根据碰撞预警算法，分析车辆和行人的相对运动关系，进行预警。

2.根据权利要求1所述的基于视觉系统的车辆行人碰撞避免方法，其特征在于，所述Step2中，预测行人位置的具体步骤为：

将行人的当前位置定义为(x_cur,y_cur)，相应的行人的预测位置为(x_pre,y_pre)，行人的速度为v，x轴与速度v的方向的夹角为Φ，则行人的运动模型建立如下：

3.根据权利要求1所述的基于视觉系统的车辆行人碰撞避免方法，其特征在于，Step3中所述坐标转换的具体步骤为：

定义基于地面坐标系的车辆坐标为(x,y)，而基于摄像头坐标系的行人坐标为(x',y')，因此，基于地面坐标系的行人坐标为(x”,y”)；

其中，α为在单目相机坐标系中行人位置与横坐标轴的夹角，β为车辆在地面坐标系中与横坐标轴的夹角在这项研究中，假设道路是平坦的和水平的，必须准确预测行人的位置才能分析碰撞，而扩展卡尔曼滤波器被广泛用于位置预测，现在已经获得行人的运动信息，则可以根据扩展卡尔曼滤波器准确地预测行人的位置，此处的行人状态向量定义为：

Q(t)＝[x_p y_p v_x v_y]^T

过程方程为：Q(t)＝AQ(t-1)+σ(t)

σ(t)为过程噪声，被模型化为零均值白噪声，状态向量和观察向量由测量方程式描述，可以得到测量方程：

ε(k)代表测量噪声，并且由于测量方程是非线性的，所以能用使用扩展卡尔曼滤波器对其进行处理。

4.根据权利要求1所述的基于视觉系统的车辆行人碰撞避免方法，其特征在于，Step4中所述碰撞预警算法具体为：

碰撞时间已被广泛认为是碰撞分析中的安全指标，TTC的值定义为即时时间；

其中，L₁是本车与碰撞地点之间的距离，L₂是其他车辆与碰撞地点之间的距离，v₁是本车的速度，v₂是另一车辆或障碍物的速度，l是主车辆的长度，发生碰撞时，TTC将向驾驶员发出警告，但是TTC不能预测潜在的碰撞，潜在的碰撞可能会对行人造成危险，例如，如果驾驶员减速车辆，则可能不会发生潜在的碰撞，但是，如果车辆加速离开行人自己的车道，则必须发生潜在的碰撞，在这种情况下，在车辆加速之前警告驾驶员可能发生的碰撞，则可以防止碰撞，因此，为了确保行人安全，建立了碰撞时间范围(TTCR)；TTCR分为三个级别，包括安全，潜在碰撞和发生碰撞；尽管检测到行人，但车辆和行人的轨迹在一定时间内没有相交，此情况定义为安全级别；如果车辆保持运动，则车辆和行人的轨迹可能会相交，这种情况被定义为潜在的碰撞级别；在潜在的碰撞级别中考虑了两种情况，一种情况是行人正好越过碰撞的交叉点，另一种情况是车辆正好穿过碰撞的交叉点，在这种情况下，TTCR的值具有阈值(φ,ε)；即：

φ<TTCR<ε

如果车辆保持运动，则车辆和行人的轨迹必须是相交的，这种情况被定义为发生碰撞等级；TTCR的值为零，即：

。

Images