CN113370977A - 一种基于视觉的智能车辆前向碰撞预警方法及系统 - Google Patents

一种基于视觉的智能车辆前向碰撞预警方法及系统 Download PDF

Info

Publication number
CN113370977A
CN113370977A CN202110491120.6A CN202110491120A CN113370977A CN 113370977 A CN113370977 A CN 113370977A CN 202110491120 A CN202110491120 A CN 202110491120A CN 113370977 A CN113370977 A CN 113370977A
Authority
CN
China
Prior art keywords
target
early warning
distance
lane line
collision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110491120.6A
Other languages
English (en)
Other versions
CN113370977B (zh
Inventor
金彦亮
潘艺宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202110491120.6A priority Critical patent/CN113370977B/zh
Publication of CN113370977A publication Critical patent/CN113370977A/zh
Application granted granted Critical
Publication of CN113370977B publication Critical patent/CN113370977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明公开了一种基于视觉的智能车辆前向碰撞预警方法及系统。本发明方法通过使用YOLOv3算法对车辆前方的目标进行识别检测，输出目标的位置及最小边界包围框等信息；多目标跟踪算法测量目标矢量速度，预测未来走向；单目测距技术利用小孔成像原理计算当前目标的横向及纵向距离；使用结合多项式拟合和透视变换的车道线检测技术对视频中的车道线进行准确稳定的追踪；根据车道线检测结果、及驾驶员反映特性、前方最近目标相对速度等在本车前方绘制两块随自车车速动态变化的预警区域；碰撞预警技术融合距离感知对预警区域内检测到的目标输出不同预警等级，对可能发生碰撞的情况及时预警。采用本发明能够对潜在危险目标及时预警，降低碰撞发生的概率。

Description

一种基于视觉的智能车辆前向碰撞预警方法及系统
技术领域
本发明涉及碰撞预警技术，属于计算机视觉、辅助驾驶领域，具体涉及一种基于视觉的智能车辆前向碰撞预警方法及系统。
背景技术
传统的汽车被动安全技术虽然能在碰撞发生时尽可能减小伤害但并不能从根本上避免危险的发生，尤其是面对一些突发情况时，以人的观察能力可能并不能做出及时反应，近几年汽车安全配置发展迅速，从以前的完全靠人为观察、预判危险到现在汽车能够自动预判危险并发出预警，从根源上降低了事故发生的概率。
基于视觉的智能车辆前向碰撞预警系统,运用计算机视觉技术，对行车记录仪采集到的视频进行处理分析。该系统包括目标检测技术，多目标跟踪技术，车道线检测技术，预警区域实时计算技术四大核心技术。四大核心技术的国内外研究现状综述如下：
(1)基于Y0L0v3的目标检测技术
准确识别并定位前方目标的位置是提高预警准确率的基础，现有的目标检测算法可以归结为两类，第一类是传统的目标检测算法，它是通过提取HOG、Haar、LUV等特征，训练分类器完成的，这种方法只有在某些特定条件下才能获得较好的检测效果。近几年通过卷积层在图像中提取特征的深度学习发展迅速，从RCNN到YOLO(youonlylookoncev3)再到FasterRCNN，目标检测在精度和速度上都有了很大的突破，但其检测速度慢并且对小目标的检测效果较差。
(2)多目标跟踪技术
在前车碰撞预警系统中，指定区域内对动态多目标运动趋势预测十分重要，是提前发出预警的重要基础，能帮助驾驶员预测可能发生碰撞的目标，减少事故发生的概率。目标跟踪传统的研究方法是通过序列图像信息提取出点、直线、曲线、参照点等目标特征，进而利用以上个体特征实现对目标的追踪，但这种方法会导致跟踪不稳定、目标丢失等问题，很难应用到实际领域中。
(3)车道线检测技术
准确识别前方车道是安全辅助驾驶的关键，是绘制预警区域的基础。传统的基于霍夫变换(Hough Transform)的车道线检测以及其改进方法概率霍夫变换PPHT(Progressive Probabfistic HoughTransform)在环境良好的情况下对直线检测效果较好，但难以准确检测弯道，因此针对弯道检测这一问题，多采用曲线拟合的方法，例如使用LmedSquare曲线检测弯曲车道线或者在拟合时利用蚁群算法对多条候选二次曲线的参数进行多次迭代，但这些方法由于需要大量拟合点和较好的二值图作为输入，因此计算量非常大。
(4)预警区域实时计算技术
安全距离模型是绘制预警区域的基础，而绘制合理的动态安全区域是系统评估前方目标危险等级的关键，目前国内外学者对此进行了深入研究并提出了一些安全距离模型，例如基于加速度的Kometani改进模型，但是其并没有考虑到驾驶员行为特性、汽车反应特性等关键因素，因此模型并不是很完善仍有很大的改进空间。
发明内容
为了解决现有技术问题，本发明的目的在于克服已有技术存在的不足，提供一种基于视觉的智能车辆前向碰撞预警方法及系统，对可能发生碰撞的情况及时预警，降低事故发生的概率。
为达到上述发明创造目的，本发明采用如下技术方案：
一种基于视觉的智能车辆前向碰撞预警方法，包括以下操作步骤：
(1)使用行车记录仪中采集到的视频，结合YOLOv3算法对视频中的目标进行识别与检测，输出目标的位置及最小边界包围框信息；
(2)使用基于卡尔曼滤波的多目标跟踪算法，根据步骤(1)输出的连续帧中的目标位置信息，对目标中心点轨迹进行预测及矫正，并测量其矢量速度；
(3)使用基于小孔成像原理的单目测距算法，根据步骤(1)输出的目标框宽度信息、最小边界包围框信息并结合相应的先验知识计算出目标纵向距离及偏转角，再利用三角函数关系计算出目标横向距离；
(4)进行车道线检测，首先对视频图像进行预处理，使用sobel边缘检测算法提取车道线的边缘，通过透视变换将二值图变换为鸟瞰图，降低曲线拟合阶次，再通过滑动窗口法提取一系列有效的离散像素点，然后用两条曲线来拟合这些像素，最后将拟合的车道线使用透视变换还原到原视角；
(5)根据驾驶员反应特性以及汽车反应特性计算出紧急制动距离，再结合步骤(4)计算出两块随车速动态变化的不同等级预警区域；将视频图像中的像素距离和实际距离用一元三次多项式Ph＝AL3-BL2+CL+D进行拟合从而将实际距离转换成像素距离，其中L为实际距离，Ph为像素距离，A，B，C，D为多项式系数；
(6)结合步骤(4)和步骤(5)计算出两块随车速动态变化的不同等级预警区域，融合距离感知对预警区域内检测到的目标输出不同预警等级，对可能发生碰撞的情况及时预测并提醒。
优选地，所述步骤(1)使用COCO数据集对YOLOv3网络重新训练，模型精确度可高达99.8％。
优选地，在所述步骤(2)中的轨迹预测及矫正通以下公式实现：
(2-1)预测：xk＝Axk-1+Buk-1 pk＝Apk-1AT+Q
其中xk为k时刻的状态，xk-1为k-1时刻的状态，uk-1为k-1时刻外界对系统的作用，A为状态转移矩阵，它表示如何从上一时刻的状态太推测当前时刻的状态，B为输入控制矩阵，表示控制量uk如何作用于当前状态，pk为k时刻的误差矩阵，pk-1为k-1时刻的误差矩阵，AT为A的转置矩阵，Q为预测噪声协方差矩阵，用来表示预测模型本身带来的噪声。
(2-2)矫正：
Kk＝PkHT(HPkHT+R)-1 xk＝xk+Kk(zk-Hxk) Pk＝(I-KkH)Pk
其中Kk为k时刻的卡尔曼增益，H为观测矩阵，HT为H的转置矩阵，R为测量噪声协方差矩阵，zk为k时刻的观测值，I为单位矩阵
步骤(5)所述的紧急制动距离s通过以下公式实现：
Figure BDA0003052169600000031
其中τ'2为汽车反应时间，τ”2为制动力增长时间，u0为开始制动时的车速，abmax为刹车时的加速度；通过文献查阅，上述参数可分别设置为τ'2＝0.1s,τ”2＝0.1s,abmax＝8m/s2。
优选地，所述步骤(4)所述的车道线检测算法将多项式拟合和透视变换结合，预处理主要包括颜色、梯度阈值过滤，定义感兴趣区域、图像二值化。
优选地，所述步骤(6)计算两块不同等级预警区域，将其划分为红色区域以及黄色区域，每个区域的横向、纵向距离由步骤(4)检测出的车道线、步骤(5)计算的安全距离模型、距离本车最近目标的相对速度决定。
一种基于视觉的智能车辆前向碰撞预警系统，实施本发明基于视觉的智能车辆前向碰撞预警方法，所述系统包括图像获取和预处理模块、多线程并行运算模块、目标检测模块、多目标跟踪模块和车道线检测模块、预警区域计算模块、预警等级划分模块，其特征在于，所述目标检测模块，使用重新训练好的YOLOv3模型对视频中的目标进行识别和检测，得到车辆在图像中的位置、最小边界包围框等信息，并将结果保存在目标信息队列中；所述多目标跟踪模块，运用卡尔曼滤波原理，对连续多张图像进行分析，计算出目标的移动轨迹并预测其未来走向；所述车道线检测模块，运用sobel边缘检测算法，结合多项式拟合和透视变换得到车道线点的集合，将其拟合为最优的两条线，并不断更新这些点的集合，对弯道处理效果较好；所述预警区域计算模块,根据车道线检测结果及驾驶员反映特性等在本车前方绘制两块随车速动态变化的预警区域；所述预警等级划分模块，跟踪预测黄色预警区域中检测到的目标轨迹，红色区域输出为红色框，代表即将碰撞需要马上刹车，黄色区域目标中预测有碰撞可能性输出为黄色框，预测无碰撞危险输出为绿色框，最后融合距离感知决定系统输出为强提醒或普通提醒，对可能发生碰撞的情况及时预警。优选将重新训练并转化好的YOLOv3模型移植到Atlas 200DK开发板，对视频中的目标进行识别和检测。
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：
1.本发明车道线检测方法将多项式拟合与透视变换结合，直线和弯道检测效果都比较好并且不会出现帧错误；
2.本发明融合了多目标跟踪算法测量目标矢量速度，预测目标运动轨迹，可以预知可能碰撞的目标并做出相应的提醒；
3.本发明安全预警区域充分考虑驾驶员反应特性、前方最近目标相对速度等多种因素，结合车道线检测、多目标跟踪等算法将预警等级分为三等，最后融入距离感知决定对险情做出强提醒或普通提醒；
4.本发明方法简单易行，成本低，适合推广使用。
附图说明
图1为本发明基于视觉的智能车辆前向碰撞预警方法流程图。
图2为本发明使用Y0L0v3算法进行车辆识别检测后的效果图。
图3为本发明基于多项式拟合和透视变换的车道线检测算法流程图。
图4为本发明将拟合的车道线可视化到图像上，车道线检测与追踪的效果图。
图5为本发明不同等级预警区域划分图。
图6为本发明预警区域划分可视化效果图。
图7为本发明前车近距离变道预警效果图。
图8为本发明前车远距离变道预警效果图。
图9为本发明预测目标无碰撞可能效果图。
具体实施方式
以下结合具体的实施例子对上述方案做进一步说明，本发明的优选实施例详述如下：
实施例一：
在本实施例中，参见图1，一种基于视觉的智能车辆前向碰撞预警方法，包括以下操作步骤：
(1)使用行车记录仪中采集到的视频，结合YOLOv3算法对视频中的目标进行识别与检测，输出目标的位置及最小边界包围框信息；
(2)使用基于卡尔曼滤波的多目标跟踪算法，根据步骤(1)输出的连续帧中的目标位置信息，对目标中心点轨迹进行预测及矫正，并测量其矢量速度；
(3)使用基于小孔成像原理的单目测距算法，根据步骤(1)输出的目标框宽度信息、最小边界包围框信息并结合相应的先验知识计算出目标纵向距离及偏转角，再利用三角函数关系计算出目标横向距离；
(4)进行车道线检测，首先对视频图像进行预处理，使用sobel边缘检测算法提取车道线的边缘，通过透视变换将二值图变换为鸟瞰图，降低曲线拟合阶次，再通过滑动窗口法提取一系列有效的离散像素点，然后用两条曲线来拟合这些像素，最后将拟合的车道线使用透视变换还原到原视角；
(5)根据驾驶员反应特性以及汽车反应特性计算出紧急制动距离，再结合步骤(4)计算出两块随车速动态变化的不同等级预警区域；将视频图像中的像素距离和实际距离用一元三次多项式Ph＝AL3-BL2+CL+D进行拟合从而将实际距离转换成像素距离，其中L为实际距离，Ph为像素距离，A，B，C，D为多项式系数；
(6)结合步骤(4)和步骤(5)计算出两块随车速动态变化的不同等级预警区域，融合距离感知对预警区域内检测到的目标输出不同预警等级，对可能发生碰撞的情况及时预测并提醒。
本实施例融合了多目标跟踪算法测量目标矢量速度，预测目标运动轨迹，可以预知可能碰撞的目标并做出相应的提醒，对可能发生碰撞的情况及时预警，降低事故发生的概率。
实施例二：
本实施例与实施例一基本相同，特别之处在于：
在本实施例中，所述步骤(1)使用COCO数据集对YOLOv3网络重新训练，模型精确度可高达99.8％。
在本实施例中，在所述步骤(2)中的轨迹预测及矫正通以下公式实现：
(2-1)预测：xk＝Axk-1+Buk-1 pk＝Apk-1AT+Q
其中xk为k时刻的状态，xk-1为k-1时刻的状态，uk-1为k-1时刻外界对系统的作用，A为状态转移矩阵，它表示如何从上一时刻的状态太推测当前时刻的状态，B为输入控制矩阵，表示控制量uk如何作用于当前状态，pk为k时刻的误差矩阵，pk-1为k-1时刻的误差矩阵，AT为A的转置矩阵，Q为预测噪声协方差矩阵，用来表示预测模型本身带来的噪声。
(2-2)矫正：
Kk＝PkHT(HPkHT+R)-1 xk＝xk+Kk(zk-Hxk) Pk＝(I-KkH)Pk
其中Kk为k时刻的卡尔曼增益，H为观测矩阵，HT为H的转置矩阵，R为测量噪声协方差矩阵，zk为k时刻的观测值，I为单位矩阵
步骤(5)所述的紧急制动距离s通过以下公式实现：
Figure BDA0003052169600000061
其中τ'2为汽车反应时间，τ”2为制动力增长时间，u0为开始制动时的车速，abmax为刹车时的加速度；通过文献查阅，上述参数可分别设置为τ'2＝0.1s,τ”2＝0.1s,abmax＝8m/s2。
在本实施例中，所述步骤(4)所述的车道线检测算法将多项式拟合和透视变换结合，预处理主要包括颜色、梯度阈值过滤，定义感兴趣区域、图像二值化。
在本实施例中，所述步骤(6)计算两块不同等级预警区域，将其划分为红色区域以及黄色区域，每个区域的横向、纵向距离由步骤(4)检测出的车道线、步骤(5)计算的安全距离模型、距离本车最近目标的相对速度决定。
本实施例安全预警区域充分考虑驾驶员反应特性、前方最近目标相对速度等多种因素，结合车道线检测、多目标跟踪等算法将预警等级分为三等，最后融入距离感知决定对险情做出强提醒或普通提醒，对可能发生碰撞的情况及时预警，降低事故发生的概率。
实施例三：
本实施例与实施例一基本相同，特别之处在于：
如图1所示，本实施例基于视觉的智能车辆前向碰撞预警方法，包括以下步骤：
(1)首先使用COCO数据集重新训练YOLOv3网络，对行车记录仪采集到的视频中的目标进行识别与检测，输出目标的位置及最小边界包围框等信息。图2为YOLOv3进行目标检测与识别的效果图，其中被检测到的目标会用一个矩形框标记出来。
(2)以检测到的目标为基础，使用Kalman滤波算法对目标的中心坐标进行跟踪。Kalman滤波分为2个步骤，预测(predict)和校正(correct)。利用上一时刻目标的状态估计当前时刻状态进行预测，综合当前时刻的估计状态与观测状态进行校正，进而估计出最优的状态。
预测：首先是状态预测，此时xk表示估计量而不是真实值，然后是误差矩阵预测，表示各个时刻之间不确定性的传递关系。公式如下：
xk＝Axk-1+Buk-1 pk＝Apk-1AT+Q
其中xk为k时刻的状态，xk-1为k-1时刻的状态，uk-1为k-1时刻外界对系统的作用，A为状态转移矩阵，它表示如何从上一时刻的状态太推测当前时刻的状态，B为输入控制矩阵，表示控制量uk如何作用于当前状态，pk为k时刻的误差矩阵，pk-1为k-1时刻的误差矩阵，AT为A的转置矩阵，Q为预测噪声协方差矩阵，用来表示预测模型本身带来的噪声。
校正：首先是计算卡尔曼增益矩阵，其作用有两个方面，一是权衡预测状态的协方差矩阵P和观测量的协方差矩阵R大小，二是把残差的表现形式从观测域转换到状态域；然后是状态矫正，给前面得到的xk加上一项修正值从而得到最佳估计值；最后是误差矩阵更新，供下一轮迭代使用。公式如下：
Kk＝PkHT(HPkHT+R)-1 xk＝xk+Kk(zk-Hxk) Pk＝(I-KkH)Pk
其中Kk为k时刻的卡尔曼增益，H为观测矩阵，HT为H的转置矩阵，R为测量噪声协方差矩阵，zk为k时刻的观测值，I为单位矩阵
测量目标矢量速度，预测目标运动轨迹，为判断是否可能发生碰撞奠定基础。
(3)以目标检测输出目标框的宽度信息、最小边界包围框信息为基础，利用小孔成像原理，构建世界坐标系与图像坐标系之间的关系，因为单目视觉采集到的图像将3维的空间信息转换成了2维的平面图像信息，所以结合相应的先验知识计算出目标与本车的纵向距离及偏转角，再利用三角函数关系计算出目标横向距离。
(4)基于多项式拟合和透视变换的车道线检测流程图如图3所示，由于原始视频图像含有许多冗余的信息和噪声，因此要先对其进行预处理，由于车道线一般只有两种颜色：白色和黄色，因此可以采用在RGB色彩空间对这两种颜色过滤的方法提取出车道线的像素，由于RGB颜色阈值化在复杂环境光的情况下性能并不稳定，因此本文将图像从RGB色彩空间转换到HLS色彩空间，使用HLS色彩阈值化来进行车道线检测。接下来是使用sobel算子进行梯度阈值过滤，由于大部分车道线属于垂直方向，因此采用x方向的sobel算子进行边缘检测。设定一块ROI(RegionofInterest)感兴趣区域，去除噪声和其他干扰的同时加快处理速度。
然后通过透视变换将设置好的ROI区域转化为鸟瞰图，降低曲线拟合阶次。使用滑动窗口的方法提取一系列有效的像素点用两条曲线进行拟合，最后将拟合的车道线再次使用透视变换还原到原视角。如图4所示为将拟合的车道线曲线可视化到图像上，实现了车道线检测与追踪的效果。
(5)根据检测出的车道线，结合驾驶员行为特性、汽车反应特性、前方最近目标相对车速等绘制两块不同等级的预警区域，分为红色区域和黄色区域，如图5、图6所示。计算紧急制动距离s:
Figure BDA0003052169600000081
其中τ'2为汽车反应时间，τ”2为制动力增长时间，u0为开始制动时的车速，abmax为刹车时的加速度。通过文献查阅，上述参数可分别设置为τ'2＝0.1s,τ”2＝0.1s,abmax＝8m/s2。
红色区域横向距离为检测的车道线宽度，红色区域纵向距离ymin为：
ymin＝s+trmax×u
其中trmax为驾驶员反映时间的最大值，u为自车车速。
黄色区域横向距离xmax为：
xmax＝v×(trmax+TTCc)
其中v为前方最近目标车辆相对车速，TTCc表示临界TTC，当自车与前方目标的TTC小于临界值时，驾驶员会察觉到危险，设定TTC＝3s。
黄色区域纵向距离ymax为：
ymax＝(trmax+TTCc)×u
利用单目测距算法测出目标的实际距离，然后再使用gimp工具测得目标的像素距离，最后根据这些特征点将实际距离与像素距离拟合成一元三次多项式，采集的数据点如表1所示：
表1.采集的特征点数据
实际距离(L) 12 20 25 30 43
像素距离(P<sub>h</sub>) 354 383 395 405 422
经过对这些数据间相互关系的分析，发现数据之间为非线性关系，所以用一元三次方程Ph＝AL3-BL2+CL+D来构建这些数据的数学模型，使用最小二乘法求出该数学模型的具体表达式，即得到像素高度Ph(px)和实际距离L(m)的拟合方程如下所示：
ph＝0.0032L3-0.334L2+12.86L+233.4
其中L为实际距离，Ph为像素距离.
(6)将以上几种算法结合，检测并标记预警区域内的目标，跟踪预测黄色预警区域中检测到的目标轨迹，红色区域输出为红色框，代表即将碰撞需要马上刹车，黄色区域目标中若预测有碰撞可能性则输出为黄色框，预测无碰撞危险输出为绿色框，对可能发生碰撞的情况及时预警，最后融合距离感知决定对险情做出强提醒或普通提醒。如图7所示，若目标距离本车的横向距离和纵向距离均小于某阈值，且预测到将要变道有很大概率发生碰撞，则系统输出为黄色框，发出强提醒并显示前方最近目标车速。如图8所示，当预测到前车即将变道但距离较远时目标输出框由绿色变为黄色，输出为普通提醒，能够帮助驾驶员提前感知一些突发情况。如图9所示，目标车辆变道后预测到其运动方向为正前方不会产生碰撞，则输出框变为绿色。
实施例四：
本实施例与上述实施例基本相同，特别之处在于：
在本实施例中，一种基于视觉的智能车辆前向碰撞预警系统，实施本发明基于视觉的智能车辆前向碰撞预警方法，所述系统包括图像获取和预处理模块、多线程并行运算模块、目标检测模块、多目标跟踪模块和车道线检测模块、预警区域计算模块、预警等级划分模块，其特征在于，所述目标检测模块，使用重新训练好的YOLOv3模型对视频中的目标进行识别和检测，得到车辆在图像中的位置、最小边界包围框等信息,并将结果保存在目标信息队列中；所述多目标跟踪模块，运用卡尔曼滤波原理，对连续多张图像进行分析，计算出目标的移动轨迹并预测其未来走向；所述车道线检测模块，运用sobel边缘检测算法，结合多项式拟合和透视变换得到车道线点的集合，将其拟合为最优的两条线，并不断更新这些点的集合，对弯道处理效果较好；所述预警区域计算模块,根据车道线检测结果及驾驶员反映特性等在本车前方绘制两块随车速动态变化的预警区域；所述预警等级划分模块，跟踪预测黄色预警区域中检测到的目标轨迹，红色区域输出为红色框，代表即将碰撞需要马上刹车，黄色区域目标中预测有碰撞可能性输出为黄色框，预测无碰撞危险输出为绿色框，最后融合距离感知决定系统输出为强提醒或普通提醒，对可能发生碰撞的情况及时预警。
上述实施例基于视觉的智能车辆前向碰撞预警方法及系统。上述实施例方法通过使用YOLOv3算法对车辆前方的目标进行识别检测，输出目标的位置及最小边界包围框等信息；多目标跟踪算法测量目标矢量速度，预测未来走向；单目测距技术利用小孔成像原理计算当前目标的横向及纵向距离；使用结合多项式拟合和透视变换的车道线检测技术对视频中的车道线进行准确稳定的追踪；根据车道线检测结果、及驾驶员反映特性、前方最近目标相对速度等在本车前方绘制两块随自车车速动态变化的预警区域；碰撞预警技术融合距离感知对预警区域内检测到的目标输出不同预警等级，对可能发生碰撞的情况及时预警。采用本发明能够对潜在危险目标及时预警，降低碰撞发生的概率。
上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明的技术原理和发明构思，都属于本发明的保护范围。

Claims (6)

1.一种基于视觉的智能车辆前向碰撞预警方法，其特征在于，包括以下操作步骤：
(1)使用行车记录仪中采集到的视频，结合YOLOv3算法对视频中的目标进行识别与检测，输出目标的位置及最小边界包围框信息；
(2)使用基于卡尔曼滤波的多目标跟踪算法，根据步骤(1)输出的连续帧中的目标位置信息，对目标中心点轨迹进行预测及矫正，并测量其矢量速度；
(3)使用基于小孔成像原理的单目测距算法，根据步骤(1)输出的目标框宽度信息、最小边界包围框信息并结合相应的先验知识计算出目标纵向距离及偏转角，再利用三角函数关系计算出目标横向距离；
(4)进行车道线检测，首先对视频图像进行预处理，使用sobel边缘检测算法提取车道线的边缘，通过透视变换将二值图变换为鸟瞰图，降低曲线拟合阶次，再通过滑动窗口法提取一系列有效的离散像素点，然后用两条曲线来拟合这些像素，最后将拟合的车道线使用透视变换还原到原视角；
(5)根据驾驶员反应特性以及汽车反应特性计算出紧急制动距离，再结合步骤(4)计算出两块随车速动态变化的不同等级预警区域；将视频图像中的像素距离和实际距离用一元三次多项式Ph＝AL3-BL2+CL+D进行拟合从而将实际距离转换成像素距离，其中L为实际距离，Ph为像素距离，A，B，C，D为多项式系数；
(6)结合步骤(4)和步骤(5)计算出两块随车速动态变化的不同等级预警区域，融合距离感知对预警区域内检测到的目标输出不同预警等级，对可能发生碰撞的情况及时预测并提醒。
2.根据权利要求1所述基于视觉的智能车辆前向碰撞预警方法，其特征在于：所述步骤(1)使用COCO数据集对YOLOv3网络重新训练，模型精确度可高达99.8％。
3.根据权利要求1所述基于视觉的智能车辆前向碰撞预警方法，其特征在于：在所述步骤(2)中的轨迹预测及矫正通以下公式实现：
(2-1)预测：xk＝Axk-1+Buk-1 pk＝Apk-1AT+Q
其中xk为k时刻的状态，xk-1为k-1时刻的状态，uk-1为k-1时刻外界对系统的作用，A为状态转移矩阵，它表示如何从上一时刻的状态太推测当前时刻的状态，B为输入控制矩阵，表示控制量uk如何作用于当前状态，pk为k时刻的误差矩阵，pk-1为k-1时刻的误差矩阵，AT为A的转置矩阵，Q为预测噪声协方差矩阵，用来表示预测模型本身带来的噪声。
(2-2)矫正：
Kk＝PkHT(HPkHT+R)-1 xk＝xk+Kk(zk-Hxk) Pk＝(I-KkH)Pk
其中Kk为k时刻的卡尔曼增益，H为观测矩阵，HT为H的转置矩阵，R为测量噪声协方差矩阵，zk为k时刻的观测值，I为单位矩阵
步骤(5)所述的紧急制动距离s通过以下公式实现：
Figure FDA0003052169590000021
其中τ'2为汽车反应时间，τ”2为制动力增长时间，u0为开始制动时的车速，abmax为刹车时的加速度；通过文献查阅，上述参数可分别设置为τ'2＝0.1s,τ”2＝0.1s,abmax＝8m/s2。
4.根据权利要求1所述基于视觉的智能车辆前向碰撞预警方法，其特征在于：所述步骤(4)所述的车道线检测算法将多项式拟合和透视变换结合，预处理主要包括颜色、梯度阈值过滤，定义感兴趣区域、图像二值化。
5.根据权利要求1所述基于视觉的智能车辆前向碰撞预警方法，其特征在于，所述步骤(6)计算两块不同等级预警区域，将其划分为红色区域以及黄色区域，每个区域的横向、纵向距离由步骤(4)检测出的车道线、步骤(5)计算的安全距离模型、距离本车最近目标的相对速度决定。
6.一种基于视觉的智能车辆前向碰撞预警系统，实施权利要求1所述基于视觉的智能车辆前向碰撞预警方法，所述系统包括图像获取和预处理模块、多线程并行运算模块、目标检测模块、多目标跟踪模块和车道线检测模块、预警区域计算模块、预警等级划分模块，其特征在于，所述目标检测模块,使用重新训练好的YOLOv3模型对视频中的目标进行识别和检测，得到车辆在图像中的位置、最小边界包围框等信息,并将结果保存在目标信息队列中；所述多目标跟踪模块，运用卡尔曼滤波原理，对连续多张图像进行分析，计算出目标的移动轨迹并预测其未来走向；所述车道线检测模块，运用sobel边缘检测算法，结合多项式拟合和透视变换得到车道线点的集合，将其拟合为最优的两条线，并不断更新这些点的集合，对弯道处理效果较好；所述预警区域计算模块,根据车道线检测结果及驾驶员反映特性等在本车前方绘制两块随车速动态变化的预警区域；所述预警等级划分模块，跟踪预测黄色预警区域中检测到的目标轨迹，红色区域输出为红色框，代表即将碰撞需要马上刹车，黄色区域目标中预测有碰撞可能性输出为黄色框，预测无碰撞危险输出为绿色框，最后融合距离感知决定系统输出为强提醒或普通提醒，对可能发生碰撞的情况及时预警。
CN202110491120.6A 2021-05-06 2021-05-06 一种基于视觉的智能车辆前向碰撞预警方法及系统 Active CN113370977B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110491120.6A CN113370977B (zh) 2021-05-06 2021-05-06 一种基于视觉的智能车辆前向碰撞预警方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110491120.6A CN113370977B (zh) 2021-05-06 2021-05-06 一种基于视觉的智能车辆前向碰撞预警方法及系统

Publications (2)

Publication Number Publication Date
CN113370977A true CN113370977A (zh) 2021-09-10
CN113370977B CN113370977B (zh) 2022-11-18

Family

ID=77570366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110491120.6A Active CN113370977B (zh) 2021-05-06 2021-05-06 一种基于视觉的智能车辆前向碰撞预警方法及系统

Country Status (1)

Country Link
CN (1) CN113370977B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947947A (zh) * 2021-10-19 2022-01-18 中国第一汽车股份有限公司 车辆碰撞预警方法、装置、电子设备及存储介质
CN113947946A (zh) * 2021-10-15 2022-01-18 华东交通大学 一种基于车联网v2x与视频融合的港区行车安全监测方法
WO2023226588A1 (zh) * 2022-05-27 2023-11-30 魔门塔(苏州)科技有限公司 盲区检测方法、报警方法、装置、车辆、介质及设备
CN117649737A (zh) * 2024-01-30 2024-03-05 云南电投绿能科技有限公司 一种园区的设备监控方法、装置、设备及存储介质
CN117734683A (zh) * 2024-02-19 2024-03-22 中国科学院自动化研究所 一种井下车辆防碰撞安全预警决策方法
CN117649737B (zh) * 2024-01-30 2024-04-30 云南电投绿能科技有限公司 一种园区的设备监控方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101016053A (zh) * 2007-01-25 2007-08-15 吉林大学 高等级公路上车辆防追尾碰撞预警方法和系统
CN101391589A (zh) * 2008-10-30 2009-03-25 上海大学 车载智能报警方法和装置
US20110133917A1 (en) * 2009-12-03 2011-06-09 Gm Global Technology Operations, Inc. Cross traffic collision alert system
WO2018058356A1 (zh) * 2016-09-28 2018-04-05 驭势科技（北京）有限公司 基于双目立体视觉的汽车防碰撞预警方法和系统
WO2018076559A1 (zh) * 2016-10-26 2018-05-03 深圳市元征科技股份有限公司 安全驾驶预警方法及装置
CN109829403A (zh) * 2019-01-22 2019-05-31 淮阴工学院 一种基于深度学习的车辆防碰撞预警方法及系统
CN110992683A (zh) * 2019-10-29 2020-04-10 山东科技大学 一种基于动态图像感知的交叉口盲区预警方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101016053A (zh) * 2007-01-25 2007-08-15 吉林大学 高等级公路上车辆防追尾碰撞预警方法和系统
CN101391589A (zh) * 2008-10-30 2009-03-25 上海大学 车载智能报警方法和装置
US20110133917A1 (en) * 2009-12-03 2011-06-09 Gm Global Technology Operations, Inc. Cross traffic collision alert system
WO2018058356A1 (zh) * 2016-09-28 2018-04-05 驭势科技（北京）有限公司 基于双目立体视觉的汽车防碰撞预警方法和系统
WO2018076559A1 (zh) * 2016-10-26 2018-05-03 深圳市元征科技股份有限公司 安全驾驶预警方法及装置
CN109829403A (zh) * 2019-01-22 2019-05-31 淮阴工学院 一种基于深度学习的车辆防碰撞预警方法及系统
CN110992683A (zh) * 2019-10-29 2020-04-10 山东科技大学 一种基于动态图像感知的交叉口盲区预警方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947946A (zh) * 2021-10-15 2022-01-18 华东交通大学 一种基于车联网v2x与视频融合的港区行车安全监测方法
CN113947947A (zh) * 2021-10-19 2022-01-18 中国第一汽车股份有限公司 车辆碰撞预警方法、装置、电子设备及存储介质
WO2023226588A1 (zh) * 2022-05-27 2023-11-30 魔门塔(苏州)科技有限公司 盲区检测方法、报警方法、装置、车辆、介质及设备
CN117649737A (zh) * 2024-01-30 2024-03-05 云南电投绿能科技有限公司 一种园区的设备监控方法、装置、设备及存储介质
CN117649737B (zh) * 2024-01-30 2024-04-30 云南电投绿能科技有限公司 一种园区的设备监控方法、装置、设备及存储介质
CN117734683A (zh) * 2024-02-19 2024-03-22 中国科学院自动化研究所 一种井下车辆防碰撞安全预警决策方法

Also Published As

Publication number Publication date
CN113370977B (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
CN113370977B (zh) 一种基于视觉的智能车辆前向碰撞预警方法及系统
US11643076B2 (en) Forward collision control method and apparatus, electronic device, program, and medium
CN109829403B (zh) 一种基于深度学习的车辆防碰撞预警方法及系统
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
Li et al. Lane detection based on connection of various feature extraction methods
Huang et al. Lane detection based on inverse perspective transformation and Kalman filter
CN107239746B (zh) 一种面向道路救援安全监控的障碍物识别跟踪方法
CN107480646B (zh) 一种基于双目视觉的车载视频异常运动检测方法
US20150161447A1 (en) Vision based pedestrian and cyclist detection method
CN111553214B (zh) 一种驾驶员吸烟行为检测方法及系统
KR101483742B1 (ko) 지능형 차량의 차선 검출방법
Li et al. Judgment and optimization of video image recognition in obstacle detection in intelligent vehicle
CN110147748B (zh) 一种基于道路边缘检测的移动机器人障碍物识别方法
Wang et al. An improved hough transform method for detecting forward vehicle and lane in road
Vajak et al. A rethinking of real-time computer vision-based lane detection
CN114693716A (zh) 一种面向复杂交通条件下的驾驶环境综合识别信息提取方法
CN113221739B (zh) 基于单目视觉的车距测量方法
Dinh et al. Image segmentation based on histogram of depth and an application in driver distraction detection
Mihai et al. Towards autonomous driving: A machine learning-based pedestrian detection system using 16-layer LiDAR
Qing et al. Localization and tracking of same color vehicle under occlusion problem
WO2022142827A1 (zh) 占道信息确定方法和装置
Chen et al. Vehicle classification and counting system
Lu et al. Monocular multi-kernel based lane marking detection
KR101910256B1 (ko) 카메라 기반 도로 곡률 추정을 위한 차선 검출 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant