CN111332305A - 一种主动预警型交通道路感知辅助驾驶预警系统 - Google Patents
一种主动预警型交通道路感知辅助驾驶预警系统 Download PDFInfo
- Publication number
- CN111332305A CN111332305A CN201811539789.2A CN201811539789A CN111332305A CN 111332305 A CN111332305 A CN 111332305A CN 201811539789 A CN201811539789 A CN 201811539789A CN 111332305 A CN111332305 A CN 111332305A
- Authority
- CN
- China
- Prior art keywords
- module
- early warning
- traffic light
- vehicle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
- B60W2050/0028—Mathematical models, e.g. for simulation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
Abstract
一种主动预警型交通道路感知辅助驾驶预警系统、方法及装置,该方法包括:实时采集道路图像,将采集的道路图像发送给Nvidia TX2开发板;所述Nvidia TX2开发板对接收的图像进行处理;根据处理后的图像利用测距算法测算本车与目标物的距离;根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯;根据处理后的图像利用车道检测算法识别出本车所在的车道;将所述测算或识别的结果发送给显示器和语音预警装置;所述显示器,对所述测算或识别的结果进行显示;所述语音预警装置,在所述测算或识别的结果满足预设条件时进行语音预警提示。本发明利用压缩的深度学习的识别模型,提升了识别的计算速度和准确度,同时能够在无法接收GPS信号的情况下完成红绿灯检测,提高了用户体验。
Description
技术领域
本发明涉及智能交通技术领域,尤其涉及一种主动预警型交通道路感知辅助驾驶预警系统。
背景技术
前车预警是一项主动安全技术,在检测到本车有危险行为是进行提醒,防止汽车偏离轨道、闯红灯和追尾等常见交通事故的发生。一般预警的方式有声音、视觉等。
前车预警中,一般根据TTC(Time To collision)时间作为报警依据,测距方式一般基于雷达传感器或者视觉传感器。目前已有的辅助驾驶产品,往往基于GPS和预先采集的道路信息提供红绿灯预警,在信号不好的山区无法完成红绿灯检测。
现有的前方交通物体识别系统多是基于传统的计算机视觉方案的目标检测,传统方案由于运算资源小,能都达到实时的要求,但产品效果较差。而目前采用深度学习模型的产品能够解决能够更精准的提供预警信息,但计算资源高,速度上有着很大的局限性,实时性较差。相对于传统的基于视觉的技术,基于深度学习的方法在不同的场景下有着更好的识别能力,唯一的不足在于模型往往很大,难以在嵌入式系统上运作。
发明内容
针对现有技术的缺陷,本发明提出一种主动预警型交通道路感知辅助驾驶预警系统、方法及装置,与传统方式相比,由于本装置采用了深度学习的识别模型,所以在道路物体检测方面的准确率大大提高。同时,对深度学习模型的性能优化也使得本装置检测效率大大提高,从而满足了驾驶的实时性需求。
本发明提供了一种主动预警型交通道路感知辅助驾驶预警系统,其特征在于,该系统包括:
车载单目摄像机,用于实时采集道路图像,将采集的道路图像发送给Nvidia TX2开发板;
所述Nvidia TX2开发板包括图像处理模块、目标测距模块、红绿灯检测模块、车道线识别模块和输出模块,所述图像处理模块对接收的图像进行处理后,分别发送给目标测距模块、红绿灯检测模块和车道线识别模块;
所述目标测距模块根据处理后的图像利用测距算法测算本车与目标物的距离;
所述红绿灯检测模块根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯;
所述车道线识别模块根据处理后的图像利用车道检测算法识别出本车所在的车道;
输出模块,接收目标测距模块、红绿灯检测模块、车道线识别模块的处理结果,将所述处理结果发送给显示器和语音预警装置;
所述显示器,对目标测距模块、红绿灯检测模块、车道线识别模块的处理结果进行显示;
所述语音预警装置,在目标测距模块或红绿灯检测模块或车道线识别模块的处理结果满足预设条件时进行语音预警提示。
根据本发明的一个方面,所述图像处理模块对接收的图像进行处理包括:所述图像处理模块采用采用压缩的神经网络模型对图像进行处理,将标准卷积网络分解成Depthwise Convolution和Pointwise Convolution两部分。
根据本发明的一个方面,所述目标测距模块根据处理后的图像利用测距算法测算本车与目标物的距离包括:所述目标测距模块根据预先配置好的相机参数,通过解析几何的方式,估算目标物与本车的距离,将距离信息通过输出模块回传给语音预警装置。
根据本发明的一个方面,所述语音预警装置在所述目标测距模块的处理结果满足预设条件时进行语音预警提示包括:如果本车与目标物的距离小于预定的距离阈值,或者,目标物与本车的距离与本车车速的比值小于预定的时间阈值时,语音预警装置进行语音预警提示。
根据本发明的一个方面,所述红绿灯检测模块根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯包括:红绿灯检测模块通过提取前车景象中的HIV数据,过滤出红色的阈值范围,通过形态学运算消除小物体的影响,圆滑整个连通域,将提取出来的图形回传给语音预警装置。
根据本发明的一个方面,所述语音预警装置在红绿灯检测模块的处理结果满足预设条件时进行语音预警提示包括:如果检测结果为前方有红绿灯,则所述语音预警装置使用提示音提醒驾驶员做好减速、停车准备。
根据本发明的一个方面,所述车道线识别模块根据处理后的图像利用车道检测算法识别出本车所在的车道包括:所述车道线识别模快对图像处理模块处理后的图像的灰度图使用中值检测、Canny边缘检测、Hough直线检测来识别车道,使用卡尔曼滤波迭代,根据上一时刻的车道线状态与当前观测状态确定实际现在的车道线的状态。
根据本发明的一个方面,所述语音预警装置在车道线识别模块的处理结果满足预设条件时进行语音预警提示包括:如果车辆偏离了当前车道,则所述语音预警装置使用提示音提醒驾驶员注意车道线保持。
根据本发明的一个方面,所述显示器,对目标测距模块、红绿灯检测模块、车道线识别模块的处理结果进行显示包括:显示器显示目标物与本车的距离、红绿灯的图像,绘制的车道线。
本发明还提供了一种主动预警型交通道路感知辅助驾驶预警方法,该方法包括:
实时采集道路图像,将采集的道路图像发送给Nvidia TX2开发板;
所述Nvidia TX2开发板对接收的图像进行处理;根据处理后的图像利用测距算法测算本车与目标物的距离;根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯;根据处理后的图像利用车道检测算法识别出本车所在的车道;将所述测算或识别的结果发送给显示器和语音预警装置;
所述显示器,对所述测算或识别的结果进行显示;
所述语音预警装置,在所述测算或识别的结果满足预设条件时进行语音预警提示。
本发明还提供了一种主动预警型交通道路感知辅助驾驶预警装置,该装置包括:
Nvidia TX2开发板,所述Nvidia TX2开发板接收车载单目摄像机实时采集的道路图像;
所述Nvidia TX2开发板包括图像处理模块、目标测距模块、红绿灯检测模块、车道线识别模块和输出模块,所述图像处理模块对接收的图像进行处理后,分别发送给目标测距模块、红绿灯检测模块和车道线识别模块;
所述目标测距模块根据处理后的图像利用测距算法测算本车与目标物的距离;
所述红绿灯检测模块根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯;
所述车道线识别模块根据处理后的图像利用车道检测算法识别出本车所在的车道;
输出模块,接收目标测距模块、红绿灯检测模块、车道线识别模块的处理结果,将所述处理结果发送给显示器和语音预警装置;
所述显示器,对目标测距模块、红绿灯检测模块、车道线识别模块的处理结果进行显示;
所述语音预警装置,在目标测距模块或红绿灯检测模块或车道线识别模块的处理结果满足预设条件时进行语音预警提示。
本发明的有益效果是:本发明利用压缩的深度学习的识别模型,提升了识别的计算速度和准确度,同时能够在无法接收GPS信号的情况下完成红绿灯检测,提高了用户体验。
通过参照以下附图及对本发明的具体实施方式的详细描述,本发明的特征及优点将会变得清楚。
附图说明
图1是本发明的主动预警型交通道路感知辅助驾驶预警系统的结构示意图;
图2是本发明的深度神经网络模型压缩示意图;
图3、4是本发明的利用几何算法进行目标测距的示意图;
图5是本发明的主动预警型交通道路感知辅助驾驶预警方法流程示意图。
具体实施方式
为了使本发明的技术方案更加清楚、明了,下面将结合附图作进一步详述,应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明提供了一种主动预警型交通道路感知辅助驾驶预警系统,该系统包括:
车载单目摄像机,用于实时采集道路图像,将采集的道路图像发送给Nvidia TX2开发板;
所述Nvidia TX2开发板包括图像处理模块、目标测距模块、红绿灯检测模块、车道线识别模块和输出模块,所述图像处理模块对接收的图像进行处理后,分别发送给目标测距模块、红绿灯检测模块和车道线识别模块;
所述目标测距模块根据处理后的图像利用测距算法测算本车与目标物的距离;
所述红绿灯检测模块根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯;
所述车道线识别模块根据处理后的图像利用车道检测算法识别出本车所在的车道;
输出模块,接收目标测距模块、红绿灯检测模块、车道线识别模块的处理结果,将所述处理结果发送给显示器和语音预警装置;
所述显示器,对目标测距模块、红绿灯检测模块、车道线识别模块的处理结果进行显示;
所述语音预警装置,在目标测距模块或红绿灯检测模块或车道线识别模块的处理结果满足预设条件时进行语音预警提示。
本发明利用压缩的深度学习的识别模型,提升了识别的计算速度和准确度,同时能够在无法接收GPS信号的情况下完成红绿灯检测,提高了用户体验。
如图2所示,本发明采用基于MobileNet结构,进行卷积分解,将标准卷积网络分解成Depthwise Convolution和Pointwise Convolution两部分,减小模型规模,加快识别速度。
MobileNet是由Google提出的针对移动端部署的轻量级网络架构。考虑到移动端计算资源受限以及速度要求严苛,MobileNet引入了传统网络中原先采用的group思想,即限制滤波器的卷积计算只针对特定的group中的输入,从而大大降低了卷积计算量,提升了移动端前向计算的速度。
根据本发明的一个方面,所述图像处理模块对接收的图像进行处理包括:所述图像处理模块采用采用压缩的神经网络模型对图像进行处理,将标准卷积网络分解成Depthwise Convolution和Pointwise Convolution两部分。
Depthwise(DW)卷积与Pointwise(PW)卷积,合起来被称作 Depthwise SeparableConvolution,该结构和常规卷积操作类似,可用来提取特征,但相比于常规卷积操作,其参数量和运算成本较低。所以在一些轻量级网络,例如MobileNet中会碰到这种结构。
MobileNet借鉴factorized convolution的思想,将普通卷积操作分成两部分:
Depthwise Convolution:每个卷积核滤波器只针对特定的输入通道进行卷积操作,如图2所示,其中M是输入通道数,DK是卷积核尺寸。
Depthwise Convolution的计算复杂度为DK×DK×M×DF×DF,其中DF是卷积层输出的特征图的大小。
Pointwise Convolution:采用1x1大小的卷积核将depthwise convolution层的多通道输出进行结合,如如图2所示,其中N是输出通道数。
Pointwise Convolution的计算复杂度为M×N×DF×DF。
上面两步合称depthwise separable convolution,因此标准卷积操作的计算复杂度为DK×DK×M×N×DF×DF。
通过将标准卷积分解成两层卷积操作,可以计算出理论上的计算效率提升比例。例如,对于3x3尺寸的卷积核来说,depthwise separable convolution在理论上能带来约8~9倍的效率提升。
根据本发明的一个方面,本发明的所述目标测距模块根据预先配置好的相机参数,通过解析几何的方式,估算目标物与本车的距离,将距离信息通过输出模块回传给语音预警装置。
图3示出了利用几何算法进行目标测距的原理,图4示出了利用几何算法进行目标测距的一个具体的实施方式。
如图4所示,具体实现方法为:记摄像头距离地面的高度为H,摄像头能够看到的最远距离为D,摄像头光轴与水平夹角为α,摄像头视角为VA,图像平面为p,图像竖直方向像素总数为M,目标物截面直线与摄像头镜头在水平面上的距离为d,目标物底部直线对应在图上的直线到图像上方像素数为v,摄像机与目标底部连线与相机光轴夹角为β;
通过三角形相似原理计算目标物到单目摄像头光轴的距离,具体为:单目摄像头到图像平面的距离为f,目标物坐标点在图像上的点与光轴的距离为r,目标物到摄像头光轴所在竖直平面的距离为l,已经求得了障碍物底部直线与摄像头的水平距离为d,通过勾股定理求解r;然后由三角形相似求得l,其中,
根据本发明的一个方面,所述语音预警装置在所述目标测距模块的处理结果满足预设条件时进行语音预警提示包括:如果本车与目标物的距离小于预定的距离阈值,或者,目标物与本车的距离与本车车速的比值小于预定的时间阈值时,语音预警装置进行语音预警提示。
可以预先设置距离阈值,如果本车与目标物的距离小于预定的距离阈值,为了安全起见,语音预警装置对驾驶员进行语音预警提示。但特殊情况下,如果本车与目标物的距离很小,但车速较慢,例如排队缓慢移动时,此时的危险性并不太高,因此,满足预设条件可以被设置为:目标物与本车的距离与本车车速的比值小于预定的时间阈值时,语音预警装置对驾驶员进行语音预警提示,此种设置可以避免距离小但车速缓慢而导致的伪报警,提升用户体验。
根据本发明的一个方面,所述红绿灯检测模块根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯包括:红绿灯检测模块通过提取前车景象中的HIV数据,过滤出红色的阈值范围,通过形态学运算消除小物体的影响,圆滑整个连通域,将提取出来的图形回传给语音预警装置。如果前方有红绿灯,该装置将使用提示音对司机进行提示,提醒车主提前做好准备。
可选地,除了上述实施方式之外,红绿灯检测方法也可按如下方式进行:
当缩微车行驶至十字路口模式时,红绿灯检测模块首先判断道路图片是否存在停止线,若存在,根据视觉传感器与红绿灯的高度阈值,获取感兴趣区域。在红绿灯的检测过程中,由于摄像头与红绿灯的高度均是固定的,为了提高处理速度,减少环境干扰等因素,因此采用设置感兴趣区域。视觉传感器与红绿灯的高度阈值可以根据具体试验或者实际道路中的视觉传感器与红绿灯的高度进行设置,具体设置的高度阈值为红绿灯的高度加减一定的度所形成的范围。
读取感兴趣区域内的像素点的R、G、B三刺激值并与设定的红绿灯的R、G、B三刺激值进行比较,当满足误差要求时,感兴趣区域为目标区域。
对目标区域进行条件筛选,所述条件筛选的项目包括筛选像素点的个数,R、G、B三刺激值分别所占的比例,当所有条件均满足,则判断出是红灯还是绿灯。
此种红绿灯检测方法通过选定感兴趣区域,并在感兴趣区域中选择目标区域,提高了红绿灯检测的快速性,对目标区域进行条件筛选,提高了红绿灯检测的准确性。
根据本发明的一个方面,所述车道线识别模块根据处理后的图像利用车道检测算法识别出本车所在的车道包括:所述车道线识别模快对图像处理模块处理后的图像的灰度图使用中值检测、Canny边缘检测、Hough直线检测来识别车道,使用卡尔曼滤波迭代,根据上一时刻的车道线状态与当前观测状态确定实际现在的车道线的状态。如果车辆偏离了当前车道,则所述语音预警装置使用提示音提醒驾驶员注意车道线保持。
中值滤波是一种非线性数字滤波器技术,经常用于去除图像或者其它信号中的噪声。这个设计思想就是检查输入信号中的采样并判断它是否代表了信号,使用奇数个采样组成的观察窗实现这项功能。观察窗口中的数值进行排序,位于观察窗中间的中值作为输出。然后,丢弃最早的值,取得新的采样,重复上面的计算过程。中值滤波是图像处理中的一个常用步骤,它对于斑点噪声和椒盐噪声来说尤其有用。
Canny边缘检测算子是一种多级检测算法。其满足边缘检测的三大准则:
1.低错误率的边缘检测:检测算法应该精确地找到图像中的尽可能多的边缘,尽可能的减少漏检和误检。
2.最优定位:检测的边缘点应该精确地定位于边缘的中心。
3.图像中的任意边缘应该只被标记一次,同时图像噪声不应产生伪边缘。
Canny算法出现以后一直是作为一种标准的边缘检测算法,此后也出现了各种基于Canny算法的改进算法。时至今日,Canny算法及其各种变种依旧是一种优秀的边缘检测算法。
Canny算法分为如下几步:1.高斯模糊、2.计算梯度幅值和方向、3.非最大值抑制、4.双阀值、5.滞后边界跟踪。这个算法搜索所有连通的弱边缘,如果一条连通的弱边缘的任何一个点和强边缘点连通,则保留这条弱边缘,否则抑制这条弱边缘。
霍夫变换(Hough Transform)是图像处理中的一种特征提取技术,可以识别图像中的几何形状。它将图像空间中的特征点映射到参数空间进行投票,通过检测累计结果的局部极值点得到一个符合某特定形状的点的集合。经典霍夫变换用来检测图像中的直线,后来霍夫变换扩展到任意形状物体的识别,多为圆和椭圆。它的抗噪声、抗形变能力较强。另一种直线提取的方法是对图像边缘点进行链码追踪,在得到的链码串中提取直线。
霍夫变换将在一个空间中具有相同形状的曲线或直线映射到另一个坐标空间的一个点上形成峰值,从而把检测任意形状的问题转化为统计峰值问题。
可选地,本发明也可以采用以下方法进行车道线识别:
车道线检测模块获取路面的RGB彩色图像,所述RGB彩色图像中含有车道线信息,通常道路上车道线的颜色一般为白色,或间断,或连续;道路路面为黑灰色,路宽约为35cm。
车道线检测模块将所述RGB彩色图像转化为灰度图像,获取所述灰度图像中每帧图像的最佳动态阈值并进行图像分割,得到二值图像,将车道线分离出来;
运用canny算子对所述二值化图像进行边缘检测,得到含有车道线的内、外边缘的边缘图像,利用霍夫变换在所述边缘图像中检测车道线并获取车道线参数,建立车道线模型,所述车道线参数包括车道线斜率在车辆坐标系中的夹角,在车道为直道的情况下,车道线为直线模型,在车道为弯道的情况下,车道线为弯道的切线模型;
利用获取的所述车道线参数,通过逆透视变换获取车辆在世界坐标系中所处的车道位置数据,根据所述路面图像信息,依据障碍物位置、车道线与车身距离参数及车辆转角,获取车辆在当前时刻的行驶状态,所述行驶状态包括左转、右转、直行、停止。如果车辆偏离了当前车道,则所述语音预警装置使用提示音提醒驾驶员注意车道线保持。
根据本发明的一个方面,所述显示器,对目标测距模块、红绿灯检测模块、车道线识别模块的处理结果进行显示包括:显示器显示目标物与本车的距离、红绿灯的图像,绘制的车道线。
具体地,显示器可以显示目标物与本车的距离、红绿灯的图像,以及模拟绘制的车道线,也可以显示绘制的红色直线来提示车主注意车道线保持。
根据本发明的另一方面,本发明还提供了一种主动预警型交通道路感知辅助驾驶预警方法,该方法包括:
实时采集道路图像,将采集的道路图像发送给Nvidia TX2开发板;
所述Nvidia TX2开发板对接收的图像进行处理;根据处理后的图像利用测距算法测算本车与目标物的距离;根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯;根据处理后的图像利用车道检测算法识别出本车所在的车道;将所述测算或识别的结果发送给显示器和语音预警装置;
所述显示器,对所述测算或识别的结果进行显示;
所述语音预警装置,在所述测算或识别的结果满足预设条件时进行语音预警提示。
本实施例中,方法的具体实现过程与前述的系统实现过程类似,此处不再赘述。
根据本发明的另一个方面,本发明还提供了一种主动预警型交通道路感知辅助驾驶预警装置,该装置包括:
Nvidia TX2开发板,所述Nvidia TX2开发板接收车载单目摄像机实时采集的道路图像;
所述Nvidia TX2开发板包括图像处理模块、目标测距模块、红绿灯检测模块、车道线识别模块和输出模块,所述图像处理模块对接收的图像进行处理后,分别发送给目标测距模块、红绿灯检测模块和车道线识别模块;
所述目标测距模块根据处理后的图像利用测距算法测算本车与目标物的距离;
所述红绿灯检测模块根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯;
所述车道线识别模块根据处理后的图像利用车道检测算法识别出本车所在的车道;
输出模块,接收目标测距模块、红绿灯检测模块、车道线识别模块的处理结果,将所述处理结果发送给显示器和语音预警装置;
所述显示器,对目标测距模块、红绿灯检测模块、车道线识别模块的处理结果进行显示;
所述语音预警装置,在目标测距模块或红绿灯检测模块或车道线识别模块的处理结果满足预设条件时进行语音预警提示。
本实施例中,装置的具体实现过程与前述的系统实现过程类似,此处不再赘述。
本发明在实施时可采用如下的安装方式:
1、准备一台Ubuntu16.04主机为TX2刷机做准备。下载TX2 JetPack 安装包,解压安装到主机中,同时从网络下载相关需要依赖包。
2、断开电源,保证开发板处于断电关机状态,用网线连到路由器上,也可插上鼠标键盘。用Micro USB线把开发板连到电脑上,接通AC电源,按下power键,开机。刚一开机,就长按Recovery 键不松开,然后点按一下Reset键,过2s以后才松开Reset键,然后松开Recovery此时开发板处于强制恢复模式。
3、刷机结束后,为TX2开发板安装Caffe-SSD等深度学习模型所需要开发环境,并按照MobileNet模型结构对Caffe-SSD模型进行卷积分解,提升Caffe-SSD检测效果。
4、将车道线检测、红绿灯检测,目标测距等算法部署在TX2中,设置开机自启。
5、准备高清摄像头安装在车前方,测量摄像头安装高度和摄像头俯仰角。使用平面标定方法标定摄像机,获取摄像机内外参数,从而得到目标测距所需的摄像机像素焦距。
6、安装车载显示器,同时连接上TX2,实用车载电源进行供电。
7、运行时只需打开摄像头、显示器、TX2,车载辅助驾驶预警装置即安装成功。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (10)
1.一种主动预警型交通道路感知辅助驾驶预警系统,其特征在于,该系统包括:
车载单目摄像机,用于实时采集道路图像,将采集的道路图像发送给Nvidia TX2开发板;
所述Nvidia TX2开发板包括图像处理模块、目标测距模块、红绿灯检测模块、车道线识别模块和输出模块,所述图像处理模块对接收的图像进行处理后,分别发送给目标测距模块、红绿灯检测模块和车道线识别模块;
所述目标测距模块根据处理后的图像利用测距算法测算本车与目标物的距离;
所述红绿灯检测模块根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯;
所述车道线识别模块根据处理后的图像利用车道检测算法识别出本车所在的车道;
输出模块,接收目标测距模块、红绿灯检测模块、车道线识别模块的处理结果,将所述处理结果发送给显示器和语音预警装置;
所述显示器,对目标测距模块、红绿灯检测模块、车道线识别模块的处理结果进行显示;
所述语音预警装置,在目标测距模块或红绿灯检测模块或车道线识别模块的处理结果满足预设条件时进行语音预警提示。
2.根据权利要求1所述的系统,其特征在于,所述图像处理模块对接收的图像进行处理包括:所述图像处理模块采用采用压缩的神经网络模型对图像进行处理,将标准卷积网络分解成Depthwise Convolution和Pointwise Convolution两部分。
3.根据权利要求1所述的系统,其特征在于,所述目标测距模块根据处理后的图像利用测距算法测算本车与目标物的距离包括:所述目标测距模块根据预先配置好的相机参数,通过解析几何的方式,估算目标物与本车的距离,将距离信息通过输出模块回传给语音预警装置。
4.根据权利要求1所述的系统,其特征在于,所述语音预警装置在所述目标测距模块的处理结果满足预设条件时进行语音预警提示包括:如果本车与目标物的距离小于预定的距离阈值,或者,目标物与本车的距离与本车车速的比值小于预定的时间阈值时,语音预警装置进行语音预警提示。
5.根据权利要求1所述的系统,其特征在于,所述红绿灯检测模块根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯包括:红绿灯检测模块通过提取前车景象中的HIV数据,过滤出红色的阈值范围,通过形态学运算消除小物体的影响,圆滑整个连通域,将提取出来的图形回传给语音预警装置。
6.根据权利要求1所述的系统,其特征在于,所述语音预警装置在红绿灯检测模块的处理结果满足预设条件时进行语音预警提示包括:如果检测结果为前方有红绿灯,则所述语音预警装置使用提示音提醒驾驶员做好减速、停车准备。
7.根据权利要求1所述的系统,其特征在于,所述车道线识别模块根据处理后的图像利用车道检测算法识别出本车所在的车道包括:所述车道线识别模快对图像处理模块处理后的图像的灰度图使用中值检测、Canny边缘检测、Hough直线检测来识别车道,使用卡尔曼滤波迭代,根据上一时刻的车道线状态与当前观测状态确定实际现在的车道线的状态。
8.根据权利要求1所述的系统,其特征在于,所述语音预警装置在车道线识别模块的处理结果满足预设条件时进行语音预警提示包括:如果车辆偏离了当前车道,则所述语音预警装置使用提示音提醒驾驶员注意车道线保持。
9.一种主动预警型交通道路感知辅助驾驶预警方法,其特征在于,该方法包括:
实时采集道路图像,将采集的道路图像发送给Nvidia TX2开发板;
所述Nvidia TX2开发板对接收的图像进行处理;根据处理后的图像利用测距算法测算本车与目标物的距离;根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯;根据处理后的图像利用车道检测算法识别出本车所在的车道;将所述测算或识别的结果发送给显示器和语音预警装置;
所述显示器,对所述测算或识别的结果进行显示;
所述语音预警装置,在所述测算或识别的结果满足预设条件时进行语音预警提示。
10.一种主动预警型交通道路感知辅助驾驶预警装置,其特征在于,该装置包括:
Nvidia TX2开发板,所述Nvidia TX2开发板接收车载单目摄像机实时采集的道路图像;
所述Nvidia TX2开发板包括图像处理模块、目标测距模块、红绿灯检测模块、车道线识别模块和输出模块,所述图像处理模块对接收的图像进行处理后,分别发送给目标测距模块、红绿灯检测模块和车道线识别模块;
所述目标测距模块根据处理后的图像利用测距算法测算本车与目标物的距离;
所述红绿灯检测模块根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯;
所述车道线识别模块根据处理后的图像利用车道检测算法识别出本车所在的车道;
输出模块,接收目标测距模块、红绿灯检测模块、车道线识别模块的处理结果,将所述处理结果发送给显示器和语音预警装置;
所述显示器,对目标测距模块、红绿灯检测模块、车道线识别模块的处理结果进行显示;
所述语音预警装置,在目标测距模块或红绿灯检测模块或车道线识别模块的处理结果满足预设条件时进行语音预警提示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811539789.2A CN111332305A (zh) | 2018-12-18 | 2018-12-18 | 一种主动预警型交通道路感知辅助驾驶预警系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811539789.2A CN111332305A (zh) | 2018-12-18 | 2018-12-18 | 一种主动预警型交通道路感知辅助驾驶预警系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111332305A true CN111332305A (zh) | 2020-06-26 |
Family
ID=71177513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811539789.2A Pending CN111332305A (zh) | 2018-12-18 | 2018-12-18 | 一种主动预警型交通道路感知辅助驾驶预警系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111332305A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116001681A (zh) * | 2023-02-22 | 2023-04-25 | 江苏集萃道路工程技术与装备研究所有限公司 | 一种施工车辆主动安全预警系统及方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN202018744U (zh) * | 2011-04-12 | 2011-10-26 | 长安大学 | 基于单目测距的汽车安全辅助驾驶系统 |
CN103389733A (zh) * | 2013-08-02 | 2013-11-13 | 重庆市科学技术研究院 | 一种基于机器视觉的车辆巡线方法及系统 |
CN104029680A (zh) * | 2014-01-02 | 2014-09-10 | 上海大学 | 基于单目摄像头的车道偏离预警系统及方法 |
CN105620489A (zh) * | 2015-12-23 | 2016-06-01 | 深圳佑驾创新科技有限公司 | 驾驶辅助系统及车辆实时预警提醒方法 |
CN107025796A (zh) * | 2017-04-28 | 2017-08-08 | 北京理工大学珠海学院 | 汽车辅助驾驶视觉预警系统及其预警方法 |
CN108038422A (zh) * | 2017-11-21 | 2018-05-15 | 平安科技(深圳)有限公司 | 摄像装置、人脸识别的方法及计算机可读存储介质 |
CN108382396A (zh) * | 2018-02-02 | 2018-08-10 | 辽宁友邦网络科技有限公司 | 驾驶员驾驶状态识别系统及其应用方法 |
CN108717732A (zh) * | 2018-05-21 | 2018-10-30 | 电子科技大学 | 一种基于MobileNets模型的表情追踪方法 |
CN108890611A (zh) * | 2018-07-12 | 2018-11-27 | 东莞理工学院 | 一种基于slam的双目视觉避障轮式机器人 |
-
2018
- 2018-12-18 CN CN201811539789.2A patent/CN111332305A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN202018744U (zh) * | 2011-04-12 | 2011-10-26 | 长安大学 | 基于单目测距的汽车安全辅助驾驶系统 |
CN103389733A (zh) * | 2013-08-02 | 2013-11-13 | 重庆市科学技术研究院 | 一种基于机器视觉的车辆巡线方法及系统 |
CN104029680A (zh) * | 2014-01-02 | 2014-09-10 | 上海大学 | 基于单目摄像头的车道偏离预警系统及方法 |
CN105620489A (zh) * | 2015-12-23 | 2016-06-01 | 深圳佑驾创新科技有限公司 | 驾驶辅助系统及车辆实时预警提醒方法 |
CN107025796A (zh) * | 2017-04-28 | 2017-08-08 | 北京理工大学珠海学院 | 汽车辅助驾驶视觉预警系统及其预警方法 |
CN108038422A (zh) * | 2017-11-21 | 2018-05-15 | 平安科技(深圳)有限公司 | 摄像装置、人脸识别的方法及计算机可读存储介质 |
CN108382396A (zh) * | 2018-02-02 | 2018-08-10 | 辽宁友邦网络科技有限公司 | 驾驶员驾驶状态识别系统及其应用方法 |
CN108717732A (zh) * | 2018-05-21 | 2018-10-30 | 电子科技大学 | 一种基于MobileNets模型的表情追踪方法 |
CN108890611A (zh) * | 2018-07-12 | 2018-11-27 | 东莞理工学院 | 一种基于slam的双目视觉避障轮式机器人 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116001681A (zh) * | 2023-02-22 | 2023-04-25 | 江苏集萃道路工程技术与装备研究所有限公司 | 一种施工车辆主动安全预警系统及方法 |
CN116001681B (zh) * | 2023-02-22 | 2023-11-10 | 江苏集萃道路工程技术与装备研究所有限公司 | 一种施工车辆主动安全预警系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11694430B2 (en) | Brake light detection | |
CN107392103B (zh) | 路面车道线的检测方法及装置、电子设备 | |
CN110979321B (zh) | 一种用于无人驾驶车辆的障碍物躲避方法 | |
CN106647776B (zh) | 车辆变道趋势的判断方法、判断装置和计算机存储介质 | |
CN107341454B (zh) | 一种场景中障碍物的检测方法及装置、电子设备 | |
EP2811423B1 (en) | Method and apparatus for detecting target | |
Hautière et al. | Mitigation of visibility loss for advanced camera-based driver assistance | |
CN107891808B (zh) | 行车提醒方法、装置及车辆 | |
Negru et al. | Image based fog detection and visibility estimation for driving assistance systems | |
Gomez et al. | Traffic lights detection and state estimation using hidden markov models | |
RU2568777C2 (ru) | Устройство обнаружения движущихся тел и система обнаружения движущихся тел | |
CN107590470B (zh) | 一种车道线检测方法及装置 | |
CN110738121A (zh) | 一种前方车辆检测方法及检测系统 | |
CN112215306B (zh) | 一种基于单目视觉与毫米波雷达融合的目标检测方法 | |
CN107886034B (zh) | 行车提醒方法、装置及车辆 | |
EP2573708B1 (en) | Method and System for Detecting Vehicle Position by Employing Polarization Image | |
CN107844761B (zh) | 交通标志的检测方法及装置 | |
CN111332306A (zh) | 一种基于机器视觉的交通道路感知辅助驾驶预警装置 | |
CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
CN111881832A (zh) | 车道目标检测方法、装置、设备及计算机可读存储介质 | |
CN112683228A (zh) | 单目相机测距方法及装置 | |
CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 | |
CN112733678A (zh) | 测距方法、装置、计算机设备和存储介质 | |
CN111332305A (zh) | 一种主动预警型交通道路感知辅助驾驶预警系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200626 |