CN111332306A - 一种基于机器视觉的交通道路感知辅助驾驶预警装置 - Google Patents
一种基于机器视觉的交通道路感知辅助驾驶预警装置 Download PDFInfo
- Publication number
- CN111332306A CN111332306A CN201811539790.5A CN201811539790A CN111332306A CN 111332306 A CN111332306 A CN 111332306A CN 201811539790 A CN201811539790 A CN 201811539790A CN 111332306 A CN111332306 A CN 111332306A
- Authority
- CN
- China
- Prior art keywords
- module
- early warning
- traffic light
- distance
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008447 perception Effects 0.000 title claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 96
- 238000012937 correction Methods 0.000 claims abstract description 54
- 238000005259 measurement Methods 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000011161 development Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 59
- 238000003708 edge detection Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 abstract description 10
- 230000006870 function Effects 0.000 abstract description 10
- 206010039203 Road traffic accident Diseases 0.000 abstract description 8
- 238000004364 calculation method Methods 0.000 abstract description 8
- 238000013135 deep learning Methods 0.000 abstract description 4
- 230000018109 developmental process Effects 0.000 description 14
- 238000009434 installation Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
- B60W2050/0028—Mathematical models, e.g. for simulation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
Abstract
一种基于机器视觉的交通道路感知辅助驾驶预警系统、方法及装置，该方法包括：实时采集道路图像，将采集的道路图像发送给Nvidia TX2开发板；所述Nvidia TX2开发板对接收的图像进行处理；根据处理后的图像利用目标测距模块测算本车与目标物的距离，比较所述距离与激光测距模块测得的距离，判断是否需要对测距结果进行修正；根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯；根据处理后的图像利用车道检测算法识别出本车所在的车道；将所述修正或识别的结果发送给显示器和语音预警装置；所述显示器，对所述修正或识别的结果进行显示；所述语音预警装置，在修正或识别的结果满足预设条件时进行语音预警提示。本发明利用压缩的深度学习的识别模型，提升了识别的计算速度和准确度，同时，通过对两种测距算法的测量结果进行比较，在系统的测距功能异常时能够及时通知驾驶员，降低因误判而引发交通事故的风险。
Description
技术领域
本发明涉及智能交通技术领域，尤其涉及一种基于机器视觉的交通道路感知辅助驾驶预警装置。
背景技术
前车预警是一项主动安全技术，在检测到本车有危险行为是进行提醒，防止汽车偏离轨道、闯红灯和追尾等常见交通事故的发生。一般预警的方式有声音、视觉等。
前车预警中，一般根据TTC(Time To collision)时间作为报警依据，测距方式一般基于雷达传感器或者视觉传感器。目前已有的辅助驾驶产品，往往基于GPS和预先采集的道路信息提供红绿灯预警，在信号不好的山区无法完成红绿灯检测。
现有的前方交通物体识别系统多是基于传统的计算机视觉方案的目标检测，传统方案由于运算资源小，能都达到实时的要求，但产品效果较差。而目前采用深度学习模型的产品能够解决能够更精准的提供预警信息，但计算资源高，速度上有着很大的局限性，实时性较差。相对于传统的基于视觉的技术，基于深度学习的方法在不同的场景下有着更好的识别能力，唯一的不足在于模型往往很大，难以在嵌入式系统上运作。另外，使用单一的测距算法进行测距时，无法有效评估该测距方法的准确度，如果系统的测距功能异常，也无法及时通知驾驶员系统已发生了异常，容易因误判而增加交通事故的风险。
发明内容
针对现有技术的缺陷，本发明提出一种基于机器视觉的交通道路感知辅助驾驶预警系统、方法及装置，与传统方式相比，由于本装置采用了深度学习的识别模型，所以在道路物体检测方面的准确率大大提高。同时，通过对两种测距算法的测量结果进行比较，在系统的测距功能异常时能够及时通知驾驶员，降低因误判而引发交通事故的风险。
根据本发明的一个方面，本发明提供了一种基于机器视觉的交通道路感知辅助驾驶预警系统，该系统包括：
车载单目摄像机，用于实时采集道路图像，将采集的道路图像发送给Nvidia TX2开发板；
所述Nvidia TX2开发板包括图像处理模块、目标测距模块、红绿灯检测模块、车道线识别模块、激光测距模块、修正比较模块和输出模块，所述图像处理模块对接收的图像进行处理后，分别发送给目标测距模块、红绿灯检测模块和车道线识别模块；
所述目标测距模块根据处理后的图像利用测距算法测算本车与目标物的距离；所述激光测距模块采用激光测距算法测算本车与目标物的距离；所述目标测距模块和所述激光测距模块分别将测得的距离信息发送给所述修正比较模块；
所述修正比较模块比较接收的距离信息，确定是否对所述距离信息进行修正，在需要修正时，将修正的距离信息发送给所述输出模块；
所述红绿灯检测模块根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯；
所述车道线识别模块根据处理后的图像利用车道检测算法识别出本车所在的车道；
输出模块，接收红绿灯检测模块、车道线识别模块、修正比较模块的处理结果，将所述处理结果发送给显示器和语音预警装置；
所述显示器，对修正比较模块、红绿灯检测模块、车道线识别模块的处理结果进行显示；
所述语音预警装置，在修正比较模块或红绿灯检测模块或车道线识别模块的处理结果满足预设条件时进行语音预警提示。
根据本发明的一个方面，所述图像处理模块对接收的图像进行处理包括：所述图像处理模块采用采用压缩的神经网络模型对图像进行处理，将标准卷积网络分解成Depthwise Convolution和Pointwise Convolution两部分。
根据本发明的一个方面，所述目标测距模块根据处理后的图像利用测距算法测算本车与目标物的距离包括：所述目标测距模块根据预先配置好的相机参数，通过解析几何的方式，估算目标物与本车的距离，将距离信息通过输出模块回传给语音预警装置。
根据本发明的一个方面，所述语音预警装置在所述修正比较模块的处理结果满足预设条件时进行语音预警提示包括：如果本车与目标物的距离小于预定的距离阈值，或者，目标物与本车的距离与本车车速的比值小于预定的时间阈值时，语音预警装置进行语音预警提示；如果目标测距模块与激光测距模块各自测定的距离之差大于预定的距离阈值，则语音预警装置通过语音提示系统异常。
根据本发明的一个方面，所述红绿灯检测模块根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯包括：红绿灯检测模块通过提取前车景象中的HIV数据，过滤出红色的阈值范围，通过形态学运算消除小物体的影响，圆滑整个连通域，将提取出来的图形回传给语音预警装置。
根据本发明的一个方面，所述语音预警装置在红绿灯检测模块的处理结果满足预设条件时进行语音预警提示包括：如果检测结果为前方有红绿灯，则所述语音预警装置使用提示音提醒驾驶员做好减速、停车准备。
根据本发明的一个方面，所述车道线识别模块根据处理后的图像利用车道检测算法识别出本车所在的车道包括：所述车道线识别模快对图像处理模块处理后的图像的灰度图使用中值检测、Canny边缘检测、Hough直线检测来识别车道，使用卡尔曼滤波迭代，根据上一时刻的车道线状态与当前观测状态确定实际现在的车道线的状态。
根据本发明的一个方面，所述语音预警装置在车道线识别模块的处理结果满足预设条件时进行语音预警提示包括：如果车辆偏离了当前车道，则所述语音预警装置使用提示音提醒驾驶员注意车道线保持。
根据本发明的一个方面，所述显示器，对修正比较模块、红绿灯检测模块、车道线识别模块的处理结果进行显示包括：显示器显示目标物与本车的距离、红绿灯的图像，绘制的车道线。
根据本发明的一个方面，本发明还提供了一种基于机器视觉的交通道路感知辅助驾驶预警方法，该方法包括：
实时采集道路图像，将采集的道路图像发送给Nvidia TX2开发板；
所述Nvidia TX2开发板对接收的图像进行处理；根据处理后的图像利用目标测距模块测算本车与目标物的距离，比较所述距离与激光测距模块测得的距离，判断是否需要对测距结果进行修正；根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯；根据处理后的图像利用车道检测算法识别出本车所在的车道；将所述修正或识别的结果发送给显示器和语音预警装置；
所述显示器，对所述修正或识别的结果进行显示；
所述语音预警装置，在修正或识别的结果满足预设条件时进行语音预警提示。
根据本发明的一个方面，本发明还提供了一种基于机器视觉的交通道路感知辅助驾驶预警装置，该装置包括：
所述Nvidia TX2开发板包括图像处理模块、目标测距模块、红绿灯检测模块、车道线识别模块、激光测距模块、修正比较模块和输出模块，所述图像处理模块对接收的图像进行处理后，分别发送给目标测距模块、红绿灯检测模块和车道线识别模块；
所述目标测距模块根据处理后的图像利用测距算法测算本车与目标物的距离；所述激光测距模块采用激光测距算法测算本车与目标物的距离；所述目标测距模块和所述激光测距模块分别将测得的距离信息发送给所述修正比较模块；
所述修正比较模块比较接收的距离信息，确定是否对所述距离信息进行修正，在需要修正时，将修正的距离信息发送给所述输出模块；
所述红绿灯检测模块根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯；
所述车道线识别模块根据处理后的图像利用车道检测算法识别出本车所在的车道；
输出模块，接收红绿灯检测模块、车道线识别模块、修正比较模块的处理结果，将所述处理结果发送给显示器和语音预警装置；
所述显示器，对修正比较模块、红绿灯检测模块、车道线识别模块的处理结果进行显示；
所述语音预警装置，在修正比较模块或红绿灯检测模块或车道线识别模块的处理结果满足预设条件时进行语音预警提示。。
本发明的有益效果是：本发明利用压缩的深度学习的识别模型，提升了识别的计算速度和准确度，同时，通过对两种测距算法的测量结果进行比较，在系统的测距功能异常时能够及时通知驾驶员，降低因误判而引发交通事故的风险。
通过参照以下附图及对本发明的具体实施方式的详细描述，本发明的特征及优点将会变得清楚。
附图说明
图1是本发明的基于机器视觉的交通道路感知辅助驾驶预警系统的结构示意图；
图2是本发明的深度神经网络模型压缩示意图；
图3、4是本发明的利用几何算法进行目标测距的示意图；
图5是本发明的基于机器视觉的交通道路感知辅助驾驶预警方法流程示意图。
具体实施方式
为了使本发明的技术方案更加清楚、明了，下面将结合附图作进一步详述，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明提供了一种基于机器视觉的交通道路感知辅助驾驶预警系统，其特征在于，该系统包括：
车载单目摄像机，用于实时采集道路图像，将采集的道路图像发送给Nvidia TX2开发板；
所述Nvidia TX2开发板包括图像处理模块、目标测距模块、红绿灯检测模块、车道线识别模块、激光测距模块、修正比较模块和输出模块，所述图像处理模块对接收的图像进行处理后，分别发送给目标测距模块、红绿灯检测模块和车道线识别模块；
所述目标测距模块根据处理后的图像利用测距算法测算本车与目标物的距离；所述激光测距模块采用激光测距算法测算本车与目标物的距离；所述目标测距模块和所述激光测距模块分别将测得的距离信息发送给所述修正比较模块；
所述修正比较模块比较接收的距离信息，确定是否对所述距离信息进行修正，在需要修正时，将修正的距离信息发送给所述输出模块；
所述红绿灯检测模块根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯；
所述车道线识别模块根据处理后的图像利用车道检测算法识别出本车所在的车道；
输出模块，接收红绿灯检测模块、车道线识别模块、修正比较模块的处理结果，将所述处理结果发送给显示器和语音预警装置；
所述显示器，对修正比较模块、红绿灯检测模块、车道线识别模块的处理结果进行显示；
所述语音预警装置，在修正比较模块或红绿灯检测模块或车道线识别模块的处理结果满足预设条件时进行语音预警提示。
本发明利用压缩的深度学习的识别模型，提升了识别的计算速度和准确度，同时，通过对两种测距算法的测量结果进行比较，在系统的测距功能异常时能够及时通知驾驶员，降低因误判而引发交通事故的风险。
如图2所示，本发明采用基于MobileNet结构，进行卷积分解，将标准卷积网络分解成Depthwise Convolution和Pointwise Convolution两部分，减小模型规模，加快识别速度。
MobileNet是由Google提出的针对移动端部署的轻量级网络架构。考虑到移动端计算资源受限以及速度要求严苛，MobileNet引入了传统网络中原先采用的group思想，即限制滤波器的卷积计算只针对特定的group中的输入，从而大大降低了卷积计算量，提升了移动端前向计算的速度。
根据本发明的一个方面，所述图像处理模块对接收的图像进行处理包括：所述图像处理模块采用采用压缩的神经网络模型对图像进行处理，将标准卷积网络分解成Depthwise Convolution和Pointwise Convolution两部分。
Depthwise(DW)卷积与Pointwise(PW)卷积，合起来被称作 Depthwise SeparableConvolution，该结构和常规卷积操作类似，可用来提取特征，但相比于常规卷积操作，其参数量和运算成本较低。所以在一些轻量级网络，例如MobileNet中会碰到这种结构。
MobileNet借鉴factorized convolution的思想，将普通卷积操作分成两部分：
Depthwise Convolution：每个卷积核滤波器只针对特定的输入通道进行卷积操作，如图2所示，其中M是输入通道数，DK是卷积核尺寸。
Depthwise Convolution的计算复杂度为DK×DK×M×DF×DF，其中DF是卷积层输出的特征图的大小。
Pointwise Convolution：采用1x1大小的卷积核将depthwise convolution层的多通道输出进行结合，如如图2所示，其中N是输出通道数。
Pointwise Convolution的计算复杂度为M×N×DF×DF。
上面两步合称depthwise separable convolution，因此标准卷积操作的计算复杂度为DK×DK×M×N×DF×DF。
通过将标准卷积分解成两层卷积操作，可以计算出理论上的计算效率提升比例。例如，对于3x3尺寸的卷积核来说，depthwise separable convolution在理论上能带来约8～9倍的效率提升。
根据本发明的一个方面，本发明的所述目标测距模块根据预先配置好的相机参数，通过解析几何的方式，估算目标物与本车的距离，将距离信息通过输出模块回传给语音预警装置。
图3示出了利用几何算法进行目标测距的原理，图4示出了利用几何算法进行目标测距的一个具体的实施方式。
如图4所示，具体实现方法为：记摄像头距离地面的高度为H，摄像头能够看到的最远距离为D，摄像头光轴与水平夹角为α，摄像头视角为VA，图像平面为p，图像竖直方向像素总数为M，目标物截面直线与摄像头镜头在水平面上的距离为d，目标物底部直线对应在图上的直线到图像上方像素数为v，摄像机与目标底部连线与相机光轴夹角为β；
目标物截面直线与摄像机镜头在水平面上的距离d表示为：
其中，α角的大小计算如下
β角的大小由下式表示：
通过三角形相似原理计算目标物到单目摄像头光轴的距离，具体为：单目摄像头到图像平面的距离为f，目标物坐标点在图像上的点与光轴的距离为r，目标物到摄像头光轴所在竖直平面的距离为l，已经求得了障碍物底部直线与摄像头的水平距离为d，通过勾股定理求解r；然后由三角形相似求得l，其中，
根据本发明的一个方面，所述语音预警装置在所述修正比较模块的处理结果满足预设条件时进行语音预警提示包括：如果本车与目标物的距离小于预定的距离阈值，或者，目标物与本车的距离与本车车速的比值小于预定的时间阈值时，语音预警装置进行语音预警提示。如果目标测距模块与激光测距模块各自测定的距离之差大于预定的距离阈值，则语音预警装置通过语音提示系统异常。
可以预先设置距离阈值，如果本车与目标物的距离小于预定的距离阈值，为了安全起见，语音预警装置对驾驶员进行语音预警提示。但特殊情况下，如果本车与目标物的距离很小，但车速较慢，例如排队缓慢移动时，此时的危险性并不太高，因此，满足预设条件可以被设置为：目标物与本车的距离与本车车速的比值小于预定的时间阈值时，语音预警装置对驾驶员进行语音预警提示，此种设置可以避免距离小但车速缓慢而导致的伪报警，提升用户体验。
使用单一的测距算法进行测距时，无法有效评估该测距方法的准确度，如果系统的测距功能异常，也无法及时通知驾驶员系统已发生了异常，容易因误判而增加交通事故的风险。
为此，本发明采用了两种测距方式，即通过目标测距模块和激光测距模块分别进行测距，修正比较模块将两个测距的结果进行比较，如果两个测距的结果之差在预设的距离阈值之内，则表明系统的测距功能是正常的，此时将两个测量结果进行平均，作为最后的测距结果发送给输出模块。如果两个测距的结果之差大于预设的距离阈值，则表明两种测量方式测量的结果相差很大，则必然有一个测量结果是不准确的，此时表明系统的测距功能发生了异常，此时，修正比较模块通过输出模块向语音预警装置发送指令，语音预警装置通过语音提示系统异常。这样可以避免驾驶员过度信赖系统的测距功能，降低发生交通事故的风险。
根据本发明的一个方面，所述红绿灯检测模块根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯包括：红绿灯检测模块通过提取前车景象中的HIV数据，过滤出红色的阈值范围，通过形态学运算消除小物体的影响，圆滑整个连通域，将提取出来的图形回传给语音预警装置。如果前方有红绿灯，该装置将使用提示音对司机进行提示，提醒车主提前做好准备。
可选地，除了上述实施方式之外，红绿灯检测方法也可按如下方式进行：
当缩微车行驶至十字路口模式时，红绿灯检测模块首先判断道路图片是否存在停止线，若存在，根据视觉传感器与红绿灯的高度阈值，获取感兴趣区域。在红绿灯的检测过程中，由于摄像头与红绿灯的高度均是固定的，为了提高处理速度，减少环境干扰等因素，因此采用设置感兴趣区域。视觉传感器与红绿灯的高度阈值可以根据具体试验或者实际道路中的视觉传感器与红绿灯的高度进行设置，具体设置的高度阈值为红绿灯的高度加减一定的度所形成的范围。
读取感兴趣区域内的像素点的R、G、B三刺激值并与设定的红绿灯的R、G、B三刺激值进行比较，当满足误差要求时，感兴趣区域为目标区域。
对目标区域进行条件筛选，所述条件筛选的项目包括筛选像素点的个数，R、G、B三刺激值分别所占的比例，当所有条件均满足，则判断出是红灯还是绿灯。
此种红绿灯检测方法通过选定感兴趣区域，并在感兴趣区域中选择目标区域，提高了红绿灯检测的快速性，对目标区域进行条件筛选，提高了红绿灯检测的准确性。
根据本发明的一个方面，所述车道线识别模块根据处理后的图像利用车道检测算法识别出本车所在的车道包括：所述车道线识别模快对图像处理模块处理后的图像的灰度图使用中值检测、Canny边缘检测、Hough直线检测来识别车道，使用卡尔曼滤波迭代，根据上一时刻的车道线状态与当前观测状态确定实际现在的车道线的状态。如果车辆偏离了当前车道，则所述语音预警装置使用提示音提醒驾驶员注意车道线保持。
中值滤波是一种非线性数字滤波器技术，经常用于去除图像或者其它信号中的噪声。这个设计思想就是检查输入信号中的采样并判断它是否代表了信号，使用奇数个采样组成的观察窗实现这项功能。观察窗口中的数值进行排序，位于观察窗中间的中值作为输出。然后，丢弃最早的值，取得新的采样，重复上面的计算过程。中值滤波是图像处理中的一个常用步骤，它对于斑点噪声和椒盐噪声来说尤其有用。
Canny边缘检测算子是一种多级检测算法。其满足边缘检测的三大准则：
1.低错误率的边缘检测：检测算法应该精确地找到图像中的尽可能多的边缘，尽可能的减少漏检和误检。
2.最优定位：检测的边缘点应该精确地定位于边缘的中心。
3.图像中的任意边缘应该只被标记一次，同时图像噪声不应产生伪边缘。
Canny算法出现以后一直是作为一种标准的边缘检测算法，此后也出现了各种基于Canny算法的改进算法。时至今日，Canny算法及其各种变种依旧是一种优秀的边缘检测算法。
Canny算法分为如下几步：1.高斯模糊、2.计算梯度幅值和方向、3.非最大值抑制、4.双阀值、5.滞后边界跟踪。这个算法搜索所有连通的弱边缘，如果一条连通的弱边缘的任何一个点和强边缘点连通，则保留这条弱边缘，否则抑制这条弱边缘。
霍夫变换(Hough Transform)是图像处理中的一种特征提取技术，可以识别图像中的几何形状。它将图像空间中的特征点映射到参数空间进行投票，通过检测累计结果的局部极值点得到一个符合某特定形状的点的集合。经典霍夫变换用来检测图像中的直线，后来霍夫变换扩展到任意形状物体的识别，多为圆和椭圆。它的抗噪声、抗形变能力较强。另一种直线提取的方法是对图像边缘点进行链码追踪，在得到的链码串中提取直线。
霍夫变换将在一个空间中具有相同形状的曲线或直线映射到另一个坐标空间的一个点上形成峰值，从而把检测任意形状的问题转化为统计峰值问题。
可选地，本发明也可以采用以下方法进行车道线识别：
车道线检测模块获取路面的RGB彩色图像，所述RGB彩色图像中含有车道线信息，通常道路上车道线的颜色一般为白色，或间断，或连续；道路路面为黑灰色，路宽约为35cm。
车道线检测模块将所述RGB彩色图像转化为灰度图像，获取所述灰度图像中每帧图像的最佳动态阈值并进行图像分割，得到二值图像，将车道线分离出来；
运用canny算子对所述二值化图像进行边缘检测，得到含有车道线的内、外边缘的边缘图像，利用霍夫变换在所述边缘图像中检测车道线并获取车道线参数，建立车道线模型，所述车道线参数包括车道线斜率在车辆坐标系中的夹角，在车道为直道的情况下，车道线为直线模型，在车道为弯道的情况下，车道线为弯道的切线模型；
利用获取的所述车道线参数，通过逆透视变换获取车辆在世界坐标系中所处的车道位置数据，根据所述路面图像信息，依据障碍物位置、车道线与车身距离参数及车辆转角，获取车辆在当前时刻的行驶状态，所述行驶状态包括左转、右转、直行、停止。如果车辆偏离了当前车道，则所述语音预警装置使用提示音提醒驾驶员注意车道线保持。
根据本发明的一个方面，所述显示器，对修正比较模块、红绿灯检测模块、车道线识别模块的处理结果进行显示包括：显示器显示目标物与本车的距离、红绿灯的图像，绘制的车道线。
具体地，显示器可以显示目标物与本车的距离、红绿灯的图像，以及模拟绘制的车道线，也可以显示绘制的红色直线来提示车主注意车道线保持。
根据本发明的另一方面，本发明还提供了一种基于机器视觉的交通道路感知辅助驾驶预警方法，该方法包括：
实时采集道路图像，将采集的道路图像发送给Nvidia TX2开发板；
所述Nvidia TX2开发板对接收的图像进行处理；根据处理后的图像利用目标测距模块测算本车与目标物的距离，比较所述距离与激光测距模块测得的距离，判断是否需要对测距结果进行修正；根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯；根据处理后的图像利用车道检测算法识别出本车所在的车道；将所述修正或识别的结果发送给显示器和语音预警装置；
所述显示器，对所述修正或识别的结果进行显示；
所述语音预警装置，在修正或识别的结果满足预设条件时进行语音预警提示。
本实施例中，方法的具体实现过程与前述的系统实现过程类似，此处不再赘述。
根据本发明的另一个方面，本发明还提供了一种基于机器视觉的交通道路感知辅助驾驶预警装置，其特征在于，该装置包括：
所述Nvidia TX2开发板包括图像处理模块、目标测距模块、红绿灯检测模块、车道线识别模块、激光测距模块、修正比较模块和输出模块，所述图像处理模块对接收的图像进行处理后，分别发送给目标测距模块、红绿灯检测模块和车道线识别模块；
所述目标测距模块根据处理后的图像利用测距算法测算本车与目标物的距离；所述激光测距模块采用激光测距算法测算本车与目标物的距离；所述目标测距模块和所述激光测距模块分别将测得的距离信息发送给所述修正比较模块；
所述修正比较模块比较接收的距离信息，确定是否对所述距离信息进行修正，在需要修正时，将修正的距离信息发送给所述输出模块；
所述红绿灯检测模块根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯；
所述车道线识别模块根据处理后的图像利用车道检测算法识别出本车所在的车道；
输出模块，接收红绿灯检测模块、车道线识别模块、修正比较模块的处理结果，将所述处理结果发送给显示器和语音预警装置；
所述显示器，对修正比较模块、红绿灯检测模块、车道线识别模块的处理结果进行显示；
所述语音预警装置，在修正比较模块或红绿灯检测模块或车道线识别模块的处理结果满足预设条件时进行语音预警提示。
本实施例中，装置的具体实现过程与前述的系统实现过程类似，此处不再赘述。
本发明在实施时可采用如下的安装方式：
1、准备一台Ubuntu16.04主机为TX2刷机做准备。下载TX2 JetPack 安装包，解压安装到主机中，同时从网络下载相关需要依赖包。
2、断开电源，保证开发板处于断电关机状态，用网线连到路由器上，也可插上鼠标键盘。用Micro USB线把开发板连到电脑上，接通AC电源，按下power键，开机。刚一开机，就长按Recovery 键不松开，然后点按一下Reset键，过2s以后才松开Reset键，然后松开Recovery此时开发板处于强制恢复模式。
3、刷机结束后，为TX2开发板安装Caffe-SSD等深度学习模型所需要开发环境，并按照MobileNet模型结构对Caffe-SSD模型进行卷积分解，提升Caffe-SSD检测效果。
4、将车道线检测、红绿灯检测，目标测距等算法部署在TX2中，设置开机自启。
5、准备高清摄像头安装在车前方，测量摄像头安装高度和摄像头俯仰角。使用平面标定方法标定摄像机，获取摄像机内外参数，从而得到目标测距所需的摄像机像素焦距。
6、安装车载显示器，同时连接上TX2，实用车载电源进行供电。
7、运行时只需打开摄像头、显示器、TX2，车载辅助驾驶预警装置即安装成功。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (10)
1.一种基于机器视觉的交通道路感知辅助驾驶预警系统，其特征在于，该系统包括：
车载单目摄像机，用于实时采集道路图像，将采集的道路图像发送给Nvidia TX2开发板；
所述Nvidia TX2开发板包括图像处理模块、目标测距模块、红绿灯检测模块、车道线识别模块、激光测距模块、修正比较模块和输出模块，所述图像处理模块对接收的图像进行处理后，分别发送给目标测距模块、红绿灯检测模块和车道线识别模块；
所述目标测距模块根据处理后的图像利用测距算法测算本车与目标物的距离；所述激光测距模块采用激光测距算法测算本车与目标物的距离；所述目标测距模块和所述激光测距模块分别将测得的距离信息发送给所述修正比较模块；
所述修正比较模块比较接收的距离信息，确定是否对所述距离信息进行修正，在需要修正时，将修正的距离信息发送给输出模块；
所述红绿灯检测模块根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯；
所述车道线识别模块根据处理后的图像利用车道检测算法识别出本车所在的车道；
输出模块，接收红绿灯检测模块、车道线识别模块、修正比较模块的处理结果，将所述处理结果发送给显示器和语音预警装置；
所述显示器，对修正比较模块、红绿灯检测模块、车道线识别模块的处理结果进行显示；
所述语音预警装置，在修正比较模块或红绿灯检测模块或车道线识别模块的处理结果满足预设条件时进行语音预警提示。
2.根据权利要求1所述的系统，其特征在于，所述图像处理模块对接收的图像进行处理包括：所述图像处理模块采用采用压缩的神经网络模型对图像进行处理，将标准卷积网络分解成Depthwise Convolution和Pointwise Convolution两部分。
3.根据权利要求1所述的系统，其特征在于，所述目标测距模块根据处理后的图像利用测距算法测算本车与目标物的距离包括：所述目标测距模块根据预先配置好的相机参数，通过解析几何的方式，估算目标物与本车的距离，将距离信息通过输出模块回传给语音预警装置。
4.根据权利要求1所述的系统，其特征在于，所述语音预警装置在所述修正比较模块的处理结果满足预设条件时进行语音预警提示包括：如果本车与目标物的距离小于预定的距离阈值，或者，目标物与本车的距离与本车车速的比值小于预定的时间阈值时，语音预警装置进行语音预警提示；如果目标测距模块与激光测距模块各自测定的距离之差大于预定的距离阈值，则语音预警装置通过语音提示系统异常。
5.根据权利要求1所述的系统，其特征在于，所述红绿灯检测模块根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯包括：红绿灯检测模块通过提取前车景象中的HIV数据，过滤出红色的阈值范围，通过形态学运算消除小物体的影响，圆滑整个连通域，将提取出来的图形回传给语音预警装置。
6.根据权利要求1所述的系统，其特征在于，所述语音预警装置在红绿灯检测模块的处理结果满足预设条件时进行语音预警提示包括：如果检测结果为前方有红绿灯，则所述语音预警装置使用提示音提醒驾驶员做好减速、停车准备。
7.根据权利要求1所述的系统，其特征在于，所述车道线识别模块根据处理后的图像利用车道检测算法识别出本车所在的车道包括：所述车道线识别模快对图像处理模块处理后的图像的灰度图使用中值检测、Canny边缘检测、Hough直线检测来识别车道，使用卡尔曼滤波迭代，根据上一时刻的车道线状态与当前观测状态确定实际现在的车道线的状态。
8.根据权利要求1所述的系统，其特征在于，所述语音预警装置在车道线识别模块的处理结果满足预设条件时进行语音预警提示包括：如果车辆偏离了当前车道，则所述语音预警装置使用提示音提醒驾驶员注意车道线保持。
9.一种基于机器视觉的交通道路感知辅助驾驶预警方法，其特征在于，该方法包括：
实时采集道路图像，将采集的道路图像发送给Nvidia TX2开发板；
所述Nvidia TX2开发板对接收的图像进行处理；根据处理后的图像利用目标测距模块测算本车与目标物的距离，比较所述距离与激光测距模块测得的距离，判断是否需要对测距结果进行修正；根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯；根据处理后的图像利用车道检测算法识别出本车所在的车道；将所述修正或识别的结果发送给显示器和语音预警装置；
所述显示器，对所述修正或识别的结果进行显示；
所述语音预警装置，在所述修正或识别的结果满足预设条件时进行语音预警提示。
10.一种基于机器视觉的交通道路感知辅助驾驶预警装置，其特征在于，该装置包括：
所述Nvidia TX2开发板包括图像处理模块、目标测距模块、红绿灯检测模块、车道线识别模块、激光测距模块、修正比较模块和输出模块，所述图像处理模块对接收的图像进行处理后，分别发送给目标测距模块、红绿灯检测模块和车道线识别模块；
所述目标测距模块根据处理后的图像利用测距算法测算本车与目标物的距离；所述激光测距模块采用激光测距算法测算本车与目标物的距离；所述目标测距模块和所述激光测距模块分别将测得的距离信息发送给所述修正比较模块；
所述修正比较模块比较接收的距离信息，确定是否对所述距离信息进行修正，在需要修正时，将修正的距离信息发送给所述输出模块；
所述红绿灯检测模块根据处理后的图像利用红绿灯检测算法判断前方是否为红绿灯；
所述车道线识别模块根据处理后的图像利用车道检测算法识别出本车所在的车道；
输出模块，接收红绿灯检测模块、车道线识别模块、修正比较模块的处理结果，将所述处理结果发送给显示器和语音预警装置；
所述显示器，对修正比较模块、红绿灯检测模块、车道线识别模块的处理结果进行显示；
所述语音预警装置，在修正比较模块或红绿灯检测模块或车道线识别模块的处理结果满足预设条件时进行语音预警提示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811539790.5A CN111332306A (zh) | 2018-12-18 | 2018-12-18 | 一种基于机器视觉的交通道路感知辅助驾驶预警装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811539790.5A CN111332306A (zh) | 2018-12-18 | 2018-12-18 | 一种基于机器视觉的交通道路感知辅助驾驶预警装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111332306A true CN111332306A (zh) | 2020-06-26 |
Family
ID=71175651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811539790.5A Pending CN111332306A (zh) | 2018-12-18 | 2018-12-18 | 一种基于机器视觉的交通道路感知辅助驾驶预警装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111332306A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112896042A (zh) * | 2021-03-02 | 2021-06-04 | 广州通达汽车电气股份有限公司 | 一种车辆驾驶预警方法、装置、设备及存储介质 |
| CN114664083A (zh) * | 2022-01-14 | 2022-06-24 | 深圳市精艺宏图电子科技有限公司 | 一种实现辅助驾驶功能的装置和实现方法 |
| CN117170982A (zh) * | 2023-11-02 | 2023-12-05 | 建信金融科技有限责任公司 | 人机检测方法、装置、电子设备和计算机可读介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104029680A (zh) * | 2014-01-02 | 2014-09-10 | 上海大学 | 基于单目摄像头的车道偏离预警系统及方法 |
| CN105620489A (zh) * | 2015-12-23 | 2016-06-01 | 深圳佑驾创新科技有限公司 | 驾驶辅助系统及车辆实时预警提醒方法 |
| CN105682222A (zh) * | 2016-03-01 | 2016-06-15 | 西安电子科技大学 | 一种基于车辆自组织网络的车辆位置定位信息融合方法 |
| CN105946766A (zh) * | 2016-07-14 | 2016-09-21 | 奇瑞汽车股份有限公司 | 一种基于激光雷达与视觉的车辆碰撞预警系统及其控制方法 |
| CN107025796A (zh) * | 2017-04-28 | 2017-08-08 | 北京理工大学珠海学院 | 汽车辅助驾驶视觉预警系统及其预警方法 |
| CN108382396A (zh) * | 2018-02-02 | 2018-08-10 | 辽宁友邦网络科技有限公司 | 驾驶员驾驶状态识别系统及其应用方法 |
-
2018
- 2018-12-18 CN CN201811539790.5A patent/CN111332306A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104029680A (zh) * | 2014-01-02 | 2014-09-10 | 上海大学 | 基于单目摄像头的车道偏离预警系统及方法 |
| CN105620489A (zh) * | 2015-12-23 | 2016-06-01 | 深圳佑驾创新科技有限公司 | 驾驶辅助系统及车辆实时预警提醒方法 |
| CN105682222A (zh) * | 2016-03-01 | 2016-06-15 | 西安电子科技大学 | 一种基于车辆自组织网络的车辆位置定位信息融合方法 |
| CN105946766A (zh) * | 2016-07-14 | 2016-09-21 | 奇瑞汽车股份有限公司 | 一种基于激光雷达与视觉的车辆碰撞预警系统及其控制方法 |
| CN107025796A (zh) * | 2017-04-28 | 2017-08-08 | 北京理工大学珠海学院 | 汽车辅助驾驶视觉预警系统及其预警方法 |
| CN108382396A (zh) * | 2018-02-02 | 2018-08-10 | 辽宁友邦网络科技有限公司 | 驾驶员驾驶状态识别系统及其应用方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112896042A (zh) * | 2021-03-02 | 2021-06-04 | 广州通达汽车电气股份有限公司 | 一种车辆驾驶预警方法、装置、设备及存储介质 |
| CN114664083A (zh) * | 2022-01-14 | 2022-06-24 | 深圳市精艺宏图电子科技有限公司 | 一种实现辅助驾驶功能的装置和实现方法 |
| CN117170982A (zh) * | 2023-11-02 | 2023-12-05 | 建信金融科技有限责任公司 | 人机检测方法、装置、电子设备和计算机可读介质 |
| CN117170982B (zh) * | 2023-11-02 | 2024-02-13 | 建信金融科技有限责任公司 | 人机检测方法、装置、电子设备和计算机可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10853673B2 (en) | Brake light detection | |
| CN110979321B (zh) | 一种用于无人驾驶车辆的障碍物躲避方法 | |
| CN107392103B (zh) | 路面车道线的检测方法及装置、电子设备 | |
| CN106647776B (zh) | 车辆变道趋势的判断方法、判断装置和计算机存储介质 | |
| CN107341454B (zh) | 一种场景中障碍物的检测方法及装置、电子设备 | |
| Hautière et al. | Mitigation of visibility loss for advanced camera-based driver assistance | |
| CN107891808B (zh) | 行车提醒方法、装置及车辆 | |
| JP4203512B2 (ja) | 車両周辺監視装置 | |
| JP5297078B2 (ja) | 車両の死角における移動物体を検知するための方法、および死角検知装置 | |
| RU2568777C2 (ru) | Устройство обнаружения движущихся тел и система обнаружения движущихся тел | |
| JP4456086B2 (ja) | 車両周辺監視装置 | |
| CN108596058A (zh) | 基于计算机视觉的行车障碍物测距方法 | |
| US20160104047A1 (en) | Image recognition system for a vehicle and corresponding method | |
| CN112215306B (zh) | 一种基于单目视觉与毫米波雷达融合的目标检测方法 | |
| CN110738121A (zh) | 一种前方车辆检测方法及检测系统 | |
| CN107886034B (zh) | 行车提醒方法、装置及车辆 | |
| JP5809751B2 (ja) | 対象物認識装置 | |
| KR101240499B1 (ko) | 실시간 차선 인식 및 차량 검출 장치 및 방법 | |
| CN104517281A (zh) | 用于识别车辆的设备和方法 | |
| CN111332306A (zh) | 一种基于机器视觉的交通道路感知辅助驾驶预警装置 | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
| CN112683228A (zh) | 单目相机测距方法及装置 | |
| Lion et al. | Smart speed bump detection and estimation with kinect | |
| CN108629225B (zh) | 一种基于多幅子图与图像显著性分析的车辆检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200626 |