CN113743226A - 一种日间前车灯语识别及预警方法及系统 - Google Patents
一种日间前车灯语识别及预警方法及系统 Download PDFInfo
- Publication number
- CN113743226A CN113743226A CN202110897194.XA CN202110897194A CN113743226A CN 113743226 A CN113743226 A CN 113743226A CN 202110897194 A CN202110897194 A CN 202110897194A CN 113743226 A CN113743226 A CN 113743226A
- Authority
- CN
- China
- Prior art keywords
- lamp
- vehicle
- image
- area
- early warning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000001514 detection method Methods 0.000 claims abstract description 89
- 239000002245 particle Substances 0.000 claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000012216 screening Methods 0.000 claims description 25
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 238000002156 mixing Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 230000007704 transition Effects 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种日间前车灯语识别及预警方法及系统,是基于深度学习与图像处理结合的车灯检测方法,包括(R‑G)×H×V的车灯提取方法,利用颜色特征对车灯灯语识别的方法,车灯质心融合粒子滤波跟踪方法,基于车灯灯语的分级预警方法。本发明解决了日间行车车灯检测困难,灯语识别不准确,实时性差的问题,并能够根据反馈的灯语信息进行预警。
Description
技术领域
本发明属于汽车安全技术领域,涉及一种汽车预警方法及系统,具体涉及一种基于机器视觉的前方车辆灯语识别及预警方法及系统。
背景技术
随着我国交通事业的迅速发展,汽车的普及率逐年上升,汽车的广泛使用在给人们生活带来便捷的同时,发生交通事故的频率也逐年上升。
环境感知作为无人驾驶的关键技术,其获取信息的准确性影响着后续的决策控制过程。目前,环境感知主要集中在车辆,障碍物,车道线,行人等的检测,针对车灯检测的研究较少,而车灯作为车辆行驶状态的重要特征,对车辆进行检测及信息获取方面发挥着重要作用。
车灯检测的研究主要应用传统图像处理方法,对图像进行全景处理,造成车灯提取困难,错误率高。且传统图像处理方法不具有良好的鲁棒性,易受光照条件的影响,在日间行车过程中难以进行有效的检测提取。
目前针对车灯检测的研究主要应用在夜间辅助检测车辆,而针对车灯灯语检测的研究较少。车灯灯语能够直接反映驾驶员的操作意图,对于无人驾驶进行后续决策控制起到重要作用。
发明内容
为了解决日间行车车灯检测困难,灯语识别不准确,实时性差的问题,并能够根据反馈的灯语信息进行预警。本发明提供了一种基于神经网络与图像处理的前车灯语识别及预警方法及系统。
本发明的方法所采用的技术方案是:一种日间前车灯语识别及预警方法,包括以下步骤:
步骤1:利用车载摄像头采集的图像,基于神经网络对日间前方车辆进行车辆检测,提取车辆检测框,根据车辆检测框判断车辆相对位置;
将采集图像输入优化神经网络进行检测,提取车辆检测框;并将车辆检测框预处理为统一大小,其中,长宽为(Imgh,Imgw),RGB三通道标准,记为Img1;车辆检测框在采集图像上最右侧、最左侧、最上侧、最下侧的四点坐标分别记为根据车辆检测框与采集图像大小关系判断车辆相对于车载摄像头方位;
所述优化神经网络,基于MobileNet-Yolo网络,利用深度可分离卷积替换MobileNet-Yolo的加强特征提取网络PANet中的3*3卷积;
步骤2:基于RGB和HSV颜色空间,利用(R-G)×H×V对似车灯区域图像 Img2进行提取;
步骤3:对似车灯区域图像中空区域进行调整,并筛选掉面积小于阈值的区域,并对车灯进行配对,获得车灯检测框Img3;对Img3进行裁剪,记裁剪后的图像为Img3C;记Img3C四点坐标分别(Cr,Cl,Ct,Cb);
步骤4:对于Img3C,进行颜色通道转换,识别车灯灯语,包括刹车灯语和转向灯语;
步骤5:灯语配对判断,根据灯语识别结果进行配对,如果双侧点亮判定为刹车灯语,单侧点亮判定为转向灯语;
步骤6:将识别结果映射回采集图像中;
步骤7:针对识别转向灯语,利用质心融合粒子滤波进行跟踪;
步骤8:根据反馈的灯语信息进行分级预警。
本发明的系统所采用的技术方案是:一种日间前车灯语识别及预警系统,包括以下模块:
模块1,用于利用车载摄像头采集的图像,基于神经网络对日间前方车辆进行车辆检测,提取车辆检测框,根据车辆检测框判断车辆相对位置;
将采集图像输入优化神经网络进行检测,提取车辆检测框;并将车辆检测框预处理为统一大小,其中,长宽为(Imgh,Imgw),RGB三通道标准,记为Img1;车辆检测框在采集图像上最右侧、最左侧、最上侧、最下侧的四点坐标分别记为根据车辆检测框与采集图像大小关系判断车辆相对于车载摄像头方位;
所述优化神经网络,基于MobileNet-Yolo网络,利用深度可分离卷积替换MobileNet-Yolo的加强特征提取网络PANet中的3*3卷积;
模块2,用于基于RGB和HSV颜色空间,利用(R-G)×H×V对似车灯区域图像Img2进行提取;
模块3,用于对似车灯区域图像中空区域进行调整,并筛选掉面积小于阈值的区域,并对车灯进行配对,获得车灯检测框Img3;对Img3进行裁剪,记裁剪后的图像为Img3C;记Img3C四点坐标分别(Cr,Cl,Ct,Cb);
模块4,用于对于Img3C,进行颜色通道转换,识别车灯灯语,包括刹车灯语和转向灯语;
模块5,用于灯语配对判断,根据灯语识别结果进行配对,如果双侧点亮判定为刹车灯语,单侧点亮判定为转向灯语;
模块6,用于将识别结果映射回采集图像中;
模块7,用于针对识别转向灯语,利用质心融合粒子滤波进行跟踪;
模块8,用于根据反馈的灯语信息进行分级预警。
本发明提出了一种深度学习与图像处理结合的车灯检测方法及系统,提出了 (R-G)×H×V的车灯提取方法,提出了利用颜色特征对车灯灯语识别的方法,提出了车灯质心融合粒子滤波跟踪方法,提出了基于车灯灯语的分级预警方法。
本发明有益效益为:
1、通过利用神经网络检测,能够极大降低环境因素对于车灯提取的干扰,提高车灯检测的准确性,便于进行颜色空间转换,降低车灯提取计算量。
2、利用车辆检测框进行车辆方位判断,在非结构化道路上能够有效提取前方车辆信息,实现多场景预警。
3、利用颜色通道混合增强,能够有效对日间车灯进行提取,提取准确性高,在各种环境下车灯检测率达到90%以上。
4、利用高尾灯与刹车灯辅助检测的方法,能够大大提高刹车灯语检测准确,减少了因为光照等因素导致的错检、误检。
5、利用质心融合粒子滤波对转向灯进行跟踪,保证了跟踪的准确性,降低了灯语漏检导致的跟踪失效等情况。
附图说明
图1是本发明实施例的车灯检测流程图;
图2是本发明实施例的刹车灯检测流程图;
图3是本发明实施例的转向灯检测流程图;
图4是本发明实施例的融合粒子滤波跟踪流程图;
图5是本发明实施例的车辆预警示意图;
图6是本发明实施例的车辆方位判定结果图;
图7是本发明实施例的车辆灯语识别图;
图8是本发明实施例的粒子滤波跟踪效果图。
图9是本发明实施例的优化网络结构图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
请见图1,本发明提供的一种日间前车灯语识别及预警方法,包括以下步骤:
步骤1:利用车载摄像头采集的图像,基于神经网络对日间前方车辆进行车辆检测,提取车辆检测框,根据车辆检测框判断车辆相对位置。
本实施例将采集图像输入优化神经网络进行检测,提取车辆检测框;并将车辆检测框预处理为统一大小,长宽均为256像素,3通道的标准;其中,长宽记为(Imgh,Imgw),RGB三通道标准,记为Img1;车辆检测框在采集图像上最右侧、最左侧、最上侧、最下侧的四点坐标分别记为根据车辆检测框与采集图像大小关系判断车辆相对于车载摄像头方位为:当则车辆位于正前方;当则车辆位于右前方;当则车辆位于左前方。
请见图9,本实施例的优化神经网络,采用了MobileNet-Yolo网络,该网络利用MobileNet网络替换了YoloV4的主干提取网络CSPDarkNet53,减少了计算量。为了进步一步减少计算量,同时保证网络检测精度,本发明利用深度可分离卷积替换掉了MobileNet-Yolo的加强特征提取网络PANet中的3*3卷积,大大减少了参数量(4千万下降到1千万),同时将得到的13*13、26*26、52*52的多尺度特征层进行降维,减少卷积核的通道数,增加非线性激励。将13*13上采样放大到26*26进行特征层融合,26*26上采样放大到52*52进行特征层融合,进行多尺度特征提取,保证网络检测精度。同时在训练方式上,本发明采用正前近处、远处、左前侧、右前侧共计6032张样本。将样本统一缩放到VOC2012 数据集大小输入网络进行训练。提升网络对车辆尾部检测效果。
步骤2:基于RGB和HSV颜色空间,利用(R-G)×H×V对似车灯区域图像 Img2进行提取;
本实施例中,分解出Img1中R、G、B三通道,为了消除前方车辆重叠对车灯检测带来的影响,将分解出的R、G、B通道进行分割,具体将图像规整为[80,200] 大小,分别为RC,GC,BC。
将Img1进行转换为HSV1,分解出HSV1中H、S、V三通道,为了消除前方车辆重叠对车灯检测带来的影响,将分解出的H、S、V通道进行分割,具体将图像规整为[80,200]大小,分别为HC,SC,VC。
首先利用(R-G)粗略提取车灯区域,在日间行车过程中,车灯特征偏暗且不明显,常常容易出现漏检,误检的情况,因此对图像进行色域转换并增强,凸显车灯特征。分割出H,V颜色通道,对H通道分割筛选得到车灯特征区域,选取下界为Lb1=[156,43,46],上界为Ub2=[180,255,255]对图像HSV1进行二值化处理,具体步骤如下:
其中,(x,y)表示图像中的像素点坐标,如果这个点的H通道数值不在这个区间内,则令它的像素数值为0;
V特征能够有效地对点亮后的车灯区域进行筛选。将分割后的图像与H,V 通道与(R-G)进行混合,实现车灯位置的提取。
Img2=(R-G)×H×V;
选取掩模为(5,5)大小,对图像Img2进行高斯滤波,去除图像中的噪声:
其中,σ是标准差,用来调整远处像素对中心像素的影响程度,(x,y)表示进行高斯滤波点的坐标。
步骤3:利用泛洪操作对似车灯区域图像中空区域进行调整,并筛选掉面积小于阈值的区域,并对车灯进行配对,获得车灯检测框Img3;对Img3进行裁剪,记裁剪后的图像为Img3C;记Img3C四点坐标分别(Cr,Cl,Ct,Cb);
本实施例中,将Img1进行复制,提取复制后图像的长宽分别为x,y,设定掩模大小为(x+2,y+2),从像素(0,0)开始对图像进行填充。对填充后的图像进行翻转,将两张图片结合起来得到前景。最后输出图像为Img3。
对Img3进行裁剪,取原图像大小横向[80,200],纵向[0,255],记裁剪后的图像为Img3C。
Img3C=Img3[80:200,0:255];
获取Img3C中图像轮廓,筛选掉小于阈值的轮廓,本发明中取阈值为300像素。获取Img3C中图像轮廓数量,如果轮廓数量大于1,则对尾灯进行配对,配对算法如下:
其中,light_x1,light_x2分别为配对尾灯的横坐标,light_y1,light_y2 分别为配对尾灯的纵坐标;threshold_x,threshold_y为横向及纵向匹配阈值。
由于所有配对图像大小一致,本发明横纵向阈值分别取50,30。
完成车灯配对筛选后,记车灯检测框四点坐标分别(Cr,Cl,Ct,Cb)。
步骤4:对于Img3C,进行颜色通道转换,识别车灯灯语,包括刹车灯语和转向灯语;
本实施例中,步骤4的操作步骤具体为:
步骤4.1:获取Img3C的最小外接矩形及其对应的坐标lr=(lmin,lmax,rmin,rmax),其中,lmin,lmax,rmin,rmax分别表示纵向坐标最小值、最大值,横向坐标最小值、最大值;
为了防止最小矩形框超出边界而导致的图像错误,需要对图像区域进行规整:
对规整后的最小矩形,获取其坐标信息:
lt=(lx,ly,h,w);
步骤4.2:识别车灯灯语,包括刹车灯语和转向灯语;
请见图2,本实施例针对刹车灯语,首先HSV1进行筛选,选取下界为 Lb2=[0,43,46],上界为Ub2=[10,255,255]对图像进行二值化处理,具体步骤如下:
将HSV3裁剪为[80:200,0:255],并利用lr坐标筛选出车灯区域。
为了减少光照对于灯语识别的影响,首先在VC中筛选出车灯区域,计算出区域亮度均值,最后筛选出高于亮度均值阈值的区域,并进行二值化,具体步骤如下:
其中,Vmean表示区域亮度均值,threshold_Vmean表示亮度阈值,Vs(x,y)表示坐标点为(x,y)的亮度,表示均值Vmean加上threshold_Vmean后的亮度阈值;这步的目的是筛选出高于均值阈值的区域,减小光照对于灯语识别的影响。
将处理后的HSV3与Vs进行相乘,为了减小车灯形状各异对后续判断误差带来的影响,并将相乘后的图像规整为[60,60]大小,计算像素相乘后图像的面积,判断是否大于阈值,如果大于阈值则判定为刹车;其中,阈值计算如下:
其中,areas表示像素相乘后检测出来的刹车灯语有效面积,area_slow表示转向灯语判定的面积阈值;
请见图3,本实施例针对转向灯语,首先HSV1进行筛选,选取下界为 Lb3=[10,43,46],上界为Ub3=[35,255,255]对图像进行二值化处理,具体步骤如下:
同时,G分量能够有效对转向灯语进行提取,对G通道进行筛选,选取阈值为130,对图像进行二值化处理,具体步骤如下:
其中,G(x,y)表示G通道中(x,y)处的G通道像素值。
将处理后的HSV4、G、Vs进行像素相乘,为了减小车灯形状各异对后续判断误差带来的影响,并将相乘后的图像规整为[60,60]大小,计算相乘后图像的面积,判断是否大于阈值,若大于阈值则表示高尾灯点亮,车辆属于刹车状态。
阈值计算如下:
其中,areat表示像素相乘后检测出来的刹车灯语有效面积,area_turn表示转向灯语判定的面积阈值。
步骤5:灯语配对判断,根据灯语识别结果进行配对,如果双侧点亮判定为刹车灯语,单侧点亮判定为转向灯语;
环境因素的对于车灯颜色提取的干扰是无法避免的,为了提高车灯检测精确率,准确率,利用车灯特征进行判断决策。刹车灯语是成对点亮的,而转向灯语是单侧点亮的,根据灯语识别结果进行配对,如果双侧点亮才判定为刹车灯语,单侧点亮才判定为转向灯语。
由于光照条件的影响,会造成某些情况灯语的漏检,针对刹车灯语,高尾灯能够准确反映刹车状态,但是由于其无约束性,导致检测错误率较高,所以针对高尾灯,本实施例首先在Img3中,利用车辆尾灯位置对高尾灯位置(XGao,YGao)进行筛选,选取Img3C中轮廓横坐标最小和最大位置纵坐标最大位置筛选具体步骤如下:
将筛选出的高尾灯区域用最小矩形外接,计算矩形区域亮度均值,筛选高于均值阈值的区域并进行二值化,记做VGao。选取R通道,筛选高于阈值的区域并进行二值化,阈值取150,将VGao与R通道进行相乘,判断相乘后面积是否大于阈值,阈值取20。若大于阈值则表示高尾灯点亮,车辆属于刹车状态,此处采用了与车辆尾灯不同的检测方法,目的就是为了减少环境因素的干扰,提高刹车灯语识别的准确性。
刹车灯语除了明显的颜色特征外,其频率信息也是最明显的特征,为了进一步提高转向检测精度,利用改进粒子滤波方法对刹车灯语进行跟踪。
步骤6:将识别结果映射回采集图像中;
本实施例中,首先计算读取帧图像的长宽(Imgh,Imgw),由于Img1长宽均为256,所以要进行坐标变换,具体步骤如下:
将坐标变化完成后的车灯矩形框映射回原图像,实现车灯位置准确标记。
本实施例的灯语识别准确率(帧)
步骤7:针对识别转向灯语,利用质心融合粒子滤波进行跟踪;
请见图4,本实施例中步骤7的操作具体步骤为:
步骤7.1:获取质心;
在车灯提取过程中,提取到了车灯区域,通过提取质心坐标(xl,yl)可以获得车灯区域,同时,通过对转向尾灯进行检测,可以获取转向尾灯质心坐标(xt,yt),为了保证跟踪连续性,将两质心坐标进行融合,获得转向灯语区域质心坐标 (xn,yn);
其中,β是一个系数;
步骤7.2:质心匹配;
获取检测到的转向尾灯信息提取其质心坐标(xn,yn),及矩形边框 (width,height)。搜寻上一帧转向尾灯坐标信息(xi,yi)并进行配对,获得能够配对到的坐标x;
其中,threshold1表示欧氏距离阈值,q表示高斯白噪声,x表示此次配对后最终确认的坐标;
步骤7.3:粒子滤波;
针对配对到的x,在矩形边框内初始化粒子数为30得到粒子组N为粒子数。定义系统状态变量其中,vx,vy分别表示t-1时刻的横向纵向质心坐标与速度。初始权重设定车辆为匀速直线运动,车辆状态方程为Xt=AXt-1+W,其中:
其中,ft-1 -(x)表示所求得粒子的先验概率;
检测到下一帧观测数据yt,得到粒子后验概率:
其中,ηt表示常数fR[]表示似然概率,yt表示t时刻的观测值,h(x)表示状态转移方程;
最后对粒子权重进行更新:
其中,fR[xt-h(xt-1 i)]表示利用更新步对t-1时刻粒子权重进行更新。
步骤8:根据反馈的灯语信息进行分级预警。
本实施例,首先判定前方车辆方位,根据反馈的车辆判定结果,结合车辆的灯语信息进行分级预警,具体预警过程如下:
本实施例车辆根据反馈的分级预警信息,进行相应的决策及控制,保证车辆行驶安全性。
请见图5,是本发明实施例的车辆预警示意图,以某车辆为中心,能够对右前方、左前方、正前方三个方位的车辆进行检测,获取三个方位车辆的灯语信息,进而获取前方车辆驾驶员的操作意图。根据不同灯语语义进行分级预警,从而进行避让减速操作。
请见图6,是本发明实施例的车辆方位判定结果图,可以看出不同方位的车辆都进行了不同方位的标记,包括:Left、Right、Middle。这样就可以与预警系统结合起来,结合灯语信息,对前方车辆变道、减速操作进行预警。
请见图7,是本发明实施例的车辆灯语识别图,可以看出,在高速公路上,能够对前方车辆灯语进行有效识别,左前方车辆显示刹车灯语与转向灯语,系统对其标记了Slow、Turn。通过本发明方法能够对车辆灯语进行有效识别,从而传递给预警系统进行后续分级预警。
请见图8,是本发明实施例的粒子滤波跟踪效果图,可以看出,通过质心融合粒子滤波方法,在转向灯完全熄灭的情况下,仍然能够跟随转向车灯检测框,对转向灯语进行有效地跟踪,保证灯语识别的连续性与准确性。
本发明主要技术体现在:
1、针对性的改进目标检测网络,降低参数,降低运算时间,现有的很多网络,比如Yolo参数量太大,在实际道路上应用fps会很低,而本发明网络对硬件配置要求较低,能够达到实时检测的要求。当然,因为参数量减少,所以检测精度不如Yolo网络。本发明在训练网络时,自建数据集,选取了左前方、右前方、正前方的车辆尾部图片进行训练,能够一定程度上改善检测精度的问题。另外,网络还进行特征提取层融合,进而了保证检测精度。
2、本发明提出的(R-G)×H×V车灯提取方法在日间前车尾灯提取的效果非常好,另外本发明还用了高尾灯与尾灯相辅检测的方式保证刹车灯语检测精度,同时利用质心融合粒子滤波跟踪转向灯语,目的都是为了保证检测灯语的正确性。通过实验验证,单一的颜色特征对车灯灯语提取效果不好,环境因素影响太大,容易造成误检、漏检。
3、本发明提出的根据灯语对前方车辆进行预警的方法是非常有效的,灯语直接反应前方驾驶员的意图,比起检测车辆位姿、轨迹预测等方法极大减低参数量,且具有有效性,是一种非常好的预警方法。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本发明提供了一种高效检测车灯及识别灯语的方法,显然,本发明只提供检测步,算法后续可通过进一步决策到达更好的效果。本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (10)
1.一种日间前车灯语识别及预警方法,其特征在于,包括以下步骤:
步骤1:利用车载摄像头采集的图像,基于神经网络对日间前方车辆进行车辆检测,提取车辆检测框,根据车辆检测框判断车辆相对位置;
将采集图像输入优化神经网络进行检测,提取车辆检测框;并将车辆检测框预处理为统一大小,其中,长宽为(Im gh,Im gw),RGB三通道标准,记为Im g1;车辆检测框在采集图像上最右侧、最左侧、最上侧、最下侧的四点坐标分别记为根据车辆检测框与采集图像大小关系判断车辆相对于车载摄像头方位;
所述优化神经网络,基于MobileNet-Yolo网络,利用深度可分离卷积替换MobileNet-Yolo的加强特征提取网络PANet中的3*3卷积;
步骤2:基于RGB和HSV颜色空间,利用(R-G)×H×V对似车灯区域图像Im g2进行提取;
步骤3:对似车灯区域图像中空区域进行调整,筛选掉面积小于阈值的区域,并对车灯进行配对,获得车灯检测框Im g3;对Im g3进行裁剪,记裁剪后的图像为Im g3C;记Im g3C四点坐标分别(Cr,Cl,Ct,Cb);
步骤4:对于Im g3C,进行颜色通道转换,识别车灯灯语,包括刹车灯语和转向灯语;
步骤5:灯语配对判断,根据灯语识别结果进行配对,如果双侧点亮判定为刹车灯语,单侧点亮判定为转向灯语;
步骤6:将识别结果映射回采集图像中;
步骤7:针对识别转向灯语,利用质心融合粒子滤波进行跟踪;
步骤8:根据反馈的灯语信息进行分级预警。
3.根据权利要求1所述的日间前车灯语识别及预警方法,其特征在于:步骤2中,分解出Im g1中R、G、B三通道,将分解出的R、G、B通道进行分割,将图像规整为预设大小,分别为RC,GC,BC;
将Im g1转换为HSV1,分解出HSV1中H、S、V三通道,将分解出的H、S、V通道进行分割,将图像规整为预设大小,分别为HC,SC,VC;
分割出H、V颜色通道,对H通道分割筛选,选取下界为Lb1,上界为Ub1对图像HSV1进行二值化处理:
其中,(x,y)表示图像中的像素点坐标,如果这个点的H通道数值不在这个区间内,则令它的像素数值为0;
将分割后的图像与H,V通道与(R-G)进行混合,实现似车灯区域图像Im g2的提取;
Im g2=(R-G)×H×V。
5.根据权利要求1所述的日间前车灯语识别及预警方法,其特征在于:步骤3中,将Im g1进行复制,提取复制后图像的长宽分别为(x,y),设定掩模大小,从像素(0,0)开始对图像进行填充;对填充后的图像进行翻转,将两张图片结合起来得到前景,最后输出图像为Im g3;
对Im g3进行裁剪,记裁剪后的图像为Im g3C,获取Im g3C中图像轮廓,筛选掉小于阈值的轮廓,获取Im g3C中图像轮廓数量;如果轮廓数量大于1,则对尾灯进行配对,配对公式如下:
其中,light_x1,light_x2分别为配对尾灯的横坐标,light_y1,light_y2分别为配对尾灯的纵坐标;threshold_x,threshold_y为横向及纵向匹配阈值。
6.根据权利要求3所述的日间前车灯语识别及预警方法,其特征在于:步骤4的具体实现包括以下子步骤:
步骤4.1:获取Im g3C的最小外接矩形及其对应的坐标lr=(lmin,lmax,rmin,rmax),其中,lmin,lmax,rmin,rmax分别表示纵向坐标最小值、最大值,横向坐标最小值、最大值;
对最小外接矩形进行规整:
对规整后的最小矩形,获取其坐标信息lt=(lx,ly,h,w);
步骤4.2:针对刹车灯语,选取下界Lb2、上界Ub2对HSV1进行二值化处理,获得HSV3;
将HSV3裁剪为预设大小,并利用lr坐标筛选出车灯检测框区域;
首先在VC中筛选出车灯检测区域,计算出区域亮度均值,最后筛选出高于亮度均值阈值的区域,并进行二值化:
Vs 1=Vmean+threshold_Vmean;
其中,Vmean表示区域亮度均值,threshold_Vmean表示亮度阈值,Vs(x,y)表示坐标点为(x,y)的亮度,Vs 1表示均值Vmean加上threshold_Vmean后的亮度阈值;
将处理后的HSV3与Vs进行相乘,并将相乘后的图像规整为[60,60]大小,计算像素相乘后图像的面积,判断是否大于阈值,如果大于阈值则判定为刹车;其中,阈值计算如下:
其中,areas表示像素相乘后检测出来的刹车灯语有效面积,area_slow表示转向灯语判定的面积阈值;
针对转向灯语,选取下界Lb3,上界Ub3对HSV1图像进行二值化处理,获得HSV4;
对G通道进行筛选,选取阈值,对图像进行二值化处理:
其中,G(x,y)表示G通道中(x,y)处的G通道像素值;
将处理后的HSV4、G、Vs进行像素相乘,并将相乘后的图像规整为[60,60]大小,计算相乘后图像的面积,判断是否大于阈值,如果大于阈值则判定为转向;其中,阈值计算如下:
其中,areat表示像素相乘后检测出来的刹车灯语有效面积,area_turn表示转向灯语判定的面积阈值。
9.根据权利要求1所述的日间前车灯语识别及预警方法,其特征在于:步骤7的具体实现包括以下子步骤:
步骤7.1,获取质心;
提取车灯检测区域质心坐标(xl,yl),通过对转向尾灯进行检测,获取转向尾灯质心坐标(xt,yt),将两质心坐标进行融合,获得转向灯语区域质心坐标(xn,yn);
其中,β是一个系数;
步骤7.2:质心匹配;
根据(xn,yn)及转向尾灯区域矩形边框(width,height),搜寻上一帧转向尾灯质心坐标(xi,yi)并进行配对,获得能够配对到的坐标x;
其中,threshold1表示欧氏距离阈值,q表示高斯白噪声,x表示此次配对后最终确认的坐标;
步骤7.3:粒子滤波;
针对配对到的x,在矩形边框内初始化粒子数得到粒子组N为粒子数;定义状态变量其中,vx,vy分别表示t-1时刻的横向纵向质心坐标与速度。初始权重设定车辆为匀速直线运动,车辆状态方程为Xt=AXt-1+W,W表示噪声且W服从正态分布;对于粒子组进行预测:
其中,ft-1 -(x)表示所求得粒子的先验概率;
检测到下一帧观测数据yt,得到粒子后验概率:
其中,ηt表示常数fR[]表示似然概率,yt表示t时刻的观测值,h(x)表示状态转移方程;
最后对粒子权重进行更新:
其中,fR[xt-h(xt-1 i)]表示利用更新步对t-1时刻粒子权重进行更新。
10.一种日间前车灯语识别及预警系统,其特征在于,包括以下模块:
模块1,用于利用车载摄像头采集的图像,基于神经网络对日间前方车辆进行车辆检测,提取车辆检测框,根据车辆检测框判断车辆相对位置;
将采集图像输入优化神经网络进行检测,提取车辆检测框;并将车辆检测框预处理为统一大小,其中,长宽为(Im gh,Im gw),RGB三通道标准,记为Im g1;车辆检测框在采集图像上最右侧、最左侧、最上侧、最下侧的四点坐标分别记为根据车辆检测框与采集图像大小关系判断车辆相对于车载摄像头方位;
所述优化神经网络,基于MobileNet-Yolo网络,利用深度可分离卷积替换MobileNet-Yolo的加强特征提取网络PANet中的3*3卷积;
模块2,用于基于RGB和HSV颜色空间,利用(R-G)×H×V对似车灯区域图像Im g2进行提取;
模块3,用于对似车灯区域图像中空区域进行调整,并筛选掉面积小于阈值的区域,并对车灯进行配对,获得车灯检测框Im g3;对Im g3进行裁剪,记裁剪后的图像为Im g3C;记Img3C四点坐标分别(Cr,Cl,Ct,Cb);
模块4,用于对于Im g3C,进行颜色通道转换,识别车灯灯语,包括刹车灯语和转向灯语;
模块5,用于灯语配对判断,根据灯语识别结果进行配对,如果双侧点亮判定为刹车灯语,单侧点亮判定为转向灯语;
模块6,用于将识别结果映射回采集图像中;
模块7,用于针对识别转向灯语,利用质心融合粒子滤波进行跟踪;
模块8,用于根据反馈的灯语信息进行分级预警。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110897194.XA CN113743226B (zh) | 2021-08-05 | 2021-08-05 | 一种日间前车灯语识别及预警方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110897194.XA CN113743226B (zh) | 2021-08-05 | 2021-08-05 | 一种日间前车灯语识别及预警方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113743226A true CN113743226A (zh) | 2021-12-03 |
CN113743226B CN113743226B (zh) | 2024-02-02 |
Family
ID=78730230
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110897194.XA Active CN113743226B (zh) | 2021-08-05 | 2021-08-05 | 一种日间前车灯语识别及预警方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113743226B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116828298A (zh) * | 2023-08-31 | 2023-09-29 | 深圳市新城市规划建筑设计股份有限公司 | 一种基于车辆路面信息的分析系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103927548A (zh) * | 2014-04-18 | 2014-07-16 | 北京航空航天大学 | 一种新的避免车辆碰撞的刹车行为检测方法 |
US20160034778A1 (en) * | 2013-12-17 | 2016-02-04 | Cloud Computing Center Chinese Academy Of Sciences | Method for detecting traffic violation |
CN108357418A (zh) * | 2018-01-26 | 2018-08-03 | 河北科技大学 | 一种基于尾灯识别的前车驾驶意图分析方法 |
CN109523555A (zh) * | 2017-09-18 | 2019-03-26 | 百度在线网络技术(北京)有限公司 | 用于无人驾驶车辆的前车刹车行为检测方法和装置 |
CN109584271A (zh) * | 2018-11-15 | 2019-04-05 | 西北工业大学 | 基于高置信度更新策略的高速相关滤波跟踪方法 |
CN112348813A (zh) * | 2020-12-03 | 2021-02-09 | 苏州挚途科技有限公司 | 雷达与车灯检测融合的夜晚车辆检测方法及装置 |
-
2021
- 2021-08-05 CN CN202110897194.XA patent/CN113743226B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160034778A1 (en) * | 2013-12-17 | 2016-02-04 | Cloud Computing Center Chinese Academy Of Sciences | Method for detecting traffic violation |
CN103927548A (zh) * | 2014-04-18 | 2014-07-16 | 北京航空航天大学 | 一种新的避免车辆碰撞的刹车行为检测方法 |
CN109523555A (zh) * | 2017-09-18 | 2019-03-26 | 百度在线网络技术(北京)有限公司 | 用于无人驾驶车辆的前车刹车行为检测方法和装置 |
CN108357418A (zh) * | 2018-01-26 | 2018-08-03 | 河北科技大学 | 一种基于尾灯识别的前车驾驶意图分析方法 |
CN109584271A (zh) * | 2018-11-15 | 2019-04-05 | 西北工业大学 | 基于高置信度更新策略的高速相关滤波跟踪方法 |
CN112348813A (zh) * | 2020-12-03 | 2021-02-09 | 苏州挚途科技有限公司 | 雷达与车灯检测融合的夜晚车辆检测方法及装置 |
Non-Patent Citations (1)
Title |
---|
李堃 等: "基于日间行车的灯语识别技术", 《计算机科学》, vol. 46, no. 11, pages 277 - 282 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116828298A (zh) * | 2023-08-31 | 2023-09-29 | 深圳市新城市规划建筑设计股份有限公司 | 一种基于车辆路面信息的分析系统 |
CN116828298B (zh) * | 2023-08-31 | 2024-01-02 | 深圳市新城市规划建筑设计股份有限公司 | 一种基于车辆路面信息的分析系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113743226B (zh) | 2024-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107798335B (zh) | 一种融合滑动窗口与Faster R-CNN卷积神经网络的车标识别方法 | |
WO2019196130A1 (zh) | 面向车载热成像行人检测的分类器训练方法和装置 | |
CN103984950B (zh) | 一种适应白天检测的运动车辆刹车灯状态识别方法 | |
CN111815959B (zh) | 一种车辆违章的检测方法、装置以及计算机可读存储介质 | |
CN109190523B (zh) | 一种基于视觉的车辆检测跟踪预警方法 | |
WO2019196131A1 (zh) | 面向车载热成像行人检测的感兴趣区域过滤方法和装置 | |
CN109299674B (zh) | 一种基于车灯的隧道违章变道检测方法 | |
Alcantarilla et al. | Night time vehicle detection for driving assistance lightbeam controller | |
Alcantarilla et al. | Automatic LightBeam Controller for driver assistance | |
CN103824081B (zh) | 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法 | |
CN107590470B (zh) | 一种车道线检测方法及装置 | |
CN106845453A (zh) | 基于图像的尾灯检测与识别方法 | |
Zhang et al. | Study on traffic sign recognition by optimized Lenet-5 algorithm | |
CN110263635B (zh) | 基于结构森林和PCANet的标志物检测与识别方法 | |
CN111553214B (zh) | 一种驾驶员吸烟行为检测方法及系统 | |
CN107886034B (zh) | 行车提醒方法、装置及车辆 | |
CN110458050B (zh) | 基于车载视频的车辆切入检测方法及装置 | |
Swathi et al. | Automatic traffic sign detection and recognition: A review | |
CN110060221B (zh) | 一种基于无人机航拍图像的桥梁车辆检测方法 | |
CN111881739B (zh) | 一种汽车尾灯状态识别方法 | |
WO2021114799A1 (zh) | 一种基于计算机视觉的矩阵车灯识别方法 | |
Yucong et al. | Traffic sign recognition based on HOG feature extraction | |
CN113657305B (zh) | 一种基于视频的黑烟车辆及林格曼黑度等级智能检测方法 | |
CN113743226B (zh) | 一种日间前车灯语识别及预警方法及系统 | |
Álvarez et al. | Perception advances in outdoor vehicle detection for automatic cruise control |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |