CN112686203A - 一种基于空间先验的车辆安全警示装置检测方法 - Google Patents
一种基于空间先验的车辆安全警示装置检测方法 Download PDFInfo
- Publication number
- CN112686203A CN112686203A CN202110037054.5A CN202110037054A CN112686203A CN 112686203 A CN112686203 A CN 112686203A CN 202110037054 A CN202110037054 A CN 202110037054A CN 112686203 A CN112686203 A CN 112686203A
- Authority
- CN
- China
- Prior art keywords
- warning
- area
- picture
- distance
- ith
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000012417 linear regression Methods 0.000 claims description 24
- 238000009432 framing Methods 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000033228 biological regulation Effects 0.000 description 3
- 238000011056 performance test Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及车辆安全警示装置检测领域,特别涉及一种基于空间先验的车辆安全警示装置检测方法。本发明提出了基于深度学习和空间先验的车辆安全警示装置检测方法,S1:已有的数据集进行标注;S2:使用标注好的数据集对YOLOv3目标识别框架进行训练;S3:利用训练集及其标签计算距离基准量和面积基准量;S4:使用YOLOv3框架对待预测图片进行识别,之后得到一个存有警示标志信息的数组;S5:使用该数组中的信息计算待预测图片中警示装置的距离得分和面积得分;S6:如果距离得分与面积得分之和大于预先设定的阈值,则输出并同时标记为重点目标。
Description
技术领域
本发明涉及车辆安全警示装置检测领域,特别涉及一种基于空间先验的车辆安全警示装置检测方法。
背景技术
近年来,机动车数量持续高位增长,带来了显著的交通压力和车辆管理上的挑战。其中车辆年检制度是消除机动车安全隐患,减少交通事故的重要手段。
根据我国交通法律法规,行驶过程中的车辆出现故障需要安置三角警告牌,在一定距离内提示后方来车;而《机动车运行安全技术条件》规定,中型以上客车应装备灭火器,对普通小车虽无强制规定,但各地制定的《道路交通安全法》实施条例或办法中有需要配置灭火器的相关条款。三角警示牌和灭火器也成为了车辆年检制度中的两项指标。
车辆警示标志检测即三角警示牌和灭火器的检测是一个计算机模式识别(Pattern Recognition)和目标检测(Object Detection)问题,是一种基于目标几何和统计特征的图像分割,它将目标的分割和识别合二为一,其准确性和实时性是整个车检四通的一项重要能力,而检测车辆是否带有三角警示牌和灭火器是车检流程中的两项重要检测指标。
现有目标检测流程中常用最大框法来确定检测的重点目标,最大框法简单来说就是在检测时使用目标框对图片上的目标进行标注,而哪个目标使用的目标框最大,哪个目标就是重点目标,这样极易出现判断错误的情况,因为在实际车检场景中,摄像头不一定是正对目标车辆的车头位置,而是经常倾斜45度对车辆进行拍摄,所以当其他非目标车辆的右方也摆放了安全警示装置时,即使这些装置没有完全入镜,也可能因为拍摄中的透视关系,出现非目标车辆上的警示装置的目标框大于目标车辆上警示装置的目标框,这样就造成了对非目标车辆的拍摄程度大于对目标车辆的拍摄程度,从而影响结果的准确性。
发明内容
针对现有技术存在的上述问题,本发明要解决的技术问题是:如何避免拍摄现场环境因素的影响,更准确的检测图片中的重点目标。
为解决上述技术问题,本发明采用如下技术方案:一种基于空间先验的车辆安全警示装置检测方法,包括如下步骤:
S1:准备检测车辆安全警示装置时拍摄的车辆图片;
S2:从准备好的车辆图片中选出部分图片作为数据集,所述数据集中的每张车辆图片具有相同的宽高比,并且每张车辆图片的拍摄视角相同;
对数据集中车辆图片上的警示标志的位置进行标注,所述警示标志为三角警示牌和灭火器;
对所述每张车辆图片中的三角警示牌进行线框标注,并打上三角警示牌标签,对所述每张车辆图片中的灭火器进行线框标注,并打上灭火器标签;
S3:随机选取数据集中的部分车辆图片作为训练集;将训练集中的所有车辆图片作为YOLOv3目标识别框架的输入,对YOLOv3目标识别框架进行训练,当训练至YOLOv3目标识别框架得到的loss值不再下降时,则停止训练,此时得到训练好的YOLOv3目标检测模型;
S4:从训练集中随机选取N张无背景目标干扰的图片作为样本图片,并将该N张样本图片统一到1280*960大小,随后确定距离基准量和面积基准量;
所述距离基准量包括图片宽方向上的距离基准量和高度方向上的距离基准量,通过距离基准量得到警示标志分布的直线方程;
所述面积基准量包括三角警示牌面积基准量Ss和灭火器面积基准量Sm;
S5:使用训练好的YOLOv3目标检测模型对待预测图片进行识别,识别后得到一个存有警示标志信息的数组,警示标志信息由警示标志的宽、警示标志的高、警示标志数量和包含警示标志的线框中心四部分组成;
S6:设S5识别的警示标志的数量为I,计算第i个警示标志的面积,确定所述第i个警示标志面积的面积得分,计算第i个警示标志的距离得分;
S7:如果第i个警示标志的面积得分与距离得分之和大于预先设定的阈值,则认为该第i个警示标志是重点目标,执行S8;反之则认为第i个警示标志不是重点目标,并执行S9;
S8:在所述待预测图片中框出第i个警示标志,并打上有警示标志的标签,输出处理后的待预测图片和该待预测图片的日志报告;
S9:所述待预测图片中没有重点目标,输出待预测图片原图和该待预测图片的日志报告。
通过上述方法可以最大限度的排除干扰项,在尽可能小的范围内寻找重点目标,这样不仅可以降低环境因素的影响,而且因为识别范围的缩小,可以更准确的在有效范围内找到重点目标。
作为优选,所述S4中计算距离基准量方法如下:
1)获取所述N张样本图片,将所述每张样本图片上包含警示标志的线框中心坐标记为(x,y),所述N个线框的中心坐标作为训练样本;
2)用sklearn中的LinearRegression模块构建线性回归模型,使用训练样本对线性回归模型进行自动迭代训练,训练结束后得到训练好的线性回归模型,并输出线性回归模型在宽方向上的截距Dx和在高方向上的截距Dy;
3)设Dx=DwW,Dy=DhH,其中,Dw表示宽方向上的距离基准量,Dh表示高方向上的距离基准量;Dx表示在图片宽方向的截距,Dy表示在图片高方向的截距;W表示图片的宽度,此处取值为1280,H表示图片的高度,此处取值为960。
用sklearn中的LinearRegression模块构建的线性回归模型,可以更加简单高效的实现目标计算结果,该方法为业内常用方法。
距离基准量表示线性回归模型截距占图片宽高像素大小的百分比,通过该基准量能够和图片宽高、目标框中心位置一并计算出待测样本中目标框中心距离线性回归所得直线的像素距离,并以该距离同图片原点到直线的距离对比,得出距离得分情况。
作为优选,所述S4中计算面积基准量的具体方法如下:
利用该N张样本图片上三角警示牌的面积计算三角警示牌面积平均值,将三角警示牌面积平均值作为三角警示牌面积基准量Ss,用该N张样本图片上灭火器的面积计算灭火器面积平均值,将灭火器面积平均值作为灭火器面积基准量Sm。
面积基准量表示待测目标(三角警示牌、灭火器)的平均面积情况,以此作为同待测样本目标框面积的参考量,得出面积得分情况。
作为优选,所述步骤S6计算面积得分的具体方法如下:
通过面积基准量Ss,Sm,计算比例σ=wh/S,第i个警示标志为三角警示牌时,S的取值为Ss,第i个警示标志为灭火器时,S的取值为Sm;w表示第i个警示标志的宽度,h表示第i个警示标志的高度;
面积得分的公式定义如下:
s2=σ×γ
其中,s2表示第i个警示标志面积得分;σ表示第i个警示标志与相对应的面积基准量的比值;γ表示面积的权重。
面积得分从待测样本目标框面积的角度数值化了面积作为判断重点目标的可靠程度。
作为优选,所述步骤S6计算距离得分的具体方法如下:
I)对识别的警示标志进行判断,确定多个警示标志为三角警示牌或是灭火器;
II)通过距离基准量Dw和Dh两者与截距的关系,建立警示标志分布的直线方程DwW×y+DhH×x-DwW×DhH=0;
计算第i个包含警示标志的线框中心到该直线方程的距离d1,再计算检测图片左顶点到该直线方程的距离d2,令τ=d1/d2,其中τ表示d1与d2的比值,无实际物理意义;
距离得分公式定义如下:
s1=(1-τ)×β
其中,s1表示第i个警示标志距离得分;τ表示d1与d2的比值;β表示距离的权重。
距离得分从待测样本的目标框离线性回归得到的直线的距离的角度,数值化了离容易出现目标的直线的距离比重作为判断重点目标的可靠程度。
作为优选,所述S7中的阈值为1.3。
阈值的设置兼顾了面积得分和距离得分对于目标重点程度的综合影响,并可以根据不同的数据集调整阈值来实现不同的检测灵敏度。
本方法利用深度学习目标检测技术(YOLOv3)定位车辆安全警示装置目标区域。YOLO的基本思想为,先将先将图片划分成若干个方格(默认为7*7),在每个方格中预测回归框(默认每个方格预测两次),若存在物体,置信度为物体和方格的交并比(Intersectionover Union,IoU),整合所有框的情况得到物体的位置划分。使用的YOLOv3版本,网络结构使用Darknet53网络,新增了对多标签分类以及多尺度特征图方式预测,保持了原有高速的特性并显著提高了算法精度。该网络借鉴了ResNet的解决方案,在卷积网络中引入了残差结构,在检测上,则是引入了SSD网络中首先使用的多尺度(总共3个尺度)特征图,搭配9类先验框,替换了原有的passthrough结构,在细粒度的检测精度上有了显著的提升。同时在最后的输出预测时,将原有的softmax函数改为了logistic函数,能够支持多标签对象的输出。
相对于现有技术,本发明至少具有如下优点:
1.通过深度卷积神经网络做车辆三角警告牌和灭火器识别效果好并且鲁棒性高。而且YOLOv3框架对于目标的识别效率较高同时还有很高的精度,可以对接不同系统,实现实时检测,并且通过配置文件可以更改不同的网络结构,有着很高的可扩展性。
2.使用基于空间先验的重点目标判断算法,可以通过设置阈值准确的区分背景目标和检测目标,比单独使用最大目标框判断或者单独使用距离判断更加精确与鲁棒。同时,基于空间先验的方法可以很好的适应不同检测机构、不同环境下的车辆检测需求,对不同拍摄环境、不同拍摄角度的图片可以针对性较强地计算该类数据的先验知识,有效利用与区分了不同车检机构的不同环境下的先验知识。
附图说明
图1为重点目标判断算法示意图。
图2为基于空间先验的车辆安全警示装置检测用例及效果示意图。
图3为基于空间先验的车辆安全警示装置检测方法流程图。
具体实施方式
下面对本发明作进一步详细说明。
本发明公开了一种基于空间先验的车辆安全警示装置检测方法,从而准确定位警示装置的状态和位置,本发明方法用训练集计算出距离先验知识和面积先验知识,然后基于YOLOv3目标识别框架对待预测图片进行识别,得到警示装置信息的数组,使用该数组可以计算得到关于待预测图片的距离得分和面积得分,最后如果距离得分与面积得分之和大于预先设定的阈值,则认为该目标是一个重点目标,同时进行绘制操作并输出绘制好后的图片和检测结果文件,反之则不进行绘制操作并输出原图和检测结果文件。
实施例:一种基于空间先验的车辆安全警示装置检测方法,包括如下步骤:
S1:准备检测车辆安全警示装置时拍摄的车辆图片;
S2:从准备好的车辆图片中选出部分图片作为数据集,所述数据集中的每张车辆图片具有相同的宽高比,并且每张车辆图片的拍摄视角相同;
对数据集中车辆图片上的警示标志的位置进行标注,所述警示标志为三角警示牌和灭火器;
对所述每张车辆图片中的三角警示牌进行线框标注,并打上三角警示牌标签,对所述每张车辆图片中的灭火器进行线框标注,并打上灭火器标签;
使用LabelImg软件进行数据的标注,输出为VOC格式的数据标注xml文件,文件中保存了对于同名图片中目标的位置;
S3:随机选取数据集中的部分车辆图片作为训练集;本方法的数据集准备了9500张车辆图片,使用LabelImg图片标注软件进行了标注,其中选取9000张作为训练集用于训练模型。将训练集中的所有图片作为YOLOv3目标识别框架的输入,对YOLOv3目标识别框架进行训练,当训练至YOLOv3目标识别框架得到的loss值不再下降时,则停止训练,此时得到训练好的YOLOv3目标检测模型;YOLOv3目标识别框架和采用训练集中的车辆图片对YOLOv3目标识别框架进行训练的方法均属于现有技术。对YOLOv3目标识别框架进行训练的时的具体参数设置可以为:使用标准的YOLOv3训练方法,在batch=64,subdivisions=16的配置下,使用服务器的NVIDIA TITAN V GPU从学习率0.001开始,在6000、8000batch时学习率衰减到之前的0.1倍,总共训练了10000个batch,训练到loss不在下降,输出目标检测模型,整个训练耗时6小时左右。
训练的停止条件一般情况是训练至loss不再下降,此时loss值是在0.1以下,对于不同的训练集loss最后的值会不一样。
S4:从训练集中随机选取N张无背景目标干扰的图片作为样本图片,并将该N张样本图片统一到1280*960大小,此处所说的“无背景目标干扰的图片”是指图片中只有一个车辆和与该车辆相对应的三角警示牌和灭火器,没有其他车辆或三角警示牌或灭火器;本方法是从训练集中抽取了1000张无背景目标干扰的图片作为样本图片,再将这1000张样本图片统一到1280*960大小后,利用线性回归模型计算距离基准量,利用安全警示装置在图片上的覆盖面积计算面积基准量,随后确定距离基准量和面积基准量;
所述距离基准量包括样本图片宽方向上的距离基准量和高度方向上的距离基准量,通过距离基准量得到警示标志分布的直线方程;
所述面积基准量包括三角警示牌面积基准量Ss和灭火器面积基准量Sm;
具体实施时,所述S4中计算距离基准量方法如下:
1)获取所述N张样本图片,将所述每张样本图片上包含警示标志的线框中心坐标记为(x,y),所述N个线框的中心坐标作为训练样本;在具体实施时,根据经验认为N>1000张时,效果最优;
2)用sklearn中的LinearRegression模块构建线性回归模型,使用训练样本对线性回归模型进行自动迭代训练,训练结束后得到训练好的线性回归模型,并输出线性回归模型在宽方向上的截距Dx和在高方向上的截距Dy;此处的训练是调用sklearn的LinearRegression模块一步得出,为现有方法;提供所有训练样本的坐标信息给该函数,返回值可以计算得到直线的方程,直线即图1中所示斜线;
3)设Dx=DwW,Dy=DhH,得到本训练样本的距离基准量Dw=0.82,Dh=1.28;其中,Dw表示宽方向上的距离基准量,Dh表示高方向上的距离基准量;Dx表示线性回归模型在宽方向的截距,Dy表示线性回归模型在高方向的截距;W表示图片的宽度,此处取值为1280,H表示图片的高度,此处取值为960。
具体实施时,所述S4中计算面积基准量的具体方法如下:
利用该N张样本图片上三角警示牌的面积计算三角警示牌面积平均值,将三角警示牌面积平均值作为三角警示牌面积基准量Ss,用该N张样本图片上灭火器的面积计算灭火器面积平均值,将灭火器面积平均值作为灭火器面积基准量Sm。对于分辨率为1280*960的图片,识别三角警示牌的平均面积大小约为10000像素,即三角警示牌的面积基准量Ss=10000,灭火器的平均面积大小约为2000像素,即灭火器的面积基准量Sm=2000;
S5:使用训练好的YOLOv3目标检测模型对待预测图片进行识别,识别后得到一个存有警示标志信息的数组,警示标志信息由警示标志的宽、警示标志的高、警示标志数量和包含警示标志的线框中心四部分组成;
S6:设S5识别的警示标志的数量为I,计算第i个警示标志的面积,确定所述第i个警示标志面积的面积得分;计算第i个警示标志的距离得分;
具体实施时,所述步骤S6计算面积得分的具体方法如下:
通过面积基准量Ss,Sm,计算比例σ=wh/S,σ的比值情况可以有效表示目标大小情况,第i个警示标志为三角警示牌时,S的取值为Ss,第i个警示标志为灭火器时,S的取值为Sm;w表示第i个警示标志的宽度,h表示第i个警示标志的高度;
面积得分的公式定义如下:
s2=σ×γ
其中,s2表示第i个警示标志面积得分;σ表示第i个警示标志与相对应的面积基准量的比值;y表示面积的权重。
其中,在本方法使用的训练样本上:对于三角警告牌,权重取值β=1.5,γ=0.5;对于灭火器,权重取值β=1.6,γ=0.46;一般情况下,距离比面积更能反映出目标的重点程度。
具体实施时,所述步骤S6计算距离得分的具体方法如下:
I)对识别的警示标志进行判断,确定多个警示标志为三角警示牌或是灭火器,这里使用YOLOv3中返回数组会有该目标属于哪个标签类别,因此通过YOLOv3框架能直接获得目标是三角警示牌或者灭火器;
II)通过距离基准量Dw和Dh两者与截距的关系,建立警示标志分布的直线方程DwW×y+DhH×x-DwW×DhH=0;
计算第i个包含警示标志的线框中心到该直线方程的距离d1,再计算检测图片左顶点到该直线方程的距离d2,d2在同样的训练样本下值不变,令τ=d1/d2,其中τ表示d1与d2的比值,无实际物理意义,现实意义为可以有效表示目标点距离直线的远近情况,距离越近,得分越高;
距离得分公式定义如下:
s1=(1-τ)×β
其中,s1表示第i个警示标志距离得分;τ表示d1与d2的比值;β表示距离的权重;
将待预测图片正向放入重点目标分布的直线方程所在坐标系中,待预测图片左侧一个端点与所述坐标系的原点重合,并且待预测图片一条长边沿着Y轴,一条短边沿着X轴,待预测图片左侧的另一端点即为所述待预测图片左顶点;
S7:如果第i个警示标志的面积得分与距离得分之和大于预先设定的阈值,则认为该第i个警示标志是重点目标,执行S8;反之则认为第i个警示标志不是重点目标,并执行S9;
具体实施时,所述S7中的阈值为1.3。
S8:在所述待预测图片中框出第i个警示标志,并打上有警示标志的标签,输出处理后的待预测图片和该待预测图片的日志报告;
S9:所述待预测图片中没有重点目标,输出待预测图片原图和该待预测图片的日志报告。
模型在检测待预测图片后,除了输出处理后的待预测图片或者待预测图片原图以外,还会输出一个json格式的txt结果文件,文件中会对待预测图片有或者无重点目标进行说明;如果图片中有重点目标,重点目标的画框和重点目标的标签会被绘制到图片上并输出,同时说明该重点目标的位置;如果图片中没有重点目标,则不进行绘制操作,直接输出原图。绘制标记时,使用OpenCV的rectangle方法,根据目标框坐标和宽高画框;再通过PIL库的ImageDraw.Draw画笔,使用.text()方法在目标框左上角位置打印标签信息。
实际性能测试结果
为了保证实际使用中CPU的环境也能正常使用本引擎,系统测试在CPU环境下运行。为了展示测试效果,我们将对功能的测试情况进行小结。在此之前,简述使用到的性能指标:召回率(Recall)是针对原来的样本而言,它表示的是样本中的正例有多少被预测正确了;准确率(Precision)是针对预测结果而言,它表示的是预测为正的样本中有多少是真正的正样本。二者可以一定程度上衡量算法的效果。
为了评价算法的效果,单独使用YOLOv3框架输入测试图片进行测试作为算法对比的基线,对测试集500张图片可以得到以下结果:
表1 YOLOv3性能测试结果
可以看出YOLOv3基础检测的效果对于大多数目标能达到很好的效果,对于结果稍微差一些的灭火器来说,原因是因为训练数据的不足,并且识别不出的灭火器几乎都不是中央重点区域的灭火器,而是偶然出现在画面远处的。
对于YOLOv3单模型可以解决的安全警示装置问题,在使用重点目标判断算法后效果显著提升,经过分析,原因在于不可识别的目标常常不是我们需要的中央区域重点目标。具体效果如下表所示:
表2 YOLOv3检测+重点目标判断性能测试结果
由以上测试可以看出,我们的重点目标判断算法对于提高模型识别的准确度有着显著的提升作用。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (6)
1.一种基于空间先验的车辆安全警示装置检测方法,其特征在于:包括如下步骤:
S1:准备检测车辆安全警示装置时拍摄的车辆图片;
S2:从准备好的车辆图片中选出部分图片作为数据集,所述数据集中的每张车辆图片具有相同的宽高比,并且每张车辆图片的拍摄视角相同;
对数据集中车辆图片上的警示标志的位置进行标注,所述警示标志为三角警示牌和灭火器;
对所述每张车辆图片中的三角警示牌进行线框标注,并打上三角警示牌标签,对所述每张车辆图片中的灭火器进行线框标注,并打上灭火器标签;
S3:随机选取数据集中的部分车辆图片作为训练集,将训练集中的所有车辆图片作为YOLOv3目标识别框架的输入,对YOLOv3目标识别框架进行训练,当训练至YOLOv3目标识别框架得到的loss值不再下降时,则停止训练,此时得到训练好的YOLOv3目标检测模型;
S4:从训练集中随机选取N张无背景目标干扰的图片作为样本图片,并将该N张样本图片统一到1280*960大小,随后确定距离基准量和面积基准量;
所述距离基准量包括样本图片宽方向上的距离基准量和高度方向上的距离基准量,通过距离基准量得到警示标志分布的直线方程;
所述面积基准量包括三角警示牌面积基准量Ss和灭火器面积基准量Sm;
S5:使用训练好的YOLOv3目标检测模型对待预测图片进行识别,识别后得到一个存有警示标志信息的数组,警示标志信息由警示标志的宽、警示标志的高、警示标志数量和包含警示标志的线框中心四部分组成;
S6:设S5识别的警示标志的数量为I,计算第i个警示标志的面积,确定所述第i个警示标志面积的面积得分,计算第i个警示标志的距离得分;
S7:如果第i个警示标志的面积得分与距离得分之和大于预先设定的阈值,则认为该第i个警示标志是重点目标,执行S8;反之则认为第i个警示标志不是重点目标,并执行S9;
S8:在所述待预测图片中框出第i个警示标志,并打上有警示标志的标签,输出处理后的待预测图片和该待预测图片的日志报告;
S9:所述待预测图片中没有重点目标,输出待预测图片原图和该待预测图片的日志报告。
2.如权利要求1所述的一种基于空间先验的车辆安全警示装置检测方法,其特征在于:所述S4中计算距离基准量方法如下:
1)获取所述N张样本图片,将所述每张样本图片上包含警示标志的线框中心坐标记为(x,y),所述N个线框的中心坐标作为训练样本;
2)用sklearn中的LinearRegression模块构建线性回归模型,使用训练样本对线性回归模型进行自动迭代训练,训练结束后得到训练好的线性回归模型,并输出线性回归模型在宽方向上的截距Dx和在高方向上的截距Dy;
3)设Dx=DwW,Dy=DhH,其中,Dw表示宽方向上的距离基准量,Dh表示高方向上的距离基准量;Dx表示线性回归模型在宽方向的截距,Dy表示线性回归模型在高方向的截距;W表示样本图片的宽度,H表示样本图片的高度。
3.如权利要求1所述的一种基于空间先验的车辆安全警示装置检测方法,其特征在于:所述S4中计算面积基准量的具体方法如下:
利用该N张样本图片上三角警示牌的面积计算三角警示牌面积平均值,将三角警示牌面积平均值作为三角警示牌面积基准量Ss,用该N张样本图片上灭火器的面积计算灭火器面积平均值,将灭火器面积平均值作为灭火器面积基准量Sm。
4.如权利要求3所述的一种基于空间先验的车辆安全警示装置检测方法,其特征在于:所述步骤S6计算面积得分的具体方法如下:
通过面积基准量Ss,Sm,计算比例σ=wh/S,第i个警示标志为三角警示牌时,S的取值为Ss,第i个警示标志为灭火器时,S的取值为Sm;w表示第i个警示标志的宽度,h表示第i个警示标志的高度;
面积得分的公式定义如下:
s2=σ×γ
其中,s2表示第i个警示标志面积得分;σ表示第i个警示标志与相对应的面积基准量的比值;γ表示面积的权重。
5.如权利要求3所述的一种基于空间先验的车辆安全警示装置检测方法,其特征在于:所述步骤S6计算距离得分的具体方法如下:
Ⅰ)对识别的警示标志进行判断,确定多个警示标志为三角警示牌或是灭火器;
Ⅱ)通过距离基准量Dw和Dh两者与所对应截距的关系,建立警示标志分布的直线方程DwW×y+DhH×x-DwW×DhH=0;
计算第i个包含警示标志的线框中心到该直线方程的距离d1,再计算检测图片左顶点到该直线方程的距离d2,令τ=d1/d2,其中τ表示d1与d2的比值,无实际物理意义;
距离得分公式定义如下:
s1=(1-τ)×β
其中,s1表示第i个警示标志距离得分;τ表示d1与d2的比值;β表示距离的权重。
6.如权利要求4所述的一种基于空间先验的车辆安全警示装置检测方法,其特征在于:所述S7中的阈值为1.3。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110037054.5A CN112686203B (zh) | 2021-01-12 | 2021-01-12 | 一种基于空间先验的车辆安全警示装置检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110037054.5A CN112686203B (zh) | 2021-01-12 | 2021-01-12 | 一种基于空间先验的车辆安全警示装置检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112686203A true CN112686203A (zh) | 2021-04-20 |
CN112686203B CN112686203B (zh) | 2023-10-31 |
Family
ID=75457565
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110037054.5A Active CN112686203B (zh) | 2021-01-12 | 2021-01-12 | 一种基于空间先验的车辆安全警示装置检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112686203B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112894154A (zh) * | 2021-05-07 | 2021-06-04 | 视睿(杭州)信息科技有限公司 | 激光打标方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012249792A (ja) * | 2011-06-02 | 2012-12-20 | Hochiki Corp | 消火栓装置点検システム |
CN104978570A (zh) * | 2015-06-25 | 2015-10-14 | 西北工业大学 | 基于增量学习的行车视频中交通标志的检测和识别方法 |
WO2019192397A1 (zh) * | 2018-04-04 | 2019-10-10 | 华中科技大学 | 一种任意形状的场景文本端到端识别方法 |
CN116503820A (zh) * | 2023-05-24 | 2023-07-28 | 烟台惠通网络科技有限公司 | 一种基于道路车型的检测方法及检测设备 |
-
2021
- 2021-01-12 CN CN202110037054.5A patent/CN112686203B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012249792A (ja) * | 2011-06-02 | 2012-12-20 | Hochiki Corp | 消火栓装置点検システム |
CN104978570A (zh) * | 2015-06-25 | 2015-10-14 | 西北工业大学 | 基于增量学习的行车视频中交通标志的检测和识别方法 |
WO2019192397A1 (zh) * | 2018-04-04 | 2019-10-10 | 华中科技大学 | 一种任意形状的场景文本端到端识别方法 |
CN116503820A (zh) * | 2023-05-24 | 2023-07-28 | 烟台惠通网络科技有限公司 | 一种基于道路车型的检测方法及检测设备 |
Non-Patent Citations (3)
Title |
---|
HAO YUAN: "Vehicle Detection Based on Area and Proportion Prior with Faster-RCNN", 《SENSOR NETWORKS AND SIGNAL PROCESSING》 * |
王萍萍;仇润鹤;: "基于YOLOv3的车辆多目标检测", 科技与创新, no. 03 * |
黄晟: "图像特征提取与分类超图的学习算法研究", 《博士电子期刊》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112894154A (zh) * | 2021-05-07 | 2021-06-04 | 视睿(杭州)信息科技有限公司 | 激光打标方法及装置 |
CN112894154B (zh) * | 2021-05-07 | 2021-09-03 | 视睿(杭州)信息科技有限公司 | 激光打标方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112686203B (zh) | 2023-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111523464A (zh) | 车辆违法变道的检测方法和装置 | |
CN109142383B (zh) | 一种基于形态学的字符缺陷检测方法 | |
TWI716012B (zh) | 樣本標註方法、裝置、儲存媒體和計算設備、損傷類別的識別方法及裝置 | |
CN110135396B (zh) | 地面标志的识别方法、装置、设备及介质 | |
CN110751012B (zh) | 目标检测评估方法、装置、电子设备及存储介质 | |
CN112562406B (zh) | 一种越线行驶的识别方法及装置 | |
CN112686322A (zh) | 零件差异识别方法、装置、设备及存储介质 | |
CN112200776A (zh) | 芯片封装缺陷检测方法和检测装置 | |
CN110111018B (zh) | 评估车辆感测能力的方法、装置、电子设备及存储介质 | |
CN115995056A (zh) | 一种基于深度学习的桥梁病害自动识别方法 | |
CN111091104A (zh) | 一种目标物体的防护检测方法、装置、设备及存储介质 | |
CN116964588A (zh) | 一种目标检测方法、目标检测模型训练方法及装置 | |
CN112686203A (zh) | 一种基于空间先验的车辆安全警示装置检测方法 | |
CN114359865A (zh) | 一种障碍物的检测方法及相关装置 | |
CN111950546B (zh) | 一种车牌识别方法、装置、计算机设备和存储介质 | |
CN113205511B (zh) | 基于深层神经网络的电子元器件批量信息检测方法及系统 | |
CN114565780A (zh) | 一种目标识别方法、装置、电子设备及存储介质 | |
CN113902740A (zh) | 图像模糊程度评价模型的构建方法 | |
CN112794274A (zh) | 一种油罐车底部装油口安全监控方法及系统 | |
CN115810132B (zh) | 一种裂缝朝向识别方法、装置、设备及存储介质 | |
CN115631169A (zh) | 产品检测方法、装置、电子设备及存储介质 | |
CN114693722B (zh) | 一种车辆行驶行为检测方法、检测装置及检测设备 | |
CN114926817B (zh) | 识别车位的方法、装置、电子设备和计算机可读存储介质 | |
CN113408499B (zh) | 双网络模型的联合评估方法、设备和存储介质 | |
CN116128853A (zh) | 一种产线装配检测方法、系统、计算机及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |