CN114120246B - 一种基于复杂环境的前方车辆检测算法 - Google Patents
一种基于复杂环境的前方车辆检测算法 Download PDFInfo
- Publication number
- CN114120246B CN114120246B CN202111185710.2A CN202111185710A CN114120246B CN 114120246 B CN114120246 B CN 114120246B CN 202111185710 A CN202111185710 A CN 202111185710A CN 114120246 B CN114120246 B CN 114120246B
- Authority
- CN
- China
- Prior art keywords
- layer
- feature
- mask
- network
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 105
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 239000010410 layer Substances 0.000 claims description 81
- 238000000034 method Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 239000011229 interlayer Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 5
- 206010039203 Road traffic accident Diseases 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 17
- 238000011161 development Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于复杂环境的前方车辆检测算法,包括以下步骤:改进SSD网络模型、加入加权Mask和添加排斥损失。本发明的有益效果是:通过SSD网络模型可以对网络中的隐藏层进行最大程度地特征提取,有助于增强模型在复杂环境下对小尺度车辆目标的特征提取能力;通过加权Mask有助于解决背景与正负样本数据不平衡的问题,使网络模型的训练速度进一步加快;通过排斥损失增大检测框与周围非车辆目标之间的距离,可以防止检测框移向相邻的非车辆目标,有助于对车辆目标进行准确定位,有效提高网络模型对目标密集场景中重叠目标的检测性能;抗干扰能力强,具有准确性和实时性,有利于降低交通事故发生率和充分保护人们的生命财产安全。
Description
技术领域
本发明涉及车辆检测技术领域,具体为一种基于复杂环境的前方车辆检测算法。
背景技术
随着全球经济的快速发展和人们生活水平的逐步提高,汽车因其给人类带来巨大交通便利已经成为众多家庭不可或缺的常用交通工具。然而,汽车保有量的持续增长也引发了一系列不可忽视的交通安全问题,严重影响了人们的生活质量和阻碍社会的进一步发展。研究表明,在突发事件中如果能够提前1秒提醒驾驶员采取有效的驾驶操纵,则可以避免90%的道路交通事故。随着现代信息技术和汽车科技的蓬勃发展,越来越多的专家学者把研究目光投向智能汽车,智能汽车可以根据实时路况辅助甚至完全代替驾驶员完成主要的驾驶操纵,成为消除交通安全隐患的重要途径。车辆检测是智能汽车发展过程中的重要基础,能否对前方车辆进行准确检测关系到智能汽车能否安全稳定地运行。智能汽车采用车载摄像机实时获取真实存在的道路交通信息,然后利用车辆检测技术对前方车辆目标进行有效检测,通过对驾驶员进行及时高效反馈,使行驶车辆实现车距保持、安全变道和碰撞预警等重要功能,有利于防止重大交通事故的发生和充分保护人类的生命财产安全。因此,对其进行深入研究意义非凡。
前方车辆是实际行车环境中最为主要的道路障碍物,而车辆检测是指从采集到的检测图像或视频序列中自动检测出前方车辆,并对其具体位置进行精确定位。在实际道路场景中,恶劣的天气条件、复杂的交通环境、不同程度的物体遮挡以及不同车辆的特征差异,使车辆检测成为一个极具挑战性的任务。随着智能交通系统和计算机视觉技术的发展提升,各国专家学者围绕车辆检测的研究呈现出百花齐放的发展态势。根据不同的检测原理,车辆检测研究方法主要分为三种,包括基于特征的检测方法、基于传统机器学习的检测方法和基于深度学习的检测方法。基于特征的检测方法主要根据前方车辆的外观显著特征来实现车辆检测,常见的外观显著特征包括车辆的颜色特征、边缘特征、对称性特征和底部阴影特征等。基于传统机器学习的车辆检测方法不需要依赖车辆目标的先验知识,但仍需要借助人工设计的图像特征,并不能良好地应用于多工况多目标的车辆检测,泛化能力较差。
近几年,随着人工智能技术和深度学习算法的飞速发展,以卷积神经网络为代表的深度学习已经成为机器学习的新兴发展方向,在图像分类、语音识别和自然语言处理领域取得了卓有成效的应用成果。基于深度学习的车辆检测方法主要采用深度卷积神经网络自动提取车辆目标特征,经分类后最终完成车辆检测任务。近年来,基于深度学习的研究方法主要分为两类,包括两阶段检测法和一阶段检测法。以R-CNN、Fast R-CNN和Faster R-CNN等为代表的两阶段检测网络,获得的检测精度较高,而基于区域建议的算法往往复杂度较高,计算时间较长,并不能满足在实际道路场景中进行车辆检测的实时性需求。以YOLO、YOLOv2和SSD等为代表的一阶段检测网络,虽然检测速度得到显著提升,但检测精度却不如两阶段检测网络。总的来说,众多研究方法围绕车辆检测技术都取得了可观的研究成果,然而基于深度学习的车辆检测方法容易顾此失彼,还不能同时获得良好的检测精度和检测速度,仍需进一步改善提升。
发明内容
本发明的目的在于提供一种基于复杂环境的前方车辆检测算法,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一种基于复杂环境的前方车辆检测算法,包括以下步骤:
步骤一、改进SSD网络模型,通过对神经网络进行扩展和加深,结合Inceptionblock和特征融合对SSD网络模型的基本结构进行改进;
步骤二、加入加权Mask,通过在采用数据集进行训练时计算实现样本分类和回归任务;
步骤三、添加排斥损失,所述改进的损失函数是在原有位置损失和置信度损失的基础上,添加一项排斥损失。
进一步优选,所述步骤一具体为:
首先,在SSD的基础网络中添加4组Inception block,对网络的局部特征进行有效提取;
其次,新建Interp层,通过双线性插值的方式分别对Conv7层和Conv8_2层进行特征层尺度转换,输出尺度均为38x38,使其与Con4_3层的尺度大小相同;
再次,新建Concat层,通过Concatenation操作将Con4_3层、Conv7层和Conv8_2层组合成一个新的特征层,实现特征融合;
然后,以Feature_1为基础层,采用大小为3x3的卷积核逐层减小网络的特征层尺度,生成五个不同尺度的特征层;
最后,新建Concat层,通过Concatenation操作将尺度对应相同的五组特征层进行逐一融合,依次构成Feature_2、Feature_3、Feature_4、Feature_5和Feature_6,并与Feature_1以特征金字塔的形式共同构建新的多尺度特征提取网络。
进一步优选,所述特征层包含上下文信息,经BN处理后作为Feature_1构建新的多尺度特征提取网络。
进一步优选,所述Inception block的内部结构采用大小为5x5、3x3和1x1三种不同尺度的卷积核对输入特征进行卷积操作,并采用串联的两层3x3卷积层代替5x5卷积层。
进一步优选,所述5x5、3x3和1x1卷积核的个数之比为1:2:1,所述5x5和3x3卷积核所对应的卷积层的前端均设有1x1卷积核对应的卷积层。
进一步优选,所述Inception block内部结构末端的Concat层后设有两层1x1卷积核对应的卷积层。
进一步优选,所述步骤二的加权Mask的计算方式如下:
(1)当存在K个检测框时,正样本数量为N,负样本数量为M,K=N+M,设定分类标签Label;
(2)当N>0,设定用于正样本分类的加权Mask为:
Pos_Mask=Label/N;
(3)当M>0,且设定的正负样本的比例控制为1:3时,设定用于负样本分类的加权Mask为:
Neg_Mask={1-Label}/M×3;
(4)因此,用于分类任务的加权Mask为:
Cls_Mask=Pos_Mask+Neg_Mask;
(5)假设回归任务的权重系数为alpha,则用于回归任务的加权Mask为:
Neg_Mask=Pos_Mask×alpha。
进一步优选,所述步骤三的排斥损失的损失函数公式为:
L=L(x,c,l,g)+γLRepGT,
其中,所述LRepGT为排斥损失,所述γ为权重系数;
设P+={P},表示与真实框IoU大于0.5的所有候选框的集合,设G+={G},表示所有真实框的集合;对于任意一个候选框P∈P+,令与其IoU最大的真实框作为它的指定目标,即:
由于排斥损失旨在使候选框与除它指定目标以外的相邻真实框产生排斥,因此,对于任意一个候选框P∈P+,它的排斥目标为除指定目标以外,与其IoU最大的那个真实框,即:
设BP为候选框P回归出的检测框,则BP与之间的重叠IoG用以下公式进行表示:
因此,所述排斥损失通过以下公式计算:
进一步优选,所述SSD网络模型包含基础网络、特征提取网络和检测网络,所述SSD网络模型为采用多任务的损失函数,包含定位误差和置信度误差。
有益效果:本发明的基于复杂环境的前方车辆检测算法,通过SSD网络模型可以对网络中的隐藏层进行最大程度地特征提取,充分共享上下文信息,有助于增强模型在复杂环境下对小尺度车辆目标的特征提取能力;通过加权Mask,使训练网络更加关注分类难度高的样本数据,有助于解决背景与正负样本数据不平衡的问题,使网络模型的训练速度进一步加快;通过排斥损失增大检测框与周围非车辆目标之间的距离,可以防止检测框移向相邻的非车辆目标,有助于对车辆目标进行准确定位,有效提高网络模型对目标密集场景中重叠目标的检测性能;能够适应不同的天气状况,抗干扰能力强,可以良好地应用于智能汽车的前方车辆检测中;具有准确性和实时性,有利于保障智能汽车在实际道路场景中准确高效地运行,从而有利于大大降低交通事故发生率和充分保护人们的生命财产安全。
附图说明
图1为本发明实施例所公开的改进的SSD网络模型的基本结构示意图;
图2为本发明实施例所公开的Inception block的内部结构示意图;
图3为本发明实施例所公开的SSD网络模型改进前后的损失函数变化曲线图;
图4为本发明实施例所公开的车辆检测算法的检测结果的混淆矩阵图;
图5为本发明实施例所公开的SSD网络模型改进前后Precision-Recall曲线图。
具体实施方式
以下是本发明的具体实施例并结合附图,对本发明的技术方案作进一步的描述,但本发明并不限于这些实施例。
如图1-2所示,一种基于复杂环境的前方车辆检测算法,包括以下步骤:
步骤一、改进SSD网络模型,通过对神经网络进行扩展和加深,结合Inceptionblock和特征融合对SSD网络模型的基本结构进行改进,具体地:
首先,在SSD的基础网络中添加4组Inception block,对网络的局部特征进行有效提取;
其次,新建Interp层,通过双线性插值的方式分别对Conv7层和Conv8_2层进行特征层尺度转换,输出尺度均为38x38,使其与Con4_3层的尺度大小相同;
再次,新建Concat层,通过Concatenation操作将Con4_3层、Conv7层和Conv8_2层组合成一个新的特征层,实现特征融合;
然后,以Feature_1为基础层,采用大小为3x3的卷积核逐层减小网络的特征层尺度,生成五个不同尺度的特征层;
最后,新建Concat层,通过Concatenation操作将尺度对应相同的五组特征层进行逐一融合,依次构成Feature_2、Feature_3、Feature_4、Feature_5和Feature_6,并与Feature_1以特征金字塔的形式共同构建新的多尺度特征提取网络;
步骤二、加入加权Mask,通过在采用数据集进行训练时计算实现样本分类和回归任务,所述加权Mask的计算方式如下:
(1)当存在K个检测框时,正样本数量为N,负样本数量为M,K=N+M,设定分类标签Label;
(2)当N>0,设定用于正样本分类的加权Mask为:
Pos_Mask=Label/N;
(3)当M>0,且设定的正负样本的比例控制为1:3时,设定用于负样本分类的加权Mask为:
Neg_Mask={1-Label}/M×3;
(4)因此,用于分类任务的加权Mask为:
Cls_Mask=Pos_Mask+Neg_Mask;
(5)假设回归任务的权重系数为alpha,则用于回归任务的加权Mask为:
Neg_Mask=Pos_Mask×alpha;
步骤三、添加排斥损失,所述改进的损失函数是在原有位置损失和置信度损失的基础上,添加一项排斥损失,所述排斥损失的损失函数公式为:
L=L(x,c,l,g)+γLRepGT,
其中,所述LRepGT为排斥损失,所述γ为权重系数;
设P+={P},表示与真实框IoU大于0.5的所有候选框的集合,设G+={G},表示所有真实框的集合;对于任意一个候选框P∈P+,令与其IoU最大的真实框作为它的指定目标,即:
由于排斥损失旨在使候选框与除它指定目标以外的相邻真实框产生排斥,因此,对于任意一个候选框P∈P+,它的排斥目标为除指定目标以外,与其IoU最大的那个真实框,即:
设BP为候选框P回归出的检测框,则BP与之间的重叠IoG用以下公式进行表示:
因此,所述排斥损失通过以下公式计算:
在本申请中,通过采用Inception block和特征融合,所述SSD网络模型可以对网络中的隐藏层进行最大程度地特征提取,充分共享上下文信息,有助于增强模型在复杂环境下对小尺度车辆目标的特征提取能力。改进的SSD网络模型虽然增加了结构复杂度和参数量,但是由于特征层尺度均保持在较小范围下,且多次采用BN处理等操作,可以保证模型在提高特征提取水平的同时,仍然具有较快的网络训练速度和良好的实时检测性能。在网络训练过程中采用加权Mask,使训练网络更加关注分类难度高的样本数据,有助于解决背景与正负样本数据不平衡的问题,使网络模型的训练速度进一步加快。所述排斥损失用于增大检测框与周围非车辆目标之间的距离,如果与周围非车辆目标有重叠区域,检测框会受到额外的惩罚,重叠区域越大,惩罚越大,反之亦然。因此,在原有损失函数的基础上添加排斥损失,可以防止检测框移向相邻的非车辆目标,有助于对车辆目标进行准确定位,有效提高网络模型对目标密集场景中重叠目标的检测性能。
优选的,所述Inception block的内部结构采用大小为5x5、3x3和1x1三种不同尺度的卷积核对输入特征进行卷积操作,并采用串联的两层3x3卷积层代替5x5卷积层。,所述Inception block的结构设计,可以在保持原有网络模型感受不变的同时进一步减少模型的参数量,通过引入更多的非线性变换,有助于提高Inception block的特征提取能力。
优选的,所述5x5、3x3和1x1卷积核的个数之比为1:2:1,所述5x5和3x3卷积核所对应的卷积层的前端均设有1x1卷积核对应的卷积层,有利于减少输入特征通道数,大大降低整体计算量。
优选的,所述Inception block内部结构末端的Concat层后设有两层1x1卷积核对应的卷积层,进一步增强Inception block的非线性计算能力。
优选的,所述SSD网络模型包含基础网络、特征提取网络和检测网络,所述SSD网络模型为采用多任务的损失函数,包含定位误差和置信度误差。
在本申请中,所述基础网络是在VGG16基础上改进的,考虑到全连接层会干扰特征的位置信息,将最后两个全连接层FC6和FC7,替换为卷积层Conv6和Conv7。然后继续添加Conv8、Conv9、Conv10和Conv11四组卷积层,在每层中均利用1×1大小的卷积核进行降维,利用3×3卷积核进行特征提取;同时,将Conv4_3和Conv7特征图与Conv8_2、Conv9_2、Conv10_2和Conv11_2特征图依次组合在一起,以特征金字塔的形式组成多尺度的特征提取网络;最后在检测网络中对每一个特征图分别采用两个3×3卷积核进行卷积操作,一个输出类别置信度,另一个输出用于回归的目标位置信息。将全部的计算结果进行合并并传递至损失层,利用非极大值抑制算法输出最后的检测结果。
所述SSD网络模型采用多任务的损失函数,主要包括定位误差和置信度误差,总的损失函数等于位置损失和置信度损失的加权和,可用以下公式进行表
式中,l表示检测框;g表示真实框;c表示多类别目标的置信度;N表示检测框中的正样本数量,即能够与真实框有效匹配的检测框数量;Lconf为置信度损失;Lloc为位置损失;α为位置损失与置信度损失权重系数,通过交叉验证设为1。
所述位置损失是通过计算检测框与真实框之间的Smooth L1损失得到的,对边界框的坐标中心点(x,y)、宽度w和高度h存在的偏移进行回归,以获得位置损失的最小值,其公式如下:
式中,Pos表示全部正样本的集合;表示第i个检测框所预测的目标类别k与第j个真实框的分类标签是否一致,如果一致为1,否则为0;/>表示第i个检测框的坐标;/>表示第j个真实框的相关坐标,则:
式中,表示第j个真实框的坐标中心点(x,y);/>和/>表示第j个真实框的宽度和高度;/>和/>表示第i个检测框的坐标中心点(x,y);/>和/>表示第i个检测框的宽度和高度。
所述置信度损失是通过计算多类别目标置信度的Softmax损失得到的,其公式表示为:
式中,p表示目标类别;表示第i个检测框所预测的目标类别p与第j个真实框的分类标签是否一致;/>表示第i个检测框所预测的目标类别为p的概率,如果匹配正确,概率越大,损失越小;/>表示第i个检测框所预测的目标类别为背景的概率,如果检测框中无目标,概率越大,损失越小。
本申请中,采用KITTI数据集进行车辆检测算法实验,数据集中有7481张样本图像具有对应的标签文件,划分5985张图像作为训练集,1496图像作为测试集,训练集与测试集的比例为4:1。根据标注信息的物体分类,样本图像可以分为Car、Van、Truck、Pedestrian,Pedestrian(sitting)、Cyclist、Tram以及Misc or DontCare等8类。在数据准备过程中,将全部标签文件进行格式转换,使其由txt格式转换为SSD训练所需的XML格式,另外,由于重点对车辆目标进行检测,本申请中只保留Car、Van、Truck和Tram等类别,剔除掉其他的无关类别。
采用随机梯度下降法进行优化求解,利用反向传播算法不断更新训练网络的权重参数,初始学习率设置为0.001,动量因子设置为0.9,权重衰减因子设置为0.0005。学习率的大小与训练网络收敛速度密切相关,训练网络最大迭代次数为20000次,前12000次学习率设置为0.001,12000次至16000次学习率设置为0.0001,16000次以后学习率设置为0.00001。另外,对损失函数采用L2正则化,防止过于学习训练集特征,避免过拟合现象的发生。SSD改进前后的损失函数变化曲线。
如图3所示,在训练起始阶段,改进SSD的损失函数比原始SSD稍微大一些,随着训练网络的不断迭代,改进SSD的损失函数值很快低于原始SSD的损失函数值,具有更快的收敛速度,最后逐渐下降至0,体现出采用加权Mask的优势。其中,当迭代次数为3400时,两者之间的损失函数差值达到最大,当达到最大迭代次数20000时,两者之间的损失函数差值达到最小。总之,改进后的SSD网络模型进一步提高了收敛速度,表明样本数据平衡的问题得到了有效解决。
如图4所示,在车辆检测算法中,需要采用评价指标对检测性能进行准确评估,检测图像中包括正样本和负样本,检测结果存在四种预测情况,根据混淆矩阵,可以计算精确率(Precision)、召回率(Recall)和均值平均精度(mAP)等评价指标。
在本申请中,精确率(Precision)是指所有检测结果为车辆目标的样本被正确检测的比例,用公式可表示为:
召回率(Recall)是指车辆目标被正确检测的比例,用公式可表示为:
均值平均精度(mAP)是指所有类别目标平均精度的平均值,是目标检测算法最重要的评价指标之一,用公式可表示为:
式中,N为所有类别目标的个数。
如图5所示,本申请中SSD改进前后的Precision-Recall曲线以Recall和Precision分别作为曲线的横坐标和纵坐标,改进SSD的P-R曲线比原始SSD的更偏向右上角,表明改进SSD的检测性能优于后者。当Recall为90%时,改进SSD的Precision为70%,而原始SSD的Precision则为50%,同时改进SSD的P-R曲线与坐标轴围成的面积也大于原始SSD,表明改进SSD在平均检测精度方面具有明显的优势。
车辆检测算法测试结果表明,在多种复杂环境下,本申请中所述的前方车辆检测算法对于不同的道路场景和交通状况具有良好的鲁棒性和环境适应性。改进的SSD良好地解决了原始SSD应用于车辆检测时存在的各种不足之处,检测精度得到进一步提升,在前方车辆目标检测中体现出良好的性能优势。在同种天气状况下,改进SSD网络模型的车辆检测精度均大于原始的网络模型。其中,在原始的mAP中,晴天中的检测精度最高,达到了91.56%,轻度雾霾天中的检测精度最低,达到了80.21%;在改进的mAP中,晴天中的检测精度最高,达到了95.78%,轻度雾霾天中的检测精度最低,达到了85.10%。总的来说,原始的SSD网络模型对于车辆目标的平均检测精度为86.70%,改进的网络模型对于车辆目标的平均检测精度为91.76%。测试结果表明,天气能见度越高,车辆检测精度越高,反之亦然。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明性的保护范围之内的发明内容。
Claims (6)
1.一种基于复杂环境的前方车辆检测算法,其特征在于,包括以下步骤:
步骤一、改进SSD网络模型,通过对神经网络进行扩展和加深,结合Inception block和特征融合对SSD网络模型的基本结构进行改进;其改进的方法为:
首先,在SSD的基础网络中添加4组Inception block,对网络的局部特征进行有效提取;
其次,新建Interp层,通过双线性插值的方式分别对Conv7层和Conv8_2层进行特征层尺度转换,输出尺度均为38x38,使其与Con4_3层的尺度大小相同;
再次,新建Concat层,通过Concatenation操作将Con4_3层、Conv7层和Conv8_2层组合成一个新的特征层,实现特征融合;
然后,以Feature_1为基础层,采用大小为3x3的卷积核逐层减小网络的特征层尺度,生成五个不同尺度的特征层;
最后,新建Concat层,通过Concatenation操作将尺度对应相同的五组特征层进行逐一融合,依次构成Feature_2、Feature_3、Feature_4、Feature_5和Feature_6,并与Feature_1以特征金字塔的形式共同构建新的多尺度特征提取网络;
步骤二、加入加权Mask,通过在采用数据集进行训练时计算实现样本分类和回归任务;所述加权Mask的计算方式如下:
(1)当存在K个检测框时,正样本数量为N,负样本数量为M,K=N+M,设定分类标签为Label;
(2)当N>0,设定用于正样本分类的加权Mask为:
Pos_Mask=Label/N;
(3)当M>0,且设定的正负样本的比例控制为1:3时,设定用于负样本分类的加权Mask为:
Neg_Mask={1-Label}/M×3;
(4)因此,用于分类任务的加权Mask为:
Cls_Mask=Pos_Mask+Neg_Mask;
(5)假设回归任务的权重系数为alpha,则用于回归任务的加权Mask为:
Neg_Mask=Pos_Mask×alpha;
步骤三、添加排斥损失,改进的损失函数是在原有位置损失和置信度损失的基础上,添加一项排斥损失;所述排斥损失的损失函数公式为:
L=L(x,c,l,g)+γLRepGT,
其中,所述LRepGT为排斥损失函数,所述γ为权重系数;l表示检测框大小;g表示真实框大小;c表示多类别目标的置信度;x表示预测框中的横坐标,L(x,c,l,g)表示与x,c,l,g有关的损失函数;
设P+={P},表示与真实框IoU大于0.5的所有候选框的集合,设G+={G},表示所有真实框的集合;对于任意一个候选框P∈P+,令与其IoU最大的真实框作为它的指定目标,即:
其中,G表示所有的真实框集合,P表示预测框与真实框IoU(交并比)大于0.5的候选框集合;
由于排斥损失旨在使候选框与除它指定目标以外的相邻真实框产生排斥,因此,对于任意一个候选框P∈P+,它的排斥目标为除指定目标以外,与其IoU最大的那个真实框,即:
其中,表示G和P集合中能使IoU(交并比)最大的变量G和P的值;
设BP为候选框P回归出的检测框,则BP与之间的重叠IoG用以下公式进行表示:
因此,所述排斥损失通过以下公式计算:
2.根据权利要求1所述的一种基于复杂环境的前方车辆检测算法,其特征在于:所述特征层包含上下文信息,经BN处理后作为Feature_1构建新的多尺度特征提取网络。
3.根据权利要求1所述的一种基于复杂环境的前方车辆检测算法,其特征在于:所述Inception block的内部结构采用大小为5x5、3x3和1x1三种不同尺度的卷积核对输入特征进行卷积操作,并采用串联的两层3x3卷积层代替5x5卷积层。
4.根据权利要求3所述的一种基于复杂环境的前方车辆检测算法,其特征在于:所述5x5、3x3和1x1卷积核的个数之比为1:2:1,所述5x5和3x3卷积核所对应的卷积层的前端均设有1x1卷积核对应的卷积层。
5.根据权利要求3所述的一种基于复杂环境的前方车辆检测算法,其特征在于:所述Inception block内部结构末端的Concat层后设有两层1x1卷积核对应的卷积层。
6.根据权利要求1所述的一种基于复杂环境的前方车辆检测算法,其特征在于:所述SSD网络模型包含基础网络、特征提取网络和检测网络,所述SSD网络模型为采用多任务的损失函数,包含定位误差和置信度误差。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111185710.2A CN114120246B (zh) | 2021-10-12 | 2021-10-12 | 一种基于复杂环境的前方车辆检测算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111185710.2A CN114120246B (zh) | 2021-10-12 | 2021-10-12 | 一种基于复杂环境的前方车辆检测算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114120246A CN114120246A (zh) | 2022-03-01 |
CN114120246B true CN114120246B (zh) | 2024-04-16 |
Family
ID=80441748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111185710.2A Active CN114120246B (zh) | 2021-10-12 | 2021-10-12 | 一种基于复杂环境的前方车辆检测算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114120246B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115147796A (zh) * | 2022-07-14 | 2022-10-04 | 小米汽车科技有限公司 | 评测目标识别算法的方法、装置、存储介质及车辆 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108830188A (zh) * | 2018-05-30 | 2018-11-16 | 西安理工大学 | 基于深度学习的车辆检测方法 |
CN110717387A (zh) * | 2019-09-02 | 2020-01-21 | 东南大学 | 一种基于无人机平台的实时车辆检测方法 |
CN111461083A (zh) * | 2020-05-26 | 2020-07-28 | 青岛大学 | 基于深度学习的快速车辆检测方法 |
WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
-
2021
- 2021-10-12 CN CN202111185710.2A patent/CN114120246B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108830188A (zh) * | 2018-05-30 | 2018-11-16 | 西安理工大学 | 基于深度学习的车辆检测方法 |
WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
CN110717387A (zh) * | 2019-09-02 | 2020-01-21 | 东南大学 | 一种基于无人机平台的实时车辆检测方法 |
CN111461083A (zh) * | 2020-05-26 | 2020-07-28 | 青岛大学 | 基于深度学习的快速车辆检测方法 |
Non-Patent Citations (1)
Title |
---|
基于Inception-SSD算法的零件识别;余永维;韩鑫;杜柳青;;光学精密工程;20200814(第08期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114120246A (zh) | 2022-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ni et al. | An improved deep network-based scene classification method for self-driving cars | |
CN107886073B (zh) | 一种基于卷积神经网络的细粒度车辆多属性识别方法 | |
CN111460919B (zh) | 一种基于改进YOLOv3的单目视觉道路目标检测及距离估计方法 | |
CN112949633B (zh) | 一种基于改进YOLOv3的红外目标检测方法 | |
CN112633176B (zh) | 一种基于深度学习的轨道交通障碍物检测方法 | |
CN111401148A (zh) | 一种基于改进的多级YOLOv3的道路多目标检测方法 | |
CN107729801A (zh) | 一种基于多任务深度卷积神经网络的车辆颜色识别系统 | |
CN113420607A (zh) | 无人机多尺度目标检测识别方法 | |
CN113920499A (zh) | 一种面向复杂交通场景的激光点云三维目标检测模型及方法 | |
Yonetsu et al. | Two-stage YOLOv2 for accurate license-plate detection in complex scenes | |
CN107985189A (zh) | 面向高速驾驶环境下的驾驶员变道深度预警方法 | |
CN108960074B (zh) | 基于深度学习的小尺寸行人目标检测方法 | |
CN112990065A (zh) | 一种基于优化的YOLOv5模型的车辆分类检测方法 | |
CN114973199A (zh) | 一种基于卷积神经网络的轨道交通列车障碍物检测方法 | |
Wu et al. | Vehicle detection based on adaptive multi-modal feature fusion and cross-modal vehicle index using RGB-T images | |
CN116630702A (zh) | 一种基于语义分割网络的路面附着系数预测方法 | |
Yan et al. | A traffic sign recognition method under complex illumination conditions | |
CN115909245A (zh) | 一种基于深度学习的视觉多任务处理方法 | |
CN118155183A (zh) | 一种深度多模态感知的非结构化场景自动驾驶网络架构方法 | |
CN114120246B (zh) | 一种基于复杂环境的前方车辆检测算法 | |
CN106529391B (zh) | 一种鲁棒的限速交通标志检测与识别方法 | |
Kim | Deep learning-based vehicle type and color classification to support safe autonomous driving | |
Juyal et al. | Object Classification Using A rtificial I ntelligence Technique sin Autonomous Vehicles | |
CN117475142A (zh) | 面向自动驾驶基于ViT的毫米波雷达点云分割方法 | |
CN110555425A (zh) | 一种视频流实时行人检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |