CN111008608A - 一种基于深度学习的夜间车辆检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的夜间车辆检测方法，包括以下步骤：(1)在训练阶段，对训练数据集进行增广，然后将增广后的数据集输入到两种神经网络中，分别得到模型M1和M3，同时将未增强的原始数据集继续用来训练两种神经网络中的一种得到模型M2，本发明提供了一种基于深度学习的夜间车辆检测方法，为避免低光照场景下车辆检测的局限，解决了部分特征不易提取；其他光源的干扰导致目标与背景区分不明显；拍摄设备曝光不均匀导致一些细节信息丢失的问题。

Description

一种基于深度学习的夜间车辆检测方法

技术领域：

本发明属于计算机视觉的目标检测技术领域，涉及一种基于深度学习的夜间车辆检测的方法，特别涉及一种将YOLOv3和FasterR-CNN进行多模型融合的目标检测方法。

背景技术：

智能交通系统中的智能驾驶技术在近年来得以蓬勃发展。车辆的检测是智能驾驶环境感知的重要组成部分。大约三分之一的交通事故是由于车辆追尾造成的，其中夜间的交通事故率比白天高大约1-1.5倍。而过去关于车辆检测的研究主要侧重于光照条件良好的场景。因此，利用深度学习的方法来实现对夜间车辆的检测是智能驾驶中的关键技术。

目前，特征—分类器的组合方法是车辆检测领域常用的方法。比如HOG特征和SVM分类器组合以及Haar-like特征和Adaboost分类器组合是使用频率比较高的检测框架。然而对于夜间的特殊场景,这类目标检测方法的召回率和鲁棒性并不理想。这主要是因为(1)物体在低光照场景下部分特征会被隐藏导致不易提取；(2)由于其他光源的干扰，目标与背景在颜色、边缘和纹理上区分不明显导致误检；(3)拍摄设备本身的缺陷，如曝光不均匀，会导致目标的一些细节信息丢失。

发明内容：

本发明的目的是克服现有技术在夜间车辆检测领域存在的缺陷而提供一种基于深度学习的夜间车辆检测的方法，为了实现本发明的目的，通过以下技术方案来实现：

一种基于深度学习的夜间车辆检测方法，包括以下步骤：

(1)在训练阶段，对训练数据集进行增广，然后将增广后的数据集输入到两种神经网络中，分别得到模型M1和M3，同时将未增强的原始数据集继续用来训练两种神经网络中的一种得到模型M2；

(2)利用适用于低光照环境下的图像增强算法对测试数据集进行预处理；

(3)在检测阶段，将(2)中预处理后的测试数据集输入到(1)中三个训练好的模型中，利用一种结合算法将三个模型结合成一个集成的强检测模型，最后输出初步检测结果；

(4)根据置信度和交并比(IoU，Intersection over Union)对(3)中输出的结果进行打分，利用Soft-NMS算法去除上述初步检测结果中的冗余的检测框。

在优选的实施方案中，步骤(1)中的数据集增广采用了两种夜间图像增强算法，在模型训练时还对图片进行了不同角度的翻转以及根据HSV颜色模型对亮度、色度和饱和度等进行调节来增加样本的多样性。

在优选的实施方案中，两种神经网络采用的是YOLOv3和Faster R-CNN，增强后的数据集分别用来训练YOLOv3和Faster R-CNN得到模型M1和M3，原始数据集用来训练YOLOv3得到模型M2。

在优选的实施方案中，步骤(2)中用于数据预处理的图像增强算法采用的是BIMEF，所述的步骤(3)中的结合算法具体包含以下步骤：

(3.1)将图片同时输入到三个训练好的预测模型M1、M2、M3中，对于每张图片，三个模型会分别输出若干个预测的目标车辆信息分别记为D1、D2、D3信息，输出的每个车辆信息包括预测的置信度P和车辆的坐标信息C。

(3.2)设置一个较高的置信度阈值α，对于D1、D2、D3中预测的置信度P，如果存在P<α，则认为预测到的目标车辆是误检，将其从对应的D1、D2、D3中去除掉，D1、D2、D3经过此条件过滤后的结果拥有更高的准确度，并分别记为R1、R2、R3。

(3.3)R1和R2中的若干个预测目标的坐标信息分别记为X1,X2,…,Xi,…和Y1,Y2,…,Yi,…，然后计算X1与Y1的IoU，记X1与Y1的IoU为k1，设置一个较大的IoU阈值I，如果k1小于I，则继续计算X1与Y2的IoU记为k2，同样地k2与I进行比较，依次进行下去计算ki，一旦发现ki>I，立即终止X1与剩下Y的IoU计算，此时认为X1与Yi对应的目标大概率为预测的同一、真实的目标，此时，将X1对应的目标信息输入到R1和R2合并后的结果R1-2中，同时从R2中去除掉Yi对应的目标，在上述的比较过程中，如果X1穷尽所有与Y1(Y2,…,Yi,…)的IoU计算发现k值均小于I，则认为X1对应的目标大概率为误检，此时开始新一轮X2与Y1,Y2,…,Yi,…的IoU计算和比较，依次进行下去，直到比较完最后一个X，最后得到R1和R2合并后的结果R1-2，R1-2与R1和R2相比误检率更小。

(3.4)运用相似的合并方法将R3和R1-2合并得到最后的结果R，与(3.3)不同的是，此时设置的IoU阈值v较小，当R3中Xi与R1-2中的目标计算所得的所有IoU值ki(i＝1,2,……)都小于v时，那么R3中Xi对应的预测目标大概率是R1-2中漏检的真实目标，因此将Xi对应的目标添加到R1-2中，然后开始新一轮的X(i+1)计算和比较，而一旦发现某个ki大于v时，那么Xi与R1-2中对应的该目标很可能是同一目标，此时终止计算，然后开始新一轮的X(i+1)计算和比较，依次执行下去，最后得到的R1-2即为合并后的结果R，与R3和R1-2相比，R具有更高的召回率。

在优选的实施方案中，步骤(4)中采用Soft-NMS算法进一步去除(3)中所得结果R中冗余的检测框，根据置信度对R中的目标框进行排序，将置信度最高的目标框B从集合R中取出放入最终的检测集合F中；然后从排好序的集合R中按顺序取出剩下的目标框B1并分别计算与B的交并比，如果计算的结果大于设定的阈值Nt，则降低目标框B1的置信度，否则的话将B1也放入集合F中；最后重复前面两个过程直到集合R为空，输出最后的检测结果集合F。

与现有技术相比，本发明的有益效果如下：

1.本发明提供了一种基于深度学习的夜间车辆检测方法，为避免低光照场景下车辆检测的局限，解决了部分特征不易提取；其他光源的干扰导致目标与背景区分不明显；拍摄设备曝光不均匀导致一些细节信息丢失的问题。

2.本发明设计了一种集成算法结合了两种神经网络各自的优势，又借助了夜间图像增强等方法完成训练阶段的数据增广和检测阶段的数据预处理工作，最后经过Soft-NMS算法处理后输出结果。

附图说明：

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例的流程总图；

图2为本发明实施例的实验环境配置；

图3为本发明实施例中BIMEF预处理前后的对比效果图；

图4为本发明实施例中多个模型结合算法流程图；

图5为本发明实施例中采用Soft-NMS算法前存在冗余框的情况；

图6为本发明实施例中检测结果准确度--召回率曲线对比图；

图7-9为本发明实施例在多种场景下的检测效果示例图。

具体实施方式：

本示例采用的数据集是SunYat-sen UniversityNight-time Vehicle Dataset。该数据集包含5576张图片，里面车俩数目超过12000。数据集包含高速公路、国道、居民区、隧道等多种场景。其中5176张图片用于训练集，剩下的400张用作测试集。测试集包含遮挡和模糊等多种条件下共634辆车。场景的多样性有助于验证方法的可靠性和鲁棒性。下面结合附图和具体实施方法对本发明作进一步详细的说明：

图1所示的是一种基于深度学习的夜间车辆检测方法流程图，图2所示的是本实施例的实验环境配置。图3显示的是经过BIMEF处理前后的对比效果。图4显示的是多个模型结合算法流程图。图5显示的是采用Soft-NMS算法前存在冗余框的情况。图6显示的是该方法与原始YOLOv3和Faster R-CNN在以准确度和召回率为评价指标情况下的对比情况。图7-图9显示的是本发明在多种场景下的检测效果。实施过程包含步骤一到步骤四这四个步骤，具体内容如下：

步骤一，如图1所示，首先利用夜间图像增强算法SRIE、BIMEF以及图片翻转、调节HSV通道进行训练集增强。然后利用增强后的数据集分别训练YOLOv3和Faster R-CNN，分别选取训练过程中的最优模型M1和M3。最后利用原始训练集样本训练YOLOv3得到模型M2。其中YOLOv3采用自动调节学习率的方式进行训练，训练的初始阶段学习率设置为0.01，随着训练的进行，损失值会越来越小，模型不断得到优化，此时每迭代10000次学习率衰减10倍。而对于Faster R-CNN的训练，采用ResNet-101作为特征提取网络。

步骤二，为了提高夜间图像的对比度和突出细节信息，利用BIMEF算法对测试集进行图像预处理，这样有助于目标与背景的区分从而更容易提取有效特征。图3所示的是经过BIMEF算法处理前后的效果对比。与原始图片相比可以看出，经过处理后的图片细节信息更突出，如图3中红色框所示。同时处理后的图片在目标区域的对比度更高，如图3中绿色框所示。这说明预处理在提高对比度的同时能够最大程度地保留细节信息。

步骤三，如图1所示的检测阶段，步骤一中的三个模型M1、M2、M3经过结合算法形成一个更强的集成模型。接着将步骤二中预处理后的测试集输入到集成模型中得到初步的输出结果。图4显示的是结合算法的具体流程，其步骤如下：

1)如图4所示，将图片同时输入到三个训练好的预测模型M1、M2、M3中。对于每张图片，三个模型会分别输出若干个预测的目标车辆信息集合分别记为D1、D2、D3，输出的每条车辆信息包括预测的置信度P和车辆的坐标信息C。

2)设置一个较高的置信度阈值α，对于集合D1、D2、D3中预测的置信度P，如果存在P<α，则认为预测到的目标车辆是误检，将其从对应的D1、D2、D3集合中去除掉。D1、D2、D3经过此条件过滤后的结果拥有更高的准确度，并分别记为R1、R2、R3。

3)集合R1和R2中的若干个预测目标的坐标信息分别记为X1,X2,…,Xi,…和Y1,Y2,…,Yi,…。然后计算X1与Y1的IoU，记X1与Y1的IoU值为k1，设置一个较大的IoU阈值I。如果k1小于I，则继续计算X1与Y2的IoU记为k2，同样地k2与I进行比较。依次进行下去计算ki，一旦发现ki>I，立即终止X1与剩下Y的IoU计算，此时认为X1与Yi对应的目标大概率为预测的同一、真实的目标，此时，将X1对应的目标信息输入到R1和R2合并后的结果R1-2中，同时从R2中去除掉Yi对应的目标。在上述的比较过程中，如果X1穷尽所有与Y1(Y2,…,Yi,…)的IoU计算发现k值均小于I，则认为X1对应的目标大概率为误检，此时开始新一轮X2与Y1,Y2,…,Yi,…的IoU计算和比较。依次进行下去，直到比较完最后一个X，最后得到R1和R2合并后的结果R1-2。R1-2与R1和R2相比误检率更小。

4)运用相似的合并方法将R3和R1-2合并得到最后的结果R。与步骤3)不同的是，此时设置的IoU阈值v较小。当R3中Xi与R1-2中的目标计算所得的所有IoU值ki(i＝1,2,……)都小于v时，那么R3中Xi对应的预测目标大概率是R1-2中漏检的真实目标。因此将Xi对应的目标添加到R1-2中，然后开始新一轮的X(i+1)计算和比较。而一旦发现某个ki大于v时，那么Xi与R1-2中对应的该目标很可能是同一目标，此时终止计算，然后开始新一轮的X(i+1)计算和比较。依次执行下去，最后得到的R1-2即为合并后的结果R。与R3和R1-2相比，R具有更高的召回率。

步骤四，如图5所示，在未采用Soft-NMS算法前同一辆车出现两个检测框car1和car2的冗余情况，采用Soft-NMS算法后能够有效减少冗余导致的误检。Soft-NMS算法的具体思路如下：首先根据置信度对步骤三中得到的集合R中的目标框进行排序，将置信度最高的目标框B从集合R中取出放入最终的检测集合F中；然后从排好序的集合R中按顺序取出剩下的目标框B1并分别计算与B的交并比，如果计算的结果大于设定的阈值Nt，则降低目标框B1的置信度，否则的话将B1也放入集合F中；最后重复前面两个过程直到集合R为空，输出最后的检测结果集合F。

如图6所示，显示的是该方法与原始YOLOv3和Faster R-CNN在以准确度和召回率为评价指标情况下的对比情况，曲线下的面积越大代表综合检测效果越好。绿色曲线所围成的面积最大说明本发明所示方法在该指标条件下要优于原始YOLOv3和Faster R-CNN。经过测试，在图2所示的实验环境下本发明的召回率到达93.32％，每张图片的平均检测时间为0.2秒，具有良好的检测效果。如图7-图9的检测案例所示，本发明在各种场景里均能够准确检测到目标车辆，体现了本发明良好的鲁棒性。

本发明提供了一种基于深度学习的夜间车辆检测方法，为避免低光照场景下车辆检测的局限，如：部分特征不易提取；其他光源的干扰导致目标与背景区分不明显；拍摄设备曝光不均匀导致一些细节信息丢失等。本发明设计了一种集成算法结合了两种神经网络各自的优势，又借助了夜间图像增强等方法完成训练阶段的数据增广和检测阶段的数据预处理工作，最后经过Soft-NMS算法处理后输出结果。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于深度学习的夜间车辆检测方法，其特征在于，包括以下步骤：

(1)在训练阶段，对训练数据集进行增广，然后将增广后的数据集输入到两种神经网络中，分别得到模型M1和M3，同时将未增强的原始数据集继续用来训练两种神经网络中的一种得到模型M2；

(2)利用适用于低光照环境下的图像增强算法对测试数据集进行预处理；

(3)在检测阶段，将(2)中预处理后的测试数据集输入到(1)中三个训练好的模型中，利用一种结合算法将三个模型结合成一个集成的强检测模型，最后输出初步检测结果；

(4)根据置信度和交并比对(3)中输出的结果进行打分，利用Soft-NMS算法去除上述初步检测结果中的冗余的检测框。

2.根据权利要求1所述的基于深度学习的夜间车辆检测方法，其特征在于，步骤(1)中的数据集增广采用了两种夜间图像增强算法，在模型训练时还对图片进行了不同角度的翻转以及根据HSV颜色模型对亮度、色度和饱和度等进行调节来增加样本的多样性。

3.根据权利要求1所述的基于深度学习的夜间车辆检测方法，其特征在于，两种神经网络采用的是YOLOv3和Faster R-CNN，增强后的数据集分别用来训练YOLOv3和Faster R-CNN得到模型M1和M3，原始数据集用来训练YOLOv3得到模型M2。

4.根据权利要求1所述的基于深度学习的夜间车辆检测方法，其特征在于，步骤(2)中用于数据预处理的图像增强算法采用的是BIMEF，所述的步骤(3)中的结合算法具体包含以下步骤：

(3.1)将图片同时输入到三个训练好的预测模型M1、M2、M3中，对于每张图片，三个模型会分别输出若干个预测的目标车辆信息分别记为D1、D2、D3信息，输出的每个车辆信息包括预测的置信度P和车辆的坐标信息C。

(3.2)设置一个较高的置信度阈值α，对于D1、D2、D3中预测的置信度P，如果存在P<α，则认为预测到的目标车辆是误检，将其从对应的D1、D2、D3中去除掉，D1、D2、D3经过此条件过滤后的结果拥有更高的准确度，并分别记为R1、R2、R3；

(3.3)R1和R2中的若干个预测目标的坐标信息分别记为X1,X2,…,Xi,…和Y1,Y2,…,Yi,…，然后计算X1与Y1的IoU，记X1与Y1的IoU为k1，设置一个较大的IoU阈值I，如果k1小于I，则继续计算X1与Y2的IoU记为k2，同样地k2与I进行比较，依次进行下去计算ki，一旦发现ki>I，立即终止X1与剩下Y的IoU计算，此时认为X1与Yi对应的目标大概率为预测的同一、真实的目标，此时，将X1对应的目标信息输入到R1和R2合并后的结果R1-2中，同时从R2中去除掉Yi对应的目标，在上述的比较过程中，如果X1穷尽所有与Y1(Y2,…,Yi,…)的IoU计算发现k值均小于I，则认为X1对应的目标大概率为误检，此时开始新一轮X2与Y1,Y2,…,Yi,…的IoU计算和比较，依次进行下去，直到比较完最后一个X，最后得到R1和R2合并后的结果R1-2，R1-2与R1和R2相比误检率更小；

(3.4)运用相似的合并方法将R3和R1-2合并得到最后的结果R，与(3.3)不同的是，此时设置的IoU阈值v较小，当R3中Xi与R1-2中的目标计算所得的所有IoU值ki(i＝1,2,……)都小于v时，那么R3中Xi对应的预测目标大概率是R1-2中漏检的真实目标，因此将Xi对应的目标添加到R1-2中，然后开始新一轮的X(i+1)计算和比较，而一旦发现某个ki大于v时，那么Xi与R1-2中对应的该目标很可能是同一目标，此时终止计算，然后开始新一轮的X(i+1)计算和比较，依次执行下去，最后得到的R1-2即为合并后的结果R，与R3和R1-2 相比，R具有更高的召回率。

5.根据权利要求1所述的基于深度学习的夜间车辆检测方法，其特征在于，步骤(4)中采用Soft-NMS算法进一步去除(3)中所得结果R中冗余的检测框，根据置信度对R中的目标框进行排序，将置信度最高的目标框B从集合R中取出放入最终的检测集合F中；然后从排好序的集合R中按顺序取出剩下的目标框B1并分别计算与B的交并比，如果计算的结果大于设定的阈值Nt，则降低目标框B1的置信度，否则的话将B1也放入集合F中；最后重复前面两个过程直到集合R为空，输出最后的检测结果集合F。

Images