CN113947774B - 一种轻量级的车辆目标检测系统 - Google Patents

Abstract

本发明属于计算机视觉应用技术领域，提供了一种轻量级的车辆检测系统。该系统包括数据模块、网络结构模块、系统配置模块、训练模块、测试模块、日志采集模块、效果分析模块和检测模块。本检测系统在SSD的基础上进行特征融合操作和并行分支预测的操作；使用轻量级结构作为特征提取网络，保证算法可以运行在计算和存储资源有限的车载设备上，采用特征融合模块，提高车辆目标的检测精度。同时，该系统中也设计了一种并行分支预测结构，不仅能够提高算法的检测精度，还能够提高目标的检测速度。

Description

一种轻量级的车辆目标检测系统

技术领域

本发明涉及计算机视觉应用技术领域，具体涉及一种轻量级的车辆检测系统。

背景技术

近年来，随着物联网技术和5G技术的迅速发展和应用，自动驾驶技术也已经逐渐开始由理论研究阶段转为实际研发阶段。自动驾驶系统中一个十分关键的技术就是准确实时地识别出实际交通场景下的车辆。在早期研究中，由于雷达技术具有流程简单、定位精确的优点，故而经常使用其作为主要工具。然而，雷达技术无法满足远距离小目标车辆或有金属遮挡物的车辆等复杂交通场景下的检测问题。这也间接促进了计算机视觉的兴起，通过对采集的实际道路上车辆的视频或图片进行分析，从而定位出前方的车辆、行人或障碍物等信息。

近年来，随着对车辆检测算法研究的不断深入，基于计算机视觉的检测算法迅速发展。传统的计算机视觉的算法是通过人工提取特征的方式对车辆图片进行描述，把描述的结果输入到分类其中进行预测。但是算法存在难度大、稳定性低等缺点。随着计算机性能的不断提升，基于卷积神经网络的车辆检测算法成为当前的主流检测技术。其具有稳定性高、难度低等优点。但由于实际道路上的车辆位置的动态变化，所以其背景和灯光等信息也是持续地改变。同时，相机采集的图片中车辆的尺寸、位置也不尽相同，因此获取实际道路上的图片中得到车辆信息的形状、大小和颜色都不相同。况且车载设备的计算和存储资源有限，也限制了一些车辆检测算法的实际应用。

针对上述问题，本发明针对性地提出一种轻量级的车辆检测系统。并且提出本发明的核心算法：采用轻量级的VGG16结构作为特征提取网络，保证算法可以运行在计算和存储资源有限的车载设备上；提出一种特征融合的特征金字塔结构，提高了多尺度车辆检测和小尺度车辆的检测精度；提出一种并行分支预测模块，一方面可以提高车辆检测的精度，另一方面可以提高检测的效率。

发明内容

本发明提出了一种轻量级的车辆检测系统。首先，本发明分析了现有的问题，即在计算和存储资源有限的车载设备如何运行车辆目标检测算法。传统的车辆检测算法可以部署在各种性能优良的计算机平台上，但是由于自动驾驶系统中对于检测算法的复杂度、高精度和实时性都具有特殊要求，驾驶系统必须保证算法运行在计算和存储资源的有限的车载设备上，车载设备的计算和存储能力比计算机平台较小。因此虽然当前很多车辆检测算法模型可以实时运行在计算机上，但在车载设备中的表现却不理想，所以实际上他们并不能完成自动驾驶系统中的车辆检测。因此，本发明为了能够确保车辆目标检测算法运行在计算和存储资源有限的车载设备上，使用了轻量级结构VGG16作为特征提取网络；为提高车辆的检测精度，设计了特征融合模块；为满足实时性的要求，设计了并行分支网络结构。

本发明的技术方案为：

一种轻量级的车辆检测系统，包括数据模块、网络结构模块、系统配置模块、训练模块、测试模块、日志采集模块、效果分析模块和检测模块。

所述数据模块用于存储图片和标注数据，实现对图像和标注信息的预处理，并把处理好的数据信息传递给训练模块和测试模块；

所述网络结构模块为定义系统核心算法的网络结构，被划分为两个部分：用作提取检测特征图基础网络和处理网络结构；基础网络借鉴特征金字塔和SSD，提取六层不同深度的特征图用作待融合特征图；处理网络结构包括特征融合模块和并行分支检测模块；特征融合模块对待融合特征图进行融合操作以提高车辆目标的检测精度；并行分支预测模块借鉴残差结构，用于进一步提高车辆目标的检测精度；基本流程如下：

1.1输入一张完整的图片；

1.2特征提取网络VGG16对图片进行特征提取，保证车辆检测算法运行在计算和存储有限的车载设备上；

1.3利用特征提取网络VGG16生成conv4-3、conv7、conv8-2、conv9-2、conv10-2和conv11-2六层不同深度的特征图用作待融合特征图；

1.4使用特征融合模块来得到融合特征图Fu-conv4-3、Fu-conv7、Fu-conv8-2、Fu-conv9-2、conv10-2和conv11-2，融合特征图的尺寸分别为38*38*512、19*19*1024、10*10*512、5*5*256、3*3*256和1*1*256；

1.5通过对融合特征图进行并行分支预测，得到最终的分类和回归结果。

所述系统配置模块用于定义系统训练或测试时的参数；

所述训练模块用于完成网络的训练；本系统核心算法Fu-SSD的训练方法是使用监督学习方法；先通过网络计算预测值，然后对比预测值和真实值，真实值为标注文件存储的图片中所有目标相关信息，通过损失函数计算损失值；然后这些损失值进行反向传播对网络进行更新；具体流程为：

2.1使用深度学习框架为训练模型做初始化网络训练和配置的准备工作；

2.2在训练之前，在VGG16网络结构上载入预训练模型并进行初始化的操作，预训练模型用的是VGG16网络在ImageNet数据集上训练好的分类模型；

2.3对特征融合模块和分支检测模块部分进行初始化操作；

2.4载入图片数据和标注文件，对图片和标注进行预处理，利用深度学习框架自动读取数据文件下转换好的数据格式；然后将图片数据送入整个深度卷积神经网络之中进行训练操作；

2.5网络训练，首先是进行前向传播的过程，包括卷积层和池化层；输入层是由卷积操作实现的，车辆图片直接进行前向传播的卷积操作；池化层主要是对上一层的输出的尺度进行调整；训练过程中深度学习框架产生损失函数的相关信息，根据车辆图片前向传播卷积操作产生的数据信息，进行反向传播操作；

2.6将更新完成的训练权重保存到指定的位置。

所述测试模块包括速度和精度的测试，其用于完成效果测试，将测试过程的细节和配置全部封装，用户在终端输入一行命令开始测试；

具体过程如下：

3.1初始化测试网络和配置，测试网络采用训练的VGG16网络以及测试参数配置文件；

3.2将训练得到的训练权值载入到测试网络中；

3.3输入图片进行预处理操作，主要目的是保证其格式转换成测试模块正确识别的格式；

3.4送入测试网络后，经过卷积和池化的前向传播操作后，生成最终的预测值，并将生成的值保存到文件；

3.5依次生成所有的测试数据，直至所有目标图片全部测试完成。

所述日志采集模块用于完成对训练和测试过程中重要信息的采集和记录；该模块不对用户显式调用，在系统训练或测试过程中自动执行；

所述效果分析模块用于对测试结果和日志采集到的数据进行性能上的分析；

所述检测模块用于完成对输入图片的检测。

所述六层不同深度的特征图中的深层特征图利用反卷积模块扩大分辨率，使得深层特征图与浅层特征图具有相同的分辨率，方便融合；融合过程如下所示；

O＝[s(i-1)+k-2p]*[s(i-1)+k-2p] (1)

其中：s：移动的步数或步长；i：输入特征图的尺寸；k：卷积核尺寸；p：填充；O：输出特征图的尺寸；

根据公式(1)，经过反卷积操作后，特征图的分辨率不仅不会降低，反而会提高其分辨率。

所述的六层不同深度的特征图中利用空洞卷积模块扩大浅层特征图的感受野，保证待融合特征图的感受野一致；Concatenation模块采用1×1卷积层来学习目标信息与上下文信息融合后的权重，减少无用背景噪声的干扰，提高遮挡车辆的检测精度；过程如下所示；

其中：s：移动的步数或步长；i：输入特征图；k：卷积核尺寸；p：填充；O：输出特征图。

本发明的有益效果为：本发明的算法基础是SSD算法，然后在此基础上设计并实现了轻量级目标检测算法。

该发明针对车载移动设备的计算和存储资源的有限性，提出了轻量级结构作为特征提取网络。从实际道路上车辆实际出发，提出一种特征融合模块，弥补轻量级结构带来的精度损失；提出并行分支预测结构，该结构不仅可以提高检测的精度，还能够提升检测的速度。

附图说明

图1是网络结构图。

图2是空洞卷积示意图。

图3是反卷积示意图。

图4是并行分支结构示意图。

图5是实验结果示意图。

具体实施方式

下面对本发明的具体实施方式做详细说明。

本实施方式的方法为：操作系统为windows 10，深度学习框架为pytorch。

步骤一：搭建依赖环境。

搭建pytorch前首先要搭建显卡驱动，于windows 10安装环境下进行搭建。在设备管理器中选择更新驱动程序软件，选择自动搜索更新的驱动程序软件并自动安装。

自动安装完毕后重启系统；紧接着完成安装CUDA并行计算平台和配置CUDNN等操作；选用Anaconda代替系统原生python；配置好Anaconda后还需要搭建一些依赖。安装完上述依赖环境后进行使用pytorch框架。

步骤二：数据集预处理。

KITTI是目前交通场景下用于自动驾驶研究的最广泛的评测数据集之一，其包含乡村道路、城市道路和高速公路等多种实际道路场景上采集的包含车辆、行人等众多目标的数据集。其采集的图片包括标注标签的7481张训练集和7518张测试集。每一幅图片均由不同程度的遮挡和截断的目标组成，每张图片的宽为1242像素左右，高为375像素左右。该数据集可以用于评测立体图像、光流、视觉测距、物体检测和三维跟踪；本发明使用KITTI数据集评测二维检测性能。原始的数据集中包含car，van，truck，pedestrian，person，cylist，Tram和misc等8类目标。根据本发明的实际需求，将数据集划分为包括car，van，truck，pedestrian，cylist，Tram等6类目标；数据处理主要包括图片的处理和标注文件的处理。由于Pytorch框架识别的是jpg格式的图片，而原始数据集为png格式。所以首先将png格式的图片转换成jpg格式。数据处理的核心功能是标注的转化，由于训练模块只能识别xml格式，因此标注文件的处理主要是提取有用的标注数据，转换成xml文件。核心包括以下两部分：

1、完成KITTI数据集类别的筛选。因为本发明只对KITTI数据集中的6类目标进行检测，所以把其他类别排除。

2、完成txt格式标注到xml格式标注的转换。因为本发明实现的是二维车辆目标检测，所以不会用到原标注中的15个字段，因此本发明只提取需要的字段存储到xml文件中。

步骤三：对模型进行训练。

训练环节是测试和检测的基础，在数据集处理好后首要进行的步骤就是进行训练。具体步骤如下：

第一步，使用pytorch框架为训练模型做初始化网络训练和配置的准备工作。

第二步，在训练之前，对基础网络部分载入预训练模型进行初始化，预训练模型用的是VGG16结构在ImageNet数据集上训练好的分类模型。

第三步，对检测网络部分进行初始化操作；

第四步，载入训练数据，包括图像数据和标注文件，对图像和标注进行预处理，把转换好的数据放到数据文件下，这样pytorch框架会自动读取。设置本系统的训练参数和网络结构路径，系统会根据配置好的参数进行读取。本系统的配置如下表1所示：

表1系统配置参数

第五步，网络训练。训练的网络中，已对轻量级的车辆检测系统中的基础网络部分载入预训练模型进行初始化，预训练模型用的是VGG16网络在ImageNet数据集上训练好的分类模型。为了更好的将车辆检测算法应用到车载设备上，本发明采用轻量级结构作为特征提取网络；为了提高检测精度，提出使用特征融合的方式对特征图进行融合操作。为了进一步提高检测精度和检测速度，本发明提出使用并行分支的方式来进一步提高检测的精度和速度。

网络训练流程首先是前向传播过程，该过程包括卷积层和池化层。本系统中输入层是由卷积实现的，车辆图片会直接进行前向传播的卷积操作；池化层主要是对上一层的输出的尺度进行调整。训练过程中深度学习框架产生损失函数的相关信息，根据上一步产生的数据信息，进行反向传播操作，该操作是本系统中网络各卷积核权重更新的过程，目的是迭代更新权重直到系统的准确度达到本发明的要求。

第六步，将更新完成的权重保存到指定的位置。

为了训练和测试更加方便，本发明将训练过程封装为脚本文件，训练开始时首先调用封装好的训练脚本，该脚本中会设置命令行的参数，包括要训练所需要的支撑文件和工具类的路径、预训练权重等等。封装好后用户不必了解底层细节，直接调用脚本即可。本系统在python下完成配置文件、命令行参数的读取操作，然后通过调用训练函数完成训练的核心过程。最终并把结果保存到指定目录下。

测试环节的目的是为了得到测试图像上的预测值，是效果分析的基础。用pytorch框架为测试模型做初始化网络和配置的准备工作，将训练好的权值载入到网络中，然后对得到的测试图像进行预处理，主要是格式转换以能让测试模块正确识别。测试数据送入测试网络后，经过一系列的卷积和池化等前向传播的操作后，生成最终的预测值，并将生成的值保存到文件中。依次测试所有测试数据，直至所有图片全部测试完成。

为了测试方便，本发明将测试步骤封装为脚本。测试开始时首先调用根目录下的测试脚本，该脚本中会设置命令行的参数，包括测试网络结构文件的路径、训练好的权重路径和其他的一些测试参数配置文件等等。然后在该脚本中设置日志文件的保存路径。然后调用测试脚本开始进行测试。

本系统在python文件下完成测试过程中的配置文件、命令行参数的读取，然后通过调用测试函数完成测试的核心过程。然后开始进行预测，最终并把预测结果保存到指定目录下的pth文件中，可以直接被后续评价模块读取。

步骤四：对结果进行性能分析

图5是最终测试结果的展示，通过该图可以看出，本发明提出轻量级的车辆检测系统，在满足检测实时性的同时可以保证检测的精度，考虑到本实施例的数据集庞大，图片中超过20000个车辆目标，故而上述提升效果是显著的。

Claims (5)

1.一种轻量级的车辆检测系统，其特征在于，该系统包括数据模块、网络结构模块、系统配置模块、训练模块、测试模块、日志采集模块、效果分析模块和检测模块；

所述数据模块用于存储图片和标注数据，实现对图像和标注信息的预处理，并把处理好的数据信息传递给训练模块和测试模块；

所述网络结构模块为定义系统核心算法的网络结构，被划分为两个部分：用作提取检测特征图基础网络和处理网络结构；基础网络借鉴特征金字塔和SSD，提取六层不同深度的特征图用作待融合特征图；处理网络结构包括特征融合模块和并行分支检测模块；特征融合模块对待融合特征图进行融合操作以提高车辆目标的检测精度；并行分支预测模块借鉴残差结构，用于进一步提高车辆目标的检测精度；

所述系统配置模块用于定义系统训练或测试时的参数；

所述训练模块用于完成网络的训练；本系统核心算法Fu-SSD的训练方法是使用监督学习方法；先通过网络计算预测值，然后对比预测值和真实值，真实值为标注文件存储的图片中所有目标相关信息，通过损失函数计算损失值；然后这些损失值进行反向传播对网络进行更新；

所述测试模块包括速度和精度的测试，其用于完成效果测试，将测试过程的细节和配置全部封装，用户在终端输入一行命令开始测试；

所述日志采集模块用于完成对训练和测试过程中重要信息的采集和记录；该模块不对用户显式调用，在系统训练或测试过程中自动执行；

所述效果分析模块用于对测试结果和日志采集到的数据进行性能上的分析；所述检测模块用于完成对输入图片的检测；所述网络结构模块的基本流程如下：

第一步，输入一张完整的图片；

第二步，特征提取网络VGG16对图片进行特征提取，保证车辆检测算法运行在计算和存储有限的车载设备上；

第三步，利用特征提取网络VGG16生成conv4-3、conv7、conv8-2、conv9-2、conv10-2和conv11-2六层不同深度的特征图用作待融合特征图；

第四步，使用特征融合模块来得到融合特征图Fu-conv4-3、Fu-conv7、Fu-conv8-2、Fu-conv9-2、conv10-2和conv11-2，融合特征图的尺寸分别为38*38*512、19*19*1024、10*10*512、5*5*256、3*3*256和1*1*256；

第五步，通过对融合特征图进行并行分支预测，得到最终的分类和回归结果。

2.根据权利要求1所述的轻量级的车辆检测系统，其特征在于，所述训练模块的具体流程为：

第一步，使用深度学习框架为训练模型做初始化网络训练和配置的准备工作；

第二步，在训练之前，在VGG16网络结构上载入预训练模型并进行初始化的操作，预训练模型用的是VGG16网络在ImageNet数据集上训练好的分类模型；

第三步，对特征融合模块和分支检测模块部分进行初始化操作；

第四步，载入图片数据和标注文件，对图片和标注进行预处理，利用深度学习框架自动读取数据文件下转换好的数据格式；然后将图片数据送入整个深度卷积神经网络之中进行训练操作；

第五步，网络训练，首先是进行前向传播的过程，包括卷积层和池化层；输入层是由卷积操作实现的，车辆图片直接进行前向传播的卷积操作；池化层是对上一层的输出的尺度进行调整；训练过程中深度学习框架产生损失函数的相关信息，根据车辆图片前向传播卷积操作产生的数据信息，进行反向传播操作；

第六步，将更新完成的训练权重保存到指定的位置。

3.根据权利要求2所述的轻量级的车辆检测系统，其特征在于，所述测试模块具体过程如下：

第一步，初始化测试网络和配置，测试网络采用训练的VGG16网络以及测试参数配置文件；

第二步，将训练得到的训练权值载入到测试网络中；

第三步，输入图片进行预处理操作，目的是保证其格式转换成测试模块正确识别的格式；

第四步，送入测试网络后，经过卷积和池化的前向传播操作后，生成最终的预测值，并将生成的值保存到文件；

第五步，依次生成所有的测试数据，直至所有目标图片全部测试完成。

4.根据权利要求3所述的轻量级的车辆检测系统，其特征在于，所述六层不同深度的特征图中的深层特征图利用反卷积模块扩大分辨率，使得深层特征图与浅层特征图具有相同的分辨率，方便融合；融合过程如下所示；

O＝[s(i-1)+k-2p]*[s(i-1)+k-2p] (1)

其中：s：移动的步数或步长；i：输入特征图的尺寸；k：卷积核尺寸；p：填充；O：输出特征图的尺寸；

根据公式(1)，经过反卷积操作后，特征图的分辨率不仅不会降低，反而会提高其分辨率。

5.根据权利要求1-4任一所述的轻量级的车辆检测系统，其特征在于，六层不同深度的特征图中利用空洞卷积模块扩大浅层特征图的感受野，保证待融合特征图的感受野一致；Concatenation模块采用1×1卷积层来学习目标信息与上下文信息融合后的权重，减少无用背景噪声的干扰，提高遮挡车辆的检测精度；过程如下所示；

其中：s：移动的步数或步长；i：输入特征图；k：卷积核尺寸；p：填充；O：

输出特征图。