CN110532946A

CN110532946A - 一种基于卷积神经网络识别绿通车车辆轴型的方法

Info

Publication number: CN110532946A
Application number: CN201910803615.0A
Authority: CN
Inventors: 靳引利; 张书颖; 王萍; 孙铸; 韩万水; 王军; 杨干; 王赛赛; 卓叶迪
Original assignee: Changan University
Current assignee: Changan University
Priority date: 2019-08-28
Filing date: 2019-08-28
Publication date: 2019-12-03
Anticipated expiration: 2039-08-28
Also published as: CN110532946B

Abstract

一种基于卷积神经网络识别绿通车车辆轴型的方法，包括以下步骤：步骤1，获取绿通车图像；步骤2，制定绿通车图像有效性判定标准；步骤3，采用数据增强的方法增加训练样本的数量；步骤4，数据增强后，使用目标检测算法YOLOv2框架进行整轴检测；步骤5，根据车辆轴组类型和轮组类型将车辆轴型进行分类；步骤6，分别使用AlexNet、VGG‑16、ResNet‑152三种卷积神经网络在训练集上对车轴类型分类进行训练；步骤7，对需要识别的绿通车车辆轴型进行判定。本发明以实现绿通车车辆轴型准确识别为目标，将目标检测算法、非均衡数据集处理等与卷积神经网络模型相结合，使用判定标准挑选的图像可作为后续分类识别实验卷积神经网络模型的训练样本，避免训练样本水平过差问题。

Description

一种基于卷积神经网络识别绿通车车辆轴型的方法

技术领域

本发明属于车辆识别技术领域，特别涉及一种基于卷积神经网络识别绿通车车辆轴型的方法。

背景技术

图像分类算法按时间划分为传统的分类算法包括：K-邻近算法、SVM支持向量机、贝叶斯算法等。随着计算机计算能力的极大提升，深度学习算法逐渐成为目前的主流应用。人工神经网络模拟大脑中神经元的作用原理，最终得到一个能够自主学习的网络模型。卷积神经网络模型主要涉及AlexNet网络模型、VGGNet网络模型、ResNet网络模型，。基于传统图像处理的目标检测算法在数据处理能力及识别率等方面的能力不足已很难满足实际应用需要的时效、性能、速度和智能化等各方面要求。而对样本量小且分布不均的非均衡数据会导致训练出的网络模型过拟合、泛化能力不足，对此，可通过对数据集进行重采样的方法进行处理，数据重采样一般分为欠采样和过采样。

KNN算法存在巨大的计算量，消耗更多内存。对绿通车图像分类，不仅其数据量大且在多分类情况中存在数据非均衡问题。在对非均衡数据分类时，KNN算法有可能产生计算的待分类图像样本的k个邻居中大容量样本占多数的问题，最终导致分类错误。SVM算法通过核函数映射到高维特征空间实现线性可分，因此其泛化能力很大程度上取决于所选核函数。此外，SVM针对多分类问题效果不佳且仅局限于小集群样本，对于绿通车图像数据库中庞大的样本且后续需进行多分类，分类效率低下，寻求合适的核函数相对困难；其次，由于人工检查拍摄不规范，图像数据质量较差，目标特征不清晰，所以使用SVM算法在设计提取特征的模型时较为困难，且所设计特征的优劣将严重影响后续的分类准确率。朴素贝叶斯算法有一项基本的限制在于需要各个数据间的关系必须独立，而绿通车图像分类中很难实现这项基本假设，因此朴素贝叶斯的算法效果并不理想。而数据重采样中的欠采样方法也有缺陷，随机选取的被剔除的数据有可能包含该类的关键特征信息，分类器在学习时有可能只学习到多数类样本的部分信息，影响分类器对多数类的分类性能。而且对于卷积神经网络，训练数据量越大，网络性能越突出。

国内外学者在车辆分类识别技术研究方面不断突破但仍有不足。首先，大多数研究没有建立对特定场景下车辆的分类标准，都是依靠国家制定的分类标准文件，使得应用场景有巨大的局限性。第二，在研究车辆分类算法的文章中，较少的学者使用多种方法融合提高分类算法的准确率。

发明内容

本发明的目的在于提供一种基于卷积神经网络识别绿通车车辆轴型的方法，以解决上述问题。

为实现上述目的，本发明采用以下技术方案：

一种基于卷积神经网络识别绿通车车辆轴型的方法，包括以下步骤：

步骤1，获取绿通车图像；

步骤2，通过图像质量评价方法中的相对评价法制定绿通车图像有效性判定标准，通过绿通车图像有效性判定标准挑选的图像作为后续分类识别实验卷积神经网络模型的训练样本；

步骤3，采用人工合成少数类样本对图像分类中的非均衡数据进行训练，采用数据增强的方法增加训练样本的数量；

步骤4，数据增强后，使用目标检测算法YOLOv2框架进行整轴检测，将车辆的轴组作为整体目标进行检测识别；

步骤5，在基于车厢长度的基础上，根据车辆轴组类型和轮组类型将车辆轴型进行分类，将绿通车车辆按车轴数量及车轴位置分为8类；前述所得车轴部位图像，作为卷积神经网络分类的训练数据，80％用于网络训练图像，20％用于测试分类准确率；

步骤6，分别使用AlexNet、VGG-16、ResNet-152三种卷积神经网络在训练集上对车轴类型分类进行训练；

步骤7，检测训练好的AlexNet、VGG-16、ResNet-152三种卷积神经网络，在测试集上运行三种网络，进行分类测试，得到三种网络分别的平均准确率和过拟合比，依据平均准确率和过拟合比判定训练好的神经网络，选用准确率最高的网络，对需要识别的绿通车车辆轴型进行判定。

进一步的，步骤1中，绿通车图像是从绿通车管理系统中的绿通车图像数据库中获取的；通过拍摄工具对被检查车辆拍照并存储在管理系统中，拍摄内容包括车辆的车侧部位、车头部位、车尾部位和运输货物。

进一步的，步骤2中，绿通车图像有效性判定标准为通过图像清晰度、背景复杂度、轮廓完整度、拍摄角度及关键部位遮挡五个方面将图像质量分为了五个等级。

进一步的，步骤3中，数据增强为以已有的图像样本为基础使用随机变换的方法生成更多图像，生成的这些图像要保证从分类的角度依然与原始图像同类别，采用的方法包括：对图片进行水平翻转、调整饱和度或调整对比度。

进一步的，步骤4中，将车辆的轴组作为整体目标进行检测识别，YOLOv2网络输入图像的分辨率为416×416，输出网格尺寸为13×13，采用固定框后，每个网格预测9个预测框，达到1521个；识别出车轴部位后，指定目标区域被标识出，然后通过图像切割将图像中与目标无关的部分剔除，留下需要识别的车辆部位。

进一步的，图像切割是将目标检测环节中标识出的对象与其他部分分割的方法，图像中需要的目标区域和冗余区域以红色框线为边界，在图像中边界框处的像素点的RGB色彩值和其他区域像素点不同，将图像转化为矩阵，确定红色框线处的RGB值，图像切割首先提取图像中RGB值的点坐标，其次寻找红色点中左下顶点和右上顶点两个顶点坐标(x1，y1)，(x2，y2)作为边界点，如式下式所示：

x₁＝min{x[RGB(z)＝(坐标)]},y₁＝min{y[RGB(z)＝(坐标)]}

x₂＝max{x[RGB(z)＝(坐标)]},y₁＝max{y[RGB(z)＝(坐标)]}

从而确定出整个红色边框进行切割，切割后原始的图像中大部分冗余信息已被去除，最终图像分类只留下核心部位。

进一步的，步骤6中，首先在设置初始参数的三种网络上设置训练目标为损失函数最小，经过若干次迭代，当损失函数值降至预先限定的值后，得到训练好的网络。

与现有技术相比，本发明有以下技术效果：

本发明以实现绿通车车辆轴型准确识别为目标，将目标检测算法、非均衡数据集处理等与卷积神经网络模型相结合。主要具有如下优点，

第一：通过图像质量评价方法中的相对评价法制定了绿通车图像有效性判定标准。从图像清晰度、背景复杂度、轮廓完整度、拍摄角度及关键部位遮挡五个方面将图像质量分为了五个等级。使用判定标准挑选的图像可作为后续分类识别实验卷积神经网络模型的训练样本，避免训练样本水平过差问题；

第二：针对图像种类数量不均衡的问题，对非均衡数据采用人工合成少数类样本方法处理，达到各种类样本数量的平衡。避免了欠采样方法中随机选取的被剔除的数据有可能包含该类的关键特征信息的问题；

第三：针对图像中包含信息复杂，难以抓住重点的问题，进行图像预处理操作，去除图像中与目标无关的复杂背景，使图像只留下核心部位，大幅提高了分类的准确率；

第四：建立了特定场景下车辆轴型的分类标准，使得应用场景有巨大的适应性；

第五：针对传统的图像分类算法难以解决的图像数量巨大，运算速度缓慢的问题，使用卷积神经网络进行分类；

第六：使用了目标检测算法、非均衡数据集处理等与卷积神经网络模型多种方法融合提高分类算法的准确率。

附图说明

图1为绿通车车辆轴型识别流程。

图2为YOLOv2网络结构图。

图3为图像的矩阵形式。

图4为车辆轴型分类和编号方式依据图。

图5为绿通车图像有效人工评定标准图。

图6为AlexNet网络结构图。

图7为VGG-16网络结构图。

图8为ResNet快捷链接结构图。

图9为绿通车车辆轴型分类图。

图10为AlexNet丢失率、正确率变化及每项分类准确率图。

图11为VGG-16丢失率、正确率变化及每项分类准确率图。

图12为ResNet-152丢失率、正确率变化及每项分类准确率图。

具体实施方式

以下结合附图对本发明进一步说明：

请参阅图1至图12，一种基于卷积神经网络识别绿通车车辆轴型的方法，包括以下步骤：

步骤1，获取绿通车图像；

步骤1中，绿通车图像是从绿通车管理系统中的绿通车图像数据库中获取的；通过拍摄工具对被检查车辆拍照并存储在管理系统中，拍摄内容包括车辆的车侧部位、车头部位、车尾部位和运输货物。

步骤2中，绿通车图像有效性判定标准为通过图像清晰度、背景复杂度、轮廓完整度、拍摄角度及关键部位遮挡五个方面将图像质量分为了五个等级。

步骤3中，数据增强为以已有的图像样本为基础使用随机变换的方法生成更多图像，生成的这些图像要保证从分类的角度依然与原始图像同类别，采用的方法包括：对图片进行水平翻转、调整饱和度或调整对比度。

步骤4中，将车辆的轴组作为整体目标进行检测识别，YOLOv2网络输入图像的分辨率为416×416，输出网格尺寸为13×13，采用固定框后，每个网格预测9个预测框，达到1521个；识别出车轴部位后，指定目标区域被标识出，然后通过图像切割将图像中与目标无关的部分剔除，留下需要识别的车辆部位。

图像切割是将目标检测环节中标识出的对象与其他部分分割的方法，图像中需要的目标区域和冗余区域以红色框线为边界，在图像中边界框处的像素点的RGB色彩值和其他区域像素点不同，将图像转化为矩阵，确定红色框线处的RGB值，图像切割首先提取图像中RGB值的点坐标，其次寻找红色点中左下顶点和右上顶点两个顶点坐标(x1，y1)，(x2，y2)作为边界点，如式下式所示：

x₁＝min{x[RGB(z)＝(坐标)]},y₁＝min{y[RGB(z)＝(坐标)]}

x₂＝max{x[RGB(z)＝(坐标)]},y₁＝max{y[RGB(z)＝(坐标)]}

步骤6中，首先在设置初始参数的三种网络上设置训练目标为损失函数最小，经过若干次迭代，当损失函数值降至预先限定的值后，得到训练好的网络。

本发明以实现绿通车车辆轴型准确识别为目标，将目标检测算法、非均衡数据集处理等与卷积神经网络模型相结合。各部分详述如下：

图像导入：从陕西省高速公路绿通车管理平台的MySQL数据库中选取拍摄时间为2018.12.1至2018.12.31时间段内拍摄的图像，车轴数为2-6轴车的车侧照，每类图像样本数量为680张，合计3400张，根据附图5所示绿通车图像有效性判定标准判定图像质量，人工评判确定有效图像1408张，无效图像1992张，共3400张图像。

非均衡数据处理：去除无效图片，对有效图像采用人工合成少数类样本的思想，采取数据增强的方法增加训练样本的数量。所谓数据增强，可采用的方法包括：对图片进行水平翻转、调整饱和度、调整对比度等。对有效图像进行非均衡数据处理，得到有效图像5588张。

目标检测：非均衡数据数理后，使用目标检测算法YOLOv2框架进行整轴检测，即将车辆的轴组作为整体目标进行检测识别，识别出车轴部位，去除错误数据后，得到有效图像5559张。

图像裁剪：在对车轴轮廓标识后需要将图像中被标识区域以外的部分剪切掉。由于图像中需要的目标区域和冗余区域以红色框线为边界，在图像中边界框处的像素点的RGB色彩值和其他区域像素点不同。因此，将图像转化为矩阵，红色框线处的RGB值为(225，0，31)，因此图像切割首先提取图像中RGB值为(225，0，31)的点坐标，其次寻找红色点中左下顶点和右上顶点两个顶点坐标(x1，y1)，(x2，y2)作为边界点，再通过图像剪裁去除掉除车轴以外的图像冗余部分，最终只留下车轴部位图像，此时，有效图像5548张。

卷积神经网络训练：将绿通车车辆按轴型分为8类，见附图9，前述所得车轴部位图像中有效图像5548张，选取其中4716张作为卷积神经网络分类的训练集，832张作为测试集。其中8种车轴类型的图像样本分布如下表所示：

分别使用AlexNet、VGG-16、ResNet-152三种卷积神经网络在训练集上对车轴类型分类进行训练，首先在设置初始参数的三种网络上设置训练目标为损失函数减小，迭代次数20次，迭代完成后，即得到训练好的三种分类网络。

卷积神经网络测试：分别使用上述训练好的AlexNet、VGG-16、ResNet-152三种卷积神经网络在测试集上对车轴类型进行8分类测试。实验过程的损失率、正确率变化及混淆矩阵中每一类的准确率如附图10、图11、图12所示。下表为不同网络对绿通车车辆轴型分类的测试结果：

目标识别分类：可以看出，相比其他两个网络，ResNet-152在多分类的实验中表现出强大性能，虽然耗时较长，但准确率高达98.19％。但三个网络模型在车轴分类实验中都出现了过拟合现象，其原因可能是由于某类样本数量极少，进行数据增强后的样本差异较小，卷积神经网络学习的模型过于细化。根据测试结果中的过拟合比及平均准确率评判训练好的神经网络选用，对需要识别的绿通车车辆轴型进行判定。

本发明所述绿通车车辆轴型识别方法，可完成对绿通车车辆轴型的识别及分类。该方法将目标检测算法、非均衡数据集处理等与卷积神经网络模型相结合。通过前期对图片进行预处理，消除部分会造成分类准确率降低的因素，建立有效图片库。与此同时，采用数据增强方法解决样本不均衡问题。使用者只需最开始完成训练图片库的建立，逐步进行各步骤，完成神经网络的训练即可，在后续识别中可直接使用训练好的神经网络对绿通车车辆轴型进行识别，极大程度的提高了绿通车车辆轴型的识别效率。

可以看出，三个网络模型在车轴分类实验中都出现了过拟合现象，其原因可能是由于某类样本数量极少，进行数据增强后的样本差异较小，卷积神经网络学习的模型过于细化，因而在实际应用中可大量采集样本，保证样本数量。三个网络均在实验中表现出良好的分类性能，而相比其他两个网络，ResNet-152在多分类的实验中表现出更强大的性能，虽然耗时较长，但准确率高达98.19％，表现极佳。

因此，该发明可顺利完成绿通车车辆轴型的识别分类任务。

Claims

1.一种基于卷积神经网络识别绿通车车辆轴型的方法，其特征在于，包括以下步骤：

步骤1，获取绿通车图像；

2.根据权利要求1所述的一种基于卷积神经网络识别绿通车车辆轴型的方法，其特征在于，步骤1中，绿通车图像是从绿通车管理系统中的绿通车图像数据库中获取的；通过拍摄工具对被检查车辆拍照并存储在管理系统中，拍摄内容包括车辆的车侧部位、车头部位、车尾部位和运输货物。

3.根据权利要求1所述的一种基于卷积神经网络识别绿通车车辆轴型的方法，其特征在于，步骤2中，绿通车图像有效性判定标准为通过图像清晰度、背景复杂度、轮廓完整度、拍摄角度及关键部位遮挡五个方面将图像质量分为了五个等级。

4.根据权利要求1所述的一种基于卷积神经网络识别绿通车车辆轴型的方法，其特征在于，步骤3中，数据增强为以已有的图像样本为基础使用随机变换的方法生成更多图像，生成的这些图像要保证从分类的角度依然与原始图像同类别，采用的方法包括：对图片进行水平翻转、调整饱和度或调整对比度。

5.根据权利要求1所述的一种基于卷积神经网络识别绿通车车辆轴型的方法，其特征在于，步骤4中，将车辆的轴组作为整体目标进行检测识别，YOLOv2网络输入图像的分辨率为416×416，输出网格尺寸为13×13，采用固定框后，每个网格预测9个预测框，达到1521个；识别出车轴部位后，指定目标区域被标识出，然后通过图像切割将图像中与目标无关的部分剔除，留下需要识别的车辆部位。

6.根据权利要求5所述的一种基于卷积神经网络识别绿通车车辆轴型的方法，其特征在于，图像切割是将目标检测环节中标识出的对象与其他部分分割的方法，图像中需要的目标区域和冗余区域以红色框线为边界，在图像中边界框处的像素点的RGB色彩值和其他区域像素点不同，将图像转化为矩阵，确定红色框线处的RGB值，图像切割首先提取图像中RGB值的点坐标，其次寻找红色点中左下顶点和右上顶点两个顶点坐标(x1，y1)，(x2，y2)作为边界点，如式下式所示：

x₁＝min{x[RGB(z)＝(坐标)]},y₁＝min{y[RGB(z)＝(坐标)]}

x₂＝max{x[RGB(z)＝(坐标)]},y₁＝max{y[RGB(z)＝(坐标)]}

7.根据权利要求1所述的一种基于卷积神经网络识别绿通车车辆轴型的方法，其特征在于，步骤6中，首先在设置初始参数的三种网络上设置训练目标为损失函数最小，经过若干次迭代，当损失函数值降至预先限定的值后，得到训练好的网络。