CN110533098A - 一种基于卷积神经网络识别绿通车车厢装载类型的方法 - Google Patents

Abstract

一种基于卷积神经网络识别绿通车车厢装载类型的方法，包括以下步骤：步骤1，获取绿通车图像；步骤2，通过图像质量评价方法中的相对评价法制定绿通车图像有效性判定标准；步骤3，增加训练样本的数量；步骤4，进行车厢目标检测；步骤5，将绿通车车辆按车厢‑装载类型分为8类；步骤6，对车厢‑装载类型分类进行训练；步骤7，对需要识别的绿通车车厢‑装载类型进行判定。针对图像种类数量不均衡的问题，对非均衡数据采用数据过采样方法处理，达到各种类样本数量的平衡。避免了欠采样方法中随机选取的被剔除的数据有可能包含该类的关键特征信息的问题。

Description

一种基于卷积神经网络识别绿通车车厢装载类型的方法

技术领域

本发明属于车辆识别技术领域，特别涉及一种基于卷积神经网络识别绿通车车厢装载类型的方法。

背景技术

图像分类算法按时间划分为传统的分类算法包括：K-邻近算法、SVM支持向量机、贝叶斯算法等。随着计算机计算能力的极大提升，深度学习算法逐渐成为目前的主流应用。人工神经网络模拟大脑中神经元的作用原理，最终得到一个能够自主学习的网络模型。卷积神经网络模型主要涉及AlexNet网络模型、VGGNet网络模型、ResNet网络模型。基于传统图像处理的目标检测算法在数据处理能力及识别率等方面的能力不足已很难满足实际应用需要的时效、性能、速度和智能化等各方面要求。而对样本量小且分布不均的非均衡数据会导致训练出的网络模型过拟合、泛化能力不足，对此，可通过对数据集进行重采样的方法进行处理，数据重采样一般分为欠采样和过采样。

KNN算法存在巨大的计算量，消耗更多内存。对绿通车图像分类，不仅其数据量大且在多分类情况中存在数据非均衡问题。在对非均衡数据分类时，KNN算法有可能产生计算的待分类图像样本的k个邻居中大容量样本占多数的问题，最终导致分类错误。SVM算法通过核函数映射到高维特征空间实现线性可分，因此其泛化能力很大程度上取决于所选核函数。此外，SVM针对多分类问题效果不佳且仅局限于小集群样本，对于绿通车图像数据库中庞大的样本且后续需进行多分类，分类效率低下，寻求合适的核函数相对困难；其次，由于人工检查拍摄不规范，图像数据质量较差，目标特征不清晰，所以使用SVM算法在设计提取特征的模型时较为困难，且所设计特征的优劣将严重影响后续的分类准确率。朴素贝叶斯算法有一项基本的限制在于需要各个数据间的关系必须独立，而绿通车图像分类中很难实现这项基本假设，因此朴素贝叶斯的算法效果并不理想。而数据重采样中的欠采样方法也有缺陷，随机选取的被剔除的数据有可能包含该类的关键特征信息，分类器在学习时有可能只学习到多数类样本的部分信息，影响分类器对多数类的分类性能。而且对于卷积神经网络，训练数据量越大，网络性能越突出。

国内外学者在车辆分类识别技术研究方面不断突破但仍有不足。首先，大多数研究没有建立对特定场景下车辆的分类标准，都是依靠国家制定的分类标准文件，使得应用场景有巨大的局限性。第二，在研究车辆分类算法的文章中，较少的学者使用多种方法融合提高分类算法的准确率。

发明内容

本发明的目的在于提供一种基于卷积神经网络识别绿通车车厢装载类型的方法，以解决上述问题。

为实现上述目的，本发明采用以下技术方案：

一种基于卷积神经网络识别绿通车车厢装载类型的方法，包括以下步骤：

步骤1，获取绿通车图像；

步骤2，通过图像质量评价方法中的相对评价法制定绿通车图像有效性判定标准，通过绿通车图像有效性判定标准挑选的图像作为后续分类识别实验卷积神经网络模型的训练样本；

步骤3，采用人工合成少数类样本对图像分类中的非均衡数据进行训练，采用数据增强的方法增加训练样本的数量；

步骤4，数据增强后，使用目标检测算法YOLOv2框架进行车厢目标检测；

步骤5，按照车厢顺序及装载方式顺序，将绿通车车辆按车厢-装载类型分为8类，对车厢-装载类型进行分类编号将前述所得车厢部位图像，作为卷积神经网络分类的训练数据，80％用于网络训练图像，20％用于测试分类准确率；

步骤6，使用AlexNet、VGG-16、ResNet-152三种卷积神经网络在训练集上对车厢-装载类型分类进行训练；

步骤7，检测训练好的AlexNet、VGG-16、ResNet-152三种卷积神经网络，在测试集上运行三种网络，进行分类测试，得到三种网络分别的平均准确率和过拟合比，依据平均准确率和过拟合比判定训练好的神经网络，选用准确率最高的网络，对需要识别的绿通车车厢-装载类型进行判定。

进一步的，步骤1中，绿通车图像是从绿通车管理系统中的绿通车图像数据库中获取的；通过拍摄工具对被检查车辆拍照并存储在管理系统中，拍摄内容包括车辆的车侧部位、车头部位、车尾部位和运输货物。

进一步的，步骤2中，绿通车图像有效性判定标准为通过图像清晰度、背景复杂度、轮廓完整度、拍摄角度及关键部位遮挡五个方面将图像质量分为了五个等级。

进一步的，步骤3中，数据增强为以已有的图像样本为基础使用随机变换的方法生成更多图像，生成的这些图像要保证从分类的角度依然与原始图像同类别，采用的方法包括：对图片进行水平翻转、调整饱和度或调整对比度。

进一步的，步骤4中，YOLOv2网络输入图像的分辨率为416×416，输出网格尺寸为13×13，采用固定框后，每个网格预测9个预测框，达到1521个；识别出车厢部位后，指定目标区域已被标识出，通过图像切割将图像中与目标无关的部分剔除，留下需要识别的车辆部位。

进一步的，图像切割是将目标检测环节中标识出的对象与其他部分分割的方法，图像中需要的目标区域和冗余区域以红色框线为边界，在图像中边界框处的像素点的RGB色彩值和其他区域像素点不同，将图像转化为矩阵，确定红色框线处的RGB值，图像切割首先提取图像中RGB值的点坐标，其次寻找红色点中左下顶点和右上顶点两个顶点坐标(x1，y1)，(x2，y2)作为边界点如下式所示：

x₁＝min{x[RGB(z)＝(225,0,31)]},y₁＝min{y[RGB(z)＝(225,0,31)]}

x₂＝max{x[RGB(z)＝(225,0,31)]},y₁＝max{y[RGB(z)＝(225,0,31)]}

从而确定出整个红色边框进行切割，切割后原始的图像中大部分冗余信息已被去除，最终图像分类只留下车厢核心部位。

进一步的，步骤5中，货运车辆按车厢类型分为四种：栏板式货车、仓栅式货车、罐式货车或厢式货车；货物的装载方式分为3种：开放式、帆布包裹式或密闭式。

进一步的，步骤6中，首先在设置初始参数的三种网络上设置训练目标为损失函数最小，经过若干次迭代，当损失函数值降至预先限定的值后，即得到训练好的网络。

与现有技术相比，本发明有以下技术效果：

本发明以实现绿通车车辆车厢-装载类型准确识别为目标，将目标检测算法、非均衡数据集处理等与卷积神经网络模型相结合。主要具有如下优点，

第一：通过图像质量评价方法中的相对评价法制定了绿通车图像有效性判定标准。从图像清晰度、背景复杂度、轮廓完整度、拍摄角度及关键部位遮挡五个方面将图像质量分为了五个等级。使用判定标准挑选的图像可作为后续分类识别实验卷积神经网络模型的训练样本，避免训练样本水平过差问题；

第二：针对图像种类数量不均衡的问题，对非均衡数据采用数据过采样方法处理，达到各种类样本数量的平衡。避免了欠采样方法中随机选取的被剔除的数据有可能包含该类的关键特征信息的问题；

第三：针对图像中包含信息复杂，难以抓住重点的问题，进行图像预处理操作，去除图像中与目标无关的复杂背景，使图像只留下核心部位，大幅提高了分类的准确率；

第四：建立了特定场景下车厢-装载类型的分类标准，使得应用场景有巨大的适应性；

第五：针对传统的图像分类算法难以解决的图像数量巨大，运算速度缓慢的问题，使用卷积神经网络进行分类；

第六：使用了目标检测算法、非均衡数据集处理等与卷积神经网络模型多种方法融合提高分类算法的准确率。

附图说明

图1为绿通车车厢-装载类型识别流程。

图2为YOLOv2网络结构图。

图3为图像的矩阵形式。

图4为绿通车图像有效人工评定标准图。

图5为AlexNet网络结构图。

图6为VGG-16网络结构图。

图7为ResNet快捷链接结构图。

图8为绿通车车厢-装载类型分类图。

图9为AlexNet丢失率、正确率变化及每项分类准确率图。

图10为VGG-16丢失率、正确率变化及每项分类准确率图。

图11为ResNet-152丢失率、正确率变化及每项分类准确率图。

具体实施方式

以下结合附图对本发明进一步说明：

请参阅图1至图11，一种基于卷积神经网络识别绿通车车厢装载类型的方法，包括以下步骤：

步骤1，获取绿通车图像；

步骤2，通过图像质量评价方法中的相对评价法制定绿通车图像有效性判定标准，通过绿通车图像有效性判定标准挑选的图像作为后续分类识别实验卷积神经网络模型的训练样本；

步骤3，采用人工合成少数类样本对图像分类中的非均衡数据进行训练，采用数据增强的方法增加训练样本的数量；

步骤4，数据增强后，使用目标检测算法YOLOv2框架进行车厢目标检测；

步骤5，按照车厢顺序及装载方式顺序，将绿通车车辆按车厢-装载类型分为8类，对车厢-装载类型进行分类编号将前述所得车厢部位图像，作为卷积神经网络分类的训练数据，80％用于网络训练图像，20％用于测试分类准确率；

步骤6，使用AlexNet、VGG-16、ResNet-152三种卷积神经网络在训练集上对车厢-装载类型分类进行训练；

步骤7，检测训练好的AlexNet、VGG-16、ResNet-152三种卷积神经网络，在测试集上运行三种网络，进行分类测试，得到三种网络分别的平均准确率和过拟合比，依据平均准确率和过拟合比判定训练好的神经网络，选用准确率最高的网络，对需要识别的绿通车车厢-装载类型进行判定。

步骤1中，绿通车图像是从绿通车管理系统中的绿通车图像数据库中获取的；通过拍摄工具对被检查车辆拍照并存储在管理系统中，拍摄内容包括车辆的车侧部位、车头部位、车尾部位和运输货物。

步骤2中，绿通车图像有效性判定标准为通过图像清晰度、背景复杂度、轮廓完整度、拍摄角度及关键部位遮挡五个方面将图像质量分为了五个等级。

步骤3中，数据增强为以已有的图像样本为基础使用随机变换的方法生成更多图像，生成的这些图像要保证从分类的角度依然与原始图像同类别，采用的方法包括：对图片进行水平翻转、调整饱和度或调整对比度。

步骤4中，YOLOv2网络输入图像的分辨率为416×416，输出网格尺寸为13×13，采用固定框后，每个网格预测9个预测框，达到1521个；识别出车厢部位后，指定目标区域已被标识出，通过图像切割将图像中与目标无关的部分剔除，留下需要识别的车辆部位。

图像切割是将目标检测环节中标识出的对象与其他部分分割的方法，图像中需要的目标区域和冗余区域以红色框线为边界，在图像中边界框处的像素点的RGB色彩值和其他区域像素点不同，将图像转化为矩阵，确定红色框线处的RGB值，图像切割首先提取图像中RGB值的点坐标，其次寻找红色点中左下顶点和右上顶点两个顶点坐标(x1，y1)，(x2，y2)作为边界点如下式所示：

x₁＝min{x[RGB(z)＝(225,0,31)]},y₁＝min{y[RGB(z)＝(225,0,31)]}

x₂＝max{x[RGB(z)＝(225,0,31)]},y₁＝max{y[RGB(z)＝(225,0,31)]}

从而确定出整个红色边框进行切割，切割后原始的图像中大部分冗余信息已被去除，最终图像分类只留下车厢核心部位。

步骤5中，货运车辆按车厢类型分为四种：栏板式货车、仓栅式货车、罐式货车或厢式货车；货物的装载方式分为3种：开放式、帆布包裹式或密闭式。

步骤6中，首先在设置初始参数的三种网络上设置训练目标为损失函数最小，经过若干次迭代，当损失函数值降至预先限定的值后，即得到训练好的网络。

实施例：

本发明以实现绿通车车厢-装载类型准确识别为目标，将目标检测算法、非均衡数据集处理等与卷积神经网络模型相结合。各部分详述如下：

图像导入：从陕西省高速公路绿通车管理平台的MySQL数据库中选取拍摄时间为2018.12.1至2018.12.31时间段内拍摄的车侧照，共计3397张，根据附图5所示绿通车图像有效性判定标准判定图像质量，人工评判确定有效图像1373张，无效图像2024张，共3397张图像。

非均衡数据处理：去除无效图片，对有效图像采用人工合成少数类样本的思想，采取数据增强的方法增加训练样本的数量。所谓数据增强，可采用的方法包括：对图片进行水平翻转、调整饱和度、调整对比度等。对有效图像进行非均衡数据处理，得到有效图像5310张。

目标检测：非均衡数据数理后，使用目标检测算法YOLOv2框架进行车厢检测，将车厢作为整体目标进行检测识别，识别出车厢部位，去除错误数据后，得到有效图像5303张。

图像裁剪：在对车轴轮廓标识后需要将图像中被标识区域以外的部分剪切掉。由于图像中需要的目标区域和冗余区域以红色框线为边界，在图像中边界框处的像素点的RGB色彩值和其他区域像素点不同。因此，将图像转化为矩阵，红色框线处的RGB值为(225，0，31)，因此图像切割首先提取图像中RGB值为(225，0，31)的点坐标，其次寻找红色点中左下顶点和右上顶点两个顶点坐标(x1，y1)，(x2，y2)作为边界点，再通过图像剪裁去除掉除车厢以外的图像冗余部分，最终只留下车厢部位图像，此时，有效图像5303张。

卷积神经网络训练：将绿通车车辆按车厢-装载类型分为6类，见附图8，前述所得车厢部位图像中有效图像5303张，选取其中4508张作为卷积神经网络分类的训练集，795张作为测试集。其中6种车厢-装载类型的图像样本分布如下表所示：

类型	人工采集样本数量	数据增强后后样本数量	目标检测、图像切割后样本数量
				11	297	891	888
12	87	783	779
				21	319	957	957
22	228	912	912
				33	147	882	882
43	295	885	885

分别使用AlexNet、VGG-16、ResNet-152三种卷积神经网络在训练集上对车厢-装载类型分类进行训练，首先在设置初始参数的三种网络上设置训练目标为损失函数减小，迭代次数20次，迭代完成后，即得到训练好的三种分类网络。

卷积神经网络测试：分别使用上述训练好的AlexNet、VGG-16、ResNet-152三种卷积神经网络在测试集上对车厢-装载类型型进行6分类测试。实验过程的损失率、正确率变化及混淆矩阵中每一类的准确率如附图9、图10、图11所示。下表为不同网络对绿通车车辆轴型分类的测试结果：

从上述图表可以看出三个网络中，ResNet-152的分类准确率最高达到了98.82％，同时其过拟合比率也是最低的。在平均训练耗时方面，ResNet-152最高达110.20秒/代，AlexNet用时最少仅为9.85秒/代。VGG-16网络的平均耗时及分类准确率都处于中间水平。但三个网络模型在车轴分类实验中都出现了过拟合现象，其原因可能是由于某类样本数量少，进行数据增强后的样本差异较小，卷积神经网络学习的模型过于细化。根据测试结果中的过拟合比及平均准确率评判训练好的神经网络选用，对需要识别的绿通车车厢-装载类型进行判定。

本发明所述绿通车车厢-装载类型识别方法，可完成对绿通车车厢-装载类型的识别及分类。该方法将目标检测算法、非均衡数据集处理等与卷积神经网络模型相结合。通过前期对图片进行预处理，消除部分会造成分类准确率降低的因素，建立有效图片库。与此同时，采用数据增强方法解决样本不均衡问题。使用者只需最开始完成训练图片库的建立，逐步进行各步骤，完成神经网络的训练即可，在后续识别中可直接使用训练好的神经网络对绿通车车厢-装载类型进行识别，极大程度的提高了绿通车车厢-装载类型的识别效率。

三个网络模型在车轴分类实验中都出现了过拟合现象，其原因可能是由于某类样本数量极少，进行数据增强后的样本差异较小，卷积神经网络学习的模型过于细化，因而在实际应用中可大量采集样本，保证样本数量。三个网络均在实验中表现出良好的分类性能，而相比其他两个网络，ResNet-152在多分类的实验中表现出更强大的性能，虽然耗时较长，但准确率高达98.82％，表现极佳。

因此，该发明可顺利完成绿通车车厢-装载类型的识别分类任务。

Claims (8)

1.一种基于卷积神经网络识别绿通车车厢装载类型的方法，其特征在于，包括以下步骤：

步骤1，获取绿通车图像；

步骤2，通过图像质量评价方法中的相对评价法制定绿通车图像有效性判定标准，通过绿通车图像有效性判定标准挑选的图像作为后续分类识别实验卷积神经网络模型的训练样本；

步骤3，采用人工合成少数类样本对图像分类中的非均衡数据进行训练，采用数据增强的方法增加训练样本的数量；

步骤4，数据增强后，使用目标检测算法YOLOv2框架进行车厢目标检测；

步骤5，按照车厢顺序及装载方式顺序，将绿通车车辆按车厢-装载类型分为8类，对车厢-装载类型进行分类编号将前述所得车厢部位图像，作为卷积神经网络分类的训练数据，80％用于网络训练图像，20％用于测试分类准确率；

步骤6，使用AlexNet、VGG-16、ResNet-152三种卷积神经网络在训练集上对车厢-装载类型分类进行训练；

步骤7，检测训练好的AlexNet、VGG-16、ResNet-152三种卷积神经网络，在测试集上运行三种网络，进行分类测试，得到三种网络分别的平均准确率和过拟合比，依据平均准确率和过拟合比判定训练好的神经网络，选用准确率最高的网络，对需要识别的绿通车车厢-装载类型进行判定。

2.根据权利要求1所述的一种基于卷积神经网络识别绿通车车厢装载类型的方法，其特征在于，步骤1中，绿通车图像是从绿通车管理系统中的绿通车图像数据库中获取的；通过拍摄工具对被检查车辆拍照并存储在管理系统中，拍摄内容包括车辆的车侧部位、车头部位、车尾部位和运输货物。

3.根据权利要求1所述的一种基于卷积神经网络识别绿通车车厢装载类型的方法，其特征在于，步骤2中，绿通车图像有效性判定标准为通过图像清晰度、背景复杂度、轮廓完整度、拍摄角度及关键部位遮挡五个方面将图像质量分为了五个等级。

4.根据权利要求1所述的一种基于卷积神经网络识别绿通车车厢装载类型的方法，其特征在于，步骤3中，数据增强为以已有的图像样本为基础使用随机变换的方法生成更多图像，生成的这些图像要保证从分类的角度依然与原始图像同类别，采用的方法包括：对图片进行水平翻转、调整饱和度或调整对比度。

5.根据权利要求1所述的一种基于卷积神经网络识别绿通车车厢装载类型的方法，其特征在于，步骤4中，YOLOv2网络输入图像的分辨率为416×416，输出网格尺寸为13×13，采用固定框后，每个网格预测9个预测框，达到1521个；识别出车厢部位后，指定目标区域已被标识出，通过图像切割将图像中与目标无关的部分剔除，留下需要识别的车辆部位。

6.根据权利要求5所述的一种基于卷积神经网络识别绿通车车厢装载类型的方法，其特征在于，图像切割是将目标检测环节中标识出的对象与其他部分分割的方法，图像中需要的目标区域和冗余区域以红色框线为边界，在图像中边界框处的像素点的RGB色彩值和其他区域像素点不同，将图像转化为矩阵，确定红色框线处的RGB值，图像切割首先提取图像中RGB值的点坐标，其次寻找红色点中左下顶点和右上顶点两个顶点坐标(x1，y1)，(x2，y2)作为边界点如下式所示：

x₁＝min{x[RGB(z)＝(225,0,31)]},y₁＝min{y[RGB(z)＝(225,0,31)]}

x₂＝max{x[RGB(z)＝(225,0,31)]},y₁＝max{y[RGB(z)＝(225,0,31)]}

从而确定出整个红色边框进行切割，切割后原始的图像中大部分冗余信息已被去除，最终图像分类只留下车厢核心部位。

7.根据权利要求1所述的一种基于卷积神经网络识别绿通车车厢装载类型的方法，其特征在于，步骤5中，货运车辆按车厢类型分为四种：栏板式货车、仓栅式货车、罐式货车或厢式货车；货物的装载方式分为3种：开放式、帆布包裹式或密闭式。

8.根据权利要求1所述的一种基于卷积神经网络识别绿通车车厢装载类型的方法，其特征在于，步骤6中，首先在设置初始参数的三种网络上设置训练目标为损失函数最小，经过若干次迭代，当损失函数值降至预先限定的值后，即得到训练好的网络。