CN109948643A

CN109948643A - 一种基于深层网络融合模型的车辆类型分类方法

Info

Publication number: CN109948643A
Application number: CN201910054955.8A
Authority: CN
Inventors: 赵池航; 李彦伟; 林盛梅; 钱子晨; 石鑫; 张澄; 毛志坚
Original assignee: Southeast University
Current assignee: Southeast University
Priority date: 2019-01-21
Filing date: 2019-01-21
Publication date: 2019-06-28

Abstract

本发明提供了一种基于深层网络融合模型的车辆类型分类方法，包括：对获取的车辆图像搜索车牌区域，定位和分割车脸图像；构建Resnet50网络模型，对车脸图像进行特征提取，获得1×2048维的车型特征向量F_R；构建InceptionV3网络模型，对车脸图像进行特征提取，获得1×2048维的车型特征向量F_I；构建Xception网络模型，对车脸图像进行特征提取，获得1×2048维的车型特征向量F_X；将获取的车脸图像特征向量F_R、F_I和F_X进行融合，得到3×2048维的车型融合特征向量F_C；构建深层网络融合模型的输出层，并根据获取的车型融合特征向量F_C对车辆类型进行分类。本发明性能优于现有车型分类方法。

Description

一种基于深层网络融合模型的车辆类型分类方法

技术领域

本发明属于智能交通技术领域，涉及车辆分类方法，具体涉及一种基于深层网络融合模型的车辆类型分类方法。

背景技术

车辆检测技术是智能交通系统中重要的一环，广泛应用于各种交通场景，如辅助驾驶、交通流检测、ETC不停车收费系统等，对于解决交通难题起着重大作用。与传统的车辆检测技术相比，基于图像的车辆检测技术具有以下优点：安装容易，视频传感器安装在龙门架或者道路两侧，且可与监控系统合二为一，不破坏路基不影响交通，价格便宜；得到的信息丰富，能现场重现；可对静止车辆进行检测。

随着GPU的快速发展，计算机的图像处理能力得到了大幅度提高，随之而来的是深度学习的快速发展。深度学习相比于传统的机器学习算法相比，深度学习不需要手动的提取特征，这使得深度学习具有很好的普适性和自适应性。深度学习算法可以灵活地在训练数据的驱动下自主学习特征，利用深度网络进行特征描述，相对于传统的神经网络，深度学习网络权值共享，逐层训练等策略大大提高了计算效率。目前，现有技术尚未将深度学习用于自然场景图片的车辆定位和车型分类中。

发明内容

为解决上述问题，本发明公开了一种基于深层网络融合模型的车辆类型分类方法，利用深度学习方法有效地对车型进行检测和识别。

为了达到上述目的，本发明提供如下技术方案：

一种基于深层网络融合模型的车辆类型分类方法，包括如下步骤：

1)对获取的车辆图像采用遍历匹配算法搜索车辆的车牌区域，并根据车脸区域与车牌区域的比例关系来定位和分割车脸图像；

2)构建用于车型特征提取的Resnet50网络模型，并采用该模型对车脸图像进行特征提取，获得1×2048维的车型特征向量F_R；

3)构建用于车型特征提取的InceptionV3网络模型，并采用该模型对车脸图像进行特征提取，获得1×2048维的车型特征向量F_I；

4)构建用于车型特征提取的Xception网络模型，并采用该模型对车脸图像进行特征提取，获得1×2048维的车型特征向量F_X；

5)采用特征并联融合规则，将获取的车脸图像特征向量F_R、F_I和F_X进行融合，得到3×2048 维的车型融合特征向量F_C；

6)构建用于车辆类型分类的深层网络融合模型的输出层，并根据获取的车型融合特征向量F_C对车辆类型进行分类。

进一步的，所述步骤1)具体包括如下过程：

首先，定位车牌对称中心，并令车牌大小为W×H，其中，W为H车牌宽度W，H为车牌高度；在车牌搜索区域内进行遍历匹配，统计每个大小为W×H窗口内的目标像素个数，当目标像素个数超过某一阈值时将对应窗口标记为车牌区域，否则排除该窗口，像素个数阈值满足以下要求：

其中，为搜索区域内所有目标像素个数，i，j为目标区域内像素点水平、垂直的位置坐标；ρ为系数，t为阈值；得到检测区域内实际车牌宽为1W_p，以2.6W_p，高为1.1W_p的矩形区域提取车辆前脸图像区域，提取的车辆前脸图像分辨率为320×120。

进一步的，所述步骤2)中构建用于车型特征提取的Resnet50网络模型，所构建的Resnet50 网络模型包括7×7的卷积层，3×3池化层，3个conv2_x单元、4个conv3_x单元、6个conv4_x 单元和3个conv5_x单元，最后为7×7的平均池化层；其中conv2_x单元、conv3_x单元、 conv4_x单元和conv5_x单元均包括3个卷积层，每个卷积层的卷积算子依次分别为1×1，3 ×3和1×1；并采用该模型对车脸图像进行特征提取，获得1×2048维的车型特征向量F_R。

进一步的，所述步骤3)中构建用于车型特征提取的InceptionV3网络模型，所构建的 InceptionV3模型的结构为：第一层(卷积层-卷积层-卷积层-池化层)，第二层(卷积层-卷积层-池化层)，第三层(3个InceptionA单元)，第四层(1个Inception B单元)，第五层Block 5(4个Inception C单元)，第六层(1个InceptionD单元)，第七层(2个Inception E单元)；并采用该模型对车脸图像进行特征提取，获得1×2048维的车型特征向量F_I；

进一步的，所述步骤4)中构建用于车型特征提取的Xception网络模型，所构建的Xception 网络模型包括输入模块、中间模块和输出模块，输入模块包括两个卷积核为3×3的卷积运算单元和8个包含2次带ReLU激活函数的3×3深度可分卷积运算和最大池化的深度可分卷积运算单元，中间模块包括8个依次连接的包含3次带ReLU激活函数的3×3深度可分卷积运算单元，输出模块包括一个包含2次带ReLU激活函数的3×3深度可分卷积运算和最大池化的深度可分卷积运算单元，还包括2个带ReLU激活函数的3×3深度可分卷积运算单元，并进行全局平均池化；并采用该模型对车脸图像进行特征提取，获得1×2048维的车型特征向量 F_X。

进一步的，所述步骤5)具体包括如下过程：采用特征并联融合规则，将获取的车脸图像特征向量F_R、F_I和F_X进行融合，得到3×2048维的车型融合特征向量F_C；

进一步的，所述步骤6)具体包括如下过程：构建用于车辆类型分类的深层网络融合模型的输出层，所构建的输出层中的Dropout层的丢弃率为0.5，全连接层采用Softmax函数与输出节点相连，最终输出一个6维向量，该向量中最大分量对应的类别即为最终分类结果，车辆类型包括客车、小客车、小货车、轿车、SUV、卡车和其他类型。

与现有技术相比，本发明具有如下优点和有益效果：

本发明采用深层网络融合模型对车辆类型进行分类，其分类准确率高达95.43％，实验结果表明所提出的用于车型分类的深层网络融合模型(FDNN-VCM)的性能优于基于联合特征的车辆类型分类方法(HOG+Gabor+LDA)和基于常规深度网络模型的车型分类方法(InceptionV3-VCM)。本发明能够应用于各种交通场景，例如：辅助驾驶系统、交通流检测和ETC不停车收费等的车辆检测及分类等等。

附图说明

图1为本发明构建的深层网络融合模型结构示意图。

图2为FDNN-VCM、HOG+Gabor+LDA和InceptionV3-VCM三种方法对比实验图，其中(a) 为六种车辆类型分类实验的柱状图，(b)为六种车辆类型分类实验的箱线图。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

本发明在三种深度学习模型的基础上，根据车型识别需要去除原模型最后的全连接层，构建基于InceptionV3的车型分类模型、基于Xception的车型分类模型和基于Resnet50的车型分类模型，并采用并联融合规则，对三个模型输出的融合特征向量加入参数优化层、Dropout 层和全连接层，构建了深层网络融合模型。最终通过模型得到输出向量，该向量中最大分量对应的类别即为最终分类结果。具体地说，本发明方法包括如下步骤：

第一步：采用监控相机获取车辆图像，对车辆图像采用遍历匹配算法搜索车辆的车牌区域，并根据车脸区域与车牌区域的比例关系来定位和分割车脸图像：

首先，定位车牌对称中心，并令预设车牌大小为W×H，在车牌搜索区域内进行遍历匹配，统计每个大小为W×H窗口内的目标像素个数，当目标像素个数超过某一阈值时将对应窗口标记为车牌区域，否则排除该窗口，像素个数阈值满足以下要求：

其中，为搜索区域内所有目标像素个数；i，j为目标区域内像素点水平、垂直的位置坐标；系数ρ取1.2，决定阈值t的大小。由于车辆前脸图像尺寸与车牌图像之间存在固定关系，得到检测区域内实际车牌宽为1W_p，以宽为2.6W_p，高为1.1W_p的矩形区域提取车辆前脸图像区域，分辨率为320×120。

第二步：构建用于车型特征提取的Resnet50网络模型，并基于车脸图像获取1×2048维的车型特征向量F_R：首先将原始车脸图像320×120×3规格化为240×360×3，经过基于 Resnet50的车型分类模型后得到2048维的输出特征。

基于Resnet50的车型分类模型，是在Resnet50模型的基础上，取消了模型本身的全连接层，在模型最后加入了参数优化层，即平均池化层来代替全连接层。因此，基于Resnet50的车型分类模型结构为：第一层是7×7的卷积层，之后进行3×3最大池化，之后连接3个 conv2_x单元(卷积算子依次为1×1，3×3和1×1)、4个conv3_x单元(卷积算子依次为1 ×1，3×3和1×1)、6个conv4_x单元(卷积算子依次为1×1，3×3和1×1)和3个conv5_x 单元(卷积算子依次为1×1，3×3和1×1)，最后为7×7的平均池化层。

第三步：构建用于车型特征提取的InceptionV3网络模型，并基于车脸图像获取1×2048 维的车型特征向量F_I：将原始车脸图像320×120×3规格化为320×480×3，经过基于 InceptionV3的车型分类模型，得到2048维的输出特征。

基于InceptionV3的车型分类模型，是在InceptionV3的基础上去除最后的全连接层。因此，基于InceptionV3的车型分类模型的结构为：第一层(卷积层-卷积层-卷积层-池化层)，第二层(卷积层-卷积层-池化层)，第三层(3个InceptionA单元)，第四层(1个Inception B 单元)，第五层Block5(4个Inception C单元)，第六层(1个Inception D单元)，第七层(2 个Inception E单元)。其中Inception单元是由不同尺寸卷积核叠加而成，不同的Inception单元具有不同的卷积核横向、纵向的叠加结构，这个叠加过程增加了网络的“宽度”，同时也增加了网络对于尺度的适应性。不同Inception单元的结构如图1所示。

第四步：构建用于车型特征提取的Xception网络模型，并基于车脸图像获取1×2048维的车型特征向量F_X：将原始车脸图像320×120×3规格化为320×480×3，经过基于Xception 的车型分类模型，得到2048维的输出特征。

对于基于Xception的车型分类模型，其结构依次分为三个模块：输入模块、中间模块和输出模块。首先进行两次卷积核为3×3的卷积运算、激活函数ReLU提高非线性；然后连接输入模块中的3个深度可分卷积运算单元，每个单元包含了2次带ReLU激活函数的3×3深度可分卷积运算和最大池化；其次，中间模块是8个相同的深度可分卷积运算单元相连，每个单元包含了3次带ReLU激活函数的3×3深度可分卷积运算；输出模块是1个深度可分卷积运算单元，运算单元包含2次带ReLU激活函数的3×3深度可分卷积运算和最大池化；最后进行2次带ReLU激活函数的3×3深度可分卷积运算，并进行全局平均池化。

第五步：采用特征并联融合规则，将获取的车脸图像特征向量F_R、F_I和F_X进行融合，得到3×2048维的车型融合特征向量F_C。

第六步：构建用于车辆类型分类的深层网络融合模型的输出层，并根据获取的车型融合特征向量F_C对客车、小客车、小货车、轿车、SUV和卡车等类型车辆进行分类。如图1所示，三个模型得到3×2048维特征，之后采用丢弃率为0.5的Dropout层，最后是一个全连接层并用Softmax函数与输出节点相连，最终输出一个6维向量，该向量中最大分量对应的类别即为最终分类结果。

图2为FDNN-VCM、HOG+Gabor+LDA和InceptionV3-VCM三种方法对比实验图，由图中可知，本发明提供的FDNN-VCM分类准确率高达95.43％，明显优于HOG+Gabor+LDA 方法和InceptionV3-VCM方法。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims

1.一种基于深层网络融合模型的车辆类型分类方法，其特征在于，包括如下步骤：

5)采用特征并联融合规则，将获取的车脸图像特征向量F_R、F_I和F_X进行融合，得到3×2048维的车型融合特征向量F_C；

2.根据权利要求1所述的基于深层网络融合模型的车辆类型分类方法，其特征在于，所述步骤1)具体包括如下过程：

根据权利要求1所述的基于深层网络融合模型的车辆类型分类方法，其特征在于，首先，定位车牌对称中心，并令车牌大小为W×H，其中，W为H车牌宽度，H为车牌高度；在车牌搜索区域内进行遍历匹配，统计每个大小为W×H窗口内的目标像素个数，当目标像素个数超过某一阈值时将对应窗口标记为车牌区域，否则排除该窗口，像素个数阈值满足以下要求：

3.根据权利要求1所述的基于深层网络融合模型的车辆类型分类方法，其特征在于，所述步骤2)中构建用于车型特征提取的Resnet50网络模型，所构建的Resnet50网络模型包括7×7的卷积层，3×3池化层，3个conv2_x单元、4个conv3_x单元、6个conv4_x单元和3个conv5_x单元，最后为7×7的平均池化层；其中conv2_x单元、conv3_x单元、conv4_x单元和conv5_x单元均包括3个卷积层，每个卷积层的卷积算子依次分别为1×1，3×3和1×1；并采用该模型对车脸图像进行特征提取，获得1×2048维的车型特征向量F_R。

4.根据权利要求1所述的基于深层网络融合模型的车辆类型分类方法，其特征在于，所述步骤3)中构建用于车型特征提取的InceptionV3网络模型，所构建的InceptionV3模型的结构为：第一层、第二层、第三层、第四层、第五层Block 5、第六层、第七层，所述第一层包括：卷积层-卷积层-卷积层-池化层，所述第二层包括：卷积层-卷积层-池化层，所述第三层包括：3个Inception A单元，所述第四层包括：1个Inception B单元，所述第五层Block5包括：4个Inception C单元，所述第六层包括：1个Inception D单元，所述第七层包括：2个Inception E单元；并采用该模型对车脸图像进行特征提取，获得1×2048维的车型特征向量F_I。

5.根据权利要求1所述的基于深层网络融合模型的车辆类型分类方法，其特征在于，所述步骤4)中构建用于车型特征提取的Xception网络模型，所构建的Xception网络模型包括输入模块、中间模块和输出模块，输入模块包括两个卷积核为3×3的卷积运算单元和8个包含2次带ReLU激活函数的3×3深度可分卷积运算和最大池化的深度可分卷积运算单元，中间模块包括8个依次连接的包含3次带ReLU激活函数的3×3深度可分卷积运算单元，输出模块包括一个包含2次带ReLU激活函数的3×3深度可分卷积运算和最大池化的深度可分卷积运算单元，还包括2个带ReLU激活函数的3×3深度可分卷积运算单元；并采用该模型对车脸图像进行特征提取，获得1×2048维的车型特征向量F_X。

6.根据权利要求1所述的基于深层网络融合模型的车辆类型分类方法，其特征在于，所述步骤5)中采用特征并联融合规则，将获取的车脸图像特征向量F_R、F_I和F_X进行融合，得到3×2048维的车型融合特征向量F_C。

7.根据权利要求1所述的基于深层网络融合模型的车辆类型分类方法，其特征在于，所述步骤6)中构建用于车辆类型分类的深层网络融合模型的输出层，所构建的输出层中的Dropout层的丢弃率为0.5，全连接层采用Softmax函数与输出节点相连，最终输出一个6维向量，该向量中最大分量对应的类别即为最终分类结果，车辆类型包括客车、小客车、小货车、轿车、SUV、卡车和其他类型。