CN109902563A - 一种多角度车型识别方法及系统 - Google Patents

Abstract

本发明公开了一种多角度车型识别方法及系统，该方法包括以下步骤：收集多角度车辆图片，构建多角度车辆数据库，进行预处理获得多角度车辆训练图片，未经预处理的图片作为测试样本图片；构建卷积神经网络，在所述卷积神经网络中增加注意力机制，使用深度可分离卷积代替传统卷积；对所述多角度车辆训练图片进行卷积神经网络训练，获得多角度车辆识别模型；通过所述车辆识别模型对所述多角度车辆数据库内的所述测试样本图片进行分类识别。

Description

一种多角度车型识别方法及系统

技术领域

本发明涉及模式识别与图像处理技术领域，具体的说，是一种多角度车型识别方法及系统。

背景技术

多角度车型识别是智能交通系统的重要组成部分之一，具有更加广泛的应用，包括智能停车系统、车辆流量的统计和车辆的检测。随着交通监控摄像机的大量使用，车型识别在计算机视觉领域得到了极大的关注，在大型卷积神经网络提取高维度特征过程中，多角度计算复杂度较高且准确率相对较低。

发明内容

有鉴于此，本发明解决上述技术问题的技术方案如下：一种多角度车型识别方法及系统。本发明为了解决现存问题，提供以下技术方案：

一种多角度车型识别方法，包括以下步骤：

收集多角度车辆图片，构建多角度车辆数据库，进行预处理获得多角度车辆训练图片，未经预处理的图片作为测试样本图片；

构建卷积神经网络，在所述卷积神经网络中增加注意力机制，使用深度可分离卷积代替传统卷积；

对所述多角度车辆训练图片进行卷积神经网络训练，获得多角度车辆识别模型；

通过所述车辆识别模型对所述多角度车辆数据库内的所述测试样本图片进行分类识别。

进一步，所述进行预处理获取多角度车辆训练图片，具体包括以下步骤：

将所述多角度车辆图片剪裁成统一大小，以及对所述剪裁成统一大小的多角度车辆图片进行旋转和镜像，得到数据增强后的样本图片；

将所述数据增强后的样本图片进行灰度化处理，得到多角度车辆训练图片。

进一步，所述构建卷积神经网络，在所述卷积神经网络中增加注意力机制，使用深度可分离卷积代替传统卷积，具体包括以下步骤：

构建卷积神经网络，所述卷积神经网络包括数据输入层、Resnet18网络卷积层、特征层、全连接特征提取层、Drop_out层、全连接分类层和分类损失层；

在所述卷积神经网络中增加注意力机制结构，依次连接Conv1层、Conv2层、全局平均池化层、Fc1层、ReLU层、Fc2层、Sigmoid层，以及与所述Conv2层相连接的Scale层；

在所述卷积神经网络中，将传统卷积核为3*3的卷积层替换成卷积核为3*3的深度卷积层和卷积核为1*1的逐点卷积层，所述深度卷积和逐点卷积合称为深度可分离卷积，在1*1逐点卷积运算后，不使用ReLU激活函数。

进一步，所述注意力机制具体包括：

特征压缩阶段：使用所述全局平均池化层，将所述卷积层的每个通道的二维特征变成一个实数，对所述二维特征进行压缩；

特征激励阶段：使用一个全连接层，将输入的所述二维特征的通道数降低，减少通道的个数，降低计算量；连接ReLU激活函数，保持输出维度不变，得到非线性特征；再通过一个全连接层变回原来的维度，经过Sigmoid函数将特征权重归一化到0-1之间；

特征重标定阶段：使用所述缩放层对每个所述二维特征的通道的权重进行重新标定，将所述二维特征激励操作后输出的权重加权到每个所述通道的二维特征上，以此完成对原始二维特征的重新标定。

进一步，所述深度可分离卷积用于计算复杂度，所述深度可分离卷积计算复杂度具体包括：

深度可分离卷积首先是一组二维的卷积核，其中卷积核的通道数为1，每次只处理一个输入通道，其中二维卷积核的数量与输入通道数一样。逐个卷积处理之后，使用三维1×1的卷积核来处理之前输出的特征图，最终输出的通道数变成了一个指定的数量。一组与通道数相同的二维卷积核的计算量为：

D_k×D_k×M×D_f×D_f

三维1×1卷积核的计算量为：

N×M×D_f×D_f

所以使用深度可分离卷积总的计算量为:

D_k×D_k×M×D_f×D_f+N×M×D_f×D_f

因此使用深度可分离卷积与传统卷积的计算量之比为：

一种实现上述方法的系统，其特征在于，包括包括数据库构建模块、网络构建模块、模型获取模块、车型判定模块；所述数据库构建模块还包括图像处理单元；

所述数据库构建模块用于收集多角度车辆图片，构建多角度车辆数据库，所述图像处理单元用于将图片进行预处理获得多角度车辆训练图片，未经预处理的图片作为测试样本图片；

所述网络构建模块用于构建卷积神经网络，在所述卷积神经网络中增加注意力机制，使用深度可分离卷积代替传统卷积；

所述模型获取模块用于对所述多角度车辆训练图片进行卷积神经网络训练，获得多角度车辆识别模型；

所述车型判定模块用于通过所述车辆识别模型对所述多角度车辆数据库内的所述测试样本图片进行分类识别。

进一步，所述图像处理单元还用于将所述多角度车辆图片剪裁成统一大小，以及对所述剪裁成统一大小的多角度车辆图片进行旋转和镜像，得到数据增强后的样本图片；

所述图像处理单元还用于将所述样本图片进行灰度化处理，得到多角度车辆训练图片。

进一步，所述网络构建模块还用于构建卷积神经网络，包括数据输入层、Resnet18网络卷积层、特征层、全连接特征提取层、Drop_out层、全连接分类层和分类损失层；

所述网络构建模块还用于在所述卷积神经网络中增加注意力机制结构，依次连接Conv1层、Conv2层、全局平均池化层、Fc1层、ReLU层、Fc2层、Sigmoid层，还包括与所述Conv2层相连接的Scale层；

所述网络构建模块还用于在所述卷积神经网络中，将传统卷积核为3*3的卷积层替换成卷积核为3*3的深度卷积层和卷积核为1*1的逐点卷积层，所述深度卷积和逐点卷积合称为深度可分离卷积，在1*1逐点卷积运算后，不使用ReLU激活函数。

进一步，所述注意力机制具体包括：

特征压缩阶段：使用所述全局平均池化层，将所述卷积层的每个通道的二维特征变成一个实数，对所述二维特征进行压缩；

特征激励阶段：使用一个全连接层，将输入的所述二维特征的通道数降低，减少通道的个数，降低计算量；连接ReLU激活函数，保持输出维度不变，得到非线性特征；再通过一个全连接层变回原来的维度，经过Sigmoid函数将特征权重归一化到0-1之间；

特征重标定阶段：使用所述缩放层对每个所述二维特征的通道的权重进行重新标定，将所述二维特征激励操作后输出的权重加权到每个所述通道的二维特征上，以此完成对原始二维特征的重新标定。

进一步，所述深度可分离卷积用于计算复杂度，所述深度可分离卷积计算复杂度具体包括：

深度可分离卷积首先是一组二维的卷积核，其中卷积核的通道数为1，每次只处理一个输入通道，其中二维卷积核的数量与输入通道数一样。逐个卷积处理之后，使用三维1×1的卷积核来处理之前输出的特征图，最终输出的通道数变成了一个指定的数量。一组与通道数相同的二维卷积核的计算量为：

D_k×D_k×M×D_f×D_f

三维1×1卷积核的计算量为：

N×M×D_f×D_f

所以使用深度可分离卷积总的计算量为:

D_k×D_k×M×D_f×D_f+N×M×D_f×D_f

因此使用深度可分离卷积与传统卷积的计算量之比为：

本发明的有益效果是：采用一种基于深度可分离卷积神经网络，用以减少卷积神经网络的参数和压缩生成模型的尺寸，同时使用一种注意力机制网络结构，能够让网络模型对特征权重进行重新标定，使得网络在训练的过程中能够加强有价值的特征通道抑制无用的特征通道。其准确率和识别效率相较于传统方法都有较大的提升。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

图1为本发明实施例提供的一种多角度车型识别方法的流程示意图；

图2为本发明实施例提供的一种多角度车型识别方法的结构示意图；

图3本发明深度可分离卷积网络结构；

图4本发明集中注意力机制网络结构。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1、图3、图4所示，所述多角度车型识别方法包括：

步骤一：收集多角度车辆图片，构建多角度车辆数据库，进行预处理获得多角度车辆训练图片，未经预处理的图片作为测试样本图片；

所述进行预处理获取多角度车辆训练图片，具体包括以下步骤：

将所述多角度车辆图片剪裁成统一大小，以及对所述剪裁成统一大小的多角度车辆图片进行旋转和镜像，得到数据增强后的样本图片；

将所述数据增强后的样本图片进行灰度化处理，得到多角度车辆训练图片。

步骤二：构建卷积神经网络，在所述卷积神经网络中增加注意力机制，使用深度可分离卷积代替传统卷积；

所述步骤二具体包括：

构建卷积神经网络，所述卷积神经网络包括数据输入层、Resnet18网络卷积层、特征层、全连接特征提取层、Drop_out层、全连接分类层和分类损失层；

在所述卷积神经网络中增加注意力机制结构，依次连接Conv1层、Conv2层、全局平均池化层、Fc1层、ReLU层、Fc2层、Sigmoid层，以及与所述Conv2层相连接的Scale层；

在所述卷积神经网络中，将传统卷积核为3*3的卷积层替换成卷积核为3*3的深度卷积层和卷积核为1*1的逐点卷积层，所述深度卷积和逐点卷积合称为深度可分离卷积，在1*1逐点卷积运算后，不使用ReLU激活函数。

所述Drop_out层是为了防止训练过拟合，使网络学习到更加紧凑和更具有区分性特征；

所述卷积层Conv通过卷积核对输入的图像进行卷积运算，然后使用神经元激活函数计算卷积的输出值；

所述全局平均池化层对卷积层输出的特征进行压缩，简化深度网络的计算复杂度，并且提取主要特征；

所述全连接层Fc是将上一层的每个节点都与相邻层的所有节点相连接。

所述Sigmoid层是激活函数，可以把实数域光滑的映射到[0,1]空间；

所述Scale层对输入的数据通道进行数据归一化操作；

所述ReLU层用来加入非线性因素，因为线性模型的表达能力不够。

所述注意力机制具体包括：

特征压缩阶段：使用所述全局平均池化层，将所述卷积层的每个通道的二维特征变成一个实数，对所述二维特征进行压缩；

特征激励阶段：使用一个全连接层，将输入的所述二维特征的通道数降低，减少通道的个数，降低计算量；连接ReLU激活函数，保持输出维度不变，得到非线性特征；再通过一个全连接层变回原来的维度，经过Sigmoid函数将特征权重归一化到0-1之间；

特征重标定阶段：使用所述缩放层对每个所述二维特征的通道的权重进行重新标定，将所述二维特征激励操作后输出的权重加权到每个所述通道的二维特征上，以此完成对原始二维特征的重新标定。

所述使用深度可分离卷积代替传统卷积的计算复杂度对比为：

传统卷积层使用一个和输入数据通道数相同的卷积核，再逐个通道进行求和，得到一个数值，其结果为：

M×D_k×D_k

其中M为输出的通道数，D_k为卷积核的宽和高；

一个卷积核处理输入数据时的计算量为：

D_k×D_k×M×D_f×D_f

其中D_f为输入数据的宽和高；

如果在网络中的某一层使用N个卷积核，则这个卷积层的计算量为：

D_k×D_k×N×M×D_f×D_f

深度可分离卷积首先是一组二维的卷积核，其中卷积核的通道数为1，每次只处理一个输入通道，其中二维卷积核的数量与输入通道数一样。逐个卷积处理之后，使用三维1×1的卷积核来处理之前输出的特征图，最终输出的通道数变成了一个指定的数量。一组与通道数相同的二维卷积核的计算量为：

D_k×D_k×M×D_f×D_f

三维1×1卷积核的计算量为：

N×M×D_f×D_f

所以使用深度可分离卷积总的计算量为:

D_k×D_k×M×D_f×D_f+N×M×D_f×D_f

因此使用深度可分离卷积与传统卷积的计算量之比为：

综上所述，使用深度可分离卷积能够大幅度降低卷积神经网络的计算量。

步骤三：对所述多角度车辆训练图片进行卷积神经网络训练，获得多角度车辆识别模型；

步骤四：通过所述车辆识别模型所述多角度车辆数据库内的所述测试样本图片进行分类识别。

本发明实施例提供的多角度车型识别方法，采用一种基于深度可分离卷积神经网络，用以减少卷积神经网络的参数和压缩生成模型的尺寸，同时使用一种注意力机制网络结构，能够让网络模型对特征权重进行重新标定，使得网络在训练的过程中能够加强有价值的特征通道抑制无用的特征通道。其准确率和识别效率相较于传统方法都有较大的提升。

对应于多角度车型识别方法，本发明实施例还提供了相应的多角度车型识别系统。基于多角度车型识别系统的具体技术内容可以参考前面的多角度车型识别方法的实施例。

图2为本发明实施例提供的一种多角度车型识别方法的结构示意图。

如图2所示，所述系统具体包括：

数据库构建模块100用于收集多角度车辆图片并构建多角度车辆数据库，所述数据库中包括经过图像处理单元200预处理的多角度车辆训练图片和未经预处理的测试样本图片；

图像处理单元200还用于将所述多角度车辆图片剪裁成统一大小，以及对所述剪裁成统一大小的多角度车辆图片进行旋转和镜像，得到数据增强后的样本图片；以及将所述样本图片进行灰度化处理，得到多角度车辆训练图片。

网络构建模块300用于构建卷积神经网络，在所述卷积神经网络中增加注意力机制，使用深度可分离卷积代替传统卷积，具体包括：

所述网络构建模块300还用于构建卷积神经网络，包括数据输入层、Resnet18网络卷积层、特征层、全连接特征提取层、Drop_out层、全连接分类层和分类损失层；

所述网络构建模块300还用于在所述卷积神经网络中增加注意力机制结构，依次连接Conv1层、Conv2层、全局平均池化层、Fc1层、ReLU层、Fc2层、Sigmoid层，还包括与所述Conv2层相连接的Scale层；

所述网络构建模块300还用于在所述卷积神经网络中，将传统卷积核为3*3的卷积层替换成卷积核为3*3的深度卷积层和卷积核为1*1的逐点卷积层，所述深度卷积和逐点卷积合称为深度可分离卷积，在1*1逐点卷积运算后，不使用ReLU激活函数。

模型获取模块400用于对多角度车辆训练图片进行卷积神经网络训练，获得多角度车辆识别模型。

车型判定模块500通过所述车辆识别模型对多角度车辆数据库100内的测试样本图片进行分类识别。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多角度车型识别方法，其特征在于，所述方法包括以下步骤：

收集多角度车辆图片，构建多角度车辆数据库，进行预处理获得多角度车辆训练图片，未经预处理的图片作为测试样本图片；

构建卷积神经网络，在所述卷积神经网络中增加注意力机制，使用深度可分离卷积代替传统卷积；

对所述多角度车辆训练图片进行卷积神经网络训练，获得多角度车辆识别模型；

通过所述车辆识别模型对所述多角度车辆数据库内的所述测试样本图片进行分类识别。

2.根据权利要求1所述的方法，其特征在于，所述进行预处理获取多角度车辆训练图片，具体包括以下步骤：

将所述多角度车辆图片剪裁成统一大小，以及对所述剪裁成统一大小的多角度车辆图片进行旋转和镜像，得到数据增强后的样本图片；

将所述数据增强后的样本图片进行灰度化处理，得到多角度车辆训练图片。

3.根据权利要求1所述的方法，其特征在于，所述构建卷积神经网络，在所述卷积神经网络中增加注意力机制，使用深度可分离卷积代替传统卷积，具体包括以下步骤：

构建卷积神经网络，所述卷积神经网络包括数据输入层、Resnet18网络卷积层、特征层、全连接特征提取层、Drop_out层、全连接分类层和分类损失层；

在所述卷积神经网络中增加注意力机制结构，依次连接Conv1层、Conv2层、全局平均池化层、Fc1层、ReLU层、Fc2层、Sigmoid层，以及与所述Conv2层相连接的Scale层；

在所述卷积神经网络中，将传统卷积核为3*3的卷积层替换成卷积核为3*3的深度卷积层和卷积核为1*1的逐点卷积层，所述深度卷积和逐点卷积合称为深度可分离卷积，在1*1逐点卷积运算后，不使用ReLU激活函数。

4.根据权利要求1或3所述的方法，其特征在于，所述注意力机制具体包括：

特征压缩阶段：使用所述全局平均池化层，将所述卷积层的每个通道的二维特征变成一个实数，对所述二维特征进行压缩；

特征激励阶段：使用一个全连接层，将输入的所述二维特征的通道数降低，减少通道的个数，降低计算量；连接ReLU激活函数，保持输出维度不变，得到非线性特征；再通过一个全连接层变回原来的维度，经过Sigmoid函数将特征权重归一化到0-1之间；

特征重标定阶段：使用所述缩放层对每个所述二维特征的通道的权重进行重新标定，将所述二维特征激励操作后输出的权重加权到每个所述通道的二维特征上，以此完成对原始二维特征的重新标定。

5.根据权利要求1或3所述的方法，其特征在于，所述深度可分离卷积用于计算复杂度，所述深度可分离卷积计算复杂度具体包括：

深度可分离卷积首先是一组二维的卷积核，其中卷积核的通道数为1，每次只处理一个输入通道，其中二维卷积核的数量与输入通道数一样。逐个卷积处理之后，使用三维1×1的卷积核来处理之前输出的特征图，最终输出的通道数变成了一个指定的数量。一组与通道数相同的二维卷积核的计算量为：

D_k×D_k×M×D_f×D_f

三维1×1卷积核的计算量为：

N×M×D_f×D_f

所以使用深度可分离卷积总的计算量为:

D_k×D_k×M×D_f×D_f+N×M×D_f×D_f

因此使用深度可分离卷积与传统卷积的计算量之比为：

6.一种多角度车型识别系统，其特征在于，包括数据库构建模块、网络构建模块、模型获取模块、车型判定模块；所述数据库构建模块还包括图像处理单元；

所述数据库构建模块用于收集多角度车辆图片，构建多角度车辆数据库，所述图像处理单元用于将多角度车辆图片进行预处理获得多角度车辆训练图片，未经预处理的图片作为测试样本图片；

所述网络构建模块用于构建卷积神经网络，在所述卷积神经网络中增加注意力机制，使用深度可分离卷积代替传统卷积；

所述模型获取模块用于对所述多角度车辆训练图片进行卷积神经网络训练，获得多角度车辆识别模型；

所述车型判定模块用于通过所述车辆识别模型对所述多角度车辆数据库内的所述测试样本图片进行分类识别。

7.根据权利要求6所述的系统，其特征在于，所述图像处理单元还用于将所述多角度车辆图片剪裁成统一大小，以及对所述剪裁成统一大小的多角度车辆图片进行旋转和镜像，得到数据增强后的样本图片；

所述图像处理单元还用于将所述数据增强后的样本图片进行灰度化处理，得到多角度车辆训练图片。

8.根据权利要求6所述的系统，其特征在于，所述网络构建模块还用于构建卷积神经网络，包括数据输入层、Resnet18网络卷积层、特征层、全连接特征提取层、Drop_out层、全连接分类层和分类损失层；

所述网络构建模块还用于在所述卷积神经网络中增加注意力机制结构，依次连接Conv1层、Conv2层、全局平均池化层、Fc1层、ReLU层、Fc2层、Sigmoid层，还包括与所述Conv2层相连接的Scale层；

所述网络构建模块还用于在所述卷积神经网络中，将传统卷积核为3*3的卷积层替换成卷积核为3*3的深度卷积层和卷积核为1*1的逐点卷积层，所述深度卷积和逐点卷积合称为深度可分离卷积，在1*1逐点卷积运算后，不使用ReLU激活函数。

9.根据权利要求6或8所述的系统，其特征在于，所述注意力机制具体包括：

特征压缩阶段：使用所述全局平均池化层，将所述卷积层的每个通道的二维特征变成一个实数，对所述二维特征进行压缩；

特征激励阶段：使用一个全连接层，将输入的所述二维特征的通道数降低，减少通道的个数，降低计算量；连接ReLU激活函数，保持输出维度不变，得到非线性特征；再通过一个全连接层变回原来的维度，经过Sigmoid函数将特征权重归一化到0-1之间；

特征重标定阶段：使用所述缩放层对每个所述二维特征的通道的权重进行重新标定，将所述二维特征激励操作后输出的权重加权到每个所述通道的二维特征上，以此完成对原始二维特征的重新标定。

10.根据权利要求6或8所述的系统，其特征在于，所述深度可分离卷积用于计算复杂度，所述深度可分离卷积计算复杂度具体包括：

深度可分离卷积首先是一组二维的卷积核，其中卷积核的通道数为1，每次只处理一个输入通道，其中二维卷积核的数量与输入通道数一样，逐个卷积处理之后，使用三维1×1的卷积核来处理之前输出的特征图，最终输出的通道数变成了一个指定的数量。一组与通道数相同的二维卷积核的计算量为：

D_k×D_k×M×D_f×D_f

三维1×1卷积核的计算量为：

N×M×D_f×D_f

所以使用深度可分离卷积总的计算量为:

D_k×D_k×M×D_f×D_f+N×M×D_f×D_f

因此使用深度可分离卷积与传统卷积的计算量之比为：