CN111523401A - 一种识别车型的方法 - Google Patents

Abstract

本发明一种识别车型的方法，涉及用于识别图形的方法，是基于车辆可见光和红外图像的深度学习神经网络车型识别的方法，利用深度学习神经网络的卷积层、批量归一化层和赤化层全连接层的深度学习神经网络标准化模块结构，并采用相同尺寸的不同车型可见光和红外图像对深度学习神经网络训练和测试，克服了注重车辆可见光图像特征而忽略红外图像特征和注重车辆红外图像特征而忽略可见光图像特征两种方法以及使用车辆可见光图像和红外图像特征而没有使用深度学习神经网络的方法造成的车型识别准确率不高的缺陷。

Description

一种识别车型的方法

技术领域

本发明的技术方案涉及用于识别图形的方法，具体地说是一种识别车型的方法。

背景技术

有效地识别车型，有利于道路的规划和监控。现代化的今天，车辆提高了交通运输的效率，改善了人们生活环境，推动社会的发展，但是近年车辆数量迅速的增加带来很多交通隐患，因此需要对车辆类型进行识别，实现车辆智能监控的智能交通。智能交通可以掌握行使车辆类型及数量，规划道路不同车辆的流量，及时地发布交通信息，并对道路容量进行规划。

现有技术中识别车型的方法主要有三种：采用车辆可见光或者红外图像特征量识别车型、采用车辆可见光和红外结合的图像特征量识别车型以及采用车辆可见光或者红外图像的深度卷积神经网络方法识别车型，分别介绍如下。

采用车辆可见光图像特征量识别车型现有技术：CN109598218A公开了一种车型的快速识别方法，是采用颜色空间转换和多通道HOG特征提取算法相结合，提取车辆前脸特征，在BIT-Vehicle(车辆)数据库上的实验，建立样本特征与样本标签之间的关系。

采用红外图像识别车型特征量识别车型现有技术：CN103886286A公开了车辆的检测方法及装置，通过将待检测的远红外图像转化为对应的二类化图像，确定二类化图像中每个连通区域的特征向量，根据每个连通区域的特征向量确定远红外图像中的所有车辆；CN105335723A公开了一种基于红外结构光的车型识别方法，通过红外光栅投影仪-摄像机装置获取结构光成像数据，计算被检测车辆的三维轮廓信息，采用支持向量机多分类法将车辆的进行分类，从而识别出被检测车辆的车型；论文(激光与红外，2016，46(8)：1018-1022)研究了基于SLPP-SHOG的红外图像车辆检测。

采用开展可见光和红外结合的图像特征量识别车型的现有技术：CN104995910A公开了利用融合的红外图像增强，成像系统包括可见光谱成像模块、红外成像模块和用于与用户和/或监视系统交互的其他模块；CN106023129A公开了红外与可见光图像融合的汽车抗晕光视频图像处理方法，采集夜间道路红外图像和可见光图像，以红外图像为准进行图像配准；CN209765730U公开了一种车型识别系统，综合处理扫描式激光测距仪扫描的车辆轮廓和红外热成像仪的车辆温度分布信息，识别出车型。

采用车辆可见光图像深度学习卷积神经网络方法识别车型的现有技术：CN109753999A公开了针对任意视角汽车图片的细粒度车型识别方法，采用深度卷积神经网络，根据Stanford Cars(斯坦福车辆)数据集训练第一个分支网络，再对原始图片中的汽车区域定位裁剪，使用裁剪后的图片训练第二个分支网络及筛选，将保留下来的图片送入第三个分支网络进行训练，然后确定每个分支网络的输出权重，对网络的输出加权求和，最大输出值对应的类别即为车型类别；论文(基于卷积神经网络的轿车车型精细识别方法，河北科技大学学报，2017，38(6)：564-569)报道自建了一个可供车辆识别研究及应用的标准数据库，该数据库包含240类不同品牌、车系、年款的小轿车车型图像,共采集不同尺度、光照、角度的车辆图片，该论文中没有涉及到车辆红外图像；CN105975941B公开了一种基于深度学习的多方向车型检测识别系统，对于非固定视角下拍摄的汽车图像，采用基于卷积神经网络的车辆检测定位，检测出图像中的汽车位置，研究基于深度学习神经网络的多方向车型检测识别系统。

采用采用车辆红外图像深度学习卷积神经网络方法识别车型的现有技术：论文(Infrared Physics and Technology，2020，104：103120)采集了车辆红外图像，结合利用深度学习神经网络研究车型类型识别。

上述车型识别方法的现有技术存在下面缺陷：①在使用车辆可见光图像识别车型方法中，虽然采用可见光图像特征量识别车辆车型的方法逐渐地被深度学习神经网络取代，但是注重了车辆可见光图像而忽略车辆红外图像，没有体现出车辆红外特征，只注重可见光图像深度学习神经网络会降低其识别准确率；②在使用车辆红外图像识别车型方法中，采用红外图像特征量识别车型的方法逐渐地被深度学习神经网络取代，但是注重了车辆红外图像而忽略车辆可见光图像，没有体现出车辆可见光特征，只注重红外图像深度学习神经网络会降低其识别准确率；③采用场景的仅可见光谱图像要么不可用，要么比场景的红外图像更加不期望，在这种情况下选择场景的红外图像识别车型，没有同时使用车辆可见光图像和红外图像；④在采用开展可见光和红外结合的图像特征量识别车型的现有技术中，以红外图像为准进行图像配准，虽然能够有效规避因晕光引起的碰撞问题，以及结合处理扫描式激光测距仪扫描的车辆轮廓和红外热成像仪的车辆温度分布信息，但是因没有采用深度学习神经网络，不具备深度学习神经网络高准确率的特征。

归纳起来，在识别车型的方法的现有技术中，注重了车辆可见光图像深度学习神经网络的识别，却忽略了车辆红外图像的特征；而采用车辆红外图像深度学习神经网络的方法中，却忽略了车辆可见光图像；同时注重车辆可见光图像和红外图像特征识别车型的方法又没有采用深度学习神经网络，这三种方法均存在车型识别准确率不高的缺陷。

发明内容

本发明所要解决的技术问题是：提供一种识别车型的方法，是基于车辆可见光和红外图像的深度学习神经网络车型识别的方法，利用深度学习神经网络的卷积层、批量归一化层和赤化层全连接层的深度学习神经网络标准化模块结构，并采用相同尺寸的不同车型可见光和红外图像对深度学习神经网络训练和测试，克服了注重车辆可见光图像特征而忽略红外图像特征和注重车辆红外图像特征而忽略可见光图像特征两种方法以及使用车辆可见光图像和红外图像特征而没有使用深度学习神经网络的方法造成的车型识别准确率不高的缺陷。

本发明解决该技术问题所采用的技术方案是：一种识别车型的方法，是基于车辆可见光和红外图像的深度学习神经网络车型识别的方法，利用深度学习神经网络的卷积层、批量归一化层和赤化层全连接层的深度学习神经网络标准化模块结构，并采用相同尺寸的不同车型可见光和红外图像对深度学习神经网络训练和测试，具体步骤如下：

第1步，车辆可见光图像输入深度学习神经网络中的两组卷积层、批量归一化层和赤化层后至第1步的扁平层F_V：

第1-(1)步，车辆可见光图像输入包含卷积层、批量归一化层和赤化层的第V₁组：

相同尺寸的车辆可见光图像中的一类车辆可见光图像，输入到包含卷积层、批量归一化层和赤化层的第V₁组，完成车辆可见光图像在第V₁组的计算过程：车辆可见光图像经过第V₁组中卷积层的卷积后，输出到第V₁组的批量归一化层，经过第V₁组的批量归一化层的输出后输入第V₁组的赤化层，完成第V₁组卷积层、批量归一化层和赤化层的计算，为包含卷积层、批量归一化层和赤化层的第V₂组提供输入；

第1-(2)步，第V₁组的输出输入到包含卷积层、批量归一化层和赤化层的第V₂组：

将上述第1-(1)步经过第V₁组计算的输出输入到包含卷积层、批量归一化层和赤化层的第V₂组，第V₁组的输出经过在第V₂组中卷积层的卷积计算，输出到第V₂组的批量归一化层，经过第V₂组的批量归一化层的输出后输入第V₂组的赤化层，完成第V₂组卷积层、批量归一化层和赤化层的计算；

第1-(3)步，第V₂组的输出输入到第1步的扁平层F_V：

将上述第1-(2)步经过第V₂组计算的输出输入到第1步的扁平层F_V，计算第1步的扁平层F_V的输出；

第2步，车辆红外图像输入深度学习神经网络中的两组卷积层、批量归一化层和赤化层后至第2步的扁平层F_I：

第2-(1)步，车辆红外图像输入包含卷积层、批量归一化层和赤化层的第I₁组：

与上述第1步输入深度学习神经网络的车辆可见光图像相同尺寸的相同类型的车辆红外图像，输入到包含卷积层、批量归一化层和赤化层的第I₁组，完成车辆红外图像在第I₁组的计算过程：车辆红外图像经过第I₁组中卷积层的卷积后，输出到第I₁组的批量归一化层，第I₁组卷积层、批量归一化层和赤化层，与第V₁组卷积层、批量归一化层和赤化层对应构建方法相同，经过第I₁组的批量归一化层的输出后输入第I₁组的赤化层，完成第I₁组卷积层、批量归一化层和赤化层的计算，为包含卷积层、批量归一化层和赤化层的第I₂组提供输入；

第2-(2)步，第I₁组的输出输入到第I₂组的卷积层、批量归一化层和赤化层：

将上述第2-(1)步经过第I₁组计算的输出输入到包含卷积层、批量归一化层和赤化层的第I₂组，第I₁组的输出经过在第I₂组中卷积层的卷积计算，输出到第I₂组的批量归一化层，经过第I₂组的批量归一化层的输出后输入第I₂组的赤化层，第I₂组卷积层、批量归一化层和赤化层，与第V₂组卷积层、批量归一化层和赤化层对应构建方法相同，完成第I₂组卷积层、批量归一化层和赤化层的计算；

第2-(3)步，第I₂组的输出输入到第2步的扁平层F_I：

将上述第2-(2)步经过第I₂组计算的输出输入到第2步的扁平层F_I，计算第2步的扁平层F_I的输出，第2步中扁平层F_I与第1步中扁平层F_V结构相同；

第3步，将第1步的扁平层F_V和第2步的扁平层F_I两个输出输入到数组拼接层及最后到标准一维全连接层：

第3-(1)步，第1步的扁平层F_V和第2步的扁平层F_I的两个输出到数组拼接层：

经过获得第1步的扁平层F_V输出和第2步的扁平层F_I各自的输出，同时输入到数组拼接层，车辆可见光图像和车辆红外图像分别经过第1步和第2步各自的两组卷积层、批量归一化层和赤化层，再经过各自的扁平层F_V和扁平层F_I后输出到数组拼接层；

第3-(2)步，数组拼接层的输出输入到一维全连接层，并计算输出深度学习神经网络的输出：

由上述第3-(1)步的数组拼接层的输出输入到一维全连接层，并计算深度学习神经网络的输出；

第4步 深度学习神经网络参数修正：

数组拼接层的输出输入到一维全连接层，确定了深度学习神经网络的输出，根据标定车辆类型判断深度学习神经网络的正确性，反馈到整个深度学习神经网络中，修正各个连接权、阈值以及每一个卷积层每一个核的数值，完成深度学习神经网络的同一类车型的深度学习神经网络参数修正，即完成同一类车型对深度学习神经网络的一次训练；

第5步 所有车型深度学习神经网络训练：

上述第1步～上述第4步完成同一类车型对深度学习神经网络的一次训练，将所有车型的可见光和红外图像分别输入深度学习神经网络，再经过上述第1步～上述第4步，完成可见光和红外图像多种车型深度学习神经网络的训练；

第6步 深度学习神经网络训练后的车型识别：

将测试车型的可见光和红外图像输入经过上述第1步～上述第5步所有车型训练后的深度学习神经网络，测试车型图像与训练车型图像具有相同尺寸，再经过上述第1步～上述第3步确定训练深度学习神经网络的输出，对比输入可见光和红外图像的车型，得到测试准确率；

逐渐增加深度学习神经网络训练次数，并观察每一次深度学习神经网络训练的测试准确率，最终使深度学习神经网络达到最佳优化，至此，完成识别车型。

上述一种识别车型的方法，所述车辆可见光和红外图像车型的深度学习神经网络识别退化成只有车辆可见光图像深度学习神经网络识别的过程：车辆可见光图像不变，用像素值为0的黑色图像代替车辆红外图像，黑色图像尺寸与车辆可见光图像相同；所述车辆可见光和红外图像车型的深度学习神经网络识别退化成只有车辆红外图像深度学习神经网络识别的过程：车辆红外图像不变，用像素值为0的黑色图像代替车辆可见光图像，黑色图像尺寸与车辆红外图像相同；

上述一种识别车型的方法，第1步中车辆可见光图像输入深度学习神经网络中的两组卷积层、批量归一化层和赤化层后至第1步的扁平层F_V，只包含两组卷积层、批量归一化层和赤化层，必要时增加或者减少深度学习神经网络模块数量或者组的数量，满足不同识别率和训练时间的要求。

上述一种识别车型的方法，第2步中车辆红外图像输入深度学习神经网络中的两组卷积层、批量归一化层和赤化层后至第2步扁平层F_I，只包含两组卷积层、批量归一化层和赤化层，必要时增加或者减少深度学习神经网络模块数量或者组的数量，满足不同识别率和训练时间的要求。

上述一种识别车型的方法，其中所述批量归一化层中采用方法是深度学习神经网络中通用的方法，所述赤化层中采用方法是深度学习神经网络中通用的方法，所述深度学习神经网络训练过程：输入图像->深度学习神经网络输出车类与输入图像对应车型对比->反馈深度学习神经网络参数，深度学习神经网络训练过程是本技术领域所公知的，所述深度学习神经网络网络测试过程：输入图像->深度学习神经网络输出车类与输入图像对应车型对比->计算测试准确率，深度学习神经网络网络测试过程是本技术领域所公知的，所涉及的深度学习神经网络中卷积、连接权和阈值参数的初始值设置、训练中的卷积计算、连接权、阈值网络各个参数的修正以及测试准确率操作方法是本技术领域所公知的，深度学习神经网络是Python中常用的方法。

本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：

(1)由于近年来深度学习神经网络在计算机视觉领域取得了重大进展，逐渐取代了基于图像预处理、特征提取和分类以及三层神经网络的车型识别。另一方面，为了达到深度学习神经网络识别车型的较高准确率，需要合理设计深度学习神经网络。本发明方法基于车辆可见光图像、红外图像和深度学习神经网络相结合的车型识别，有效地克服了单一可见光或者红外波长范围内车辆图像识别车型存在的缺陷，既能够反映出车辆的可见光(380nm～780nm)特征，又能够体现出车辆红外(0.75μm～300μm)特征，克服了注重车辆可见光特征而忽略红外特征以及注重车辆红外特征而忽略可见光特征两种模型的缺陷；本发明方法同时采用了准确率较高的深度学习神经网络，克服使用车辆可见光和红外特征而没有使用深度学习神经网络的方法车型识别准确率低的缺陷。

(2)本发明方法中车辆可见光和红外图像分别经过第1步和第2步的处理，由第3步合成并输出，经过深度学习神经网络的训练，并采用车辆可见光和红外图像进行测试训练后深度学习神经网络的准确率。

(3)为了对比同时使用车辆可见光和红外图像深度学习神经网络准确率高的优越性，分别退化成只有使用车辆可见光图像或者车辆红外图像深度学习神经网络识别车辆类型。退化成只有车辆可见光图像深度学习神经网络识别车型过程：车辆可见光图像输入深度学习神经网络中的两组卷积层、批量归一化层和赤化层后至第1步的扁平层F_V，像素值为0的黑色图像代替车辆红外图像，输入深度学习神经网络中的两组卷积层、批量归一化层和赤化层后至第2步的扁平层F_I，将第1步的扁平层F_V和第2步的扁平层F_I两个输出输入到数组拼接层及最后到标准一维全连接层，深度学习神经网络参数修正，所有车型深度学习神经网络训练，车辆可见光待测试图像和像素值为0的黑色图像代替车辆红外图像，对深度学习神经网络训练后的车型识别。退化成只有车辆红外图像深度学习神经网络识别车型过程：像素值为0的黑色图像代替车辆可见光图像，输入深度学习神经网络中的两组卷积层、批量归一化层和赤化层后至第1步的扁平层F_V，车辆红外图像输入深度学习神经网络中的两组卷积层、批量归一化层和赤化层后至第2步的扁平层F_I，将第1步的扁平层F_V和第2步的扁平层F_I两个输出输入到数组拼接层及最后到标准一维全连接层，深度学习神经网络参数修正，所有车型深度学习神经网络训练，像素值为0的黑色图像代替车辆可见光图像和车辆红外待测试图像，对深度学习神经网络训练后的车型识别。

也就是说，在本发明方法实施中，当只有车辆可见光图像而没有车辆红外图像时，用像素值为0的黑色图像代替车辆红外图像，黑色图像尺寸与车辆可见光图像相同，本发明基于车辆可见光图像、红外图像和深度学习神经网络相结合的车型识别的方法退化成基于车辆可见光图像和深度学习神经网络相结合的车型识别的方法，具有向车辆可见光图像和深度学习神经网络相结合的车型识别方法转换的功能。当只有车辆红外图像而没有车辆可见光图像时，用像素值为0的黑色图像代替车辆可见光图像，黑色图像尺寸与车辆红外图像相同，本发明基于车辆可见光图像、红外图像和深度学习神经网络相结合的车型识别的方法退化成基于车辆红外图像和深度学习神经网络相结合的车型识别的方法，具有向车辆红外图像和深度学习神经网络相结合的车型识别方法转换的功能。

(4)本发明方法采用深度学习神经网络卷积层、卷积层、批量归一化层和赤化层、扁平层、数组拼接层和标准一维全连接层的深度学习神经网络标准化模块结构，更加标准化。

(5)CN109598218A采用颜色空间转换和多通道HOG特征提取算法相结合建立样本特征与样本标签之间的关系、CN103886286A通过将待检测的远红外图像转化为对应的二类化图像及每个连通区域的特征向量、CN105335723A通过红外图像结合支持向量机多分类法识别车型和论文(激光与红外，2016，46(8)：1018-1022)研究了基于SLPP-SHOG的红外图像车辆检测。与上述现有技术相比，本发明方法采用适应性强和准确性高的深度学习神经网络识别车型，大大提高了车型识别的准确率。

(6)CN109753999A中使用Stanford Cars数据集以及CN105975941B对于非固定视角下拍摄的汽车图像深度学习神经网络，与CN109753999A和CN105975941B相比，本发明方法对于同一类车型采用深度学习神经网络中既有车辆可见光图像输入，又有车辆红外图像输入，增加了车辆的红外特征，提高了车型识别的准确率。

(7)论文(Infrared Physics and Technology，2020，104：103120)采集了车辆红外图像及利用深度学习神经网络研究车辆类型识别。与该论文相比，本发明方法包含了车辆的可见光图像输入部分对应的深度学习神经网络，增加了车辆的可见光特征，提高了车型识别的准确率。

(8)CN104995910A公开的成像系统中，将可见光谱成像模块和红外成像模块放置被监视的场景附近，而场景的仅可见光谱图像要么不可用，要么比场景的红外图像更加不期望。与CN104995910A相比，本发明方法同时采用车辆可见光图像和红外图像的深度学习神经网络，同时使用车辆的可见光图像和红外图像，适用范围更广，并提高了车型识别的准确率。

(9)CN106023129A以红外图像为准进行图像配准，有效规避因晕光引起的碰撞。与CN106023129A相比，本发明方法采用车辆可见光图像和红外图像的深度学习神经网络，目的是识别车型，两者有实质性的区别。

(10)CN209765730U综合处理扫描式激光测距仪扫描的车辆轮廓和红外热成像仪的车辆温度分布信息，计算出车辆车型。与CN209765730U相比，本发明采用车辆可见光图像和红外图像的深度学习神经网络，深度学习神经网络具备更高识别准确率。

(11)论文(河北科技大学学报，2017，38(6)：564-569)自建了一个可供车辆识别研究及应用的标准数据库，该数据库包含240类不同品牌、车系、年款的小轿车车型图像，共采集不同尺度、光照、角度的车辆图片，该论文中没有涉及到车辆红外图像，与该论文相比，本发明同时采用了车辆可见光和车辆红外图像的深度学习神经网络，适用范围更广，并提高了车型识别的准确率。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1为本发明方法的深度学习神经网络结构操作流程中示意框图。

图2为本发明实施例1中深度学习神经网络结构操作流程中示意框图。

图3为本发明实施例1中所使用车辆可见光图像示意图。

图4为本发明实施例1中所使用车辆红外图像示意图。

图5为本发明实施例1中车辆可见光和红外图像深度学习神经网络训练后测试准确率。

图6为本发明中退化成车辆可见光图像深度学习神经网络训练后测试准确率。

图7为本发明中退化成车辆红外图像深度学习神经网络训练后测试准确率。

图中，301.轿车可见光图像示意图，302.公交车可见光图像示意图，303.卡车可见光图像示意图，304.小面包车可见光图像示意图，401.轿车红外图像示意图，402.公交车红外图像示意图，403.卡车红外图像示意图，404.小面包车红外图像示意图。

具体实施方式

图1所示实施例表明，本发明的本发明方法的深度学习神经网络结构操作流程是：车辆可见光图像输入→第V₁组的包含卷积层、批量归一化层和赤化层→第V₂组的卷积层、批量归一化层和赤化层→扁平层F_V；车辆红外图像→第I₁组卷积层、批量归一化层和赤化层的→第I₂组的卷积层、批量归一化层和赤化层→扁平层F_I；扁平层F_V和扁平层F_I→数组拼接层→标准一维全连接层→深度学习神经网络参数修正→所有车型深度学习神经网络训练→深度学习神经网络训练后的车型识别。

进一步说明：图1所示本发明方法的深度学习神经网络结构操作流程图，也即是操作流程中深度学习神经网络结构示意框图，表明本发明方法是采用车辆可见光和红外图像输入深度学习神经网络，相同车型的可见光图像和红外图像同时输入深度学习神经网络后，经过各自两组的卷积层、批量归一化层和赤化层，达到各自的扁平层，车辆的可见光图像和红外图像经过各自深度学习神经网络路径中相互独立，但是对应深度学习神经网络各自路径结构和方法相同，达到各自扁平层后，通过数组拼接层合成一起，最后进入一维全连接层。

图2为本发明实施例1中操作流程中深度学习神经网络结构示意框图，该图中的操作流程是：第1步，4类车型50×50像素可见光图像→第V₁组：核尺寸3×3、16个核和same边缘填充的卷积层、批量归一化层和尺寸2×2赤化层→第V₂组：核尺寸3×3、32个核和same边缘填充的卷积层、批量归一化层和尺寸2×2赤化层→第1步的扁平层F_V；第2步，4类车型50×50像素红外图像→第I₁组：核尺寸3×3、16个核和same边缘填充的卷积层、批量归一化层和尺寸2×2赤化层→第I₂组：核尺寸3×3、32个核和same边缘填充的卷积层、批量归一化层和尺寸2×2赤化层→第2步的扁平层F_I；第3步，第1步的扁平层F_V和第2步的扁平层F_I→数组拼接层→标准一维全连接层→第4步，深度学习神经网络参数修正→第5步，所有车型深度学习神经网络训练→第6步，深度学习神经网络训练后的车型识别。

进一步说明：图2为本发明实施例中操作流程中深度学习神经网络结构示意框图表明，该图是图1所示操作流程中深度学习神经网络结构示意框图的具体应用，图3中4类车型可见光图像和图4中4类车型红外图像分别经过(V₁和V₂)和(I₁和I₂)两组卷积层、批量归一化层和赤化层，第V₁组和第I₁组分别包含各自的核尺寸3×3、16个核和same边缘填充的卷积层、批量归一化层和尺寸2×2最大赤化的赤化层，第V₂组和第I₂组分别包含各自核尺寸3×3、32个核和same边缘填充的卷积层、批量归一化层和尺寸2×2最大赤化的赤化层，这里“same”表示“相同”。

图3为本实施例中所使用车辆可见光图像示意图，该图给出4类车型可见光图像：301.轿车可见光图像示意图、302.公交车可见光图像示意图、303.卡车可见光图像示意图和304.小面包车可见光图像示意图，分别通过轿车、公交车、卡车和小面包车可见光图像边沿提取得到示意图。

图4为本实施例中所使用车辆红外图像示意图，该图给出4类车型红外图像：401.轿车红外图像示意图、402.公交车红外图像示意图、403.卡车红外图像示意图和404.小面包车红外图像示意图，分别通过轿车、公交车、卡车和小面包车红外图边沿提取得到示意图，类似图4每类车型200张车辆红外图像，其中160张车辆红外图像作为本发明深度学习神经网络的车辆红外图像部分的训练，另外40张车辆红外图像作为本发明深度学习神经网络的车辆红外图像的测试。

图5为本实施例中车辆可见光和红外图像深度学习神经网络训练后测试准确率,该图是4类车型可见光和红外图像输入图2实施例中深度学习神经网络训练后测试结果，采用类似图3和图4每类车型200张车辆可见光图像和200张车辆红外图像，共计1600张车辆图像，其中每类车型的160张车辆可见光红外图像和160张车辆红外图像作为本发明深度学习神经网络的训练，另外每类车型的160张车辆可见光红外图像和160张车辆红外图像作为本发明深度学习神经网络的测试。

图5表明，获得训练不同代次，车辆可见光和红外图像深度学习神经网络训练后测试准确率，表明随着训练代次数量增加，车辆可见光和红外图像深度学习神经网络训练后测试准确率逐渐增加，当训练达到30代次时，网络训练后测试准确率达到95％以上。

图6显示本发明中退化成车辆可见光图像深度学习神经网络训练后测试准确率，该图是4类车型可见光图像和像素值为0的黑色图像代替车辆红外图像，输入深度学习神经网络训练后测试结果，采用类似图3每类车型200张车辆可见光图像，共计800张车辆可见光图像，其中每类车型160张车辆可见光图像，作为只有车辆可见光图像深度学习神经网络的训练，另外每类车型40张车辆可见光图像，作为只有车辆可见光图像深度学习神经网络的测试，并且训练和测试中用像素值为0的黑色图像代替车辆红外图像。

图6表明，随着训练代次数量增加，只有车辆可见光图像深度学习神经网络获得训练不同代次下训练后测试准确率，车辆可见光图像深度学习神经网络训练后测试准确率逐渐增加，当训练达到30代次时，网络训练后测试准确率达到92％。

实施例1

第1步，车辆可见光图像输入深度学习神经网络中的两组卷积层、批量归一化层和赤化层后至第1步的扁平层F_V：

第1-(1)步，车辆可见光图像输入包含卷积层、批量归一化层和赤化层的第V₁组：

4类车型为轿车、公交车、卡车和小面包车的可见光图像，见图3本实施例中所使用车辆可见光图像示意图，该图给出4类车型可见光图像：轿车可见光图像示意图301、公交车可见光图像示意图302、卡车可见光图像示意图303和小面包车可见光图像示意图304，分别通过轿车、公交车、卡车和小面包车可见光图像边沿提取得到示意图，每种车型可见光图像160张车辆可见光图像，图像尺寸为50×50像素，输入到包含卷积层、批量归一化层和赤化层的第V₁组，第V₁组包含核尺寸3×3、16个核和same边缘填充的卷积层、批量归一化层和尺寸2×2最大赤化的赤化层，车辆可见光图像在第V₁组的计算过程：车辆可见光图像经过第V₁组中卷积层的卷积后，输出到第V₁组的批量归一化层，经过第V₁组的批量归一化层的输出后输入第V₁组的赤化层，完成第V₁组卷积层、批量归一化层和赤化层的计算，为包含卷积层、批量归一化层和赤化层的第V₂组提供输入；

第1-(2)步，第V₁组的输出输入到包含卷积层、批量归一化层和赤化层的第V₂组：

将上述第1-(1)步经过第V₁组计算的输出输入到包含卷积层、批量归一化层和赤化层的第V₂组，第V₂组包含核尺寸3×3、32个核和same边缘填充的卷积层、批量归一化层和尺寸2×2最大赤化的赤化层，第V₁组的输出经过在第V₂组中卷积层的卷积计算，输出到第V₂组的批量归一化层，经过第V₂组的批量归一化层的输出后输入第V₂组的赤化层，完成第V₂组卷积层、批量归一化层和赤化层的计算，为第1步的扁平层F_V提供输入；

第1-(3)步，第V₂组的输出输入到第1步的扁平层F_V：

将上述第1-(2)步经过第V₂组计算的输出输入到第1步的扁平层F_V，计算第1步的扁平层F_V的输出；

第2步，车辆红外图像输入深度学习神经网络中的两组卷积层、批量归一化层和赤化层后至第2步的扁平层F_I：

第2-(1)步，车辆红外图像输入包含卷积层、批量归一化层和赤化层的第I₁组：

与上述第1步相同4类车型为轿车、公交车、卡车和小面包车的红外图像，见图4本发明实施例中所使用车辆红外图像示意图，该图给出4类车型红外图像：轿车红外图像示意图401、公交车红外图像示意图402、卡车红外图像示意图403和小面包车红外图像示意图404，分别通过轿车、公交车、卡车和小面包车红外图边沿提取得到示意图，每种车型可见光图像160张车辆可见光图像，与上述第1步输入深度学习神经网络的车辆可见光图像相同尺寸，输入到包含卷积层、批量归一化层和赤化层的第I₁组，完成车辆红外图像在第I₁组的计算过程：车辆红外图像经过第I₁组中卷积层的卷积后，输出到第I₁组的批量归一化层，第I₁组卷积层、批量归一化层和赤化层，与第V₁组卷积层、批量归一化层和赤化层对应构建方法相同，经过第I₁组的批量归一化层的输出后输入第I₁组的赤化层，完成第I₁组卷积层、批量归一化层和赤化层的计算，为包含卷积层、批量归一化层和赤化层的第I₂组提供输入；

第2-(2)步，第I₁组的输出输入到第I₂组的卷积层、批量归一化层和赤化层：

将上述第2-(1)步经过第I₁组计算的输出输入到包含卷积层、批量归一化层和赤化层的第I₂组，第I₂组包含核尺寸3×3、32个核和same边缘填充的卷积层、批量归一化层和尺寸2×2最大赤化的赤化层，第I₁组的输出经过在第I₂组中卷积层的卷积计算，输出到第I₂组的批量归一化层，经过第I₂组的批量归一化层的输出后输入第I₂组的赤化层，第I₂组卷积层、批量归一化层和赤化层，与第V₂组卷积层、批量归一化层和赤化层对应构建方法相同，完成第I₂组卷积层、批量归一化层和赤化层的计算，为第2步的扁平层F_I提供输入；

第2-(3)步，第I₂组的输出输入到第2步的扁平层F_I：

将上述第2-(2)步经过第I₂组计算的输出输入到第2步的扁平层F_I，计算第2步的扁平层F_I的输出，第2步中扁平层F_I与第1步中扁平层F_V结构相同；

第3步，将第1步的扁平层F_V和第2步的扁平层F_I两个输出到数组拼接层及最后到标准一维全连接层：

第3-(1)步，第1步的扁平层F_V和第2步的扁平层F_I的两个输出到数组拼接层：

经过获得第1步的扁平层F_V输出和第2步的扁平层F_I各自的输出，同时输入到数组拼接层，车辆可见光图像和车辆红外图像分别经过第1步和第2步各自的两组卷积层、批量归一化层和赤化层，再经过各自的扁平层F_V和扁平层F_I后输出到数组拼接层；

第3-(2)步，数组拼接层的输出输入到一维全连接层，并计算输出深度学习神经网络的输出：

由第上述3-(1)步的数组拼接层的输出输入到一维全连接层，并计算深度学习神经网络的输出；

第4步 深度学习神经网络参数修正：

数组拼接层的输出输入到一维全连接层，确定了深度学习神经网络的输出，根据标定车辆类型判断深度学习神经网络的正确性，反馈到整个深度学习神经网络中，修正各个连接权、阈值以及每一个卷积层每一个的核数值，完成深度学习神经网络的同一类车型的深度学习神经网络参数修正；

第5步 所有车型深度学习神经网络训练：

上述第1步～上述第4步完成同一类车型对深度学习神经网络的一次训练，将所有车型的可见光和红外图像分别输入深度学习神经网络，再经过上述第1步～上述第4步，完成可见光和红外图像多种车型深度学习神经网络的训练；

第6步 深度学习神经网络训练后的车型识别：

将4类车型的可见光和红外测试图像输入经过上述第1步～上述第5步所有车型训练后的深度学习神经网络，测试车型图像与训练车型图像具有相同尺寸，再经过上述第1步～上述第3步确定训练深度学习神经网络的输出，对比可见光和红外图像的车型，得到测试准确率；

逐渐增加深度学习神经网络训练次数，并观察每一次深度学习神经网络训练的测试准确率，最终使深度学习神经网络达到最佳优化，至此，完成识别车型。

图5为本实施例中车辆可见光和红外图像深度学习神经网络训练后测试准确率,该图是4类车型可见光和红外图像输入图2实施例中深度学习神经网络训练后测试结果，采用类似图3和图4每类车型200张车辆可见光图像和200张车辆红外图像，共计1600张车辆图像，其中每类车型的160张车辆可见光红外图像和160张车辆红外图像作为本发明深度学习神经网络的训练，另外每类车型的160张车辆可见光红外图像和160张车辆红外图像作为本发明深度学习神经网络的测试。图5表明，获得训练不同代次，车辆可见光和红外图像深度学习神经网络训练后测试准确率，表明随着训练代次数量增加，车辆可见光和红外图像深度学习神经网络训练后测试准确率逐渐增加，当训练达到30代次时，网络训练后测试准确率达到95％以上。

实施例2-对比实施例1

本实施例为深度学习神经网络中只有车辆可见光图像深度学习神经网络时的识别车型情况，除所述用像素值为0的黑色图像代替车辆红外图像之外，黑色图像尺寸与车辆可见光图像相同，其他同实施例1。

图6显示本实施例退化成只有车辆可见光图像深度学习神经网络训练后测试准确率。该图是4类车型可见光图像输入深度学习神经网络训练后测试结果，采用类似图3每类车型200张车辆可见光图像，共计800张车辆可见光图像，其中每类车型160张车辆可见光图像作为只有车辆可见光图像深度学习神经网络的训练，另外每类车型40张车辆可见光图像作为只有车辆可见光图像深度学习神经网络的测试，训练和测试中用像素值为0的黑色图像代替车辆红外图像。图6表明，随着训练代次数量增加，只有车辆可见光图像深度学习神经网络获得训练不同代次下训练后测试准确率，车辆可见光图像深度学习神经网络训练后测试准确率逐渐增加，当训练达到30代次时，网络训练后测试准确率达到92％。

实施例3-对比实施例1

本实施例为深度学习神经网络中只有车辆红外光图像深度学习神经网络时的识别车型情况，除所述用像素值为0的黑色图像代替车辆可见光图像之外，黑色图像尺寸与车辆红外图像相同，其他同实施例1。。

图7显示本实施例中退化成只有车辆红外图像深度学习神经网络训练后测试准确率。该图是4类车型红外图像输入深度学习神经网络训练后测试结果，采用类似图4每类车型200张车辆红外图像，共计800张车辆红外图像，其中每类车型160张车辆红外图像作为只有车辆红外图像深度学习神经网络的训练，另外每类车型40张车辆红外图像作为只有车辆红外图像深度学习神经网络的测试，训练和测试中用像素值为0的黑色图像代替车辆可见光图像。图7实施例中表明，随着训练代次数量增加，只有车辆红外图像深度学习神经网络获得训练不同代次下训练后测试准确率，车辆红外图像深度学习神经网络训练后测试准确率逐渐增加，当训练达到30代次时，网络训练后测试准确率接近90％。

Claims (1)

1.一种识别车型的方法，其特征在于：是基于车辆可见光和红外图像的深度学习神经网络车型识别的方法，利用深度学习神经网络的卷积层、批量归一化层和赤化层全连接层的深度学习神经网络标准化模块结构，并采用相同尺寸的不同车型可见光和红外图像对深度学习神经网络训练和测试，具体步骤如下：

第1步，车辆可见光图像输入深度学习神经网络中的两组卷积层、批量归一化层和赤化层后至第1步的扁平层F_V：

第1-(1)步，车辆可见光图像输入包含卷积层、批量归一化层和赤化层的第V₁组：

相同尺寸的车辆可见光图像中的一类车辆可见光图像，输入到包含卷积层、批量归一化层和赤化层的第V₁组，完成车辆可见光图像在第V₁组的计算过程：车辆可见光图像经过第V₁组中卷积层的卷积后，输出到第V₁组的批量归一化层，经过第V₁组的批量归一化层的输出后输入第V₁组的赤化层，完成第V₁组卷积层、批量归一化层和赤化层的计算，为包含卷积层、批量归一化层和赤化层的第V₂组提供输入；

第1-(2)步，第V₁组的输出输入到包含卷积层、批量归一化层和赤化层的第V₂组：

将上述第1-(1)步经过第V₁组计算的输出输入到包含卷积层、批量归一化层和赤化层的第V₂组，第V₁组的输出经过在第V₂组中卷积层的卷积计算，输出到第V₂组的批量归一化层，经过第V₂组的批量归一化层的输出后输入第V₂组的赤化层，完成第V₂组卷积层、批量归一化层和赤化层的计算；

第1-(3)步，第V₂组的输出输入到第1步的扁平层F_V：

将上述第1-(2)步经过第V₂组计算的输出输入到第1步的扁平层F_V，计算第1步的扁平层F_V的输出；

第2步，车辆红外图像输入深度学习神经网络中的两组卷积层、批量归一化层和赤化层后至第2步的扁平层F_I：

第2-(1)步，车辆红外图像输入包含卷积层、批量归一化层和赤化层的第I₁组：

与上述第1步输入深度学习神经网络的车辆可见光图像相同尺寸的相同类型的车辆红外图像，输入到包含卷积层、批量归一化层和赤化层的第I₁组，完成车辆红外图像在第I₁组的计算过程：车辆红外图像经过第I₁组中卷积层的卷积后，输出到第I₁组的批量归一化层，第I₁组卷积层、批量归一化层和赤化层，与第V₁组卷积层、批量归一化层和赤化层对应构建方法相同，经过第I₁组的批量归一化层的输出后输入第I₁组的赤化层，完成第I₁组卷积层、批量归一化层和赤化层的计算，为包含卷积层、批量归一化层和赤化层的第I₂组提供输入；

第2-(2)步，第I₁组的输出输入到第I₂组的卷积层、批量归一化层和赤化层：

将上述第2-(1)步经过第I₁组计算的输出输入到包含卷积层、批量归一化层和赤化层的第I₂组，第I₁组的输出经过在第I₂组中卷积层的卷积计算，输出到第I₂组的批量归一化层，经过第I₂组的批量归一化层的输出后输入第I₂组的赤化层，第I₂组卷积层、批量归一化层和赤化层，与第V₂组卷积层、批量归一化层和赤化层对应构建方法相同，完成第I₂组卷积层、批量归一化层和赤化层的计算；

第2-(3)步，第I₂组的输出输入到第2步的扁平层F_I：

将上述第2-(2)步经过第I₂组计算的输出输入到第2步的扁平层F_I，计算第2步的扁平层F_I的输出，第2步中扁平层F_I与第1步中扁平层F_V结构相同；

第3步，将第1步的扁平层F_V和第2步的扁平层F_I两个输出输入到数组拼接层及最后到标准一维全连接层：

第3-(1)步，第1步的扁平层F_V和第2步的扁平层F_I的两个输出到数组拼接层：

经过获得第1步的扁平层F_V输出和第2步的扁平层F_I各自的输出，同时输入到数组拼接层，车辆可见光图像和车辆红外图像分别经过第1步和第2步各自的两组卷积层、批量归一化层和赤化层，再经过各自的扁平层F_V和扁平层F_I后输出到数组拼接层；

第3-(2)步，数组拼接层的输出输入到一维全连接层，并计算输出深度学习神经网络的输出：

由上述第3-(1)步的数组拼接层的输出输入到一维全连接层，并计算深度学习神经网络的输出；

第4步 深度学习神经网络参数修正：

数组拼接层的输出输入到一维全连接层，确定了深度学习神经网络的输出，根据标定车辆类型判断深度学习神经网络的正确性，反馈到整个深度学习神经网络中，修正各个连接权、阈值以及每一个卷积层每一个核的数值，完成深度学习神经网络的同一类车型的深度学习神经网络参数修正，即完成同一类车型对深度学习神经网络的一次训练；

第5步 所有车型深度学习神经网络训练：

上述第1步～上述第4步完成同一类车型对深度学习神经网络的一次训练，将所有车型的可见光和红外图像分别输入深度学习神经网络，再经过上述第1步～上述第4步，完成可见光和红外图像多种车型深度学习神经网络的训练；

第6步 深度学习神经网络训练后的车型识别：

将测试车型的可见光和红外图像输入经过上述第1步～上述第5步所有车型训练后的深度学习神经网络，测试车型图像与训练车型图像具有相同尺寸，再经过上述第1步～上述第3步确定训练深度学习神经网络的输出，对比输入可见光和红外图像的车型，得到测试准确率；

逐渐增加深度学习神经网络训练次数，并观察每一次深度学习神经网络训练的测试准确率，最终使深度学习神经网络达到最佳优化，至此，完成识别车型。

Images