CN112418358A

CN112418358A - 一种强化深度融合网络的车辆多属性分类方法

Info

Publication number: CN112418358A
Application number: CN202110046369.6A
Authority: CN
Inventors: 刘新成; 宣帆; 周国冬; 徐璀; 章昊
Original assignee: Suzhou Boyuxin Transportation Technology Co Ltd
Current assignee: Suzhou Boyuxin Transportation Technology Co Ltd
Priority date: 2021-01-14
Filing date: 2021-01-14
Publication date: 2021-02-26

Abstract

一种强化深度融合网络的车辆多属性分类方法，方法如下：利用YOLOv3深度神经网络，寻找图片的目标区域，去除掉图像中与分类无关的信息，得到车辆检测的参数，使用深度强化学习Deep Q Network对参数进行优化，输出结果并输入改进后的双线性卷积神经网络中得到最后的多属性分类结果。本发明将YOLOv3深度神经网路和双线性卷积神经网络结合并引入深度强化学习Deep Q Network对目标参数进行优化完成车辆多属性分类，有效解决了在图像分类问题中经常出现背景信息太多容易误导分类结果的问题，改善了特征丢失的问题，实验结果表明准确率有明显提升。

Description

一种强化深度融合网络的车辆多属性分类方法

技术领域

本发明属于人工智能领域，具体涉及一种强化深度融合网络的车辆多属性分类方法。

背景技术

在深度学习兴起之前，基于人工特征的细粒度图像分类算法，一般先从图像中提取SIFT(scale_invariant feature transform)或HOG(histogram of orientedgradient)等局部特征，然后利用VLAD(vector of locally aggregated descrip tors)或Fisher vector等编码模型进行特征编码。Part_based one_vs_onefeatures for fine_grained categorization,face vereification,and attribute estimatioin中Berg等人尝试利用局部区域信息的特征编码方法去提取POOF特征，但是由于人工提取特征的过程十分繁琐，表述能力不强，所以分类效果并不理想。随着深度学习的兴起，利用卷积神经网络提取特征比人工提取特征表述能力更强，分类效果更好，大量基于卷积特征算法的提出促进了细粒度图像分类的发展。

按照模型训练时是否需要人工标注信息，基于深度学习的细粒度图像分类算法分为强监督和弱监督两类。强监督的细粒度图像分类在模型训练时不仅需要图像的类别标签，还需要图像标注框和局部区域位置等人工标注信息;而弱监督的细粒度图像分类在模型训练时仅依赖于类别标签。然而无论是强监督还是弱监督的细粒度图像分类算法，大多数细粒度图像分类算法的思路都是先找到前景对象和图像中的局部区域，之后利用卷积神经网络对这些区域分别提取特征，并将提取的特征连接，以此完成分类器的训练和预测。Part_based R_CNNs for fine_grained category detectio中Zhang等人提出了part_based R_CNN 算法，先采用 R_CNN 算法对图像进行检测，得到局部区域，再分别对每一块区域提取卷积特征，并将这些区域的特征连接，构成一个特征向量，最后用支持向量机(SVM)训练分类，然而，其利用的选择性搜索算法会产生大量无关的候选区域，造成运算上的浪费。

发明内容

本发明要解决的技术问题是提供一种准确率更高，并且运算效率高的强化深度融合网络的车辆多属性分类方法。针对车辆细粒度图像分类中存在的背景干扰问题，通过剔除与分类无关的背景信息、定位要分类的感兴趣区域提高对车辆细粒度分类的准确率。

为了解决上述技术问题，本发明采用的技术方案是：一种强化深度融合网络的车辆多属性分类方法，利用YOLOv3算法检测网络，寻找图片的目标区域，筛选去除掉与分类无关的背景信息，得到车辆检测的参数，使用深度强化学习Deep Q Network对参数进行优化，将优化后的参数输入改进后的双线性卷积神经网络中，提取特征完成对车辆多属性分类结果。

进一步的，利用YOLOv3算法寻找图片的目标区域的步骤为：首先将输入图像划分成S×S个栅格，经过YOLOv3检测网络，对每个栅格都预测K个边界框，选择边界框的个数为n，最终保留与物体真实边界框的交并比最大的边界框，然后使用非极大值抑制的方法筛选边界框，得到最优选的边界框。

进一步的，所述YOLOv3算法采用了Darknet53的分类网络结构，采用了53个卷积层和5个最大池化层。

进一步的，采用改进双线性卷积神经网络提取特征的具体步骤为：在原有的双线性卷积神经网络上新增双线性层和contact层，并分别进行特征向量的外积和连接；然后，将特征提取网络A中conv4_3和特征提取网络B中conv5_3点乘得到双线性特征B1，特征提取网络B中conv5_1和conv5_3进行点乘得到B2，特征提取网络A中conv5_3层特征和特征提取网络B中conv5_3特征点乘得到双线性特征B3；将特征B1、B2、B3拼接起来得到双线性特征B，特征B就是用于分类的图像特征；最后将拼接后的双线性特征B送进全连接层，用softmax进行分类。

进一步的，为提高分类精度，在获得双线性特征后，采用带符号的开平方根以及正则化处理，网络A与网络B的特征分别为f_A和f_B，双线性特征B=f_A ^T×f_B，分类器的选择采用SVM和Softmax。

由于上述技术方案运用，本发明与现有技术相比具有下列优点：本发明提出了一种强化深度融合网络的车辆多属性分类方法，将YOLOv3、深度强化学习Deep Q Network算法以及B-CNN结合在一起组成新的模型，并在双线性卷积神经网络原有的网络基础上改进，有效解决了在图像分类问题中经常出现背景信息太多容易误导分类结果的问题，在这个模型中先利用YOLOv3预训练的筛选模型对图像进行第一步处理，筛选图像中有区分度的目标区域，然后改进B-CNN算法和网络结构，改进的B-CNN算法更加有效的保护图像中有利于后面分类的特征，解决了特征丢失的问题，然后将输出的结果自动输入到改进的B-CNN算法中，对目标区域进行学习与分类，构造更具代表性的特征表示，从而提升分类效果，实验结果表明准确率有明显提升。

附图说明

图1为本发明的强化深度融合网络的车辆多属性分类方法网络架构。

具体实施方式

以下结合附图对本发明进行详细说明：

本发明的具体实现步骤如下：利用YOLOv3算法检测网络，寻找图片的目标区域，筛选去除掉与分类无关的信息，然后将得到的结果（YOLOv3的输出）输入B-CNN（双线性卷积神经网络）中得到最后的多属性分类结果。系统总框图如图1所示。首先将输入图像划分成S×S个栅格，更加细致的栅格划分使得模型对小物体的定位更加精准。经过YOLOv3检测网络，对每个栅格都预测几个边界框，为平衡模型的复杂度和召回率，本实施例选择边界框的个数为5。最终会保留与物体真实边界框的IOU最大的那个边界框，IOU公式为：

IOU=

最后得到的边界框形状大多为细高型，扁平型居少。每个边界框预测5个回归值（t_x，t_y，t_w，t_h，confidence），t_x,t_y，表示边界框的中心坐标，t_w，t_h表示边界框的高度和宽度，confidence为置信度，置信度计算公式：P_c×IOU。其中P_c的值为0或1，0表示图像中没有目标，1表示图像中有目标。置信度反映了是否包含目标以及包含目标情况下预测位置的准确性。为了更好的实验效果我们设置阈值为0.3，得分小于0.3的边界框会被全部排除，剩下的是最后的预测边界框。

边界框预测调整：t_x，t_y经过回归函数处理后，范围固定在0和1之间，c_x,c_y表示为栅格的坐标，比如某层的特征图大小是10×10，那么栅格就有10×10个，比如第0行第0列的栅格的坐标c_x就是0，c_y就是0。最后的预测为：

p_w和p_h表示预测边界框的宽和高，b_x、b_y、b_w和b_h就是预测得到的边界框的中心坐标、宽度和高度，e为指数函数

中的e。

多尺度预测：YOLOv3在三种尺度（13×13,26×26,52×52）的图片上得到预测边界框，最终得到10647个预测边界框。使用NMS（非极大值抑制）的方法筛选边界框。为了更好的实验效果我们设置阈值为0.3，得分小于0.3的边界框会被全部排除，剩下的是最后的预测边界框。

损失函数（loss）表示为:

F(loss)=

(

+

)+

(

+

+

损失函数式中

表示位置预测正则化惩罚系数，s²表示将图像划分的栅格数，k表示每个栅格的预测框个数，

表示预测框中心点横坐标，

表示人工标注框中心点的横坐标，

表示预测框中心点纵坐标，

表示人工标注框中心点的纵坐标，

表示预测框宽度，

表示人工标注框的宽度，

表示预测框高度，

表示人工标注框的高度，

表示预测框中物体的置信值，

表示人工标注框内物体的置信值，

表示预测的栅格中包含目标物体且物体是车辆类别的概率，

表示栅格真实条件类别概率，

为网格单元i中的第j个边界框，其不包含车辆的任何部分。

算法有53个卷积层和5个最大池化层，它比Darknet-19效果好很多，同时，Darknet53在效果更好的情况下，是Resnet-101效率的1.5倍，在与Resnet-152的效果几乎相同的情况下，效率是Resnet-152的2倍。如表 1 所示。

表1DarkNet-53网络结构

YOLOv3的检测网络首先使用数据集训练Darknet-53,输入图像为416×416。然后在三种尺度上特征交互，分别是13×13,26×26,52×52，在每个尺度内，通过卷积核（3×3和1×1）的方式实现特征图之间的局部特征交互，作用类似于全连接层。

最小尺度YOLO层：输入13×13的特征图，一共1024个通道。经过一系列的卷积操作，特征图的大小不变，但是通道数最后减少为75个，结果输出13×13大小的特征图，75个通道。

中尺度YOLO层：输入前面的13×13×512通道的特征图进行卷积操作，生成13×13×256通道的特征图，然后进行上采样，生成26×26×256通道的特征图，同时与61层的26×26×512通道的中尺度的特征图合并。再进行一系列卷积操作，特征图的大小不变，但是通道数最后减少为75个。结果输出26×26大小的特征图，75个通道。

大尺度的YOLO层：输入前面的26×26、256通道的特征图进行卷积操作，生成26×26×128通道的特征图，然后进行上采样生成52×52×128通道的特征图，同时与36层的52×52×256通道的中尺度的特征图合并。再进行一系列卷积操作，特征图的大小不变，但是通道数最后减少为75个。结果输出52×52大小的特征图，75个通道，最后在三个输出上进行分类和位置回归。

下一步就是，基于双线性卷积神经网络的特征提取和识别。B-CNN（双线性卷积网络Bilinear CNN）是Tsungyu Lin等人提出的具有优异泛化性的双线性卷积神经网络。B-CNN模型由一个四元组组成:M= (f_A, f_B, p, c) ，其中f_A和f_B为基于卷积神经网络A和B的特征提取函数，p是一个池化函数，c是分类函数。特征提取函数可以看成一个函数映射，将输入图像I与位置区域L映射为一个c×D维的特征。输入图像I在某一位置l处的双线性特征可通过如下公式表示:

bilinear(l,I,

,

) =

(l,I)

之后利用池化函数p将所有位置的双线性特征进行累加汇聚为一个双线性特征，并用这个特征来描述输入图像的特征:

Φ(I) =

最后，分类函数c对提取到的特征进行分类，可以采用Softmax分类器或者逻辑回归。

特征提取，在一个双线性模型中，定义f_A和f_B分别为通道A和通道B的特征提取函数。使用外积的形式对两个通道的输出特征进行融合，也就是说，最终的双线性特征为F=f_A ^Tf_B。使网络加深的同时也让不同层次的特征联系起来，除了将特征提取器最后一个卷积层提取到车辆特征自身做外积，也和前面其他卷积层提取到的车辆特征进行外积，以此达到融合每个层次特征的目的，有效缓解特征丢失的问题，提高检测分类的准确率。具体做法如下：

新增双线性层和contact层，并分别进行特征向量的外积和连接。然后，将特征提取网络A中conv4_3和特征提取网络B中conv5_3点乘得到双线性特征B1，特征提取网络B中conv5_1和conv5_3进行点乘得到B2，特征提取网络A中conv5_3层特征和特征提取网络B中conv5_3特征点乘得到双线性特征B3。将特征B1、B2、B3拼接起来得到双线性特征B，特征B就是用于分类的图像特征。最后将拼接后的双线性特征B送进全连接层，用softmax进行分类。

双线性特B_i是一个u×v×w的三维矩阵，将其转化为长度为u、v、w的列向量。然后将双线性特征B1，B2，B3拼接成一个长度为3×u×v×w的列向量，将其输入到Softmax函数进行分类。最后，模型在端到端的训练过程中，从图1可以看出模型的前半部分是普通的卷积层与池化层。因此，只要求得后半部分的梯度值，即可完成对整个模型的训练。假设网络A与网络B的特征分别为f_A和f_B，则双线性特征B=f_A ^T×f_B。根据链式法则得到网络的梯度值，完成模型训练。链式法公式如下：

正则化和分类，为提高分类精度，在获得双线性特征后，采用带符号的开平方根以及正则化处理。假设网络A与网络B的特征分别为f_A和f_B，则双线性特征B=f_A ^T×f_B，即：

y= sgn（B）

z =

在分类器的选择上可以采用SVM和Softmax，我们选用Softmax不用单独训练开销较小。

用准确率和召回率来评估本发明方法的性能，准确率和召回率的定义如下:

其中P表示的是准确率，R表示的是召回率，TP代表检测出结果正确的部分，FP代表检测出结果但结果错误的部分，FN代表不能检测出结果且属于漏检的部分。最终在Cars196数据集和自制数据集上对车型分类分别达到92.1%和71.3%的分类准确率，与没有进行筛选的方法在Cars196数据集检测结果相比，分别高出0.56%、0.15%和0.08%。B-CNN模型中包含两个卷积神经网络，可以包含两个相同的卷机神经网络(两个相同的M-Net或两个相同的D-Net网络)，也可以两个不相同的卷积神经网络(同时包含M-Net和D-Net这两个不一样的网络)。本发明中方法包含两个D-Net网络，根据实验结果，本发明方法在Cars196数据集下颜色和方向的准确率是92.7%和97.4%，在自制数据集下车型，颜色和方向的准确率是71.3%，68%和85.6%。对比可以看出在自制数据集下检测的效果要比Cars196数据集效果要差，分析原因主要是由视频截取的图片清晰度较Cars196数据集差，受光线等外部条件影响较多。在召回率方面，Cars196数据集下的车型，颜色和方向的召回率分别是96.1%，95.2%和99.8%，自制数据集下的车型，颜色和方向的召回率分别是91%，89.2%和92.3%。

上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims

1.一种强化深度融合网络的车辆多属性分类方法，其特征在于，包括以下步骤：利用YOLOv3算法寻找图片的目标区域，筛选去除掉与分类无关的背景信息，得到车辆检测的参数，使用深度强化学习Deep Q Network对参数进行优化，将优化后的参数输入改进双线性卷积神经网络中，提取特征完成对车辆多属性分类结果。

2.根据权利要求1所述的一种强化深度融合网络的车辆多属性分类方法，其特征在于，所述利用YOLOv3算法寻找图片的目标区域的步骤为：首先将输入图像划分成S×S个栅格，经过YOLOv3检测网络，对每个栅格都预测K个边界框，选择边界框的个数为n，最终保留与物体真实边界框的交并比最大的边界框，然后使用非极大值抑制的方法筛选边界框，得到最优选的边界框。

3.根据权利要求2所述的一种强化深度融合网络的车辆多属性分类方法，其特征在于，所述YOLOv3算法采用Darknet53的分类网络结构，采用了53个卷积层和5个最大池化层。

4.根据权利要求1所述的一种强化深度融合网络的车辆多属性分类方法，其特征在于，采用改进双线性卷积神经网络提取特征的具体步骤为：在原有的双线性卷积神经网络上新增双线性层和contact层，并分别进行特征向量的外积和连接；然后，将特征提取网络A中conv4_3和特征提取网络B中conv5_3点乘得到双线性特征B1，特征提取网络B中conv5_1和conv5_3进行点乘得到B2，特征提取网络A中conv5_3层特征和特征提取网络B中conv5_3特征点乘得到双线性特征B3；将特征B1、B2、B3拼接起来得到双线性特征B，特征B就是用于分类的图像特征；最后将拼接后的双线性特征B送进全连接层，用softmax进行分类。

5.根据权利要求4所述的一种强化深度融合网络的车辆多属性分类方法，其特征在于，在获得双线性特征后，采用带符号的开平方根以及正则化处理，网络A与网络B的特征分别为f_A和f_B，双线性特征B=f_A ^T×f_B，分类器的选择采用SVM和Softmax。