CN111814863A - 一种轻量级车辆与行人的检测方法 - Google Patents

Abstract

本发明公开了一种轻量级车辆与行人的检测方法，包括以下步骤：(1)对人、车两类图像数据进行预处理，并将图像数据按比例划分为训练集和测试集；(2)构建基于改进的Yolov3‑tiny为检测模型：利用反残差网络结构结合多尺度可分离卷积对特征提取网络改进；(3)在步骤(2)构建的检测网络上使用训练集进行模型训练，确定最优模型进行检测。本发明通过对模型的压缩实现了在不降低模型精度的情况下，降低了模型的参数量与计算量；同时，结合了多尺度特征融合与自注意力机制，提升了网络的性能；本发明同时保证了精度和稳定性，实现了在移动端对车辆与行人的检测。

Description

一种轻量级车辆与行人的检测方法

技术领域

本发明涉及一种检测方法，尤其涉及一种轻量级车辆与行人的检测方法。

背景技术

随着科学技术的不断发展，人们越来越追求安全、便捷、舒适的生活，例如人们在享受汽车带来便捷出行同时，也更多的关注行车安全问题。因此，如何改善驾驶安全，保障人身安全是目前汽车研究领域一个重要课题。近些年随着辅助驾驶系统的出现，在一定程度上保障了驾驶的安全性。辅助驾驶系统中利用目标检测算法识别前方车辆和行人在图像中的位置，根据已知的摄像机参数和摄像机投影相关知识进行车辆和行人的测距，并根据计算目标和车辆的距离实现行人和车辆的防碰撞预警等。目标检测作为计算机视觉中的一个重要组成部分，实现高效的目标检测算法必定能够在辅助驾驶系统中发挥重大作用。

现有技术中，卷积神经网络在检测算法上取得了较大的提升，其准确率已远高于非深度学习方法。但基于神经网络的检测算法存在计算量和参数量过大的问题，过于庞大的网络模型不利于移动端的部署也难以满足市场，由于各种嵌入式平台受资源的限制，导致卷积神经网络很难在低功耗、低算力平台的嵌入式及移动设备上进行部署。

发明内容

发明目的：本发明旨在提供一种轻量级车辆与行人的检测方法，以解决现有无人驾驶辅助系统中检测方法识别精确度低，模型参数量大，很难在计算量受限的移动端部署的问题。

技术方案：本发明的轻量级车辆与行人的检测方法，包括以下步骤：

(1)对人、车两类图像数据进行预处理，并将图像数据按比例划分为训练集和测试集；

(2)构建基于改进的Yolov3-tiny为检测模型：

利用反残差网络结构结合多尺度可分离卷积对特征提取网络改进，利用瓶颈层对通道进行升降维，然后将通道划分为若干组，并对每组应用不同的卷积核大小；将多尺度特征的组合方式改进为双向双输入特征，对只有一个输入边的节点进行改进，确保每一个节点都有两个尺度的特征输入，并将自上而下与自下而上混合使用；在检测网络引入自注意力机制，利用自注意力模块交错执行特征聚合和特征变换实现特征重标定；

(3)在步骤(2)构建的检测网络上使用训练集进行模型训练，确定最优模型进行检测。

有益效果：与现有技术相比，本发明具有如下显著优点：

本发明通过对模型的压缩实现了在不降低模型精度的情况下，降低了模型的参数量与计算量；同时，结合了多尺度特征融合与自注意力机制，提升了网络的性能；本发明同时保证了精度和稳定性，实现了在移动端对车辆与行人的检测；本发明的模型可以部署到算力受限的嵌入式平台中，在自动辅助驾驶系统中发挥作用。

附图说明

图1为本发明的模块结构图；

图2为本发明实施例中的主干网络各层分布表；

图3为本发明的双向双输入结合自注意力模块结构图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

本发明包括以下步骤：

(一)数据集获取

由车载摄像头拍摄的图片组成数据集，利用标签标注软件对数据进行标签标注，数据由两类标签组成，分别是“car”和“person”。并且从数据集中随机次序读取输入图像，输入图像为PNG格式，尺寸为416×416。

(二)数据预处理

数据预处理主要融合了颜色操作和几何操作思想，同时进行单样本与多样本的数据增强。单样本的数据增强的颜色操作是通过颜色直方图变换、对比度改变及亮度整体变换来改变图像中物体不同部位的颜色，单样本的数据增强的几何操作是通过随机旋转、翻转、裁剪后的几何扭曲来改变图像中对象不同位置和尺度，进而改变图像像素内容。多样本的数据增强方法主要采用一种基于邻域风险最小化原则的数据增强方法，它使用线性插值得到新样本数据。令(x_n,y_n)为插值生成的新数据，(x_i,y_i)，(x_j,y_j)是训练集中选取的两个数据，则数据生成操作如下：

(x_n,y_n)＝λ(x_i,y_i)+(1-λ)(x_j,y_j) (1)

其中，xi表示第i个数据，yi表示第i个数据的标签。λ表示插值系数，λ的取值范围是0到1。

并将图像数据按比例划分为训练集和测试集。

(三)模型的搭建

本发明采用改进的Yolov3-tiny为检测模型。

从目前对卷积神经网络轻量化的研究来看，可以通过卷积分离的方式有效实现降低卷积的时间复杂度和空间复杂度，进而实现对卷积层进行压缩和加速。本方法设计轻量化目标检测网络的主要思路是保持网络深度降低网络参数，以使用计算量尽可能小的卷积操作替换计算量大的卷积操作实现提取特征的方式，以及在保证网络拟合能力的基础上，最大程度使用池化操作，对目标检测的主干网络进行压缩实现轻量级目标检测主干网络。

本发明利用反残差网络结构结合多尺度可分离卷积对模型改进，压缩主干网络中高维特征层网络的参数量和计算量，实现在提升网络表达能力的情况下减少模型的参数。

与普通的卷积模块不同，如图1所示，反残差网络结构结合多尺度可分离卷积首先将输入特征送入瓶颈层，进行通道升维，扩张系数为e，其次将通道划分为若干组，并对每组应用不同的内核大小，更具体的说，输入的张量被划分为g组虚拟张量

其中所有的虚拟张量

具有相同的空间高度h和宽度w，它们的总通道大小等于扩张后的输入张量通道的大小:c₁+c₂+...c_g＝c·e。同样，将卷积内核分为g组虚拟内核

其中第n组相应的虚拟张量输出计算如下：

其中，k₁……k_g分别表示第1～g组虚拟卷积核的尺寸，c₁……c_g分别表示第1～g组虚拟卷积核输入通道数，v表示每个虚拟内核的输出通道数，z表示输出通道数，在本式中表示预测输出通道数。

输出张量是所有虚拟输出张量的通道的叠加

计算方式为：

其中，z_o＝z₁+...z_g＝m·e，在本式中，z₀表示虚拟卷积核输出通道数的和，z₁……z_g表示其中任意一个虚拟卷积核输出通道，m表示原始输入的通道维度。最终将叠加后的特征向量再次送入瓶颈层，通过瓶颈层改变通道维度，得到最终的特征输出。

如图2所示，在本实施例中，反残差结合多尺度可分离卷积的模块(MDConv)设于模型的第四到第七层，其输出的通道数、卷积步数分别如图中第二、三列所示。

目标检测的主要困难之一是有效处理多尺度特征。Yolov3-tiny采用的是一种自上而下的途径来组合多尺度特征。如图3所示，本发明对其进行优化，设计了一种双向双输入特征金字塔模块(DIFPN)：首先，对只有一个输入边的节点进行改进，确保每一个节点都有两个尺度的特征输入。因为节点只有一个输入边且没有特征融合，那么它将对旨在融合不同特征的特征网络贡献较小。该方法能够学到不同尺度的特征，使网络能够适应不同尺寸的输入。其次，本发明将自上而下与自下而上混合使用，自上而下指对输入特征进行重复上采样操作，使得特征的尺寸成倍扩大通道不变，自下而上指对输入特征进行重复下采样操作，使得特征的尺寸成倍缩小通道不变。公式化多尺度特征融合如公式(4)所示：

其中

分别表示第i，h层的特征输出，Pⁱⁿ表示当前层的特征输出，Resize通常是分辨率匹配的上采样或下采样，Conv通常是用于特征处理的卷积操作。

双向双输入特征融合如图3所示，其中向下的箭头表示下采样，向上的箭头表示上采样。

为了更高效的利用深层网络层中的权重特征，本方法利用自注意力模块交错执行特征聚合和特征变换以实现“特征重标定”，让网络在输出层之前能够学习到更有用的特征信息，以避免卷积层特征的冗余，进一步减少模型参数量的同时提升网络性能和效率，可以更好的提取出人与车的特征，在检测时可以提高检测精度，降低误检率。特征重标定指对当前输出特征赋予不同的权重以达到使有利的特征更加有利，无用的特征被弱化。

自注意力的定义如下式：

其中

表示Hadmard乘积，x_i表示特征图在i位置处的特征向量，

表示局部近临空间；函数β将对输入局部特征x_j进行编码并被用于特征聚合；特征聚合的权重为自适应参数，并通过α(x_i，x_j)确定；

α(x_i，x_j)是自注意力的核心，它用于计算待聚合特征的权值；为简化不同自注意力的描述，为其进行分解得到如下式：

α(x_i,x_j)＝R(E(x_i,x_j)) (6)

其中R，E表示相关函数，E根据待聚合的x_i，x_j输出一个特征向量，而R函数则据此输出用于特征聚合的权值标量；R函数使得可以尽可能的去探索x_i，x_j之间的相关性，而不需要考虑维度对齐问题；

采用的相关函数为：

其中Ψ，φ表示可训练的变换，两者具有相同的输出维度。

(四)模型训练与推理

在构建的改进Yolov3-tiny检测模型上使用预处理后的训练集进行模型训练，批处理大小为32，学习率为0.0005，训练200个epochs。通过观察目标函数曲线的变化确定最优模型。检测时将图片送入最优模型，模型读取图片，将其裁剪为416×416，送入检测网络进行位置与类别预测。

Claims (6)

1.一种轻量级车辆与行人的检测方法，其特征在于，包括以下步骤：

(1)对人、车两类图像数据进行预处理，并将图像数据按比例划分为训练集和测试集；

(2)构建基于改进的Yolov3-tiny为检测模型：

利用反残差网络结构结合多尺度可分离卷积对特征提取网络改进，利用瓶颈层对通道维度进行缩放，将通道划分为若干组，并对每组应用不同的卷积核大小；将多尺度特征的组合方式改进为双向双输入特征融合方法，对只有一个输入边的节点进行改进，确保每一个节点都有两个尺度的特征输入，并将自上而下与自下而上混合使用；在检测网络引入自注意力机制，利用自注意力模块交错执行特征聚合和特征变换实现特征重标定；

(3)在步骤(2)构建的检测网络上使用训练集进行模型训练，确定最优模型，并进行图像检测。

2.根据权利要求1所述的轻量级车辆与行人的检测方法，其特征在于，所述步骤(1)中的预处理为单样本与多样本结合的的数据增强方法，具体包括：

(11)单样本的数据增强包括颜色操作和几何操作：

所述原则操作为通过颜色直方图变换、对比度改变及亮度整体变换来改变图像中物体不同部位的颜色；所述几何操作是通过随机旋转、翻转、裁剪后的几何扭曲来改变图像中对象不同位置和尺度，进而改变图像像素内容；

(12)多样本数据增强采用基于邻域风险最小化原则的数据增强方法，采用线性插值得到新样本数据，令(x_n,y_n)为插值生成的新数据，(x_i,y_i)，(x_j,y_j)是训练集中选取的两个数据，则数据生成操作如下：

(x_n,y_n)＝λ(x_i,y_i)+(1-λ)(x_j,y_j)

其中，x_i表示第i个数据，y_i表示第i个数据的标签。λ表示插值系数，λ的取值范围是0到1。

3.根据权利要求1所述的轻量级车辆与行人的检测方法，其特征在于，所述步骤(1)预处理前的图像为PNG格式，尺寸为416×416。

4.根据权利要求1所述的轻量级车辆与行人的检测方法，其特征在于，所述步骤(2)的利用反残差结构结合多尺度可分离卷积具体包括以下步骤：

首先将特征图输入，经过瓶颈层来扩张特征图的维度，扩张系数为e，其次将扩张后的特征张量划分为g组虚拟张量

其中所有的虚拟张量

具有相同的空间高度h和宽度w，其总通道大小等于扩张后的输入张量通道的大小，即c₁+c₂+...c_g＝c·e；其中，c表示原始通道数，e表示通道扩张系数；

同样，将卷积内核分为g组虚拟内核

其中第n组相应的虚拟张量输出计算如下：

其中，k₁……k_g分别表示第1～g组虚拟卷积核的尺寸，c₁……c_g分别表示第1～g组虚拟卷积核输入通道数，v表示每个虚拟内核的输出通道数，z表示输出通道数，在本式中表示预测输出通道数；

输出张量是所有虚拟输出张量的通道的叠加

计算方式为：

其中，z_o＝z₁+...z_g＝m·e，在本式中，z₀表示虚拟卷积核输出通道数的和，z₁……z_g表示其中任意一个虚拟卷积核输出通道，m表示原始输入的通道维度；最终将叠加后的特征向量再次送入瓶颈层，通过瓶颈层改变通道维度，得到最终的特征输出。

5.根据权利要求1所述的轻量级车辆与行人的检测方法，其特征在于，所述步骤(2)的双向双输入的多尺度组合方式根据下式实现：

P_i ^out＝Conv(Pⁱⁿ+Resize(P_h ^out))

其中P_i ^out，P_i ^out分别表示第i，h层的特征输出，Pⁱⁿ表示当前层的特征输出，Resize是分辨率匹配的上采样或下采样，Conv是用于特征处理的卷积操作。

6.根据权利要求1所述的轻量级车辆与行人的检测方法，其特征在于，所述步骤(2)的自注意力方法具体包括以下步骤：

自注意力的定义如下式：

其中

表示Hadmard乘积，x_i表示特征图在i位置处的特征向量，

表示局部近临空间；函数β将对输入局部特征进行编码并被用于特征聚合；特征聚合的权重为自适应参数，并通过α(x_i，x_j)确定；

α(x_i，x_j)是自注意力的核心，它用于计算待聚合特征的权值；为简化不同自注意力的描述，为其进行分解得到如下式：

α(x_i,x_j)＝R(E(x_i,x_j))

其中E，R表示相关函数，E根据待聚合的x_i，x_j输出一个特征向量，而R函数则据此输出用于特征聚合的权值标量；R函数使得可以尽可能的去探索x_i，x_j之间的相关性，而不需要考虑维度对齐问题；

采用的相关函数为：

其中Ψ，φ表示可训练的变换，两者具有相同的输出维度。

Images