CN109508710A - 基于改进YOLOv3网络的无人车夜间环境感知方法 - Google Patents

Abstract

本发明涉及一种基于改进YOLOv3网络的无人车夜间环境感知方法。本发明应用于无人车领域，将YOLOv3网络应用于夜间红外图像，改进后的YOLOv3网络具有端到端的特点，将红外图像中周边车辆角度信息加入到YOLOv3网络边界框位置信息中，对周边车辆行驶意图做出判断，实现周边车辆角度预测，输入一张图像直接可以预测出目标信息，大幅提升速度的同时加强了对小目标物体的检测，有效的保证了预测的正确性和实时性。

Description

基于改进YOLOv3网络的无人车夜间环境感知方法

技术领域

本发明涉及一种改进YOLOv3网络的无人车夜间环境感知方法，属于夜视红 外图像处理领域。

背景技术

无人车在行驶过程中需要对环境信息进行实时获取并处理。近年来无人车夜 视场景的环境感知研究受到广泛关注，从目前的大多数技术方案来看，多数采用 激光雷达对周围环境三维空间感知来获取环境信息，其次是相机获取的图像信息， 以及毫米波雷达获取的定向目标距离信息。但激光雷达价格昂贵，相较于可见光 图像，红外图像能够在夜间提供更丰富的视觉信息，为无人车安全驾驶提供保障。 因此采用夜间拍摄的红外图像进行环境感知具有重要的研究意义。

无人车的环境感知目前多应用于可见光领域，夜视图像研究较少。夜视图像 环境感知能够扩展无人车在夜间的识别能力。夜间拍摄的红外图像纹理信息少， 图像成像模糊，相比可见光条件下的无人车环境感知难度更大。

夜间环境感知中的核心问题之一是无人车周边行人以及车辆的检测，夜间道 路能见度低，采用夜间无人车获取的单目红外图像对夜间行人，车辆进行目标检 测，可以有效帮助无人车对障碍物及时作出合理决策。

在计算机视觉领域，目标检测主要解决两个问题：图像上多个目标在哪里(位 置)以及是什么(类别)。其发展历程分为3个阶段：

第一阶段、传统的目标检测方法。大致思想为，首先在给定的图像上选择一 些候选的区域，然后对这些区域提取特征，最后使用训练的分类器进行分类。

第二阶段、以R-CNN为代表的结合候选区域(Region proposal)和CNN分类 的目标检测框架(如R-CNN，SPP-NET，Fast R-CNN，Faster R-CNN，R-FCN)。

第三阶段、以YOLO为代表的将目标检测转换为回归问题的端到端 (End-to-End)的目标检测框架(如YOLO，SSD)。

目标检测算法可以让无人车在不使用昂贵的雷达传感器情况下传达实时的 场景信息，帮助无人车快速做出相应决策。YOLO网络改进了Faster R-CNN使用 区域建议网络(RPN)生成候选区域，再用分类算法对候选区域分类后得到目标 边界的方法，改用整张图作为网络的输入，直接在输出层回归边界框的位置和边 界框所属的类别。YOLO网络遵循端到端训练和实时检测，检测速度较Faster R-CNN大幅提升，解决了目前基于深度学习检测中的速度问题，真正实现实时性。

周边车辆的行驶方向对帮助无人车感知周边环境变化具有重要意义。如果将 目标检测与车辆行驶方向信息结合，可以帮助无人车根据车辆行驶方向判断周边 车辆的行驶意图，辅助无人车进行决策。如何获取周边车辆的方向信息，判断车 辆行驶意图，帮助无人车对目标车辆及时作出决策是难点。

目前国内外对于夜间红外图像的环境感知研究还不够深入，尚无成熟的解决 方案。

发明内容

本发明的目的是：结合在彩色可见光图像处理领域较为成功的YOLOv3网络 进行夜间红外图像的目标检测，并提出改进的YOLOv3网络对识别的车辆进行方 向判断，为无人车在恶劣视觉条件下提供丰富且直观的环境信息。

为了达到上述目的，本发明的技术方案是提供了一种基于改进YOLOv3网络 的无人车夜间环境感知方法，其特征在于，包括以下步骤：

步骤1、构建夜视图像数据集，挑选无人车采集的红外图像，对这些红外图 像中包含的行人及车辆进行真实目标位置标注，得到样本文件；

步骤2、对原始红外图像中目标车辆的角度进行人工标定，构成车辆角度样 本文件，与步骤1得到的样本文件组成夜视图像目标与车辆角度样本文件；

步骤3、构建改进的YOLOv3网络，该改进的YOLOv3网络为加入车辆角度 预测的YOLOv3网络，利用步骤2得到的夜视图像目标与车辆角度样本文件训练 改进的YOLOv3网络，通过改进的YOLOv3网络提取特征，从而得到特征图；

步骤4、将整幅特征图划分成S×S个网格，每个网格生成B个边界框，每个 边界框预测6个值，分别为：位置信息(x，y，w，h)、置信度和角度，(x，y)表示边界 框相对于网格中心的的坐标，(w，h)是边界框相对于整张图片的高度和宽度，将 每个边界框根据类别置信度预测一个类别信息，类别分为行人及车辆；

步骤5、根据步骤4得到的类别信息，当类别为车辆时，给出预测车辆的角 度信息和车辆边界框，当类别为行人时，给出目标行人边界框；

步骤6：根据设定的阈值筛选出对于特定类别的置信度得分高的边界框，并 用非极大抑制算法删除重叠的边界框，得到最终目标边界框和车辆角度预测结果。

优选地，步骤1中，进行真实目标位置标注的方法为：将红外图像中包含的 所有行人和车辆目标用框标出，将图像中车辆、行人的数目以及车辆、行人的边 界框的左上右下4个坐标信息记录到样本文件中。

优选地，步骤3中，所述改进的YOLOv3网络中，采用Darknet-53网络作 为特征提取网络，经过一系列的卷积、下采样后将卷积的通道数翻倍，提取特征 后再使用1×1和3×3的卷积和交替操作，最后使用平均-池化进行预测。

优选地，步骤4中，基于目标anchor boxes的思想，使每个所述网格的周 围生成几个固定比例的边框，通过设定anchor的个数，采用K-Means聚类方法 得出anchor的大小。

优选地，目标车辆的周边车辆的车辆角度是以车辆边界框中心水平向右为零 度，逆时针角度变大，旋转一圈为360度。

本发明的优点是：

本发明应用于无人车领域，将YOLOv3网络应用于夜间红外图像，改进后的 YOLOv3网络具有端到端的特点，将红外图像中周边车辆角度信息加入到YOLOv3 网络边界框位置信息中，对周边车辆行驶意图做出判断，实现周边车辆角度预测， 输入一张图像直接可以预测出目标信息，大幅提升速度的同时加强了对小目标物 体的检测，有效的保证了预测的正确性和实时性。

附图说明

图1为改进YOLOv3网络的夜间红外图像环境感知流程图。首先需要对夜视 图像进行人工标记，得到夜视图像真实目标位置及车辆角度信息。然后构建改进 的YOLOv3网络，将训练图像和对应的标注信息放入构建的网络中进行迭代学习， 得到网络的模型参数。接着输入测试图像，改进的YOLOv3网络会根据前面训练 得到的模型参数对测试图像进行目标检测和车辆角度预测，最终得到红外图像环 境感知结果。

图2为改进的YOLOv3网络结构图。在分类网络的基础上增加多尺度预测， 采用三个尺度分别负责预测不同大小的物体，使用聚类方法得到9个聚类中心， 将其按照大小均分给3种尺度。

图3为本发明的夜间环境感知实验结果。第一行为测试图像，第二行为人工 标记的图像，第三行为测试结果。实验结果表明，本发明构建的改进的YOLOv3 网络对夜间无人车环境感知有非常好的检测效果。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明 本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之 后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本 申请所附权利要求书所限定的范围。

如图1所示，基于改进YOLOv3网络的无人车夜间环境感知的具体实施如下：

步骤1：采用实验室夜晚采集的雪天红外数据构建夜视图像数据集。通过标 记工具Labellmg对样本图像进行人工标注。类别分为两类——行人和车辆。将 图片中车辆、行人的数目以及车辆、行人的边界框的左上右下4个坐标信息记 录到样本文件中。数据集包含训练图片8000张，测试图片800张，图片尺寸为 768*576。

步骤2：对步骤1中标记的车辆用python进行角度标定，以车辆边界框中 心水平向右为零度，逆时针角度变大，旋转一圈为360度。构成车辆角度样本 文件，与步骤1得到的样本文件组成夜视图像目标与车辆角度样本文件。

步骤3：构建改进的YOLOv3网络，利用步骤1和步骤2得到的夜视图像目 标与车辆角度样本文件训练该改进的YOLOv3网络，其中：改进的YOLOv3网络 为加入车辆角度预测的YOLOv3网络，通过改进的YOLOv3网络提取输入的原始 图像的特征，从而得到特征图。

本发明的算法采用在VGG-16网络结构上修改的Darknet-53网络作为特征提 取网络。VGG-16是常用的特征提取网络，作为分类网络，它准确率高，但十分 复杂，计算量十分庞大。Darknet-53网络共有53个卷积层，下采样后将卷积的 通道数翻倍，提取特征后再使用1×1和3×3的卷积和交替操作，其中，3×3的 卷积增加通道数，1×1的卷积用于压缩3×3卷积后的特征表示，最后使用平均- 池化进行预测，有效减少计算次数，增加了网络的实用性。

假设深度卷积神经网络f，参数θ，则f的数学表达式为：

f(x；θ)＝W_LH_L-1

H_L＝pool(relu(W_LH_L-1+b_L))

式中，X为红外图像；H_L为L层隐层单元的输出；b_L为L层的偏差值；W_L为L层 的权值，且b_L和W_L组成可训练的参数θ；pool()表示池化操作，即将小邻域内 的特征点整合得到新特征，使得特征减少，参数减少，且池化单元具有平移不变 性，池化的方法主要包括平均-池化和最大值-池化，本发明在最后一层使用平均 -池化；relu()表示对特征图作一个非线性变换，使得想要的信息通过而过滤掉 不想要的信息；L为不小于.1的整数。Darknet-53网络的详细配置如表1所示

表1 Darknet-53网络的详细配置

YOLO网络在原理上仅对最后一层卷积输出层进行检测，但小物体像素少， 经过层层卷积，在这一层上的信息几乎体现不出来，导致难以识别。YOLOv3网 络针对这个问题，加入了FPN(特征金字塔网络)，使网络在小物体的识别上性 能大幅提升。FPN工作原理为：图片经过Darknet-53网络第K次卷积操作后得 到尺寸为32×32的特征图，接着进行M次卷积操作，得到尺寸为16×16的特 征图，接着进行N次卷积操作，得到第一个输出层，尺寸为8×8，用来检测大 物体。将第一个输出层得到的尺寸为8×8特征图进行上采样操作后，与Darknet-53网络得到的尺寸为16×16的特征图融合，再经过卷积操作得到第二 个输出层，尺寸为16×16，用来检测中物体。将第二个输出层得到的尺寸为 16×16特征图进行上采样操作后，与Darknet--53网络得到的尺寸为32×32的 特征图融合，再经过卷积操作得到第三个输出层，尺寸为32×32，用来检测小 物体。具体网络结构如图2所示。

步骤4：将整幅图片划分成S×S个网格，当目标的中心落入某个网格中，这 个网格就负责预测这个目标。采用目标anchor boxes的思想，使每个网格的周 围生成几个固定比例的边框。通过设定anchor的个数，采用K-Means聚类方法 得出anchor的大小，计算公式为：

b_x＝σ(x)+c_x

b_y＝σ(y)+c_y

b_w＝p_we^w

b_h＝p_he^h

式中，b_x为边界框中的偏移量；σ(x)、σ(y)为某个网格左上角的偏移量经过 σ函数转化为[0，1]区间的值；c_x、c_y为网格左上角的坐标，其均是单位为1的值； b_y为边界框中的偏移量；b_w为边界框的宽度，p_w、p_h分别为Anchor Boxes的宽 和高；e^w为网络输出值w的指数运算；b_h为边界框的高度；e^h为网络输出值h 的指数运算。

每个边界框预测6个值，包括：自身的位置信息(x，y，w，h)、置信度(Confidence)和角度(Angle)。(x，y)表示边界框相对于网格中心的的坐标，(w，h)是边界框相 对于整张图片的高度和宽度。边界框位置信息(x，y，w，h)根据网络预测结果得到， 将公式得到的b_x、b_y，b_w、b_h归一化，得到新的边界框位置信息。

置信度(Confidence)包含两个维度：一个是预测的边界框中含有目标的置 信度，另一个是衡量预测的边界框是否准确，公式为：

式中，Pr(object)用来衡量目标是否落在网格中，如果目标落在网格中 Pr(object)＝1，否则Pr(object)＝0。表示预测的边界框与实际边界框的交 并比。每个边界框预测一个类别信息C与边界框预测的置信度相乘，得到每个 边界框对于特定类别的置信度得分：

其中，Pr(Class_i|obiect)代表物体属于第i类的概率，Pr(Class_i)代表第i类 的概率。

根据概率最终得到物体类别信息(行人，车辆)。

步骤5：根据步骤4得到的类别信息，当类别为车时，给出预测车辆的角度 信息和车辆边界框，当类别为行人时，给出目标行人边界框。具体表示为

C＝car，angle＝[0，1]

C＝person，angle＝-1

当类别C判定为车car时，上式中的角度值angle根据车辆角度预测的定义， 将预测得到的0～1之间的值转换为角度值α，计算公式为：

α＝angle×360°

当类别C判定为行人person时，角度值angle预测一个-1值。

步骤6：根据步骤4得到的每个边界框对于特定类别的置信度得分值，设置 相应阈值筛选出对于特定类别的置信度得分高的边界框，并用非极大抑制算法 (NMS)删除重叠的边界框，结合步骤5得到最终目标边界框和车辆角度预测结 果。结果如图3所示。

实验表明，本发明中使用的改进的YOLOv3网络应用于无人车夜间采集的红 外图像环境感知有非常好的效果，准确率高，实时性好。

Claims (5)

1.一种基于改进YOLOv3网络的无人车夜间环境感知方法，其特征在于，包括以下步骤：

步骤1、构建夜视图像数据集，挑选无人车采集的红外图像，对这些红外图像中包含的行人及车辆进行真实目标位置标注，得到样本文件；

步骤2、对原始红外图像中目标车辆的角度进行人工标定，构成车辆角度样本文件，与步骤1得到的样本文件组成夜视图像目标与车辆角度样本文件；

步骤3、构建改进的YOLOv3网络，该改进的YOLOv3网络为加入车辆角度预测的YOLOv3网络，利用步骤2得到的夜视图像目标与车辆角度样本文件训练改进的YOLOv3网络，通过改进的YOLOv3网络提取特征，从而得到特征图；

步骤4、将整幅特征图划分成S×S个网格，每个网格生成B个边界框，每个边界框预测6个值，分别为：位置信息(x，y，w，h)、置信度和角度，(x，y)表示边界框相对于网格中心的的坐标，(w，h)是边界框相对于整张图片的高度和宽度，将每个边界框根据类别置信度预测一个类别信息，类别分为行人及车辆；

步骤5、根据步骤4得到的类别信息，当类别为车辆时，给出预测车辆的角度信息和车辆边界框，当类别为行人时，给出目标行人边界框；

步骤6：根据设定的阈值筛选出对于特定类别的置信度得分高的边界框，并用非极大抑制算法删除重叠的边界框，得到最终目标边界框和车辆角度预测结果。

2.如权利要求1所述的一种基于改进YOLOv3网络的无人车夜间环境感知方法，其特征在于，步骤1中，进行真实目标位置标注的方法为：将红外图像中包含的所有行人和车辆目标用框标出，将图像中车辆、行人的数目以及车辆、行人的边界框的左上右下4个坐标信息记录到样本文件中。

3.如权利要求1所述的一种基于改进YOLOv3网络的无人车夜间环境感知方法，其特征在于，步骤3中，所述改进的YOLOv3网络中，采用Darknet-53网络作为特征提取网络，经过一系列的卷积、下采样后将卷积的通道数翻倍，提取特征后再使用1×1和3×3的卷积和交替操作，最后使用平均-池化进行预测。

4.如权利要求1所述的一种基于改进YOLOv3网络的无人车夜间环境感知方法，其特征在于，步骤4中，基于目标anchor boxes的思想，使每个所述网格的周围生成几个固定比例的边框，通过设定anchor的个数，采用K-Means聚类方法得出anchor的大小。

5.如权利要求1所述的一种基于改进YOLOv3网络的无人车夜间环境感知方法，其特征在于，目标车辆的周边车辆的车辆角度是以车辆边界框中心水平向右为零度，逆时针角度变大，旋转一圈为360度。