CN110197152A - 一种用于自动驾驶系统的道路目标识别方法 - Google Patents

Abstract

本发明公开了一种用于自动驾驶系统的道路目标识别方法，包括如下步骤：调整输入图片大小；通过主干网络提取图片特征；通过扩张卷积模块进行下采样；基于部分特征图构建特征金字塔结构；在特征金字塔结构和下采样所得的尺度不同的特征图上生成锚框；将图片通过网络得到边界框相对于锚框的偏移值，对其进行解码得到边界框；对这些边界框进行降序排列和非极大值抑制得到最终检测识别结果；在训练部分，利用平滑化的绝对值损失函数和平衡前背景样本类别的加权平均损失函数对该网络进行训练。本发明显著增大了网络浅层的感受野，满足了识别小目标时对空间分辨率的需求；本发明充分利用全部的前背景样本来训练网络，具有很好的普适性和广泛的应用前景。

Description

一种用于自动驾驶系统的道路目标识别方法

技术领域

本发明涉及目标识别技术领域，具体涉及一种用于自动驾驶系统的道路目标识别方法。

背景技术

目标识别一直是计算机视觉中的一个重要问题，它的主要任务是通过计算，自动完成对一张图片中感兴趣目标的位置和类别的预测。目标识别在很多方面都有着重要的应用，其中就包括自动驾驶技术：在自动驾驶场景下进行行人、车辆、交通标志、交通信号灯等目标的识别，以应对复杂的路况以及突发事件，保证行车安全。

特征提取是传统目标识别技术中的关键，特征的质量往往可以很大程度上决定最终目标识别算法性能。不同的任务常常需要对特征有着不同的要求，也因此没有一种万能、通用的特征。

而近年来基于深度学习技术的目标识别方法通过训练网络使得模型自主学习特征，使得识别精度大幅度提升，其中包括：基于区域建议的两阶段算法Faster R-CNN，R-FCN等；基于回归的单阶段算法，如YOLO，SSD等。

然而，由于实际场景中目标物体的各种形变、尺度变化、姿态变化以及背景光照、角度、天气等复杂的环境因素，目标识别仍是一个具有挑战的任务。现有的目标识别方法在精确性以及实时性方面仍有上升空间。

发明内容

发明目的：针对现有技术存在的问题，本发明的目的是提供一种用于自动驾驶系统的道路目标识别方法，以提高自动驾驶场景下的目标识别的精确性和实时性。

技术方案：一种用于自动驾驶系统的道路目标识别方法，包括如下步骤：

步骤1、调整输入图片的尺寸，使其适配网络模型；

步骤2、采用主干网络提取图片特征；优选的，所述主干网络采用50层残差网络。

步骤3、通过扩张卷积模块进行下采样操作；

步骤4、利用主干网络和下采样所得特征图构建特征金字塔结构；

步骤5、在特征金字塔结构中的特征图和下采样所得的尺度不同的特征图上生成大小比例不同的锚框；

步骤6、根据边界框相对于锚框的偏移值，对图片进行解码，得到边界框；

步骤7、依照网络预测得分对边界框进行降序排列和非极大值抑制，得到模型预测的目标边界框；

步骤8、在训练部分，利用平滑化绝对值损失函数和平衡前背景样本类别的加权平均损失函数的加权和作为损失函数，对步骤1至步骤5所述网络进行训练。

进一步的，所述步骤2中，保留50层残差网络的C₁、C₂、C₃、C₄层；所述C₁层为第一个卷积块的输出特征图，所述C₂层为第一组残差块的输出特征图，所述C₃层为第二组残差块的输出特征图，所述C₄层为第三组残差块的输出特征图。

进一步的，所述步骤3中，扩张卷积模块包括3个残差模块，各残差模块包括主路径和副路径；所述主路径依次为：卷积核为1×1的卷积，卷积核为3×3、扩张率为2的扩张卷积，卷积核为1×1的卷积；通道数恒为256，3个卷积之间使用线性整流函数作为激活函数；所述副路径将残差模块输入通过卷积核为1×1的卷积，并和主路径输出做元素级别加法，得到残差模块输出；特征图的大小在扩张卷积模块中保持不变。

进一步的，所述步骤3中，下采样操作由连续6个卷积核为3×3、步幅为2的卷积堆叠实现。

进一步的，所述步骤4中，所述特征金字塔结构由特征图通过横向连接和双线性插值上采样，自顶向下做特征融合所得。所述特征融合包括连结和元素级别加法两个操作。

进一步的，所述步骤5中，按照如下规则生成大小比例不同的锚框：

选取7个用于预测的特征图，在其上生成锚框，锚框面积分别设为{32²,64²,128²,256²,341²,426²,512²}，在每个特征图上以每个像素点为中心生成锚框，锚框宽高比设置为{1:2,1:1,2:1}，而对于每种宽高比的锚框，设置其大小为{2⁰,2^1/3,2^2/3}。

所述步骤8中，损失函数L(x,c,l,g)为：

式中，L_loc为平滑化绝对值损失函数，L_conf为平衡前背景样本类别的加权平均损失函数；

所述L_loc为：

其中，i为预测框序号；j为真实框序号；p为类别序号，p＝0表示背景；表示第i个预测框和第j个真实框关于类别k是否匹配；所述smooth_L1为：

为预测框位置信息，为真实框相对于锚框的编码位置信息，二者都由框的中心点横坐标cx、纵坐标cy、框的宽w、高h所确定；

所述L_conf为：

其中，为预测框关于类别的置信度。

有益效果：与现有技术相比，本发明具有如下显著进步：1、本发明属于单阶段目标识别算法，且采用层数适中的残差网络作为主干网络，在提升精度的同时依然保持相对高的识别速度，满足自动驾驶场景实际需求。2、本发明的网络中采用了扩张卷积，增大了网络浅层的感受野，满足了识别小目标时对空间分辨率的需求。3、本发明采用了特征融合结构，将高层抽象出的丰富的语义信息融合到浅层网络中，使得该方法对小目标的识别效果更好，使得车辆可以在离目标较远时就对路况做出判断。4、本发明在训练网络时，设计了一种平衡前背景样本类别的加权平均损失函数，使得训练能够充分利用全部的正样本和负样本，因而整体精度更高，满足复杂路况时的目标识别需求。

附图说明

图1为本发明实施例的模型示意图；

图2为本发明方法模型中的扩张模块的基本构成单元示意图；

图3(a)为标准卷积示意图；

图3(b)为本发明方法模型中的扩张卷积示意图。

具体实施方式

下面结合附图和具体实施例，对本发明的技术方案及实现过程做进一步阐明。

如图1所示，本发明提供一种用于自动驾驶系统的道路目标识别方法，包括如下步骤：

1、对输入的图片数据，为适配网络模型对输入尺寸的要求并满足对识别精度的需求，调整其大小到512×512像素。

2、将图片通过主干网络提取特征，主干网络采用50层残差网络，只保留其中的C₁、C₂、C₃、C₄层，它们分别为50层残差网络中第一个卷积块的输出特征图，第一组残差块的输出特征图，第二组残差块的输出特征图，第三组残差块的输出特征图；定义C₃、C₄层输出的特征图为P₃、P₄，以此类推。

3、在步骤2主干网络之后连接扩张卷积模块并进行一系列下采样。

具体的，扩张卷积模块由3个残差模块构成，每个残差模块分为两条路径；主路径依次是，卷积核为1×1的卷积，卷积核为3×3、扩张率为2的扩张卷积，以及卷积核为1×1的卷积，并保持通道数恒为256，3个卷积之间使用线性整流函数作为激活函数，副路径将残差模块输入通过卷积核为1×1的卷积并和主路径输出做元素级别加法得到残差模块输出，特征图大小(空间分辨率)在此模块保持不变，其中扩张卷积的具体操为：如果卷积核的大小为k×k，那么在扩张率为r时，需要在卷积核中插入r-1个零值。卷积核的尺寸将扩大为k_e：

k_e＝k+(k-1)(r-1)

其后的一系列下采样操作由连续6个卷积核为3×3、步幅为2的卷积堆叠串联实现；

4、利用步骤2的主干网络和步骤3下采样所得一部分特征图构建特征金字塔结构，即将主干网络中的C₃和C₄层以及下采样得到的C₄_post和P₅_prev层通过横向连接和双线性插值上采样，自顶向下做特征融合所得；其中，C₄_post表示扩张模块的输出特征图，P₅_prev表示由C₄_post下采样得到的特征图。

特征融合由连结和元素级别加法两个操作完成，以两路输入为例，假设输入的通道分别为X_i和Y_i(1≤i≤c，c为通道数)，连结操作的单个输出通道Z_concat为：

元素级别加法操作的单个输出通道Z_add为：

最后再采用3×3卷积核对每个融合结果进行卷积消除上采样的混叠效应。

5、在步骤4特征金字塔结构中的特征图P₃、P₄、P₅和步骤3下采样所得的尺度不同的特征图P₆、P₇、P₈、P₉上，按如下规则生成大小比例不同的锚框：

在特征图P₃至P₉上生成的锚框面积分别设为{32²,64²,128²,256²,341²,426²,512²}，在每个特征图上以每个像素点为中心生成锚框，锚框宽高比设置为{1:2,1:1,2:1}，而对于每种宽高比的锚框，设置其大小为{2⁰,2^1/3,2^2/3}，由于每个锚框都包含K个分类目标(K是目标类别数)和4个位置信息回归目标，对于一个大小为n×n的特征图，它共有n²个单元，那么每个单元共需要9(K+4)个预测值，所有的单元共需要9n²(K+4)个预测值，这里采用卷积做检测，故设置通道数为9(K+4)的卷积核完成这个特征图的检测过程。

6、图片通过步骤1到步骤4的网络后得到边界框相对于锚框的偏移值，对其进行解码得到边界框，解码过程为：

b^cx＝d^wl^cx+d^cx

b^cy＝d^hl^cy+d^cy

b^w＝d^wexp(l^w)

b^h＝d^hexp(l^h)

其中，d^cx、d^cy、d^w、d^h分别表示锚框的中心点横坐标、纵坐标、宽、高；b^cx、b^cy、b^w、b^h分别表示边界框的中心点横坐标、纵坐标、宽、高；l^cx、l^cy、l^w、l^h分别表示偏移值的中心点横坐标、纵坐标、宽、高。

7、依照网络预测得分对步骤6所得边界框进行降序排列和非极大值抑制，降序排列操作为：将步骤7所得所有边界框按类别得分降序排列，后取其中得分最高的400个框；最后进行非极大值抑制操作，即选取相邻边界框中得分高的，抑制相邻边界框中得分低的，从而得到模型最终预测的目标边界框。

8、在训练部分，利用平滑化绝对值损失函数和平衡前背景样本类别的加权平均损失函数的加权和作为损失函数对该网络(步骤1至步骤5)进行训练；损失函数L(x,c,l,g)为：

它由L_loc和L_conf的加权和组成，L_loc为平滑化绝对值损失函数，L_conf为平衡前背景样本类别的加权平均损失函数。

L_loc为：

i为预测框序号，j为真实框序号，p为类别序号，p＝0表示背景，表示第i个预测框和第j个真实框关于类别k是否匹配，其中smooth_L1为：

预测框位置信息具体为：

真实框相对于锚框的编码位置信息具体为：

二者都由框的中心点横坐标cx、纵坐标cy、框的宽w、高h所确定。L_conf为：

其中，为预测框关于类别的置信度。

Claims (9)

1.一种用于自动驾驶系统的道路目标识别方法，其特征在于，包括如下步骤：

步骤1、调整输入图片的尺寸，使其适配网络模型；

步骤2、采用主干网络提取图片特征；

步骤3、通过扩张卷积模块进行下采样操作；

步骤4、利用主干网络和下采样所得特征图构建特征金字塔结构；

步骤5、在特征金字塔结构中的特征图和下采样所得的尺度不同的特征图上生成大小比例不同的锚框；

步骤6、根据边界框相对于锚框的偏移值，对图片进行解码，得到边界框；

步骤7、依照网络预测得分对边界框进行降序排列和非极大值抑制，得到模型预测的目标边界框；

步骤8、在训练部分，利用平滑化绝对值损失函数和平衡前背景样本类别的加权平均损失函数的加权和作为损失函数，对步骤1至步骤5所述网络进行训练。

2.根据权利要求1所述的用于自动驾驶系统的道路目标识别方法，其特征在于：所述步骤2中，所述主干网络采用50层残差网络。

3.根据权利要求2所述的用于自动驾驶系统的道路目标识别方法，其特征在于：保留50层残差网络的C₁、C₂、C₃、C₄层；所述C₁层为第一个卷积块的输出特征图，所述C₂层为第一组残差块的输出特征图，所述C₃层为第二组残差块的输出特征图，所述C₄层为第三组残差块的输出特征图。

4.根据权利要求1所述的用于自动驾驶系统的道路目标识别方法，其特征在于：所述步骤3中，扩张卷积模块包括3个残差模块，各残差模块包括主路径和副路径；

所述主路径依次为：卷积核为1×1的卷积，卷积核为3×3、扩张率为2的扩张卷积，卷积核为1×1的卷积；通道数恒为256，3个卷积之间使用线性整流函数作为激活函数；

所述副路径将残差模块输入通过卷积核为1×1的卷积，并和主路径输出做元素级别加法，得到残差模块输出；特征图的大小在扩张卷积模块中保持不变。

5.根据权利要求1所述的用于自动驾驶系统的道路目标识别方法，其特征在于：所述步骤3中，下采样操作由连续6个卷积核为3×3、步幅为2的卷积堆叠实现。

6.根据权利要求1所述的用于自动驾驶系统的道路目标识别方法，其特征在于：所述步骤4中，所述特征金字塔结构由特征图通过横向连接和双线性插值上采样，自顶向下做特征融合所得。

7.根据权利要求6所述的用于自动驾驶系统的道路目标识别方法，其特征在于：所述特征融合包括连结和元素级别加法两个操作。

8.根据权利要求1所述的用于自动驾驶系统的道路目标识别方法法，其特征在于：所述步骤5中，按照如下规则生成大小比例不同的锚框：

选取7个用于预测的特征图，在其上生成锚框，锚框面积分别设为{32²,64²,128²,256²,341²,426²,512²}，在每个特征图上以每个像素点为中心生成锚框，锚框宽高比设置为{1:2,1:1,2:1}，而对于每种宽高比的锚框，设置其大小为{2⁰,2^1/3,2^2/3}。

9.根据权利要求1所述的用于自动驾驶系统的道路目标识别方法，其特征在于，所述步骤8中，损失函数L(x,c,l,g)为：

式中，L_loc为平滑化绝对值损失函数，L_conf为平衡前背景样本类别的加权平均损失函数；

所述L_loc为：

其中，i为预测框序号；j为真实框序号；p为类别序号，p＝0表示背景；表示第i个预测框和第j个真实框关于类别k是否匹配；所述smooth_L1为：

为预测框位置信息，为真实框相对于锚框的编码位置信息，二者都由框的中心点横坐标cx、纵坐标cy、框的宽w、高h所确定；

所述L_conf为：

其中，为预测框关于类别的置信度。