CN109784402A - 基于多层次特征融合的快速无人车驾驶场景分割方法 - Google Patents

Abstract

本发明公开了一种基于多层次特征融合的快速无人车驾驶场景分割方法，其先利用深度神经网络对场景图片进行编码、池化，解码得到稠化特征图，再通过多层次特征融合技术对不同特征空间的特征进行融合，得到包含更多特征图全局信息的特征融合图；softmax分类器将特征融合图中的像素点进行分类，得到基于像素点的驾驶场景分割图。这样能够保证在获取特征图全局信息的前提降低运算量，在能够满足无人驾驶的情况下大大提高场景分割速率，有利于实现快速语义分割技术，进而为无人驾驶提供技术支撑。

Description

基于多层次特征融合的快速无人车驾驶场景分割方法

技术领域

本发明属于场景分割技术领域，更为具体地讲，设计一种快速的基于多层次特征融合的无人车室外场景分割方法。

背景技术

近年来，人工智能越来越炙手可热，无人驾驶作为其中的一员，已经从技术研发逐渐转向市场应用。目前国内外各大车企，互联网公司纷纷将其设为重点发展方向。在国外，英国和美国政府也相继发布人工智能报告，并在报告中提及无人驾驶的发展和其良好的发展前景。而我国的科学技术部在刚出台的“科技创新2030—重大项目”中首次将人工智能升级到国家层次战略，并将无人驾驶列为重点发展对象。在无人驾驶技术中，对驾驶场景进行语义分割处于核心地位，作为基础功能，语义分割可以为无人车驾驶系统提供丰富的信息，且具有较好的鲁棒性。

近年来，随着以卷积神经网络为代表的深度学习的快速发展，很多视觉领域开始大量使用卷积神经网络。在语义分割领域，以FCN为代表的卷积模型首次在速度和精度两方面大幅度超越传统分割模型。因为卷积神经网络在训练过程中是一个参数学习过程，之后可以直接使用训练好的参数来进行训练，所以其速度较快。和传统模型相比，基于卷积神经网络的模型可以提取更鲁棒的特征。综合分析，基于卷积神经网络的语义分割是面向无人车驾驶场景最好的选择。但是，对于无人驾驶场景理解，语义分割的结果不仅需要有较高的精度，同时需要保证一定的速度，从而能够保证智能驾驶过程中对场景理解的实时性，进而确保及时对智能车进行控制与决策。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于多层次特征融合的快速无人车驾驶场景分割方法，通过多层次特征融合处理，能够更好的保存原始特征图信息，便于在保证精度的同时提高语义理解的速度。

本发明解决技术问题采用如下技术方案：一种基于多层次特征融合的快速无人车驾驶场景分割方法，其包括：

S1.利用深度神经网络对无人车驾驶场景图片进行编码，得到稀疏特征图；

S2.对不同的特征空间中的稀疏特征图进行解码，得到稠化特征图；

S3.对不同特征空间的稠化特征图利用1x1的卷积核进行卷积，获取稠化特征图的全局信息；

S4.对不同特征空间卷积后的稠化特征图进行融合，得到包含驾驶场景全局信息的特征融合图；

S5.利用深度神经网络末端的soft-max分类器将融合后特征图的像素点进行分类，得到基于像素点的驾驶场景分割图。

可选的，S1中，将摄像头采集的车道图片输入深度神经网络，深度神经网络通过编码部分的卷积操作、池化操作对输入的场景图片进行特征提取得到稀疏特征图。

可选的，所述特征提取通过卷积核对感受野区域进行卷积操作实现；然后通过非线性激励函数对每一个像素点进行非线性映射，得到稀疏特征表达。

可选的，所述卷积操作具体为：

1)用模板矩阵对图片像素矩阵进行矩阵移位相乘运算，即矩阵对应位置相乘最后求和；

2)、按照1)所述的运算法则从左向右、自上而下完成对整个图片的遍历。

可选的，S4中，在卷积融合环节中将每个卷积层的输出通道数统一设定为21，并在语义特征融合环节中，采用对应位置处像素值相加的方式实现对这些特征的融合。

本发明具有如下有益效果：本发明的基于多层次特征融合的快速无人车驾驶场景分割方法，先利用深度神经网络对场景图片进行编码、池化，解码得到稠化特征图，再通过多层次特征融合技术对不同特征空间的特征进行融合，得到包含更多特征图全局信息的特征融合图。softmax分类器将特征融合图中的像素点进行分类，得到基于像素点的驾驶场景分割图。这样能够保证在获取特征图全局信息的前提降低运算量，在能够满足无人驾驶的情况下大大提高场景分割速率，有利于实现快速语义分割技术，进而为无人驾驶提供技术支撑。

附图说明

图1为本发明的基于多层次特征融合的快速无人车驾驶场景分割方法的流程图；

图2为对输入图片进行编码提取场景特征的深度卷积神经网络可视化；

图3为本发明多层次特征融合示意图。

具体实施方式

下面结合实施例及附图对本发明的技术方案作进一步阐述。

实施例1

本实施例提供了一种基于多层次特征融合的快速无人车驾驶场景分割方法，其包括：

S1、利用深度神经网络对无人车驾驶场景(车道图片)进行编码。

利用车载摄像头采集驾驶场景图片(车道图片)，再将摄像头采集的车道图片输入深度神经网络，利用深度神经网络的编码部分的卷积操作、池化操作对输入的车道图片进行特征提取得到稀疏特征图，如图2所示。

其中，每一个卷积层的操作具体为：1)用模板矩阵对图片像素矩阵进行矩阵移位相乘运算，即矩阵对应位置相乘最后求和；2)、按照1)所述的运算法则从左向右、自上而下完成对整个图片的遍历。

其中，编码主要是对输入的图片进行特征提取，特征提取的具体实现是通过卷积核对感受野区域进行卷积所实现的，特征图的每个神经元将输入层中相邻区域的神经元连接在一起，这一区域被称为输入层特征图的感受野。这样就可以通过对输入层进行卷积操作获得对输入层的特征提取，即获得稀疏特征图，然后紧接着通过非线性激励函数对每一个像素点进行非线性映射，从而得到更好的稀疏特征表达。

S2、对不同的特征空间的稀疏特征图，利用深度神经网络通过线性差值进行上采样，进而得到对应特征空间的稠化特征图。

S3、对不同特征空间的稠化特征图利用1x1的卷积核进行卷积，获取稠化特征图的全局信息。

该尺寸的卷积核在一定程度上相当于全连接层，通过对特征图里每一个像素进行处理来获取特征图全局信息。但和全连接层相比，其参数量明显变少，这将有效抑制卷积网的过拟合问题。并和尺寸为3×3的卷积核相比，其运算量减少到原来的1/9，这将有助于FusNet网络计算速度的提升。

S4、对不同特征空间卷积后的稠化特征图进行融合，得到包含驾驶场景全局信息(能够包含几乎全部原始场景特征信息)的特征融合图。

对驾驶场景多层次特征融合处理的方法为：在卷积融合环节中将每个卷积层的输出通道数统一设定为21，并在语义特征融合环节中，采用对应位置处像素值相加的方式实现对这些特征的融合，即Caffe的Eltwise层。

S5、利用深度神经网络末端的soft-max分类器将融合后特征图的像素点进行分类，得到基于像素点的驾驶场景分割图。

以上实施例的先后顺序仅为便于描述，不代表实施例的优劣。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种基于多层次特征融合的快速无人车驾驶场景分割方法，其特征在于，包括：

S1.利用深度神经网络对无人车驾驶场景图片进行编码，得到稀疏特征图；

S2.对不同的特征空间中的稀疏特征图进行解码，得到稠化特征图；

S3.对不同特征空间的稠化特征图利用1x1的卷积核进行卷积，获取稠化特征图的全局信息；

S4.对不同特征空间卷积后的稠化特征图进行融合，得到包含驾驶场景全局信息的特征融合图；

S5.利用深度神经网络末端的soft-max分类器将融合后特征图的像素点进行分类，得到基于像素点的驾驶场景分割图。

2.根据权利要求1所述的基于多层次特征融合的快速无人车驾驶场景分割方法，其特征在于，S1中，将摄像头采集的车道图片输入深度神经网络，深度神经网络通过编码部分的卷积操作、池化操作对输入的场景图片进行特征提取得到稀疏特征图。

3.根据权利要求2所述的基于多层次特征融合的快速无人车驾驶场景分割方法，其特征在于，所述特征提取通过卷积核对感受野区域进行卷积操作实现；然后通过非线性激励函数对每一个像素点进行非线性映射，得到稀疏特征表达。

4.根据权利要求2或3所述的基于多层次特征融合的快速无人车驾驶场景分割方法，其特征在于，所述卷积操作具体为：

1)用模板矩阵对图片像素矩阵进行矩阵移位相乘运算，即矩阵对应位置相乘最后求和；

2)、按照1)所述的运算法则从左向右、自上而下完成对整个图片的遍历。

5.根据权利要求1所述的基于多层次特征融合的快速无人车驾驶场景分割方法，其特征在于，S4中，在卷积融合环节中将每个卷积层的输出通道数统一设定为21，并在语义特征融合环节中，采用对应位置处像素值相加的方式实现对这些特征的融合。