CN108734713A - 一种基于多特征图的交通图像语义分割方法 - Google Patents

Abstract

本发明公开了一种基于多特征图的交通图像语义分割方法，包括以下步骤：获取多特征图训练样本：视差图、高度图和角度图；构建网络模型，并对网络模型进行训练，把训练好的网络模型和六通道的测试图像，输入到网络模型中，经过多类分类器softmax层输出六通道图像中每个像素属于每一物体类别的概率值，进而预测六通道图像中每个像素所属的物体类别，最终输出图像语义分割图。本发明基于多特征图的交通图像语义分割方法，实现了彩色图像和深度图、高度图、角度图的融合，能获取图像更多特征信息，有助于对道路交通场景的理解，提高了语义分割精度。本发明通过学习到的有效特征，能够预测出图像中每个像素所属的物体类别，输出图像语义分割图。

Description

一种基于多特征图的交通图像语义分割方法

技术领域

本发明涉及计算机视觉和模式识别领域，具体涉及一种基于立体视觉和深度卷积神经网络模型的多特征图交通图像语义分割方法。

背景技术

交通场景的理解和感知，在智能汽车的障碍检测、可通行性估测、路径规划等方面具有十分重要的意义。但是，道路交通场景具有复杂性、多变性以及不确定性等特点，使得交通场景的感知、理解工作变得困难且精度较低。在深度卷积神经网络出现之前，交通场景的感知和理解多通过人工设计特征提取器的方法来实现对交通场景的分类，需要通过编写复杂的程序来实现，且主要针对特定的类别有效，不具有普遍性。

近年来，随着计算机硬件尤其是图形处理器(GPU)的快速发展以及大规模标记数据的出现，深度卷积神经在交通场景的感知和理解等方面得到了迅速的发展，成为当前主流的方法。但是，目前基于RGB图像的交通图像语义分割方法未能充分地利用图像的特征信息，导致语义分割精度较低。

发明内容

为了克服上述现有技术的不足，本发明要提出一种基于多特征图的能够提高语义分割精度的交通图像语义分割方法

为实现上述目的，本发明的技术方案如下：一种基于多特征图的交通图像语义分割方法，包括以下步骤：

A、获取多特征图训练样本

A1、获取视差图

通过汽车自动驾驶系统中从水平安装的左右两个相机获取包含交通场景的左右两幅图像，然后通过半全局立体匹配算法得到包含场景三维信息的视差图。因为获得的初始视差图物体的边界较为粗糙，为提高分割精度，采用一种基于最小二乘法的快速全局图像平滑方法对视差图进行滤波处理，得到边缘更加平滑的视差图。所述的相机为双目立体视觉相机。

A2、获取高度图

在已经获得视差图的基础上，利用公式(1)，得到图像坐标系中点像素所对应的世界坐标系下的点的高度信息。

式中，f为相机焦距，b为两个相机的基线长度，d为视差值，v为图像的纵坐标，C_y为双目校正后图像坐标系原点与校正前图像坐标系原点的纵向偏移，f_y为相机的内参数。

由于相机的安装不能保证与地平面完全平行，其与地平面之间存在俯仰角，所以利用最小二乘法，对地平面进行拟合，得到图像的实际高度。

A3、获取角度图

在已经获得视差图的基础上，以地平面的法线方向为基准方向r，获得与基准方向r有关的角度信息的方法分为以下两步：

A31、假定初始基准方向为r_i-1，则像素点集N₁和N₂满足以下关系式：

N₁＝{l:θ(l,r_i-1)＜d or θ(l,r_i-1)＞180°-d}i＝1,2,···,n (2)

N₂＝{l:90°-d＜θ(l,r_i-1)＜90°+d}i＝1,2,···,n (3)

式中，N₁是法线平行于基准方向r的平面像素点集，N₂是法线垂直于基准方向r的平面像素点集。l为像素点的法线方向，θ(l,r_i-1)为法线方向l与r_i-1之间的夹角，d为迭代计算的步长，n为像素点的个数。

A32、迭代更新一个新的基准方向r_i，使其与像素点集N₁中像素点的法线方向平行，与像素点集N₂中像素的法线方向垂直，即r_i满足以下最优关系式：

对式(2)-(4)进行求解，首先将步长d设为45°，连续迭代5次。然后，再将步长d设为15°，继续迭代5次后，得到基准方向r。最后计算像素点法线方向与所得的基准方向r之间的角度，得到所需要的角度信息。

B、构建网络模型，并对所构建的网络模型进行训练

B1、构建网络模型

网络模型由编码器网络和解码器网络组成。编码器网络含5个卷积层，解码器网络含6个卷积层。解码器网络中的前五个卷积层分别是编码器网络的5个卷积层的镜像版本，而其第6个卷积层的卷积核大小为1×1。在编码器网络中，由于池化层的存在使得特征图不断变小，为获取与输入图像大小相等的特征图，在解码器网络中采取上采样操作。在池化过程记录每个池化窗口的最大特征值位置，并且在上采样操作过程将最大特征值放在对应的位置。解码器网络输出特征图，特征图经过多类分类器softmax层输出k个类，每个类为将图像的每个像素对应于具有最大预测概率的类。所述网络模型为交通图像语义分割网络模型。

B2、训练网络模型

网络模型的训练首先是把视差图、高度图和角度图与RGB图像融合成六通道的图像做成训练样本，输入到网络模型中，然后经过权重初始化过程，初始化网络模型中卷积层的权重和偏置。最后采用前向传播算法和反向传播算法，在训练集上迭代，选取训练好的网络模型中准确率最高的网络模型用于交通图像语义分割。前向传播算法的计算公式如下：

式中，P'_x＝k是k类的真实概率分布，x为像素点，P_x＝k为第k类的概率，L是损失值，N为小批量图像中的像素总数。反向传播算法的计算公式如下：

W_t+1＝W_t+V_t+1 (7)

式中，V_t+1是当前权重的更新值，V_t是先前权重的更新值，μ是动量，α是学习率，W_t+1是当前的权重矩阵，W_t是先前的权重矩阵，是负梯度。

B3、利用训练好的网络模型对测试集的图像进行语义分割。

为了证明视差图、高度图及角度图对交通场景语义分割精度的有效性，把训练好的网络模型和六通道的测试图像，输入到网络模型中，经过多类分类器softmax层输出六通道图像中每个像素属于每一物体类别的概率值，进而预测六通道图像中每个像素所属的物体类别，最终输出图像语义分割图。

与现有技术相比，本发明具有以下有益效果：

1、本发明基于多特征图的交通图像语义分割方法，实现了彩色图像和深度图、高度图、角度图的融合，能够获取图像更多的特征信息，有助于对道路交通场景的理解，提高了语义分割精度。

2、本发明构造的网络模型，可以从大量的训练样本中学习出有效的特征，而不在依赖人工设计的先验条件的约束。通过学习到的有效特征，进而能够预测出图像中每个像素所属的物体类别，输出图像语义分割图。

附图说明

图1是本发明的流程图。

图2是视差图。

图3是高度图。

图4是角度图。

图5是网络模型结构图。

图6是原始图像。

图7是三通道语义分割结果图。

图8是六通道语义分割结果图。

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。

如图1所示，一种基于多特征图的交通图像语义分割方法，包括以下步骤：

A、获取多特征图训练样本

A1、获取如图2所示的视差图；

A2、获取如图3所示的高度图；

A3、获取如图4所示的角度图；

B、构建网络模型，并对所构建的网络模型进行训练

B1、构建如图5所示的网络模型；

网络模型的输入为特征图和彩色图，特征图包括视差图、高度图和角度图。网络模型的输入从左到右依次为视差图、高度图、角度图和彩色图。网络模型由编码器网络和解码器网络组成。编码器网络含5个卷积层和3个池化层组成，编码器网络从左到右依次为卷积层、池化层、卷积层、池化层、卷积层、卷积层、卷积层和池化层。编码器网络中每个卷积层都经过批量归一化(BN)和激活函数(ReLU)处理。解码器网络含6个卷积层、3个上采样和1个softmax层组成。解码器网络中的前五个卷积层分别是编码器网络的5个卷积层的镜像版本，而其第6个卷积层的卷积核大小为1×1。解码器网络从左到右依次为上采样、卷积层、卷积层、卷积层、上采样、卷积层、上采样、卷积层、卷积核为1×1的卷积层和softmax层。解码器网络中同样地每个卷积层也都经过批量归一化(BN)和激活函数(ReLU)处理。网络模型的输出为六通道语义分割结果图。

B2、按图5所示训练网络模型；

B3、利用训练好的网络模型对测试集的图像进行语义分割；

为了证明视差图、高度图及角度图对交通场景语义分割精度的有效性，把训练好的网络模型和六通道的测试图像，输入到网络模型中，经过多类分类器softmax层输出六通道图像中每个像素属于每一物体类别的概率值，进而预测六通道图像中每个像素所属的物体类别，最终输出图像语义分割图。图6为原始图像，图7为三通道语义分割结果图，图8为六通道语义分割结果图。通过对比可以发现：图7三通道语义分割结果图的分割精度低，噪声大；图8六通道语义分割结果图的分割精度高，分割图像更平滑。

本发明不局限于本实施例，任何在本发明披露的技术范围内的等同构思或者改变，均列为本发明的保护范围。

Claims (1)

1.一种基于多特征图的交通图像语义分割方法，其特征在于：包括以下步骤：

A、获取多特征图训练样本

A1、获取视差图

通过汽车自动驾驶系统中从水平安装的左右两个相机获取包含交通场景的左右两幅图像，然后通过半全局立体匹配算法得到包含场景三维信息的视差图；因为获得的初始视差图物体的边界较为粗糙，为提高分割精度，采用一种基于最小二乘法的快速全局图像平滑方法对视差图进行滤波处理，得到边缘更加平滑的视差图；所述的相机为双目立体视觉相机；

A2、获取高度图

在已经获得视差图的基础上，利用公式(1)，得到图像坐标系中点像素所对应的世界坐标系下的点的高度信息；

式中，f为相机焦距，b为两个相机的基线长度，d为视差值，v为图像的纵坐标，C_y为双目校正后图像坐标系原点与校正前图像坐标系原点的纵向偏移，f_y为相机的内参数；

由于相机的安装不能保证与地平面完全平行，其与地平面之间存在俯仰角，所以利用最小二乘法，对地平面进行拟合，得到图像的实际高度；

A3、获取角度图

在已经获得视差图的基础上，以地平面的法线方向为基准方向r，获得与基准方向r有关的角度信息的方法分为以下两步：

A31、假定初始基准方向为r_i-1，则像素点集N₁和N₂满足以下关系式：

N₁＝{l:θ(l,r_i-1)＜d or θ(l,r_i-1)＞180°-d}i＝1,2,···,n (2)

N₂＝{l:90°-d＜θ(l,r_i-1)＜90°+d}i＝1,2,···,n (3)

式中，N₁是法线平行于基准方向r的平面像素点集，N₂是法线垂直于基准方向r的平面像素点集；l为像素点的法线方向，θ(l,r_i-1)为法线方向l与r_i-1之间的夹角，d为迭代计算的步长，n为像素点的个数；

A32、迭代更新一个新的基准方向r_i，使其与像素点集N₁中像素点的法线方向平行，与像素点集N₂中像素的法线方向垂直，即r_i满足以下最优关系式：

对式(2)-(4)进行求解，首先将步长d设为45°，连续迭代5次；然后，再将步长d设为15°，继续迭代5次后，得到基准方向r；最后计算像素点法线方向与所得的基准方向r之间的角度，得到所需要的角度信息；

B、构建网络模型，并对所构建的网络模型进行训练

B1、构建网络模型

网络模型由编码器网络和解码器网络组成；编码器网络含5个卷积层，解码器网络含6个卷积层；解码器网络中的前五个卷积层分别是编码器网络的5个卷积层的镜像版本，而其第6个卷积层的卷积核大小为1×1；在编码器网络中，由于池化层的存在使得特征图不断变小，为获取与输入图像大小相等的特征图，在解码器网络中采取上采样操作；在池化过程记录每个池化窗口的最大特征值位置，并且在上采样操作过程将最大特征值放在对应的位置；解码器网络输出特征图，特征图经过多类分类器softmax层输出k个类，每个类为将图像的每个像素对应于具有最大预测概率的类；所述网络模型为交通图像语义分割网络模型；

B2、训练网络模型

网络模型的训练首先是把视差图、高度图和角度图与RGB图像融合成六通道的图像做成训练样本，输入到网络模型中，然后经过权重初始化过程，初始化网络模型中卷积层的权重和偏置；最后采用前向传播算法和反向传播算法，在训练集上迭代，选取训练好的网络模型中准确率最高的网络模型用于交通图像语义分割；前向传播算法的计算公式如下：

式中，P'_x＝k是k类的真实概率分布，x为像素点，P_x＝k为第k类的概率，L是损失值，N为小批量图像中的像素总数；反向传播算法的计算公式如下：

V_t+1＝μV_t-α▽L(W_t) (6)

W_t+1＝W_t+V_t+1 (7)

式中，V_t+1是当前权重的更新值，V_t是先前权重的更新值，μ是动量，α是学习率，W_t+1是当前的权重矩阵，W_t是先前的权重矩阵，▽L(W_t)是负梯度；

B3、利用训练好的网络模型对测试集的图像进行语义分割；

为了证明视差图、高度图及角度图对交通场景语义分割精度的有效性，把训练好的网络模型和六通道的测试图像，输入到网络模型中，经过多类分类器softmax层输出六通道图像中每个像素属于每一物体类别的概率值，进而预测六通道图像中每个像素所属的物体类别，最终输出图像语义分割图。