CN106971155A - 一种基于高度信息的无人车车道场景分割方法 - Google Patents

Abstract

本发明公开了一种基于高度信息的无人车车道场景分割方法，先利用神经网络对车道图片进行编码、解码得到稠化特征图，再通过softmax分类器将稠化特征图中的像素点进行分类，得到基于像素点的车道场景分割图，最后利用基于高度信息的误差处理的校正，实现车辆道路区域和非道路区域的划分。这样减少分割时出现的噪声，以及由噪声带来的道路区域与非道路区域边界识别不明等问题。

Description

一种基于高度信息的无人车车道场景分割方法

技术领域

本发明属于场景分割技术领域，更为具体地讲，涉及一种基于高度信息的无人车车道场景分割方法。

背景技术

随着国家科技的迅猛发展，也带动了诸如无人车技术的提升，在无人车车载智能系统中起到关键作用的机器视觉领域占据着越来越重要的位置,而道路场景的分析与理解作为车载智能系统的重要内容自然成为了研究的热点。场景理解是基于图像分析的更深层次的物体识别，语义图像分割，最终要得到对应位置每个像素的分类结果，在未来计算机视觉将致力于在语义层面实现更加深刻的图像理解，不仅满足于识别出图像中的物体，还能给出图像标题进而讲出图像背后的场景内容。

在现有技术中，对于语义分割的经典做法是以某个像素点为中心取一个图像块,然后取图像块的特征作为样本去训练分类器。在测试阶段,同样的在测试图片上以每个像素点为中心采一个图像块进行分类,分类结果作为该像素点的预测值，最后实现像素的分类从而达到场景分割的目的。但这样对场景分割会出现较多噪声，且非道路区域与道路区域由于噪声的存在造成的边界不明。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于高度信息的无人车车道场景分割方法，通过高度信息的误差处理，实现车辆道路区域和非道路区域的划分。

为实现上述发明目的，本发明一种基于高度信息的无人车车道场景分割方法，其特征在于，包括以下步骤：

(1)、神经网络对车道图片进行编码、解码

将摄像头采集的车道图片输入神经网络，神经网络通过编码部分的卷积操作、池化操作对输入的车道图像进行特征提取得到稀疏特征图；通过解码部分的反卷积操作、反池化操作对特征图稠化，得到稠化特征图；

(2)、利用神经网络末端的softmax分类器将稠化特征图中的像素点进行分类，得到基于像素点的车道场景分割图；

(3)、对步骤(2)中的车道场景分割图进行基于高度信息的误差处理，得到最终车道场景分割图。

其中，所述的池化操作为：将车道图片划分为m*m的像素点区域，在每个像素点区域中记录最大像素值、第二大像素值的位置以及最大像素值和第二大像素值的位置关系；

所述的反池化操作为：根据最大像素值、第二大像素值的位置以及最大像素值和第二大像素值的位置关系，在对应位置处写入最大像素值和第二大像素值，其他位置置0。

进一步的，所述步骤(3)中，对车道场景分割图进行基于高度信息的误差处理的方法为：

(3.1)、将车道场景分割图从中间一分为二；

(3.2)、取车道场景分割图的下半部分图像，并从左到右，自上而下的遍历每个像素点，当遍历到第i行第j个像素点x_i,j时，该像素点x_i,j映射到实际空间中同一行右侧L距离处的像素点为x_i,j+k，那么像素点x_i,j与像素点x_i,j+k之间的像素点为道路区域中的像素点，且x_i,j为道路区域中左边车道边缘像素点；

同理，按照上述方法从右到左，自上而下的遍历每个像素点，得到右边车道边缘像素点y_i',j'；

(3.3)、根据左边车道边缘像素点x_i,j和右边车道边缘像素点y_i',j'确定一条车道直线x_i,jy_i',j'；

(3.4)、判断车道直线x_i,jy_i',j'上的所有像素点的高度是否小于h，如果小于h，则该像素点置为道路区域，否则置为非道路区域。

本发明的发明目的是这样实现的：

本发明一种基于高度信息的无人车车道场景分割方法，先利用神经网络对车道图片进行编码、解码得到稠化特征图，再通过softmax分类器将稠化特征图中的像素点进行分类，得到基于像素点的车道场景分割图，最后利用基于高度信息的误差处理的校正，实现车辆道路区域和非道路区域的划分。这样减少分割时出现的噪声，以及由噪声带来的道路区域与非道路区域边界识别不明等问题。

附图说明

图1是本发明基于高度信息的无人车车道场景分割方法流程图；

图2为本发明深度神经网络中池化与反池化操作示意图；

图3是本发明基于高度信息的误差处理示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于高度信息的无人车车道场景分割方法流程图。

在本实施例中，如图1所示，本发明一种基于高度信息的无人车车道场景分割方法，包括以下步骤：

S1、利用神经网络对车道图片进行编码

在本实施例中，利用车载摄像头采集车道图片，再将采集的车道图片输入神经网络，利用神经网络的编码部分的卷积操作、池化操作对输入的车道图像进行特征提取得到稀疏特征图。

在本实施例中，每一个卷积层的具体操作为：1)、用模板矩阵对图片像素矩阵进行矩阵移位相乘运算，即矩阵对应位置相乘最后求和；2)、按照1)所述的运算法则从左向右、自上而下完成对整个图片的遍历；

S2、利用神经网络对车道图片进行解码

在得到稀疏特征图后，利用神经网络的解码部分对稀疏特征图的反卷积操作、反池化操作对特征图稠化，得到稠化特征图。

池化操作为：建立2*2的像素点区域矩阵模板，用该矩阵模板对车道图像进行划窗——从左向右、自上而下的运算操作，在划窗过程中记录每个像素点区域中最大像素值、第二大像素值的位置以及最大像素值和第二大像素值的位置关系。也即实现遍历到的每个2*2像素区域变为1*1区域，保留其值为操作前2*2区域中像素点的最大值。

反池化操作为：根据最大像素值、第二大像素值的位置以及最大像素值和第二大像素值的位置关系，在对应位置处写入最大像素值和第二大像素值，其他位置置0，如图2所示。

这样通过增加第二大像素值的位置以及最大像素值和第二大像素值的位置关系，可以避免现有的反池化操作中仅仅只记录最大值位置，其他位置置0时所带来的误差。

S3、利用神经网络末端的softmax分类器将稠化特征图中的像素点进行分类，得到基于像素点的车道场景分割图；

S4、将基于像素点的车道场景分割图从中间一分为二，车道主要位于图像的下半部分，上半部分主要为远景和天空图像，不影响后续处理，因此在此处舍弃。

S5、取车道场景分割图的下半部分图像，并从左到右，自上而下的遍历每个像素点，当遍历到第i行第j个像素点x_i,j时，该像素点x_i,j映射到实际空间中同一行右侧L＝10cm距离处的像素点为x_i,j+k，那么像素点x_i,j与像素点x_i,j+k之间的像素点为道路区域中的像素点，且x_i,j为道路区域中左边车道边缘像素点；

在本实施例中，如图3所示，像素点x_i,j与像素点x_i,j+k之间的像素点其实并不全是道路区域中的像素点，通常情况下由80％以上的像素点是道路区域内的像素点，因此还需要对这些像素点一一进行校正；

同理，按照上述方法从右到左，自上而下的遍历每个像素点，得到右边车道边缘像素点y_i',j'；

S6、根据左边车道边缘像素点x_i,j和右边车道边缘像素点y_i',j'确定一条车道直线x_i,jy_i',j'；

在本实施例中，道路区域内的像素点的高度应该小于5cm的，因为道路高度一般是很低的，基于这一点，我们需要判断车道直线x_i,jy_i',j'上的所有像素点的高度是否小于h＝5cm，如果小于h，则该像素点置为道路区域，否则置为非道路区域。

S7、按照步骤S5、S6描述的高度信息的误差处理方法处理完下半部分图像中所有像素点后，就可以得到最终车道场景分割图。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.一种基于高度信息的无人车车道场景分割方法，其特征在于，包括以下步骤：

(1)、神经网络对车道图片进行编码、解码

将摄像头采集的车道图片输入神经网络，神经网络通过编码部分的卷积操作、池化操作对输入的车道图像进行特征提取得到稀疏特征图；通过解码部分的反卷积操作、反池化操作对特征图稠化，得到稠化特征图；

(2)、利用神经网络末端的softmax分类器将稠化特征图中的像素点进行分类，得到基于像素点的车道场景分割图；

(3)、对步骤(2)中的车道场景分割图进行基于高度信息的误差处理，得到最终车道场景分割图。

2.根据权利要求1所述的基于高度信息的无人车车道场景分割方法，其特征在于，所述的池化操作为：建立m*m的像素点区域矩阵模板，用该矩阵模板对车道图像进行划窗——从左向右、自而下的运算操作，在划窗过程中记录每个像素点区域中最大像素值、第二大像素值的位置以及最大像素值和第二大像素值的位置关系；

所述的反池化操作为：根据最大像素值、第二大像素值的位置以及最大像素值和第二大像素值的位置关系，在对应位置处写入最大像素值和第二大像素值，其他位置置0。

3.根据权利要求1所述的基于高度信息的无人车车道场景分割方法，其特征在于，所述步骤(3)中，对车道场景分割图进行基于高度信息的误差处理的方法为：

(3.1)、将车道场景分割图从中间一分为二；

(3.2)、取车道场景分割图的下半部分图像，并从左到右，自上而下的遍历每个像素点，当遍历到第i行第j个像素点x_i,j时，该像素点x_i,j映射到实际空间中同一行右侧L距离处的像素点为x_i,j+k，那么像素点x_i,j与像素点x_i,j+k之间的像素点为道路区域中的像素点，且x_i,j为道路区域中左边车道边缘像素点；

同理，按照上述方法从右到左，自而下的遍历每个像素点，得到右边车道边缘像素点y_i',j'；

(3.3)、根据左边车道边缘像素点x_i,j和右边车道边缘像素点y_i',j'确定一条车道直线x_i,jy_i',j'；

(3.4)、判断车道直线x_i,jy_i',j'上的所有像素点的高度是否小于h，如果小于h，则该像素点置为道路区域，否则置为非道路区域。