CN106446914A - 基于超像素和卷积神经网络的道路检测 - Google Patents

Abstract

本发明提供了一种基于超像素和卷积神经网络的道路检测方法，该方法包括：使用简单线性迭代聚类算法对图像预处理，将图像分割成大小均匀的超像素；基于超像素块使用卷积神经网络自动学习最有利于分类的特征，训练网络；使用训练好的卷积神经网络对道路区域和非道路区域进行分类；根据超像素邻域之间的关系，利用马尔科夫随机场对分类的结果进行优化。与现有技术相比，本发明可以在复杂环境下有效地检测出道路区域，鲁棒性较强。

Description

基于超像素和卷积神经网络的道路检测

技术领域

本发明涉及图像处理、视频监控以及行车安全，特别涉及道路检测方法及装置。

背景技术

驾驶员辅助系统可以通过给驾驶员提醒和指导来降低交通事故的发生率。基于视觉的道路检测是驾驶员辅助系统的关键，能够为障碍物检测提供线索，而且是无人驾驶中场景理解的基础，有利于路径规划。

通常，道路可以分为结构化道路和非结构化道路。结构化道路是指具有明显的道路标识线、清晰的道路边界、特殊的颜色信息的道路，如高速公路、城市道路等，其道路检测问题可以简化为道路标识线检测问题，相关技术研究已经非常成熟。非结构化道路指结构化程度较低，没有清晰的车道线和道路边界的道路，针对非结构化道路的检测方法尚处于研究阶段。由于道路环境复杂多变以及光线、水渍、阴影、复杂障碍物等因素的影响，道路区域和非道路区域更加难以区分。

目前，道路检测方法主要分为以下两类：第一类方法是基于模型的方法，此类方法主要用于检测结构化道路，而且检测的道路区域比较完整，不过现实中随着车辆的运动，道路形状在不断的变化，很难建立合适的模型去进行道路匹配；最常用的是第二类方法，基于特征的方法，此类方法主要是利用道路区域的颜色、纹理、边缘等特征进行检测，对道路形状不敏感，可以适合任何形状的道路，但容易受到阴影、光线的影响，并且道路环境复杂多变，使得特征的选择更加困难。

综上所述，目前迫切需要提出一种鲁棒性和实用性较强地道路检测的方法及装置。

发明内容

有鉴于此，本发明的主要目的在于实现道路检测，且鲁棒性和实用性较强。

为达到上述目的，针对复杂环境下道路检测鲁棒性不好的问题，本发明提供了一种基于超像素和卷积神经网络的道路检测方法，该方法包括：

(1)使用简单线性迭代聚类算法对图像预处理，将图像分割成大小均匀的超像素；

(2)基于超像素块使用卷积神经网络自动学习最有利于分类的特征，训练网络；

(3)使用训练好的卷积神经网络对道路区域和非道路区域进行分类；

(4)根据超像素邻域之间的关系，利用马尔科夫随机场对分类的结果进行优化。

所述步骤(1)进一步包括：

简单线性迭代聚类算法利用像素的颜色相似性与位置关系来生成超像素；对于每个超像素，其中心采用CIELAB颜色空间的三维颜色特征l、a、b及二维位置信息x、y进行描述；

初始化种子点步骤，假设图像有N个像素点，预分割为K个超像素，那么每个超像素的大小为N/K，且每个种子点的距离近似为为了避免种子点处在图像的边缘位置，对后续的聚类过程造成干扰，将种子点移动到以它为中心的3×3的窗口内梯度值最小处，同时为每个种子分配一个单独的标签；

相似度衡量步骤，为了提高算法的运算速度，只在以种子点为中心的2s×2s区域内搜索相似像素点，将最相似种子点的标签赋给该像素；通过不断迭代该过程，直到收敛；相似度的衡量关系如下：

式中d_lab为像素点间的颜色差异，d_xy为像素点间的空间距离，D_i为两个像素的相似度，s为种子点的间距，m为平衡参数，用来衡量颜色值与空间信息在相似度衡量中的比重；D_i取值越大，说明两个像素越相似；

考虑到提取的超像素的特征以及计算量，本算法选择分割超像素的个数是300。

所述步骤(2)进一步包括：

超像素提取步骤，用简单线性迭代聚类算法对原始图像提取超像素；

保存超像素的外接矩形步骤，以超像素的中心为中心，保存超像素的外接矩形；

归一化步骤，将矩形统一归一化到N×N大小，并标记每个矩形的类别(道路是正样本，标签为1，非道路是负样本，标签为0)，作为训练数据；

分类器训练步骤，将训练数据输入卷积神经网络，训练卷积神经网络；在卷积神经网络学习的过程中，首先使用当前的网络权值和网络输入计算网络的输出，由得到的网络输出和样本标签计算误差，然后用反向传播算法计算误差对网络权值的导数，最后使用权值更新方法更新权值，经过多次训练后使得网络中可学习的参数达到最优，得到一个稳定的网络结构；

本方法中用到的卷积神经网络包括3个卷积层，2个降采样层，2个全连接层。

所述步骤(3)：

将待检测图像分割成超像素，提取超像素的外接矩形，将矩形归一化到N×N大小，通过训练好的卷积神经网络判断其是否为道路，从而获得图像初步的道路区域。

所述步骤(4)：

使用马尔可夫随机场来优化标签图，纯粹的马尔科夫模型就是指一件事物的当前状态只与它之前的1个或者n个状态有关，而与再之前的状态有关系；引申到图像领域，就是认为图像中某一点的特征(一般都是像素点灰色、颜色值等)只与其附近的一小块领域有关，而与其他的领域无关；

设x、y是二维平面上的随机场，y是观测图像，x是分割的标记场；令是图像真实标号的估计，由最大后验概率(MAP)准则有

P(x)是标记场的先验概率，能够等价描述为Gibbs分布，满足

P(y/x)是似然概率，在给定类别标号x_i＝l时，通常认为像素强度值y_i服从参数为θ_i＝{μ_l，σ_l}的高斯分布，即满足：

式中为x_i超像素i的标签，y_i为超像素i的像素值，l取值为1或者0，l＝1时超像素i为道路，l＝0时超像素i为非道路，μ_l为第l类区域的均值，σ_l为第l类区域的标准方差，β为平滑参数(取值通常在0.8～1.4)，N_t为超像素的邻域。

使用马尔科夫随机场优化标签图进一步包括：

初始分类结果步骤，卷积神经网络分类结果作为图像的初始分割；

分割参数更新步骤，由当前分割更新θ_i＝{μ_l，σ_l}，μ_l和σ_l分别是当前第l类区域的均值和标准方差；

计算超像素最大可能类别步骤，由当前图像参数和上次迭代的分割结果，并根据最大后验概率准则计算每个超像素最大可能的类别；

网络判断步骤，判断是否收敛或达到了最高迭代次数，如果满足则退出；否则返回分割参数更新步骤，进行下一次迭代。

与现有的道路检测技术相比，本发明的基于超像素和卷积神经网络的道路检测方法及装置可以实现复杂环境下的道路检测，且鲁棒性和实用性较强。

附图说明

图1示出了按照本发明的整体流程图。

图2示出了按照本发明的原始图像图。

图3示出了按照本发明的超像素分割结果图。

图4示出了按照本发明的基于超像素和卷积神经网络的网络训练图。

图5示出了按照本发明的卷积神经网络的初步分类结果图。

图6示出了按照本发明的马尔科夫随机场优化分类结果图。

图7示出了按照本发明的实际分类结果图。

具体实施方式

为使贵审查员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。

图1给出了按照本发明的整体流程。如图1所示，按照本发明的基于超像素和卷积神经网络的道路检测方法包括：

(1)使用简单线性迭代聚类算法对图像预处理，将图像分割成大小均匀的超像素；

(2)基于超像素块使用卷积神经网络自动学习最有利于分类的特征，训练网络；

(3)使用训练好的卷积神经网络对道路区域和非道路区域进行分类；

(4)根据超像素邻域之间的关系，利用马尔科夫随机场对分类的结果进行优化。

图3示出了按照本发明的超像素分割结果图。如图3所示，所述步骤(1)进一步包括：

简单线性迭代聚类算法利用像素的颜色相似性与位置关系来生成超像素；对于每个超像素，其中心采用CIELAB颜色空间的三维颜色特征l、a、b及二维位置信息x、y进行描述；

初始化种子点步骤，假设图像有N个像素点，预分割为K个超像素，那么每个超像素的大小为N/K，且每个种子点的距离近似为为了避免种子点处在图像的边缘位置，对后续的聚类过程造成干扰，将种子点移动到以它为中心的3×3的窗口内梯度值最小处，同时为每个种子分配一个单独的标签；

相似度衡量步骤，为了提高算法的运算速度，只在以种子点为中心的2s×2s区域内搜索相似像素点，将最相似种子点的标签赋给该像素；通过不断迭代该过程，直到收敛；相似度的衡量关系如下：

式中d_lab为像素点间的颜色差异，d_xy为像素点间的空间距离，D_i为两个像素的相似度，s为种子点的间距，m为平衡参数，用来衡量颜色值与空间信息在相似度衡量中的比重；D_i取值越大，说明两个像素越相似；

考虑到提取的超像素的特征以及计算量，本算法选择分割超像素的个数是300。

图4示出了按照本发明的基于超像素和卷积神经网络的网络训练图。如图4所示，所述步骤(2)进一步包括：

超像素提取步骤，用简单线性迭代聚类算法对原始图像提取超像素；

保存超像素的外接矩形步骤，以超像素的中心为中心，保存超像素的外接矩形；

归一化步骤，将矩形统一归一化到N×N大小，并标记每个矩形的类别(道路是正样本，标签为1，非道路是负样本，标签为0)，作为训练数据；

分类器训练步骤，将训练数据输入卷积神经网络，训练卷积神经网络；在卷积神经网络学习的过程中，首先使用当前的网络权值和网络输入计算网络的输出，由得到的网络输出和样本标签计算误差，然后用反向传播算法计算误差对网络权值的导数，最后使用权值更新方法更新权值，经过多次训练后使得网络中可学习的参数达到最优，得到一个稳定的网络结构；

本方法中用到的卷积神经网络包括3个卷积层，2个降采样层，2个全连接层。

图5示出了按照本发明的卷积神经网络的初步分类结果图。如图5所示，所述步骤(3)：

将待检测图像分割成超像素，提取超像素的外接矩形，将矩形归一化到N×N大小，通过训练好的卷积神经网络判断其是否为道路，从而获得图像初步的道路区域。

图6示出了按照本发明的马尔科夫随机场优化分类结果图。如图6所示，所述步骤(4)：

使用马尔可夫随机场来优化标签图，纯粹的马尔科夫模型就是指一件事物的当前状态只与它之前的1个或者n个状态有关，而与再之前的状态有关系；引申到图像领域，就是认为图像中某一点的特征(一般都是像素点灰色、颜色值等)只与其附近的一小块领域有关，而与其他的领域无；

设x、y是二维平面上的随机场，y是观测图像，x是分割的标记场；令是图像真实标号的估计，由最大后验概率(MAP)准则有

P(x)是标记场的先验概率，能够等价描述为Gibbs分布，满足

P(y/x)是似然概率，在给定类别标号x_i＝l时，通常认为像素强度值y_i服从参数为θ_i＝{μ_l，σ_l}的高斯分布，即满足：

式中为x_i超像素i的标签，y_i为超像素i的像素值，l取值为1或者0，l＝1时超像素i为道路，l＝0时超像素i为非道路，μ_l为第l类区域的均值，σ_l为第l类区域的标准方差，β为平滑参数(取值通常在0.8～1.4)，N_i为超像素的邻域。

使用马尔科夫随机场优化标签图进一步包括：

初始分类结果步骤，卷积神经网络分类结果作为图像的初始分割；

分割参数更新步骤，由当前分割更新θ_i＝{μ_l，σ_l}，μ_l和σ_l分别是当前第l类区域的均值和标准方差；

计算超像素最大可能类别步骤，由当前图像参数和上次迭代的分割结果，并根据最大后验概率准则计算每个超像素最大可能的类别；

网络判断步骤，判断是否收敛或达到了最高迭代次数，如果满足则退出；否则返回分割参数更新步骤，进行下一次迭代。

发明的基于超像素和卷积神经网络的道路检测方法及装置可以实现复杂环境下的的道路检测，且鲁棒性和实用性较强。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (6)

1.一种基于超像素和卷积神经网络的道路检测方法，其特征在于，该方法包括：

(1)使用简单线性迭代聚类算法对图像预处理，将图像分割成大小均匀的超像素；

(2)基于超像素块使用卷积神经网络自动学习最有利于分类的特征，训练网络；

(3)使用训练好的卷积神经网络对道路区域和非道路区域进行分类；

(4)根据超像素邻域之间的关系，利用马尔科夫随机场对分类的结果进行优化。

2.如权利要求1所述的方法，其特征在于，所述步骤(1)进一步包括：

简单线性迭代聚类算法利用像素的颜色相似性与位置关系来生成超像素；对于每个超像素，其中心采用CIELAB颜色空间的三维颜色特征l、a、b及二维位置信息x、y进行描述；

初始化种子点步骤，假设图像有N个像素点，预分割为K个超像素，那么每个超像素的大小为N/K，且每个种子点的距离近似为为了避免种子点处在图像的边缘位置，对后续的聚类过程造成干扰，将种子点移动到以它为中心的3×3的窗口内梯度值最小处，同时为每个种子分配一个单独的标签；

相似度衡量步骤，为了提高算法的运算速度，只在以种子点为中心的2s×2s区域内搜索相似像素点，将最相似种子点的标签赋给该像素；通过不断迭代该过程，直到收敛；相似度的衡量关系：

$d_{lab}=\sqrt{{(l_k-l_i)}^2+{(a_k-a_i)}^2+{(b_k-b_i)}^2}$

$d_{xy}=\sqrt{{(x_k-x_i)}^2+{(y_k-y_i)}^2}$

$D_i=d_{lab}+\frac{m}{s}\·d_{xy}$

式中d_lab为像素点间的颜色差异，d_xy为像素点间的空间距离，D_i为两个像素的相似度，s为种子点的间距，m为平衡参数，用来衡量颜色值与空间信息在相似度衡量中的比重；D_i取值越大，说明两个像素越相似；

考虑到提取的超像素的特征以及计算量，本算法选择分割超像素的个数是300。

3.如权利要求1所述的方法，其特征在于，所述步骤(2)进一步包括：

超像素提取步骤，用简单线性迭代聚类算法对原始图像提取超像素；

保存超像素的外接矩形步骤，以超像素的中心为中心，保存超像素的外接矩形；

归一化步骤，将矩形统一归一化到N×N大小，并标记每个矩形的类别(道路是正样本，标签为1，非道路是负样本，标签为0)，作为训练数据；

分类器训练步骤，将训练数据输入卷积神经网络，训练卷积神经网络；在卷积神经网络学习的过程中，首先使用当前的网络权值和网络输入计算网络的输出，由得到的网络输出和样本标签计算误差，然后用反向传播算法计算误差对网络权值的导数，最后使用权值更新方法更新权值，经过多次训练后使得网络中可学习的参数达到最优，得到一个稳定的网络结构；

本方法中用到的卷积神经网络包括3个卷积层，2个降采样层，2个全连接层。

4.如权利要求1所述的方法，其特征在于，步骤(3)中：

将待检测图像分割成超像素，提取超像素的外接矩形，将矩形归一化到N×N大小，通过训练好的卷积神经网络判断其是否为道路，从而获得图像初步的道路区域。

5.如权利要求1所述的方法，其特征在于，步骤(4)中：

使用马尔可夫随机场来优化标签图，纯粹的马尔科夫模型就是指一件事物的当前状态只与它之前的1个或者n个状态有关，而与再之前的状态有关系；引申到图像领域，就是认为图像中某一点的特征(一般都是像素点灰色、颜色值等)只与其附近的一小块领域有关，而与其他的领域无关；

设x、y是二维平面上的随机场，y是观测图像，x是分割的标记场；令是图像真实标号的估计，由最大后验概率(MAP)准则有

$\hat{x}=\arg max\left\{P(y/x)P\left(x\right)\right\}$

P(x)是标记场的先验概率，能够等价描述为Gibbs分布，满足

$P\left(x_i\right)=\frac{\exp (-\mathrm{\μ}(x_i\left)\right)}{{\mathrm{\Σ}}_{x_i\∈L}\exp (-\mathrm{\μ}(x_i\left)\right)}$

$\mathrm{\μ}\left(x_i\right)=-{\mathrm{\β}}_i{\mathrm{\Σ}}_{i\∈N_i}\[\mathrm{\σ}(x_i,y_i)-1\]$

$\mathrm{\σ}(x_i,y_i)=\left\{\begin{array}{cc}1& x_i=y_i\\ 0& x_i\≠y_i\end{array}\right.$

P(y/x)是似然概率，在给定类别标号x_i＝l时，通常认为像素强度值y_i服从参数为θ_i＝{μ_l，σ_l}的高斯分布，即满足：

$P(y_i/x_i)=(1/\sqrt{2{\mathrm{\π\σ}}_l^2})\·exp(-{\left(y_i-{\mathrm{\μ}}_l\right)}^2/2{\mathrm{\σ}}_l^2)$

式中为x_i超像素i的标签，y_i为超像素i的像素值，l取值为1或者0，l＝1时超像素i为道路，l＝0时超像素i为非道路，μ_l为第l类区域的均值，σ_l为第l类区域的标准方差，β为平滑参数(取值通常在0.8～1.4)，N_i为超像素的邻域。

6.如权利要求5所述的方法，其特征在于，使用马尔科夫随机场优化标签图进一步包括：

初始分类结果步骤，卷积神经网络分类结果作为图像的初始分割；

分割参数更新步骤，由当前分割更新θ_i＝{μ_l，σ_l}，μ_l和σ_l分别是当前第l类区域的均值和标准方差；

计算超像素最大可能类别步骤，由当前图像参数和上次迭代的分割结果，并根据最大后验概率准则计算每个超像素最大可能的类别；

网络判断步骤，判断是否收敛或达到了最高迭代次数，如果满足则退出；否则返回分割参数更新步骤，进行下一次迭代。