CN107292253B - 一种道路行驶区域的视觉检测方法 - Google Patents

Abstract

本发明公开了一种道路行驶区域的视觉检测方法，该方法利用超像素作为中层特征感知一致性单元，在中层超像素分割基础上构建能量函数，能量函数的数据依赖项由超像素的颜色、纹理、位置特征定义，数据交互项引入时空邻域超像素的交互作用，根据其标签和颜色特征差异性予以定义，此外，根据“初始化类别标签—初始全局能量计算—局部能量比较—全局能量比较”循环判别实施能量最小化，本发明可有效检测图像及视频中的道路行驶区域，方法简单有效。

Description

一种道路行驶区域的视觉检测方法

技术领域

本发明属于图像处理、计算机视觉及模式识别领域，具体涉及一种道路行驶区域的视觉检测方法。

背景技术

道路行驶区域的检测，在图像处理、计算机视觉及模式识别领域具有重要的应用，根据道路行驶区域的检测结果，可决定视频图像场景中车辆、行人存在的空间范围，并服务于智能交通系统领域；经典的马尔科夫随机场方法可实现像素级别的图像区域检测，基本思想是将上下文约束应用于图像中相邻的元素；为了增加检测判别所使用的特征维数，提高区域检测的速度，Wang方法(参考Wang的方法：Wang XF,Zhang XP.A new localizedsuperpixel Markov random field for image segmentation[C].IEEE InternationalConference on Multimedia&Expo.2009)提出了一种基于局部超像素马尔科夫随机场的图像分割方法，采用循环迭代的方式，以超像素代替像素实现图像区域检测，然而该方法存在未充分利用图像时域信息、能量函数迭代复杂、效率不高等缺陷；Pei方法(参考Pei的方法：Pei SC,Chang WW,Shen CT.Saliency detection using superpixel beliefpropagation[C].IEEE International Conference on Image Processing,2014.)提出了一种基于超像素显著性特征的图像区域检测算法，首先将图像分割为中层超像素，并提取单个超像素的视觉特征，在此基础上建立马尔科夫随机场算法来优化图像显著性区域，然而该方法要求图像前背景区域具有较强对比度，并且对初始显著性区域的依赖性较强。

发明内容

本发明解决的问题在于提供一种在运动复杂背景条件下的道路行驶区域检测的快速鲁棒方法，该方法在中层超像素分割基础上构建能量函数，能量函数的数据依赖项由超像素的颜色、纹理、位置特征定义；数据交互项引入时空邻域超像素的交互作用，根据其标签和颜色特征差异性予以定义；根据“初始全局能量值计算—局部能量值比较—全局能量值比较”循环判别实施能量最小化；图像序列的首帧超像素类别标签依据语义标注生成，具有良好的区域判别效果。本发明准确率高，简单有效。

为了达到上述目的，本发明采用如下技术方案：

一种道路行驶区域的视觉检测方法，包括如下步骤：

步骤1：对输入图像进行超像素分割；

步骤2：采用语义标注分类的方式，对首帧图像中超像素的类别标签进行初始化；对图像序列中的其余各帧，认为相邻图像帧之间的道路区域改变较小，将当前帧超像素类别标签传播到下一帧作为初始化；

步骤3：初始全局能量函数计算：基于初始超像素类别标签，计算当前帧的初始全局能量函数E₁ ⁰，其中能量函数由数据观测项和数据交互项两部分组成，数据交互项考虑了帧内的空域超像素交互影响，以及相邻帧之间的时域超像素交互影响；

其中针对t时刻的全局能量函数定义如下：

其中代表t时刻的全局能量函数，当t＝0时代表初始全局能量函数，S代表超像素集合，x_i代表第i个超像素的表观特征，y_i代表第i个超像素的标签，y_i的取值范围为{1,0}，logp(x_i|y_i)代表第i个超像素对应的数据观测项，f_ij(·)为空域数据交互项，用于衡量单幅图像内相邻超像素的交互作用，N_spa{i}代表第i个超像素的空域邻近超像素，N_tem{i}代表第i个超像素的时域邻近超像素，λ₁和λ₂分别代表空域数据交互项的权重，若算法针对单幅图像时λ₂＝0；

定义数据观测项对应的概率值为颜色、纹理和位置概率的乘积表达形式：

p(x_i|y_i)＝p(c_i|y_i)p(t_i|y_i)p(h_i|y_i) (2)

其中c_i，t_i和h_i分别代表超像素i的颜色、纹理和位置特征；

颜色概率基于三通道的高斯分布进行计算：

其中μ_m和∑_m分别代表标签y_i对应的颜色特征池中，第m个均值及协方差矩阵；

纹理概率基于Gabor滤波器的输出进行计算；在计算纹理概率时，选取以当前超像素为中心的图像子块，计算该图像子块的Gabor滤波器输出向量，并求取与纹理特征池中各聚类中心的互相关系数，将其最大值的指数形式作为纹理概率值，纹理概率的计算公式如下：

其中MT_m代表道路区域纹理特征池T_r中，第m个纹理聚类中心，互相关系数r(·)定义如下：

其中N代表纹理特征向量的维数；

位置概率计算公式如下：

在计算位置概率时，将输入图像映射到一个尺寸相对较小的规则方块，其中h_i代表规则方块中的坐标位置，而在训练数据集时，也采用同样的映射方式获取规则方块，代表训练数据集中，位于规则方块h_i坐标处属于标签y_i的超像素数目，代表在训练集中，位于规则方块h_i坐标处的超像素总数，α_λ和ω_λ为常数值；

数据交互项的计算公式如下：

f_ij(y_i,y_j)＝(1-δ(y_i,y_j))exp(-β||x_i-x_j||²) (7)

其中||·||代表L₂范数，δ(·)代表克罗内克函数：

常数系数β定义为：

β＝(2<||x_i-x_j||²>)^-1 (9)

其中<·>代表所有超像素对计算所得的期望均值；

步骤4：局部能量函数比较：对于每个超像素i，定义其局部能量函数为：

依据局部能量值对每个超像素的标签y_i进行比较置换，若计算所得的局部能量值则更新其标签：y_i＝L\y_i，否则保留当前标签；

步骤5：t时刻的全局能量函数的更新：根据新的超像素类别标签，按照公式(1)计算更新后的全局能量函数

步骤6：全局能量函数循环判别：如果与上次迭代取值之差小于阈值ε，则算法终止；否则跳转至步骤4)循环执行。

本发明和现有技术相比较，具有如下优点：

相比于已有经典的图像区域检测方法，本算法检测准确率高，检测速度快，对环境噪声鲁棒，方法简单有效。

附图说明

图1为本发明方法流程图。

图2为道路区域检测结果比较，其中图2(a)为输入图像，图2(b)为单个像素马尔科夫随机场算法(PMRF)的实验结果，图2(c)为超像素支持向量机(SVM)的实验结果，图2(d)为本发明针对单幅图像的超像素马尔科夫随机场算法(SMRF1)的实验结果，图2(e)为本发明针对图像序列的超像素马尔科夫随机场算法(SMRF2)的实验结果。其中浅色部分代表道路区域，深色部分代表非道路区域。

图3为道路区域检测结果的定量比较，其中图3(a)为基于IAIR数据集的定量比较结果，图3(b)为基于Bristol数据集的定量比较结果，图3(c)为基于Caltech数据集的定量比较结果。

图4为本发明针对图像序列的超像素马尔科夫随机场算法(SMRF2)的实验结果，其中图4(a)为基于IAIR数据集的实验结果，图4(b)为基于Bristol数据集的实验结果，图4(c)为基于Caltech数据集的实验结果。其中浅色部分代表道路区域，深色部分代表非道路区域。

具体实施方式

下面结合附图和具体实施方式对本发明做详细描述。

如图1所示，本发明一种道路行驶区域的视觉检测方法，包括如下步骤：

1)对输入图像进行超像素分割，其中超像素分割采用了均匀分割的方式，以超像素作为中层特征感知一致性单元，可定义颜色、纹理等特征描述子；

2)根据先验知识，确定图像中的初始超像素类别标签，可采用语义标注分类的方法，赋予首帧超像素类别标签更为精确的定义，对之后超像素类别标签的帧间传播奠定了良好基础；若算法针对于图像序列，可认为相邻图像帧之间的道路区域改变较小，可将当前帧超像素类别标签传播到下一帧作为初始化，提高了类别标签初始化的准确度，从而减少了能量函数的迭代次数，加快了算法速度；

3)初始全局能量函数计算：基于初始超像素类别标签，计算当前帧的初始全局能量函数其中能量函数由数据观测项和数据交互项两部分组成，数据交互项考虑了帧内的空域超像素交互影响，以及相邻帧之间的时域超像素交互影响；

针对于视频中每一帧图像，第t次迭代的全局能量函数E₁t定义如下：

其中代表t时刻的全局能量函数，当t＝0时代表初始全局能量函数，S代表超像素集合，x_i代表第i个超像素的表观特征，y_i代表第i个超像素的标签，y_i的取值范围为{1,0}，logp(x_i|y_i)代表第i个超像素对应的数据观测项，f_ij(·)为空域数据交互项，用于衡量单幅图像内相邻超像素的交互作用，N_spa{i}代表第i个超像素的空域邻近超像素，N_tem{i}代表第i个超像素的时域邻近超像素，λ₁和λ₂分别代表空域数据交互项的权重，若算法针对单幅图像时λ₂＝0。

定义数据观测项对应的概率值为颜色、纹理和位置概率的乘积表达形式：

p(x_i|y_i)＝p(c_i|y_i)p(t_i|y_i)p(h_i|y_i) (2)

其中c_i，t_i和h_i分别代表超像素i的颜色、纹理和位置特征。

颜色概率基于三通道的高斯分布进行计算：

其中μ_m和∑_m分别代表标签y_i对应的颜色特征池中，第m个均值及协方差矩阵。

纹理概率基于Gabor滤波器的输出进行计算。在计算纹理概率时，选取以当前超像素为中心的图像子块，计算该图像子块的Gabor滤波器输出向量，并求取与纹理特征池中各聚类中心的互相关系数，将其最大值的指数形式作为纹理概率值，纹理概率的计算公式如下：

其中MT_m代表道路区域纹理特征池T_r中，第m个纹理聚类中心，互相关系数r(·)定义如下：

其中N代表纹理特征向量的维数。

位置概率计算公式如下：

在计算位置概率时，将输入图像映射到一个尺寸相对较小的规则方块，其中h_i代表规则方块中的坐标位置，而在训练数据集时，也采用同样的映射方式获取规则方块，代表训练数据集中，位于规则方块h_i坐标处属于标签y_i的超像素数目，代表在训练集中，位于规则方块h_i坐标处的超像素总数，α_λ和ω_λ为常数值。

数据交互项的计算公式如下：

f_ij(y_i,y_j)＝(1-δ(y_i,y_j))exp(-β||x_i-x_j||²) (7)

其中||·||代表L₂范数，δ(·)代表克罗内克函数：

常数系数β定义为：

β＝(2<||x_i-x_j||²>)^-1 (9)

其中<·>代表所有超像素对计算所得的期望均值。

4)局部能量函数比较：对于每个超像素i，定义其局部能量函数为：

依据局部能量值对每个超像素的标签y_i进行比较置换，若计算所得的局部能量值则更新其标签：y_i＝L\y_i否则保留当前标签；

5)全局能量函数的更新：根据新的超像素类别标签及局部能量函数，按照公式(1)计算更新后的全局能量函数

6)全局能量函数循环判别：如果与上次迭代取值之差小于阈值ε，则算法终止；否则跳转至步骤4)循环执行。阈值ε取较小常数值，如可取ε＝0.05。

本发明的有益效果是：

相比于已有经典的图像区域检测方法，本发明方法检测准确率高，检测速度快，对环境噪声鲁棒，方法简单有效。

本发明方法在惠普工作站上基于MATLAB R14实现，工作债拥有2.0GHZ AMD处理器及8.0G内存。实验数据选取了四组不同的图像序列：“Bristol道路数据集”(256x256x200)，“Caltech道路数据集”(340x240x200)，“IAIR道路数据集”(256x256x200)。

图2所示为本发明提出的针对单幅图像的超像素马尔科夫随机场算法(SMRF1)图2d，针对图像序列的马尔科夫随机场算法(SMRF2)图2e，与单个像素的马尔科夫随机场算法(PMRF)图2b，以及超像素支持向量机(SVM)图2c方法的直观比较结果。图2a为输入图像，其中浅色区域代表道路区域，深色区域代表非道路区域。由直观比较结果可知，本发明的算法具有最为精确的区域检测结果。

图3所示将本发明针对单幅图像的马尔科夫随机场算法(SMRF1)，针对图像序列的马尔科夫随机场算法(SMRF2)，与单个像素的马尔科夫随机场算法(PMRF)，以及超像素支持向量机(SVM)方法的定量比较结果。

在定量比较图像区域检测结果时，采用相对于基准路面区域的查准率(Pre)和查全率(Rec)作为衡量标准，查准率定义为：在每一帧检测判别为指定图像区域中，实际判别正确的像素所占的百分比；相应地，查全率定义为：在每一帧对应的基准图像区域中，实际判别正确的像素所占的百分比。

查准率Pre和查全率Rec的表达式分别为：

其中R和R_G分别代表检测和标定的道路区域。

根据查全率和查准率，可以计算相应的调和均值(F-Measure)：

其中α一般取值为0.5，即同等看待查全率和查准率，调和均值作为综合性质的评价标准，兼顾了查全率和查准率的影响因素，可用于统一衡量最终的检测结果。

比较的结果说明了相比其它两种算法，本发明算法具有更好的可靠性和鲁棒性。

表1展示了本发明方法(SMRF1和SMRF2)与PMRF方法、SVM方法的平均每帧检测时间比较，由比较结果可知，本发明的方法可取得与上述方法相比更快的区域检测速度，其中SMRF2相比SMRF1的速度更快。

表1平均每帧检测时间比较(s)

	PMRF	SVM	SMRF1	SMRF2
					IAIR	6.22	3.22	2.89	2.28
Bristol	7.53	3.51	2.85	2.41
					Caltech	7.92	4.29	3.12	2.85

图4中图4(a)、图4(b)、图4(c)展示了更多的针对图像序列的超像素马尔科夫随机场算法(SMRF2)的道路区域检测结果。

Claims (1)

1.一种道路行驶区域的视觉检测方法，其特征在于：包括如下步骤：

步骤1：对输入图像进行超像素分割；

步骤2：采用语义标注分类的方式，对首帧图像中超像素的类别标签进行初始化；对图像序列中的其余各帧，认为相邻图像帧之间的道路区域改变较小，将当前帧超像素类别标签传播到下一帧作为初始化；

步骤3：初始全局能量函数计算：基于初始超像素类别标签，计算当前帧的初始全局能量函数其中能量函数由数据观测项和数据交互项两部分组成，数据交互项考虑了帧内的空域超像素交互影响，以及相邻帧之间的时域超像素交互影响；

其中针对t时刻的全局能量函数定义如下：

其中代表t时刻的全局能量函数，当t＝0时代表初始全局能量函数，S代表超像素集合，x_i代表第i个超像素的表观特征，y_i代表第i个超像素的标签，y_i的取值范围为{1,0}，logp(x_i|y_i)代表第i个超像素对应的数据观测项，f_ij(·)为空域数据交互项，用于衡量单幅图像内相邻超像素的交互作用，N_spa{i}代表第i个超像素的空域邻近超像素，N_tem{i}代表第i个超像素的时域邻近超像素，λ₁和λ₂分别代表空域数据交互项的权重，若算法针对单幅图像时λ₂＝0；

定义数据观测项对应的概率值为颜色、纹理和位置概率的乘积表达形式：

p(x_i|y_i)＝p(c_i|y_i)p(t_i|y_i)p(h_i|y_i) (2)

其中c_i，t_i和h_i分别代表超像素i的颜色、纹理和位置特征；

颜色概率基于三通道的高斯分布进行计算：

其中μ_m和S_m分别代表标签y_i对应的颜色特征池中，第m个均值及协方差矩阵；

纹理概率基于Gabor滤波器的输出进行计算；在计算纹理概率时，选取以当前超像素为中心的图像子块，计算该图像子块的Gabor滤波器输出向量，并求取与纹理特征池中各聚类中心的互相关系数，将其最大值的指数形式作为纹理概率值，纹理概率的计算公式如下：

其中MT_m代表道路区域纹理特征池T_r中，第m个纹理聚类中心，互相关系数r(·)定义如下：

其中N代表纹理特征向量的维数；

位置概率计算公式如下：

在计算位置概率时，将输入图像映射到一个尺寸相对较小的规则方块，其中h_i代表规则方块中的坐标位置，而在训练数据集时，也采用同样的映射方式获取规则方块，代表训练数据集中，位于规则方块h_i坐标处属于标签y_i的超像素数目，代表在训练集中，位于规则方块h_i坐标处的超像素总数，α_λ和ω_λ为常数值；

数据交互项的计算公式如下：

f_ij(y_i,y_j)＝(1-δ(y_i,y_j))exp(-β||x_i-x_j||²) (7)

其中||·||代表L₂范数，δ(·)代表克罗内克函数：

常数系数β定义为：

β＝(2<||x_i-x_j||²>)^-1 (9)

其中<·>代表所有超像素对计算所得的期望均值；

步骤4：局部能量函数比较：对于每个超像素i，定义其局部能量函数为：

依据局部能量函数值对每个超像素的标签y_i进行比较置换，若计算所得的局部能量值则更新其标签y_i＝L\y_i否则保留当前标签；

步骤5：t时刻的全局能量函数的更新：根据新的超像素类别标签，按照公式(1)计算更新后的全局能量函数

步骤6：全局能量函数循环判别：如果与上次迭代取值之差小于阈值ε，则算法终止；否则跳转至步骤4)循环执行。