CN106991402A - 一种检测方法及装置 - Google Patents

Abstract

本发明提供了一种检测方法，包括：通过车载摄像头采集图像；提取图像的光源不变特征；提取图像的背景特征；根据图像的光源不变特征和背景特征进行基于相似性的路面分类；最后对路面图像进行基于连通区域的后续处理等步骤。对图像光照不变性特征的提取，解决路边阴影问题导致的检测失效的问题；由于视频或图像序列是随时间推移而连续变化的，路面在时间轴上也拥有一定的连续性，利用这一特点可以建立前后两帧图像之间的对应关系，在对路面像素进行定位的过程中利用上一帧图像的检测结果提取图像的背景特征，从而提高了检测速度，也提高了检测的准确率。因而，该检测方法具有强鲁棒性和满足了实际应用的实时性要求。

Description

一种检测方法及装置

技术领域

本发明涉及图像处理技术领域，具体涉及一种检测方法及装置。

背景技术

近十年来，辅助驾驶系统与自动驾驶汽车通过监视路面环境在保护路面安全方面取得了意义重大的进展。尤其是，路面检测技术因其重要的意义成为了一个全世界范围内的热门主题。各种各样的传感器技术被应用于该领域，主要包括雷达、激光和机器视觉。同时，图像处理技术在近年来取得了飞速的发展，一方面摄像头比以往更加便宜、小巧，也拥有更好的质量，另一方面计算机的计算能力也在与日俱增。近年来也出现了面向并行计算的图像处理单元，随着硬件的发展，机器视觉成为了能够满足路面检测的实时性要求的应用技术。

通常，基于车载图像的检测利用一个或两个视觉传感器即摄像头作为基本的感知模块，和雷达、激光不同，摄像头不会辐射电磁波而是采集环境中的自然光。另外雷达与激光靠的是反射光来判断路面的可行区域。而基于车载图像的方法则需要对采集的图像进行分析与计算从而进行路面检测。然而视觉传感器也存在对可见光非常敏感的缺点，在光度条件不够的情况下会增加路面检测的难度，但是可以通过相应的图像算法进行弥补，以满足路面检测的效率要求。

路面检测的关键在于分辨路面图像中的路面像素与非路面像素，该技术对路面偏离预警、行人检测、车辆检测、自主驾驶等有着重要的意义。在检测路面的过程中，最常见的干扰就是阴影，为了解决阴影对路面检测结果的影响，现在传统的路面检测算法还是不能很好解决这个难题，所以对于复杂环境下的道路检测算法还是鲁棒性不够。

发明内容

针对现有技术的不足，本发明提出一种检测方法及装置，用于消除阴影对道路检测的影响。

为实现上述技术方案，本发明提供了一种检测方法，包括：具体包括如下步骤：

S1、通过车载摄像头采集图像；

S2、提取图像的光源不变特征；

S3、提取图像的背景特征；

S4、根据图像的光源不变特征和背景特征进行基于相似性的路面分类；

S5、对路面图像进行基于连通区域的处理，计算得到路面检测结果。

优选的，所述步骤S2中，具体包括如下步骤：

S21、由步骤S1采集的RGB图像I_RGB计算出一张亮度影响降低即阴影大量衰减的光照不变特征图I，具体步骤如下：

S211、把RGB颜色模型的图像转化为HIS颜色模型的图像，得到色调图像,色饱和度图像和亮度图像；

S212、融合色调图像和色饱和度图像，得到一副一张亮度影响降低即阴影大量衰减的光照不变特征图I；

S22、基于光源不变性特征的区域增长，初步提取路面区域I_r，具体如下：

S221、使用人机交互的方式选择一个位于路面区域的种子点；

S222、求种子点(x,y)的邻域均值如果满足则(x_s,y_s)＝(x,y)，否则(x_s,y_s)为(x,y)八邻域中I值最接近的点，其中(x_s,y_s)为新的种子点，并将其设为增长点；

S223、求增长点的邻域均值与标准差δ，若则(x_n,y_n)加入到区域中设为可增长点，否则为不可增长点；

S224、从合并的新像素开始反复进行S22步骤直到不能再合并，得到初步提取的路面区域R；

S23、求初步提取的路面区域R的光源不变特征均值，具体如下：

S231、去掉路面区域R光源不变特征的10％最高值与10％最低值；

S232、求剩余像素的平均值：

其中R表示通过区域增长的方式提取的路面区域，r表示通过顺序排序确定的光照不变特征。

优选的，所述步骤S3中，采用HS光流算法，得到物体相对观察者的运动场，求出图像的背景中心，具体包括如下步骤：

S31、假设运动物体的灰度在两帧图像中保持不变，令f(x，y，t)为像素点(x,y)在t时刻的亮度，在t+Δt时刻该像素移动到(x+Δx,y+Δy,t+Δt)处，可得

f(x,y,t)＝f(x+Δx,y+Δy,t+Δt)

将上式在(x,y,t)处进行一阶的泰勒展开，并当Δt→0时可得：

f_xu+f_yv+f_t＝0

其中：

S32、假设邻近领域内的速度向量场的变化非常小,再由上面的关系式，求出像素(x,y)邻近领域的水平速度u和垂直方向的速度v，具体u和v的计算迭代公式如下：

其中k是迭代次数，α为控制平滑约束的权重因子，和分别代表像素(x,y)邻近领域的水平和垂直方向的平均速度；

S33、根据下面的阈值判断来确定像素(x,y)是否移动：

如果在像素(x,y)处满足则该点属于光流点，否则不属于.

S34、在提取光流点后，使用下面的式子计算背景区域的中心：

其中B表示通过HS光流法获得的光流像素集合。

优选的，所述步骤S4中，具体包括如下步骤：

S41、使用下面的公式计算整张图像与前一帧光照不变均值、背景中心之间的距离：

若某像素不仅I值与接近，而且位置与背景中心(x,y)也接近时，可能也不会被判断为路面像素；

S42、求得的特征距离与阈值进行比较后获得一幅分割好的二值路面图像：

优选的，所述步骤S5中，具体包括如下步骤：

S51、提取二值路面图像最大的连通区域R_max；

S52、使用R_neg＝1-R_max求得R_max的相反图像；

S53、找到R_neg图像的最大连通区域

S54、对求反从而获得最终的路面检测结果R_l。

本发明还提供了一种所述检测方法的检测装置，其特征在于，包括三大模块：

图像采集模块：利用CCD摄像头捕捉有路面的视频图像，并传输把数据传输给图像处理模块；

图像处理模块：对图像数据进行图像处理，从而获得路面检测结果；

人机交互模块：提供界面给用户选择一个位于路面区域的种子点以及显示路面检测结果。

优选的，图像采集模块还包括定位于车辆正前方的CCD摄像头，用于对路面可行区域完整地捕捉。

优选的，图像处理模块还包括采用FPGA搭载图像处理算法，用于提取图像的光源不变特征和图像的背景特征以及根据图像的光源不变特征和背景特征进行基于相似性的路面分类。

优选的，人机交互模块由数字视频编码器ADV7170与显示屏构成。

本发明提供的一种检测方法和装置的有益效果在于：本检测方法通过车载摄像头采集图像；然后提取图像的光源不变特征和图像的背景特征；接着根据图像的光源不变特征和背景特征进行基于相似性的路面分类；最后对路面图像进行基于连通区域的后续处理。对图像光照不变性特征的提取，解决路边阴影问题导致的检测失效的问题；视频或图像序列是随时间推移而连续变化的，路面在时间轴上也拥有一定的连续性，利用这一特点可以建立前后两帧图像之间的对应关系，在对路面像素进行定位的过程中利用上一帧图像的检测结果提取图像的背景特征，从而提高了检测速度，也提高了检测的准确率。因而，本发明公开的一种检测方法具有在复杂的环境下检测路面具有强鲁棒性，同时也满足实际应用的实时性要求。

附图说明

图1为实施例中道路检测方法的流程图；

图2为实施例中光照不变特征图I示意图；

图3为实施例中光流法检测图像的变化示意图；

图4为实施例中分类后的路面提取示意图；

图5为实施例中道路检测的后续处理示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本发明的保护范围。

实施例1：一种检测方法。

参照图1至图5所示，一种检测方法，具体包括如下步骤：

S1、通过车载摄像头采集图像：将摄像头定位于车辆正前方，这样能够对前方道路的左右车道线的信息以及道路可行区域的信息进行完整捕捉置；

S2、提取图像的光源不变特征：其中提取图像的光源不变特征，主要包括三个步骤：

S21、通过步骤S1采集到的RGB图像I_RGB计算出一张亮度影响降低即阴影大量衰减的光照不变特征图I，效果如图所示2；

S22、基于光源不变性特征的区域增长，初步提取路面区域；

S23、求初步提取的路面区域R的光源不变特征均值；

其中，步骤S21中，由采集的RGB图像I_RGB计算出一张亮度影响降低即阴影大量衰减的光照不变特征图I，具体步骤如下：

S211、把RGB颜色模型的图像转化为HIS颜色模型的图像，得到色调图像,色饱和度图像

和亮度图像；

S212、融合色调图像和色饱和度图像，得到一副一张亮度影响降低即阴影大量衰减的光照不变特征图I；

其中，步骤S22中，基于光源不变性特征的区域增长，初步提取路面区域R，具体步骤如下：

S221、使用人机交互的方式选择一个位于路面区域的种子点；

S222、求种子点(x,y)的邻域均值如果满足则(x_s,y_s)＝(x,y)，否则(x_s,y_s)为(x,y)八邻域中I值最接近的点，其中(x_s,y_s)为新的种子点，并将其设为增长点；

S223、求增长点的邻域均值与标准差δ，若则(x_n,y_n)加入到区域中设为可增长点，否则为不可增长点；

S224、从合并的新像素开始反复进行S22步骤直到不能再合并，得到初步提取的路面区域R；

其中，步骤S23中，求初步提取的路面区域R的光源不变特征均值，具体步骤如下：

S231、去掉路面区域R光源不变特征的10％最高值与10％最低值；

S232、求剩余像素的平均值：

其中R表示通过区域增长的方式提取的路面区域，r表示通过顺序排序确定的光照不变特征。

后续图像将不再采用区域增长的方法进行路面分割，而是直接采用前一帧的分割结果得到的光源不变特征均值作为分类依据；

S3、提取图像的背景特征：采用HS光流算法，得到物体相对观察者的运动场，提取背景特征，具体如下：

S31、假设运动物体的灰度在两帧图像中保持不变，令f(x，y，t)为像素点(x,y)在t时刻的亮度，在t+Δt时刻该像素移动到(x+Δx,y+Δy,t+Δt)处，可得

f(x,y,t)＝f(x+Δx,y+Δy,t+Δt)

将上式在(x,y,t)处进行一阶的泰勒展开，并当Δt→0时可得：

f_xu+f_yv+f_t＝0

其中：

S32、假设邻近领域内的速度向量场的变化非常小,再由上面的关系式，求出像素(x,y)邻近领域的水平速度u和垂直方向的速度v，具体u和v的计算迭代公式如下：

其中k是迭代次数，α为控制平滑约束的权重因子，和分别代表像素(x,y)邻近领域的水平和垂直方向的平均速度；

S33、根据下面的阈值判断来确定像素(x,y)是否移动：

如果在像素(x,y)处满足则该点属于光流点，否则不属于，效果如图3所示；

S34、在提取光流点后，使用下面的式子计算背景区域的中心：

其中B表示通过HS光流法获得的光流像素集合。

S4、根据图像的光源不变特征和背景特征进行基于相似性的路面分类，具体包括如下步骤：

S41、使用下面的公式计算整张图像与前一帧光照不变均值、背景中心之间的距离：

若某像素不仅I值与接近，而且位置与背景中心(x,y)也接近时，可能也不会被判断为路面像素；

S42、求得的特征距离与阈值进行比较后获得一幅分割好的二值路面图像：

得到的二值路面图像如图4所示；

S5、对路面图像进行基于连通区域的处理，计算得到路面检测结果，具体包括如下步骤：

S51、提取二值路面图像最大的连通区域R_max，如图5h所示；

S52、使用R_neg＝1-R_max求得R_max的相反图像，如图5i所示；

S53、找到R_neg图像的最大连通区域如图5j所示；

S54、对求反从而获得最终的路面检测结果R_l，如图5k所示。

实施例2：一种检测装置。

一种基于实施例1中检测方法的检测装置，包括：

图像采集模块：利用CCD摄像头捕捉有路面的视频图像，并传输把数据传输给图像处理模块；

其中，图像采集模块还包括：CCD摄像头定位于车辆正前方，对路面可行区域完整地捕捉，并把图像传送给图像处理模块。

图像处理模块：对图像数据进行图像处理，从而获得路面检测结果；

其中采用FPGA搭载图像处理算法，主要提取图像的光源不变特征，提取图像的背景特征以及根据图像的光源不变特征和背景特征进行基于相似性的路面分类，并把最终检测到路面传送给人机交互界面，

人机交互模块：提供界面给用户选择一个位于路面区域的种子点以及显示路面检测结果，其中人机交互模块由数字视频编码器ADV7170与显示屏构成。

本发明公开的一种检测方法和装置，通过车载摄像头采集图像，然后提取图像的光源不变特征和图像的背景特征，接着根据图像的光源不变特征和背景特征进行基于相似性的路面分类；最后对路面图像进行基于连通区域的后续处理。本发明很好地解决路边阴影问题导致的检测失效的问题，并且速度快，检测正确率高，在复杂的环境下检测路面具有强鲁棒性，同时也满足实际应用的实时性要求。

以上所述为本发明的较佳实施例而已，但本发明不应局限于该实施例和附图所公开的内容，所以凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims (9)

1.一种检测方法，其特征在于具体包括如下步骤：

S1、通过车载摄像头采集图像；

S2、提取图像的光源不变特征；

S3、提取图像的背景特征；

S4、根据图像的光源不变特征和背景特征进行基于相似性的路面分类；

S5、对路面图像进行基于连通区域的处理，计算得到路面检测结果。

2.如权利要求1所述的检测方法，其特征在于所述步骤S2中，具体包括如下步骤：

S21、由步骤S1采集的RGB图像I_RGB计算出一张亮度影响降低即阴影大量衰减的光照不变特征图I，具体步骤如下：

S211、把RGB颜色模型的图像转化为HIS颜色模型的图像，得到色调图像,色饱和度图像和亮度图像；

S212、融合色调图像和色饱和度图像，得到一副一张亮度影响降低即阴影大量衰减的光照不变特征图I；

S22、基于光源不变性特征的区域增长，初步提取路面区域I_r，具体如下：

S221、使用人机交互的方式选择一个位于路面区域的种子点；

S222、求种子点(x,y)的邻域均值如果满足I(x,y)则(x_s,y_s)＝(x,y)，否

则(x_s,y_s)为(x,y)八邻域中I值最接近的点，其中(x_s,y_s)为新的种子点，并将其设为增长点；

S223、求增长点的邻域均值与标准差δ，若则(x_n,y_n)加入到区域中设为可增长点，否则为不可增长点；

S224、从合并的新像素开始反复进行S22步骤直到不能再合并，得到初步提取的路面区域R；

S23、求初步提取的路面区域R的光源不变特征均值，具体如下：

S231、去掉路面区域R光源不变特征的10％最高值与10％最低值；

S232、求剩余像素的平均值：

${\stackrel{\‾}{I}}_R=\frac{1}{num}\underset{(m,n)\∈R}{\Σ}I(m,n),ifI(m,n)\∈\[0.1r,0.9r\]$

其中R表示通过区域增长的方式提取的路面区域，r表示通过顺序排序确定的光照不变特征。

3.如权利要求2所述的检测方法，其特征在于所述步骤S3中，采用HS光流算法，得到物体相对观察者的运动场，求出图像的背景中心，具体包括如下步骤：

S31、假设运动物体的灰度在两帧图像中保持不变，令f(x，y，t)为像素点(x,y)在t时刻的亮度，在t+Δt时刻该像素移动到(x+Δx,y+Δy,t+Δt)处，可得

f(x,y,t)＝f(x+Δx,y+Δy,t+Δt)

将上式在(x,y,t)处进行一阶的泰勒展开，并当Δt→0时可得：

f_xu+f_yv+f_t＝0

其中：

$\begin{array}{c}{f}_x=\frac{1}{4}\[\left(f\right(x+1,y,t)-f(x,y,t\left)\right)+\left(f\right(x+1,y+1,t)-f(x,y+1,t\left)\right)+\\ \left(f\right(x+1,y,t+1)-f(x,y,t+1\left)\right)+\left(f\right(x+1,y+1,t+1)-f(x,y+1,t+1\left)\right)\]\end{array}$

$\begin{array}{c}{f}_y=\frac{1}{4}\[\left(f\right(x,y+1,t+1)-f(x,y,t+1\left)\right)+\left(f\right(x+1,y+1,t+1)-f(x+1,y,t+1\left)\right)+\\ \left(f\right(x,y+1,t+1)-f(x,y,t+1\left)\right)+\left(f\right(x+1,y+1,t+1)-f(x+1,y,t+1\left)\right)\]\end{array}$

$\begin{array}{c}{f}_t=\frac{1}{4}\[\left(f\right(x,y,t+1)-f(x,y,t\left)\right)+\left(f\right(x+1,y,t+1)-f(x+1,y,t\left)\right)+\\ \left(f\right(x,y+1,t+1)-f(x,y,t\left)\right)+\left(f\right(x+1,y+1,t)-f(x+1,y+1,t\left)\right)\]\end{array}$

S32、假设邻近领域内的速度向量场的变化非常小,再由上面的关系式，求出像素(x,y)邻近领域的水平速度u和垂直方向的速度v，具体u和v的计算迭代公式如下：

$u^{k+1}={\stackrel{\‾}{u}}^k-\frac{f_x\left(f_x{\stackrel{\‾}{u}}^k+f_y{\stackrel{\‾}{v}}^k+f\right)}{{\mathrm{\α}}^2+{f_x}^2+{f_y}^2}$

$v^{k+1}={\stackrel{\‾}{v}}^k-\frac{f_y\left(f_x{\stackrel{\‾}{u}}^k+f_y{\stackrel{\‾}{v}}^k+f_t\right)}{{\mathrm{\α}}^2+{f_x}^2+{f_y}^2}$

其中k是迭代次数，α为控制平滑约束的权重因子，和分别代表像素(x,y)邻近领域的水平和垂直方向的平均速度；

S33、根据下面的阈值判断来确定像素(x,y)是否移动：

$HS(x,y)=\left\{\begin{array}{cc}1,& \sqrt{u^2+v^2}\&GreaterEqual;T\\ 0,& \sqrt{u^2+v^2}<0\end{array}\right.$

如果在像素(x,y)处满足则该点属于光流点，否则不属于.

S34、在提取光流点后，使用下面的式子计算背景区域的中心：

$\stackrel{\&OverBar;}{x}=\frac{1}{num}\underset{(x,y)\&Element;B}{\&Sigma;}x,\stackrel{\&OverBar;}{y}=\frac{1}{num}\underset{(x,y)\&Element;B}{\&Sigma;}y$

其中B表示通过HS光流法获得的光流像素集合。

4.如权利要求3所述的检测方法，其特征在于所述步骤S4中，具体包括如下步骤：

S41、使用下面的公式计算整张图像与前一帧光照不变均值、背景中心之间的距离：

$d(x,y)=\sqrt{{\left(I\right(x,y)-\stackrel{\&OverBar;}{I})}^2+\frac{m}{{(x-\stackrel{\&OverBar;}{x})}^2+{(y-\stackrel{\&OverBar;}{y})}^2}}$

若某像素不仅I值与接近，而且位置与背景中心(x,y)也接近时，可能也不会被判断为路面像素；

S42、求得的特征距离与阈值进行比较后获得一幅分割好的二值路面图像：

$I_{R1}=\left\{\begin{array}{cc}1& d(x,y)\&le;T\\ 0& d(x,y)>T\end{array}\right..$

5.如权利要求4所述的检测方法，其特征在于所述步骤S5中，具体包括如下步骤：

S51、提取二值路面图像最大的连通区域R_max；

S52、使用R_neg＝1-R_max求得R_max的相反图像；

S53、找到R_neg图像的最大连通区域

S54、对求反从而获得最终的路面检测结果R_l。

6.一种基于权利要求5所述检测方法的检测装置，其特征在于，包括三大模块：

图像采集模块：利用CCD摄像头捕捉有路面的视频图像，并传输把数据传输给图像处理模块；

图像处理模块：对图像数据进行图像处理，从而获得路面检测结果；

人机交互模块：提供界面给用户选择一个位于路面区域的种子点以及显示路面检测结果。

7.如权利要求6所述的检测装置，其特征在于：图像采集模块还包括定位于车辆正前方的CCD摄像头，用于对路面可行区域完整地捕捉。

8.如权利要求6所述的检测装置，其特征在于：图像处理模块还包括采用FPGA搭载图像处理算法，用于提取图像的光源不变特征和图像的背景特征以及根据图像的光源不变特征和背景特征进行基于相似性的路面分类。

9.如权利要求6所述的装置，其特征在于：人机交互模块由数字视频编码器ADV7170与显示屏构成。