CN105488492A - 一种彩色图像预处理方法、道路识别方法及相关装置 - Google Patents

Abstract

本申请提供的彩色图像预处理方法、道路识别方法及相关装置，结合了路面检测和车道标记线检测，通过所述路面检测限定所述车道标记线检测的特征计算范围和拟合直线参数范围，提高了车道标记线检测的准确性和检测效率。特别地，本申请采用了一种新的道路边界特征提取方法，具有很好的抗阴影效果。现有的道路识别方法在道路阴影下往往失效，而所述道路识别方法能够适应各种强度的阴影，具有更好的鲁棒性。本实施例方法能应用于智能辅助驾驶，无人驾驶系统中，降低车辆事故的发生率。

Description

一种彩色图像预处理方法、道路识别方法及相关装置

技术领域

本发明涉及机器视觉领域，具体涉及一种彩色图像预处理方法、道路识别方法及相关装置。

背景技术

目前，汽车安全技术在汽车生产制造中占据越来越重要的位置，汽车安全技术目的在于减弱交通事故的伤亡及损失。现有的汽车安全技术主要是基于道路检测技术，主动监测道路环境，在事故发生前采取措施，对交通安全的改善具有重大意义。

现有的道路检测技术中一类是应用于非结构化道路即没有车道标记线的乡村道路，主要采用路面检测，另一类应用于结构化道路即有明显的道路结构的城市道路，主要采用车道标记线检测，现有技术中这些方法要么仅考虑路面，要么仅考虑车道标记，没有将两者结合起来。同时，发明人还发现现有技术的道路检测技术容易受阴影影响，导致现有技术在道路识别中经常出错。

发明内容

本申请提供一种彩色图像预处理方法、道路识别方法及相关装置，可以在强阴影的情况下，准确对多种不同类型的道路进行识别。

根据第一方面，一种实施例中提供一种彩色图像预处理方法，对彩色图像中的各个像素点，按照公式(1)计算得到一个特征值，各特征值形成一幅特征灰度图像；

$S^{,}=\frac{\max (R,G,B)-B}{\max (R,G,B)}---\left(1\right)$

其中，R，G，B分别是所述像素点的红、绿、蓝三种颜色分量值，S’是计算出的特征值。

根据第二方面，一种实施例中提供一种道路识别方法，包括：对原始图像的感兴趣区域中的各个像素点，按照公式(1)计算得到一个特征值，各特征值形成一幅特征灰度图；

$S^{,}=\frac{\max (R,G,B)-B}{\max (R,G,B)}---\left(1\right)$

检测所述特征灰度图的道路边缘点，利用检测到的所述道路边缘点拟合出道路边界模型；根据所述道路边界模型调整原始图像的感兴趣区域，提取调整后的感兴趣区域中的亮度特征灰度图，检测所述亮度特征灰度图的车道线像素点，利用所述车道线像素点拟合出车道模型。

根据第三方面，一种实施例中提供一种彩色图像预处理装置，包括：计算单元，用于对彩色图像中的各个像素点，按照公式(1)计算得到一个特征值，各特征值形成一幅特征灰度图像；

$S^{,}=\frac{\max (R,G,B)-B}{\max (R,G,B)}---\left(1\right)$

其中，R，G，B分别是所述像素点的红、绿、蓝三种颜色分量值，S’是计算出的特征值。

根据第四方面，一种实施例中提供一种道路识别装置，包括：特征提取单元，用于对原始图像的感兴趣区域中的各个像素点，按照公式(1)计算得到一个特征值，各特征值形成一幅特征灰度图；

$S^{,}=\frac{\max (R,G,B)-B}{\max (R,G,B)}---\left(1\right)$

道路边缘点检测单元，用于检测所述特征灰度图的道路边缘点；边界拟合单元，用于利用所述道路边缘点检测单元检测到的所述道路边缘点拟合出道路边界模型；车道标记提取单元，用于根据所述道路边界模型调整原始图像的感兴趣区域，提取调整后的感兴趣区域中的亮度特征灰度图，检测所述亮度特征灰度图的车道线像素点，利用所述车道线像素点拟合出车道模型。本申请提供的彩色图像预处理方法、道路识别方法及相关装置，提出了一种新的道路边界特征方法，具有较好的抗阴影效果，对原始图像进行道路边界特征提取后，首先提取道路边界，然后在提取了道路边界范围内提取车道标记，因而路面检测为车道标记线检测提供了信息，车道标记只需在检测到的路面区域内进行检测，车道线拟合直线的倾角范围在左右道路边界的倾角之间，提升了检测的效率。本申请能够从强阴影干扰下的路面图像中定位道路边界和车道标记线，具有较好的抗阴影效果。应用于智能辅助驾驶，无人驾驶系统中，降低车辆事故的发生率。进一步地，在图像识别中采用霍夫变换，不仅可以有效识别出道路边界和车道标记，还可以减少处理工作量，提高图像的识别效率。

附图说明

图1为本申请实施例的道路识别方法的流程图；

图2为图1中步骤102的流程图；

图3为图1中步骤103的流程图；

图4为本申请实施例的一种装置结构图；

图5为本申请实施例的另一种装置结构图；

图6A为原始图像；

图6B为经过特征提取后的特征灰度图；

图6C为进行二值化处理后的效果图；

图6D为融合边界点后的图像；

图6E为边界特征二值图的处理效果示意图；

图6F为选取的边界候选点的示意图；

图6G为选取的左侧边界候选点的示意图；

图6H为选取的右侧边界候选点的示意图；

图6I为本实施例步骤采用霍夫变换的提取左道路边界的示意图；

图6J为本实施例步骤采用霍夫变换的提取右道路边界的示意图；

图6K为进行道路边界提取的效果图；

图6L为提取边界并作水平线的示意图；

图6M为去除特征灰度图上位于水平线以上的区域的示意图；

图6N为灰度化图像的示意图；

图6O为本实施例步骤采用霍夫变换的提取车道标记的示意图；

图6P为最终的道路识别效果图；

图6Q为采用本申请方法对各种路面进行识别的效果图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。

实施例一：

在本发明实施例中，提供一种彩色图像预处理方法，包括以下步骤：

对彩色图像中的各个像素点，按照公式(1)计算得到一个特征值，各特征值形成一幅特征灰度图像；

$S^{,}=\frac{\max (R,G,B)-B}{\max (R,G,B)}---\left(1\right)$

其中，R，G，B分别是所述像素点的红、绿、蓝三种颜色分量值，S’是计算出的特征值。

本申请实施例提供一种新的道路边界特征提取方法，具有抗阴影效果。

实施例二：

请参考图1，在本发明实施例中，提供一种道路识别方法，包括以下步骤：

101、对原始图像内每个像素点进行特征提取，得到原始图像的特征灰度图。

优选的，在进行特征提取前，可以先提取原始图像的感兴趣区域，该感兴趣区域为原始图像上的路面集中的图像区域。提取感兴趣区域后，对原始图像的感兴趣区域内每个像素点进行道路边界特征提取。可以集中对感兴趣区域进行处理，简化图像处理的过程。

其中，优选的，步骤101具体包括：利用公式(1)分别对原始图像内每个像素点的色彩饱和度进行变换，得到每个像素点的特征值S’：

$S^{,}=\frac{\max (R,G,B)-B}{\max (R,G,B)}---\left(1\right)$

其中，R，G，B分别是所述像素点的红、绿、蓝三种颜色分量的值。

如图6A和图6B所示分别为原始图像以及经过特征提取后的特征灰度图。

102、检测特征灰度图的道路边缘点，利用检测到的道路边缘点拟合出道路边界模型。

如图2所示，步骤102中的检测特征灰度图的道路边缘点具体可以通过以下步骤实施：

102A、使用图像灰度值均值作为阈值，对特征灰度图进行二值化处理，得到二值化图像。

如图6C所示为进行二值化处理后的效果图。

102B、对二值化图像进行基于图像闭运算的形态学滤波，得到融合边界点后的图像。

如图6D所示为融合边界点后的图像。本实施例步骤优选采用形态学滤波中的闭运算，先膨胀后腐蚀，对二值化图像进行形态学滤波，能够平滑二值化图像的边界，同时不明显改变图像的面积。

102C、计算融合边界点后的图像上的连通区域的面积，若连通区域的面积小于预设值，则将连通区域作为噪声进行去除，得到边界特征二值图。

如图6E所示为边界特征二值图的处理效果示意图，具体地，在进行连通量分析的过程如下：计算融合边界点后的图像上的边界的连通区域面积，若连通区域面积小于预设值，则将连通面积作为噪声进行去除，得到边界特征二值图。

102D、对边界特征二值图自下而上进行扫描，选择每一列第一次扫描到的非零点作为边界候选点。

如图6F所示为选取的边界候选点的示意图。

102E、从边界特征二值图的中间向两侧进行扫描，分别选择左侧每一行第一次扫描到的边界候选点作为道路的左侧的道路边缘点，选择右侧每一行第一次扫描到的边界候选点作为道路的右侧的道路边缘点。

如图6G和6H所示为选取的左侧边界候选点和右侧边界候选点的示意图。

步骤102中的利用检测到的所述道路边缘点拟合出道路边界模型具体可以通过以下步骤实施：

102F、对左侧的道路边缘点以及右侧的道路边缘点分别进行霍夫变换，提取得到道路边界。

对左侧的道路边缘点以及右侧的道路边缘点分别进行霍夫变换，对应得到的道路左边界和道路右边界作为道路边界模型。

如图6I和6J所示为本实施例步骤采用霍夫变换的提取左道路边界和右道路边界的示意图。图6K为进行道路边界提取的效果图。

本实施例采用霍夫变换来检测图像中的直线的道路边界。霍夫变换将图像转换成另外一种表达形式：以横轴表示边界的朝向，以纵轴表示边界的位置。由于左右边界的朝向的范围分别是0到90度和0到-90度，所以可以将横轴范围设定该范围内，然后找出这个变换空间中最亮的一点，对应到原始图像中检测出的直线就为道路边界，霍夫变换的中这种限定范围的做法可以减少处理工作量，提高图像的识别效率。

103、根据道路边界模型调整原始图像的感兴趣区域，提取调整后的感兴趣区域中的亮度特征灰度图，检测亮度特征灰度图的车道线像素点，利用车道线像素点拟合出车道模型。

其中，如图3所示，步骤103具体可以通过以下步骤实施：

103A、如图6L所示，将提取得到的道路边界的交点作为消失点，在特征灰度图上经过消失点作一条水平线，将水平线以下的图像作为新的感兴趣区域，如图6M所示。

103B、对新的感兴趣区域进行灰度化处理，得到灰度化图像。

如图6N所示为灰度化图像的示意图。

103C、计算限定的路面图像范围内的各个像素点的车道线特征值V′(u，v)，如公式(2)：

$V^{\′}(u,v)=\frac{V(u,v)}{V(u,v-w_u)+V(u,v+w_u)}---\left(2\right)$

由各个像素点的车道线特征值构成车道线特征灰度图。其中，V(u，v)为第u行v列的像素点的灰度值，V(u，v-w_u)为第u行v-w_u列的像素点的灰度值，第V(u，v+w_u)为第u行v+w_u列的像素点的灰度值，w_u为第u行的车道标记像素宽度，w_u＝A×w_u′，A为固定值，w_u′为第u行的路面的像素宽度。

103D、利用最大类间方差算法(Otsu算法)计算在道路边界模型范围内的车道线特征灰度图的最优阈值，利用该最优阈值对灰度化图像进行二值化处理，得到二值图。

103E、对二值图进行去噪处理。

103F、对去噪后的二值图进行霍夫变换，得到车道标记的位置。

如图6O所示为本实施例步骤采用霍夫变换的提取车道标记的示意图。如图6P所示为最终的道路识别效果图。

本实施例步骤与步骤102F的实施过程类似，由于在前面步骤102F中，在边界检测中已经求得了左右边界的朝向角度，所以车道标记线的朝向角度可以限定在左右边界之间。同样，霍夫变换不仅可以有效识别出车道标记，还可以减少处理工作量，提高图像的识别效率。

本申请实施例提供的道路识别方法，首先对原始图像内每个像素点进行特征提取，得到原始图像的特征灰度图，再从特征灰度图上提取道路边界，然后在提取了道路边界后的特征灰度图上提取车道标记，能够从强阴影干扰下的路面图像中定位道路边界和车道标记线，具有较好的抗阴影效果。本实施例方法能应用于智能辅助驾驶，无人驾驶系统中，降低车辆事故的发生率。进一步地，在图像识别中采用霍夫变换，不仅可以有效识别出道路边界和车道标记，还可以减少处理工作量，提高图像的识别效率。

实施例三：

在本发明实施例中，提供一种彩色图像预处理装置，可以包括：

计算单元，用于对彩色图像中的各个像素点，按照公式(1)计算得到一个特征值，各特征值形成一幅特征灰度图像；

$S^{,}=\frac{\max (R,G,B)-B}{\max (R,G,B)}---\left(1\right)$

其中，R，G，B分别是所述像素点的红、绿、蓝三种颜色分量值，S’是计算出的特征值。

实施例四：

请参考图4，在本发明实施例中，提供一种道路识别装置，可以包括：

特征提取单元20，用于对原始图像的感兴趣区域中的各个像素点，按照公式(1)计算得到一个特征值，各特征值形成一幅特征灰度图。

$S^{,}=\frac{\max (R,G,B)-B}{\max (R,G,B)}---\left(1\right)$

道路边缘点检测单元21，用于检测所述特征灰度图的道路边缘点。

边界拟合单元22，用于利用所述道路边缘点检测单元检测到的所述道路边缘点拟合出道路边界模型。

车道标记提取单元23，用于根据所述道路边界模型调整原始图像的感兴趣区域，提取调整后的感兴趣区域中的亮度特征灰度图，检测所述亮度特征灰度图的车道线像素点，用于利用所述车道线像素点拟合出车道模型。

一个实施例中，特征提取单元20具体用于：

利用公式(1)分别对原始图像内每个像素点的色彩饱和度进行变换，得到每个像素点的道路边界特征值S’：

$S^{,}=\frac{\max (R,G,B)-B}{\max (R,G,B)}---\left(1\right)$

其中，R，G，B分别是所述像素点的红、绿、蓝三种颜色分量的值。

一个实施例中，如图5所示，道路边缘点检测单元21包括：

二值化处理模块21A，用于使用图像灰度值均值作为阈值，对特征灰度图进行二值化处理，得到二值化图像。

形态学滤波模块21B，用于对所述二值化图像进行形态学滤波，得到融合边界点的图像。

噪声去除模块21C，计算所述融合边界点后的图像上的边界的连通面积，若所述连通面积小于预设值，则将所述连通面积作为噪声进行去除，得到边界特征二值图。

纵向扫描模块21D，用于对所述边界特征二值图自下而上进行扫描，选择每一列第一次扫描到的非零点作为边界候选点。

水平扫描模块21E，用于从所述边界特征二值图的中间向两侧进行扫描，分别选择左侧每一行第一次扫描到的所述边界候选点作为左侧的道路边缘点，选择右侧每一行第一次扫描到的所述边界候选点作为右侧的道路边缘点。

边界拟合单元22具体用于：对所述左侧的道路边缘点以及右侧的道路边缘点分别进行霍夫变换，对应得到的道路左边界和道路右边界作为道路边界模型。

一个实施例中，请继续参阅图5所示，车道标记提取单元23包括：

调整模块23A，用于将提取得到的所述道路边界模型的直线交点作为消失点，在原始图像上经过所述消失点作一条水平线，将水平线以下的图像作为新的感兴趣区域。

灰度化处理模块23B，对所述新的感兴趣区域进行灰度化处理，得到灰度化图像。

车道线特征灰度图提取模块23C，用于选择所述灰度化图像上道路边界模型限定的路面图像范围，按照公式(2)计算所述限定的路面图像范围内的各个像素点的车道线特征值V′(u，v)，由各个像素点的车道线特征值构成车道线特征灰度图：

$V^{\′}(u,v)=\frac{V(u,v)}{V(u,v-w_u)+V(u,v+w_u)}---\left(2\right)$

其中，V(u，v)为第u行v列的像素点的灰度值，V(u，v-w_u)为第u行v-w_u列的像素点的灰度值，第V(u，v+w_u)为第u行v+w_u列的像素点的灰度值，w_u为第u行的车道标记像素宽度，w_u＝A×w_u′，A为固定值，w_u′为第u行的路面的像素宽度。

二值化处理模块23D，根据所述灰度值比值V′(u，v)，利用Otsu算法计算最优阈值，利用所述最优阈值对所述灰度图像进行二值化处理，得到灰度二值图；

去噪模块23E，用于对所述灰度二值图进行去噪处理。

车道标记霍夫变换模块23F，用于对去噪后的所述灰度二值图进行霍夫变换，得到车道标记的位置。

本实施例选取了Roma数据集中一些典型的道路状况，采用本申请提供的道路识别方法及装置，对这些道路进行识别，识别效果图如图6Q所示。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过程序来指令相关硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘或光盘等。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种彩色图像预处理方法，其特征在于，对彩色图像中的各个像素点，按照公式(1)计算得到一个特征值，各特征值形成一幅特征灰度图像；

其中，R，G，B分别是所述像素点的红、绿、蓝三种颜色分量值，S’是计算出的特征值。

2.一种道路识别方法，其特征在于，包括：

对原始图像的感兴趣区域中的各个像素点，按照公式(1)计算得到一个特征值，各特征值形成一幅特征灰度图；

检测所述特征灰度图的道路边缘点，利用检测到的所述道路边缘点拟合出道路边界模型；

根据所述道路边界模型调整原始图像的感兴趣区域，提取调整后的感兴趣区域中的亮度特征灰度图，检测所述亮度特征灰度图的车道线像素点，利用所述车道线像素点拟合出车道模型。

3.如权利要求2所述的道路识别方法，其特征在于，所述检测所述特征灰度图的道路边缘点包括：

使用所述特征灰度图的均值作为阈值，对所述特征灰度图进行二值化处理，得到二值化图像；

对所述二值化图像进行基于图像闭运算的形态学滤波，得到融合边界点后的图像；

计算所述融合边界点后的图像上的连通区域的面积，若所述连通区域的面积小于预设值，则将所述连通区域作为噪声进行去除，得到边界特征二值图；

对所述边界特征二值图自下而上进行扫描，选择每一列第一次扫描到的非零点作为边界候选点；

从所述边界特征二值图的中间向两侧进行扫描，分别选择左侧每一行第一次扫描到的所述边界候选点作为左侧的道路边缘点，选择右侧每一行第一次扫描到的所述边界候选点作为右侧的道路边缘点。

4.如权利要求3所述的道路识别方法，其特征在于，所述利用检测到的所述道路边缘点拟合出道路边界模型包括：对所述左侧的道路边缘点以及右侧的道路边缘点分别进行霍夫变换，对应得到的道路左边界和道路右边界作为道路边界模型。

5.如权利要求3或4所述的道路识别方法，其特征在于，所述根据所述道路边界模型调整原始图像的感兴趣区域，提取调整后的感兴趣区域中的亮度特征灰度图，检测所述亮度特征灰度图的车道线像素点，利用所述车道线像素点拟合出车道模型包括：

将提取得到的所述道路边界模型的直线交点作为消失点，在原始图像上经过所述消失点作一条水平线，将水平线以下的图像作为新的感兴趣区域；

对所述新的感兴趣区域进行灰度化处理，得到灰度化图像；

选择所述灰度化图像上道路边界模型限定的路面图像范围，按照公式(2)计算所述限定的路面图像范围内的各个像素点的车道线特征值V′(u，v)，由各个像素点的车道线特征值构成车道线特征灰度图；

其中，V(u，v)为第u行v列的像素点的灰度值，V(u，v-w_u)为第u行v-w_u列的像素点的灰度值，第V(u，v+w_u)为第u行v+w_u列的像素点的灰度值，w_u为第u行的车道标记像素宽度，w_u＝A×w_u′，A为固定值，w_u′为第u行的路面的像素宽度；

利用最大类间方差算法计算在所述道路边界模型范围内的所述车道线特征灰度图的最优阈值，利用所述最优阈值对所述车道线特征灰度图进行二值化处理，得到二值图；

对所述二值图进行去噪处理；

对去噪后的所述二值图进行霍夫变换，得到车道标记的位置。

6.一种彩色图像预处理装置，其特征在于，包括：计算单元，用于对彩色图像中的各个像素点，按照公式(1)计算得到一个特征值，各特征值形成一幅特征灰度图像；

其中，R，G，B分别是所述像素点的红、绿、蓝三种颜色分量值，S’是计算出的特征值。

7.一种道路识别装置，其特征在于，包括：

特征提取单元，用于对原始图像的感兴趣区域中的各个像素点，按照公式(1)计算得到一个特征值，各特征值形成一幅特征灰度图；

道路边缘点检测单元，用于检测所述特征灰度图的道路边缘点；

边界拟合单元，用于利用所述道路边缘点检测单元检测到的所述道路边缘点拟合出道路边界模型；

车道标记提取单元，用于根据所述道路边界模型调整原始图像的感兴趣区域，提取调整后的感兴趣区域中的亮度特征灰度图，检测所述亮度特征灰度图的车道线像素点，利用所述车道线像素点拟合出车道模型。

8.如权利要求7所述的道路识别装置，其特征在于，所述道路边缘点检测单元具体包括：

二值化模块，用于使用所述特征灰度图的均值作为阈值，对所述特征灰度图进行二值化处理，得到二值化图像；

形态学滤波模块，用于对所述二值化图像进行基于图像闭运算的形态学滤波，得到融合边界点后的图像；

噪声去除模块，用于计算所述融合边界点后的图像上的边界的连通区域的面积，若所述连通区域的面积小于预设值，则将所述连通区域作为噪声进行去除，得到边界特征二值图；

纵向扫描模块，用于对所述边界特征二值图自下而上进行扫描，选择每一列第一次扫描到的非零点作为边界候选点；

水平扫描模块，用于从所述边界特征二值图的中间向两侧进行扫描，分别选择左侧每一行第一次扫描到的所述边界候选点作为左侧的道路边缘点，选择右侧每一行第一次扫描到的所述边界候选点作为右侧的道路边缘点。

9.如权利要求8所述的道路识别装置，其特征在于，所述边界拟合单元具体用于：对所述左侧的道路边缘点以及右侧的道路边缘点分别进行霍夫变换，对应得到的道路左边界和道路右边界作为道路边界模型。

10.如权利要求8或9所述的道路识别装置，其特征在于，所述车道标记提取单元具体包括：

调整模块，用于将提取得到的所述道路边界模型的直线交点作为消失点，在原始图像上经过所述消失点作一条水平线，将水平线以下的图像作为新的感兴趣区域；

灰度化处理模块，用于对所述新的感兴趣区域进行灰度化处理，得到灰度化图像；

车道线特征灰度图提取模块，用于选择所述灰度化图像上道路边界模型限定的路面图像范围，按照公式(2)计算所述限定的路面图像范围内的各个像素点的车道线特征值V′(u，v)，由各个像素点的车道线特征值构成车道线特征灰度图；

其中，V(u，v)为第u行v列的像素点的灰度值，V(u，v-w_u)为第u行v-w_u列的像素点的灰度值，第V(u，v+w_u)为第u行v+w_u列的像素点的灰度值，w_u为第u行的车道标记像素宽度，w_u＝A×w_u′，A为固定值，w_u′为第u行的路面的像素宽度；

二值化处理模块，用于利用最大类间方差算法计算在所述道路边界模型范围内的所述车道线特征灰度图的最优阈值，利用所述最优阈值对所述车道线特征灰度图进行二值化处理，得到二值图；

去噪模块，用于对所述二值图进行去噪处理；

车道标记霍夫变换模块，用于对去噪后的所述二值图进行霍夫变换，得到车道标记的位置。