CN115578629A - 一种公路护栏提取方法 - Google Patents

Abstract

本发明公开了一种公路护栏提取方法，应用于数字图像处理技术领域，主要包括在HSV空间中通过改进的距离公式自适应进行二值化图像初步提取；通过形态学重建和轮廓面积法的方法去除大量的干扰语义；将Gabor滤波器和超像素分割结合起来进行相似语义的去除得到最终ROI区域图像。本发明由于公路护栏的背景复杂，与现有的技术相比，本发明的显著优点是鲁棒性较高，而且检测识别的准确率也比较高，分割得到的护栏图像结构性也比较完整为后续检测奠定了很好的基础。

Description

一种公路护栏提取方法

技术领域

本发明涉及数字图像处理技术领域，更具体的说是涉及一种公路护栏提取方法。

背景技术

数字图像处理是指通过计算机对图像进行去除噪声，增强，复原，分割，提取特征等处理的方法和技术。

近年来，随着机器视觉和人工智能在交通领域的不断发展，各种无损检测系统和研究方法应运而生。而公路护栏作为道路基础附属设施的一部分，主要设置在道路两侧通过设置净区宽度来减少车辆驶出或驶入对向车道，因此在保护驾驶人员行车安全，减少交通事故的发生方面发挥着至关重要的作用，对其进行高效的检测和识别可以更有效的对驾驶人的行车安全保驾护航。

目前对道路护栏进行提取中，大概分为两类，一种是通过激光雷达和扫描线等对道路护栏的结构进行提取，但这种方法往往无法完全得到结构的完整性，而且极易受到环境的影响；其次是通过深度学习和图像处理的方法，主要是以深度学习为主，但是深度学习需要大量的数据集进行训练，而且网络结构的适配性需要不断的调整，其鲁棒性和准确度都不是很高。

因此如何提高提取目标的准确性和鲁棒性是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了公路护栏提取方法，以解决背景技术中的技术问题。

为了实现上述目的，本发明提供如下技术方案：

一种公路护栏提取方法，其特征在于，具体步骤包括：

获取待处理图像；

对感兴趣区域进行色彩量化，得到ROI区域的HSV直方图，所述感兴趣区域H，S，V分量的平均值作为目标像素点的H，S，V分量；

计算每个像素点H，S，V分量到目标像素点对应分量的距离，并确定初始距离阈值，根据所述初始距离阈值进行迭代选取目标区域的颜色范围进行初步提取得到二值化图像；

将得到的二值化图像进行形态学重建和轮廓面积法去除干扰噪声；

根据纹理特征结合Gabor滤波器进行超像素分割去除掉相似语义；

得到感兴趣图像。

可选的，在上述的一种公路护栏提取方法中，所述待处理图像从RGB颜色空间转换到HSV空间具体步骤如下：

可选的，在上述的一种公路护栏提取方法中，初步提取得到二值化图像具体步骤如下：

对感兴趣区域进行色彩量化，得到ROI区域的HSV直方图；

将每个像素点的各个分量记为H，S，V，并通过改进的距离公式对目标像素点的分量进行距离公式的计算，并得到的所有距离进行归一化的处理；

将所有距离的平均值作为初始化距离阈值，不断的筛选小于所述初始化距离阈值的距离，每迭代一次会计算出一个新的距离阈值，在此基础上继续进行下一次迭代，直到所有的距离都小于所述初始化距离阈值；

将最终满足条件的距离和对应的像素点的H，S，V分量进行一一对应，并得到其中每个像素分量中最大值和最小的值作为目标区域的颜色范围，将大于最大分量和小于最小分量的像素设为0，大于最小阈值，小于最大阈值部分设为255，得到目标区域的二值化图像。

可选的，在上述的一种公路护栏提取方法中，通过改进的距离公式对目标像素点的分量进行距离公式的计算：

其中，H，S，V分别表示HSV空间中的H，S，V分量；H₀，S₀，V₀表示为目标像素点的目标分量H₀，S₀，V₀。

进一步，基于上述通过形态学重建和轮廓面积法消除大量干扰语义，传统的形态学操作会造成图像模糊，有意识的改变目标结构物的形态特征造成分割区域的变形，增减或断开连通域的情况，而重建形态学滤波可以在不改变区域边界的情况下去除局部灰度峰值，将大于结构元素的组件保留下来，以此保留结构的完整性，通过形态学重建的方法可以有效的进行目标区域内空洞的填充，并减少目标区域内噪点的影响。

可选的，在上述的一种公路护栏提取方法中，形态学重建具体步骤如下：

将得到的二值化图像求其补集记为I^c：

并形成一个边界为1的标记图像记为F：

假设进行重建的结构元为B，则经过以下的运算来达到去除图像中孤立噪点：

可选的，在上述的一种公路护栏提取方法中，轮廓面积法具体步骤如下：

将形态学重建后的图像，采用轮廓面积法剔除小面积区域，将其他的像素面积与最大像素的面积进行一个比值，将这个比值设为K；

将小于等于预设阈值的轮廓面积剔除掉，处理完以后的图像再和待处理图像进行点乘来获得目标区域的图像。

进而，可以去除除目标区域外的不连通区域和干扰噪声同时还不会破坏其整体的结构。

需要了解的是：Gabor滤波器由一组小波通过不同尺度和方向的小波捕获特定频率和特定方向的能量。Gabor只允许对应频率的纹理通过，过滤掉其他频率的纹理，提取出相应的纹理特征。但是只有一个方向或一个频率的纹理图像是非常有局限性的，

因此本发明采用的是将不同方向和不同频率的图像进行组合来解决由于单方向和单频率带来的局限性。进行四个不同方向和六个不同Gabor核的过滤，一共生成了24组不同的纹理滤波图像，并将不同方向和不同频率的图像进行加权融合，并计算加权之后纹理图像的平均值作为纹理向量的初始种子点。随后将图片转换到Lab空间中，并将lab空间中的三个颜色特征向量，像素点在空间中的坐标以及纹理图像的初始种子点构成一个六维的特征向量a＝[l_k，a_k，b_k，x_k，y_k，t_k]^T，根据六维的特征向量对像素点进行相似性聚类，计算聚类中心周围的像素点到像素中心点的距离D_k(p)：

之后进行不断的迭代计算重像素和残错度，直到残错度小于阈值时停止迭代。不同的纹理在显示和明暗程度上也会有很大的区分，将SLIC算法中融入纹理特征进行图像的分割，使得图像的亮度和空间特征变得更加的敏感，按照超像素搜索的方式对中心点周围的像素点进行阈值的判断和迭代可以有效的去除相似语义得到ROI图像。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种公路护栏提取方法，在HSV空间中通过改进的距离模型初步提取二值化图像，对于噪点，主要通过形态学重建和轮廓面积法进行干扰噪声的去除，并采用融合Gabor和超像素去除相似语义从而实现公路护栏的提取。由于公路护栏的背景复杂，与现有的技术相比，本发明的显著优点是鲁棒性较高，而且检测识别的准确率也比较高，分割得到的护栏图像结构性也比较完整为后续检测奠定了很好的基础。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本发明提出的公路护栏提取的整体的流程框图；

图2是本发明提出的在HSV空间中自适应二值化图像的流程图；

图3是本发明提出的目标图像的H，S，V直方图；

图4是本发明提出的迭代以后的距离d的分布图；

图5是本发明初步提取到的二值化的图像；

图6是本发明提出的形态学重建以后的图像；

图7是本发明提出的轮廓比例法提出小面积之后的图像；

图8是本发明提出的结合Gabor的超像素分割流程图；

图9是本发明融合Gabor和超像素分割之后的对比图像；

图10是本发明和传统的方法进行对比的结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种公路护栏提取方法，在HSV空间中通过改进的距离模型初步提取二值化图像，对于噪点，主要通过形态学重建和轮廓面积法进行干扰噪声的去除，并采用融合Gabor和超像素去除相似语义从而实现公路护栏的提取。由于公路护栏的背景复杂，与现有的技术相比，本发明的显著优点是鲁棒性较高，而且检测识别的准确率也比较高，分割得到的护栏图像结构性也比较完整为后续检测奠定了很好的基础。

本发明是实施例公开了一种公路护栏提取方法，如图1所示：初步提取二值化图像；去除独立噪点；去除连通域噪点。

下面通过一个具体的实例来详细阐述所述公路护栏提取方法的具体设计步骤和处理的过程。

1.初步提取二值化图像

(1)自适应提取二值化图像的流程图如图2所示，首先需要输入一张图像，由于公路护栏明显的颜色特征，因此可以通过提取目标的颜色进行目标图像的分割。所以先将图像从RGB颜色空间转换到HSV空间中进行处理，转换的公式如下：

(2)对感兴趣区域进行色彩量化，得到ROI区域的HSV直方图如图3，由于ROI区域的色调亮度以及饱和度大都集中在一个范围内，也就是目标颜色的范围，由于颜色信息主要集中在低阶矩中，采用颜色矩中的一阶矩来代表ROI区域的主要颜色信息：

(3)将周围的像素点的各个分量记为H，S，V，并通过改进的距离公式对目标像素点的分量进行距离公式的计算如下：

并得到的所有距离进行归一化的处理，即将所有的距离归一化到(0，1)之间。

(4)将所有距离的平均值作为初始化距离阈值d_m，不断的筛选小于d_m的距离，每迭代一次会计算出一个新距离阈值，在此基础上继续进行下一次迭代，直到所有的距离d都小于初始化距离阈值d_m，迭代之后的距离d如图4所示。

(5)将最终满足条件的距离和对应的像素点的H，S，V分量进行一一对应，并得到其中每个像素分量中最大的和最小的值作为目标区域的颜色范围，将大于最大分量和小于最小分量的像素设为0，大于最小阈值，小于最大阈值部分设为255，从而初步得到目标区域的二值化图像如图5所示。

2.去除独立噪点

(1)如图5所示提取到的图片存在很多小空洞，为了使目标区域更加的清晰，同时也不破坏护栏的整体结构，采用形态学重建的方法去除目标图像上的孔洞和黑点，重建形态学滤波形态学重建主要涉及的是两幅图像和一个结构元素的交互作用。利用形态学重建去除ROI区域中的孔洞，首先将以上得到的二值化图像求其补集记为I^c：

并形成一个边界为1的标记图像记为F：

假设进行重建的结构元为B，则经过以下的运算来达到去除图像中孔洞的效果：

通过形态学重建对图像的目标区域进行小孔洞的填充，减少目标区域的噪点影响，结果如图6所示。

(2)形态学重建以后的图像依然存在很多的噪点，为了不破坏目标结构的完整性，采用轮廓面积法剔除小面积区域，将其他的像素面积与最大像素的面积进行一个比值，将这个比值设为K，

将K≤0.2的轮廓面积剔除掉，处理完以后的图片再和待处理图像进行点乘来获得目标区域的合成图像，合成之后的图像如图7所示。

3.去除连通域噪点

(1)去除连通域的噪点主要是通过纹理特征进行相似语义的分割，主要的流程如图8所示，Gabor滤波器由一组小波通过不同尺度和方向的小波捕获特定频率和特定方向的能量。Gabor只允许对应频率的纹理通过，过滤掉其他频率的纹理，提取出相应的纹理特征。将图像中像素点设为I(x，y)，二维Gabor变换如下：

x′＝xcosθ+ysinθ，y'＝-xsinθ+ycosθ

其中f和θ分别表示的是中心频率和方向，σ_x和σ_y表示高斯函数在x方向和Y方向的展宽。因为不同的纹理会有不同的中心频率和宽带，Gabor滤波器只允许对应的频率的纹理通过，其他频率的纹理不能通过，从而达到抑制其他纹理的效果，提取出相应的纹理特征。

一个方向和一个频率的纹理图像是非常有局限性的，因此该发明采用的是将不同方向和不同频率的图像进行组合来解决由于单方向和单频率带来的局限性。进行了0°，45°，90°和135°四个不同方向和7，9，11，13，15，17六个不同Gabor核的过滤，一共生成了24组不同的纹理滤波图像。将生成的在不同频率和不同方向的图像记为I_f，θ，并将不同方向不同频率的图像进行高斯加权进行融合：

根据图像的结果显示，进行合成的图像比单通道，单方向的图像具有更好的效果。

(2)接下来将纹理特征融合到SLIC算法中，首先将计算得到该纹理图像的平均值作为纹理向量的初始种子点。随后将图片转换到Lab空间中，并将lab空间中的三个颜色特征向量，像素点在空间中的坐标以及纹理的初始种子点构成一个六维的特征向量a＝[l_k，a_k，b_k，x_k，y_k，t_k]^T，根据六维的特征向量对像素点进行相似性聚类。

合成图像中有N个像素点，对每一个像素点的位置，给定初始化标签L(p)＝-1和初始化距离d(p)＝∞，根据需要分成的K块区域会初始化每一块的种子点作为聚类的中心：

M_k＝[l_k，a_k，b_k，x_k，y_k，t_k]

那么每一个聚类中心之间的距离为

其次计算聚类中心M_k周围2S×2S个像素点到聚类中心点的距离：

如果D_k＜d(p)则更新d(p)＝D_k，L(p)＝k，同时用C_k表示具有标记L(p)＝k的像素集，形成新的聚类中心为：

其中|C_k|为集合C_k重像素个数，并不断的进行迭代计算新的C_k和残错度，直到残错度小于阈值时停止迭代。

不同的纹理在显示和明暗程度上也会有很大的区分，将SLIC算法中融入纹理特征进行图像的分割，使得图像的亮度和空间特征变得更加的敏感，按照超像素搜索的方式对中心点周围的像素点进行阈值的判断和迭代，分割的对比结果如图9。

由于有关的公路护栏提取的相关方法比较少，因此选择了传统的Ostu法和Sobel传统方法和本发明的方法进行对比，对比的结果如图10所示。

除此之外，本发明通过IOU，Dice和Precision三个指标对比了三种方法的提取精度，对比的结果如表1所示：

表1实验结果对比

由上表的数据和图像的对比中可以看出，本发明提出的公路护栏的提取方法，通过在HSV空间中利用改进的距离模型，并在后期结合Gabor，超像素分割等方法进行处理来得到最终ROI区域的提取，为更有效的进行后续的识别和检测奠定了一定的基础从而实现公路护栏的自动提取和无损检测。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种公路护栏提取方法，其特征在于，具体步骤包括：

获取待处理图像；

将所述待处理图像从RGB颜色空间转换到HSV空间；

计算每个像素点H，S，V分量到目标像素点对应分量的距离，并确定初始距离阈值，根据所述初始距离阈值进行迭代选取目标区域的颜色范围进行初步提取得到二值化图像；

将得到的二值化图像进行形态学重建和轮廓面积法去除干扰噪声；

根据纹理特征结合Gabor滤波器进行超像素分割去除掉相似语义；

得到感兴趣图像。

2.根据权利要求1所述的一种公路护栏提取方法，其特征在于，所述待处理图像从RGB颜色空间转换到HSV空间具体步骤如下：

3.根据权利要求1所述的一种公路护栏提取方法，其特征在于，初步提取得到二值化图像具体步骤如下：

对感兴趣区域进行色彩量化，得到ROI区域的HSV直方图，所述感兴趣区域H，S，V分量的平均值作为目标像素点的H，S，V分量；

将每个像素点的各个分量记为H，S，V，并通过改进的距离公式对目标像素点的分量进行距离公式的计算，并得到的所有距离进行归一化的处理；

将所有距离的平均值作为初始化距离阈值，不断的筛选小于所述初始化距离阈值的距离，每迭代一次会计算出一个新的距离阈值，在此基础上继续进行下一次迭代，直到所有的距离都小于所述初始化距离阈值；

将最终满足条件的距离和对应的像素点的H，S，V分量进行一一对应，并得到其中每个像素分量中最大值和最小的值作为目标区域的颜色范围，将大于最大分量和小于最小分量的像素设为0，大于最小阈值，小于最大阈值部分设为255，得到目标区域的二值化图像。

4.根据权利要求3所述的一种公路护栏提取方法，其特征在于，通过改进的距离公式对目标像素点的分量进行距离公式的计算

其中，H，S，V分别表示HSV空间中的H，S，V分量；H₀，S₀，V₀表示为目标像素点的目标分量H₀，S₀，V₀。

5.根据权利要求1所述的一种公路护栏提取方法，其特征在于，形态学重建具体步骤如下：

将得到的二值化图像求其补集记为I^c：

并形成一个边界为1的标记图像记为F：

假设进行重建的结构元为B，则经过以下的运算来达到去除图像中孤立噪点：

6.根据权利要求1所述的一种公路护栏提取方法，其特征在于，轮廓面积法具体步骤如下：

将形态学重建后的图像，采用轮廓面积法剔除小面积区域，将其他的像素面积与最大像素的面积进行一个比值，将这个比值设为K；

将小于等于预设阈值的轮廓面积剔除掉，将基于轮廓面积剔除后的图像再和所述待处理图像进行点乘来获得目标区域的合成图像。

7.根据权利要求6所述的一种公路护栏提取方法，其特征在于，所述超像素分割，具体步骤如下：

将剔除小于等于预设阈值的轮廓面积的图像中像素点设为I(x，y)，进行二维Gabor变换，通过Gabor滤波器提取出相应的纹理特征；

x'＝xcosθ+ysinθ，v'＝-xsinθ+ycosθ；

其中f和θ分别表示的是中心频率和方向，σ_x和σ_y表示高斯函数在x方向和Y方向的展宽；

将生成的在不同频率和不同方向的纹理图像记为I_f，θ，并将不同方向不同频率的纹理图像进行高斯加权进行融合：

将纹理特征融合到SLIC算法中，将计算得到所述纹理图像的平均值作为纹理向量的初始种子点；

将纹理图像转换到Lab空间中，并将lab空间中的三个颜色特征向量，像素点在空间中的坐标以及纹理图像的初始种子点构成一个六维的特征向量a＝[l_k，a_k，b_k，x_k，y_k，t_k]^T，根据六维的特征向量对像素点进行相似性聚类；

输出分割的感兴趣区域。

8.根据权利要求7所述的一种公路护栏提取方法，其特征在于，相似性聚类具体步骤如下：

所述合成图像图片中有N个像素点，对每一个像素点的位置，给定初始化标签L(p)＝-1和初始化距离d(p)＝∞，根据需要分成的K块区域会初始化每一块的种子点作为聚类的中心：

M_k＝[l_k，a_k，b_k，x_k，y_k，t_k]；

每一个聚类中心之间的距离为

其次计算聚类中心M_k周围2S×2S个像素点到聚类中心点的距离：

如果D_k＜d(p)则更新d(p)＝D_k，L(p)＝k，同时用C_k表示具有标记L(p)＝k的像素集，形成新的聚类中心为：

其中，|C_k|为集合C_k重像素个数；并不断的进行迭代计算新的C_k和残错度，直到残错度小于阈值时停止迭代。

Images