CN111932506B - 一种提取图像中非连续直线的方法 - Google Patents

Abstract

本发明是一种提取图像中非连续直线的方法，涉及图像处理中非连续直线的提取，属于计算机视觉与图像处理领域。该方法针对图像中的非连续直线，利用了基于形态学处理的Steger中心线提取算法和结合曲线切割的RANSAC拟合算法的非连续直线提取方法。首先通过基于图像形态学处理的Steger算法实现非连续直线的连接及中心线提取，得到拟合直线所需的预备点集；再使用曲线切割算法将交叉曲线进行切割，去除交叉曲线对拟合结果的影响；最后利用RANSAC算法进行线性拟合得到最终提取结果。该方法解决了图像中非连续直线不能通过相邻像素点获取直线信息的问题；实现了非连续直线的连接及提取；可以应用于金属内部的缺陷检测，自然灾害影响判断，生物图像观察等方面。

Description

一种提取图像中非连续直线的方法

技术领域

本发明涉及计算机视觉与图像处理领域，具体涉及图像非连续直线提取技术。

背景技术

作为图像分割的基础任务，直线提取是图像处理中的一项重要内容，在多目标跟踪、人脸识别、道路提取和医学图像分析等方面都有着广泛的应用。对于具有连续性线条的结构学图像，如建筑，道路等中的直线信息提取已经有很多成熟的研究，常用的提取方法有Freeman链码法、梯度方向法、启发式搜索法、相位编组法和Hough变换等，这些提取算法的基本思路通常是：首先，使用合适的边缘检测算法检测图像边缘；然后，通过判断图像边缘相邻像素之间的关系来确定直线的成线点；最后，根据成线点进行进一步优化处理得到图像中的直线。传统的直线提取方法的关键步骤就是在对相邻像素之间关系的判定上，而在提取图像中非连续直线时，非连续直线的直线信息是断开的，所以相邻像素间信息并不能被直接利用，也就是非连续直线中的相邻像素在这些算法的判断下不会被判定为成线点，导致无法提取出其中的直线信息，所以传统的直线提取方法对于图像中的非连续直线提取并不适用。而许多物质的剖面结构，如金属、地震后的地块以及生物细胞等，存在大量非连续直线，其目标点离散但具有直线特征，这些信息的提取可以用于金属内部的缺陷检测，灾害影响判断，生物图像观察等方面，因此非连续直线的提取方法的研究是至关重要的。

发明内容

本发明为了解决图像中非连续直线因离散区域形状各异，相邻像素信息无关联而无法被识别提取的问题，提出了一种提取图像中非连续直线的方法。

本发明首先利用基于形态学处理的Steger中心线提取算法取出图像中线结构的中心线，得到直线提取的预备点集。其次，对待拟合曲线进行切割，根据对目标点是否为交叉点的判断结果，删除交叉点得到各不相交的曲线，去除相交曲线对拟合结果的影响。最后，利用RANSAC算法对预备点进行拟合，实现图像中非连续直线的提取。

本发明的图像非连续直线提取方法的步骤如下所示：

步骤一：图像预处理。对图像进行二值化处理，减少图像数据复杂性，利用滤波器去除多余信息，具体实现步骤为：

步骤A：对图像进行自适应性二值化，遍历图像像素点确定积分矩阵，并根据区域积分进行自适应性阈值设置，得到二值化图像，减少图像数据复杂性；

步骤B：判断目标像素点构成的连通域，将连通域中面积大小作为特征信息，利用滤波器去除多余信息，如单个的点及较小的目标图像；

步骤二：基于图像形态学的Steger中心线提取。利用膨胀图像的方法对目标像素点进行扩充，将离散直线连接起来形成不同连接域，再使用经典Steger算法提取图像中曲线中心线，具体实现步骤为：

步骤A：使用矩形结构元素对原始图像进行滑动卷积，将离散点进行边界轮廓扩充，使得离散直线可以相互连接；

步骤B：更新膨胀后图像的连通域，并用滤波器去除其中连接而成的大面积区域以及细小无用信息；

步骤C：遍历图像中目标像素点，使用Steger算法判断像素点是否为中线点，从而确定中心线点集，为后续步骤提供预备点；

步骤三：拟合预备点处理。滤波去除无用信息，细化曲线宽度至单像素，切割交叉曲线，具体实现步骤为：

步骤A：利用滤波去除其中较小的连通域，并对线连通域进行骨架提取形成单像素曲线，有效减少待处理数据；

步骤B：利用线切割算法在进行直线拟合前先对曲线进行切割，使相交曲线不能同时进行拟合，保证了最终拟合的准确性；

步骤四：在拟合预备点集中选取合适的连通域，使用RANSAC算法进行拟合得到直线方程，最后根据直线方程及预备点进行绘制得到图像中非连续直线的提取结果。

附图说明

图1是本发明方法的流程框图。

图2是本发明步骤一中的积分示意图。

图3是本发明步骤二中的中心线提取原理示意图。

图4是本发明的最终提取关键步骤结果示意图，从左到右分别为原始图像、二值化图像、膨胀图像、中心线提取、图像切割及最长线选择、提取结果。

具体实施方式

结合图1说明本实施方式，本实施方式的步骤如下：

步骤一：图像预处理。对图像进行二值化处理，减少图像数据复杂性，利用滤波器去除多余信息，具体实现步骤为：

步骤A：对图像进行自适应性二值化，遍历图像像素点确定积分矩阵（积分矩阵形式见图2），并根据区域积分进行自适应性阈值设置，得到二值化图像，减少图像数据复杂性；

步骤B：判断目标像素点构成的连通域，将连通域中面积大小作为特征信息，利用滤波器去除多余信息，如单个的点及较小的目标图像；

步骤二：基于图像形态学的Steger中心线提取。利用膨胀图像的方法对目标像素点进行扩充，将离散直线连接起来形成不同连接域，再使用经典Steger算法提取图像中曲线中心线，具体实现步骤为：

步骤A：使用矩形结构元素对原始图像进行滑动卷积，将离散点进行边界轮廓扩充，使得离散直线可以相互连接；

步骤B：更新膨胀后图像的连通域，并用滤波器去除其中连接而成的大面积区域以及细小无用信息；

步骤C：遍历图像中目标像素点，使用Steger算法判断像素点是否为中线点（中心点提取原理图见图3），从而确定中心线点集，为后续步骤提供预备点；

步骤三：拟合预备点处理。滤波去除无用信息，细化曲线宽度至单像素，切割交叉曲线，具体实现步骤为：

步骤A：利用滤波去除其中较小的连通域，并对线连通域进行骨架提取形成单像素曲线，有效减少待处理数据；

步骤B：利用线切割算法在进行直线拟合前先对曲线进行切割，使相交曲线不能同时进行拟合，保证了最终拟合的准确性；

步骤四：在拟合预备点集中选取合适的连通域，使用RANSAC算法进行拟合得到直线方程，最后根据直线方程及预备点进行绘制得到图像中非连续直线的提取结果（提取各步骤结果见图4）。

步骤一的实现细节为：计算积分矩阵

，/>

表示点/>

与原点/>

组成矩形的灰度值总和：

(1)

其中

为像素点/>

的真实像素值，像素点/>

与其左上角像素点/>

构成一个矩形区域，根据积分矩阵计算阈值/>

矩阵公式如下：

(2)

当

，像素点/>

为目标点，否则为背景点，其中/>

为阈值因子；然后对二值图像进行连通域判断，并利用滤波器去除其中单个的点及较小的目标图像，有效减少图像中的多余信息。

步骤二的实现细节为：用矩形结构元素

遍历图像/>

中的每个像素：

(3)

确定膨胀图像中每个连通域的大小及包含像素点并进行滤波处理：

(4)

表示第/>

个连通域。设置低阈值/>

和高阈值/>

，将低于低阈值以及高于高阈值的连通域删除，最后按照连通域集合重新修改图像目标像素点；

提取目标图像中心线。对于曲线

上的任意一点/>

，Hessian矩阵可以表示为：

(5)

其中

表示/>

在/>

处的二阶导数。求解Hessian矩阵最大特征值对应的特征向量/>

，如图3所示，该向量方向为曲线的法线方向，在法线方向进行泰勒展开得到曲线横截线/>

的近似方程：

(6)

其中

与/>

表示像素点/>

在/>

上的方向导数，令曲线横截线方程一阶导等于0：

(7)

解得：

(8)

通过上式可以得到

上的极值点/>

，该极值点就是曲线的中心亚像素位置，若/>

，即中心亚像素位置与/>

在同一像素内，即可判定/>

为曲线的中心点，依次判断图像中的像素点是否为中心点，即可获得直线提取的预备点集。

步骤三的实现细节为：通过删除标记目标像素点完成线细化，像素标记过程如下：1、为每个目标像素点

建立八邻接域/>

和四邻接域/>

；2、遍历目标像素点，并判断目标像素点是否为可删除点，若满足以下条件则可判定像素点/>

为可删除点：a./>

不全为目标像素点；b./>

中至少有两个目标像素点；c./>

连接数等于1；d.若像素点/>

上邻接点被标记删除，则将其置为背景点后/>

连接数等于1；e.若像素点/>

左邻接点被标记删除，则将其置为背景点后/>

连接数等于1；3、删除所有标记点；4、重复2，3步骤直到没有新的标记点；

其中

连接数计算公式如下：

(9)

其中

表示/>

的四邻接域像素，/>

,/>

表示/>

的八邻接域中/>

的后续点；

切割预备点集中的交叉曲线，方法如下：

首先计算删除矩阵

，像素点/>

对应删除矩阵中/>

：

(10)

其中

表示点/>

的8连通连接数，如式(9)，删除矩阵/>

表示/>

点是否标记为删除点，最后删除图像中的标记点得到各不相交的曲线点集。

步骤四的实现细节为：在连接域

中循环选择包含内点最多的初始点/>

,

，并根据两点式判定初始直线方程/>

，由所有内点/>

通过最小二乘法拟合得到新的直线方程/>

：

最小二乘的矩阵形式就是求解

：

(11)

其中

，/>

，/>

为拟合方程系数，矩阵可写为：

(12)

求解最小值可通过令一阶导为0求解：

(13)

所以：

(14)

拟合直线方程为：

(15)

根据直线方程

扩充内点集合并再次通过最小二乘法拟合得到最后结果

。最后根据拟合模型/>

以及初始点/>

，/>

，在原始图像中绘制得到提取直线，直线提取各步骤结果如图4所示。

Claims (1)

1.一种提取图像中非连续直线的方法，其特征在于，该方法首先利用基于形态学处理的Steger中心线提取算法取出图像中线结构的中心线，得到直线提取的预备点集；其次，对待拟合曲线进行切割，根据对目标点是否为交叉点的判断结果，删除交叉点得到各不相交的曲线，去除相交曲线对拟合结果的影响；最后，利用RANSAC算法对预备点进行拟合，实现图像中非连续直线的提取；具体步骤如下：

步骤一：图像预处理，对图像进行二值化处理，减少图像数据复杂性，利用滤波器去除多余信息，具体实现步骤为：

步骤A：对图像进行自适应性二值化，遍历图像像素点确定积分矩阵，并根据区域积分进行自适应性阈值设置，得到二值化图像，减少图像数据复杂性；自适应性二值化计算如下：

I为计算积分矩阵值，I(x,y)表示点(x,y)与原点(x_c,y_c)组成矩形的灰度值总和：

I(x,y)＝A(x,y)+I(x-1,y)+I(x,y-1)-I(x-1,y-1) (1)

其中A(x,y)为像素点(x,y)的真实像素值，像素点(x,y)与其左上角像素点(x₁,y₁)构成一个矩形区域，根据积分矩阵计算阈值th_f矩阵，公式如下：

当A(x,y)-th_f(x,y)＞th_f(x,y)*k，像素点(x,y)为目标点，否则为背景点，其中k为阈值因子；

步骤B：判断目标像素点构成的连通域，将连通域中面积大小作为特征信息，利用滤波器去除多余信息，如单个的点及较小的目标图像；

步骤二：基于图像形态学的Steger中心线提取，利用膨胀图像的方法对目标像素点进行扩充，将离散直线连接起来形成不同连接域，再使用经典Steger算法提取图像中曲线中心线，具体实现步骤为：

步骤A：使用矩形结构元素对原始图像进行滑动卷积，将离散点进行边界轮廓扩充，使得离散直线可以相互连接；

步骤B：更新膨胀后图像的连通域，并用滤波器去除其中连接而成的大面积区域以及细小无用信息；

步骤C：遍历图像中目标像素点，使用Steger算法判断像素点是否为中线点，从而确定中心线点集，为后续步骤提供预备点；中心线提取方式如下：

对于曲线f(x,y)上的任意一点(x₀,y₀)，Hessian矩阵可以表示为：

其中d_xx,d_xy,d_yy表示f(x,y)在(x₀,y₀)处的二阶导数；求解Hessian矩阵最大特征值对应的特征向量(n_x,n_y)，该向量方向为曲线的法线方向，在法线方向进行泰勒展开得到曲线横截线l的近似方程：

其中f_l'(x₀,y₀)与f_l”(x₀,y₀)表示像素点(x₀,y₀)在(n_x,n_y)上的方向导数，令曲线横截线方程一阶导等于0：

g′_t(x₀+tn_x,y₀+tn_y)＝f_l'(x₀,y₀)+f_l”(x₀,y₀)t＝0 (5)

解得：

通过上式可以得到l上的极值点(x₀+tn_x,y₀+tn_y)，该极值点就是曲线的中心亚像素位置，若(tn_x,tn_y)∈[-0.5,0.5]*[-0.5,0.5]，即中心亚像素位置与(x₀,y₀)在同一像素内即可判定(x₀,y₀)为曲线的中心点，依次判断图像中的像素点是否为中心点，即可获得直线提取的预备点集；

步骤三：首先，利用滤波去除其中较小的连通域，并对线连通域进行骨架提取形成单像素曲线，有效减少待处理数据；其次，利用线切割算法在进行直线拟合前先对曲线进行切割，使相交曲线不能同时进行拟合，保证了最终拟合的准确性；具体实现步骤为：

步骤A：通过删除标记目标像素点完成线细化，像素标记过程如下：a)为每个目标像素点p建立八邻接域Con_p8和四邻接域Con_p4；b)遍历目标像素点，并判断目标像素点是否为可删除点，若满足以下条件则可判定目标像素点p为可删除点：Con_p4不全为目标像素点；Con_p8中至少有两个目标像素点；Con_p8连接数等于1；若目标像素点p上邻接点被标记删除，则将其置为背景点后Con_p8连接数等于1；若目标像素点p左邻接点被标记删除，则将其置为背景点后Con_p8连接数等于1；c)删除所有标记点；d)重复b、c步骤直到没有新的标记点；

其中Con_p8连接数计算公式如下：

其中X_i表示p的四邻接域像素，X_i+1,X_i+2表示p的八邻接域中X_i的后续点；

步骤B：切割预备点集中的交叉曲线，方法如下：

首先计算删除矩阵s，像素点p(x,y)对应删除矩阵中s(x,y)：

其中

表示点p的8连通连接数，删除矩阵s表示p点是否标记为删除点，最后删除图像中的标记点得到各不相交的曲线点集；

步骤四：在拟合预备点集中选取合适的连通域，使用RANSAC算法进行拟合得到直线方程，最后根据直线方程及预备点进行绘制得到图像中非连续直线的提取结果，具体实现步骤为：

在连接域Con中循环选择包含内点最多的初始点(x₁',y₁'),(x₂',y₂')，并根据两点式判定初始直线方程y＝f₀(x)，由所有内点{(x₁',y₁'),(x₂',y₂'),...,(x_n',y_n')}通过最小二乘法拟合得到新的直线方程y＝f₁(x)：

最小二乘的矩阵形式就是求解ω：

其中Y＝[y₁',y₂',y₃',...,y_n']^T，

为拟合方程系数，矩阵可写为：

求解最小值可通过令一阶导为0求解：

所以：

ω＝(X^TX)^-1X^TY (12)

拟合直线方程为：

y＝f₁(x)＝a₁x+b₁ (13)

根据直线方程y＝f₁(x)扩充内点集合并再次通过最小二乘法拟合得到最后结果y＝f₂(x)，最后根据拟合模型y＝f₂(x)以及初始点(x₁',y₁'),(x₂',y₂')，在原始图像中绘制得到提取直线。

Images