CN108229486B - 一种纤维识别分割方法 - Google Patents

Abstract

本发明公开了一种纤维识别分割方法。本发明的一种纤维识别分割方法能够自动分割出图片中的单一曲线，比起手动分割大大提高了效率，利用了曲线头斜率、尾斜率、长度、间距方差确定出纤维边缘的大致轮廓从而实现对纤维的单一分割。

Description

一种纤维识别分割方法

技术领域

本发明涉及图像识别分割领域，具体是一种通过边缘检测对纤维外部轮廓匹配聚类的纤维分割方法。

背景技术

随着数字图像处理技术和深度学习的不断发展，纤维种类的识别和检测技术突飞猛进，但是用计算机来实现对纤维图像的自动化分割一直都没有普遍适用的办法，现有的分割技术普遍都存在局限性，对于不同的形态纤维需要不同的分割方法来提取。

对于条状纤维的识别与检测而言，需要提供其大量的单一条状纤维样本，而获取这些样本就需要先从包含多根条状纤维的图像中截取到单根条状纤维的样本，但是显微镜下的条状纤维形态不一，多数存在交叉、重叠、扭曲等特征，这给纤维样本的提取造成了极大困难，这就需要对条状纤维图像的自动化分割方案，对显微镜下的纤维图像自动的从中分割出单根纤维，再对这些单根纤维分割成多组样本从而再进行纤维的识别研究。

为了解决纤维分割问题，国内外学术界提出了很多方案。其中与本发明较为接近的技术方案包括：孙硕磊(卷积神经网络在异型纤维识别中的研究[D].东华大学,2017)考虑到纤维由于挤压而出现不规则形变，因此通过水平集的图像分割方法对预处理后的显微图进行分割，虽然这种分割方式对于米粒状粘连纤维有着不错的分割效果，但对于显微镜下的条状的纤维，由于其形态为长条状，和颗粒状纤维有着不同的形变状态，多存在扭曲、交叉和重叠等现象，使用水平集的图像分割方法来分割条状纤维效果并不好。阚道宏，等(棉花异性纤维图像在线分割方法[J].农业工程学报，2010，26(Supp.2)：11－15)采用阈值法来对纤维图像进行分割，而基于阈值的图像分割方法是将图像灰度信息分为两个部分，一部分为背景信息，另一部分为边缘信息，该方法适用于背景和目标具有较大灰度差的图像，对于显微镜下的条状纤维图像，考虑到许多纤维为透明状，其内部或边缘颜色与背景颜色差异较小，根据阈值来分割的方法并不适用。和英英(分水岭算法在异形粘连纤维分割中的研究与应用[D]；东华大学；2011年)采用分水岭算法来分割纤维，其核心思想是将图像看做测地学上的拓扑地貌，而像素的灰度值则表示该点的海拔高度，每一个极小值及其影响区域称作集水盆，集水盆的边界则为分水岭。分水岭分割算法就是通过模拟降水的侵入过程来找到集水盆，进而来寻找目标物体的边缘信息，以达到图像分割的目的。虽然分水岭算法对图像的弱边缘具有很好的容忍性，但是分水岭算法对图像中的噪声、物体边缘细微的灰度变化极为敏感。由于条状纤维图像中往往存在重叠交叉等现象，重叠部分的边缘灰度值明显和原边缘存在较大差异，从而导致采用分水岭算法进行分割时会产生过度分割现象。夏心怡,苏真伟,李国辉(基于形状特征的棉花异性纤维图像分割方法[J].农机化研究,2010,32(7):13-16)基于对图像的骨架化处理，根据断开处的斜率对断开的单像素纤维线段进行拼接并提取出了这些单像素纤维轮廓，但仅仅是在含有噪点的纤维图像中提取出单像素纤维的所有轮廓，而对于较粗的条状纤维，其轮廓较单像素纤维而言一般呈闭合的长条形状而并不是一条扭曲的线段，由于不同纤维之间还存在重叠现象，所以不能直接的根据断开处的斜率特征对纤维轮廓进行匹配连接。

综上所述，对显微镜下的条状纤维图像进行单一纤维的分割方案中，主要的问题在于：(1)条状纤维图像中，对于纤维重叠的部分，灰度变化明显，而对于透明状纤维灰度变化并不明显，传统的阈值法和分水岭较难实现分割；(2)条状纤维轮廓为闭合长条状，并在图像中存在的弯曲、多根重叠和多根交叉等现象，用边缘检测进行分割的过程中干扰线较多，较难对同根纤维的轮廓进行匹配聚类；(3)现有的利用边缘检测技术用纤维的形状特征对纤维进行分割的方案中提取的仅为单像素纤维且没有考虑具体精确到对单根纤维的提取。考虑到这些不足，本方法基于Canny边缘检测，对图像中不同纤维的边缘轮廓根据其不同的特征进行匹配聚类，再根据得到的大致边缘对纤维进行分割。

发明内容

本发明的目的是更好的对图像中单根纤维的区域进行识别和分割，本发明提供一种基于边缘检测技术，通过对不同纤维的边缘进行处理并根据特征聚类匹配，最终实现对图像中的纤维进行单根分割和提取操作。

本发明包括如下步骤：

步骤1：读入图像，进行灰度化，用3*3的内核进行降噪，采用Canny算子检测边缘，得到边缘图；

步骤2：对边缘图进行遍历，并进行断开操作，把断开后每条曲线的坐标集合存入曲线集lines中，具体步骤为：

步骤2.1：查找边缘图中的白色像素点，若找不到，则结束；否则，将找到的白色像素点作为头结点p₁(x₁,y₁)，把p₁存入曲线line中；

步骤2.2：通过p₁点的八邻域找到下一个白色像素点p₂(x₂,y₂)，把p₂加入line中，记录p₂在p₁八邻域中的位置，并根据公式(1)计算k₁₂：

k_ij＝(x_j-x_i)*(y_j-y_i) (1)

式中，k_ij表示像素点p_i(x_i,y_i)和p_j(x_j,y_j)之间的迭代系数；

步骤2.3：根据p₂的八邻域查找下一个白色像素点，若未找到，则转步骤2.4；否则，记找到的白色像素点为p₃(x₃,y₃)，并根据公式(1)计算k₂₃，若k₁₂*k₂₃<0，则不再继续寻找像素点，转步骤2.4；否则，令p₁＝p₂，转步骤2.2；

步骤2.4：若line中的像素点数量大于30，则将line加入曲线集lines中；将line中的像素点在边缘图中的像素灰度值设置为零，即变为黑色像素点；清空line；转步骤2.1；

步骤3：对曲线集lines中的每条曲线按如下规则进行断开处理：从曲线的第5个点p₅(x₅,y₅)开始依次计算，根据式(2)计算点p₀(x₀,y₀)、p₅(x₅,y₅)、p₁₀(x₁₀,y₁₀)三点所成的夹角A，若A<135°，则在p₅处进行断开操作，即将p₀、p₁、p₂、p₃和p₄这五个点从该曲线中去除；重复这一断开处理步骤，直至无曲线可断开为止；

式中，a表示p₀到p₁₀的距离，b表示p₀到p₅的距离，c表示p₅到p₁₀的距离，cos表示余弦函数；

步骤4：设lines＝{c_i|i＝1,2,…,n},c_i＝{pt_ij(x_ij,y_ij)|j＝1,2,…,m_i},c_i表示lines中的第i条曲线，n表示曲线数量，pt_ij表示曲线c_i中的第j个像素点，(x_ij,y_ij)表示pt_ij对应的坐标,m_i表示c_i中的像素点数量；去除lines中的干扰线，具体步骤为：

步骤4.1：计算c_i的长度L(c_i)、头斜率hk(c_i)、尾斜率tk(c_i)、头节点坐标和尾节点坐标，其中头斜率hk(c_i)为像素点pt_i0和pt_i10所确定的直线的斜率，尾斜率tk(c_i)为像素点

和

所确定的直线的斜率，头节点坐标为head(c_i)＝pt_i0，尾节点坐标为

步骤4.2：对每条曲线c_i，寻找满足式(3)的曲线c_k，若找到，则在曲线c_i上取等距的v_i个特征点，

v_i≥5，将这些特征点依次记为fp_j,j＝1,2,…,v_i，对每个点fp_j作其在曲线c_i上的法线，该法线与曲线c_k的交点记为dp_j，然后计算出点fp_j和点dp_j之间的距离d_j,若所有的d_j均满足d_j＜10，则把曲线c_i从集合lines中删去；

|hk(c_k)-hk(c_i)|＜δ &&k≠i&& L(c_i)<L(c_k) (3)

其中，δ表示事先给定的头斜率差距的阈值；

步骤5：对lines中的曲线进行头尾匹配连接，具体步骤为：

步骤5.1：根据式(4)计算曲线c_i的曲线类型T(c_i)；

式中，headx(c_i)和heady(c_i)分别表示曲线c_i头结点head(c_i)的x和y坐标值，tailx(c_i)和taily(c_i)分别表示曲线c_i尾结点tail(c_i)的x和y坐标值；

步骤5.2：对曲线c_i，找到满足式(5)的候选连接曲线集CD＝{rl_z|z＝1,2,...,w}，其中，rl_z表示CD中第z条曲线，w表示候选连接曲线个数，作曲线c_i在尾节点tail(c_i)处的切线和曲线rl_z在头节点head(rl_z)处的切线，把两条切线所构成的夹角记为B_z，设对应于B_z最小的曲线为rl_k，则将rl_k与曲线c_i进行连接，将连接后得到的新曲线加入曲线集lines中，同时将rl_k和c_i从曲线集lines中删除；重复步骤5.2，直到无曲线可连接；

步骤6：判断lines中的曲线是否属于同根纤维的边缘，把同根纤维轮廓进行轮廓闭合，最后根据闭合轮廓，提取出单根纤维保存，具体步骤为：

步骤6.1：对每条曲线c_i，寻找满足式(6)的曲线c_k，若找到，则在曲线c_i上取等距的v_i个特征点，

v_i≥5，将这些特征点依次记为fp_j,j＝1,2,…,v_i，对每个点fp_j作其在曲线c_i上的法线，该法线与曲线c_k的交点记为dp_j，然后计算出点fp_j和点dp_j之间的距离d_j,若所有的d_j均满足式(7)，则将把曲线c_i和曲线c_k对应的头节点和尾节点连接起来形成闭合轮廓；

步骤6.2：对闭合轮廓进行掩膜运算，即可提取出对应的单根纤维图像。

本发明的优点是：本发明能够自动分割出图片中的单一曲线，比起手动分割大大提高了效率，利用了曲线头斜率、尾斜率、长度、间距方差确定出纤维边缘的大致轮廓从而实现对纤维的单一分割。

附图说明

图1为一张准备进行识别分割的纤维图片。

图2为对纤维图片进行灰度化和边缘检测的结果。

图3为获取头结点后对后续白色像素点进行寻找时的走向样例图。

图4为对边缘检测图中的每条曲线进行遍历并初步断开的效果图。

图5为对图3中的曲线进行进一步断开后的效果图。

图6为去除图4中多余的边缘线后的效果图。

图7为对图5中断开曲线进行头部和尾部的匹配连接后的结果。

图8为对图6中的曲线进行最后的匹配并闭合曲线轮廓。

图9为部分分割出的单根纤维效果图。

具体实施方式

下面结合实例和图片来详细阐述本发明。

步骤1：如图1为显微镜下的纤维图像，读入该图像，进行灰度化，用3*3的内核进行降噪，采用Canny算子检测边缘，得到边缘图2；

步骤2：对图2进行遍历，并进行断开操作，把断开后每条曲线的坐标集合存入曲线集lines中，具体步骤为：

步骤2.1：查找图2中的白色像素点，若找不到，则结束；否则，将找到的白色像素点作为头结点p₁(x₁,y₁)，把p₁存入曲线line中；

步骤2.2：通过p₁点的八邻域找到下一个白色像素点p₂(x₂,y₂)，把p₂加入line中，记录p₂在p₁八邻域中的位置，如图3，红色箭头表示获取白色像素点的方向，并根据公式(1)计算k₁₂：

k_ij＝(x_j-x_i)*(y_j-y_i) (1)

式中，k_ij表示像素点p_i(x_i,y_i)和p_j(x_j,y_j)之间的迭代系数；

步骤2.3：根据p₂的八邻域查找下一个白色像素点，若未找到，则转步骤2.4；否则，记找到的白色像素点为p₃(x₃,y₃)，并根据公式(1)计算k₂₃，若k₁₂*k₂₃<0，则不再继续寻找像素点，转步骤2.4；否则，令p₁＝p₂，转步骤2.2；

步骤2.4：若line中的像素点数量大于30，则将line加入曲线集lines中；将line中的像素点在边缘图中的像素灰度值设置为零，即变为黑色像素点；清空line；转步骤2.1；最后line中曲线如图4；

步骤3：对曲线集lines中的每条曲线按如下规则进行断开处理：从曲线的第5个点p₅(x₅,y₅)开始依次计算，根据式(2)计算点p₀(x₀,y₀)、p₅(x₅,y₅)、p₁₀(x₁₀,y₁₀)三点所成的夹角A，若A<135°，则在p₅处进行断开操作，即将p₀、p₁、p₂、p₃和p₄这五个点从该曲线中去除；重复这一断开处理步骤，直至无曲线可断开为止；

式中，a表示p₀到p₁₀的距离，b表示p₀到p₅的距离，c表示p₅到p₁₀的距离，cos表示余弦函数；最后line中曲线如图5；

步骤4：设lines＝{c_i|i＝1,2,…,n},c_i＝{pt_ij(x_ij,y_ij)|j＝1,2,…,m_i},c_i表示lines中的第i条曲线，n表示曲线数量，pt_ij表示曲线c_i中的第j个像素点，(x_ij,y_ij)表示pt_ij对应的坐标,m_i表示c_i中的像素点数量；去除lines中的干扰线，具体步骤为：

步骤4.1：计算c_i的长度L(c_i)、头斜率hk(c_i)、尾斜率tk(c_i)、头节点坐标和尾节点坐标，其中头斜率hk(c_i)为像素点pt_i0和pt_i10所确定的直线的斜率，尾斜率tk(c_i)为像素点

和

所确定的直线的斜率，头节点坐标为head(c_i)＝pt_i0，尾节点坐标为

步骤4.2：对每条曲线c_i，寻找满足式(3)的曲线c_k，若找到，则在曲线c_i上取等距的v_i个特征点，

v_i≥5，将这些特征点依次记为fp_j,j＝1,2,…,v_i，对每个点fp_j作其在曲线c_i上的法线，该法线与曲线c_k的交点记为dp_j，然后计算出点fp_j和点dp_j之间的距离d_j,若所有的d_j均满足d_j＜10，则把曲线c_i从集合lines中删去；

|hk(c_k)-hk(c_i)|＜δ &&k≠i&& L(c_i)<L(c_k) (3)

其中，δ表示事先给定的头斜率差距的阈值；最后剔除完毕的效果如图6；

步骤5：对lines中的曲线进行头尾匹配连接，具体步骤为：

步骤5.1：根据式(4)计算曲线c_i的曲线类型T(c_i)；

式中，headx(c_i)和heady(c_i)分别表示曲线c_i头结点head(c_i)的x和y坐标值，tailx(c_i)和taily(c_i)分别表示曲线c_i尾结点tail(c_i)的x和y坐标值；

步骤5.2：对曲线c_i，找到满足式(5)的候选连接曲线集CD＝{rl_z|z＝1,2,...,w}，其中，rl_z表示CD中第z条曲线，w表示候选连接曲线个数，作曲线c_i在尾节点tail(c_i)处的切线和曲线rl_z在头节点head(rl_z)处的切线，把两条切线所构成的夹角记为B_z，设对应于B_z最小的曲线为rl_k，则将rl_k与曲线c_i进行连接，将连接后得到的新曲线加入曲线集lines中，同时将rl_k和c_i从曲线集lines中删除；重复步骤5.2，直到无曲线可连接；最后lines中曲线如图7；

步骤6：判断lines中的曲线是否属于同根纤维的边缘，把同根纤维轮廓进行轮廓闭合，最后根据闭合轮廓，提取出单根纤维保存，具体步骤为：

步骤6.1：对每条曲线c_i，寻找满足式(6)的曲线c_k，若找到，则在曲线c_i上取等距的v_i个特征点，

v_i≥5，将这些特征点依次记为fp_j,j＝1,2,…,v_i，对每个点fp_j作其在曲线c_i上的法线，该法线与曲线c_k的交点记为dp_j，然后计算出点fp_j和点dp_j之间的距离d_j,若所有的d_j均满足式(7)，则将把曲线c_i和曲线c_k对应的头节点和尾节点连接起来形成闭合轮廓；轮廓图如图8；

步骤6.2：对闭合轮廓进行掩膜运算，即可提取出对应的单根纤维图像；图9为部分分割结果。

Claims (2)

1.一种纤维识别分割方法，包括如下步骤：

步骤1：读入图像，进行灰度化，用3*3的内核进行降噪，采用Canny算子检测边缘，得到边缘图；

步骤2：对边缘图进行遍历，并进行断开操作，把断开后每条曲线的坐标集合存入曲线集lines中；

步骤3：对曲线集lines中的每条曲线按如下规则进行断开处理：从曲线的第6个点p₅(x₅,y₅)开始依次计算，根据式(2)计算点p₀(x₀,y₀)、p₅(x₅,y₅)、p₁₀(x₁₀,y₁₀)三点所成的夹角A，若A<135°，则在p₅处进行断开操作，即将p₀、p₁、p₂、p₃和p₄这五个点从该曲线中去除；重复这一断开处理步骤，直至无曲线可断开为止；

式中，a表示p₀到p₁₀的距离，b表示p₀到p₅的距离，c表示p₅到p₁₀的距离，cos表示余弦函数；

步骤4：设lines＝{c_i|i＝1,2,…,n},c_i＝{pt_ij(x_ij,y_ij)|j＝1,2,…,m_i},c_i表示lines中的第i条曲线，n表示曲线数量，pt_ij表示曲线c_i中的第j个像素点，(x_ij,y_ij)表示pt_ij对应的坐标,m_i表示c_i中的像素点数量；去除lines中的干扰线；

步骤5：对lines中的曲线进行头尾匹配连接，

步骤6：判断lines中的曲线是否属于同根纤维的边缘，把同根纤维轮廓进行轮廓闭合，最后根据闭合轮廓，提取出单根纤维保存；

步骤2具体步骤为：

步骤2.1：查找边缘图中的白色像素点，若找不到，则结束；否则，将找到的白色像素点作为头结点p₁(x₁,y₁)，把p₁存入曲线line中；

步骤2.2：通过p₁点的八邻域找到下一个白色像素点p₂(x₂,y₂)，把p₂加入line中，记录p₂在p₁八邻域中的位置，并根据公式(1)计算k₁₂：

k_ij＝(x_j-x_i)*(y_j-y_i) (1)

式中，k_ij表示像素点p_i(x_i,y_i)和p_j(x_j,y_j)之间的迭代系数；

步骤2.3：根据p₂的八邻域查找下一个白色像素点，若未找到，则转步骤2.4；否则，记找到的白色像素点为p₃(x₃,y₃)，并根据公式(1)计算k₂₃，若k₁₂*k₂₃<0，则不再继续寻找像素点，转步骤2.4；否则，令p₁＝p₂，转步骤2.2；

步骤2.4：若line中的像素点数量大于30，则将line加入曲线集lines中；将line中的像素点在边缘图中的像素灰度值设置为零，即变为黑色像素点；清空line；转步骤2.1；

步骤4中去除lines中的干扰线，具体步骤为：

步骤4.1：计算c_i的长度L(c_i)、头斜率hk(c_i)、尾斜率tk(c_i)、头节点坐标和尾节点坐标，其中头斜率hk(c_i)为像素点pt_i0和pt_i10所确定的直线的斜率，尾斜率tk(c_i)为像素点

和

所确定的直线的斜率，头节点坐标为head(c_i)＝pt_i0，尾节点坐标为

步骤4.2：对每条曲线c_i，寻找满足式(3)的曲线c_k，若找到，则在每条曲线c_i上取等距的v_i个特征点，

v_i≥5，将这些特征点依次记为fp_j,j＝1,2,…,v_i，对每个点fp_j作其在曲线c_i上的法线，该法线与曲线c_k的交点记为dp_j，然后计算出点fp_j和点dp_j之间的距离d_j,若所有的d_j均满足d_j＜10，则把每条曲线c_i从集合lines中删去；

|hk(c_k)-hk(c_i)|＜δ&&k≠i&&L(c_i)<L(c_k) (3)

其中，δ表示事先给定的头斜率差距的阈值；

步骤5具体步骤为：

步骤5.1：根据式(4)计算曲线c_i的曲线类型T(c_i)；

式中，headx(c_i)和heady(c_i)分别表示曲线c_i头结点head(c_i)的x和y坐标值，tailx(c_i)和taily(c_i)分别表示曲线c_i尾结点tail(c_i)的x和y坐标值；

步骤5.2：对曲线c_i，找到满足式(5)的候选连接曲线集CD＝{rl_z|z＝1,2,...,w}，其中，rl_z表示CD中第z条曲线，w表示候选连接曲线个数，作曲线c_i在尾节点tail(c_i)处的切线和曲线rl_z在头节点head(rl_z)处的切线，把两条切线所构成的夹角记为B_z，设对应于B_z最小的曲线为rl_k，则将rl_k与曲线c_i进行连接，将连接后得到的新曲线加入曲线集lines中，同时将rl_k和c_i从曲线集lines中删除；重复步骤5.2，直到无曲线可连接；

2.如权利要求1所述的纤维识别分割方法，其特征在于：步骤6具体步骤为：

步骤6.1：对每条曲线c_i，寻找满足式(6)的曲线c_k，若找到，则在曲线c_i上取等距的v_i个特征点，

v_i≥5，将这些特征点依次记为fp_j,j＝1,2,…,v_i，对每个点fp_j作其在曲线c_i上的法线，该法线与曲线c_k的交点记为dp_j，然后计算出点fp_j和点dp_j之间的距离d_j,若所有的d_j均满足式(7)，则将把曲线c_i和曲线c_k对应的头节点和尾节点连接起来形成闭合轮廓；

步骤6.2：对闭合轮廓进行掩膜运算，即可提取出对应的单根纤维图像。

Images