CN114332146A - 一种碎片玻璃轮廓提取方法 - Google Patents

Abstract

本发明提出一种碎片玻璃轮廓提取方法，包括以下步骤；步骤S1、使用透明粘合件对玻璃表面粘贴，然后在特定冲击区域敲碎玻璃，并以工业相机采集敲碎区域的玻璃破碎图像；步骤S2、对玻璃破碎图像进行去除反光裂缝的预处理，再将预处理后的图像二值化，并滤除二值化图像中的小黑点及小亮点；步骤S3、提取敲碎区域内的碎片玻璃轮廓；步骤S4、检测碎片玻璃轮廓图像中的玻璃裂缝断裂点并修补，重建碎片玻璃轮廓；本发明流程简单，可以有效解决实际光学成像中，裂缝方向随机性、大小随机性导致的裂缝不清晰，反光干扰等问题，能提高碎片玻璃裂缝轮廓提取精度及碎片玻璃统计精度。

Description

一种碎片玻璃轮廓提取方法

技术领域

本发明涉及图像处理技术领域，尤其是一种碎片玻璃轮廓提取方法。

背景技术

汽车玻璃是汽车工业领域重要的一个产品。早期汽车玻璃使用的是普通玻璃，发生交通事故后玻璃破碎飞溅容易对人员造成二次伤害。因此现在广泛采用钢化玻璃、夹层玻璃应用到汽车玻璃领域。

我国于2003年4月23号发布《中华人民共和国国家标准GB9656-2003》，其中对安全性能做了详细描述。包含厚度、光畸变、抗冲击性等十几项强制性标准。本发明所讨论的技术适用于其中碎片状态测试标准。碎片状态测试流程包含将汽车玻璃在指定区域击碎，肉眼对碎片玻璃进行观察分析。其中一项指标需要判断最稀疏、最密集的碎片玻璃区域位置。统计5cmX5cm正方形区域内碎片个数。通常一个5cmX5cm区域内会有几十到几百个玻璃碎片，使用人工计数效率低且容易出错。而通过机器视觉检测的方法，可以有效解决人工计数出错问题。通过视觉对碎片个数进行计数，最核心的问题是解决碎片玻璃分割问题。使用机器视觉采集碎片玻璃成像，由于碎片玻璃裂缝方向随机性，大小随机性。光学成像无法达到非常理想的效果。

本发明提出的方法使用相机和光源一次采图即可完成检测流程，同时提出的轮廓重建方法可以处理轮廓断裂的问题，提高碎片玻璃裂缝轮廓提取精度，提高碎片玻璃统计精度。

发明内容

本发明提出一种碎片玻璃轮廓提取方法，流程简单，可以有效解决实际光学成像中，裂缝方向随机性、大小随机性导致的裂缝不清晰，反光干扰等问题，能提高碎片玻璃裂缝轮廓提取精度及碎片玻璃统计精度。

本发明采用以下技术方案。

一种碎片玻璃轮廓提取方法，包括以下步骤；

步骤S1、使用透明粘合件对玻璃表面粘贴，然后在特定冲击区域敲碎玻璃，并以工业相机采集敲碎区域的玻璃破碎图像；

步骤S2、对玻璃破碎图像进行去除反光裂缝的预处理，再将预处理后的图像二值化，并滤除二值化图像中的小黑点及小亮点；

步骤S3、提取敲碎区域内的碎片玻璃轮廓；

步骤S4、检测碎片玻璃轮廓图像中的玻璃裂缝断裂点并修补，重建碎片玻璃轮廓。

所述步骤S1中包括以下步骤：

步骤S11、在透明玻璃平台上放置玻璃，使用胶带对玻璃全部表面粘贴，然后使用安全玻璃锤在预设的特定冲击区域敲碎玻璃；

步骤S12、在透明玻璃平台下方安装背光源，在透明玻璃上方安装工业相机；所述工业相机为面阵相机或线阵相机；

步骤S13、以工业相机拍摄敲碎区域，采集玻璃破碎图像。

所述步骤S2中包括以下步骤：

步骤S21、反光裂缝去除，具体方法是：计算碎片玻璃图像平均值mean和标准差stdv；执行如下公式将反光裂缝离群像素值替换为暗的像素，公式为：

其中g(x,y)表示图像x,y坐标处的像素值；

步骤S22、将步骤S21得到的图像做二值化处理，处理方法包括OTSU二值化方法；

步骤S23、把透明玻璃平台上的粉尘、细小玻璃碎渣视同为步骤S22所得二值化图像中的小黑点及小亮点的成因，去除二值化图像中的小黑点及小亮点。

所述步骤S3中，把步骤S2中过滤处理后的二值化图像进行细化，所用的细化算法包括Zhang-Suen细化算法。

所述敲碎区域内，大部分玻璃碎片的观察结果都近似为凸多边形；

所述步骤S4中包括以下步骤；

步骤S41、断线检测，具体为：

第一步、对断裂的玻璃裂缝轮廓中的断点进行检测，检测公式为

检测的标准是8-邻域内只包含一个亮点；

第二步、计算断线的长度和方向，为此需要判断断点的结束位置，结束点的判断标准为：

步骤S42、断线连接，具体为：

第一步、将断线方向相同，距离接近的断线端点相连。断线方向的计算可以用梯度计算，或者使用断线头尾点向量判断；断线起始点距离需小于一定阈值Tdist，断线breakedge1，breakedge2的方向需要满足：

其中angle_edge表示断线角度，connect_angle表示断线连线角度；

第二步、对于第一步未连接的断线，评估是否要对其进行延长，标准是：需要延长的断线要满足如下条件：

其中，grad_{break_pt}表示断点梯度值，length_{break_edge}为断线长度；

对满足延长条件的断线，在其方向延长线上进行延伸，延伸点需要满足如下条件：

其中grad_{ext_pt}为延伸点梯度大小，angle_{ext_pt}为延伸点梯度向量角度，angle_{break_edge}为断线角度；延伸操作到碰到玻璃碎片裂缝线后停止；

第三步、将未处理的断线另存为list_{unkonw_break_edge}，过滤未处理断线得到该步的结果图；

第四步、把步骤S42中第三步的结果图取反，得到玻璃碎片分割图，计算每个玻璃碎片是否近似为凸多边形；先计算每个玻璃碎片面积和最小外包凸多边形边面积比值，小于阈值为正常玻璃碎片；

如果大于阈值则再做二次判断，计算玻璃碎片多边形的角点，角点处的边缘方向变化率远大于设定的阈值，其公式为

angle_diff_{corner_p}t＞T_{angle_diff} 公式七；

其中，angle_diff_{corner_pt}为角点处的边缘方向变化率，变化率极大值点为角点；得到近似后的多边形，再判断多边形角点是否为凸点；判断标准为计算角点到最小外包多边形边的最小距离；

若计算得到的该距离大于预定阈值，则判定为凹点；然后遍历第三步保存的liis_{tunkonw_break_edge}，查看此凹点是否在断线上。如果在断线上，则将此断线进行第二步的延伸操作，并将延伸点的判断标准调的更加宽松；

当所有的玻璃碎片的粒子轮廓均遍历完成后，即完成步骤S4。

步骤S1中，敲碎区域的玻璃破碎图像为5cm×5cm的正方形区域。

本发明的优点在于：在碎片玻璃分割上提出了轮廓重建流程，具体包含断线重连和凹角点判断等技术。该方法的优势在于对于降低对于成像环节的依赖性，使得由于玻璃碎片大小随机、方向随机造成的光学成像困难导致的漏分割问题得到有效改进。对于推动设备落地进入产业化应用能提供有益的技术参考。

本发明提出的方法使用相机和光源一次采图即可完成检测流程，同时提出的轮廓重建方法可以处理轮廓断裂的问题，提高碎片玻璃裂缝轮廓提取精度，提高碎片玻璃统计精度。

本发明提供一种基于图像处理技术的碎片玻璃裂缝轮廓提取方法，可以有效解决实际光学成像中，裂缝方向随机性、大小随机性导致的裂缝不清晰，反光干扰等问题。

附图说明

下面结合附图和具体实施方式对本发明进一步详细的说明：

附图1为本发明实施例的相机采集原始示意图；

附图2为本发明实施例的预处理后二值示意图；

附图3为本发明实施例的细化效果示意图；

附图4为本发明实施例的断点位置示意图；

附图5为本发明实施例的断线起始点、终止点位置示意图(圆框为断线起始点，方形框为结束点)；

附图6为本发明实施例的断线连接效果示意图；

附图7为本发明实施例的最终效果示意图。

具体实施方式

如图所示，一种碎片玻璃轮廓提取方法，包括以下步骤；

步骤S1、使用透明粘合件对玻璃表面粘贴，然后在特定冲击区域敲碎玻璃，并以工业相机采集敲碎区域的玻璃破碎图像；

步骤S2、对玻璃破碎图像进行去除反光裂缝的预处理，再将预处理后的图像二值化，并滤除二值化图像中的小黑点及小亮点；

步骤S3、提取敲碎区域内的碎片玻璃轮廓；

步骤S4、检测碎片玻璃轮廓图像中的玻璃裂缝断裂点并修补，重建碎片玻璃轮廓。

所述步骤S1中包括以下步骤：

步骤S11、在透明玻璃平台上放置玻璃，使用胶带对玻璃全部表面粘贴，然后使用安全玻璃锤在预设的特定冲击区域敲碎玻璃；

步骤S12、在透明玻璃平台下方安装背光源，在透明玻璃上方安装工业相机；所述工业相机为面阵相机或线阵相机；

步骤S13、以工业相机拍摄敲碎区域，采集玻璃破碎图像。采集结果如图1所示(5cmX5cm区域采图)。

所述步骤S2中包括以下步骤：

步骤S21、反光裂缝去除，具体方法是：计算碎片玻璃图像平均值mean和标准差stdv；执行如下公式将反光裂缝离群像素值替换为暗的像素，公式为：

其中g(x,y)表示图像x,y坐标处的像素值；

步骤S22、将步骤S21得到的图像做二值化处理，处理方法包括OTSU二值化方法；

步骤S23、把透明玻璃平台上的粉尘、细小玻璃碎渣视同为步骤S22所得二值化图像中的小黑点及小亮点的成因，去除二值化图像中的小黑点及小亮点。去除后的效果如图2所示。

所述步骤S3中，把步骤S2中过滤处理后的二值化图像进行细化，所用的细化算法包括Zhang-Suen细化算法。细化后的效果如图3所示。

所述敲碎区域内，大部分玻璃碎片的观察结果都近似为凸多边形；

所述步骤S4中包括以下步骤；

步骤S41、断线检测，具体为：

第一步、对断裂的玻璃裂缝轮廓中的断点进行检测，检测公式为

检测的标准是8-邻域内只包含一个亮点；

检测到的断点如图4所示。

第二步、计算断线的长度和方向，为此需要判断断点的结束位置，结束点的判断标准为：

步骤S42、断线连接，具体为：

第一步、将断线方向相同，距离接近的断线端点相连。断线方向的计算可以用梯度计算，或者使用断线头尾点向量判断；断线起始点距离需小于一定阈值T_dist，断线breakedge1,breakedge2的方向需要满足：

其中angle_edge表示断线角度，connect_angle表示断线连线角度；

第二步、对于第一步未连接的断线，评估是否要对其进行延长，标准是：需要延长的断线要满足如下条件：

其中，grad_{break_pt}表示断点梯度值，length_{break_edge}为断线长度；

对满足延长条件的断线，在其方向延长线上进行延伸，延伸点需要满足如下条件：

其中grad_{ext_pt}为延伸点梯度大小，angle_{ext_pt}为延伸点梯度向量角度，angle_{break_edge}为断线角度；延伸操作到碰到玻璃碎片裂缝线后停止；

第三步、将未处理的断线另存为list_{unkonw_break_edge}，过滤未处理断线得到该步的结果图；如图6所示。

第四步、把步骤S42中第三步的结果图取反，得到玻璃碎片分割图，计算每个玻璃碎片是否近似为凸多边形；先计算每个玻璃碎片面积和最小外包凸多边形边面积比值，小于阈值为正常玻璃碎片；

如果大于阈值则再做二次判断，计算玻璃碎片多边形的角点，角点处的边缘方向变化率远大于设定的阈值，其公式为

angle_diff_{corner_pt}＞T_angle-diff 公式七；

其中，angle_diff_{corner_pt}为角点处的边缘方向变化率，变化率极大值点为角点；得到近似后的多边形，再判断多边形角点是否为凸点；判断标准为计算角点到最小外包多边形边的最小距离；

若计算得到的该距离大于预定阈值，则判定为凹点；然后遍历第三步保存的list_{unkonw_break_edge}，查看此凹点是否在断线上。如果在断线上，则将此断线进行第二步的延伸操作，并将延伸点的判断标准调的更加宽松；

当所有的玻璃碎片的粒子轮廓均遍历完成后，即完成步骤S4。最终处理效果如图7。

步骤S1中，敲碎区域的玻璃破碎图像为5cm×5cm的正方形区域。

Claims (7)

1.一种碎片玻璃轮廓提取方法，其特征在于：包括以下步骤；

步骤S1、使用透明粘合件对玻璃表面粘贴，然后在特定冲击区域敲碎玻璃，并以工业相机采集敲碎区域的玻璃破碎图像；

步骤S2、对玻璃破碎图像进行去除反光裂缝的预处理，再将预处理后的图像二值化，并滤除二值化图像中的小黑点及小亮点；

步骤S3、提取敲碎区域内的碎片玻璃轮廓；

步骤S4、检测碎片玻璃轮廓图像中的玻璃裂缝断裂点并修补，重建碎片玻璃轮廓。

2.根据权利要求1所述的一种碎片玻璃轮廓提取方法，其特征在于：所述步骤S1中包括以下步骤：

步骤S11、在透明玻璃平台上放置玻璃，使用胶带对玻璃全部表面粘贴，然后使用安全玻璃锤在预设的特定冲击区域敲碎玻璃；

步骤S12、在透明玻璃平台下方安装背光源，在透明玻璃上方安装工业相机；所述工业相机为面阵相机或线阵相机；

步骤S13、以工业相机拍摄敲碎区域，采集玻璃破碎图像。

3.根据权利要求1所述的一种碎片玻璃轮廓提取方法，其特征在于：所述步骤S2中包括以下步骤：

步骤S21、反光裂缝去除，具体方法是：计算碎片玻璃图像平均值mean和标准差stdv；执行如下公式将反光裂缝离群像素值替换为暗的像素，公式为：

其中g(x，y)表示图像x，y坐标处的像素值；

步骤S22、将步骤S21得到的图像做二值化处理，处理方法包括OTSU二值化方法；

步骤S23、把透明玻璃平台上的粉尘、细小玻璃碎渣视同为步骤S22所得二值化图像中的小黑点及小亮点的成因，去除二值化图像中的小黑点及小亮点。

4.根据权利要求1所述的一种碎片玻璃轮廓提取方法，其特征在于：所述步骤S3中，把步骤S2中过滤处理后的二值化图像进行细化，所用的细化算法包括zhang-Suen细化算法。

5.根据权利要求1所述的一种碎片玻璃轮廓提取方法，其特征在于：所述敲碎区域内，大部分玻璃碎片的观察结果都近似为凸多边形。

6.根据权利要求5所述的一种碎片玻璃轮廓提取方法，其特征在于：所述步骤S4中包括以下步骤；

步骤S41、断线检测，具体为：

第一步、对断裂的玻璃裂缝轮廓中的断点进行检测，检测公式为

检测的标准是8-邻域内只包含一个亮点；

第二步、计算断线的长度和方向，为此需要判断断点的结束位置，结束点的判断标准为：

步骤S42、断线连接，具体为：

第一步、将断线方向相同，距离接近的断线端点相连。断线方向的计算可以用梯度计算，或者使用断线头尾点向量判断；断线起始点距离需小于一定阈值T_dist，断线breakedge1，breakedge2的方向需要满足：

其中angle_edge表示断线角度，connect_angle表示断线连线角度；

第二步、对于第一步未连接的断线，评估是否要对其进行延长，标准是：需要延长的断线要满足如下条件：

其中，grad_{break_pt}表示断点梯度值，length_{break_edge}为断线长度；

对满足延长条件的断线，在其方向延长线上进行延伸，延伸点需要满足如下条件：

其中grad_{ext_pt}为延伸点梯度大小，angle_{ext_pt}为延伸点梯度向量角度，angle_{break_edge}为断线角度；延伸操作到碰到玻璃碎片裂缝线后停止；

第三步、将未处理的断线另存为list_{unkonw_break_edge}，过滤未处理断线得到该步的结果图；

第四步、把步骤S42中第三步的结果图取反，得到玻璃碎片分割图，计算每个玻璃碎片是否近似为凸多边形；先计算每个玻璃碎片面积和最小外包凸多边形边面积比值，小于阈值为正常玻璃碎片；

如果大于阈值则再做二次判断，计算玻璃碎片多边形的角点，角点处的边缘方向变化率远大于设定的阈值，其公式为

angle_diff_{corner_pt}＞T_{angle_diff} 公式七；

其中，angle_diff_{corner_pt}为角点处的边缘方向变化率，变化率极大值点为角点；

得到近似后的多边形，再判断多边形角点是否为凸点；判断标准为计算角点到最小外包多边形边的最小距离；

若计算得到的该距离大于预定阈值，则判定为凹点；然后遍历第三步保存的list_{unkonw_break_edge}，查看此凹点是否在断线上。如果在断线上，则将此断线进行第二步的延伸操作，并将延伸点的判断标准调的更加宽松；

当所有的玻璃碎片的粒子轮廓均遍历完成后，即完成步骤S4。

7.根据权利要求1所述的一种碎片玻璃轮廓提取方法，其特征在于：步骤S1中，敲碎区域的玻璃破碎图像为5cm×5cm的正方形区域。

Images