CN112683902A - 一种基于模板的模切产品表面缺陷在线检测方法 - Google Patents

Abstract

本发明公开的一种基于模板的模切产品表面缺陷在线检测方法，首先构建模切产品图像模板，然后从待检测图像中定位模切产品，并依据模切产品图像模板对模切产品进行缺陷检测后，绘制并输出缺陷检测结果，提高表面缺陷检测的精度及速度，同时，通过优化检测工序及流程，实现表面缺陷的在线检测。

Description

一种基于模板的模切产品表面缺陷在线检测方法

技术领域

本发明属于图像信号处理、机器视觉领域，具体涉及一种基于模板的模切产品表面缺陷在线检测方法。

背景技术

模切是一种现代工业常见的一种生产过程，指根据CAD设计的图形对薄膜进行切割，在后加工工艺中对其进行机械处理。通过模切工艺获得的产品简称为模切件，通常由直线，圆弧和圆等轮廓元素组成。模切产品可以由多种材料加工而成，例如橡胶，胶带，泡沫，塑料，光学膜和保护膜。在当前的模切产品中，光学膜是一种更为主流和常见的材料。

模切的切割过程，主要由多个压板或刀具组合完成。在实际的切割过程中，由于要组合使用不同的工具，因为工艺的原因，模切件会出现表面缺陷，例如尺寸不合格，脏污，划痕等。表面缺陷的存在导致产品质量下降，干扰下游自动化生产，因此必须进行后期检测予以剔除。

在当前的生产前线中，传统的模切检测主要依靠人工检测。例如，采用抽样检查即人工识别的方法。对于简单可见的表面缺陷，采用肉眼识别的方法，对于一些肉眼难以分辨的细微缺陷，则使用二次元测量仪器和其他具有放大和显微镜功能的设备辅助人工检测。然而，这种方法人工成本极高，限制了模切零件的生产效率。尤其是当某些特定的制造商要求对样品进行全面检测时，需要消耗极大的人力，是难以负担的。同时，不同的检查员进行操作和判断时，会存在个体主观的认知偏差，导致最终缺陷检查结果不稳定，无法满足自动化生产的要求。

目前，对模切件的研究相对缺乏，特别是对于以光学膜为代表的模切件。在早期的典型聚合物薄膜中，表面会出现诸如“界面不稳定性”之类的缺陷。相关研究发现，由该缺陷产生的图像不会引起灰度变化。相关研究使用图案化线光源作为背光，对胶片进行照射和成像，然后通过一维滤波器将图像调制到频域中，利用阈值分割检测由滤波器生成的特征图像以获得局部极值点，然后进行缺陷检测。同时，也有对薄膜的不连续卷绕系统的精确传输进行研究，并提出了一套基于两条平行光带的视觉系统。根据暗场照明理论，以低角度照射压痕以获得压痕的清晰图像，从而检测微观压痕，但这些工作多为验证性质，对实际生产起指导作用。

随着自动化生产的普及和机器视觉的发展，越来越多的生产线进行了自动化改进。模切生产过程的上下游都在逐步提高自动化水平，人机结合的半自动检测方案已经开始出现。尽管这种方法有一定的租用，但是它一般计算量消耗较大，并且需要占用大量的内存和计算资源，以进行脱机检测。这导致其通常无法同时满足各种复杂检测环境中的高检测精度、高度自动化的要求，不能满足实际工业应用的要求，极大地限制了这种方法在实际工程主题中的应用。

发明内容

针对上述问题，本发明提供了一种基于模板的模切产品表面缺陷在线检测方法，以提高表面缺陷检测的精度及速度，同时，通过优化检测工序及流程，实现表面缺陷的在线检测。

本发明提供的技术方案为：

一种基于模板的模切产品表面缺陷在线检测方法，包括以下步骤；

(1)获取待检测图像，并从待检测图像中定位模切产品；

(2)构建模切产品图像模板；

(3)根据模切产品图像模板对模切产品进行缺陷检测后，绘制并输出缺陷检测结果。

与现有技术相比，本发明具有的有益效果至少包括：

本发明提供的基于模板的模切产品表面缺陷在线检测方法，首先构建模切产品图像模板，然后从待检测图像中定位模切产品，并依据模切产品图像模板对模切产品进行缺陷检测后，绘制并输出缺陷检测结果，提高表面缺陷检测的精度及速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是本发明实施例提供的基于模板的模切产品表面缺陷在线检测方法的流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

图1是本发明提供的基于模板的模切产品表面缺陷在线检测方法的流程图。如图1所示，实施例提供的基于模板的模切产品表面缺陷在线检测方法包括以下步骤：

步骤1，获取待检测图像，并从待检测图像中定位模切产品。

待检测图像是从检测工序中实时由线阵相机采集的图像，针对每个模切产品会采集多张待检测图像。在获得待检测图像后，需要从待检测图像中定位模切产品，具体过程为：

(1-1)计算待检测图像的阈值分割结果图，并依据阈值分割结果图计算图像行质量后，再根据图像行质量确定最大裁剪行数。

阈值分割是对待检测图像进行二值化的过程，二值化后的灰度图像能够更清楚地呈现关注的待检测工件，因此，实施例中需要对待检测图像进行阈值分割，获得阈值分割结果图，具体地，阈值分割过程为：

针对待分割图像，该待分割图像中每个像素点(x,y)的阈值分割结果值T(x,y)表达式如下：

其中，g(x,y)为像素(x,y)的灰度值，t为设定的灰度分割阈值。

实施例中，图像行质量的计算过程为：

针对阈值分割结果图的第i行，第i行图像的行质量h_i表示为：

其中，row_i表示第i行的像素点总个数，T(i,j)表示第i行第j列像素点的灰度值；

根据图像行质量确定最大裁剪行数的方法为：

针对满足不等式(3)的所有D(i)＝h(i+1)-h(i)，选择最大D(i)对应的i作为最大裁剪行数；

D(i)>αrow_i+β (3)

其中，α和β均为判别系数，取值一般为α＝0.3,β＝10。

(1-2)以最大裁剪行数为分界线裁剪待检测图像获得两张裁剪图像，记为第一裁剪图像和第二裁剪图像，并将当前第一裁剪图像与上次裁剪的第二裁剪图像拼接组成新图像I_new，且保留当前第二裁剪图像。

第一裁剪图像和第二裁剪图像是个相对概念，如果以分界线分为左右两部分，则左面那部分为第一裁剪图像I1，右边部分为第二裁剪图像I2，且针对同一个模切产品的多张图像进行多次裁剪，针对每次裁剪，将当前第一裁剪图像I1与上次裁剪的第二裁剪图像I2拼接组成新图像，且保留当前第二裁剪图像I2，用于下一次裁剪拼接。

(1-3)计算新图像I_new的新阈值分割结果图T_new，对新阈值分割结果图T_new进行边缘检测，获得工件闭合轮廓集，基于工件闭合轮廓集为每个工件闭合轮廓求取外接矩阵，组成外接矩形集。

实施例中，可以采用区域生长算法对新阈值分割结果图T_new进行边缘检测，获得工件闭合轮廓。然后基于边缘检测结果构建工件闭合轮廓集，表示为V＝{V1,V2,V3,…}，其中，Vi为第i个轮廓的闭合点集。

实施例中，获得的外接矩形集表示为B＝{B1,B2,B3,…}，其中，第i个外接矩形Bi对应第i个轮廓的闭合点集Vi，外接矩形Bi的左上角及右下角顶点坐标为(x1,y1,x2,y2)，其应当满足：

x1＝min{x_p|p∈Vi} (4)

y1＝min{y_p|p∈Vi} (5)

x2＝max{x_p|p∈Vi} (6)

y2＝max{y_p|p∈Vi} (7)

其中，min{·}及max{·}表示求取最大值的过程函数，p为轮廓点索引，x_p，y_p表示轮廓点的坐标。

(1-4)根据外接矩形集和工件闭合轮廓集，统计分析每个外接矩形包含的新图像I_new中区块，组成每个外接矩阵对应的子图像I_new,i，实现对模切产品的定位。

实施例中，依据以下公式统计并构建每个外接矩阵对应的子图像I_new,i，该子图像I_new,i即为定位的模切产品；

I_new,i＝{g(x,y)|x∈[x1,x2],y∈[y1,y2]} (8)

其中，I_new,i表示第i个外接矩阵对应的子图像，其中，g(x,y)表示新图像(x,y)位置的像素值。

步骤2，构建模切产品图像模板。

模切产品图像模板作为模板用于对模切产品进行缺陷检测，因此，用到的模切图像必须是合格模切产品采集的模切合格图像，具体地，构建模切产品图像模板的具体过程为：

(2-1)获取模切合格图像，并计算模切合格图像的阈值分割结果图，并根据阈值分割结果图计算每张模切合格图像的质心。

针对模切合格图像I_i来说，质心

的计算公式如下：

其中，N_i表示第i张模切合格图像I_i中像素点总数，j为像素点索引，

及

表示其中像素点的x及y坐标。

(2-2)以每张模切合格图像的质心为原点，在每张模切合格图像上建立坐标系，并将每个模切合格产品对应的多张模切合格图像以质心为基准进行对齐，并计算坐标系下任意点对应的像素分布均值和方差，该像素分布均值和方差来表征模切产品图像模板。

在以质心为基准，将每个模切合格产品对应的多张模切合格图像对齐时，假设有n张图像，针对坐标系下的任意点A，则根据n张图像中任意点A的n像素值来计算任意点A对应的像素分布均值和方差，将该像素分布均值和方差来表征模切产品图像模板。

步骤3，根据模切产品图像模板对模切产品进行缺陷检测后，绘制并输出缺陷检测结果。

在已知模切产品图像模板和模切产品后，即可以实现模切产品的缺陷检测，具体体过程为：

(3-1)计算模切产品对应子图像的阈值分割结果图；

(3-2)根据阈值分割结果图计算模切产品对应子图像的质心，并以质心为原点在子图像上构建坐标系，依据模切产品图像模板的像素分布均值和方差，对子图像在坐标系下的像素点F(x,y)进行判别，具体判别表达式为：

其中，k1为拉依达准则下的缺陷判别系数，取值一般为k1＝3，k2为无缺陷判别系数，取值一般为k2＝1.5，F(x,y)＝0表示无缺陷，F(x,y)＝255表示缺陷；

(3-3)依据子图像像素点的判别结果对像素点进行邻域投票，依据邻域投票结果对像素点进行缺陷修正，以绘制检测结果。

实施例中，依据子图像像素点的判别结果对像素点进行邻域投票，邻域投票支持率Vote(x,y)表示为：

其中，1{}为指示函数，在{}内置值为真时值为1，否则为0；

当F(x,y)＝255时，令k3＝k1，mean＝mean_x,y，std＝std_x,y，Vote(x,y)判别像素点(x,y)的k邻域内其他点满足像素点(x,y)的正态分布的比例，当

时，修正像素点F(x,y)为0，否则像素点F(x,y)为255，从而排除轻微位移干扰；

当F(x,y)<＝128时，令k3＝k2，mean＝mean_i,j,std＝std_i,i，Vote(x,y)判别像素点(x,y)的k邻域内各点满足各自正态分布的比例，

时，修正像点F(x,y)为0，否则像素点F(x,y)为255，从而确保其可靠性。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于模板的模切产品表面缺陷在线检测方法，其特征在于，包括以下步骤；

(1)获取待检测图像，并从待检测图像中定位模切产品；

(2)构建模切产品图像模板；

(3)根据模切产品图像模板对模切产品进行缺陷检测后，绘制并输出缺陷检测结果。

2.如权利要求1所述的基于模板的模切产品表面缺陷在线检测方法，其特征在于，步骤(1)的具体过程为：

(1-1)计算待检测图像的阈值分割结果图，并依据阈值分割结果图计算图像行质量后，再根据图像行质量确定最大裁剪行数；

(1-2)以最大裁剪行数为分界线裁剪待检测图像获得两张裁剪图像，记为第一裁剪图像和第二裁剪图像，并将当前第一裁剪图像与上次裁剪的第二裁剪图像拼接组成新图像，且保留当前第二裁剪图像；

(1-3)计算新图像的新阈值分割结果图，对新阈值分割结果图进行边缘检测，获得工件闭合轮廓集，基于工件闭合轮廓集为每个工件闭合轮廓求取外接矩阵，组成外接矩形集；

(1-4)根据外接矩形集和工件闭合轮廓集，统计分析每个外接矩形包含的新图像中区块，组成每个外接矩阵对应的子图像，实现对模切产品的定位。

3.如权利要求2所述的基于模板的模切产品表面缺陷在线检测方法，其特征在于，图像行质量的计算过程为：

针对阈值分割结果图的第i行，第i行图像的行质量h_i表示为：

其中，row_i表示第i行的像素点总个数，T(i，j)表示第i行第j列像素点的灰度值；

根据图像行质量确定最大裁剪行数的方法为：

针对满足不等式(2)的所有D(i)＝h(i+1)-h(i)，选择最大D(i)对应的i作为最大裁剪行数；

D(i)＞αrow_i+β (2)

其中，α和β均为判别系数。

4.如权利要求2所述的基于模板的模切产品表面缺陷在线检测方法，其特征在于，步骤(1-3)中，采用区域生长算法对新阈值分割结果图进行边缘检测，获得工件闭合轮廓；

外接矩形集表示为B＝{B1，B2，B3，…}，其中，第i个外接矩形Bi对应第i个轮廓的闭合点集Vi，外接矩形Bi的左上角及右下角顶点坐标为(x1，y1，x2，y2)，其应当满足：

x1＝min{x_p|p∈Vi} (3)

y1＝min{y_p|p∈Vi} (4)

x2＝max{x_p|p∈Vi} (5)

y2＝max{y_p|p∈Vi} (6)

其中，mmin{·}及max{·}表示求取最大值的过程函数，p为轮廓点索引，x_p，y_p表示轮廓点的坐标。

5.如权利要求2所述的基于模板的模切产品表面缺陷在线检测方法，其特征在于，步骤(1-4)中，依据以下公式统计并构建每个外接矩阵对应的子图像I_new，i，该子图像即为定位的模切产品；

I_new，i＝{g(x，y)|x∈[x1，x2]，y∈[y1，y2]} (7)

其中，I_new，i表示第i个外接矩阵对应的子图像，其中，g(x，y)表示新图像(x，y)位置的像素值。

6.如权利要求1所述的基于模板的模切产品表面缺陷在线检测方法，其特征在于，步骤(2)的具体过程为：

(2-1)获取模切合格图像，并计算模切合格图像的阈值分割结果图，并根据阈值分割结果图计算每张模切合格图像的质心；

(2-2)以每张模切合格图像的质心为原点，在每张模切合格图像上建立坐标系，并将每个模切合格产品对应的多张模切合格图像以质心为基准进行对齐，并计算坐标系下任意点对应的像素分布均值和方差，该像素分布均值和方差来表征模切产品图像模板。

7.如权利要求1所述的基于模板的模切产品表面缺陷在线检测方法，其特征在于，步骤(3)的具体过程为：

(3-1)计算模切产品对应子图像的阈值分割结果图；

(3-2)根据阈值分割结果图计算模切产品对应子图像的质心，并以质心为原点在子图像上构建坐标系，依据模切产品图像模板的像素分布均值和方差，对子图像在坐标系下的像素点F(x，y)进行判别，具体判别表达式为：

其中，k1为拉依达准则下的缺陷判别系数，k2为无缺陷判别系数，F(x，y)＝0表示无缺陷，F(x，y)＝255表示缺陷；

(3-3)依据子图像像素点的判别结果对像素点进行邻域投票，依据邻域投票结果对像素点进行缺陷修正，以绘制检测结果。

8.如权利要求7所述的基于模板的模切产品表面缺陷在线检测方法，其特征在于，步骤(3-3)的具体过程为：

依据子图像像素点的判别结果对像素点进行邻域投票，邻域投票支持率Vote(x，y)表示为：

其中，1{}为指示函数，在{}内置值为真时值为1，否则为0；

当F(x，y)＝255时，令k3＝k1，mean＝mean_x，y，std＝std_x，y，Vote(x，y)判别像素点(x，y)的k邻域内其他点满足像素点(x，y)的正态分布的比例，当

时，修正像素点F(x，y)为0，否则像素点F(x，y)为255，从而排除轻微位移干扰；

当F(x，y)＜＝128时，令k3＝k2，mean＝mean_i，j，std＝std_i，i，Vote(x，y)判别像素点(x，y)的k邻域内各点满足各自正态分布的比例，

时，修正像点F(x，y)为0，否则像素点F(x，y)为255，从而确保其可靠性。

9.如权利要求2、6、7任一项所述的基于模板的模切产品表面缺陷在线检测方法，其特征在于，阈值分割过程为：

针对待分割图像，该待分割图像中每个像素点(x，y)的阈值分割结果值T(x，y)表达式如下：

其中，g(x，y)为像素(x，y)的灰度值，t为设定的灰度分割阈值。

Images