CN106645190A - 基于模板匹配的带钢表面缺陷精准检测方法 - Google Patents

Abstract

本发明涉及基于模板匹配的带钢表面缺陷精准检测方法，包括如下步骤：步骤1，统计非缺陷分布；步骤2，读取图像；步骤3，重构图像：将待检测图像I0中的像素值按照每一列升序或降序排列，得到重构图像I1；步骤4，建立匹配模板C：根据步骤1拟合得到的高斯曲线构建一个与待检测图像I0大小相等的矩阵，该矩阵即为匹配模板C；步骤5，图像差分：将匹配模板C与重构图像I1的每一点的像素值进行差分运算，得到差分图像I2，并将差分图像I2中的各像素值按照待检测图像I0中的位置进行重排，得到重排图像I3；步骤6，缺陷定位：利用正向分割阈值TH及负向分割阈值‑(TH+D)对重排图像I3进行二值化，实现了缺陷的准确定位。

Description

基于模板匹配的带钢表面缺陷精准检测方法

技术领域

本发明属于带钢表面缺陷检测技术领域，特别是涉及基于模板匹配的带钢表面缺陷精准检测方法。

背景技术

钢铁是汽车生产、机械制造、航空航天等领域不可或缺的原材料，其年产量可以达到所有产品生产的80％以上。但由于轧制设备、生产环境等的影响，钢铁表面极易产生各种各样不可预知的缺陷，这些缺陷不仅影响钢材的美观，而且会影响产品耐腐性，这往往会造成不可预估的损失及危险，故相关的用户对钢材的表面质量提出了更高的要求。近年来，随着钢材需求量的不断增加，生产线往往要求更快的速度，这使得人工检测质量不能够满足速度要求，且快速的生产要求导致人工检测的准确率下降，故基于机器视觉的带钢表面检测技术被越来越多得用于生产中。

现有的检测方法大致分为监督方法与非监督方法两类。监督方法需要预先收集大量缺陷图像进行训练，训练过程往往耗时较长，且带钢表面的缺陷有些是不可预知的，这限制了该类方法在实际生产中的应用。非监督方法是通过人工提取特征后，查找图像中具有异常特征的分块从而实现缺陷定位，该类方法中有些是难以实现且耗时较长。如：Y.Lee等人(Y.Lee,J.Lee,"Accurate Automatic Defect Detection Method Using QuadtreeDecomposition on SEM Images,"in IEEE Transactions on SemiconductorManufacturing,vol.27,no.2,pp223-231,May 2014.)使用四叉树分解方法进行缺陷检测，该方法需要前期对图像的一些处理再通过查找异常分块实现检测，但前期处理过程复杂且采用的分块方法使得检测精度局限于分块大小，对于全图均匀分布的缺陷不能达到好的检测效果。X.Bi,等人(X.Bi,X.Xu and J.Shen,“An automatic detection method of muradefects for liquid crystal display using real Gabor filters,”20158thInternational Congress on Image and Signal Processing(CISP),Shenyang,2015,pp.871-875.)使用Gabor小波对缺陷进行检测，该方法是使用不同方向的滤波器对图像分别进行滤波操作，这就增加了该方法的计算量。D.Aiger等人(D.Aiger and H.Talbot,“Thephase only transform for unsupervised surface defect detection,”ComputerVision and Pattern Recognition(CVPR),2010IEEE Conference on,San Francisco,CA,2010,pp.295-302.)使用在频域空间下对周期性纹理缺陷进行检测，该方法仅使用了傅里叶变换就可以实现对缺陷的检测，但该方法只能检测到缺陷的边缘信息，虽然J.Choi等人(J.Choi and C.Kim,“Unsupervised detection of surface defects:A two-stepapproach,”201219th IEEE International Conference on Image Processing,Orlando,FL,2012,pp.1037-1040.)对通过增加局部细化过程对该方法进行了改进，使之对缺陷内部的像素有填充效果，但对于块状的缺陷，如：油斑、滴焦油等缺陷，该方法依然会产生漏检。因此研究具有高检测率且具有低复杂度的检测方法具有非常重要的意义。

发明内容

针对现有技术的不足，本发明所要解决的技术问题是，提供一种基于模板匹配的带钢表面缺陷精准检测方法。该方法只使用了一个匹配模板以及简单的图像差分方法，就能够准确对带钢表面缺陷进行定位，如：块状缺陷：油斑、滴焦油等；条状缺陷：划伤等；点状缺陷：缩孔、白点等，而不会产生缺陷内部像素漏检的情况；由于本发明方法利用了非缺陷的分布统计方法生成匹配模板，故对于类似于麻点这样全局均匀分布形式的缺陷同样具有较好的检测效果；且该方法的缺陷检测精度到像素级，更有利于后续的分类工作。

本发明解决所述技术问题采用的技术方案是，提供一种基于模板匹配的带钢表面缺陷精准检测方法，包括如下步骤：

步骤1，统计非缺陷分布：在线采集不少于十张带钢非缺陷灰度图像，形成非缺陷库，统计所采集的所有非缺陷灰度图像的直方图信息并拟合高斯曲线；

步骤2，读取图像：线阵相机在线获取待检测图像I0，从计算机中读取待检测图像I0；计算待检测图像I0的行数为M，列数为N，待检测图像I0的大小，记为M×N；

步骤3，重构图像：将待检测图像I0中的像素值按照每一列升序或降序排列，得到重构图像I1；

步骤4，建立匹配模板C：根据步骤1拟合得到的高斯曲线构建一个与待检测图像I0大小相等的矩阵，该矩阵即为匹配模板C；

步骤5，图像差分：将匹配模板C与重构图像I1的每一点的像素值进行差分运算，得到差分图像I2，即I2(i,j)＝C(i,j)-I1(i,j)0≤i≤M,0≤j≤N，

其中，C(i,j)表示匹配模板第i行第j列的像素值，I1(i，j)是重构图像I1中位于第i行第j列的像素值；

并将差分图像I2中的各像素值按照待检测图像I0中的位置进行重排，得到重排图像I3；

步骤6，缺陷定位：利用正向分割阈值TH及负向分割阈值-(TH+D)对重排图像I3进行二值化，若重排图像I3中某一像素点的像素值大于TH或小于-(TH+D)，记为1，说明该位置为缺陷位置；反之，记为0，说明该位置不是缺陷位置，从而实现了缺陷的准确定位，其中D为常数。

与现有技术相比，本发明的有益效果：

1.本发明的检测方法主要包括一个匹配模板C的建立、一个图像差分及一个缺陷阈值的选取，方法简单，而且采用的是像素级的比较方式，精度可以达到像素级别，不需要繁复的训练过程，可以实现像素级的缺陷检测，虽然方法简单，但是准确率高，算法的编程实现也很简单，生产过程中出现程序问题也方便调试。

2.本发明的检测方法能够实时、精准地对带钢表面缺陷进行检测，包括块状缺陷，点状缺陷、条形缺陷等，减少了缺陷内部像素漏检情况的发生。对于均匀分布类型的缺陷，该方法可以减少其误检率，其准确率能够满足在线的带钢表面缺陷检测要求；

3.本发明的检测方法适用范围广，只需定期对非缺陷图像库进行更新，能够满足不同生产线上对不同类型缺陷的检测要求。

附图说明

图1是本发明基于模板匹配的带钢表面缺陷精准检测方法的流程图；

图2是本发明的检测方法所采用的检测装置的结构示意图，其中1-传送辊，2-条形频闪光源，3-线阵相机，4-传输设备，5-计算机；

图3是本发明基于模板匹配的带钢表面缺陷精准检测方法中步骤1中非缺陷直方图统计及拟合的高斯曲线。

图4是本发明基于模板匹配的带钢表面缺陷精准检测方法中步骤4中匹配模板C建立的说明图，其中S表示区域面积，S1＝S2＝...＝S_M。

具体实施方式

下面结合实施例及附图对本发明做进一步的说明，但并不以此作为对本申请权利要求保护范围的限定。

本发明基于模板匹配的带钢表面缺陷精准检测方法(简称方法，参见图1)，包括如下步骤：

步骤1，统计非缺陷分布：在线采集不少于十张带钢非缺陷灰度图像，形成非缺陷库，统计所采集的所有非缺陷灰度图像的直方图信息并拟合高斯曲线；

步骤2，读取图像：线阵相机在线获取待检测图像I0，从计算机中读取待检测图像I0；计算待检测图像I0的行数为M，列数为N，即待检测图像I0的宽为M，长为N，待检测图像I0的大小，记为M×N；

步骤3，重构图像：将待检测图像I0中的像素值按照每一列升序(或降序)排列，得到重构图像I1；

步骤4，建立匹配模板C：根据步骤1拟合得到的高斯曲线构建一个与待检测图像I0大小相等的矩阵，该矩阵即为匹配模板C；

步骤5，图像差分：将匹配模板C与重构图像I1的每一点的像素值进行差分运算，得到差分图像I2，即I2(i,j)＝C(i,j)-I1(i,j)0≤i≤M,0≤j≤N，

其中，C(i,j)表示匹配模板第i行第j列的像素值，I1(i，j)是重构图像I1中位于第i行第j列的像素值；并将差分图像I2中的各像素值按照待检测图像I0中的位置进行重排，得到重排图像I3；

步骤6，缺陷定位：利用正向分割阈值TH及负向分割阈值-(TH+D)对重排图像I3进行二值化，若重排图像I3中某一像素点的像素值大于TH或小于-(TH+D)，记为1，说明该位置为缺陷位置；反之，记为0，说明该位置不是缺陷位置，从而实现了缺陷的准确定位，其中D为常数。

本发明方法的进一步特征在于步骤1中统计非缺陷分布的具体步骤如下：

1-1：缺陷检测前使用条形频闪光源为带钢表面提供光源，通过线阵相机获取一定数量的在线灰度图像并存储于计算机的内存中；

1-2：从计算机的内存中读取灰度图像，人工选择不少于十张非缺陷灰度图像，形成非缺陷库；

1-3：统计所有非缺陷图像整体直方图信息并拟合高斯曲线，得到高斯分布概率密度函数为：

其中，t为输入的数据，σ代表输入数据的方差信息，μ代表输入数据的均值信息。

本发明方法的进一步特征在于步骤4建立匹配模板C的具体步骤是：

4-1：使用x＝x_i对步骤1拟合得到的高斯曲线由左到右(升序)或由右到左(降序)进行等概率分割，按照如下公式求取x_i：

(升序)或(降序)

其中x_i表示第i(i＝1,....,M)条分割线的横坐标，M为待检测图像I0的行数；

4-2：按照C₀(i,j)＝[x_i+0.5]得到初始化模板，其中，C₀(i,j)表示初始化模板第i行第j列的像素值，初始化模板的每行像素值是相等的，1≤i≤M，1≤j≤N；[]为高斯记号，表示对x_i进行四舍五入操作；

4-3：根据模板阈值T1及T2更新初始模板：

将重构图像I1中的每一个像素值与模板阈值T1与T2进行比较，对初始化模板C₀(i,j)满足条件T1＜I1(i,j)＜T2的值进行更新，得到第j列中需要更新的像素数量为：m_j＝M-k_j-p_j，其中k_j表示第j列中满足条件I1(i,j)≤T1的个数，p_j表示第j列中满足条件I1(i,j)≥T2的个数，其中模板阈值T1及T2按照以下公式计算：

其中，ε1与ε2为置信度，通常0＜ε1,ε2≤0.005；

使用分割线x＝x_vj，v∈[1,m_j]且v∈Z，将高斯曲线f(t)由左到右(或由右到左)等概率分割；

按照以下公式得到匹配模板C：

本发明方法的进一步特征在于步骤6缺陷定位的具体步骤如下：利用正向分割阈值TH及负向分割阈值-(TH+D)对重排图像I3进行二值化，若重排图像I3中某一像素点的像素值大于TH或小于-(TH+D)，记为1，说明该位置为缺陷位置；反之，记为0，说明该位置不是缺陷位置，从而实现了缺陷的准确定位，其中D为常数。

由于带钢表面缺陷图像的缺陷灰度值相较于非缺陷存在差异(有些较非缺陷灰度值高，有些灰度值低)，故使用以下公式对获取的重排图像I3进行二值化缺陷分割：

E(i,j)取值为1，图像显示为白色，E(i,j)取值为0，图像显示为黑色；

正向分割阈值TH采用以下公式计算：

TH＝W·log(σ(I0))/log(μ(I0))

其中，待检测图像I0的大小为M×N，μ(I0)、σ(I0)分别表示待检测图像I0的像素均值及标准差，W为常系数，W＞0。

本发明检测方法所使用的检测装置包括传送辊1，在传送辊1上方设有条形频闪光源2以及线阵相机3，所述线阵相机3通过传输设备4与计算机5相连。预先通过线阵相机3获取一定量的带钢灰度图像，由人工选取非缺陷灰度图像后存入计算机内存中，再通过线阵相机3在线获取待检测图像，通过计算机5实现检测过程并存储检测信息，根据检测信息对缺陷进行分类，判断缺陷类型以及该种缺陷产生的比例，通过这个比例信息，人工对带钢出现问题的生产环节进行维修。本发明在线阵相机的选择方面也可以使用彩色相机，带钢的图像缺陷检测与颜色没有很大的相关性，一般实际生产线上是用的黑白相机；使用黑白线阵相机采集灰度图像，因该种线阵相机可以满足系统的检测要求且售价相对便宜使用，最重要的是它具有扫描速度快且精度高的优点。在光源的选择方面，使用条形频闪光源，通过一定频率的闪光为带钢表面提供光源保证线阵相机采集图像的高清晰度，并且选用红色光源进行照明。

实施例1

本实施例基于模板匹配的带钢表面缺陷精准检测方法的步骤是：

步骤1，非缺陷分布统计：

使用如图2所示的检测装置进行图像的在线获取，

1-1：缺陷检测前使用条形频闪光源为带钢表面提供光源，通过线阵相机获取100张在线图像并存储于计算机的内存中；

1-2：从计算机的内存中读取图像，人工选择10张非缺陷图像形成非缺陷库；

1-3：如图3所示，统计非缺陷图像整体直方图信息后拟合高斯曲线，得到高斯分布概率密度函数为：

其中，t为输入的数据，σ代表输入数据的方差信息，μ代表输入数据的均值信息。

步骤2，图像读取：

2-1：线阵相机在线获取带钢表面图像，并存储于计算机内存中；

2-2：从计算机内存中读取待检测图像I0；

2-3：计算待检测图像I0的行数为M，列数为N，即待检测图像I0的宽为M，长为N，待检测图像I0的大小，记为M×N。

步骤3，重构图像：

对待检测图像I0每列按照升序排列后得到重构图像I1，并记录重构图像I1中像素值在待检测图像I0中的对应位置。

步骤4，建立匹配模板C：

4-1:如图3所示，使用x＝x_i对曲线由左到右进行等概率分割，按照如下公式求取x_i：

其中x_i表示第i(i＝1,....,M)条分割线的横坐标，M为待检测图像I0的行数。

4-2：按照C₀(i,j)＝[x_i+0.5]得到初始化模板，其中，C₀(i,j)表示初始化模板第i行第j列的像素值，初始化模板的每行像素值是相等的，1≤i≤M，1≤j≤N；[]为高斯记号，表示对x_i进行四舍五入操作；

4-3：根据模板阈值T1及T2更新初始模板：

将重构图像I1中的每一个像素值与模板阈值T1与T2进行比较，对初始化模板C₀(i,j)满足条件T1＜I1(i,j)＜T2的值进行更新，得到第j列中需要更新的像素数量为：m_j＝M-k_j-p_j，其中k_j表示第j列中满足条件I1(i,j)≤T1的个数，p_j表示第j列中满足条件I1(i,j)≥T2的个数，其中模板阈值T1及T2按照以下公式计算：

其中，ε1与ε2为置信度，本实施例中ε1与ε2均取0.005；

使用分割线x＝x_vj，v∈[1,m_j]且v∈Z，将高斯曲线f(t)由左到右等概率分割。

按照以下公式得到匹配模板C：

步骤5，图像差分：

5-1：匹配模板C与重构图像I1的每一点的像素值进行差分运算，得到差分图像I2，即I2(i,j)＝C(i,j)-I1(i,j)0≤i≤M,0≤j≤N；

5-2：按照步骤3中记录的位置信息，将差分图像I2像素恢复到原位置得到重排图像I3。

步骤6，缺陷定位：

由于带钢表面缺陷图像的缺陷灰度值相较于非缺陷存在差异(有些较非缺陷灰度值高，有些灰度值低)，故使用以下公式对获取的重排图像I3进行二值化：

TH为正向分割阈值，-(TH+D)为负向分割阈值，若重排图像I3的像素值在-(TH+D)与TH之间则认为该像素值为非缺陷像素，且显示为黑色，否则为缺陷像素显示为白色，这里选取D＝10。TH采用以下公式计算：

TH＝W·log(σ(I0))/log(μ(I0))，

其中，待检测图像I0的大小为M×N，μ(I0)、σ(I0)分别表示待检测图像I0的像素均值及标准差，W为常系数，W＞0，本实施例选取W＝30。最后的输出图像为二值化图像：白色位置为缺陷，黑色位置为非缺陷。

将本实施例检测方法定位的缺陷计算检出率及误检率：

本实施例中共使用了200张在线获取的带钢缺陷图像，其中一张图像上可能存在多种类型缺陷，共计216个缺陷。经过统计，得到准确检测出的缺陷数量为209，有6个缺陷被错误检出，故检出率为：209/216＝96.8％，误检率为：6/216＝2.78％。与J.Choi等人(J.Choi and C.Kim,“Unsupervised detection of surface defects:A two-stepapproach,”2012 19th IEEE International Conference on Image Processing,Orlando,FL,2012,pp.1037-1040.)提到的方法相比，准确率提高了约10％。

在本实施例中，检测装置所使用的硬件型号如下表所示：

因此，本发明检测方法简单易行，且能够精准地得到带钢表面缺陷，适于工业推广使用，成本较低。

以上所述仅为本发明的实施例之一而已，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明权利要求保护的范围之内。

本发明未述及之处适用于现有技术。

Claims (6)

1.一种基于模板匹配的带钢表面缺陷精准检测方法，包括如下步骤：

步骤1，统计非缺陷分布：在线采集不少于十张带钢非缺陷灰度图像，形成非缺陷库，统计所采集的所有非缺陷灰度图像的直方图信息并拟合高斯曲线；

步骤2，读取图像：线阵相机在线获取待检测图像I0，从计算机中读取待检测图像I0；计算待检测图像I0的行数为M，列数为N，待检测图像I0的大小，记为M×N；

步骤3，重构图像：将待检测图像I0中的像素值按照每一列升序或降序排列，得到重构图像I1；

步骤4，建立匹配模板C：根据步骤1拟合得到的高斯曲线构建一个与待检测图像I0大小相等的矩阵，该矩阵即为匹配模板C；

步骤5，图像差分：将匹配模板C与重构图像I1的每一点的像素值进行差分运算，得到差分图像I2，即I2(i,j)＝C(i,j)-I1(i,j)0≤i≤M,0≤j≤N，

其中，C(i,j)表示匹配模板第i行第j列的像素值，I1(i，j)是重构图像I1中位于第i行第j列的像素值；

并将差分图像I2中的各像素值按照待检测图像I0中的位置进行重排，得到重排图像I3；

步骤6，缺陷定位：利用正向分割阈值TH及负向分割阈值-(TH+D)对重排图像I3进行二值化，若重排图像I3中某一像素点的像素值大于TH或小于-(TH+D)，记为1，说明该位置为缺陷位置；反之，记为0，说明该位置不是缺陷位置，从而实现了缺陷的准确定位，其中D为常数。

2.根据权利要求1所述的基于模板匹配的带钢表面缺陷精准检测方法，其特征在于步骤1中统计非缺陷分布的具体步骤如下：

1-1：缺陷检测前使用条形频闪光源为带钢表面提供光源，通过线阵相机获取一定数量的在线灰度图像并存储于计算机的内存中；

1-2：从计算机的内存中读取灰度图像，人工选择不少于十张非缺陷灰度图像，形成非缺陷库；

1-3：统计所有非缺陷图像整体直方图信息并拟合高斯曲线，得到高斯分布概率密度函数为：

$f\left(t\right)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}\exp (-\frac{{(t-\mathrm{\μ})}^2}{2{\mathrm{\σ}}^2})$

其中，t为输入的数据，σ代表输入数据的方差信息，μ代表输入数据的均值信息。

3.根据权利要求2所述的基于模板匹配的带钢表面缺陷精准检测方法，其特征在于所述条形频闪光源为红色条形频闪光源。

4.根据权利要求1所述的基于模板匹配的带钢表面缺陷精准检测方法，其特征在于待检测图像I0中的像素值按照每一列升序得到重构图像I1时，步骤4建立匹配模板C的具体步骤为：

4-1：使用x＝x_i对步骤1拟合得到的高斯曲线由左到右进行等概率分割，按照如下公式求取x_i：

$\begin{array}{cc}\left\{\begin{array}{c}{\∫}_{-\mathrm{\∞}}^{x_1}f\left(t\right)dt=\frac{1}{M+1}\\ {\∫}_{x_{i-1}}^{x_i}f\left(t\right)dt=\frac{1}{M+1}\end{array}\right.& 2\≤i\≤M\end{array}$

其中x_i表示第i(i＝1,....,M)条分割线的横坐标，M为待检测图像I0的行数；

4-2：按照C₀(i,j)＝[x_i+0.5]得到初始化模板，其中，C₀(i,j)表示初始化模板第i行第j列的像素值，初始化模板的每行像素值是相等的，1≤i≤M，1≤j≤N；[]为高斯记号，表示对x_i进行四舍五入操作；

4-3：根据模板阈值T1及T2更新初始模板：

将重构图像I1中的每一个像素值与模板阈值T1与T2进行比较，对初始化模板C₀(i,j)满足条件T1＜I1(i,j)＜T2的值进行更新，得到第j列中需要更新的像素数量为：m_j＝M-k_j-p_j，其中k_j表示第j列中满足条件I1(i,j)≤T1的个数，p_j表示第j列中满足条件I1(i,j)≥T2的个数，其中模板阈值T1及T2按照以下公式计算：

$\left\{\begin{array}{c}{\∫}_{-\mathrm{\∞}}^{T1}f\left(t\right)dt=\mathrm{\ϵ}1\\ {\∫}_{T2}^{+\mathrm{\∞}}f\left(t\right)dt=\mathrm{\ϵ}2\end{array}\right.$

其中，ε1与ε2为置信度，且0＜ε1,ε2≤0.005；

使用分割线x＝x_vj，v∈[1,m_j]且v∈Z，将高斯曲线f(t)由左到右等概率分割；

按照以下公式得到匹配模板C：

5.根据权利要求1所述的基于模板匹配的带钢表面缺陷精准检测方法，其特征在于步骤6缺陷定位中使用以下公式对获取的重排图像I3进行二值化缺陷分割：

E(i,j)取值为1，图像显示为白色，E(i,j)取值为0，图像显示为黑色；

正向分割阈值TH采用以下公式计算：

TH＝W·log(σ(I0))/log(μ(I0))

其中，μ(I0)、σ(I0)分别表示待检测图像I0的像素均值及标准差，W为常系数，W＞0。

6.根据权利要求1所述的基于模板匹配的带钢表面缺陷精准检测方法，其特征在于所述线阵相机为黑白线阵相机。