CN115965572A - 一种基于模板比对的三级管外观缺陷检测方法 - Google Patents

Abstract

一种基于模板比对的三级管外观缺陷检测方法，涉及计算机视觉技术领域，针对现有技术中缺陷检测方法需要经历漫长的设计调试过程的问题，本申请基于经典计算机视觉技术，只需要一个或几个正样本图像数据作为模板。不需要采集大量的数据进行训练，可以节省大量的部署成本。此外，本申请可以广泛应用在各种带有黑色封装体的电子元件的缺陷检测中。在被测物料发生变化时，只需要修改窗格定义方式，以及每个窗格的评分阈值，就可以实现检测。省去了一般经典视觉检测系统繁重的设计负担。

Description

一种基于模板比对的三级管外观缺陷检测方法

技术领域

本发明涉及计算机视觉技术领域，具体为一种基于模板比对的三级管外观缺陷检测方法。

背景技术

目前的视觉缺陷检测任务，大致可分为基于深度学习的方法，和基于传统计算机视觉技术的方法。

其中，基于深度学习的方法是基于数据技术，在实现时需要准备大量的物料样本数据，尤其是缺陷样本数据。这对于工业应用时一个较大的挑战，一方面缺陷样本非常罕见，不易凑齐足够的数量；另一方面对这些缺陷样本的标注过程也会耗费大量的人力成本。

基于传统计算机视觉技术的方法，多采用人工特征设计，参考先验知识和检测需求，针对每种缺陷特征，有针对性地设计检测算法。相对于深度学习方案，这类算法往往速度更快，精度更高，但是需要经历漫长的设计调试过程，如果更换生产物料，就需要重新设计。

发明内容

本发明的目的是：针对现有技术中缺陷检测方法需要经历漫长的设计调试过程的问题，提出一种基于模板比对的三级管外观缺陷检测方法。

本发明为了解决上述技术问题采取的技术方案是：

一种基于模板比对的三级管外观缺陷检测方法，包括以下步骤：

步骤一：获取待检测图像，并对待检测图像中待测工件位置进行裁剪；

步骤二：将裁剪后的图像，依据待测工件的顶点位置进行透视变换；

步骤三：将透视变换后的图像划分为多个矩形子图；

步骤四：将每个矩形子图与模板图像分别进行比较，并给出每个矩形子图的评分；

步骤五：根据每个子图的评分确定每个矩形子图中是否存在缺陷。

进一步的，所述步骤一的具体步骤为：

步骤一一：获取待检测图像，并使图像中待测工件与水平方向或竖直方向的倾斜角度在15°以内；

步骤一二：将待检测图像按宽高比缩放至高度为128像素；

步骤一三：将缩放后的图像进行3×3尺寸的中值滤波处理；

步骤一四：将中值滤波处理后的图像进行亮度归一化处理，使像素值分布于0～255；

步骤一五：对亮度归一化后的图像进行二值化处理；

步骤一六：对二值化后的图像进行腐蚀及膨胀处理；

步骤一七：针对腐蚀及膨胀处理后的图像，提取图像中像素值为255的白色像素，并获取白色像素的外接正矩形包络框；

步骤一八：将步骤一七中矩形包络框的长边扩展为原来的1.86倍，再将矩形包络框的宽度和高度扩展至原来的1.15倍；

步骤一九：根据扩展后的矩形包络框将待测图像进行裁剪。

进一步的，所述二值化处理通过最大类间方差法进行。

进一步的，所述步骤二的具体步骤为：

步骤二一：对裁剪后的图像进行金字塔缩小，将图像的宽度和高度缩小为原来的1/8；

步骤二二：利用MSER算法分析缩小后的图像，得到多个像素区域，并根据先验知识在多个像素区域中筛选黑色封膜体对应的像素区域；

步骤二三：对黑色封膜体对应的像素区域进行边缘提取，确定边缘的四个顶点；

步骤二四：获取四个边缘顶点在原始图像中的对应点坐标，并分别以每个对应点坐标为中心，截取一个矩形范围ROI，即为每个对应点的邻域子图像，分别对邻域子图像进行Sobel差分，差分后的图像再进行X、Y方向投影，并根据投影结果确定待测工件黑色封膜体的四个顶点的精确坐标，ROI表示为：

ROI＝{x_min,y_min,x_max,y_max}

其中，L表示原始图像中黑色封膜体短边宽度，L＝400像素，x_min、x_max、y_min和y_max分别表示矩形ROI的左、右、上、下边缘坐标，(x₀,y₀)表示每个顶点在缩小后的图像中的坐标值；

步骤二五：根据四个顶点的精确坐标进行透视变换，得到配准图像。

进一步的，所述步骤二四的具体步骤为：

步骤二四一：将边缘的四个顶点进行变换，得到四个边缘顶点在原始图像中的对应点坐标，变换表示为：

其中，P_level＝8表示金字塔缩放的倍率，(x₀,y₀)表示每个顶点在小图像中计算出的坐标值，(x₁,y₁)表示每个顶点对应的金字塔缩放前原始图像中的坐标；

步骤二四二：分别以每个对应点坐标为中心，截取一个矩形范围ROI，即为每个对应点的邻域子图像，ROI表示为：

ROI＝{x_min,y_min,x_max,y_max}

其中，L表示原始图像中黑色封膜体短边宽度，L＝400像素，x_min、x_max、y_min和y_max分别表示矩形ROI的左、右、上、下边缘坐标，(x₀,y₀)表示每个顶点在缩小后的图像中的坐标值；

步骤二四三：对每个邻域子图像img分别用X、Y方向的Sobel算子进行卷积，得到邻域子图像在X与Y的差分图像im_X和img_Y，进而得到混合差分图像img_S，混合差分图像img_S表示为：

img_S＝MAX(img_X,img_Y)

其中，MAX表示按位取最大值操作；

步骤二四四：将混合差分图像img_S进行X、Y方向投影，形成X、Y方向投影向量v_x和v_Y，根据X、Y方向投影向量v_x和v_Y的峰值坐标确定待测工件黑色封膜体的四个顶点的精确坐标(i_X,i_Y)，其中，

v_X(i)表示X方向投影向量v_X的第i位数值，v_Y(i)表示Y方向投影向量v_Y的第i位数值，r为图像img_S的总行数，c为图像img_S的总列数，img_S(x,y)表示图像img_S在(x,y)坐标处的像素值。

进一步的，所述X、Y方向投影之前还包括以下步骤：

根据步骤二三得到的四个顶点，确定图像中待测工件与水平方向或竖直方向的倾斜角度，若倾斜角度大于4°，则在X、Y方向投影之前，对邻域子图像进行旋转摆正。

进一步的，所述步骤三的具体步骤为：

将配准图像中黑色封膜体区域划分为5×7个矩形区域，然后将每个管脚划分为1×6个矩形区域，共53个矩形区域。

进一步的，所述步骤四中模板图像的获取步骤为：

首先将良品图像通过步骤一至步骤二后得到透视变换后的良品图像，即配准后的良品图像，然后将配准后的良品图像根据53个矩形区域进行划分，得到模板图像。

进一步的，所述步骤四中评分标准表示为：

其中，SSIM为结构相似性指标值，PSNR为峰值信噪比值；

SSIM表示为：

其中，μ_x为x的平均值，μ_y为y的平均值，

为x的方差，

为y的方差，σ_xy为x和y的协方差，c₁和c₂为用来维持稳定的常数，c₁＝(k₁L)²，c₂＝(k₂L)²，L为像素值的动态范围，k₁＝0.01，k₂＝0.03；

PSNR表示为：

其中，MSE是原图像与样本图像之间均方误差，n为原始图像的第n个像素值。

进一步的，所述步骤五中根据评分确定每个矩形子图中是否存在缺陷的具体步骤为：

将每个子图的评分与一个预先设定的阈值分数进行比较，若评分低于阈值，则认定出现缺陷，若评分不低于阈值，则认定正常区域，所述阈值为0.7。

本发明的有益效果是：

本申请基于经典计算机视觉技术，只需要一个或几个正样本图像数据作为模板。不需要采集大量的数据进行训练，可以节省大量的部署成本。此外，本申请可以广泛应用在各种带有黑色封装体的电子元件的缺陷检测中。在被测物料发生变化时，只需要修改窗格定义方式，以及每个窗格的评分阈值，就可以实现检测。省去了一般经典视觉检测系统繁重的设计负担。

本申请搭载与处理器i7-6700HQ中单线程处理时，对于一张2448*2048像素的图像，检测时间可以压缩到150ms之内。对于功率三极管的缺陷检测任务，在6000个样本的检测中，检测准确率达到了97％，超过了市面上的大多数视觉缺陷检测软件。

附图说明

图1为本申请总体流程图；

图2为粗略定位示意图；

图3为粗定位流程示意图；

图4为二值化及膨胀处理后示意图1；

图5为二值化及膨胀处理后示意图2；

图6为包络框扩展后示意图1；

图7为包络框扩展后示意图2；

图8为透视变换后示意图1；

图9为透视变换后示意图2；

图10为透视变换流程图；

图11为MSER后示意图1；

图12为MSER后示意图2；

图13为边缘上的四个矩形顶点示意图；

图14为顶点处的子图像分析示意图1；

图15为顶点处的子图像分析示意图2；

图16为顶点处的子图像分析示意图3；

图17为顶点处的子图像分析示意图4；

图18为配准图像示意图1；

图19为配准图像示意图2；

图20为窗格示意图；

图21为添加额外的独立窗格示意图1；

图22为添加额外的独立窗格示意图2；

图23为评分示意图。

具体实施方式

需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。

具体实施方式一：参照图1具体说明本实施方式，本实施方式所述的一种基于模板比对的三级管外观缺陷检测方法，包括以下步骤：

步骤一：获取待检测图像，并对待检测图像中待测工件位置进行裁剪；

步骤二：将裁剪后的图像，依据待测工件的顶点位置进行透视变换；

步骤三：将透视变换后的图像划分为多个矩形子图；

步骤四：将每个矩形子图与模板图像分别进行比较，并给出每个矩形子图的评分；

步骤五：根据每个子图的评分确定每个矩形子图中是否存在缺陷。

本申请采用就属于基于传统计算机视觉技术的方法，但设计了通用的检测算法，将对生产物料和缺陷形式的先验知识的依赖降到最低。使用者只需修改几个参数，就可以实现对功率三极管、电阻、电容、微型开关、M2M芯片、SIM卡芯片等各类电子元件的缺陷检测任务，可以避免重新设计带来的高额研发成本。

本发明所述的算法，输入为一张单通道8位数字图像，其中含有一个带有黑色封装体的电子元件；输出为该算法是否存在缺陷，以及缺陷的大致位置。本章以功率三极管缺陷检测为例介绍算法流程，如图1所示，需要指出的是本算法对于所有带有矩形黑色封装体的电子元件都有效。

算法总体程序流程如图2所示，分为粗略定位、精确定位、划分窗格、评分评价四个主要步骤。

其中粗略定位步骤对图像进行裁剪，使得物料占据图像的主要部分。精确定位步骤通过投影变换，把图像中的物料精确摆正，形成规格的图像供后续分析使用。划分窗格步骤将图像按照事先人为定义的方式划分为多个小矩形子图像。然后评分评价步骤将把每个子图像分别与模板图像对应位置进行比较分析，并给出评分。最终算法根据每个窗格的评分，给出待测物料的整体缺陷评分并输出缺陷出现位置。

(一)粗略定位

原始图像由于背景占比较大，为了分析方便，需要先粗略裁剪。粗略定位步骤将快速笼统地检测物料在图像中的大致位置，使得物料图像占输入的主要部分。这部分算法的详细流程图如图3所示。

设备的机械结构设计时，如果可以保证待测物料在图像中的位置和角度(x，y，a)都相对固定。这一步可能不需要计算机视觉技术，很有可能通过用户输入的固定ROI直接裁剪即可完成粗略定位的过程。

如果需要利用计算机视觉技术进行粗定位，算法将首先将输入图像按比例缩放到固定128像素高度，相比于输入图像的高度，这个固定高度是一个很小的值。因为这一步仅是为了粗略定位，将图像缩放至较小尺寸的目的是节约算法时间。

接下来将对缩小后的图像进行3×3尺寸的中值滤波处理。目的是为了消除图像中的噪声和微小物体干扰。再将图像进行亮度归一化操作，将图像中所有像素的亮度分布拉伸至0-255。在利用最大类间方差法对图像进行二值化处理。再对二值图像，做先腐蚀再膨胀的开操作，去除图像中孤立细小的部分。效果如图4和图5所示。

对于处理后的二值图像，接下来算法提取图像中白色(255)像素的BoundingBox，再依据从模板图像中预先测出的比例，将BoundingBox的高度扩充，使其含整个芯片区域，而不仅是黑色封装体部分。再将其宽、高各扩展15。以防止粗定位算法不够精确时将物料边缘截掉，造成信息缺失。如图6和图7所示。

最后算法利用计算出的ROI，将其映射到原始图像尺寸对原图像进行裁剪，作为粗定位步骤的输出。

(二)精确定位

精确定位步骤中，通过透视变换将图像精确摆正，以供接下来的精确检测使用。由于具有黑色封装体的电子元件具有显著而稳定的外观特征，部分算法可以利用检测黑色树脂封装体的顶点作为依据进行定位。

此步骤的算法输入为粗定位结果图像，这个图像中待测物料占据了图像的主要部分，但物料在图像中可能出现一定的平移、旋转或缩放。经过此步骤算法处理后，输出为精确配准后的图像，如图8和图9所示，左侧为输入图像，右侧为输出图像。

算法的详细流程图如图10所示：

算法首先将按照预设的比例，对图像进行金字塔缩小，倍数为8，缩小的目的是为了节约算法时间。在缩小后的图像中，利用MSER(Maximally Stable Extrernal Regions)算法对图像进行区域筛选，由于正样本模板图像中的黑色封装体面积S已知，这里只保留面积与S相差不超过10％的检测结果。并找出这些结果中，轮廓最接近矩形的一个，将其作为黑色封装体的检测结果。如图11和图12所示，左侧是输入图像，右侧是MSER检测并筛选后的结果。

接下来，对检出区域进行边缘提取，并找到边缘上的四个矩形顶点，如下图所示。由于原始图像被缩小了很多，并且黑色封装体外观可能会出现“崩边、缺角”问题，这里检测到的四个顶点是很不准确的，所以需要对封装体的矩形顶点进行的定位。如图13所示。

这里采用的方法是提取顶点处的子图像进行分析。这里取出每个顶点处，并分别以每个对应点坐标为中心，截取一个矩形范围ROI，即为每个对应点的邻域子图像。把每个子图像进行Sobel差分，在分别依X、Y方向投影，将每个方向投影向量的峰值坐标，作为精定位顶点的X、Y坐标。但需要注意的是，由于物料可能出现旋转，所以这里取出的四个子图像并不是一定是正图像。由之前取得的四个大致顶点坐标，可以计算出被测物料的旋转角度。如果这个角度大于4°，那么在对Sobel差分图像进行投影之前，需对子图像进行旋转摆正，再进行投影操作。如图14、图15、图16以及图17所示。

在精确找到了图像中待测物料的黑色封装体顶点坐标后，以此作为依据将原图像通过透视变换摆正，可以得到非常精确的配准图像，如图18和图19所示，以供后续的划分窗格算法使用。矩形范围ROI可以取200乘200像素的矩形区域。

矩形范围ROI确定的步骤为：

步骤二二与步骤二三均是在金字塔缩小后的图像中进行的，所以步骤二三中确定的四个顶点坐标只是真实顶点坐标的粗略估计，数值并不准确。步骤二四的作用就是分析原尺寸图像中四个顶点附近的小块区域特征，确定四个顶点坐标的精确值。

1、计算四个边缘顶点在原尺寸图像中的对应点坐标：由于四个边缘顶点是通过金字塔缩放后的小尺寸图像计算得到的，对应坐标也是在小图中的坐标。需要将计算出的四个顶点坐标值进行如下变换，进而得到金字塔缩放前原始图像中坐标：

其中P_level＝8是金字塔缩放的倍率，(x₀,y₀)是每个顶点在小图像中计算出的坐标值，(x₁,y₁)是每个顶点对应的金字塔缩放前原始图像中的坐标。

2、取得原尺寸图像中每个顶点处一个边长为200像素的邻域子图像：对于每个原始图像中顶点坐标(x₀,y₀)，都截取一个子图像矩形范围ROI，其计算方法为：

ROI＝{x_min,y_min,x_max,y_max}

其中L＝400为原始图像中黑色封膜体短边预期宽度，单位：像素。确定四个子图像范围ROI后，依据每个ROI分别截取一个子图像。

3、根据测得的四个顶点位置计算出被测工件的大致旋转角度，并对子图像进行旋转摆正；

4、对邻域子图像进行Sobel差分：对每个子图像img分别用X、Y方向的Sobel算子进行卷积，得到子图像在X与Y的差分图像img_X和img_Y，再依据此获得混合差分图像img_S，有：

img_S＝MAX(img_X,img_Y)

其中MAX表示按位取最大值操作，此混合差分图像img_S反应了子图像img在X、Y方向变化率的最大值，值越高代表变化约剧烈

5、将混合差分图像img_S进行X、Y方向投影：形成两个投影向量v_x和v_Y：

其中v_X(i)表示X方向投影向量v_X的第i位数值，img_S(x,y)表示图像img_S在(x,y)坐标处的像素值，r为图像img_S的总行数。对于v_Y有：

其中v_Y(i)表示Y方向投影向量v_Y的第i位数值，c为图像img_S的总列数。

6、并依据每个方向投影向量的峰值坐标，即找到

7、确定待测工件黑色封膜体的四个顶点的精确坐标：至此，已经确定每个邻域子图像内，顶点精确坐标为：

(x,y)＝(i_X,i_Y)

即有原图像中顶点精确坐标为：

(x,y)＝(x_min+i_X,y_min+i_Y)

其中x_min、y_min为ROI＝{x_min,y_min,x_max,y_max}的参数

(三)划分窗格

如果选择对图像整体进行分析，可能会由于图像中特征过多，缺陷区域占比较小，导致一些缺陷的统计信息显现不出明确差别。此外还可能因为存在多处缺陷而出现统计特征变化相互抵消的情况。所以本算法将图像人为地划分为多个检测窗格，分别分析每个子图像的特征，并与模板对应位置图像进行匹配。

窗格划分的过程不涉及计算机视觉技术，仅是参考预先设定的窗格划分规则，对图像进行切分保存待用。这部分算法的输入是一张已经精确配准的图像，以及窗格划分规则，输出是一个图像数组，其中每个元素是一个窗格中的图像。

窗格是一系列等大的正方形区域，划分规则由两组参数定义：窗格宽度，和每个窗格的左上角顶点坐标。窗格的定义方法可以根据待测物料的特征进行设计。虽然具有一定的工作量，但是相比于更换待测物料时重新设计特征提取方法，再开发负担降低了很多。如图20所示

在划分窗格时，窗格尺寸不宜过大或过小。对于功率三极管物料的形态缺陷检测，窗格宽度设置为图像宽度的1/5为宜。此外，对于某个连贯的特征区域，如果恰好被划分到多个不同窗格中，可以添加额外的独立窗格，如图21和图22所示。

(四)评分评价

这部分算法的作用是对每个窗格的子图像打分，分数为0-1之间的浮点数，分数越大代表当前子图像与模板图像对应位置的子图像越相似，也即此位置出现缺陷的概率越低。此步骤算法输入为一个子图像数组，其中的每一个元素是一个窗格中的图像，输出为一个评分的数组，其中每一个元素是预定窗格的评分。

对于每一个图像，的评分准则设计。这里采用了SSIM与PSNR相结合的标准，每个子图像的评分SCORE定义为：

其中SSIM(Structural Similarity)为结构相似性指标值，其定义为：

其中μx是x的平均值，μy是y的平均值，σ2x是x的方差，σ2y是y的方差，σxy是x和y的协方差。c1＝(k1L)2，c2＝(k2L)2是用来维持稳定的常数。L是像素值的动态范围。k1＝0.01，k2＝0.03。

PNSR(Peak Signal to Noise Ratio)为峰值信噪比值，其定义为：

其中，MSE是原图像与样本图像之间均方误差。

每一个窗格处计算而得的评分，想会与一个预先设定的阈值分数比较，如果评分低于阈值，则此块区域被认为出现缺陷。以功率三极管缺陷检测任务为例，评分阈值定为0.7比较合适。如图23所示。

评价评分步骤是算法的最后一个步骤，这个步骤的输出，即为被测物料每个位置是否出现缺陷，至此，缺陷检测任务完成。

需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。

Claims (10)

1.一种基于模板比对的三级管外观缺陷检测方法，其特征在于包括以下步骤：

步骤一：获取待检测图像，并对待检测图像中待测工件位置进行裁剪；

步骤二：将裁剪后的图像，依据待测工件的顶点位置进行透视变换；

步骤三：将透视变换后的图像划分为多个矩形子图；

步骤四：将每个矩形子图与模板图像分别进行比较，并给出每个矩形子图的评分；

步骤五：根据每个子图的评分确定每个矩形子图中是否存在缺陷。

2.根据权利要求1所述的一种基于模板比对的三级管外观缺陷检测方法，其特征在于所述步骤一的具体步骤为：

步骤一一：获取待检测图像，并使图像中待测工件与水平方向或竖直方向的倾斜角度在15°以内；

步骤一二：将待检测图像按宽高比缩放至高度为128像素；

步骤一三：将缩放后的图像进行3×3尺寸的中值滤波处理；

步骤一四：将中值滤波处理后的图像进行亮度归一化处理，使像素值分布于0～255；

步骤一五：对亮度归一化后的图像进行二值化处理；

步骤一六：对二值化后的图像进行腐蚀及膨胀处理；

步骤一七：针对腐蚀及膨胀处理后的图像，提取图像中像素值为255的白色像素，并获取白色像素的外接正矩形包络框；

步骤一八：将步骤一七中矩形包络框的长边扩展为原来的1.86倍，再将矩形包络框的宽度和高度扩展至原来的1.15倍；

步骤一九：根据扩展后的矩形包络框将待测图像进行裁剪。

3.根据权利要求2所述的一种基于模板比对的三级管外观缺陷检测方法，其特征在于所述二值化处理通过最大类间方差法进行。

4.根据权利要求3所述的一种基于模板比对的三级管外观缺陷检测方法，其特征在于所述步骤二的具体步骤为：

步骤二一：对裁剪后的图像进行金字塔缩小，将图像的宽度和高度缩小为原来的1/8；

步骤二二：利用MSER算法分析缩小后的图像，得到多个像素区域，并根据先验知识在多个像素区域中筛选黑色封膜体对应的像素区域；

步骤二三：对黑色封膜体对应的像素区域进行边缘提取，确定边缘的四个顶点；

步骤二四：获取四个边缘顶点在原始图像中的对应点坐标，并分别以每个对应点坐标为中心，截取一个矩形范围ROI，即为每个对应点的邻域子图像，分别对邻域子图像进行Sobel差分，差分后的图像再进行X、Y方向投影，并根据投影结果确定待测工件黑色封膜体的四个顶点的精确坐标，ROI表示为：

ROI＝{x_min，y_min，x_max，y_max}

其中，L表示原始图像中黑色封膜体短边宽度，L＝400像素，x_min、x_max、y_min和y_max分别表示矩形ROI的左、右、上、下边缘坐标，(x₀，y₀)表示每个顶点在缩小后的图像中的坐标值；

步骤二五：根据四个顶点的精确坐标进行透视变换，得到配准图像。

5.根据权利要求4所述的一种基于模板比对的三级管外观缺陷检测方法，其特征在于所述步骤二四的具体步骤为：

步骤二四一：将边缘的四个顶点进行变换，得到四个边缘顶点在原始图像中的对应点坐标，变换表示为：

其中，P_level＝8表示金字塔缩放的倍率，(x₀，y₀)表示每个顶点在小图像中计算出的坐标值，(x₁，y₁)表示每个顶点对应的金字塔缩放前原始图像中的坐标；

步骤二四二：分别以每个对应点坐标为中心，截取一个矩形范围ROI，即为每个对应点的邻域子图像，ROI表示为：

ROI＝{x_min，y_min，x_max，y_max}

其中，L表示原始图像中黑色封膜体短边宽度，L＝400像素，x_min、x_max、y_min和y_max分别表示矩形ROI的左、右、上、下边缘坐标，(x₀，y₀)表示每个顶点在缩小后的图像中的坐标值；

步骤二四三：对每个邻域子图像img分别用X、Y方向的Sobel算子进行卷积，得到邻域子图像在X与Y的差分图像img_X和img_Y，进而得到混合差分图像img_S，混合差分图像img_S表示为：

img_S＝MAX(img_X，img_Y)

其中，MAX表示按位取最大值操作；

步骤二四四：将混合差分图像img_S进行X、Y方向投影，形成X、Y方向投影向量v_x和v_Y，根据X、Y方向投影向量v_x和v_Y的峰值坐标确定待测工件黑色封膜体的四个顶点的精确坐标(i_X，i_Y)，其中，

v_X(i)表示X方向投影向量v_X的第i位数值，v_Y(i)表示Y方向投影向量v_Y的第i位数值，r为图像img_S的总行数，c为图像img_S的总列数，img_S(x，y)表示图像img_S在(x，y)坐标处的像素值。

6.根据权利要求4或5所述的一种基于模板比对的三级管外观缺陷检测方法，其特征在于所述X、Y方向投影之前还包括以下步骤：

根据步骤二三得到的四个顶点，确定图像中待测工件与水平方向或竖直方向的倾斜角度，若倾斜角度大于4°，则在X、Y方向投影之前，对邻域子图像进行旋转摆正。

7.根据权利要求1所述的一种基于模板比对的三级管外观缺陷检测方法，其特征在于所述步骤三的具体步骤为：

将配准图像中黑色封膜体区域划分为5×7个矩形区域，然后将每个管脚划分为1×6个矩形区域，共53个矩形区域。

8.根据权利要求7所述的一种基于模板比对的三级管外观缺陷检测方法，其特征在于所述步骤四中模板图像的获取步骤为：

首先将良品图像通过步骤一至步骤二后得到透视变换后的良品图像，即配准后的良品图像，然后将配准后的良品图像根据53个矩形区域进行划分，得到模板图像。

9.根据权利要求8所述的一种基于模板比对的三级管外观缺陷检测方法，其特征在于所述步骤四中评分标准表示为：

其中，SSIM为结构相似性指标值，PSNR为峰值信噪比值；

SSIM表示为：

其中，μ_x为x的平均值，μ_y为y的平均值，

为x的方差，

为y的方差，σ_xy为x和y的协方差，c₁和c₂为用来维持稳定的常数，c₁＝(k₁L)²，c₂＝(k₂L)²，L为像素值的动态范围，k₁＝0.01，k₂＝0.03；

PSNR表示为：

其中，MSE是原图像与样本图像之间均方误差，n为原始图像的第n个像素值。

10.根据权利要求9所述的一种基于模板比对的三级管外观缺陷检测方法，其特征在于所述步骤五中根据评分确定每个矩形子图中是否存在缺陷的具体步骤为：

将每个子图的评分与一个预先设定的阈值分数进行比较，若评分低于阈值，则认定出现缺陷，若评分不低于阈值，则认定正常区域，所述阈值为0.7。

Images