CN116309383A - 基于机器视觉的载带检测方法 - Google Patents

Abstract

本发明公开了基于机器视觉的载带检测方法，其属于打孔纸带的技术领域。本发明基于机器视觉的载带检测方法首先搭建硬件平台，并分别对合格的打孔纸带与缺陷的打孔纸带进行图像采集，以大数量的合格纸带所采集的图像作为检测模板，并将待测纸带与检测模板进行匹配比较，从而确定待测纸带是否符合生产需求。其中，根据打孔纸带孔形的整齐排列特性，提出了针对孔形纸带的孔形定位与区域分割。然后，根据区域分割后的孔形图像，提出了8邻域双向模板匹配法，明显提高了孔形合格检测的效率。所以，本发明基于机器视觉的载带检测方法解决了打孔纸带所存在的检测速度慢、人为误差大以及效率低的技术问题。

Description

基于机器视觉的载带检测方法

技术领域

本发明涉及打孔纸带的技术领域，特别是涉及一种基于机器视觉的载带检测方法。

背景技术

随着电子工业的迅速发展，集成电路、片式电子元器件上的电子元件正朝着更小、更多、更密集、寿命更长的方向发展。为了增加电子设备中电阻的使用寿命和提高对环境的抗性，片式固定电阻器应运而生。片式固定电阻器，或称贴片电阻，具有体积小、重量轻、安装密度高、装配成本低、与自动装贴设备匹配等特点被广泛使用于电子行业的各类产品中。此外，表面贴装技术，常简称为SMT，是一种最新研发并被广泛使用的自动化组装电子元件的技术。

如今，中大型企业都使用表面贴装技术进行大规模的贴片电阻安装。将贴片电阻更大范围的应用到表面贴装技术上，就对封装电阻的载体的尺寸精度提出了教高的需求。其中，打孔纸带采用精密烧毛处理技术，可有效控制孔形毛屑产生等特点；所以，其常被应用于贴片电阻的封装。常规的贴片电阻共有7种尺寸，其尺寸范围为0201到2512，以英寸为单位，而应用最广的要属0603。贴片电阻尺寸的高精度要求，同时也使得打孔纸带需具备更高精度的规格。而且，打孔纸带孔形的质量，会直接影响着贴片电阻的封装效率，进而影响表面贴装技术，严重的情况下还会产生虚焊的缺陷。所以，打孔纸带孔形缺陷检测是影响贴片电阻的表面贴装高效性的首要因素。然而，生产打孔纸带过程中，孔形缺陷检测是由人的肉眼下进行的。检测人员在长期专注的检测微小的打孔纸带过程中，难免会产生注意力不集中、眼睛疲劳等因素，从而导致孔形检测的速度慢、错误率高、人力成本高。另外，缺陷的纸带，也会给客户照成不良影响，不利于打孔纸带的发展。

基于此，中国专利CN105203557B公开了一种电子纸带造纸质量在线检测系统，其包括水平式卷纸机，水平式卷纸机相对于纸幅的前进方向前依次设有第一导辊、冷水缸、扫描仪、第二导辊、卷纸缸和纸筒，扫描仪安装在纸幅的上方，沿纸幅横幅的两端纵向往复扫描，造纸机卷纸系统中还包括设置在扫描仪与第二导辊之间的表面缺陷在线检测系统和驱虫装置，表面缺陷在线检测系统接入水平式卷纸机的车速信号、断纸信号、换卷信号且通过检测工作站显示并控制；驱虫装置包括驱蚊灯和鼓风机，驱蚊灯和鼓风机设置在表面缺陷在线检测系统光源附近且鼓风机的出风口朝上。该种在线检测系统可以对造纸质量实现在线检测，可以对纸带的外观缺陷或内层缺陷，比如纸面上的污点、黑块、黑尘埃、色斑及夹层内的色斑、污块等污渍异物进行检测；同时，还设置有驱虫装置，避免了蚊虫、飞蛾等，对CCD相机组拍照造成干扰。

然而，若将现有技术所公开的电子纸带造纸质量在线检测系统直接应用至电子载带的加工领域中，还存在无法对打孔纸带进行精确检测的技术问题。具体的，对于打孔纸带这种小尺寸、精度高的物体，传统的检测都是依靠人眼在显微镜下进行。所以，现有技术所公开的电子纸带造纸质量在线检测系统虽然可以针对纸带的污点等瑕疵进行监控；但难以对打孔纸带上整齐排列的孔形、尺寸等因素进行监控。此外，打孔纸带之上的孔洞整齐排序，间距较小，纸带必然不能高速移动检测，否则容易在检测系统中造成拖影的现象，容易令其做出错误判断。虽然，纸带在低速下，可以保证一定的准确率，但是检测效率又太低。因此，打孔纸带的检测速度成了检测效率的制约因素。

发明内容

基于此，有必要针对如何解决打孔纸带所存在的检测速度慢、人为误差大以及效率低的技术问题，提供一种基于机器视觉的载带检测方法。

一种基于机器视觉的载带检测方法，其包括如下步骤：

S1：先搭建硬件平台，再利用硬件平台分别采集预设数量的打孔纸带的合格孔形的图像，并将所采集的合格孔形的图像进行预处理；经过分析以及计算之后，得出标准的孔形图像作为标准模板，并获得标准模板中的孔形的特征；

S2：然后，根据所获得的孔形的特征对打孔纸带孔形图像进行孔形定位的区域分割，以获取各个孔形的位置坐标；

S3：接着，继续利用硬件平台对待测纸带进行孔形图像采集后，将图像进行预处理；并将所得出的孔形图像与标准模板进行匹配，并得出各个孔形的匹配度；

S4：最后，对每一孔形的匹配度进行判断；若所有孔形的匹配度均大于预设的阈值时，判定该段纸带为合格产品；否则，判定该段纸带存在缺陷。

具体的，所述图像预处理的过程包括：图像灰度化、图像滤波、图像分割、形态学变换以及边缘检测。

具体的，图像灰度化的处理过程中，首先根据下式一对原始孔形图像I(i,j)进行灰度化以便获得孔形图像的灰度图像G(i,j)：

式一：G(i,j)=0.30I_R(i,j)+0.59I_G(i,j)+0.11I_B(I,j)；

式中I_R(i,j)、I_G(i,j)、I_B(I,j)分别表示孔形图像中的R、G、B分量。

具体的，图像滤波步骤中，采用3x3模板，将滤波窗口中灰度值最小的两个像素点去掉取中值，再将获得的灰度值与本身灰度值进行比较，根据相对差值的大小来决定是否进行灰度值替换。

进一步的，模板匹配的流程如下：

a.获取模板：对预设量的合格孔形图像进行边缘检测，逐一分析其边缘特征，以得出标准的合格的孔形图像边缘图；

b.区域分割与边缘检测的结合：分析对象为经预处理操作后的孔形边缘图像，对其进行区域分割，对边缘图像进行区域划分；

c.匹配：采用3*3的8邻域窗口，对模板图像与孔形图像进行双向匹配。

更进一步的，匹配的具体步骤如下：

S31：以待检测孔形图像为基准，对孔形区域进行扫描，若该像素点是边界点，则查找模板图中的相应点的8邻域内是否存在边界点，若存在定义该像素点匹配成功，最后对该孔形区域进行匹配失败值计算，记为P1：P1=S1/S；式中，P1表示正向匹配的匹配失败值，S1表示该孔形区域匹配失败的像素点总和，S表示模板中该孔形像素点总和；

S32：以模板图像为基准，扫描模板图，查找待检测图中相应点的8邻域内是否存在边界点，若存在定义该像素点匹配成功；最后，对该孔形区域进行匹配失败值计算，记为P2：P2=S2/S；式中，P2表示逆向匹配的匹配失败值，S2表示该孔形区域匹配失败的像素点总和，S表示模板中该孔形像素点总和；

S33：对P1,P2进行比较，选择大的匹配度作为该次匹配的匹配失败比例，定义为P；再将P与阈值p进行比较；若匹配度大于阈值，判定该孔形不合格；若匹配度小于阈值，判定该孔形合格。

综上所述，本发明基于机器视觉的载带检测方法首先搭建硬件平台，并分别对合格的打孔纸带与缺陷的打孔纸带进行图像采集，以大数量的合格纸带所采集的图像作为检测模板，并将待测纸带与检测模板进行匹配比较，从而确定待测纸带是否符合生产需求。其中，根据打孔纸带孔形的整齐排列特性，提出了针对孔形纸带的孔形定位与区域分割。然后，根据区域分割后的孔形图像，提出了8邻域双向模板匹配法，明显提高了孔形合格检测的效率。所以，本发明基于机器视觉的载带检测方法解决了打孔纸带所存在的检测速度慢、人为误差大以及效率低的技术问题。

附图说明

图1为本发明基于机器视觉的载带检测方法的流程图；

图2为应用本发明基于机器视觉的载带检测方法的硬件平台的一种实施例；

图3为本发明基于机器视觉的载带检测方法的图像预处理步骤的流程图；

图4为本发明基于机器视觉的载带检测方法的标准模板的实施例示意图；

图5为本发明基于机器视觉的载带检测方法的缺陷孔形图像的示意图；

图6为本发明基于机器视觉的载带检测方法的另一种缺陷孔形图像的示意图；

图7为本发明基于机器视觉的载带检测方法的3x3匹配窗口的示意图；

图8为本发明基于机器视觉的载带检测方法的标准模板的检测示意图；

图9为本发明基于机器视觉的载带检测方法的待测纸带的检测示意图；

图10为本发明基于机器视觉的载带检测方法的孔形撕裂的检测示意图；

图11为本发明基于机器视觉的载带检测方法的孔形缺省的检测示意图。

实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“上”、“下”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。

请参阅图1，如图1所示，本发明基于机器视觉的载带检测方法包括如下步骤：

S1：先搭建硬件平台，再利用硬件平台分别采集预设数量的打孔纸带的合格孔形的图像，将所采集的合格孔形的图像进行预处理；经过分析以及计算之后，得出标准的孔形图像作为标准模板，并获得标准模板中的孔形的特征；

S2：然后，根据所获得的孔形的特征对打孔纸带孔形图像进行孔形定位的区域分割，以获取各个孔形的位置坐标；

S3：接着，继续利用硬件平台对待测纸带进行孔形图像采集后，将图像进行预处理；并将所得出的孔形图像与标准模板进行匹配，并得出各个孔形的匹配度；

S4：最后，对每一孔形的匹配度进行判断；若所有孔形的匹配度均大于预设的阈值时，判定该段纸带为合格产品；否则，判定该段纸带存在缺陷。

具体的，在本发明基于机器视觉的载带检测方法中，所述硬件平台主要实现对打孔纸带的图像采集，并把所采集到的图像提供给软件系统以进行处理与检测。通常地，请继续参阅图2，如图2所示，满足基本需求的采集打孔纸带孔形的硬件平台，其主要包括如下硬件：光源结构1、摄像机设备2、镜头结构3以及计算机4。

具体的，在打孔纸带的视觉检测流程中，目标图像的获取与光源有着直接的联系，光源好坏直接影响着成像质量，因此，不管检测算法有多优秀，光源选取失败也会直接导致系统失败。合适的光源可以增强目标图像的特征对比度，减少和抑制噪声影响，提高采集的图像质量。所以，选取最优的光源是打孔纸带孔形缺陷检测成功的关键。光源类型各种各样，一般对光源来说，基本都要考虑如下三个因素的特征：结构；光源是可以根据发出光线的光线结构来区分的，光线结构的不同决定着发光特点的不同。自身的特性；光源自身的特性主要有：光普分布、光源的明亮度、散发的热能和持续使用时间等。检测对象；检测对象的材质不同，会导致对各种光源的反应不同，会对光产生反射、折射、透射。若照射的光颜色检测对象相近，则检测对象会变亮，不同则变暗。因此，要把光源选择与检测对象特性结合起来考虑。目前，在工业检测实际应用中，使用比例最高的有LED灯、氮灯和高频荧光灯。所述硬件平台的方案中，目的是对打孔纸带孔形进行图像获取，以提高纸带孔形参数的精密程度；所以，需要孔形图像的目标前景和背景形成强烈的对比度；同时，与纸带颜色相近的光源，增加纸带亮度，使纸带与孔形产生最大的色差，以便区分纸带与孔形。所述光源结构1优先选择白色中亮的LED环形光源，并建议从待测打孔纸带的侧面形成45度角进行斜照射。

具体的，在工业检测过程中，由于对检测物的高精度、高速检测要求，摄像机的选择变得尤为重要。如果选取的相机没有达到检测要求，将直接影响着图像的采集，进而导致检测系统功能的弱化。作为相机的核心组件，工业上更加注重对传感器上的考虑。CCD与CMOS原理都是使用感光二极管，把获取的光信号转换成电信号，将图像信息转变成计算机可以分析与计算的数字信息过程。区别是它们采用不同的半导体材料对光与图像信号进行集成，电路设计与电荷的传输方式上也存在很大的不同。总体上来说两种相机在图像采集上各有优缺点，要结合检测物体与检测功能进行综合考虑。本发明可以基于如下四个因素对相机进行选取：一、对打孔纸带进行图像采集时，振动情况会严重干扰检测系统。因此，系统需要将相机固定起来；所以，优先选择面阵相机。二、由于打孔纸带孔形尺寸精密，所以，要求相机具有高分辨率和低信噪比。三、由于纸带与孔形差异明显，纸带为白色；所以，只需要单色或彩色相机即可。四、由于打孔纸带孔形缺陷检测要求快速性、高效性，因而选择的相机需要有高帧率。通过对所述硬件平台的设计原则、系统检测需求和相机的性能进行综合考虑，本发明基于机器视觉的载带检测方法中，所述摄像机设备2优选用CCD摄像机。

具体的，在前述硬件平台中，镜头作为另一核心设备存在，作用是通过聚集光线将待测目标成像到传感器上。镜头的选择，直接决定着对待检测物的数字图像采集效果，影响着检测系统的精度。因此，对硬件平台的镜头选择也要通过各方面严格的考虑。一般情况下，选取镜头需要考虑焦距、视场角、工作距离、分辨率、畸变等各种因素。工作距离：焦距都有一个工作范围，当目标物体在范围内时，镜头与目标物体之间的距离就是工作距离。前述的硬件平台主要衡量下面两个因素对检测系统造成的影响：一、打孔纸带孔形尺寸精密，检测精度要求高，所以工作距离要近。二、畸变的影响对任何视觉检测都存在，因此，要尽量减少畸变的影响。所以，所述的镜头结构3优选为M0814-MP2型号的Computar系列定焦镜头；或具有相似参数的同类镜头也可以。所优选的镜头的详细参数如下表1：

表1：定焦镜头的参数

进一步的，本发明基于机器视觉的载带检测方法中，打孔纸带孔形缺陷检测方案中的软件系统主要由F1yCapure和VS组成。其中，F1yCapure用来获取图像采集获得的图像，并对图像进行定位来获得打孔纸带孔形的相应图像；VS主要用来对获得的打孔纸带孔形图像进行预处理和检测判断。这两种软件预先安装于所述计算机4之中。

具体的，利用前述的硬件平台对打孔纸带进行图像采集之后，还需要对所采集到的图像进行预处理。图像预处理主要是为了对图像待处理区域进行特征增强，弱化图像中无关区域，通过一系列算法对图像像素进行变换，并将图像进行需求矫正，达到最符合预期要求的图像，以便后续对图像进行高效的检测。

在CCD相机等组成的硬件系统对打孔纸带进行图像采集过程中，由于本身硬件设备和外界环境因素的影响，得到的打孔纸带孔形图像无法真实的反映原始孔形图像的全部信息。因此，对打孔纸带孔形图像进行采集后，必须进行预处理操作，否则直接影响后续操作精度的准确性。孔形图像预处理的主要过程如图3所示；所述图像预处理的整体过程依次包括：图像灰度化、图像滤波、图像分割、形态学变换以及边缘检测。其中，进行图像灰度化是因为硬件系统中采集到的打孔纸带孔形图像的是RGB图像。若直接对采集得到的RGB图像进行处理，将会增加存储空间，并提高算法的复杂程度，进而影响整体算法处理时间，降低系统效率。转成灰度图像后，图像原有的亮度、灰度级数分布并没有改变，同时运算大大降低，提高了系统处理效率。进行图像滤波是因为打孔纸带的孔形图像采集、传输过程中会受到不同影响因素的干扰，程度的不同，图像里夹杂着噪声也不同。因此，为了减少图像的退化，必须进行图像滤波处理。进行图像分割是因为孔形图像分割目的是分离孔形图像的前景与后景，使孔形特征更明显，方便后续处理。进行形态学变换是因为孔形图像分割后，获得的孔形图像会产生边缘锯齿，为了减少边缘锯齿对系统带来的干扰，需要进行腐蚀和膨胀的形态学变换操作。进行边缘检测是为了获得各个孔形的边缘特征，再对边缘特征进行模板匹配，大大减少了算法处理时间。

更具体的，灰度化目的是把彩色图像，即RGB图像调整成灰度图像，从而减少算法处理的复杂度。在RGB模型下，存在一种特殊情况：R=G=B，这种情况下色彩只显示为灰度值。所以，灰度图像中每一像素只需要8位用来存储灰度值，范围为0至255。最常用的有四种算法进行灰度化：分量法、最大值法、平均值法和加权平均法。在本发明中，打孔纸带图像所需要的图像信息只与采集系统中的亮点信息相关，若直接使用RGB图像进行处理，将会增加存储空间，并提高算法的复杂程度。为了满足各算法模块的需要和最大程度上的提高检测系统的效率，算法首先根据下式1对原始孔形图像I(i,j)进行灰度化以便获得孔形图像的灰度图像G(i,j)：

式1：G(i,j)=0.30I_R(i,j)+0.59I_G(i,j)+0.11I_B(I,j)

式中I_R(i,j)、I_G(i,j)、I_B(I,j)分别表示孔形图像中的R、G、B分量。

具体的，工业检测过程中，图像在采集、传递与转换时，多多少少会受到本身设备与外界环境的影响，得到的图像掺杂着各种不可预测的噪声，不同的只是产生的噪声种类和强弱不同。因此，为了减少噪声对图像的干扰，必须对采集的图像进行滤波去噪处理，提高图像的整体质量，增强图像特征性。滤波算法的去噪质量，直接影响着之后的二值化处理等操作。频域法与空域法是图像滤波去噪的主要的两种方法。频域内，噪声的产生最多在高频段，因此，可以用各种低通滤波器对噪声进行滤波。空域内一般采用领域平均方法来降低噪声。具体来说，图像滤波主要用到各种滤波器，根据对滤波器的不同选择，又可以将其分为线程和非线性滤波器。若对领域中像素采用线性运算来计算时，则这个运算被称为线性空间滤波，否则，称为非线性空间滤波。

更具体的，中值滤波是一种应用最广的非线性滤波处理技术，采用了排序统计的理论，能有效的抑制图像噪声。中值滤波的原理是设定一个模板领域，对图像中像素点的灰度，使用其相应领域内的灰度排序后的中间值进行替换，使目标的灰度值越加靠近其实际代表的灰度值。中值滤波的领域一般会采用方形、圆形、交叉形或十字形等结构。其原理如下式2所示：

式2：

上式2中，Med为滤波函数，M为设定的模板，(k，l)为模板区域内的像素点坐标。

虽然，中值滤波有算法实现简单、处理速度快、抑制各种噪声能力强和一定条件下克服了线性滤波的细节模糊缺陷等优点，但是对于点、线、尖角较多的图像，细节方面损伤较大，对于打孔纸带孔形图像处理效果任然不大理想。因此，本发明基于机器视觉的载带检测方法对中值滤波进行了针对打孔纸带孔形图像的如下改进：采用3x3模板，将滤波窗口中灰度值最小的两个像素点去掉取中值，再将获得的灰度值与本身灰度值进行比较，根据相对差值的大小来决定是否进行灰度值替换。通过相关的实验对比得出，改进的中值滤波比其他滤波平滑效果更好，有效的去除了噪声的干扰，图像中孔形的边界信息得到了更好的保存，同时算法简单，处理速度快。因此，可以采用改进的中值滤波对打孔纸带孔形图像进行滤波。

具体的，图像分割是将待处理图像划分成几个有特定意义的区域，这些区域之间彼此没有重叠，其特征也不完全相同。现有的主要的图像分割方法有：阈值分割法、区域分割法、边缘分割法以及特点理论分割法。一般情况下，对图像进行分割使用频率最高的是阈值分割法。阈值分割法适用于目标与背景区域灰度值有较明显对比的情形，主要利用目标与背景区域之间的灰度差，将图像定义为拥有相异灰度级数的两类区域，即目标区域与背景区域；选择一个最佳阈值，通过各像素点灰度级数与阈值进行比较，划分该像素点为前景区域还是背景，最后生成相应的二值图像。因此，选择合适阈值成为了图像分割效果好坏的关键，阈值选取大致分为自适应阈值法、全局阈值法和局部阈值法。

具体的，形态学变换主要是指使用数字形态学思想，对图像的形状与结构进行分析和处理，使图像的特征更加接近目标的真实情况。二值图像中，一般情况下，黑色像素的集合表示的是目标，其余白色部分为背景。孔形图像经过中值滤波、图像分割后，孔形边缘出现锯齿，与本身打孔纸带孔形状态不符。所以，需要对二值化后的打孔纸带孔形图像进行形态学变换，主要采用数字形体学中最基本的腐蚀与膨胀。

更具体的，膨胀的主体思想为填充结构元素。其采用某一特定的结构元素对目标图像不断探测。膨胀运算会将两块近距离目标区域融合为一体，因此，可以用来消除目标区域的内部空洞等现象。膨胀在处理边界方面，会使目标区域边界向外扩延。运算公式如下式3所示：

上式3中，A代表待处理图像，B为结构元素。对孔形图像边界锯齿进行向外扩展，一部分边界锯齿更明显，不分间距比较近的锯齿进行了融合。对融合部分锯齿来说边缘效果得到了大大的改善，但锯齿变大不分不利于后续处理，因此，需要对膨胀后的孔形图像进行腐蚀。

更具体的，腐蚀运算原理与膨胀刚好相反，可以消除目标边界无关像素点，从而会使边界产生向内压缩的现象。通过对二值化后的孔形图像进行膨胀与腐蚀处理，孔形图像的孔形边界锯齿得到了明显的改善，部分边界变的平滑，图像与真实孔形更贴近。

具体的，图像中最重要的特征就是边缘特征，在图像缺陷检测中占据十分关键的地位。边缘可以初略的表示目标的大致轮廓，是从目标前景走向背景的分割线，标志着目标区域的结束与背景区域的开始。边缘检测后，移除了目标内部的信息，图像上只显示所有边缘点，在一定程度上减少了图像缺陷检测的数据量，同时保留了目标的结构属性。基本上的边缘检测算法能够被区分成基于查找和零穿越两种类型。基于查找边缘检测算法的原理是寻找图像一阶导数中的最大和最小值来检测边界，考虑到打孔纸带的边缘检测对象为形态学变换后的二值图像，所以，可以采用Canny算子来进行处理。

进一步的，打孔纸带孔形的缺陷主要体现在孔形图像上，主要思想就是将当前图像与多次试验得出的标准图像进行差异对比，当差异大于设定阈值时，就判定当前孔形图像不合格，存在缺陷。孔形图像的异常，就代表着当前这段打孔纸带存在问题，实现了打孔纸带的高精度缺陷检测。而且，打孔纸带的孔形具有排列整齐，孔形简单，尺寸精度高等特点。合格的打孔纸带，位于纸带的上放为等间距的圆形空，下方为等间距的方形孔，从左到右依次排列。缺陷检测主要检测圆形孔形和方形孔形的孔形质量。结合打孔纸带孔形排列的特征和缺陷检测高效性要求，本发明对大数据量的孔形图像进行了分析与特征提取，得出了孔形图像中各个孔形的大致范围，并根据合格孔形图像的边缘特征，对孔形图像的孔形进行定位，并将区域进行划分；然后，只需要对划分出的区域进行缺陷检测，大大缩短了算法处理时间，提高了检测效率。但是，该方法具有比较大的针对性，只对于具有特征一致性的检测物体，需要每次采取的图像待测物体位置固定。例如打孔纸带，其孔形排列整齐，每次获取的孔形图像的孔形位置基本固定。

进一步的，模板匹配是基于机器视觉的工业缺陷检测中最常用的方法。传统的模板匹配原理是通过特定的算法在图像中遍历查找与模板图像匹配的目标。相对于本发明所应用的打孔纸带来说，若使用传统的模板匹配算法，就需要对大量的缺陷图像进行分类，并将发生概率最大若干种缺陷进行模板制作，再将若干种缺陷模板分别与孔形图像进行匹配，若匹配度大于阈值，则该孔形图像存在缺陷，缺陷类型与模板类型相同。

因此，传统的模板匹配法原理简单，实现方便，但是对于现有生产的需求而言来说，该方法并不适用，主要从速度与缺陷方面体现。速度方面：孔形图像孔形的缺陷种类多种多样，为了准确的匹配出孔形缺陷，模板的数量要求就比较高，结果就是增加了模板匹配的次数，也造成了无关匹配操作，图像无缺陷还是进行了所有模板的匹配，大大提高了算法的处理时间，对于需要快速实时性的现有需求而言，该算法不适用。而对于缺陷方面：孔形图像孔形的缺陷种类有多种，同时缺陷产生的位置存在不确定性，缺陷位置和缺陷大小并不相同，所以给模板制作带来了困难。例如对于矩形孔形，孔形缺省这种缺陷，缺省位置可能会出现在左上角，也有可能出现在右下角。

进一步的，针对孔形图像的基于边缘的模板匹配算法，主要利用打孔纸带孔形的规则排列和采集孔形的图像一致性的特点。其步骤具体揭示如下：

一、获取模板：对预设量的合格孔形图像进行边缘检测，逐一分析其边缘特征，以得出标准的合格的孔形图像边缘图，如图4所示。由于图像采集过程中的环境不变，图像预处理算法一致，因此合格的孔形图像，边缘检测过后基本图像信息都相同，只会产生一些轻微的差异。分析大量的合格孔形图像，得出相似度最高的孔形图像。在控制变量的重复实验中对1000幅合格孔形图像进行边缘检测，其中有960幅图像都与图4近乎一致。因此，可将图4所示的内容作为匹配模板来进行模板匹配。

二、区域分割与边缘检测的结合：第一步中模板已完成，接下来就要对待检测图像进行分析。分析对象为经预处理操作后的孔形边缘图像，对其进行区域分割，对边缘图像进行区域划分，常见的孔形缺陷图的区域分割效果图如图5至6所示。图5和图6是打孔纸带最常出现的孔形缺陷图，再对缺陷图进行边缘检测以得出边缘。灰色框并不真实存在，目的是便于理解，表示区域分割后的区域。为了减少无关匹配，浪费不必要的检测时间，同时能正确检测出各种缺陷，模板匹配分别在分割后的区域里进行匹配。

三、匹配：本发明所提出的基于孔形图像的匹配算法，主要思想是采用3*3的8邻域窗口，对模板图像与孔形图像进行双向匹配。为了减少无关检测，便于后续的缺陷分类，算法每次只对一个孔形区域进行匹配。一张孔形图像有8个孔，单向匹配需要进行8次区域匹配，双向匹配需要进行16次区域匹配。由于匹配的区域小，多次区域匹配，在时间上完全可以达到要求。区域匹配具体步骤如下所示：

S31：以待检测孔形图像为基准，对孔形区域进行扫描，若该像素点是边界点，则查找模板图中的相应点的8邻域内是否存在边界点，若存在定义该像素点匹配成功，最后对该孔形区域进行匹配失败值计算，记为P1，如式4所示：P1=S1/S；式中，P1表示正向匹配的匹配失败值，S1表示该孔形区域匹配失败的像素点总和，S表示模板中该孔形像素点总和。

S32：以模板图像为基准，扫描模板图，查找待检测图中相应点的8邻域内是否存在边界点，若存在定义该像素点匹配成功，最后对该孔形区域进行匹配失败值计算，记为P2，如式5所示：P2=S2/S；式中，P2表示逆向匹配的匹配失败值，S2表示该孔形区域匹配失败的像素点总和，S表示模板中该孔形像素点总和。

S33：对P1,P2进行比较，选择大的匹配度作为该次匹配的匹配失败比例，定义为P。再将P与阈值p进行比较；若匹配度大于阈值，判定该孔形不合格；若匹配度小于阈值，判定该孔形合格。匹配度P如下式6所示，孔形判断如7所示。

式6：

式7：

具体的，采用3*3的8邻域窗口的原因是在打孔纸带生产过程中，有时会造成孔形的轻微偏差，这些轻微偏差在误差允许内，并不会影响打孔纸带的贴片电阻安装。另外，孔形图像在图像采集时会有外界环境和自身设备的干扰。在这些不利条件下，所获得的边缘图像不可能与模板图像100%匹配。因此，为了达到正确的检测目的，在模板匹配过程中采用3*3窗口进行8邻域匹配。3*3匹配窗口如图7所示。图7中，X表示待匹配的像素点，X1到X8表示离X像素点距离小于等于行的像素点，即与X直接相连的像素点。8邻域匹配就是对X1,X2,X3......X8进行查找，只要其中有某一像素值为255，就认定X像素点匹配成功。匹配过程如图8与图9所示。其中，图8为模板孔形图；图9为待检测的孔形图。两图中x,y表示扫描方向，f(x,y)表示灰度值为255的边缘像素点，S5表示孔形图像中的5号孔形。对5号孔形区域进行从左向右，自上而下扫描。当模板图中出现f(x,y)=255时，去待检测的图像中相应(x,y)处的8领域像素点匹配，X1到X8中存在灰度值为255时，(x，y)处像素点匹配成功。

更具体的，采用双向匹配法是由于单向情况下，存在检测失败的情况。如图10与图11所示。对于图10所示的缺陷来说，只以模板为基准，则只有小圆圈内部分不会被匹配到，获得的匹配失败值P≈2%，系统默认该孔形合格，但是该孔形存在缺陷，检测失败。对于图11所示的缺陷来说，只以待检测图为基准，获得的匹配失败值P=0，系统默认该孔形合格，其实该孔形缺省，检测失败。若用双向匹配，则都能正确检测出孔形是否合格。用匹配失败值来判断的原因：如图10，若以匹配成功值判断，则双向匹配后的匹配成功值P接近1，系统默认该孔形合格，检测失败。匹配成功值如下式8所示。S'表示匹配成功像素点数总和，S表示模板中灰度值为255像素点总和。式8：P=S'/S。

因此，8领域双向模板匹配思路简单易懂，算法已于实现，能够快速的对孔形缺陷进行检测。由于缺陷孔形是极少数情况，所以，通过孔形是否合格判断之后再运行分类算法，大大减少了无关操作，提高了算法处理时间。

基于前述步骤，以下揭示100张合格孔形图像与100张孔形缺陷图像的检测实验结果，具体如表2所示：

表2：孔形缺陷检测实验结果

从上表2可知，该算法能够正确地识别出合格的孔形图像与缺陷孔形图像。从检测准确率上，该算法适合用于打孔纸带的孔形检测。

综上所述，本发明基于机器视觉的载带检测方法首先搭建硬件平台，并分别对合格的打孔纸带与缺陷的打孔纸带进行图像采集，以大数量的合格纸带所采集的图像作为检测模板，并将待测纸带与检测模板进行匹配比较，从而确定待测纸带是否符合生产需求。其中，根据打孔纸带孔形的整齐排列特性，提出了针对孔形纸带的孔形定位与区域分割。然后，根据区域分割后的孔形图像，提出了8邻域双向模板匹配法，明显提高了孔形合格检测的效率。所以，本发明基于机器视觉的载带检测方法解决了打孔纸带所存在的检测速度慢、人为误差大以及效率低的技术问题。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种基于机器视觉的载带检测方法，其特征在于，其包括如下步骤：

S1：先搭建硬件平台，再利用硬件平台分别采集预设数量的打孔纸带的合格孔形的图像，并将所采集的合格孔形的图像进行预处理；经过分析以及计算之后，得出标准的孔形图像作为标准模板，并获得标准模板中的孔形的特征；

S2：然后，根据所获得的孔形的特征对打孔纸带孔形图像进行孔形定位的区域分割，以获取各个孔形的位置坐标；

S3：接着，继续利用硬件平台对待测纸带进行孔形图像采集后，将图像进行预处理；并将所得出的孔形图像与标准模板进行匹配，并得出各个孔形的匹配度；

S4：最后，对每一孔形的匹配度进行判断；若所有孔形的匹配度均大于预设的阈值时，判定该段纸带为合格产品；否则，判定该段纸带存在缺陷。

2.根据权利要求1所述的基于机器视觉的载带检测方法，其特征在于：所述图像预处理的过程包括：图像灰度化、图像滤波、图像分割、形态学变换以及边缘检测。

3.根据权利要求2所述的基于机器视觉的载带检测方法，其特征在于：图像灰度化的处理过程中，首先根据下式一对原始孔形图像I(i,j)进行灰度化以便获得孔形图像的灰度图像G(i,j)：

式一：G(i,j)=0.30I_R(i,j)+0.59I_G(i,j)+0.11I_B(I,j)；

式中I_R(i,j)、I_G(i,j)、I_B(I,j)分别表示孔形图像中的R、G、B分量。

4.根据权利要求3所述的基于机器视觉的载带检测方法，其特征在于：图像滤波步骤中，采用3x3模板，将滤波窗口中灰度值最小的两个像素点去掉取中值，再将获得的灰度值与本身灰度值进行比较，根据相对差值的大小来决定是否进行灰度值替换。

5.根据权利要求1所述的基于机器视觉的载带检测方法，其特征在于：模板匹配的流程如下：

a.获取模板：对预设量的合格孔形图像进行边缘检测，逐一分析其边缘特征，以得出标准的合格的孔形图像边缘图；

b.区域分割与边缘检测的结合：分析对象为经预处理操作后的孔形边缘图像，对其进行区域分割，对边缘图像进行区域划分；

c.匹配：采用3*3的8邻域窗口，对模板图像与孔形图像进行双向匹配。

6.根据权利要求5所述的基于机器视觉的载带检测方法，其特征在于：匹配的具体步骤如下：

S31：以待检测孔形图像为基准，对孔形区域进行扫描，若该像素点是边界点，则查找模板图中的相应点的8邻域内是否存在边界点，若存在定义该像素点匹配成功，最后对该孔形区域进行匹配失败值计算，记为P1：P1=S1/S；式中，P1表示正向匹配的匹配失败值，S1表示该孔形区域匹配失败的像素点总和，S表示模板中该孔形像素点总和；

S32：以模板图像为基准，扫描模板图，查找待检测图中相应点的8邻域内是否存在边界点，若存在定义该像素点匹配成功；最后，对该孔形区域进行匹配失败值计算，记为P2：P2=S2/S；式中，P2表示逆向匹配的匹配失败值，S2表示该孔形区域匹配失败的像素点总和，S表示模板中该孔形像素点总和；

S33：对P1,P2进行比较，选择大的匹配度作为该次匹配的匹配失败比例，定义为P；再将P与阈值p进行比较；若匹配度大于阈值，判定该孔形不合格；若匹配度小于阈值，判定该孔形合格。

Images