CN104297255B - 一种纸杯缺陷视觉检测方法及系统装置 - Google Patents

Abstract

一种纸杯缺陷视觉检测方法及系统装置，利用与嵌入式系统连接的USB采集卡和CCD镜头实时采集纸杯图像；将图像转换为灰度图，在灰度图中利用自适应阈值分割与轮廓提取定位纸杯位置；利用边界链码提取算法定位纸杯杯口区域；利用轮廓提取与圆检测定位纸杯杯底区域，并进一步定位纸杯侧壁区域；最终生成一幅纸杯标记图，包括四个部分：纸杯杯口区域、纸杯侧壁区域、纸杯杯底轮廓区域和纸杯杯底区域，对不同区域执行相应的不同缺陷算法进行检测，本发明还提供了相应的系统装置，本发明使用的方法速度高，精确度高，可以达到纸杯工业生产要求，解决了纸杯人工缺陷检测效率低、成本高、不安全的缺陷。

Description

一种纸杯缺陷视觉检测方法及系统装置

技术领域

本发明属于机器视觉图像检测与模式识别技术领域，涉及一种纸杯缺陷视觉检测方法及系统装置。

背景技术

近年来，随着图像处理与模式识别技术的飞速发展，利用图像处理算法解决实际问题的工程项目越来越多，例如对工件产品进行尺寸测量、分类和识别，产品表面缺陷检测，车牌号码识别，条形码识别等。我们的日常生活已经离不开纸杯，现在的纸杯生产厂生产的缺陷纸杯是通过人工检测识别出来的，这种人工缺陷检测效率低、成本高，同时也有一定的不安全性。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种纸杯缺陷视觉检测方法及系统装置，解决了背景技术中纸杯缺陷人工检测生产效率低、成本高、不安全性等问题。

为了实现上述目的，本发明采用的技术方案是：

一种纸杯缺陷视觉检测方法，包括如下步骤：

利用与嵌入式系统相连的USB采集卡和CCD镜头实时采集纸杯图像；

将图像转换为灰度图，在灰度图中利用自适应阈值分割与轮廓提取定位纸杯位置；

利用边界链码提取算法定位纸杯杯口区域；

利用轮廓提取与圆检测定位纸杯杯底区域，并进一步定位纸杯侧壁区域；

最终生成一幅纸杯标记图，包括四个部分：纸杯杯口区域、纸杯侧壁区域、纸杯杯底轮廓区域和纸杯杯底区域，对不同区域执行相应的不同缺陷算法进行检测。

具体地：

对于纸杯杯口区域：

杯口区域污点缺陷利用种子生长算法检测；

杯口区域褶皱缺陷检测方法如下：定义某一像素至纸杯杯底中心的方向为该像素的径向，提取纸杯杯口轮廓像素径向方向至少30个像素，如果这些像素灰度值会出现至少2个波峰，则杯口区域有褶皱现象，如果只有一个波峰，则杯口区域无褶皱现象，如果没有波峰，则杯口区域无卷口现象，无卷口是指构造纸杯的纸没有从上面翻下来，褶皱是指构造纸杯的纸从上面翻下来构成杯口轮廓区，但是杯口轮廓区起伏不平，不圆滑。

对于纸杯侧壁区域：

侧壁区域污点缺陷利用sobel算子检测；

侧壁区域褶皱缺陷利用hough直线检测；

对于纸杯杯底轮廓区域：

杯底轮廓区域粘合不良缺陷检测方法如下：对杯底轮廓区域进行自适应阈值分割，然后用sobel算子进行轮廓提取，提取后的二值图像会出现一个圆环，在算法研究过程中发现，如果在圆环内灰度值为255的像素数目超过设定的值，则该纸杯杯底轮廓区域有粘合不良缺陷，否则，无此缺陷；

杯底轮廓区域污点缺陷检测方法如下：对杯底轮廓区域进行sobel算子2次边缘提取得到处理结果图，然后对结果图连通域检测，如果有连通域的面积超过给定的阈值，则该连通域所在位置有污点，该纸杯杯底轮廓区域有污点缺陷，否则，无此缺陷；

对于纸杯杯底区域：

杯底区域污点缺陷利用sobel算子检测；

杯底区域无底缺陷检测方法如下：对纸杯杯底区域求取像素平均值，如果低于给定的阈值，则纸杯有无底缺陷，否则，无此缺陷。

本发明还提供了一种实现所述检测方法的系统装置，包括：

用于拍摄纸杯5图像的CCD镜头10；

用于采集CCD镜头数据的采集卡11；

用于承托纸杯5的环形的纸杯座4，纸杯座4当前处理纸杯孔位位于CCD镜头10的下方；

布置于纸杯座4上用于检测纸杯5是否到位的光电传感器8；

嵌入式系统7，包括核心处理器ARM Cortex-A1019，USB接口14，GPIO接口15,16,18，RS485接口17；

通过USB接口14连接采集卡11和嵌入式操作系统7，提供纸杯图像数据；

通过GPIO接口15连接光电传感器8和嵌入式操作系统7，在嵌入式操作系统7中执行所述各种算法；

通过GPIO接口18连接LCD显示器3显示图像信息；

嵌入式操作系统7通过RS485接口(17)连接电机驱动2；

电机驱动2驱动伺服电机1带动纸杯底座4运转；

用于整个系统供电的模块电源6。

本发明系统装置还可以包括水平支架一20、水平支架二22和竖直支架21，水平支架一20和水平支架二22均连接于竖直支架21上，水平支架二22高于水平支架一20，所述CCD镜头10悬挂在水平支架二22下方。

所述纸杯5和纸杯座4当前检测纸杯孔位最好位于一条中轴线上。

所述CCD镜头10上设置有环形光源9。

本发明系统装置还可以包括用于纸杯最终分类的机械手13，通过GPIO接口16连接机械手13，执行纸杯最终的分类。

与现有技术相比，本发明充分利用图像处理与模式识别技术识别缺陷纸杯，代替了人工检测，降低了企业生产成本，提高了企业生产效率，提升了企业的经济效益。

附图说明

图1是本发明中系统装置逻辑结构框图。

图2是本发明的图像处理软件平台结构框图。

图3是本发明中纸杯缺陷视觉检测方法流程图。

图4是本发明8向边界链码示意图。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

如图1所示，本发明一种纸杯缺陷视觉检测系统装置，包括：

由水平支架一20、水平支架二22和竖直支架21组成的支架结构，水平支架一20和水平支架二22均连接于竖直支架21上，水平支架二22高于水平支架一20。CCD镜头10悬挂在水平支架二22下方，用于采集纸杯5图像，CCD镜头10处设置有环形光源9。USB采集卡11连接CCD镜头10采集图像数据，通过USB14传输至嵌入式系统7；纸杯座4当前检测孔位位于CCD镜头10的下方用于承托纸杯5；光电传感器8布置于纸杯座4上用于检测纸杯5是否到位；嵌入式系统7通过GPIO接口15连接光电传感器8，通过GPIO接口16连接机械手13，通过GPIO接口18连接LCD3，通过RS485接口17连接电机驱动2，在嵌入式系统7中执行各种算法。电源6为嵌入式系统7供电。

该系统装置中，光电传感器2一直传输低电平信号至GPIO接口15，此时不进行纸杯缺陷检测；当检测到纸杯5到位后，将纸杯到位标志置位1，此时光电传感器8传输高电平信号至GPIO接口15并且持续一定的时间然后恢复低电平；嵌入式系统7中的图像处理软件每间隔一段时间读取一次GPIO接口15信号，如果接收到GPIO接口信号为高电平，立即对当前采集到的纸杯图像进行缺陷算法检测，检测结果通过GPIO接口16输出至机械手13，机械手13根据接收到的信号判断纸杯是否缺陷而执行是丢弃或者存储，如果接收到的信号为低电平，则嵌入式系统图像处理软件不进行缺陷检测。图中A表示无缺陷纸杯，B表示缺陷纸杯，经过本装置处理后，分类摆放。

在嵌入式系统7中配置算法执行软件，如图2所示，软件框架包括：菜单栏24(文件，相机操作，账号管理，帮助)、显示区29、参数区30以及消息区34。文件菜单包括开启系统运行状态的运行25、暂停系统运行的暂停26、打印指定文档的打印27和退出图像软件系统的退出28；相机操作菜单包括使得相机开始采集图像工作的打开相机和使得相机结束采集图像工作的关闭相机；账号管理菜单包括修改软件系统登陆的用户名和密码的修改账号和密码；帮助菜单包括提供纸杯缺陷视觉检测系统软件的使用说明书的帮助。显示区29用于显示摄像机实施采集到的图像；参数区30包括设置相机分辨率的硬件参数设置31、纸杯缺陷视觉检测算法中需要的缺陷参数设置32以及纸杯缺陷视觉检测的缺陷结果显示33；缺陷结果显示33显示的结果具体包括当前检测纸杯哪个区域以及是否有缺陷，并显示截至当前时间不同区域有缺陷的纸杯数目。消息区34用于显示系统运行消息或提醒。

如图3所示，本发明纸杯缺陷视觉检测方法，包括如下步骤：

利用与嵌入式系统相连的USB采集卡和CCD镜头实时采集纸杯图像；

将图像转换为灰度图，在灰度图中利用自适应阈值分割与轮廓提取定位纸杯位置；由于检测背景单一，经过上述预处理后就可以定位被检测纸杯的位置。

利用边界链码提取算法定位纸杯杯口区域，采用8向边界链码获取图像边界，即纸杯杯口轮廓，其中用到的8向边界链码如图4所示，提取出纸杯的边界链码后，即得到了杯口区域。

利用轮廓提取与圆检测定位纸杯杯底区域，圆检测能够更进一步实现定位，也就并更进一步定位纸杯侧壁区域；

最终生成一幅纸杯标记图，包括四个部分：纸杯杯口区域、纸杯侧壁区域、纸杯杯底轮廓区域和纸杯杯底区域，对不同区域执行相应的不同缺陷算法进行检测。

具体地：

(1)对于纸杯杯口区域：

杯口区域污点缺陷：

由于杯口区域的污点缺陷较小，所以采用种子生长算法进行检测。首先求出纸杯杯口区域像素灰度值的平均值，在该区域中查找小于该平均值一定值的像素，找到的像素即作为种子且进行标记，然后构造一个5×5的邻接区域，在邻接区域中继续搜索是否有满足条件的种子并且进行标记。这样可能会形成多个种子区域，判断每一个区域的大小，大于给定阈值的则为污点缺陷，否则，无污点缺陷。

杯口区域褶皱缺陷：

首先获取杯口区域轮廓的边界链码，将通过边界链码检测纸杯杯口区域的褶皱缺陷。从边界链码中的每一个像素向纸杯杯底中心方向按顺序提取至少30个数目像素的灰度值，顺序存储至一个链表中，这样就得到了边界链码所有像素的一些链表。对每一个链表内存储的像素灰度值进行波峰波谷检测，是否有波峰且波峰数目超过2个，如果有则该链表所对应的边界链码像素处有褶皱现象，如果只有一个波峰，则杯口区域无褶皱现象。如果没有波峰，则杯口区域无卷口现象；

(2)对于纸杯侧壁区域：

侧壁区域污点缺陷：

侧壁区域与杯底区域污点相比较杯口污点较大，利用sobel算子检测即可，sobel算子为：

$\mathrm{Sobelx}=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]\mathrm{Sobely}=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$

图像经过sobel算子处理后，进行连通域检测，如果某一连通域面积大于给定的阈值，则该连通域所在位置为污点缺陷。

侧壁区域褶皱缺陷：

对纸杯侧壁区域sobel算子处理，然后进行hough直线检测；由于要检测到较小的褶皱，因此设置构成一条直线的像素点数比较少，检测精度比较高，因而检测到的直线可能只是一小段；如果一条褶皱线中间有断裂的部分，那么这条褶皱线检测出来可能是一些小的直线段，因此要在该小段直线附近搜索是否有其他直线，如果有，利用线段的两个端点来判断两条直线是否在一条直线上，如果是，则合并两条线段。当所有的直线段合并完成后，检测每一条直线的长度，如果线段的长度大于给定的阈值，则该线段所在位置就是纸杯侧壁区域褶皱处。

(3)对于纸杯杯底轮廓区域：

杯底轮廓区域粘合不良缺陷：

对杯底轮廓区域进行自适应阈值分割，然后用sobel算子进行轮廓提取，提取后的二值图像会出现一个圆环；在研究过程中发现，对于无此缺陷的纸杯，在圆环内部几乎没有灰度值为255的像素，因此如果在圆环内灰度值为255的像素数目超过设定的值，则该纸杯杯底轮廓区域有粘合不良缺陷，否则，无此缺陷；

杯底轮廓区域污点缺陷：

对杯底轮廓区域进行sobel算子2次边缘提取得到处理结果图，然后对结果图连通域检测，如果有连通域的面积超过给定的阈值，则该连通域所在位置有污点，该纸杯杯底轮廓区域有污点缺陷，否则，无此缺陷；

(4)对于纸杯杯底区域：

杯底区域污点缺陷：

杯底区域与杯底区域污点相比较杯口污点较大，利用sobel算子检测即可，sobel算子为：

$\mathrm{Sobelx}=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]\mathrm{Sobely}=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$

图像经过sobel算子处理后，进行连通域检测，如果某一连通域面积大于给定的阈值，则该连通域所在位置为污点缺陷。

杯底区域无底缺陷检测方法如下：对纸杯杯底区域求取像素平均值，如果低于给定的阈值，则纸杯有无底缺陷，否则，无此缺陷。

以上就是纸杯缺陷视觉检测的主要算法，整个系统检测速率为436ms/个，对各类纸杯缺陷平均检测精度达到95％以上，完全否和实际工业生产应用。

针对各类纸杯缺陷的检测结果如下表所示：

值得注意的是，上述的具体实施方式用于解释说明本发明，仅为本发明的优选实施方案，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改、等同替换、改进等，都属于本发明的保护范围。

Claims (8)

1.一种纸杯缺陷视觉检测方法，其特征在于，包括如下步骤：

利用与嵌入式系统相连的USB采集卡和CCD镜头实时采集纸杯图像；

将图像转换为灰度图，在灰度图中利用自适应阈值分割与轮廓提取定位纸杯位置；

利用边界链码提取算法定位纸杯杯口区域；

利用轮廓提取与圆检测定位纸杯杯底区域，并进一步定位纸杯侧壁区域；

最终生成一幅纸杯标记图，包括四个部分：纸杯杯口区域、纸杯侧壁区域、纸杯杯底轮廓区域和纸杯杯底区域，对不同区域执行相应的不同缺陷算法进行检测；

对于纸杯杯口区域：

杯口区域污点缺陷利用种子生长算法检测；

杯口区域褶皱缺陷检测方法如下：定义某一像素至纸杯杯底中心的方向为该像素的径向，提取纸杯杯口轮廓像素径向方向至少30个像素，如果这些像素灰度值会出现至少2个波峰，则杯口区域有褶皱现象，如果只有一个波峰，则杯口区域无褶皱现象，如果没有波峰，则杯口区域无卷口现象；

对于纸杯侧壁区域：

侧壁区域污点缺陷利用sobel算子检测；

侧壁区域褶皱缺陷利用hough直线检测；

对于纸杯杯底轮廓区域：

杯底轮廓区域粘合不良缺陷检测方法如下：对杯底轮廓区域进行自适应阈值分割，然后用sobel算子进行轮廓提取，提取后的二值图像会出现一个圆环，如果在圆环内灰度值为255的像素数目超过设定的值，则该纸杯杯底轮廓区域有粘合不良缺陷，否则，无此缺陷；

杯底轮廓区域污点缺陷检测方法如下：对杯底轮廓区域进行sobel算子2次边缘提取得到处理结果图，然后对结果图连通域检测，如果有连通域的面积超过给定的阈值，则该连通域所在位置有污点，该纸杯杯底轮廓区域有污点缺陷，否则，无此缺陷；

对于纸杯杯底区域：

杯底区域污点缺陷利用sobel算子检测；

杯底区域无底缺陷检测方法如下：对纸杯杯底区域求取像素平均值，如果低于给定的阈值，则纸杯有无底缺陷，否则，无此缺陷。

2.根据权利要求1所述纸杯缺陷视觉检测方法，其特征在于：所述边界链码提取算法中采用8向边界链码。

3.根据权利要求1所述纸杯缺陷视觉检测方法，其特征在于：所述sobel算子为：

$\mathrm{Sobelx}=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]\mathrm{Sobely}=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right].$

4.一种实现权利要求1所述检测方法的系统装置，其特征在于，包括：

用于拍摄纸杯(5)图像的CCD镜头(10)；

用于采集CCD镜头数据的采集卡(11)；

用于承托纸杯(5)的环形的纸杯座(4)，纸杯座(4)当前处理纸杯孔位位于CCD镜头(10)的下方；

布置于纸杯座(4)上用于检测纸杯(5)是否到位的光电传感器(8)；

嵌入式系统(7)，包括核心处理器ARM Cortex-A10(19)，USB接口(14)，GPIO接口(15,16,18)，RS485接口(17)；

通过USB接口(14)连接采集卡(11)和嵌入式操作系统(7)，提供纸杯图像数据；

通过GPIO接口(15)连接光电传感器(8)和嵌入式操作系统(7)，在嵌入式操作系统(7)中执行所述各种算法；

通过GPIO接口(18)连接LCD显示器(3)显示图像信息；

嵌入式操作系统(7)通过RS485接口(17)连接电机驱动(2)；

电机驱动(2)驱动伺服电机(1)带动纸杯底座(4)运转；

用于整个系统供电的模块电源(6)。

5.根据权利要求4所述系统装置，其特征在于：还包括水平支架一(20)、水平支架二(22)和竖直支架(21)，水平支架一(20)和水平支架二(22)均连接于竖直支架(21)上，水平支架二(22)高于水平支架一(20)，所述CCD镜头(10)悬挂在水平支架二(22)下方。

6.根据权利要求4所述系统装置，其特征在于：所述纸杯(5)和纸杯座(4)当前检测纸杯孔位位于一条中轴线上。

7.根据权利要求4所述系统装置，其特征在于：所述CCD镜头(10)上设置有环形光源(9)。

8.根据权利要求4所述系统装置，其特征在于：还包括用于纸杯最终分类的机械手(13)，通过GPIO接口(16)连接机械手(13)，执行纸杯最终的分类。