CN105181714B - 一种基于图像处理的瓶装液体杂质检测系统及其检测方法 - Google Patents

Abstract

本发明公开了一种基于图像处理的瓶装液体杂质检测系统及其检测方法。检测系统包括机械部分和机器视觉部分，机械部分包括步进电机、传送带、定滑轮和机械夹持装置；机器视觉部分包括拍照暗箱及相关内部构造、FPGA板、通信串口、显示模块、报警模块和上位机软件。该系统的检测方法如下：采集图像；通过种子填充算法使图像从背景中分割出来；模糊处理滤除椒盐噪声及干扰像素；二值化处理提高对比度；通过腐蚀与膨胀操作使图像全部连接去除细小噪声，使杂质变得清晰可见；最后进行轮廓跟踪和提取获得杂质数量、形状和位置。本发明提高了图像获取和处理速度，从而代替人工检测，达到提高检测速度、质量及生产效益的目的。

Description

一种基于图像处理的瓶装液体杂质检测系统及其检测方法

技术领域

本发明属于杂质检测领域，尤其涉及一种基于图像处理的瓶装液体杂质检测系统及其检测方法。

背景技术

众所周知，对于瓶装液体是否含有杂质事关食品与医药安全。当今国家高度重视食品安全问题，所以严格把控食品生产过程中的卫生，保证民用饮食的安全至关重要。然而，现如今国内大部分企业和产品生产车间采用传统的肉眼识别，这种识别方法速度慢，可靠性差，并且检测人员容易疲劳。所以，对于机器视觉的开发与应用，有很大的开发潜力。这种系统可以高效，廉价的自动完成相关功能，来取代用人成本。此类系统的研发也是市场中很多企业期望实现的目标。

在透明液体杂质自动检测中，有待解决的问题是如何有效提高检测速度以及保证在高检测速度的前提下如何提高检测准确率。实现过程中会有以下几个问题：(1)图像的快速获取和处理；(2)图像与背景的分离。对于微小异物的检测，图像噪声干扰的去除是必须考虑的问题，为了能够突显目标物，需要根据杂质目标物和背景噪声特点有针对性的选择相应的目标与背景分割算法，为后续检测奠定基础；(3)杂质的快速有效识别。微小异物目标检测需要采用高分辨率的视觉系统，无疑增大了处理的数据量，因此必须找到一种合适的算法实现杂质快速识别。

电子测量与仪器学报2008年04期刊登的题目为《基于最小二乘支持向量机的输液异物检测系统设计》的文章介绍了一种从大输液复杂视觉图像中识别微小异物的图像处理算法和硬件系统，以实现大输液的在线自动检测。它是通过LS-SVM两类分类器来区分真实异物和残留噪声，并利用高性能工控机PLC组成网络控制系统。本发明综合使用了种子填充算法、模糊滤波、二值化处理、膨胀腐蚀轮廓查找等多种算法并结合FPGA实现杂质检测功能，无论从算法还是硬件设备该文章所诉内容与本发明都存在本质的不同。

仪表技术与传感器2009年10期刊登的题目为《异形瓶装溶液内杂质的机器视觉在线检测系统》的文章选用智能相机的Blob等视觉软件分析工具进行图像分析与理解，实现了图像的分割、特征提取、图像分类和图像定位配准等过程与功能。在工控机平台上采用VB开发软件算法与界面，得出处理结果并与PLC通信实现实时显示检测结果和标记杂质数量和位置的功能。本发明主要利用上位机软件与硬件平台FPGA实时通信完成瓶装液体杂质的流水检测，该文章所诉内容与本发明有本质的不同。

发明内容

本发明的目的是提供一种检测速度快、操作简便的基于图像处理的瓶装液体杂质检测系统。本发明的目的还包括提供一种检测精度高的基于图像处理的瓶装液体杂质检测方法。

一种基于图像处理的瓶装液体杂质检测系统，包括拍照暗箱、传送带、步进电机、定滑轮、显示模块、报警模块、通信模块、采集模块和上位机；

传送带两端分别和步进电机与定滑轮相连，传送带穿过拍照暗箱，拍照暗箱的传送带进口位置的外侧安装有第一遮光板，拍照暗箱的传送带出口位置的外侧安装有第二遮光板，拍照暗箱的顶部分别安装有第一机械夹持装置和第二机械夹持装置，拍照暗箱的前端内侧安装有工业相机，并且工业相机位于拍照暗箱的中心线位置，工业相机前端安装有图像分割板，图像分割板中央开有瓶形空洞，图像分割板前端安装有红外接收管组，红外接收管组包括第一红外接收管、第二红外接收管和第三红外接收管，第二红外接收管位于拍照暗箱的中心线右侧，第一红外接收管和第三红外接收管分别位于第二中外接收管的两侧，拍照暗箱的后端内侧安装有三个日光灯，三个日光灯前端安装有滤光板，滤光板前端安装有红外发送管组，红外发送管组包括第一红外发送管、第二红外发送管和第三红外发送管，第一红外发送管和第一红外接收管对称安装在传送带两侧，第二红外发送管和第二红外接收管对称安装在传送带两侧，第三红外发送管和第三红外接收管对称安装在传送带两侧；

红外接收管组、第一机械夹持装置、第二机械夹持装置、步进电机、显示模块、通信模块、报警模块分别与采集模块相连，上位机与通信模块相连，上位机接收工业相机采集到的图像。

一种基于图像处理的瓶装液体杂质检测方法，包括以下几个步骤：

步骤一：将待测瓶装液体放到传送带上，第一机械夹持装置将待测瓶体夹起进行翻转操作后放下；

步骤二：当待测瓶装液体进入拍照暗箱内部，待测瓶体触发工业相机自动拍照，采集待测检品图像并储存；

步骤三：利用种子填充算法将待测检品图像从背景中分割出来；

步骤四：利用模糊操作对分割出来的图像进行滤波处理；

步骤五：通过二值化处理提高图像对比度；

步骤六：腐蚀操作和膨胀操作使图像区域全部链接，去除细小噪声；

步骤七：轮廓提取并对杂质轮廓进行绘制；

步骤八：统计杂质数量并显示结果。

有益效果：

1、硬件平台的设计

1)带瓶形空洞图像分割板的设计从硬件上把瓶子图像从背景中分割出来，有效地为降低了后期图像处理算法的复杂度；

2)红外对管安装于暗箱中线的偏右侧约1cm处，这样当对管中心线与瓶盖相切时触发相机拍照，瓶子通过这一过程中不再次拍照，从而便可以得到瓶身处于图像分割板瓶形空洞视野中的完整图像；

3)两个机械夹持装置的应用，一个负责通过摆动瓶身使瓶底和瓶口杂质均悬浮与瓶子中央，这与传统的利用瓶底圆盘装置带动瓶子急速旋转的设计相比，本设计更易实现，便于操作；另一个负责将不合格产品搬运至分离轨道。

2、图像处理算法

通过对种子填充算法、模糊处理、二值化处理、腐蚀操作、膨胀操作和轮廓提取这几个成熟的传统图像处理算法的综合、处理和调试，设计出了一套适合本系统的杂质处理算法，该算法识别杂质准确，最后利用上位机软件实时显示产品杂质数量、轮廓、位置及合格率并保存数据，方便人员查看。本发明有效降低生产成本，提高杂质识别率和识别速度，从而提高产品质量和供应速度，避免含杂质的产品流入市场。

本发明能最大限度地提高图像序列的获取和处理速度，采用杂质识别算法在对可见物目标进行良好分割、滤波及识别的前提下，能有效提高识别速度，从而达到完全取代人工检测、提高检测质量和速度、节约生产成本、提高产品质量及生产效益的目的。

附图说明

图1是本发明的结构示意图；

图2是本发明的拍照暗箱侧视图；

图3是本发明的机械夹持装置示意图；

图4是本发明自主研发的上位机软件操作界面图；

图5是本发明图像处理算法的流程图。

具体实施方式

下面将结合附图对本发明做进一步详细说明。

本发明利用上位机软件可以实时显示摄像头采集信息与处理信息，并且可以保存统计文档，对生产产品整体合格率进行计算；随后设计了图像处理算法和系统的整体流程；还设计出了一套适合流水线的硬件平台，其中包括硬件整体的选材与结构和光源的合理设计，为后期图像处理识别提供了清晰适合的图像；再者利用FPGA采集红外对管信号实现对移动瓶子的检测和自动抓拍功能，软件通过RS232串口与FPGA进行信息交互，将处理结果通过串口传送给FPGA完成报警和显示功能；最后为了更加适合工业生产，我们加入了三组电机，一组用于带动水平传送带完成自动传输，一组用于控制机械夹持装置夹紧待测瓶子翻转动作后放下带起瓶底杂质，最后一组用于将不合格品放入分离轨道。

本发明还包括以下特征：

所述的机械夹持装置18、20由三部分组成，分别为伺服电机27、可伸缩机械臂28和可夹持机械手29组成。机械夹持装置18将刚传送过来的杂质瓶17夹起翻转操作后放下，使杂质悬浮于瓶内。若经测试后瓶装液体不符合规定，则由机械夹持装置20进行伸缩并由伺服电机控制摆动放入分离轨道7。

本发明提供了一种基于图像处理的瓶装液体杂质自动检测的控制系统。由机械部分和机器视觉部分组成，机械部分包括步进电机、传送带、定滑轮和机械夹持装置；机器视觉部分包括拍照暗箱及相关内部构造、FPGA板、通信串口、显示模块、报警模块和上位机软件。该系统的检测方法如下：采集图像；通过种子填充算法使图像从背景中分割出来；模糊处理滤除椒盐噪声及干扰像素；二值化处理提高对比度；通过腐蚀与膨胀操作使图像全部连接去除细小噪声，使杂质变得清晰可见；最后进行轮廓跟踪和提取获得杂质数量、形状和位置。本发明提高了图像获取和处理速度，从而代替人工检测，达到提高检测速度、质量及生产效益的目的。

一种基于图像处理的瓶装液体杂质检测系统，所述的控制系统包括传送带4两端分别装有步进电机16和定滑轮6，中间位置放置拍照暗箱1，其两侧传送带4的进出口位置分别设有一遮光板25、26，暗箱1顶部靠近进出口处分别装有机械夹持装置18、20，其与采集模块相连并控制其动作。工业相机10放置在暗箱中心线位置，前端设有图像分割板8，板中央刻有尺寸恰当的瓶形空洞，其中心线偏右侧大约1cm处设有红外接收管9，此管左右两侧又各有一相同接收管23、24，三管与传送带对面红外发送管19、21、22对称分布。暗箱另一侧中部设有三个日光灯2，前方装有滤光板3，通电后灯管发出的光经滤光板3后变得均匀。其中，红外接收管9、23、24、机械夹持装置18、20、步进电机16、显示模块14、报警模块11、通信模块13均通过电线与采集模块15相连。上位机软件12根据判别算法识别相机采集到的图像显示处理结果并形成决策，发出报警剔除不合格品。

一种基于图像处理的瓶装液体杂质检测系统的检测方法，步骤如下：

Step1：利用CMOS工业相机采集待检品图像并存储；

Step2：利用种子填充算法把图像从背景中分割出来；

Step3：通过模糊操作对图像进行滤波处理；

Step4：通过二值化处理提高图像对比度，使高于一定灰度的杂质清晰可见；

Step5：腐蚀操作和膨胀操作使图像区域全部连接，去除细小噪声；

Step6：轮廓提取并对杂质轮廓进行绘制；

Step7：统计杂质数量并显示结果。

针对本发明做一下几点说明：

1、暗箱1内部包括日光灯、滤光板、红外对管、机械夹持装置、图像分割板、遮光板和工业相机。

2、Step6中利用OpenCV图像处理函数库中的cvFindContours()函数把二值化图像中的杂质轮廓储存起来，然后把储存起来的杂质轮廓用矩形框标记出来。

3、图像分割板8的设计有效的把瓶子从背景中分割出来。

4、位于中央的红外对管9、19的对管中心线刚好与杂质瓶瓶盖5相切时触发上位机软件12控制相机10拍照，此时所拍画面刚好涵盖除去瓶盖以外的瓶身整体，并利用算法控制瓶盖通过这一过程中相机不再拍照。

5、机械夹持装置18用于夹起待测瓶翻转使瓶底杂质悬浮，机械夹持装置20用于将经算法判定后不合格的产品放入分离轨道7。

6、遮光板25、26用于避免外部干扰光线进入暗箱内部，影响拍照效果。

结合图1、图2、图3和图4，所述的上位机软件12具体分为两种工作方式：

1)自动模式：传送带4将瓶装杂质液体17送往拍照暗箱1内部，当瓶装液体17到达暗箱1机械夹持装置18位置时，瓶子会被夹起进行翻转动作使所有杂质都悬浮于瓶内，之后被放下继续向前传送。相机10前方有一带瓶形空洞的图像分割板8，刚好能够看全杂质液体瓶17抛除瓶盖5以外的轮廓。当瓶盖5遮挡住红外发送管19所发出的信号时，红外接收管9接收不到信号，产生电平变化并被采集模块15采集，通过通信模块13传输给上位机。此时触发软件12自动拍照，经一系列算法处理，人机交互界面会分别展示出处理前和处理后的图像，结果显示区域显示是否有杂质，杂质的数量和瓶子的编号。当有杂质时，报警框自动变红，提示有杂质。界面为方便工作人员调试设备和查看结果，更增加了调节阈值功能。在实际中，阈值根据当前的环境可设置成固定值。在一条流水线通过后，上位机软件12会自动统计识别信息，并且保存为文档，方便人员查看处理结果以及了解生产线合格效率。若产品不合格则标定杂质位置和轮廓并由报警模块11发出报警信号，通过夹持装置20放入倾斜的分离轨道7；若合格则直接沿合格品轨道4向前传送。整个检测过程的杂质数量及合格率均会被记录保存，下位机也可通过显示模块14显示处理结果。

2)手动模式：当传送带4将待检测瓶装液体17送到拍照暗箱1，整个瓶身出现在上位机界面时，手动点击拍照按钮进行拍照，之后操作与自动模式类似，此模式可以用来进行参数调试。

图5为本发明检测方法的流程图，步骤如下：

Step1：利用CMOS工业相机采集待检品图像并存储：用安装在暗箱1内部中心线一侧的CMOS工业相机提取一个待检品的透明瓶身图像。

Step2：利用种子填充算法把图像从背景中分割出来，步骤如下：

a)选取一起始种子点，获得基准颜色，将种子点压入堆栈；

b)从堆栈中取出一个像素，依次对该像素的左右连通像素进行填充，并在填充过程中判断每个填充位置的上下两行中相邻像素是否需要填充，将需要填充的相邻像素压入堆栈；

c)对堆栈中的像素进行检查，去除已被填充的像素；

d)重复b)、c)直至堆栈为空。

Step3：通过模糊操作对图像进行滤波处理；这样可以有效的去除图像中的椒盐噪声，滤除不必要的干扰像素从而提高图像处理结果准确度。

Step4：通过二值化处理提高图像对比度；其主要作用是为后续工作打基础，其原理是根据设定好的阈值把图像分成黑白两色，即0与1。这样图像的对比度达到最高，高于一定灰度的杂质变的清晰可见。

Step5：腐蚀操作和膨胀操作；二者结合称之为图像的形态学处理。膨胀操作与腐蚀操作都是针对白色区域，此时瓶身为黑色，所以腐蚀操作可以让黑色瓶身部分区域扩大，膨胀操作与其相反让其收缩，二者结合可以让图像中连通的区域全部连接，并且去除细小噪声，使用中膨胀与腐蚀次数可尝试选择，最好让膨胀次数与腐蚀次数相等，这样可以保证图像在处理后最大程度接近原图效果。

Step6：轮廓提取并对杂质轮廓进行绘制；经过形态学处理后的杂质已经变得清晰可见，并且瓶身已全部连接上保证不被误认为杂质，利用OpenCV图像处理函数库中的cvFindContours()函数把二值化图像中的杂质轮廓储存起来，然后把储存起来的杂质轮廓用矩形框标记出来。

Step7：统计杂质数量并显示结果；运用画灰度明显区域进行画矩形并且统计矩形数量，从而计算出杂质数量。此方案较为合理并且适合实际应用，最终效果可以保证良好的识别度及准确度。

Claims (1)

1.一种基于图像处理的瓶装液体杂质检测系统的检测方法，其特征在于：检测系统包括拍照暗箱、传送带、步进电机、定滑轮、显示模块、报警模块、通信模块、采集模块和上位机；

传送带两端分别和步进电机与定滑轮相连，传送带穿过拍照暗箱，拍照暗箱的传送带进口位置的外侧安装有第一遮光板，拍照暗箱的传送带出口位置的外侧安装有第二遮光板，拍照暗箱的顶部分别安装有第一机械夹持装置和第二机械夹持装置，拍照暗箱的前端内侧安装有工业相机，并且工业相机位于拍照暗箱的中心线位置，工业相机前端安装有图像分割板，图像分割板中央开有瓶形空洞，图像分割板前端安装有红外接收管组，红外接收管组包括第一红外接收管、第二红外接收管和第三红外接收管，第二红外接收管位于拍照暗箱的中心线右侧，第一红外接收管和第三红外接收管分别位于第二中外接收管的两侧，拍照暗箱的后端内侧安装有三个日光灯，三个日光灯前端安装有滤光板，滤光板前端安装有红外发送管组，红外发送管组包括第一红外发送管、第二红外发送管和第三红外发送管，第一红外发送管和第一红外接收管对称安装在传送带两侧，第二红外发送管和第二红外接收管对称安装在传送带两侧，第三红外发送管和第三红外接收管对称安装在传送带两侧；

红外接收管组、第一机械夹持装置、第二机械夹持装置、步进电机、显示模块、通信模块、报警模块分别与采集模块相连，上位机与通信模块相连，上位机接收工业相机采集到的图像；

包括以下几个步骤：

Step1：利用CMOS工业相机采集待检品图像并存储：用安装在暗箱1内部中心线一侧的CMOS工业相机提取一个待检品的透明瓶身图像；

Step2：利用种子填充算法把图像从背景中分割出来，步骤如下：

a)选取一起始种子点，获得基准颜色，将种子点压入堆栈；

b)从堆栈中取出一个像素，依次对该像素的左右连通像素进行填充，并在填充过程中判断每个填充位置的上下两行中相邻像素是否需要填充，将需要填充的相邻像素压入堆栈；

c)对堆栈中的像素进行检查，去除已被填充的像素；

d)重复b)、c)直至堆栈为空；

Step3：通过模糊操作对图像进行滤波处理；这样可以有效的去除图像中的椒盐噪声，滤除不必要的干扰像素从而提高图像处理结果准确度；

Step4：通过二值化处理提高图像对比度；其主要作用是为后续工作打基础，其原理是根据设定好的阈值把图像分成黑白两色，即0与1；这样图像的对比度达到最高，高于一定灰度的杂质变的清晰可见；

Step5：腐蚀操作和膨胀操作；二者结合称之为图像的形态学处理；膨胀操作与腐蚀操作都是针对白色区域，此时瓶身为黑色，所以腐蚀操作可以让黑色瓶身部分区域扩大，膨胀操作与其相反让其收缩，二者结合可以让图像中连通的区域全部连接，并且去除细小噪声，使用中膨胀与腐蚀次数可尝试选择，让膨胀次数与腐蚀次数相等，保证图像在处理后最大程度接近原图效果；

Step6：轮廓提取并对杂质轮廓进行绘制；经过形态学处理后的杂质已经变得清晰可见，并且瓶身已全部连接上保证不被误认为杂质，利用OpenCV图像处理函数库中的cvFindContours()函数把二值化图像中的杂质轮廓储存起来，然后把储存起来的杂质轮廓用矩形框标记出来；

Step7：统计杂质数量并显示结果；运用画灰度明显区域进行画矩形并且统计矩形数量，从而计算出杂质数量；此方案较为合理并且适合实际应用，最终效果可以保证良好的识别度及准确度；

上位机软件具体分为两种工作方式：

1)自动模式：传送带将瓶装杂质液体送往拍照暗箱内部，当瓶装液体到达暗箱机械夹持装置位置时，瓶子会被夹起进行翻转动作使所有杂质都悬浮于瓶内，之后被放下继续向前传送；相机前方有一带瓶形空洞的图像分割板，刚好能够看全杂质液体瓶抛除瓶盖以外的轮廓；当瓶盖遮挡住红外发送管所发出的信号时，红外接收管接收不到信号，产生电平变化并被采集模块采集，通过通信模块传输给上位机；此时触发软件自动拍照，经一系列算法处理，人机交互界面会分别展示出处理前和处理后的图像，结果显示区域显示是否有杂质，杂质的数量和瓶子的编号；当有杂质时，报警框自动变红，提示有杂质；界面为方便工作人员调试设备和查看结果，更增加了调节阈值功能；在实际中，阈值根据当前的环境可设置成固定值；在一条流水线通过后，上位机软件会自动统计识别信息，并且保存为文档，方便人员查看处理结果以及了解生产线合格效率；若产品不合格则标定杂质位置和轮廓并由报警模块发出报警信号，通过夹持装置放入倾斜的分离轨道；若合格则直接沿合格品轨道向前传送；整个检测过程的杂质数量及合格率均会被记录保存，下位机也可通过显示模块显示处理结果；

2)手动模式：当传送带将待检测瓶装液体送到拍照暗箱，整个瓶身出现在上位机界面时，手动点击拍照按钮进行拍照，之后操作与自动模式类似，此模式可以用来进行参数调试。