CN109709108B

CN109709108B - 一种瓶装透明液体杂质检测设备及方法

Info

Publication number: CN109709108B
Application number: CN201910141804.6A
Authority: CN
Inventors: 章逸丰; 赵永生; 杨志昆; 毛义华; 张德星; 屈帅龙; 陈福隆; 曾骥; 曹慧赟; 李祖晨
Original assignee: Tianjin Jiazi Robot Technology Co ltd; Binhai Industrial Technology Research Institute of Zhejiang University
Current assignee: Tianjin Jiazi Robot Technology Co ltd; Binhai Industrial Technology Research Institute of Zhejiang University
Priority date: 2019-02-26
Filing date: 2019-02-26
Publication date: 2023-12-05
Anticipated expiration: 2039-02-26
Also published as: CN109709108A

Abstract

本发明提出一种瓶装透明液体杂质检测设备及方法，使瓶体旋转，旋转停止后，连续拍照获取瓶中液体惯性运动的动态帧图，用以跟踪可疑杂质的运动轨迹，经过图像处理，初步判定是否为合格品；完成拍照后，使瓶体翻转180度，连续拍照获取瓶中液体惯性运动的动态帧图，用以跟踪可疑杂质的运动轨迹，经过图像处理，进一步判定是否为合格品；根据杂质判定结果，将合格品与不合格品分离。本发明以瓶体旋转为主要检测手段，瓶体翻转为补充检测手段，通过跟踪旋转后可疑杂质运动轨迹特点判定是否为杂质，然后通过瓶体翻转再次确认是否为杂质；两步检测确定不合格瓶体，提升判定准确率。

Description

一种瓶装透明液体杂质检测设备及方法

技术领域

本发明属于杂质检测领域，特别是涉及到一种用于瓶装透明液体的杂质检测设备以及检测方法。

背景技术

透明液体，如饮料，酒，药剂等，若这些液体中存在杂质或异物，会对人体造成很大伤害。目前，透明液体检测生产线上主要还是通过人工检测，人工检测存在漏检误检率高，工作效率低等问题。也有部分生产线采用了机器视觉检测，但准确率不高，实用性不强。

发明内容

本发明提供了一种瓶装透明液体杂质检测设备及方法，通过跟踪瓶体旋转以及翻转后液体内可疑杂质运动轨迹特点判定是否为杂质，提升判定准确率。

为达到上述目的，本发明的技术方案是这样实现的：

一种瓶装透明液体杂质检测设备，包括支撑架，以及设置于支撑架的移动机构、与移动机构连接的夹取机构、对应夹取机构设置的视觉检测机构；所述移动机构、夹取机构、视觉检测机构连接PLC控制器，所述视觉检测机构的输出连接上位机处理器；

所述夹取机构设有旋转单元、夹取单元，所述夹取单元夹取待检瓶，通过旋转单元使待检瓶旋转；

所述移动机构设有翻转单元，所述翻转单元与所述夹取机构连接，带动夹取机构翻转，从而使待检瓶翻转；

所述视觉检测机构设有拍摄设备，所述拍摄设备用于获取待检瓶中液体惯性运动的连续的动态帧图，并输出至上位机处理器。

进一步的，所述支撑架设有底座以及垂直于底座的背座；所述移动机构包括设置于底座的升降单元以及由升降单元带动上下移动的移动平台；所述移动平台固定设置在斜边在下的三角支撑架上，所述三角支撑架的竖直直角边设有滑块，对应滑块的竖直滑轨固定在所述背座上；所述三角支撑架的另一条水平直角边固定有水平滑轨，移动平台对应水平滑轨设有滑块；所述移动平台还设有水平移动单元，所述水平移动单元设置在所述背座上，带动移动平台顺水平滑轨前后移动；

所述移动平台上沿水平滑轨的滑动方向固定有若干个第一支撑架；第一支撑架尾部设有贯穿孔；

所述翻转单元设置于所述移动平台上，包括第一电机，第一主动轮、第一从动轮，第一同步带，翻转轴；所述翻转轴通过所述贯穿孔贯穿所有第一支撑架，并通过轴承固定；第一主动轮通过第一同步带与第一从动轮连接；第一从动轮被翻转轴贯穿，通过轴承固定在翻转轴上；所述电机带动第一主动轮转动，第一主动轮转动通过第一同步带带动第一从动轮转动，第一从动轮带动翻转轴翻转；

所述夹取机构设置在所述翻转轴上。

更进一步的，所述升降单元和所述水平移动单元都是由气泵驱动的移动结构，包括固定端和可移动端；所述升降单元的固定端固定在所述底座上，可移动端固定在移动平台上；所述水平移动单元的固定端固定在所述背座上，可移动端固定在移动平台上。

进一步的，所述夹取机构中，夹取单元包括限位支架、气缸、拉杆、拉杆固定块、连杆、夹爪、夹爪侧固定板；所述夹爪为两个，活动设置在夹爪侧固定板上，每个夹爪对应设置一个连杆，两个连杆都与拉杆通过拉杆固定块活动连接，所述气缸控制拉杆上下移动，拉杆上下移动的幅度由限位支架限位实现；

旋转单元包括第二电机、传动轴、第二主动轮、第二同步带、第二从动轮、旋转杆；所述旋转杆上部与第二从动轮连接，下部和夹爪侧固定板连接，所述旋转杆的连接通过轴承固定套实现；所述第二电机通过传动轴控制第二主动轮转动，第二主动轮通过第二同步带带动第二从动轮转动，第二从动轮带动旋转杆旋转，使夹爪侧固定板旋转，从而带动夹爪夹取的待检瓶旋转。

进一步的，所述视觉检测机构的拍摄设备为500万像素高分辨率的工业相机，还设有第一光源、第二光源；所述第一光源通过光源升降单元调整位置对应夹取机构所夹取的待检瓶翻转前的位置，所述第二光源设置在支撑架的顶部支撑架上，位置对应夹取机构所夹取的待检瓶翻转后的位置；所述相机设置在第二支撑架上，所述第二支撑架固定在翻转单元上，所述相机随夹取机构一起翻转，始终对准夹取机构的夹爪。

更进一步的，所述夹取机构为若干个，所述视觉检测机构中的拍摄设备为若干个，拍摄设备的数量与夹取机构的数量按比例对应。

本发明的另一方面，还提供了一种瓶装透明液体杂质检测方法，包括：

S1、待检瓶到位后，使瓶体旋转；

S2、旋转停止后，连续拍照获取瓶中液体惯性运动的动态帧图，用以跟踪可疑杂质的运动轨迹，经过图像处理，初步判定是否为合格品；

S3、完成拍照后，使瓶体翻转180度，连续拍照获取瓶中液体惯性运动的动态帧图，用以跟踪可疑杂质的运动轨迹，经过图像处理，进一步判定是否为合格品；

S4、瓶体复位，根据杂质判定结果，将合格品与不合格品分离。

进一步的，步骤S2和S3中所述判定合格品的具体方法为：

S11、图像获取，借助函数指针将拍照得到的图像数据依次传递给检测算法；

S12、图像预处理，将目标图像从整张图像中提取出来，滤除高频噪声；

S13、运动物体检测，采用连读三张图像差分的方式进行预检测，并进一步消除噪声产生的干扰像素，提取出当前图像中所有的运动物体；

S14、运动物体预测，采用卡尔曼滤波算法，对疑似杂质进行运动建模和跟踪预测；

S15、杂质检测；得到运动物体之后，利用杂质的尺寸大小、运动速度和方向等信息区分物体是杂质还是气泡或者噪声；

S16、合格品判断；当获取到杂质观测序列之后，采用多帧观测数据融合，通过统计频率直方图排除干扰数据的影响，判断是否为合格品。

更进一步的，步骤S13的具体方法为：

S21、首先相邻两帧图像做差分，然后两张差分图像做与运算，得到连续三帧图像中共同运动的物体像素；

S22、得到运动像素之后，设定阈值将图像二值化，然后利用形态学腐蚀运算对二值化图像进行腐蚀运算，进一步消除噪声产生的干扰像素；

S23、对图像进行连通区域分析，借助行优先的搜索算法将连通区域内的运动像素合并为同一个物体，进而提取出当前图像中所有的运动物体。

更进一步的，步骤S14中，有多个杂质时，将相邻两帧杂质运动的距离作为优化目标，依据匹配正确的情况下杂质的运动距离应该是最小的情况，实现目标跟踪，结合卡尔曼滤波，实现对多个杂质的稳定跟踪和状态估计以及预测。

与现有技术相比，本发明具有如下的有益效果：

1、整套设备设计紧凑且可实现升降、平移、旋转、翻转等多自由度运动，灵活性强；

2、通过夹取单元的结构设计，即使系统突然断电或断气，夹紧的夹爪是最稳定的状态，此时拉杆没有一个垂直向上的作用力能让夹爪张开。因而实现了夹爪在断电或断气情况下的自锁功能，保障瓶体的安全；

3、以瓶体旋转为主要检测手段，瓶体翻转为补充检测手段，通过跟踪旋转后可疑杂质运动轨迹特点判定是否为杂质，然后通过瓶体翻转再次确认是否为杂质；两步检测确定不合格瓶体，提升判定准确率。

附图说明

图1是本发明实施例的整体结构示意图；

图2是本发明实施例的移动机构的侧视结构示意图；

图3是本发明实施例的移动平台的结构示意图；

图4是本发明实施例的夹取机构的剖面示意图；

图5是本发明实施例的夹取机构夹紧的剖面示意图。

其中：

1、底座； 2、背座； 3、控制箱；

4、顶部支撑架； 5、移动机构； 6、夹取机构；

7、第一光源； 8、第二光源； 9、相机；

10、第二支撑架； 11、光源升降单元； 12、垂直拖链；

13、水平拖链； 14、第一电机； 15、第一主动轮；

16、第一同步带； 17、第一从动轮； 18、第一支撑架；

19、升降单元； 20、三角支撑架； 21、滑块；

22、水平滑轨； 23、水平移动单元； 24、移动平台；

25、气缸； 26、限位支架； 27、拉杆；

28、拉杆固定块； 29、连杆； 30、夹爪；

31、夹爪侧固定板； 32、第二电机； 33、传动轴；

34、第二主动轮； 35、第二同步带； 36、第二从动轮；

37、旋转杆； 38、轴承固定套。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

如图1所示，本发明设有呈半工字型的支撑架，包括底座1、背座2及顶部支撑架4、控制箱3。在支撑架上设有移动机构5、夹取机构6、视觉检测机构；移动机构5与夹取机构6连接，视觉检测机构对应夹取机构6设置；所述移动机构5、夹取机构6、视觉检测机构通过控制箱3连接PLC控制器，所述视觉检测机构的输出连接上位机处理器；

如图2、3所示，移动机构5包括升降单元19、水平移动单元23、移动平台24、第一支撑架18等，升降单元19底部固定在支撑架底座上，通过气泵驱动上下移动，带动移动平台上下移动；移动平台由升降单元19带动上下移动；所述移动平台固定设置在斜边在下的三角支撑架20上，由三角支撑架20支撑，在三角支撑架20的一条竖直直角边安装滑块21，对应滑块21的竖直滑轨固定在支撑架背座2，可使三角支撑架以及其上的移动平台随竖直滑轨上下移动；

在三角支撑架20的另一条水平直角边安装水平滑轨22，移动平台24对应水平滑轨22设有滑块，可随水平滑轨22前后移动；

和升降单元19一样，水平移动单元23也是由气泵驱动；

在移动平台的下面，水平移动单元23垂直固定于设备背座2所在平面，一端固定在设备背座2上，另一可移动端固定在移动平台24上，气泵驱动移动平台24朝与背座2平面垂直的方向水平移动。

移动平台24上沿水平滑轨22滑动方向固定有若干个第一支撑架18；

第一支撑架18，可随移动平台上下移动，可随移动平台24在与设备背座2平面垂直的方向上水平移动；实现了在水平和垂直两个自由度的移动，提高系统灵活性；

第一支撑架18尾部有贯穿孔；

移动平台24上固定有一个第一电机14和第一主动轮15，如图2；

翻转单元包括第一电机14，第一主动轮15、第一从动轮17，第一同步带16，翻转轴；

翻转轴通过贯穿孔贯穿若干个第一支撑架18，并通过轴承固定，可保证翻转轴翻转；

第一主动轮15通过第一同步带16与第一从动轮17连接；第一从动轮17被翻转轴贯穿，通过轴承固定在翻转轴上，可通过第一电机14带动第一主动轮15转动，进而带动翻转轴实现180度翻转；

翻转轴上并排固定若干个夹取机构6和若干个第二支撑架10；

如图4、5所示，夹取机构6包括第二电机32、传动轴33、第二主动轮34和第二从动轮36、第二同步带35、旋转杆37、轴承固定套38、夹爪30、夹爪侧固定板31、气缸25、限位支架26、拉杆27、拉杆固定块28、连杆29等；

夹取机构6的左右两个夹爪30分别由左右两个连杆29固定在拉杆固定块28上；

夹爪30由气缸25驱动开合，夹取及放下瓶体；

气缸25可驱动拉杆27上下移动，带动左右夹爪30的两个连杆29角度的变化，实现两个夹爪30的张开与关闭。当左右两个连杆29在一个水平线上，即两连杆29形成的角度为180度时，夹爪30是处于夹紧状态；如图5所示，当两个连杆29形成角度小于180度时，夹爪30处于张开状态。

拉杆27上下移动的幅度由限位支架26限位实现。

夹爪30设计的创新点：此结构的设计，即使系统突然断电或断气，夹紧的夹爪30是最稳定的状态，此时拉杆27没有一个垂直向上的作用力能让夹爪30张开。因而实现了夹爪30在断电或断气情况下的自锁功能，保障瓶体的安全。

旋转杆37上部与第二主动轮34连接，下部和夹爪侧固定板31连接，连接方式都是通过轴承固定套38实现；

第二电机32启动，传动轴33旋转，驱动第二主动轮34和第二从动轮36旋转，通过一系列传动，实现夹取机构的旋转动作；

夹爪30内侧贴有防滑层，防止夹取的瓶体滑落。

视觉检测单元包括相机、光源；

如图1所示，第二支撑架10末端固定相机9，相机9面朝夹爪30，在夹爪30正前方。

两个夹取机构6配备一台相机9，相机9位置与夹爪30相对固定。

相机30分别连接至上位机处理器，第一光源7可通过光源升降单元11沿着光源固定架上下移动，用以与相机9配合，获取待检瓶图像信息；

当待检瓶翻转180度后静止，此时相机9拍摄需要启动第二光源8。

本发明设计的杂质检测方法包括以下步骤：

1、在待检区域入口处安装有计数器，传送带将待检瓶传送到待检区域，当计数器识别一组待检瓶均已到位时，由计数器发出信号，传送带停止。

2、传送带停止后，触发夹取机构6的气缸25启动，夹爪30夹取待检区域瓶体；

3、夹爪30确认瓶体夹紧后，启动夹取机构的第二电机32，使瓶体旋转；

4、旋转电机停止后，由PLC发送指令，第一光源7通过光源升降单元11调整到位，触发相机9连续拍照获取瓶中液体惯性运动的动态帧图，通过跟踪可疑杂质的运动轨迹，经过图像处理，初步判定是否为杂质；

5、待相机9完成拍摄后，启动第一电机14，使组式瓶体及相机9绕翻转轴翻转180度，第一电机14停止，由PLC发送指令，触发相机9连续拍照获取瓶中液体惯性运动的动态帧图，用以跟踪可疑杂质的运动轨迹，经过图像处理，进一步确定是否是杂质；

6、待相机9完成拍摄，启动第一电机14，将组式瓶体复位到传送带，启动传送带，根据杂质判定结果，将合格品与不合格品分离。

其中应用到的视觉检测的方法具体如下：

本液体杂质检测方法使用机器视觉和机器学习相结合的方法，通过对连续多帧图像数据进行处理，可实现对无色/有色/渐变色透明液体内微小半透明杂质的在线检测。有效的图像预处理算法保证了本方法对微小杂质的检测能力；机器学习方法则提升了检测的准确性和鲁棒性。具体步骤为：

1.图像采集。采用500万像素高分辨率工业相机对旋转后的待测液体进行连续观测，借助函数指针将图像数据依次传递给检测算法；

2.图像预处理。首先将采集的图像数据由RGB空间转换到Gray空间，然后借助感兴趣区域将目标图像从整张图像中提取出来，以提升后续算法的检测质量和效率。

3.图像预处理。为排除观测噪声对运动物体检测的影响，本方法采用高斯滤波算法将图像中的高频噪声滤除，

I_G(m,n)＝G(i,j)*I_raw(i,j),i＝{m-1,m,m+1},j＝{n-1,n,n+1}

其中I_raw为高斯滤波之前的数据，I_G为高斯滤波之后的数据，G(i,j)＝为高斯滤波系数，(i,j)为像素的横纵坐标。

4.运动物体检测。针对液体内杂质运动速度慢、方向随机的特点，本方法采用连读三张图像差分的方式进行预检测，首先相邻两帧图像做差分，然后两张差分图像做与运算，得到连续三帧图像中共同运动的物体像素。

I_diff1＝I_G2-I_G1

I_diff2＝I_G3-I_G2

I_move＝I_diff1∩I_diff2

5.运动物体检测。得到运动像素之后，设定阈值将图像二值化。然后利用形态学腐蚀运算对二值化图像进行腐蚀运算，进一步消除噪声产生的干扰像素，提升算法的抗干扰能力。

6.运动物体检测。对图像进行连通区域分析，借助行优先的搜索算法将八连通区域内的运动像素合并为同一个物体，进而提取出当前图像中所有的运动物体。

7.运动物体预测。通过步骤1-6，本方法可以在感兴趣区域中得到全局的疑似杂质运动物体，该过程不依赖于任何先验知识。但是在高斯滤波和二值化的过程中，面向全局像素操作，虽然能有效滤除噪声，但是导致本方法对微小半透明状的杂质检测性能下降。借助卡尔曼滤波算法，对疑似杂质进行运动建模和跟踪预测，可以将全局检测转化为局部检测，有助于进一步优化参数，提升检测效率和准确率。与此同时，物体的运动信息也是进一步判断物体是否为杂质的重要依据。

物体的运动模型：

即

X(n+1)＝AX(n)+BU(n)+W(n)

其中B＝[0]，W(n)为系统噪声。

观测方程为：

即

Z(n)＝HX(n)+V(n)

其中V(n)为观测噪声。

根据卡尔曼滤波可知，协方差矩阵更新方程为：

P(n|n-1)＝AP(n-1|n-1)A^T+Q

P(n|n)＝(1-Kg(n)H)P(n|n-1)

状态更新方程为：

X(n|n)＝X(n|n-1)+Kg(n)(Z(n)-HX(n|n-1))

协方差矩阵更新方程和状态更新方程依次迭代即可实现卡尔曼滤波，完成对状态的估计和预测。

当有多个杂质时，仅仅依靠卡尔曼滤波无法实现对运动物体的有效跟踪和预测，本方法针对杂质缺少颜色、纹理特征的特点，参照光流计算的原理和方法，提出了基于最优化的杂质跟踪算法。将相邻两帧杂质运动的距离作为优化目标，假定匹配正确的情况下杂质的运动距离应该是最小的一种情况，实现目标跟踪。结合卡尔曼滤波，本方法可实现对多个杂质的稳定跟踪和状态估计以及预测。

8.杂质检测。得到运动物体之后，利用杂质的尺寸大小、运动速度和方向等信息区分物体是杂质还是气泡或者噪声。公式为：

其中x为杂质的特征，θ为待估计的参数，h_θ(x)为区别杂质、气泡噪声的概率，当h_θ(x)>0.5是判断为杂质。

9.合格品判断。当获取到杂质观测序列之后，本方法采用多帧观测数据融合的方法，通过统计频率直方图的方式排除干扰数据的影响，提升本方法的检测准确率。具体为统计当前28帧观测结果中出现小于10帧、小于15帧和大于15帧观测到杂质数据的概率，并设定阈值判断是否为合格品。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

Claims

1.一种瓶装透明液体杂质检测设备，其特征在于，包括支撑架，以及设置于支撑架的移动机构、与移动机构连接的夹取机构、对应夹取机构设置的视觉检测机构；所述移动机构、夹取机构、视觉检测机构连接 PLC 控制器，所述视觉检测机构的输出连接上位机处理器；

所述视觉检测机构设有拍摄设备，所述拍摄设备用于获取待检瓶中液体惯性运动的连续的动态帧图，并输出至上位机处理器；

所述支撑架设有底座、垂直于底座的背座和顶部支撑架；所述移动机构包括设置于底座的升降单元以及由升降单元带动上下移动的移动平台；所述移动平台固定设置在斜边在下的三角支撑架上，所述三角支撑架的竖直直角边设有滑块，对应滑块的竖直滑轨固定在所述背座上；所述三角支撑架的另一条水平直角边固定有水平滑轨，移动平台对应水平滑轨设有滑块；所述移动平台还设有水平移动单元，所述水平移动单元设置在所述背座上，带动移动平台顺水平滑轨前后移动；

所述夹取机构设置在所述翻转轴上；

所述升降单元和所述水平移动单元都是由气泵驱动的移动结构，包括固定端和可移动端；所述升降单元的固定端固定在所述底座上，可移动端固定在移动平台上；所述水平移动单元的固定端固定在所述背座上，可移动端固定在移动平台上；

所述夹取机构中，夹取单元包括限位支架、气缸、拉杆、拉杆固定块、连杆、夹爪、夹爪侧固定板；所述夹爪为两个，活动设置在夹爪侧固定板上，每个夹爪对应设置一个连杆，两个连杆都与拉杆通过拉杆固定块活动连接，所述气缸控制拉杆上下移动，拉杆上下移动的幅度由限位支架限位实现；

2.根据权利要求 1 所述的检测设备，其特征在于，所述视觉检测机构的拍摄设备为500 万像素高分辨率的工业相机，还设有第一光源、第二光源；

所述第一光源通过光源升降单元调整位置，对应夹取机构所夹取的待检瓶翻转前的位置，所述第二光源设置在顶部支撑架上，位置对应夹取机构所夹取的待检瓶翻转后的位置；所述相机设置在第二支撑架上，所述第二支撑架固定在翻转单元上，所述相机随夹取机构一起翻转，始终对准夹取机构的夹爪。

3.根据权利要求 1 所述的检测设备，其特征在于，所述夹取机构为若干个，所述视觉检测机构中的拍摄设备为若干个，拍摄设备的数量与夹取机构的数量按比例对应。

4.一种采用权利要求 1-3 中任一项所述瓶装透明液体杂质检测设备的检测方法，其特征在于，包括：

S1、待检瓶到位后，使瓶体旋转；

S3、完成拍照后，使瓶体翻转 180 度，连续拍照获取瓶中液体惯性运动的动态帧图，用以跟踪可疑杂质的运动轨迹，经过图像处理，进一步判定是否为合格品；

5.根据权利要求 4 所述的检测方法，其特征在于，步骤 S2 和 S3 中所述判定是否为合格品的具体方法为：

S15、杂质检测；得到运动物体之后，利用杂质的尺寸大小、运动速度和方向区分物体是杂质还是气泡或者噪声；

S16、合格品判断；当获取到杂质观测序列之后，采用多帧观测数据融合，通过统计频率直方图排除干扰数据的影响，判断是否为合格品；

S13 的具体方法为：

6.根据权利要求 5 所述的检测方法，其特征在于，S14 中，有多个杂质时，将相邻两帧杂质运动的距离作为优化目标，依据匹配正确的情况下杂质的运动距离应该是最小的情况，实现目标跟踪，结合卡尔曼滤波，实现对多个杂质的稳定跟踪和状态估计以及预测。