CN101403705A - 生产线异形瓶装液体中的异物机器视觉识别方法及装置 - Google Patents

Abstract

本发明提供了一种生产线异形瓶装液体中的异物机器视觉识别方法，包括以下步骤：1.将异形瓶导入第一检测工位，并将异形瓶倒置，拍摄图像以检测黑色异物；2.将异形瓶导入第二检测工位，异形瓶处于正常位置，拍摄图像以检测白色异物；3.对获得的多帧序列图像进行数字图像跟踪处理获得该异形瓶是否合格的判断结果；4.根据判断结果将不合格的异形瓶从检测流水线中剔除出去。本发明还公开了一种实现该方法的生产线异形瓶装液体中的异物机器视觉识别装置。本发明能实现生产线异形瓶装液体中的异物的自动和快速检测。

Description

生产线异形瓶装液体中的异物机器视觉识别方法及装置

技术领域

本发明属于工业机器视觉检测领域，涉及一种瓶装液体生产、灌装线上的自动检测装置，特别涉及一种生产线异形瓶装液体中的异物机器视觉识别方法及装置。

背景技术

我国是一个酒类、医药、饮料等瓶装产品的生产与消费大国。近年来，随着消费水平的不断提高，美国现行药品生产管理规范(cGMP)以及美国食品及药物管理局FDA标准的推广，在此类行业中，严格按照生产标准操作成为必然。FDA更注重强调可追溯性和可说明性，诠释可靠性、准确性的概念。而目前，国内厂商并没有在PLC软件、远程控制、在线检测等方面很好地理解这一概念。我们应当全面考虑在控制系统中反映工艺状态、工作性能曲线、故障报警和维修检查等功能参数，并且具有设备故障报警记录和统计功能；能够存储主要参数，并能对于当前工艺曲线和内存中的工艺曲线进行搜索；电源设有故障保护，可配有UPS，安全存储数据，并有电源恢复时的安全措施；具有按照工艺要求的连锁功能以及能顾及前后设备的联机性控制等。这必将推动后GMP时代的中国食品、医药机械装备市场向着先进性、可靠性和完整性方向发展。

由于生产工艺或生产环境等方面的原因，酒类、医药、饮料等瓶装产品内可能含有玻璃碎屑、铝屑、橡皮屑、毛发、纤维等异物，这些都对使用者造成极大的危害。因此，对产品内杂质的检测正是保证产品质量的关键环节。然而，长期以来，这种带有高度重复性和智能性的工作在我国行业领域中主要依赖人工肉眼检测，其主观性强，可重复性差，生产效率与检测准确率得不到保证，由此产品召回时有报道，成本居高不下，而进口自动检测设备价格昂贵，技术支持困难，这些都严重制约着食品、医药制造装备的健康发展。特别是各个行业越来越注重产品的个性化包装，各式各样的异形瓶(非规则的圆形瓶)大量使用，丰富了市场，同时也给检测环节提出了更高的要求，而目前国内外各科研单位研发的药品可见异物半自动及全自动检测设备均是针对规则的不同大小的圆形瓶，其检测方法是利用驱动装置驱动圆形瓶加速旋转到设定速度，然后快速制动，拍摄瓶装液体的序列图像并进行分析，若有异物时，给出剔除信号。此外，国内也公开了一些其他类型液体的检测装置，但他们均存在着以下缺点：(1)检测对象要求严格。由于该类检测装置采用了旋转-急停-拍摄-分析的检测方法，使得该方法只适用于圆柱状瓶装的液体，在高速沿瓶体中轴线旋转过程中不会产生气泡，而对于扁平状异形瓶时，经过实验，沿中轴线旋转则会产生大量气泡，这必将影响系统的检测精度，增大误检率。(2)机械运动平稳性差。由于在检测过程中每个瓶子都需要高速旋转、急停、拍照等工序，系统机构复杂且易出现整机震动等，运行稳定性差。(3)检测速度慢。对于需急停拍摄检测的装置，为降低系统由于急停所带来的转动冲量对相机拍摄的影响，工作时的转动速度不可能太快，导致检测速度较慢。因此，异形瓶装产品生产厂家迫切需要一种高速度、高精度、高度自动化的自动灯检设备以代替人工检测。

发明内容

本发明解决的技术问题是，克服现有异形瓶异物检测中存在的人工检测效率低、可重复性差、漏检率高、精度低、检测人员容易疲劳等问题，提供一种生产线异形瓶装液体中的异物机器视觉识别方法及装置。

为解决上述技术问题，本发明所采用的技术方案为：

一种生产线异形瓶装液体中的异物机器视觉识别方法，其特征在于，包括以下步骤：

A)将异形瓶导入第一检测工位，并将异形瓶倒置，在背部给光的条件下跟踪拍摄多帧序列图像，用以检测异形瓶中的黑色异物；

B)将异形瓶导入第二检测工位，在该第二检测工位，异形瓶已转回到正常位置，在底部给光的条件下跟踪拍摄多帧序列图像，用以检测异形瓶中的白色异物；

C)对获得的多帧序列图像进行数字图像跟踪处理以及帧间对比，区分出是异形瓶瓶壁的瑕疵还是液体中的异物，并给出该异形瓶是否合格的判断结果；

D)根据所述的判断结果将不合格的异形瓶从检测流水线中剔除出去。

根据权利要求1所述的生产线异形瓶装液体中的异物机器视觉识别方法，其特征在于，所述的将异形瓶倒置的过程分为三个阶段：(a)将异形瓶从速度为0开始以加速度32.7rad/s²匀加速到3.27rad/s再保持，共旋转75度，(b)以加速度12rad/s²匀减速至0.87rad/s再保持该速度转动，共转动30度，(c)以加速度24rad/s²匀加速至3.27rad/s，再保持该速度匀速翻转0.2s，再以加速度-32.7rad/s²减速至0，共旋转75度。

一种生产线异形瓶装液体中的异物机器视觉识别装置，其特征在于，包括主旋转工作台、传送带、旋转绞龙、进瓶星轮、双头异形瓶夹持手爪、高速摄像机、可旋转摆臂、出瓶星轮、拨叉、导向星轮、次品传送轨道和合格品传送轨道；

所述的双头异形瓶夹持手爪设置在所述的主旋转工作台的圆周位置并随主旋转工作台一起旋转，所述的双头异形瓶夹持手爪与异形瓶翻转机构连接，所述的异形瓶翻转机构按照在主旋转工作台上；所述的高速摄像机设置在所述的可旋转摆臂上；所述的主旋转工作台和可旋转摆臂的旋转轴线重合，即可沿同一轴线分别旋转；

所述的传送带、旋转绞龙、进瓶星轮、主旋转工作台和出瓶星轮依次配合连接，将异形瓶从所述的传送带导入，并由所述的出瓶星轮导出；

所述的合格品传送轨道通过导向星轮与所述的出瓶星轮配合连接；所述的次品传送轨道与所述的出瓶星轮配合连接；用于分流正品和次品的所述拨叉设置在导向星轮和出瓶星轮之间；

所述的可旋转摆臂和高速摄像机形成的机构为2套，分别设置在所述主旋转工作台的第一检测工位和第二检测工位上，在第一检测工位上，与所述高速摄像机对应的光源为背部光源；在第二检测工位上，与所述高速摄像机对应的光源为底部光源。

所述的异形瓶翻转机构包括旋转连杆和用于驱动旋转连杆转动的驱动轮；所述的旋转连杆一端连接所述的双头异形瓶夹持手爪，另一端通过直齿圆锥齿轮与所述的驱动轮配合连接；所述的旋转连杆由设置在所述的主旋转工作台圆周上的通孔限位。

所述的双头异形瓶夹持手爪由两个相同的手爪组成，每一个手爪的结构为：包括夹持左手爪、夹持右手爪、设置在夹持左手爪和夹持右手爪之间的动臂隔板、连接夹持左手爪的夹持手爪从动臂以及连接夹持右手爪的主动臂，所述夹持手爪主动臂和夹持手爪从动臂之间通过齿轮啮合连接，所述的夹持手爪主动臂还与旋转连杆的一端连接，旋转连杆的另一端与旋转凸轮连接。

其特征在于，所述的夹持手爪主动臂与夹持手爪从动臂之间设置有拉力弹簧。

每一个所述的可旋转摆臂上设置有2个高速摄像机。

本发明所具有的有益效果有：

与现有技术相比，本发明的有益效果具体体现在：

1、有效填补了国内没有生产线异形瓶装液体中的异物机器视觉识别装置的空白，为以后研发新产品提供了新想法，新思路。

2、检测精度高。本发明采用两个检测工位分别逐瓶检测可见白色异物和黑色异物，利用摄像机先进的成像放大技术，数字图像处理方法，可以检测到肉眼所不能见的微小颗粒，如：玻璃屑、铝屑、毛发、漂浮物等，并将它们无一遗漏的检查出来，保证了出厂产品的质量。

3、检测速度快。在线全自动灯检装置克服了人工灯检需要搬运、手动抽取、标记等繁琐的程序，对杂质进行分类检测，简化了图像处理算法，提高了检测速度。

4、可移植性、适应性强。增加摄像机头数以及夹持手爪，以及对系统参数进行相应的修改，就可提高检测速率，并且对异形瓶装液体的浓度、颜色，瓶子的颜色、形状不敏感，具有较强的适应性。

5、安全洁净生产。本装置能自动完成产品检测，并对不合格品进行自动剔除，实现了无人操作，真正满足FDA标准中的在线检测，无需人工干预。

6、节省人力资源成本。将大量灯检员工从枯燥、重复的劳动中解脱出来，提高了生产效率，解放了人力资源。

本装置采用了机械手翻转、相机跟踪拍摄的设计思路，克服现有检测技术不适用于异形瓶装液体检测的缺点；本装置适用于现有药品、饮料、酒液等圆柱状或异形瓶装液体可见异物的检测，主要在于采用了瓶体侧翻转方式，避免产生大量气泡。本发明应用范围广、自动化程度高。

附图说明

图1为高速旋转式生产线异形瓶中的异物检测装置结构图(俯视)；

图2为高速旋转式生产线异形瓶中的异物检测装置结构旋转剖视图；

图3为异形瓶侧翻转机构局部视图；

图4为异形瓶侧翻转机构翻转时序图；

图5为异形瓶机械夹持手爪局部视图；

图6为异形瓶液体中异物检测流程图。

图中标号说明：

1、金属壳体          2、旋转绞龙             3、传送带

4、异形瓶            5、进瓶星轮             6、双头异形瓶夹持手爪

7、背部光源           8、光电开关              9、黑色异物检测工位拍摄初始位置

10、高速摄像机        11、黑色异物拍摄终了位置

12、白色异物检测工位的拍摄初始位置            13、可旋转摆臂

14、主旋转工作台      15、底部光源            16、白色异物拍摄终了位置

17、保护隔板          18、合格品传送轨道

19、导向星轮          20、次品传送轨道        21、拨叉

22、出瓶星轮          23、主旋转工作台伺服驱动系统

24、侧翻转机构        25、可旋转摆臂伺服驱动系统

26、操作面板          27、直齿圆锥齿轮        28、直齿圆锥齿轮

29、圆锥齿轮伺服电机  30、夹持手爪从动臂

31、拉力弹簧          32、夹持左手爪          33、夹持右手爪

34、动臂隔块          35、夹持手爪主动臂

36、旋转凸轮          37、旋转拉杆

具体实施方式

以下结合附图对本发明作进一步说明。

实施例1：

本发明装置的主体部分位于图1所示的一个封闭的隔光机身1内。机械传动部分主要包括：进瓶机构、侧翻转机构24、主旋转工作台14、出瓶机构等。

其各部分作用与功能如下：

如图1所示，进瓶机构包括旋转绞龙2，传送带3和进瓶星轮5。当灯检装置上电以后，异形瓶4在传送带3上一个紧挨着一个进入旋转绞龙2，异形瓶被旋转绞龙2等间距的分隔进入进瓶星轮5，进瓶星轮5与主旋转工作台14之间采用切线式衔接，其切线速度保持相等，使得夹持手爪可以顺畅并准确的夹持住异形瓶。当一组双头异形瓶夹持手爪6都夹住异形瓶之后，侧翻转机构24开始翻转，翻转角度、速度以及翻转时序图如图4所示。由于夹持手爪安装在主旋转工作台14上，因此，侧翻转机构在翻转异形瓶的同时，随着主旋转工作台一起。当侧翻转机构将异形瓶翻转180度的同时，触发光电开关8，即到达黑色异物检测工位(即第一检测工位)的拍摄初始位置9，控制器启动高速摄像机10跟踪拍摄异形瓶并到达拍摄终了位置11，在跟踪拍摄过程中，背部光源7与高速摄像机是同步移动。图像处理系统对拍摄的序列异形瓶图像进行数字处理，检测液体中的黑色异物(如毛发，绒渣等)。异形瓶夹持手爪离开黑色异物检测工位拍摄终了位置11后，侧翻转机构继续沿着相同的方向侧翻，并随着主旋转工作台14的旋转到达白色异物检测工位(即第二检测工位)的拍摄初始位置12，控制器启动高速摄像机10跟踪拍摄异形瓶并到达拍摄终了位置16，在跟踪拍摄过程中，底部光源15与摄像机是同步移动的。图像处理系统对拍摄的序列异形瓶图像进行液体中白色异物(如玻璃屑等)的检测。两个检测工位的摄像机组及光源被固定安装在可旋转摆臂13上，而可旋转摆臂13由安装在金属壳体1内顶部的伺服电机25所驱动。异形瓶夹持手爪离开白色异物检测工位的拍摄终了位置16后，进入出瓶机构，该机构包括出瓶星轮22，导向星轮19，拨叉21和保护隔板17组成。当夹持手爪中异形瓶与出瓶星轮22相切时，夹持手爪松开，异形瓶随着出瓶星轮22旋转，当该瓶为不合格品时，拨叉21顺时针旋转相应角度，则该瓶随着传送带进入次品轨道20，若为合格品，拨叉21不动，异形瓶随着导向星轮19和传送带进入合格品传送轨道18。因此，拨叉21会根据异形瓶的合格与否来回的拨动，拨叉由伺服电机驱动。

图2为俯视图1的旋转剖视图。主旋转工作台14由底部伺服电机23驱动，上电后以顺时针方向进行连续旋转(俯视)运动，侧翻转机构24被安装在主旋转工作台14上，因此，异形瓶在侧翻转的同时也跟随着主旋转工作台14作顺时针旋转。黑色异物检测工位摄像机组及背部光源7，白色异物检测工位及底部光源15被固定安装在可旋转摆臂13上，而可旋转摆臂13由安装在金属壳体1内顶部的伺服电机25所驱动，旋转摆臂13和主旋转工作台14是分别由不同的伺服电机驱动，它们的旋转速度及运动参数由操作面板26输入设定，一旦设定，一直以该模式运行，直到下一次设定为止。

图3是侧翻转机构24的局部视图。翻转主要是由一对相互啮合的直齿圆锥齿轮27，28旋转实现，他们被固定安装在主旋转工作台14上。圆锥齿轮28由伺服电机29驱动旋转。

图4为侧翻转机构24的翻转时序图。为尽量避免异形瓶在翻转过程中由于震荡而产生大量气泡，本发明设计了一种三段式翻转方式。第一阶段，快速翻转阶段(t₀-t₂)，翻转角度约为75度，持续时间约0.3s，t₀时刻，侧翻转机构从0开始以加速度32.7rad/s²匀加速0.1s至t₁，t₁-t₂以3.27rad/s的速度匀速翻转0.2s。第二阶段为低速翻转阶段(t₂-t₄)，翻转角度约为30度，持续时间约为0.9s，侧翻转机构从t₂开始以加速度12rad/s²匀减速0.2s至t₃，t₃-t₄以0.87rad/s的速度匀速翻转0.7s。第三阶段，快速翻转阶段(t₄-t₇)，翻转角度75度，持续时间约0.4s，侧翻转机构从t₄开始以加速度24rad/s²匀加速0.1s至t₅，t₅-t₆以3.27rad/s的速度匀速翻转0.2s，t₆-t₇以加速度32.7rad/s²减速至0。

图5是异形瓶夹持手爪的结构示意图。左右手爪32，33均为橡胶制成，当手爪需要打开时，伺服电机驱动旋转凸轮36顺时针旋转，由此旋转拉杆37带动主动臂35一起作顺时针旋转，而主动臂35和从动臂30之间采用齿啮合传动，因此，在主动臂35旋转的同时，从动臂30也同时被啮合传动而打开。为保证夹持手爪夹持可靠，特增加了一拉力弹簧31，考虑到当夹持手爪没有夹持异形瓶的时候，拉力弹簧不至于松弛，也设置了一动臂隔块34。

图6为异形瓶液体中异物检测流程图。由高速摄像机10获取的序列图像帧0至帧n，根据检测速度和精度要求，n值可以选取2～5。为保证异形瓶异物检测的可靠度，本装置选择拍摄帧0至帧5共6帧图像，也就是高速摄像机对每一个异形瓶从拍摄初始位置到拍摄终了位置共计6帧。首先图像处理装置对获取的相邻两帧图像进行差分处理，再应用PointFilter(点滤波)滤波处理差分处理后的差值图以得到序列增强图，然后应用脉冲耦合神经网络(PCNNs)对增强图中的异物斑点进行分割提取，判断异物在图像中的位置是否改变，而且改变的范围是否在设定要求之内，若超出设定范围，则图像处理装置给出瓶机构发出剔除信号。

本发明的具体检测过程如下：

本发明利用双头夹持手爪抓瓶-三段式侧翻转-翻转到位后跟踪拍摄多帧异形瓶图像，对所得序列图像分析处理，判断瓶装液体中是否含有可见异物，并对产品进行分类。对于类型复杂多样的可见异物，根据其成像特性，可分为黑色和白色两大类，本发明装置根据两类异物类型设置了两个检测工位，两个检测工位均由机械手、翻转机构、光电开关、摄像机、光源等组成，结构类似，但光源照明方式不同，黑色异物检测工位采用背部给光方式，白色异物检测工位采用底部给光方式。该装置工作步骤如下：

步骤1，异形瓶在传送带上紧挨着进入旋转绞龙，并被旋转绞龙等间距的分隔后进入进瓶星轮，进瓶星轮与主旋转工作台之间的切线式衔接，使得夹持手爪可以顺畅并准确的夹持住异形瓶。当双头异形瓶夹持手爪都夹住异形瓶之后，侧翻转机构以三段翻转速度将瓶体侧翻转180度后，此时瓶口已朝下，进入黑色异物检测工位，触发光电开关，启动跟踪机构、摄像机组和背部光源，同步跟踪拍摄瓶体运动至黑色异物拍摄终了位置，跟踪机构快速返回黑色异物拍摄初始位置，并将多帧序列图像送至图像处理系统。

步骤2，当主轮盘继续旋转，异形瓶离开黑色异物检测工位后，侧翻转机构以相同的翻转方向，三段翻转速度将瓶体翻转180度后，此时瓶口已朝上，进入白色异物检测工位，触发光电开关，启动跟踪机构、摄像机组和底部光源，同步跟踪拍摄瓶体运动至白色异物拍摄终了位置，跟踪机构快速返回白色异物拍摄初始位置，并将多帧序列图像送至图像处理系统。

步骤3，图像处理系统分别利用黑色异物检测工位拍摄的序列图像检测黑色异物，利用白色异物检测工位拍摄的序列图像检测白色异物，并综合两工位的检测结果给出剔除信号控制剔除机构。

Claims (7)

1、一种生产线异形瓶装液体中的异物机器视觉识别方法，其特征在于，包括以下步骤：

1)将异形瓶导入第一检测工位，并将异形瓶倒置，在背部给光的条件下跟踪拍摄多帧序列图像，用以检测异形瓶中的黑色异物；

2)将异形瓶导入第二检测工位，在该第二检测工位，异形瓶已转回到正常位置，在底部给光的条件下跟踪拍摄多帧序列图像，用以检测异形瓶中的白色异物；

3)对获得的多帧序列图像进行数字图像跟踪处理以及帧间对比，区分出是异形瓶瓶壁的瑕疵还是液体中的异物，并给出该异形瓶是否合格的判断结果；

4)根据所述的判断结果将不合格的异形瓶从检测流水线中剔除出去。

2、根据权利要求1所述的生产线异形瓶装液体中的异物机器视觉识别方法，其特征在于，所述的将异形瓶倒置的过程分为三个阶段：(a)将异形瓶从速度为0开始以加速度32.7rad/s²匀加速到3.27rad/s再保持，共旋转75度，(b)以加速度12rad/s²匀减速至0.87rad/s再保持该速度转动，共转动30度，(c)以加速度24rad/s²匀加速至3.27rad/s，再保持该速度匀速翻转0.2s，再以加速度-32.7rad/s²减速至0，共旋转75度。

3、一种生产线异形瓶装液体中的异物机器视觉识别装置，其特征在于，包括主旋转工作台、传送带、旋转绞龙、进瓶星轮、双头异形瓶夹持手爪、高速摄像机、可旋转摆臂、出瓶星轮、拨叉、导向星轮、次品传送轨道和合格品传送轨道；

所述的双头异形瓶夹持手爪设置在所述的主旋转工作台的圆周位置并随主旋转工作台一起旋转，所述的双头异形瓶夹持手爪与异形瓶翻转机构连接，所述的异形瓶翻转机构按照在主旋转工作台上；所述的高速摄像机设置在所述的可旋转摆臂上；所述的主旋转工作台和可旋转摆臂的旋转轴线重合，即可沿同一轴线分别旋转；

所述的传送带、旋转绞龙、进瓶星轮、主旋转工作台和出瓶星轮依次配合连接，将异形瓶从所述的传送带导入，并由所述的出瓶星轮导出；

所述的合格品传送轨道通过导向星轮与所述的出瓶星轮配合连接；所述的次品传送轨道与所述的出瓶星轮配合连接；用于分流正品和次品的所述拨叉设置在导向星轮和出瓶星轮之间；

所述的可旋转摆臂和高速摄像机形成的机构为2套，分别设置在所述主旋转工作台的第一检测工位和第二检测工位上，在第一检测工位上，与所述高速摄像机对应的光源为背部光源；在第二检测工位上，与所述高速摄像机对应的光源为底部光源。

4、根据权利要求3所述的生产线异形瓶装液体中的异物机器视觉识别装置，其特征在于，所述的异形瓶翻转机构包括旋转连杆和用于驱动旋转连杆转动的驱动轮；所述的旋转连杆一端连接所述的双头异形瓶夹持手爪，另一端通过直齿圆锥齿轮与所述的驱动轮配合连接；所述的旋转连杆由设置在所述的主旋转工作台圆周上的通孔限位。

5、根据权利要求3或4所述的生产线异形瓶装液体中的异物机器视觉识别装置，其特征在于，所述的双头异形瓶夹持手爪由两个相同的手爪组成，每一个手爪的结构为：包括夹持左手爪、夹持右手爪、设置在夹持左手爪和夹持右手爪之间的动臂隔板、连接夹持左手爪的夹持手爪从动臂以及连接夹持右手爪的主动臂，所述夹持手爪主动臂和夹持手爪从动臂之间通过齿轮啮合连接，所述的夹持手爪主动臂还与旋转连杆的一端连接，旋转连杆的另一端与旋转凸轮连接。

6、根据权利要求5所述的生产线异形瓶装液体中的异物机器视觉识别装置，其特征在于，所述的夹持手爪主动臂与夹持手爪从动臂之间设置有拉力弹簧。

7、根据权利要求6所述的生产线异形瓶装液体中的异物机器视觉识别装置，其特征在于，每一个所述的可旋转摆臂上设置有2个高速摄像机。

Images