CN112139066B - 基于视觉检测的自动化流水线系统及其控制方法 - Google Patents

Abstract

本申请公开了一种基于视觉检测的自动化流水线系统及其控制方法，包括：流水线设备，用于输运、检测和分拣产品；流水线处理器，用于控制流水线设备；其中，流水线设备包括：输运装置，具有一个输运平面以使产品沿输运平面直线移动；检测装置，至少包括一个图像采集设备以采集输运平面上运动的产品的图像；分选装置，根据检测装置的检测结果将产品拨离出输运装置的输运平面；其中，分选装置至少具有两个分选方向以从两个不重叠的方向将产品拨离出输运装置的输运平面。本申请的有益之处在于提供一种结构合理可靠并且能实现自动化检测的基于视觉检测的自动化流水线系统及其控制方法。

Description

基于视觉检测的自动化流水线系统及其控制方法

技术领域

本申请涉及一种基于视觉检测的自动化流水线系统及其控制方法。

背景技术

自动化流水线是一个统称，包括组装流水线、皮带流水线、链板线、插件线等等，主要通过自动化系统来操作运行，不需要人工操作。

在相关技术中，自动化流水线系统通过自动化检测技术对产品的尺寸和外观进行检测，比如有无粘贴标签或者进行过表面处理。但是在出现不良产品时，现有自动化流水系统并不能快速及时处理不良品，尤其是在自动化流水线以较高速度运行时。

另外，对于较为复杂形状的产品，仅靠单侧或多侧平面图像检测并没有办法进行检测。

发明内容

为了解决现有技术的不足之处，作为本申请一方面，提供一种基于视觉检测的自动化流水线系统，包括：流水线设备，用于输运、检测和分拣产品；流水线处理器，用于控制流水线设备；其中，流水线设备包括：输运装置，具有一个输运平面以使产品沿输运平面直线移动；检测装置，至少包括一个图像采集设备以采集输运平面上运动的产品的图像；分选装置，根据检测装置的检测结果将产品拨离出输运装置的输运平面；其中，分选装置至少具有两个分选方向以从两个不重叠的方向将产品拨离出输运装置的输运平面。

进一步地，检测装置还包括：侧视图像采集装置，至少设置于输运装置的输运平面的一侧以采集产品的侧视图像。

进一步地，检测装置还包括：触发位置开关，用于检测产品的位置以控制侧视图像采集装置采集图片的时间；触发位置开关至少设置于输运装置的输运方向上游位置，侧视图像采集装置相对触发位置开关设置于输运装置的输运方向下游位置以使输运装置输运的产品经过触发位置开关后经过侧视图像采集装置。

进一步地，检测装置还包括：俯视图像采集装置，至少设置于输运装置的输运平面的上方以采集产品的俯视图像。

进一步地，俯视图像采集装置至少包括两个并排设置的俯视摄像头。

进一步地，检测装置还包括：光源装置，用于向输运装置的输运平面上投射检测光线；

光源装置的投射检测光线的方向至少与俯视图像采集装置的摄像头的中心轴线倾斜相交。

进一步地，基于视觉检测的自动化流水线系统还包括：导向装置，用于设置在输运装置的输运平面上方的两侧以形成一个限制输运装置的输运平面上方产品位置的导向通道；导向装置包括：压力传感装置，用于检测输运装置的输运平面上方的产品对导向装置施加的压力。

进一步地，基于视觉检测的自动化流水线系统还包括：集料装置，用于收集分选装置拨离出输运装置的输运平面的产品；其中，集料装置包括一个至少部分位于输运装置的输运平面下方的料仓。

进一步地，分选装置包括：拨块，用于拨动输运装置的输运平面上的产品；驱动装置，用于沿垂直于输运装置的输运方向驱动拨块往复运动；其中，拨块和驱动装置均设置在输运装置的输运平面的上方。

作为本申请的另一方面，提供一种基于以上基于视觉检测的自动化流水线系统的控制方法，该控制方法包括：

采集触发位置开关的信号；

根据触发位置开关的信号以及输运装置的输运速度控制侧视图像采集装置拍摄产品侧视图片；

根据产品侧视图片判断产品侧视元素是否符合第一预设条件；

当符合第一预设条件时，根据输运装置的输运速度计算到达俯视图像采集装置检测区域的触发时间，并根据触发时间定时触发俯视图像采集装置采集产品的俯视图片；

当不符合第一预设条件时，根据输运装置的输运速度计算到达分选装置区域的时间，并触发分选装置将其从输运装置的输运平面拨离；

根据产品俯视图片中的产品形状以及光线位置和尺寸判断产品的俯视元素是否符合第二预设条件；

当符合第二预设条件时，维持输运装置运转并保持分选装置避开输运装置的输运线路；

当不符合第二预设条件时，根据输运装置的输运速度计算到达分选装置区域的时间，并触发分选装置将其从输运装置的输运平面拨离。

本申请的有益之处在于：提供一种结构合理可靠并且能实现自动化检测的基于视觉检测的自动化流水线系统及其控制方法。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请一种实施例的基于视觉检测的自动化流水线系统的组成示意图；

图2是根据本申请一种实施例的基于视觉检测的自动化流水线设备的结构示意图；

图3是图1所示的基于视觉检测的自动化流水线设备从另一角度观察的结构示意图；

图4是图1所示的基于视觉检测的自动化流水线设备从另一角度观察的结构示意图；

图5是一个本申请所要检测的一个产品的俯视图（阴影线表示光线）；

图6是根据本申请一种实施例的基于视觉检测的自动化流水线系统的视觉检测的扩展方案结构示意图；

图7是图5中的光源装置投射出的激光的示意图；

图8是根据本申请一种实施例的基于视觉检测的自动化流水线系统中导向装置的一个优选实施例的结构示意图；

图9是根据本申请一种实施例的基于视觉检测的自动化流水线系统中导向装置的另一个优选实施例的结构示意图；

图10是图8所示的导向装置中导向轮组的结构示意图；

图11是根据本申请一种实施例的基于视觉检测的自动化流水线系统控制模块的结构示意图框图。

图中附图标记的含义：

基于视觉检测的自动化流水线系统100，流水线设备200，输运装置201，检测装置202，触发位置开关2021，侧视图像采集装置2022，俯视图像采集装置2023，俯视摄像头2023a、2023b，竖杆2023c，横杆2023d，分选装置203，拨块2031，驱动装置2032，支架2032a，无杆气缸2032b，光源装置204，导向装置205，导向杆2051，固定块2052，螺钉2053，定位杆2054，集料装置206，料仓2061，第一落料口2062，第二落料口2063，出料口2064，集料斜面2065；流水线处理器300；导向杆401，压力应变片402；导向杆501，压力检测轮502，速度检测轮503，外转子电机504；电路板601，压力检测轮602，速度检测轮603，外转子电机604，第一滑座605，第二滑座606，第三滑座607，第一组弹性件608，第二组弹性件609，第三组弹性件610，第一磁块611，第二磁块612，第一霍尔传感器613，第二霍尔传感器614，电池615，超级电容616；产品700；光源装置801，俯视摄像机802；输运平面S，输运方向A，激光射线L，俯视摄像头的中轴线C。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

参照图1所示，基于视觉检测的自动化流水线系统100包括：流水线设备200和流水线处理器300。其中，流水线设备200用于输运、检测和分拣产品700。流水线处理器300用于控制流水线设备200。流水线处理器300可以采用专用工业控制器来实现也可以采用通用计算机设备安装专用软件得以实现。

参照图2至5所示，基于视觉检测的自动化流水线设备200包括：输运装置201、检测装置202、分选装置203、光源装置204、导向装置205和集料装置206。

其中，输运装置201具有一个输运平面S以使产品700沿输运平面S直线移动；检测装置202至少包括一个图像采集设备以采集输运平面S上运动的产品700的图像。

具体而言，检测装置202还包括侧视图像采集装置2022、触发位置开关2021、俯视图像采集装置2023。侧视图像采集装置2022至少设置于输运装置201的输运平面S的一侧以采集产品700的侧视图像，触发位置开关2021用于检测产品700的位置以控制侧视图像采集装置2022采集图片的时间；触发位置开关2021至少设置于输运装置201的输运方向A上游位置，侧视图像采集装置2022相对触发位置开关2021设置于输运装置201的输运方向A下游位置以使输运装置201输运的产品700经过触发位置开关2021后经过侧视图像采集装置2022；俯视图像采集装置2023至少设置于输运装置201的输运平面S的上方以采集产品700的俯视图像。

作为可选方案，俯视图像采集装置2023至少包括两个并排设置的俯视摄像头2023a、2023b，在输运装置201上安装有一竖杆2023c，在竖杆2023c的顶端固定连接有一延伸至输运装置201的输运平面S上方的横杆2023d，在横杆2023d上固定安装有所述俯视摄像头2023a、2023b。

作为一种扩展方案，检测装置202还包括光源装置204，用于向输运装置201的输运平面S上投射检测光线；光源装置204的投射检测光线的方向至少与俯视图像采集装置2023的俯视摄像头2023a、2023b的中心轴线倾斜相交。

分选装置203根据检测装置202的检测结果将产品700拨离出输运装置201的输运平面S；其中，分选装置203至少具有两个分选方向以从两个不重叠的方向将产品700拨离出输运装置201的输运平面S。

具体而言，分选装置203包括拨块2031、驱动装置2032，拨块2031用于拨动输运装置201的输运平面S上的产品700；驱动装置2032用于沿垂直于输运装置201的输运方向A驱动拨块2031往复运动；其中，拨块2031和驱动装置2032均设置在输运装置201的输运平面S的上方。

作为可选方案，驱动装置2032包括悬置于输运装置201的输运平面S上方的支架2032a，在支架2032a上设置有无杆气缸2032b，无杆气缸2032b的输出端固定连接有拨块2031，拨块2031在无杆气缸2032b的驱动下沿垂直于输运装置201的输运方向A做往返运动；另外，无杆气缸2032b也可以通过电机丝杆机构代替，均可实现相同的技术效果。

作为可选方案，拨块2031外形呈T形，拨块2031上开设有若干通孔，一方面可以减轻拨块2031的重量，另一方面也可以减小拨块2031往返运动的空气阻力。

导向装置205用于设置在输运装置201的输运平面S上方的两侧以形成一个限制输运装置201的输运平面S上方产品700位置的导向通道；导向装置205包括压力传感装置，用于检测输运装置201的输运平面S上方的产品700对导向装置205施加的压力。

具体而言，导向装置205包括若干个固定安装在输运装置201的输运平面S两侧的固定块2052，每个固定块2052上通过螺钉2053固定安装有定位杆2054，固定块2052的端部固定连接有延伸至输运装置201的输运平面S上方的导向杆2051，导向杆2051与输运装置201的输运方向A平行。

集料装置206用于收集分选装置203拨离出输运装置201的输运平面S的产品700；其中，集料装置206包括一个至少部分位于输运装置201的输运平面S下方的料仓2061。

作为可选方案，料仓2061位于输运装置201的输运平面S的两侧分别具有第一落料口2062，第二落料口2063，第一落料口2062，第二落料口2063之间通过集料斜面2065倾斜过渡，在集料斜面2065的末端具有出料口2064。

具体而言，如图6所示，设置一个光源装置801，该光源装置801可以被构造为一个激光投线仪或者激光投线仪的组合，其可以投射出扇柱形的立体激光检测区域（其边缘仅为示意）。作为替代方案，可以采用多个独立激光面，激光面之间间距根据测量需要设置。

作为一种扩展方案，光源装置801倾斜设置向输送装置的输运平面投射激光，在输运方向的下游设置有一个俯视摄像机802，该俯视摄像机802采集其视阈范围内的图像，具体而言，其镜头轴线垂直于输运平面，通过其采集照片中激光被遮挡部分以及产品本身的形状轮廓，原来检测不到高度数据H，可以根据光源装置801设置的位置以及数据W计算出H的竖直，从而实现检测的目的。

作为可选方案，光源装置801可以安装在一个转动装置处，从而在检测不同产品时使光源装置801变换投射角度。

经过实测可知，俯视摄像机802在采集图像时，如果产品本身在被导向杆导向时位置不正，则图像检测数据误差会比较大，从而产生误报，然而直接采用刚性较强的导向杆，则会在产品稍微偏转时，堵塞输运通道，从而导致自动检测无法继续。

作为一种扩展方案，如图8所示，在导向杆401的外表面设有压力应变片，当输送装置上的待检测产品400运动方向出现偏移时，通过压力应变片可以使系统监测产品的运行情况。

另外，在光源装置801进行图像采集时，同步采集俯视摄像机402视阈范围对应的压力应变片800的压力值，从而通过压力值确定产品偏移的程度角度，当偏移量较大时，系统报警，检测结果不准，直接作为不良品剔除，在压力值处于预设范围内时，再根据俯视摄像机802采集的图像判断产品的尺寸是否符合要求。

作为优选方案，可以在之前检测位置同样设置有压力应变片，而其余的部分不设置，这样可以节约成本，同样的，之前的检测工位需要根据压力应变片800的数据判断当前检测结果是否准确。

如图9所示，作为一种扩展方案，在导向杆501处设置多组压力传感装置，压力传感装置包括：压力检测轮502、速度检测轮503和外转子电机504，它们至少部分露出导向杆501设有缺口以接触产品。

具体而言，如图10所示，压力检测轮602、速度检测轮603和外转子电机604构成一个组件，压力传感装置还包括：电路板601、第一滑座605、第二滑座606、第三滑座607、第一组弹性件608、第二组弹性件609，第三组弹性件610，第一磁块611，第二磁块612，第一霍尔传感器613，第二霍尔传感器614，电池615，超级电容616。

其中，压力检测轮502、速度检测轮503和外转子电机504分别安装至第一滑座605、第二滑座606、第三滑座607，第一滑座605、第二滑座606、第三滑座607能沿垂直于输运方向运动，作为更具体的方案，压力检测轮502和速度检测轮503是直接转动连接至第一滑动座605和第二滑动座606的，外转子电机504则是其位于中心的定子固定连接至第三滑座606的，由于外转子电机504的结构，其围绕定子转动，所以其外转子也相当于滚轮与第三滑座606构成相对转动。

作为扩展方案，可以在导向杆中设置相应的导向槽以限制第一滑座605、第二滑座606、第三滑座607位移的方向，即向垂直于输运方向的方向运动。

第一组弹性件608、第二组弹性件609，第三组弹性件610分别设置在电路板601和第一滑座605、第二滑座606、第三滑座607之间，它们作用是使第一滑座605、第二滑座606、第三滑座607向外保持弹力，在没有压力时能够回弹到预设位置。

第一磁块611固定安装在第一滑座605和电路板601之间，在电路板601对应位置安装有第一霍尔传感器613，由于产品偏置时接触并压迫压力检测轮602，第一滑座605的平移，从而导致第一磁块611与第一霍尔传感器613位置的变化，从而通过第一霍尔传感器613的对磁场变化检测转变相应的电信号，从而使系统获知产品偏置时带来压力数据。

第二磁块612可以为多个，它们以镶件形式安装于速度检测轮503的不同圆周位置，第二霍尔传感器614安装至第二滑座606并能随第二滑座606移动，第二霍尔传感器614与电路板601之间采用柔性线缆连接；在速度检测轮603转动时，第二磁块612转动会触发第二霍尔传感器614产生电信号，从而可以反映速度检测轮503的转速。

由于皮带传动本身的特性，以及产品与导杆的接触，所以皮带速度并不能直接反映产品速度，所以爱用速度检测轮503既能在整体控制上反馈产品速度，同时也能在尺寸检测时，提供基于速度差检测产品偏转的数据。如果产品偏移，对侧的速度检测轮503将会产生较大的速度差异。

外转子电机604通过设置在电路板601背侧的电池包613供电，超级电容616也安装在电路板601背侧，其能够存储部分由第二霍尔传感器613产生的电能。外转子电机604的作用在于主动正转或反转通过摩擦力改变产品偏置的程度，一方面为了解决输运被卡住的问题，另一方面解决在图像检测时细微调整产品姿态的问题。

如图11所示，本申请的基于视觉检测的自动化流水线系统控制模块包括：触发位置开关、输运控制模块、侧视图像采集装置、俯视图像采集装置、光源控制模块、分选控制模块、第一霍尔传感器、第二霍尔传感器、外转子电机和流水线处理器。

其中，触发位置开关用于触发程序并使系统获知产品位置，输运控制模块用于控制传送带的速度，侧视图像采集装置和俯视图像采集装置用于获取图像数据；光源控制模块用于控制光源的角度和亮度。

分选控制模块用于根据流水线处理器的指令动作实现分选功能。第一霍尔传感器和第一霍尔传感器的功能如前所介绍。

在以上方案基础上，本申请还提供一种控制方法，该控制方法包括：

采集触发位置开关的信号；

根据触发位置开关的信号以及输运装置的输运速度控制侧视图像采集装置拍摄产品侧视图片；

根据产品侧视图片判断产品侧视元素是否符合第一预设条件；

当符合第一预设条件时，根据输运装置的输运速度计算到达俯视图像采集装置检测区域的触发时间，并根据触发时间定时触发俯视图像采集装置采集产品的俯视图片；

当不符合第一预设条件时，根据输运装置的输运速度计算到达分选装置区域的时间，并触发分选装置将其从输运装置的输运平面拨离；

根据产品俯视图片中的产品形状以及光线位置和尺寸判断产品的俯视元素是否符合第二预设条件；

当符合第二预设条件时，维持输运装置运转并保持分选装置避开输运装置的输运线路；

当不符合第二预设条件时，根据输运装置的输运速度计算到达分选装置区域的时间，并触发分选装置将其从输运装置的输运平面拨离。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (1)

1.一种基于视觉检测的自动化流水线系统，其特征在于：

所述基于视觉检测的自动化流水线系统包括：

流水线设备，用于输运、检测和分拣产品；

流水线处理器，用于控制所述流水线设备；

其中，所述流水线设备包括：

输运装置，具有一个输运平面以使产品沿输运平面直线移动；

检测装置，至少包括一个图像采集设备以采集所述输运平面上运动的产品的图像；

分选装置，根据所述检测装置的检测结果将产品拨离出所述输运装置的输运平面；

其中，所述分选装置至少具有两个分选方向以从两个不重叠的方向将产品拨离出所述输运装置的输运平面；

所述检测装置还包括：

侧视图像采集装置，至少设置于所述输运装置的输运平面的一侧以采集产品的侧视图像；

所述检测装置还包括：

触发位置开关，用于检测产品的位置以控制所述侧视图像采集装置采集图片的时间；

所述触发位置开关至少设置于所述输运装置的输运方向上游位置，所述侧视图像采集装置相对所述触发位置开关设置于所述输运装置的输运方向下游位置以使所述输运装置输运的产品经过触发位置开关后经过所述侧视图像采集装置；

所述检测装置还包括：

俯视图像采集装置，至少设置于所述输运装置的输运平面的上方以采集产品的俯视图像；

所述俯视图像采集装置至少包括两个并排设置的俯视摄像头；

所述检测装置还包括：

光源装置，用于向所述输运装置的输运平面上投射检测光线；

所述光源装置的投射检测光线的方向至少与所述俯视图像采集装置的摄像头的中心轴线倾斜相交；

所述基于视觉检测的自动化流水线系统还包括：

导向装置，用于设置在所述输运装置的输运平面上方的两侧以形成一个限制所述输运装置的输运平面上方产品位置的导向通道；

所述导向装置包括：

压力传感装置，用于检测所述输运装置的输运平面上方的产品对所述导向装置施加的压力；

所述基于视觉检测的自动化流水线系统还包括：

集料装置，用于收集所述分选装置拨离出所述输运装置的输运平面的产品；

其中，所述集料装置包括一个至少部分位于所述输运装置的输运平面下方的料仓；

所述分选装置包括：

拨块，用于拨动所述输运装置的输运平面上的产品；

驱动装置，用于沿垂直于所述输运装置的输运方向驱动所述拨块往复运动；

其中，所述拨块和所述驱动装置均设置在所述输运装置的输运平面的上方；

所述压力传感装置包括：压力检测轮、速度检测轮和外转子电机，它们至少部分露出导向杆设有缺口以接触产品；

压力检测轮、速度检测轮和外转子电机构成一个组件，压力传感装置还包括：电路板、第一滑座、第二滑座、第三滑座、第一组弹性件、第二组弹性件，第三组弹性件，第一磁块，第二磁块，第一霍尔传感器，第二霍尔传感器，电池，超级电容；

其中，压力检测轮、速度检测轮和外转子电机分别安装至第一滑座、第二滑座、第三滑座，第一滑座、第二滑座、第三滑座能沿垂直于输运方向运动；

第一组弹性件、第二组弹性件，第三组弹性件分别设置在电路板和第一滑座、第二滑座、第三滑座之间，它们作用是使第一滑座、第二滑座、第三滑座向外保持弹力，在没有压力时能够回弹到预设位置；

第一磁块固定安装在第一滑座和电路板之间，在电路板对应位置安装有第一霍尔传感器；

第二磁块为多个，它们以镶件形式安装于速度检测轮的不同圆周位置，第二霍尔传感器安装至第二滑座并能随第二滑座移动，第二霍尔传感器与电路板之间采用柔性线缆连接；在速度检测轮转动时，第二磁块转动会触发第二霍尔传感器产生电信号；

外转子电机通过设置在电路板背侧的电池包供电，超级电容也安装在电路板背侧，其能够存储部分由第二霍尔传感器产生的电能。

Images