CN113450375B - 一种基于机器视觉的紧固件计数设备及方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的紧固件计数设备及方法，包括抖料机构、传送机构、第一相机、第二相机、补料带、工控机、编码器、收料传送带、第一光源和第二光源，抖料机构进料后，紧固件经传送机构经过第一相机工位，第一相机在第一相机工位进行实时地图像采集与图像处理，进行粗计数与停料位置的计算；紧固件经传送机构的运输，正好经过第二相机工位，第二相机在第二相机工位进行图像采集与处理，进行精计数，得出紧固件的精计数结果，同时比对第一相机工位检测结果，避免惯性导致的计数误差；补料带装有编码器，通过编码器实时控制补料带补料直至补料完毕，工控机控制补料带停止工作。本发明具有计数精度、应用范围广的优点。

Description

一种基于机器视觉的紧固件计数设备及方法

技术领域

本发明主要涉及图像处理技术领域，具体地说，涉及一种基于机器视觉的紧固件计数设备及方法。

背景技术

紧固件在生产完成后，需要对紧固件进行包装，单包紧固件的数量是固定不变的，现有的计数方法有以下几种：人工计数、称重量、光电感应。人工计数方法劳动强度大、人工成本高，效率也随工人状态起伏不定；当紧固件本身有油污或者单次包装数量较多时，称重式计数方法就无法准确进行计数包装；光电式计数在重叠或者粘连的情况下极易出现计数不准的现象，而且每次切换紧固件规格大小时都需要调节轨道宽度，导致其设备通用性差。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足之处，公开了一种基于机器视觉的紧固件计数设备及方法，采用了深度学习的方法对紧固件进行快速、精准的计数。

本发明的基于机器视觉的紧固件计数设备，包括抖料机构、传送机构、第一相机、第二相机、补料带、工控机、编码器、收料传送带、第一光源和第二光源，所述抖料机构与传送机构的输入端连接，所述第一相机设置在传送机构的上方且能够在第一光源照明下实时进行拍摄，所述第一相机与第一光源组成了第一相机工位，对传送机构上的紧固件进行计数，实现粗计数；所述第二相机设置在传送机构的输出端，且能够在第二光源照明下实时进行拍摄，所述第二相机与第二光源组成了第二相机工位，对传送机构落下的紧固件进行精准计数，同时比对第一相机工位的粗计数结果，所述补料带设置于传送机构的旁侧，用于补料；所述传送机构和补料带上均安装有编码器，通过编码器实时控制所述传送机构和补料带，所述工控机分别与第一相机、第二相机和编码器连接。

进一步地，所述工控机包括粗计数模块、精计数模块和补料模块，所述粗计数模块与第一相机连接，所述粗计数模块采用深度学习模型对第一相机在第一相机工位拍摄的图像进行处理，所述深度学习模型为改进后的blendmask模型，将RCF模块加入到输入图像与特征提取网络之间，进而加入了紧固件的边缘信息；所述精计数模块与第二相机连接，所述精计数模块采用连通域分析与面积相结合的方法对第二相机在第二相机工位拍摄的图像进行处理；所述补料模块与编码器连接，所述补料模块通过编码器控制补料带进行补料。

进一步地，所述抖料机构包括料盆、底座和振动器，所述料盆的出口端倾斜向下对准传送机构的输入端，所述料盆通过振动器固定于底座上，且所述料盆出口端与所述传送机构之间的垂向距离为3-10mm。

进一步地，所述第二光源设置在传送机构输出端的正下方，且所述第二相机与第二光源平行设置，所述第二相机的成像位置位于传送机构的输出端下方的5-20mm处；和/或所述第一相机固定于传送机构上方且与水平面成45°~75°角，实现倾斜成像。

进一步地，所述基于机器视觉的紧固件计数设备还包括显示器，所述显示器安装在传送机构一侧且与工控机电性连接。

进一步地，所述第一相机、第二相机均为线阵相机，所述第一光源、第二光源均为条形光源。

本发明的另一个方面，还提供一种基于机器视觉的紧固件计数方法，通过其上任一项所述的基于机器视觉的紧固件计数设备进行计算，所述基于机器视觉的紧固件计数方法包括以下步骤：

S1、粗计数：第一相机在第一相机工位对传送机构上传输过的紧固件进行图像采集，工控机用已训练好的深度学习模型对第一相机工位采集的图像进行处理、计算，得到粗计数值，根据该粗计数值与传送机构的长度和运动速度实现传送机构的精准停料；

S2、精计数：第二相机在第二相机工位对传送机构的输出端落下的紧固件进行图像采集，工控机对第二相机工位采集的图像进行处理、计算，得到紧固件的实际下落值，实现对紧固件的实际下落值的精准计数；

S3、补料：采用编码器控制补料带，依据补料值与编码器的脉冲个数进行精确补料，所述补料值为预设目标计数值与实际下落值之差；

S4、补料完毕，即可完成单次包装；

S5、重复步骤S1-S4，即可完成连续的紧固件包装计数。

进一步地，所述步骤S1具体表现为：粗计数时，抖料机构与传送机构同时启动，第一相机在第一相机工位对传送机构上输送的紧固件进行连续的图像采集，将第一相机所采集的图片输入工控机中已训练的深度学习模型，所述深度学习模型从输入的图像中识别出所有紧固件并输出紧固件的参数信息，并根据所述参数信息从中计算出粗计数值，当计算出的粗计数值达到指定预设粗计数值阈值时，确定传送机构停止的位置并即刻停止，其中，所述参数信息至少包括已识别紧固件的标记、已识别紧固件的识别框、已识别紧固件的种类以及已识别紧固件在识别准确度上的得分。

进一步地，所述步骤S2具体表现为：精计数时，第二相机在第二相机工位对传送机构的输出端落下的紧固件进行图像采集，工控机对第二相机工位采集的图像采用背光源成像的条件，使用连通域分析与面积相结合的方法进行精准计数，得到紧固件的实际下落值，实现对紧固件的实际下落值的精准计数。

进一步地，所述步骤S1之前还包括以下步骤：

S0A、设定紧固件的计数值和预设粗计数值阈值；

S0B、针对紧固件的规格设定单个紧固件的面积。

本发明包括抖料机构、传送机构、第一相机、第二相机、补料带、工控机、显示器、编码器、收料传送带、第一光源以及第二光源，抖料机构进料后，通过工控机控制抖料机构和传送机构同时启动，抖料机构将紧固件平铺分散地抖入传送机构，紧固件经传送机构经过第一相机工位，第一相机在第一相机工位进行实时地图像采集与图像处理，进行粗计数与停料位置的计算；紧固件经传送机构的运输，正好经过第二相机工位，第二相机在第二相机工位进行图像采集与处理，进行精计数，得出紧固件的实际下落值（精计数结果），同时比对第一相机工位检测结果，避免惯性导致的计数误差；补料带装有编码器，编码器依据脉冲数补料个数为预设目标计数值与实际下落值之差的紧固件，当补料数达到上述差值时，工控机控制补料带停止工作。通过上述设置具有计数精度、应用范围广的优点。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明基于机器视觉的紧固件计数设备的结构示意图；

图2是本发明粗计数模块采用的经改进的blendmask模型图；

图3是本发明粗计数模块采用的改进的blendmask模型的计数画面标识图；

图4是本发明精计数模块的计数画面标识图；

图5是本发明基于机器视觉的紧固件计数方法一实施例的的流程图。

附图标记说明：

抖料机构-301 传送机构-302

第一相机-303 第一光源-304

第二相机-305 第二光源-306

编码器-307 补料带-308

收料传送带-309。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

图1所示是本发明一实施例的基于机器视觉的紧固件计数设备的结构示意图。该实施例的基于机器视觉的紧固件计数设备至少包括抖料机构301、传送机构302、第一相机303、第二相机305、补料带308、工控机、编码器307、收料传送带309、第一光源304和第二光源306，其中：抖料机构301与传送机构302的输入端连接，收料传送带309与传送机构302的输出端连接，第一相机303设置在传送机构302的上方且能够在第一光源304照明下实时进行拍摄，第一相机303与第一光源304组成了第一相机303工位，对传送机构302上的紧固件进行计数，实现粗计数；第二相机305设置在传送机构302的输出端，且能够在第二光源306照明下实时进行拍摄，第二相机305与第二光源306组成了第二相机305工位，对传送机构302落下的紧固件进行精准计数，同时比对第一相机303工位的粗计数结果，补料带308设置于传送机构302的旁侧，用于补料；传送机构302和补料带308上均安装有编码器307，通过编码器307实时控制所述传送机构302和补料带308，且补料带308表面设有多个圆孔，用于固定单个紧固件，工控机分别与第一相机303、第二相机305和编码器307连接。通过上述设置，抖料机构301进料后，通过工控机控制抖料机构301和传送机构302同时启动，抖料机构301将紧固件平铺分散地抖入传送机构302，紧固件经传送机构302经过第一相机303工位，第一相机303在第一相机303工位进行实时地图像采集与图像处理，进行粗计数与停料位置的计算；紧固件经过传送机构302的运输，于其边缘呈瀑布式地有序下落入外部收料盒中，此时正好经过第二相机305工位，第二相机305在第二相机305工位进行图像采集与处理，进行精计数，得出实际下落值（精计数结果）；此时，收料盒沿收料传送带309运输到补料带308边缘下方，补料带308装有编码器307，编码器307依据脉冲数补料个数为预设目标计数值与实际下落值之差的紧固件，当补料数达到上述差值时，工控机补料带308停止工作。需要说明的是，当第一相机303粗计数结果达到预设粗计数值阈值，抖料机构301和传送机构302同时停止，但第二相机305工位仍继续工作一段时间，此时仍有可能出现因惯性而落下的个别紧固件，这会导致粗计数结果出现误差，但绝不能影响精计数结果，当确认因惯性而落下的紧固件计数完成后，第二相机305工位才停止图像采集与图像处理，得到实际下落值。优选地，第一相机303、第二相机305皆为线阵相机，第一光源304、第二光源306皆为条形光源，但不仅限于此。

在进一步地技术方案中，为更好地计数，第二光源306设置在传送机构302输出端的正下方，且第二相机305与第二光源306平行设置，第二相机305的成像位置位于传送机构302的输出端下方的5-20mm处；第一相机303固定于传送机构302上方且与水平面成45°~75°角，实现倾斜成像，以避免传送机构302的皮带反光带来的影响。

作为本发明的优选实施例，上述工控机包括粗计数模块、精计数模块和补料模块，粗计数模块与第一相机303连接，粗计数模块采用深度学习模型对第一相机303在第一相机303工位拍摄的图像进行处理，深度学习模型为改进后的blendmask模型，改进后的blendmask模型即在现有blendmask模型（blendmask是一种国外新兴的图像分割算法，属于深度学习方法的一种，优点是精度高、速度快，用于本发明能快速分割出粘连或重叠的紧固件）基础上，将RCF模块（Richer Convolutional Features for Edge Detection，基于丰富卷积特征的边缘检测模型，用于本发明能提取出紧固件的边缘特征信息）加入到输入图像与特征提取网络之间，进而加入了紧固件的边缘信息，提高了其识别准确率，具体参见图2；精计数模块与第二相机305连接，该精计数模块采用连通域分析与面积相结合的方法对第二相机305在第二相机305工位拍摄的图像进行处理；补料模块与编码器307连接，补料模块通过编码器307控制补料带308进行补料。具体地，连通域分析与面积相结合的方法表现为：用灰度分割出图像不粘连的连通域，一般情况下一个连通域就是一个紧固件，但当紧固件有粘连时，就计算连通域的面积，此时个数=连通域面积/单个紧固件面积，所以只需要改变单个紧固件的面积就能实现对不同规格的紧固件进行计数。之所以第一相机303工位采用改进后的blendmask模型，第二相机305工位采用连通域分析法和模板法相结合的方式处理图像，是因为：第二相机305工位成像时是背光源条件，即背景直接是条形光源的光照，所采集的图像没有色彩信息且背景简单，从传送机构302上落下时基本没有重叠情况，粘连情况也较少，易于做模板识别和连通域分析，也能用更少的算力计算出更准确的数量；而第一相机303工位成像时背景复杂很多，有带纹理的传送带，有强光照射下的反光情况，有无法避免的粘上的灰尘，同时传送带上的紧固件无法避免相互碰撞粘连乃至交叉重叠的情况，导致连通域分析比较困难，所得出的结果误差较大，进一步导致停料不准确，包装数量不稳定，因此第一相机303工位采用深度学习的方法对传送带上的紧固件进行处理更为稳定和准确，即便粗计数值出现1~2个的误差，也能实现相对准确的停料，从而在补料模块进行补偿，完成精准的包装计数。本发明中粗计数模块采用的经改进的blendmask模型的计数预测结果画面如图3所示，精计数模块的计数画面标识如图4所示，图3中501为实时画面里无需拼接的完整紧固件，此类紧固件采用模板法进行识别和计数；502则是实时画面里需要拼接的紧固件，也就是两张图片之间的紧固件，此类紧固件则采用连通域分析与面积计算相结合的算法进行计数，二者相加就是精计数值。

同时，如图1所示，抖料机构301包括料盆、底座和振动器，料盆的出口端倾斜向下对准传送机构302的输入端，料盆通过振动器固定于底座上，且料盆出口端与所述传送机构302之间的垂向距离为3-10mm。且为避免紧固件打滑，传送机构302表面设有复杂且凹凸不平的纹路，

此外，值得提及的是，避免惯性导致的计数误差，上述基于机器视觉的紧固件计数设备还包括显示器，该显示器安装在传送机构302一侧，且与工控机电性连接，用于显示粗计数值和精计数值。

本发明的另一个方面，还提供一种基于机器视觉的紧固件计数方法，该计数方法通过其上所述的基于机器视觉的紧固件计数设备进行计算，参见图2，具体包括以下步骤：

S1、粗计数：第一相机303在第一相机303工位对传送机构302上传输过的紧固件进行图像采集，工控机用已训练好的深度学习模型对第一相机303工位采集的图像进行处理、计算，得到粗计数值，根据该粗计数值与传送机构302的长度和运动速度实现传送机构302的精准停料；

优选地，该步骤具体表现为：粗计数时，抖料机构301与传送机构302同时启动，第一相机303在第一相机303工位对传送机构302上输送的紧固件进行连续的图像采集，将第一相机303所采集的图片输入工控机中已训练的深度学习模型，所述深度学习模型从输入的图像中识别出所有紧固件并输出紧固件的参数信息，并根据所述参数信息从中计算出粗计数值，当计算出的粗计数值达到指定预设粗计数值阈值时，确定传送机构302停止的位置并即刻停止，其中，所述参数信息至少包括已识别紧固件的标记、已识别紧固件的识别框、已识别紧固件的种类以及已识别紧固件在识别准确度上的得分；

S2、精计数：第二相机305在第二相机305工位对传送机构302的输出端落下的紧固件进行图像采集，工控机对第二相机305工位采集的图像进行处理、计算，得到紧固件的实际下落值，实现对紧固件的实际下落值的精准计数；

优选地，该步骤具体表现为：精计数时，第二相机305在第二相机305工位对传送机构302的输出端落下的紧固件进行图像采集，工控机对第二相机305工位采集的图像采用背光源成像的条件，使用连通域分析与面积相结合的方法进行精准计数，得到紧固件的实际下落值，实现对紧固件的实际下落值的精准计数；

S3、补料：采用编码器307控制补料带308，依据补料值与编码器307的脉冲个数进行精确补料，所述补料值为预设目标计数值与实际下落值之差；需要说明的是，用补料值与脉冲个数进行比较是因为，编码器307是将位移转换成周期性的电信号，再把这个电信号转变成计数脉冲，用脉冲个数表示位移的大小，即脉冲个数就是补料个数，故此处只需设置好单个脉冲所代表的位移距离即可；

S4、补料完毕，即可完成单次包装；

S5、重复步骤S1-S4，即可完成连续的紧固件包装计数。

设定紧固件的预设目标计数值为

、预设粗计数值阈值

，本发明的基于机器视觉的紧固件计数方法的计数过程具体表现为：第一相机303对在第一相机303工位对传送机构302上传输过的紧固件进行图像采集，工控机用已训练好的深度学习模型对第一相机303工位采集的图像进行处理、计算，得到粗计数值，将该粗计数值与预设粗计阈值

进行比较，直到两者相等，再根据预设粗计阈值

与传送机构302的长度和运动速度实现传送机构302的精准停料；第二相机305在第二相机305工位对传送机构302的输出端落下的每一颗紧固件进行图像采集，工控机对第二相机305工位采集的图像进行处理、计算，传送机构302停止后得到紧固件的实际下落值

，实现对紧固件的实际下落数量的精准计数；工控机中补料模块根据

、

计算出补料值

,编码器307控制补料带308依据补料值与脉冲个数精准补料紧固件

颗，完成单次包装计数，此后重复上述操作即可完成连续的紧固件包装计数。

在进一步地技术方案中，上述紧固件计数方法的步骤S1之前还包括以下步骤：

S0A、设定紧固件的预设目标计数值和预设粗计数值阈值；

S0B、针对紧固件的规格设定单个紧固件的面积。

综上所述，本发明相比现有技术，具有如下优点：

1）由双工位进行配合实现计数功能，所述第一相机303、第一光源304组成第一相机303工位，负责实现精准停料，所述第二相机305、第二工位组成第二工位，负责实现精确计数；且补料带308负责补料，三者相互配合，既保证了每次计数的结果准确，又保证了单次包装的数量达标，实际使用中十分稳定而可靠；

2）采用改进后的blendmask模型，将RCF模块加入在输入图像与特征提取网络之间，加入了紧固件的边缘信息，提高了其识别准确率；

3）第二相机305负责的精计数结果准确，且只需更改面积参数就能实现对不同规格的紧固件的计数，设备通用性强；

4）实现了紧固件的实时计数，单次包装正常数量的紧固件用时2~5s，并能完成抖料机构301、传送机构302和相机的配合，快速、准确、便捷地对紧固件进行计数并实现正确停料；

5）避免称重打包紧固件时的油污干扰和计数误差，大大提高了准确率，降低在生产过程中的成本；

6）通过显示器能直观展示两个工位相机所实时拍摄的紧固件图像，方便操作员看到计数过程中存在的问题。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于机器视觉的紧固件计数设备，其特征在于，包括抖料机构、传送机构、第一相机、第二相机、补料带、工控机、编码器、收料传送带、第一光源和第二光源，所述抖料机构与传送机构的输入端连接，所述收料传送带与传送机构的输出端连接，所述第一相机设置在传送机构的上方且能够在第一光源照明下实时进行拍摄，所述第一相机与第一光源组成了第一相机工位，对传送机构上的紧固件进行计数，实现粗计数；所述第二相机设置在传送机构的输出端，且能够在第二光源照明下实时进行拍摄，所述第二相机与第二光源组成了第二相机工位，对传送机构落下的紧固件进行精准计数，同时比对第一相机工位的粗计数结果，所述补料带设置于传送机构的旁侧，用于补料；所述传送机构和补料带上均安装有编码器，通过编码器实时控制所述传送机构和补料带，所述工控机分别与第一相机、第二相机和编码器连接。

2.根据权利要求1所述的基于机器视觉的紧固件计数设备，其特征在于，所述工控机包括粗计数模块、精计数模块和补料模块，所述粗计数模块与第一相机连接，所述粗计数模块采用深度学习模型对第一相机在第一相机工位拍摄的图像进行处理，所述深度学习模型为改进后的blendmask模型，将RCF模块加入到输入图像与特征提取网络之间，进而加入了紧固件的边缘信息；所述精计数模块与第二相机连接，所述精计数模块采用连通域分析与面积相结合的方法对第二相机在第二相机工位拍摄的图像进行处理；所述补料模块与编码器连接，所述补料模块通过编码器控制补料带进行补料。

3.根据权利要求1所述的基于机器视觉的紧固件计数设备，其特征在于，所述抖料机构包括料盆、底座和振动器，所述料盆的出口端倾斜向下对准传送机构的输入端，所述料盆通过振动器固定于底座上，且所述料盆出口端与所述传送机构之间的垂向距离为3-10mm。

4.根据权利要求1所述的基于机器视觉的紧固件计数设备，其特征在于，所述第二光源设置在传送机构输出端的正下方，且所述第二相机与第二光源平行设置，所述第二相机的成像位置位于传送机构的输出端下方的5-20mm处；和/或所述第一相机固定于传送机构上方且与水平面成45°~75°角，实现倾斜成像。

5.根据权利要求1所述的基于机器视觉的紧固件计数设备，其特征在于，还包括显示器，所述显示器安装在传送机构一侧且与工控机电性连接。

6.根据权利要求1所述的基于机器视觉的紧固件计数设备，其特征在于，所述第一相机、第二相机均为线阵相机，所述第一光源、第二光源均为条形光源。

7.一种基于机器视觉的紧固件计数方法，其特征在于，通过权利要求1-6中任一项所述的基于机器视觉的紧固件计数设备进行计算，所述基于机器视觉的紧固件计数方法包括以下步骤：

S1、粗计数：第一相机在第一相机工位对传送机构上传输过的紧固件进行图像采集，工控机用已训练好的深度学习模型对第一相机工位采集的图像进行处理、计算，得到粗计数值，根据该粗计数值与传送机构的长度和运动速度实现传送机构的精准停料；

S2、精计数：第二相机在第二相机工位对传送机构的输出端落下的紧固件进行图像采集，工控机对第二相机工位采集的图像进行处理、计算，得到紧固件的实际下落值，实现对紧固件的实际下落值的精准计数；

S3、补料：采用编码器控制补料带，依据补料值与编码器的脉冲个数进行精确补料，所述补料值为预设目标计数值与实际下落值之差；

S4、补料完毕，即可完成单次包装；

S5、重复步骤S1-S4，即可完成连续的紧固件包装计数。

8.根据权利要求7所述的基于机器视觉的紧固件计数方法，其特征在于，所述步骤S1具体表现为：粗计数时，抖料机构与传送机构同时启动，第一相机在第一相机工位对传送机构上输送的紧固件进行连续的图像采集，将第一相机所采集的图片输入工控机中已训练的深度学习模型，所述深度学习模型从输入的图像中识别出所有紧固件并输出紧固件的参数信息，并根据所述参数信息从中计算出粗计数值，当计算出的粗计数值达到指定预设粗计数值阈值时，确定传送机构停止的位置并即刻停止，其中，所述参数信息至少包括已识别紧固件的标记、已识别紧固件的识别框、已识别紧固件的种类以及已识别紧固件在识别准确度上的得分。

9.根据权利要求7所述的基于机器视觉的紧固件计数方法，其特征在于，所述步骤S2具体表现为：精计数时，第二相机在第二相机工位对传送机构的输出端落下的紧固件进行图像采集，工控机对第二相机工位采集的图像采用背光源成像的条件，使用连通域分析与面积相结合的方法进行精准计数，得到紧固件的实际下落值，实现对紧固件的实际下落值的精准计数。

10.根据权利要求7-9中任一项所述的基于机器视觉的紧固件计数方法，其特征在于，所述步骤S1之前还包括以下步骤：

S0A、设定紧固件的预设目标计数值和预设粗计数值阈值；

S0B、针对紧固件的规格设定单个紧固件的面积。

Images