CN113715012A - 一种遥控器零件自动装配方法和系统 - Google Patents

Abstract

本发明公开了一种遥控器零件自动装配方法和系统，属于人工智能与装配机器人技术领域，采集遥控器不同零件图像作为训练样本，训练后得到网络模型。启动传送带并运行程序，首先判断传送带上是否有零件，若有零件则将采集的图像输入到已训练的网络中，输出可以得到零件的类别等信息，计算可以得到零件的抓取点和角度信息。随着传送带的运动会导致遥控器零件出现旋转，在抓取遥控器零件前需要对旋转角度进行计算，以保证每个遥控器零件可以精准地到达安装位置。将抓取的待装配零件按照装配位置和装配顺序进行安装，直至遥控器安装完成。对于遥控器零件的识别准确率高、识别速度快、鲁棒性高，且可以快速完成装配。

Description

一种遥控器零件自动装配方法和系统

技术领域

本发明属于人工智能与装配机器人技术领域，涉及一种遥控器零件自动装配方法和系统。

背景技术

长期起来，低廉的人力成本是制造业的一项巨大优势，在多数遥控器装配企业依靠人工装配。随着工业产品的不断创新，产品装配的工艺越来越复杂，对装配精度的要求也越来越高。现有的遥控器的装配过程，如图1所示，遥控器面盖10、PCB11、底盖12组成，人工装配遥控器的过程：将PCB11安装到面盖10中的对应位置，将底盖12盖在面盖10上，再用力压底盖12使面盖10和底盖12扣紧即可。由于遥控器的内部装配空间狭小导致需要很高的装配精度，工人长期工作受视觉疲劳因素的影响，使得装配效率低、装配质量差。

发明内容

本发明的目的在于克服上述现有技术中，人工装配效率低和装配质量差的缺点，提供一种遥控器零件自动装配方法和系统。

为了达到上述目的，本发明采用以下技术方案予以实现：

一种遥控器零件自动装配方法，包括以下步骤：

步骤1)采集遥控器所有零件的图像信息，将所有零件的图像信息作为训练样本，训练后得到遥控器的零件网络模型；

步骤2)采集传送带上方的图像信息，基于传送带上方的图像信息，判断传送带上是否有零件，

若传送带上无零件，则继续等待；

若传送带上有零件，则进一步获取传送带上零件的图像信息，结合遥控器的零件网络模型，得到传送带上的零件类别、尺寸信息、位置信息和旋转角度；

步骤3)基于传送带上的零件类别、尺寸信息、位置信息和抓取点信息，对传动带上的零件进行抓取，结合预先设定的装配顺序和每个零件的装配位置，将抓取的待装配零件按照装配位置和装配顺序进行安装，直至遥控器安装完成。

优选地，步骤1)中的训练采用实例分割网络进行。

优选地，步骤2)中，判断传送带上是否有零件的具体操作为：

采集传送带上方的视觉图像，将采集到的视觉图像转为灰度图；

根据传送带表面颜色阈值特征，对灰度图进行二值化处理，达到传送带表面颜色阈值特征则为背景，否则为前景；

计算前景连通区域的最大面积；

如果连通区域面积大于等于预设的最低阈值，则认为传送带上面有物体，此时将这帧图像传入预先训练好的网络中进行识别；如果连通区域面积小于预设的最低阈值，则认为传送带上没有物体。

优选地，步骤3)中，步骤3)中，获取旋转角度的具体操作为：

采集传送带上的零件上方的视觉图像，基于零件图像，提取矩形轮廓，从而得到零件的最小外接矩形，根据最小外接矩形的四个顶点，计算遥控器零件的旋转角度。

一种遥控器零件自动装配系统，包括：

图像采集模块，用于采集遥控器所有零件的图像信息；

图像信息处理模块，与图像采集模块相交互，用于对遥控器所有零件的图像信息进行处理，以遥控器所有零件的图像信息作为训练样本进行训练，得到遥控器的零件网络模型；

传送带零件信息采集模块，用于采集传送带上方的图像信息，基于传送带上方的图像信息，判断传送带上是否有零件，若传送带上无零件，则继续等待；若传送带上有零件，则该零件为待装配零件，进一步获取传送带上待装配零件的图像信息；

传送带零件识别模块，分别与图像信息处理模块和传送带零件信息采集模块相交互，基于遥控器的零件网络模型和传送带上待装配零件的图像信息，得到传送带上的零件类别、尺寸信息和抓取点信息；

装配机器人，与传送带零件识别模块相交互，基于待装配零件的类别、尺寸信息及抓取点信息移动，移动至待装配零件的抓取点对应的抓取区域停止，对待装配零件进行抓取；

安装模块，与装配机器人相交互，基于预先设定的装配顺序和每个零件的装配位置，将抓取的待装配零件按照装配位置和装配顺序进行安装，直至遥控器安装完成。

优选地，装配机器人上设有两个末端执行器，分别用于执行吸取零件和安装零件的操作。

优选地，系统还包括用于切换末端执行器和控制末端执行器的气泵。

优选地，图像采集模块和传送带零件信息采集模块分别通过工业相机进行。

优选地，安装模块通过操作台进行；

操作台上还安装有工业相机，用于采集操作台上的安装过程图像信息。

与现有技术相比，本发明具有以下有益效果：

本发明公开了一种遥控器零件自动装配方法，采集遥控器不同零件图像作为训练样本，训练后得到网络模型。启动传送带并运行程序，首先判断传送带上是否有零件，若有零件则将采集的图像输入到已训练的网络中，输出可以得到零件的类别等信息，计算可以得到零件的抓取点和角度信息。随着传送带的运动会导致遥控器零件出现旋转，在抓取遥控器零件前需要对旋转角度进行计算，以保证每个遥控器零件可以精准地到达安装位置。结合预先设定的装配顺序和每个零件的装配位置，将抓取的待装配零件按照装配位置和装配顺序进行安装，直至遥控器安装完成。对于遥控器零件的识别准确率高、识别速度快、鲁棒性高，且可以快速完成装配。

本发明还公开了一种遥控器零件自动装配系统，包括图像采集模块、图像信息处理模块、传送带零件信息采集模块、传送带零件识别模块、装配机器人和安装模块。采集到的图像使用图像处理算法对遥控器零件精准地分割，从而获取到抓取点和抓取角度信息，装配机器人将遥控器零件抓取到操作台上，按照遥控器安装顺序对其装配。本发明系统充分体现了装配机器人智能自动化的概念，装配机器人可以完成遥控器装配。装配机器人的末端安装有工业相机，代替人类的眼睛检测分类遥控器零件，装配机器人代替人类的手在真实环境中进行遥控器装配。为进一步研究装配机器人的智能自动化系统作业奠定了基础，具有很高的智能水平，是人工智能技术与装配机器人技术结合的一个典型应用。

附图说明

图1为遥控器智能装配机的架构图；

图2为遥控器装配主流程图；

图3为遥控器面盖安装流程图；

图4为遥控器PCB安装流程图；

图5为遥控器底盖安装流程图；

其中：1-计算机；2-气泵；3-末端执行器快换支架；4-第一末端执行器；5-第二末端执行器；6-装配机器人；7-工业相机；8-操作台；9-遥控器固定装置；10-面盖；11-PCB；12-底盖；13-遥控器；14-传送带。

具体实施方式

下面结合附图对本发明做进一步详细描述：

实施例1

一种遥控器零件自动装配方法，如图2所示，包括以下步骤：

步骤1)采集遥控器所有零件的图像信息，将所有零件的图像信息作为训练样本，训练后得到遥控器的零件网络模型；

步骤2)采集传送带上方的图像信息，基于传送带上方的图像信息，判断传送带上是否有零件，

若传送带上无零件，则继续等待；

若传送带上有零件，则进一步获取传送带上零件的图像信息，结合遥控器的零件网络模型，得到传送带上的零件类别、尺寸信息、位置信息和抓取点信息；

步骤3)基于传送带上的零件类别、尺寸信息、位置信息和抓取点信息，对传动带上的零件进行抓取，结合预先设定的装配顺序和每个零件的装配位置，将抓取的待装配零件按照装配位置和装配顺序进行安装，直至遥控器安装完成。

实施例2

一种遥控器零件自动装配方法，包括以下步骤：

步骤1)采集遥控器所有零件的图像信息，将所有零件的图像信息作为训练样本，训练后得到遥控器的零件网络模型；

步骤2)采集传送带上方的图像信息，基于传送带上方的图像信息，判断传送带上是否有零件，

采集传送带上方的视觉图像，将采集到的视觉图像转为灰度图；

根据传送带表面颜色阈值特征，对灰度图进行二值化处理，达到传送带表面颜色阈值特征则为背景，否则为前景；

计算前景连通区域的最大面积，如果连通区域面积大于最低阈值，则认为传送带上面有物体，此时将这帧图像传入预先训练好的网络中识别为某个零件；如果连通区域面积小于最低阈值，则认为传送带上没有物体。

若传送带上无零件，则继续等待；

若传送带上有零件，则进一步获取传送带上零件的图像信息，结合遥控器的零件网络模型，得到传送带上的零件类别、尺寸信息、位置信息和抓取点信息；

步骤3)基于传送带上的零件类别、尺寸信息、位置信息和抓取点信息，对传动带上的零件进行抓取，结合预先设定的装配顺序和每个零件的装配位置，将抓取的待装配零件按照装配位置和装配顺序进行安装，直至遥控器安装完成。

实施例3

一种遥控器零件自动装配方法，包括对遥控器零件的识别、定位遥控器零件的抓取点、和遥控器零件抓取角度的算法：

采集多张遥控器不同零件图像作为训练样本，使用实例分割网络进行训练，最终得到网络模型。启动传送带并运行程序，首先判断传送带上是否有物体检测，若有物体则将采集的图像输入到已训练的网络中，输出可以得到物体的类别、物体的左上角和右下角的坐标，通过对坐标进行计算可以得到抓取点和角度信息。

传送带上是否有物体的检测步骤如下：采集传送带上方的视觉图像，将图像转为灰度图，根据传送带表面颜色阈值特征，对图像进行二值化处理，满足传送带颜色的阈值为背景，否则为前景。根据前景连通区域的最大面积的大小，判断传送带上有无物体。

遥控器零件旋转角度检测算法步骤如下：采集遥控器零件上方的视觉图像，对于遥控器零件图像，提取矩形轮廓，从而得到遥控器零件的最小外接矩形，根据最小外接矩形的四个顶点，计算零件的旋转角度。

实施例4

除以下内容外，其余内容同实施例3。

步骤1)采集遥控器所有零件的图像信息，将所有零件的图像信息作为训练样本，训练后得到遥控器的零件网络模型；

步骤2)如图2所示，安装遥控器时，首先安装遥控器面盖，然后安装遥控器PCB，再安装遥控器底盖，最后将安装好的遥控器放置在传送带上进行分装。

如图3所示，安装遥控器面盖时，首先采集传送带上方的图像信息，基于传送带上方的图像信息，判断传送带上是否有零件，

若传送带上无零件，则继续等待；

若传送带上有零件，则进一步获取传送带上零件的图像信息，结合遥控器的零件网络模型，得到传送带上的零件类别是否属于遥控器零件，若不属于遥控器面盖，则继续等待，若属于遥控器零件，则继续计算得到遥控器零件的尺寸信息、位置信息和旋转角度，进而获取抓取点和抓取角度。遥控器零件抓取可以分为粗定位和细定位两个阶段，粗定位指的是从动态传送带上抓取遥控器零件，将其放置到操作台上，由于此过程是从动态传送带上抓取遥控器零件，所以抓取精度难以保证能达到装配精度，因此需要细定位操作；细定位指的是从操作台上抓取遥控器零件放入遥控器装配位置中，此过程是静态的从操作台上抓取，因此精度可以满足装配精度。装配机器人根据预设定的装配位置和装配顺序对遥控器零件进行抓取和装配。

同理，按照图4和图5，安装PCB和遥控器后盖，完成遥控器的安装。

实施例5

一种遥控器零件自动装配系统，包括：

图像采集模块，用于采集遥控器所有零件的图像信息；

图像信息处理模块，与图像采集模块相交互，用于对遥控器所有零件的图像信息进行处理，以遥控器所有零件的图像信息作为训练样本进行训练，得到遥控器的零件网络模型；

传送带零件信息采集模块，用于采集传送带上方的图像信息，基于传送带上方的图像信息，判断传送带上是否有零件，若传送带上无零件，则继续等待；若传送带上有零件，则该零件为待装配零件，进一步获取传送带上待装配零件的图像信息；

传送带零件识别模块，分别与图像信息处理模块和传送带零件信息采集模块相交互，基于遥控器的零件网络模型和传送带上待装配零件的图像信息，得到传送带上的零件类别、尺寸信息和抓取点信息；

装配机器人，与传送带零件识别模块相交互，基于待装配零件的类别、尺寸信息及抓取点信息移动，移动至待装配零件的抓取点对应的抓取区域停止，对待装配零件进行抓取；

安装模块，与装配机器人相交互，基于预先设定的装配顺序和每个零件的装配位置，将抓取的待装配零件按照装配位置和装配顺序进行安装，直至遥控器安装完成。

实施例6

如图1所示，一种遥控器零件自动装配系统，包括一个计算机1，遥控器装配机器人6，第一末端执行器4和第二末端执行器5，用于切换末端执行器和控制末端执行器的气泵2，操作台8和传送带14，操作台8上有遥控器固定装置9和安装完成的遥控器13，遥控器13可分为面盖10、PCB11、底盖12。其中，装配机器人6末端安装了一部工业相机7，用于采集传送带和操作台上的视觉图像，计算机1对采集到的图像执行遥控器部件检测算法，并将图像中遥控器部件的抓取点坐标按照一定比例关系转换获取装配机器人坐标系下的运动坐标，结合遥控器安装顺序、遥控器部件的安装高度及识别出的遥控器部件类别信息，利用第一末端执行器4进行相应的抓取操作，利用第二末端执行器5放置到固定遥控器装置9中进行安装。

装配机器人6通过工业相机7进行物体识别，然后引导装配机器人6进行抓取操作。需要进行装配机器人6与工业相机7标定，具体的操作步骤如下：

步骤1：计算机1控制装配机器人6移动使得工业相机7拍摄的图像中操作台上X和Y轴坐标垂直，并且工业相机距离操作台8的垂直距离40厘米，记录此时装配机器人6的坐标(x_p，y_p，z_p，A_p，B_p，C_p)。

步骤2：控制装配机器人6沿Z轴方向往下，直到第一末端执行器4接触到操作台8，然后在第一末端执行器4与操作台8接触的地方做标记称其为原点，装配机器人6再回到拍摄位置(x_p，y_p，z_p，A_p，B_p，C_p)，在操作台8上分别沿原点X方向垂直10厘米和沿原点Y方向垂直10厘米做标记。

步骤3：打开工业相机7，可以得到操作台8上原点的像素坐标(x₀，y₀)、沿X方向的像素坐标为(x₁，y₁)、沿Y方向的像素坐标为(x₂，y₂)，这里的x₀与x₂和y₀与y₁近似相等的。通过像素坐标可以计算出沿X轴和沿Y轴的偏移比例系数Δ_x和Δ_y。

步骤4：在操作台8上拍摄区域内任选一点D，则点D的像素坐标为(x_D，y_D)，则装配机器人6要到达点D其装配机器人6坐标应为(X_D，Y_D，Z_D，A_p，B_p，C_p)，其中Z_D为装配机器人6要到达操作台8的高度，X_D和，Y_D可以通过如下的公式计算。

X_D＝Δ_x(x_D-x₀)+x_p

Y_D＝Δ_y(y_D-y₀)+y_p

步骤5：在操作台8上拍摄区域内任选一点，控制装配机器人6通过视觉引导到操作台8上的该点位置，如果出现偏差，则调整Δ_x和Δ_y使得装配机器人6抓取操作更加准确。

所述装配机器人6的末端快换装置与气泵2连接，计算机1通过网线直接与装配机器人6控制器连接，利用以太网通信的方式控制装配机器人6直线运动和输入端口的状态，从而实现控制输入端口状态切换末端执行器和第一末端执行器4的抓取操作和第二末端执行器5的安装操作。

实施例7

除以下内容外，其余内容与实施例5相同。

由于遥控器13内部装配空间狭小，如果抓取的不准确很容易造成遥控器无法安装，所以需要粗抓取和细抓取。粗抓取阶段对于抓取物体的精度要求不高，只需要能够将其抓取起来，装配机器人6通过工业相机7采集传送带14上方图像，判断图像中有没有物体，如果有物体，则将采集到的该图像保存并送入Yolact网络得到遥控器部件的类别、抓取点、位姿信息，视觉引导装配机器人进行抓取并将其放到操作台8上的遥控器零件放置区域。细抓取阶段对于物体的抓取精度要求较高，装配机器人6通过工业相机7采集操作台8遥控器零件放置区域上方图像，计算机1利用图像处理得到物体的精准坐标位置和夹角参数，然后控制装配机器人1抓取遥控器零件将其放置到固定遥控器装置9。当遥控器安装完成后，将遥控器从固定遥控器装置9中抽出，然后重新放回传送带上。

实施例8

一种基于上述系统的遥控器零件自动装配方法，包括如下步骤：

步骤1：启动遥控器智能装配机，完成各项初始化工作，包括视觉装配机器人初始化、装配机器人初始化、启动传送带等。

步骤2：空调遥控器智能装配机所包括的视觉装配机器人6开始进行遥控器装配的粗抓取阶段，采集传送带正上方的图像，如果图像中有物体，则调用遥控器零件检测分类算法得到遥控器零件的抓取点和位姿信息，计算机6通过控制装配机器人进行抓取，并将遥控器零件放在操作台8上的对应区域。当遥控器13的面盖10、PCB11、底盖12都放置到遥控器零件区域内后，则遥控器装配的粗抓取阶段完成。

步骤3：遥控器装备细抓取阶段，采集操作台8上遥控器零件区域的图像，使用实例分割网络可以得到遥控器零件的精准抓取点和夹角参数。首先要抓取的是遥控器面盖10，计算器1控制装配机器人6抓取遥控器面盖10，然后将其插入到固定遥控器装置9中；其次要抓取的是遥控器的PCB11，将其放入到上一步的遥控器面盖10中；最后，抓取遥控器的底盖12，将其抓取起来，保证底盖12和面盖10的四个角对应上，然后使用第二末端执行器5适当地向下按压遥控器底盖四个角，通过上面的步骤，遥控器13安装就完成了。

步骤4：使用第一末端执行器4将遥控器13从固定遥控器装置9推出三分之二，然后控制第一末端执行器4抓取遥控器，移动到传送带正上方，判断工业相机7拍摄的图像中是否有物体，如果没有物体则将遥控器放在传送带上。

步骤5：当安装好的遥控器13放回传送带上后，遥控器装配完成。

综上所述，本发明提供遥控器零件自动装配方法及系统，不仅可以精准地完成遥控器装配，而且在不同光照条件下的遥控器零件检测分类鲁棒性好，识别速度快，可作为智能自动化系统的模型系统进行深入研究，充分体现了机器智能代替手工作业的概念，是一种人工智能技术与装配机器人技术结合的典型应用，为进一步研究装配机器人智能自动化系统提供了基础。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (9)

1.一种遥控器零件自动装配方法，其特征在于，包括以下步骤：

步骤1)采集遥控器所有零件的图像信息，将所有零件的图像信息作为训练样本，训练后得到遥控器的零件网络模型；

步骤2)采集传送带上方的图像信息，基于传送带上方的图像信息，判断传送带上是否有零件，

若传送带上无零件，则继续等待；

若传送带上有零件，则进一步获取传送带上零件的图像信息，结合遥控器的零件网络模型，得到传送带上的零件类别、尺寸信息、位置信息和旋转角度；

步骤3)基于传送带上的零件类别、尺寸信息、位置信息和抓取点信息，对传动带上的零件进行抓取，结合预先设定的装配顺序和每个零件的装配位置，将抓取的待装配零件按照装配位置和装配顺序进行安装，直至遥控器安装完成。

2.根据权利要求1所述的遥控器零件自动装配方法，其特征在于，步骤1)中的训练采用实例分割网络进行。

3.根据权利要求1所述的遥控器零件自动装配方法，其特征在于，步骤2)中，判断传送带上是否有零件的具体操作为：

采集传送带上方的视觉图像，将采集到的视觉图像转为灰度图；

根据传送带表面颜色阈值特征，对灰度图进行二值化处理，达到传送带表面颜色阈值特征则为背景，否则为前景；

计算前景连通区域的最大面积；

如果连通区域面积大于等于预设的最低阈值，则认为传送带上面有物体，此时将这帧图像传入预先训练好的网络中进行识别；如果连通区域面积小于预设的最低阈值，则认为传送带上没有物体。

4.根据权利要求1所述的遥控器零件自动装配方法，其特征在于，步骤3)中，步骤3)中，获取旋转角度的具体操作为：

采集传送带上的零件上方的视觉图像，基于零件图像，提取矩形轮廓，从而得到零件的最小外接矩形，根据最小外接矩形的四个顶点，计算遥控器零件的旋转角度。

5.一种遥控器零件自动装配系统，其特征在于，包括：

图像采集模块，用于采集遥控器所有零件的图像信息；

图像信息处理模块，与图像采集模块相交互，用于对遥控器所有零件的图像信息进行处理，以遥控器所有零件的图像信息作为训练样本进行训练，得到遥控器的零件网络模型；

传送带零件信息采集模块，用于采集传送带上方的图像信息，基于传送带上方的图像信息，判断传送带上是否有零件，若传送带上无零件，则继续等待；若传送带上有零件，则该零件为待装配零件，进一步获取传送带上待装配零件的图像信息；

传送带零件识别模块，分别与图像信息处理模块和传送带零件信息采集模块相交互，基于遥控器的零件网络模型和传送带上待装配零件的图像信息，得到传送带上的零件类别、尺寸信息和抓取点信息；

装配机器人，与传送带零件识别模块相交互，基于待装配零件的类别、尺寸信息及抓取点信息移动，移动至待装配零件的抓取点对应的抓取区域停止，对待装配零件进行抓取；

安装模块，与装配机器人相交互，基于预先设定的装配顺序和每个零件的装配位置，将抓取的待装配零件按照装配位置和装配顺序进行安装，直至遥控器安装完成。

6.根据权利要求5所述的遥控器零件自动装配系统，其特征在于，装配机器人上设有两个末端执行器，分别用于执行吸取零件和安装零件的操作。

7.根据权利要求5所述的遥控器零件自动装配系统，其特征在于，系统还包括用于切换末端执行器和控制末端执行器的气泵。

8.根据权利要求5所述的遥控器零件自动装配系统，其特征在于，图像采集模块和传送带零件信息采集模块分别通过工业相机进行。

9.根据权利要求5所述的遥控器零件自动装配系统，其特征在于，安装模块通过操作台进行；

操作台上还安装有工业相机，用于采集操作台上的安装过程图像信息。

Images