CN109926817B - 基于机器视觉的变压器自动装配方法 - Google Patents

Abstract

本发明提供了一种基于机器视觉的变压器自动装配方法，包括构建所要装配的变压器的标准零件特征数据库、采集零件放置区与装配区的图像、图像特征提取、零件匹配、获取机械手装配路径、装配。本发明用相机代替人眼进行装配位置的测量，提高了产品的装配精度，同时减少了劳动力的消耗，这种装配方式不仅工作稳定，而且大大提高了生产效率与生产的自动化程度，适用于大批量的变压器生产装配过程。

Description

基于机器视觉的变压器自动装配方法

技术领域

本发明涉及一种机械自动化和机器视觉技术，特别是一种基于机器视觉的变压器自动装配方法。

背景技术

随着机器视觉技术的快速发展，柔性装配逐渐受到人们的重视，利用视觉技术可使机器人根据周围环境、作业条件等因素做出自主决策，实现动态调整抓取点位置，快速调整零件的姿态，精准地放置到待装配区域等动作，从而提高产品装配的稳定性与生产效率。现今在制造业产品需求日益增长，产品质量要求越来越高的趋势下，柔性化装配以其高装配精度、稳定性强、工作效率高等特点，被广泛应用于生产实践中。目前，很多工厂的变压器装配过程仍然采用人工手动完成，需要消耗大量的劳动力，同时工作效率低，且无法保证产品的装配精度。

发明内容

本发明的目的在于提供一种基于机器视觉的变压器自动装配方法，本方法使设备具有柔性装配的特点，针对装配过程中可能出现的状况，可以利用视觉反馈进行修正，从而保证产品的装配精度要求，大大提高工作效率和产品的自动化程度。

实现本发明目的的技术方案为：一种基于机器视觉的变压器自动装配方法，包括：

构建所要装配的变压器的标准零件特征数据库：标准零件特征包括零件的装配序列号、标准零件的轮廓面积范围、标准零件的轮廓长度范围、放置区域的下降高度Z1、装配区域的下降高度Z2、相机位于对应零件放置区与装配区的正上方的机械手坐标信息；

采集零件放置区与装配区的图像：根据当前装配零件序列号获取标准零件特征数据库中相机位于对应零件放置区与装配区的正上方的机械手坐标信息，驱动机械手带动相机运动到指定位置对各区域零件进行图像采集；

图像特征提取：提取零件的全部轮廓，根据图像的全部轮廓计算零件的轮廓面积与轮廓长度；

零件匹配：根据当前装配序列号找到组成标准零件特征数据库对应的标准零件轮廓面积、标准零件轮廓长度范围，并与图像特征提取得到的零件的轮廓面积、轮廓长度对比；

获取机械手装配路径：若面积和长度的误差在一范围内，则通过质心法结合矩形拟合计算出零件在相机坐标系下的质心坐标和偏转角度，经坐标转换后得到放置区的目标零件相对于机械手世界坐标系的坐标(X1,Y1,Z1,C1)和装配区与零件轮廓匹配位置相对于机械手世界坐标系的坐标(X2,Y2,Z2,C2)，其中，X、Y为机械手世界坐标系的横纵坐标，C为零件的偏转角度；

装配：机械手根据装配路径抓取零件进行装配。

本发明与现有技术相比，具有以下优点：(1)该方法构建了构建所要装配的变压器的标准零件特征数据库，用于实现变压器的全自动装配，在进行变压器装配过程中，能够从标准零件特征数据库中获取出相机位于对应零件放置区与装配区的正上方的机械手坐标信息，从而引导机械手带动相机到指定位置进行图像采集；(2)采集的图像经过处理后与标准零件特征数据库中对应的标准零件的轮廓面积和轮廓长度范围进行对比，符合范围要求后，才执行后续的零件装配动作，能够避免没有放置零件或摆放错零件的误操作；(3)在装配不同类型的变压器时，由于已经建立了标准零件特征数据库，只需要对原有的零件特征数据库中的特征进行更换而不需要改变原有的硬件结构，可以节省大量的生产成本；(4)该方法采用自适应边缘提取算法、固定阈值边缘提取算法、Canny边缘提取算法对其进行处理，在装配过程中不断记录各类算法的正确性，并按照正确性对每一零件的图像特征提取算法进行适用性优先级排序；根据优先级顺序，每次对零件进行图像特征提取的时候，先采用适用性最优的算法，如果没有得到很好的边缘提取效果，再依次运行次优的算法，以此类推，这样的执行策略能够灵活的替换边缘提取算法，以提高零件的边缘提取效果；(5)本发明使设备具有柔性装配的特点，提高了产品的装配精度与生产的工作效率，大大提高了产线的自动化程度。

下面结合说明书附图对本发明作进一步描述。

附图说明

图1是本发明应用的系统整体结构示意图.

图2是本发明基于机器视觉的变压器自动装配方法流程示意图。

图3是边柱的放置区图像。

图4是边柱的放置区轮廓处理图。

图5是边柱的装配区图像。

图6是边柱的装配区轮廓处理图。

具体实施方式

结合图1，本发明自动装配变压器的装备包括支架、机械手1、相机2、物料盘3、输送机4。机械手1设置于支架上且可以在三自由度上转动，相机2设置于机械手1上。物料盘3设置于输送机4上，物料盘3随着输送机4的传送带一起运动。输送机4在机械手1的工作区域处设置光电开关，当物料盘3触发光电开关时，传送带停止，当一工序的工件装配完成，物料盘3被传送至下一工位。

结合图2，一种基于机器视觉的变压器的自动装配方法，包括构建所要装配的变压器的标准零件特征数据库和组装。

所要装配的变压器的标准零件特征数据库中存储的数据包括：零件的装配序列号、标准零件的轮廓面积范围、标准零件的轮廓长度范围、放置区域的下降高度Z1、装配区域的下降高度Z2、相机位于对应零件放置区与装配区的正上方的机械手坐标信息。

构建所要装配的变压器的组成标准零件特征数据库的具体步骤为：

步骤S101，选取所要装配变压器的所有组成零件的标准零件；

步骤S102，将标准零件分别放置于放置区与装配区；

步骤S103，机械手控制相机置于各个零件的放置区与装配区的正上方，记录机械手对应的坐标信息；

步骤S104，当机械手位于步骤S103记录的坐标信息处时，按照零件的装配顺序，相机依次完成图像的采集；

步骤S105，提取每一图像中标准零件的全部轮廓，然后创建一个像素值全为0的图像，依次在该图上以像素值255绘制每个轮廓，直到找到对应零件的轮廓后，计算并记录此时零件的轮廓面积与轮廓长度；

步骤S106，通过机械手控制器操作机械手去夹取各个零件，放置到放置区与装配区，确定放置区的下降高度Z1和装配区的下降高度Z2，并记录。

组装过程具体包括采集零件放置区与装配区的图像、图像特征提取、零件匹配、获取机械手装配路径和装配。

采集零件放置区与装配区的图像：根据当前装配零件序列号获取标准零件特征数据库中相机位于对应零件放置区与装配区的正上方的机械手坐标信息，驱动机械手带动相机运动到指定位置对各区域零件进行图像采集；

图像特征提取：提取待装配零件的全部轮廓，根据图像的全部轮廓计算零件的轮廓面积与轮廓长度；

零件匹配：根据当前装配序列号找到组成标准零件特征数据库对应的标准零件轮廓面积、标准零件轮廓长度范围，并与图像特征提取得到的零件的轮廓面积、轮廓长度对比；

获取机械手装配路径：若面积和长度的误差在一范围内，则通过质心法结合矩形拟合计算出零件在相机坐标系下的质心坐标和偏转角度，经坐标转换后得到放置区的目标零件相对于机械手世界坐标系的坐标(X1,Y1,Z1,C1)和装配区与零件轮廓匹配位置相对于机械手世界坐标系的坐标(X2,Y2,Z2,C2)，其中，X、Y为机械手世界坐标系的横纵坐标，C为零件的偏转角度；

装配：机械手根据装配路径抓取零件进行装配。

图像特征提取之前要对图像进行预处理，预处理的过程为：

步骤S301，对采集的图像进行灰度化操作；

步骤S302，对采集的图像进行高斯滤波去噪处理；

步骤S303，针对不同零件，以采集图像的中心为基准，设置合理的感兴趣区域大小；

步骤S304，通过掩膜操作，将感兴趣区域以外的像素值设置为0。

对预处理的图像，采用自适应边缘提取算法，固定阈值边缘提取算法，Canny边缘提取算法对其进行处理。同时，在装配过程中不断记录各类算法的正确性；对各类算法的适用情况进行分析，并按照正确性的大小对每一零件的图像特征提取算法进行适用性优先级排序，正确性越大顺序越高。根据优先级顺序，每次对零件进行图像特征提取的时候，先采用适用性最优的算法，如果没有得到很好的边缘提取效果，再依次运行次优的算法，以此类推。

调用OpenCV中的findContours函数检测边缘检测图中的所有轮廓，对轮廓采用contourArea和arcLength函数计算轮廓面积与长度。

计算轮廓的一阶矩得到零件的质心坐标；采用最小外接矩形的方法确定出零件的偏转角度，且偏转角是以零件长边与X坐标轴的夹角。

组装的具体过程如下：

步骤1，将装载零件的物料盘3放置在输送机4上，随着输送机4传送带一起运动，直到运动至机械手1的工作区域，物料盘3会触发输送机4下方的光电开关随即停止。

步骤2，装配过程，设置当前装配序列号为i，根据当前装配零件序列号i找到标准零件特征数据库中相机位于零件i放置区与装配区的正上方的机械手坐标信息，然后通过终端计算机发送控制命令，驱动机械手带动相机运动到指定位置进行图像采集。以边柱零件为例，图3为边柱的放置区图像，图5为边柱的装配区图像。

步骤3，对采集图像进行预处理，然后提取图像的全部轮廓，根据当前零件序列号i找到标准零件特征数据库中对应的轮廓面积和轮廓长度范围，在所有的轮廓中查找在此轮廓面积和轮廓长度范围内的轮廓，若存在，则进一步计算轮廓的一阶矩得到零件的质心坐标，采用最小外接矩形的方法确定出零件的偏转角度。以边柱零件为例，图4为边柱的放置区轮廓处理图，图6为边柱的装配区轮廓处理图，已在图中绘制出零件轮廓线，最小外接矩形线及质心点。经坐标变换获得相对于机械手世界坐标系的X,Y,C。若遍历完所有轮廓，仍没有找到符合范围要求的轮廓，则弹出警示窗口提示当前装配零件出错。

步骤4，由步骤3得到零件放置区与装配区的X,Y,C，同时根据标准零件特征数据库中已有的下降高度Z，组成零件放置区目标零件相对于机械手世界坐标系的坐标(X1,Y1,Z1,C1)与装配区与零件轮廓匹配位置相对于机械手世界坐标系的坐标(X2,Y2,Z2,C2)。

步骤5，根据步骤4获得的两点坐标，规划机械手的运动路径，从机械手到目标零件位置抓取，搬运，姿态调整到最终装配动作。

步骤6，重复2-5步骤直到所有零件装配完成。

Claims (5)

1.一种基于机器视觉的变压器自动装配方法，其特征在于，包括

构建所要装配的变压器的标准零件特征数据库：标准零件特征包括零件的装配序列号、标准零件的轮廓面积范围、标准零件的轮廓长度范围、放置区域的下降高度Z1、装配区域的下降高度Z2、相机位于对应零件放置区与装配区的正上方的机械手坐标信息；

采集零件放置区与装配区的图像：根据当前装配零件序列号获取标准零件特征数据库中相机位于对应零件放置区与装配区的正上方的机械手坐标信息，驱动机械手带动相机运动到指定位置对各区域零件进行图像采集；

图像特征提取：提取待装配零件的全部轮廓，根据图像的全部轮廓计算零件的轮廓面积与轮廓长度；

零件匹配：根据当前装配序列号找到组成标准零件特征数据库对应的标准零件轮廓面积、标准零件轮廓长度范围，并与图像特征提取得到的零件的轮廓面积、轮廓长度对比；

获取机械手装配路径：若面积和长度的误差在一范围内，则通过质心法结合矩形拟合计算出零件在相机坐标系下的质心坐标和偏转角度，经坐标转换后得到放置区的目标零件相对于机械手世界坐标系的坐标（X1,Y1,Z1,C1）和装配区与零件轮廓匹配位置相对于机械手世界坐标系的坐标（X2,Y2,Z2,C2），其中，X、Y为机械手世界坐标系的横纵坐标，C为零件的偏转角度；

装配：机械手根据装配路径抓取零件进行装配；

构建所要装配的变压器的组成标准零件特征数据库的具体步骤为：

步骤S101，选取所要装配变压器的所有组成零件的标准零件；

步骤S102，将标准零件分别放置于放置区与装配区；

步骤S103，机械手控制相机置于各个零件的放置区与装配区的正上方，记录机械手对应的坐标信息；

步骤S104，当机械手位于步骤S103记录的坐标信息处时，按照零件的装配顺序，相机依次完成图像的采集；

步骤S105，提取每一图像中标准零件的全部轮廓，然后创建一个像素值全为0的图像，依次在该图上以像素值255绘制每个轮廓，直到找到对应零件的轮廓后，计算并记录此时零件的轮廓面积与轮廓长度；

步骤S106，通过机械手控制器操作机械手去夹取各个零件，放置到放置区与装配区，确定放置区的下降高度Z1和装配区的下降高度Z2，并记录。

2.根据权利要求1所述的方法，其特征在于，采集零件放置区与装配区的图像后对图像进行预处理，预处理的过程为：

步骤S301，对采集的图像进行灰度化操作；

步骤S302，对采集的图像进行高斯滤波去噪处理；

步骤S303， 针对不同零件，以采集图像的中心为基准，设置合理的感兴趣区域大小；

步骤S304，通过掩膜操作，将感兴趣区域以外的像素值设置为0。

3.根据权利要求1所述的方法，其特征在于，对不同的零件，分别采用自适应边缘提取算法、固定阈值边缘提取算法和Canny边缘提取算法提取图像特征，在装配过程中不断记录各类算法的正确性，根据正确性的大小对算法进行排序。

4.根据权利要求1所述的方法，其特征在于，调用OpenCV中的findContours函数检测边缘检测图中的所有轮廓，对轮廓采用contourArea和arcLength函数计算轮廓面积与长度。

5.根据权利要求1所述的方法，其特征在于，计算轮廓的一阶矩得到零件的质心坐标；采用最小外接矩形的方法确定出零件的偏转角度，且偏转角是以零件长边与X坐标轴的夹角。

Images