CN113843797B - 一种基于单双目混合视觉的非结构环境下零件六角螺栓自动拆卸方法 - Google Patents

Abstract

本发明公开了一种基于单双目混合视觉的非结构环境下零件六角螺栓自动拆卸方法，更具体的是首先完成固定在机械臂末端的自动拆卸工具和单目视觉系统的标定，固定在机械臂外某一位置的双目视觉系统的标定。双目视觉系统通过模板匹配完成复杂零件上六角螺栓的粗定位，机械臂带动单目视觉系统运动至六角螺栓上方，单目视觉系统通过图像处理计算六角螺栓各特征点和中心点的平面坐标，机械臂带动自动拆卸工具实现与六角螺栓的啮合。设置目标转角，转动方向，转速和机械臂直线运动速度等运动参数完成六角螺栓的自动化拆卸。

Description

一种基于单双目混合视觉的非结构环境下零件六角螺栓自动 拆卸方法

技术领域

本发明涉及螺栓自动化拆卸技术，具体涉及一种基于单双目混合视觉的非结构环境下零件六角螺栓自动拆卸方法。

背景技术

再制造是将损坏或报废的产品转化为可用或新制造产品的一种过程。零件再制造对环境和可持续都有十分重要的意义，再制造包括拆卸、清洗、检查、维修、更换、重新组装和测试等过程，其中拆卸是再制造过程中最重要步骤。由于零件在尺寸形状上的各异性，对拆卸自动化提出较高的要求。

利用机器人进行自动化拆卸可以大幅度减少劳动力成本的同时提高拆卸的效率。机器人视觉系统可以代替人眼进行测量和判断，利用机器人视觉系统进行螺栓的识别和定位可以大大提高螺栓自动化拆卸的效率，机器人视觉系统可以分为单目视觉系统、双目视觉系统和多目视觉系统。其中，单目视觉系统结构简单且成本低，但是无法直接获得物体三维信息，双目和多目视觉系统能够利用获得场景的深度信息，但构建成本和系统复杂度较高，与单目视觉系统相比，双目及多目视觉系统能够获得信息更精确，可以有效提高机器人定位精度。为了结合单目视觉系统和双目视觉系统的优点而避免各自的缺点，可以采用单目视觉系统和双目视觉系统相结合的混合视觉系统，先利用双目视觉系统将机械手粗定位至目标附近，再在单目视觉系统完成目标的精细化处理，能够更好地完成复杂环境下的各种任务。

发明内容

针对上述问题，提出一种基于单双目混合视觉的非结构环境下零件六角螺栓自动拆卸方法，通过由单目视觉系统和双目视觉系统组成的混合视觉系统实现对操作环境信息和零件信息的测量，通过机器人完成对复杂零件螺栓的高效，高质量拆卸。

本发明的技术方案：一种基于单双目混合视觉的非结构环境下零件六角螺栓自动拆卸方法，

首先对整个系统中的各坐标系做出定义，包括机器人基坐标系(世界坐标系)，双目视觉系统坐标系、单目视觉系统坐标系、自动拆卸工具坐标系以及工件坐标系，各坐标系之间的转换是实现拆卸的关键。六角螺栓自动拆卸方法包括以下步骤：

一、完成自动拆卸工具和混合视觉相机的标定。自动拆卸工具安装在机器人末端法兰处通过工具标定建立工具与机械臂之间的坐标转换关系；双目视觉系统设置在机械臂之外的某个固定位置，通过固定在机械臂末端的圆形阵列标定板完成标定，建立双目视觉系统和工具之间的坐标转换关系，对双目视觉系统进行水平校正；单目视觉系统固定在机械臂末端，通过圆形阵列标定板完成单目视觉系统的标定，建立单目视觉系统和工具之间的坐标转换关系；

二、双目视觉系统对目标拆卸零件进行图像拍摄。为了防止相机成像及图像传输过程加入的噪声对于图像处理过程的影响，应该先进行图像预处理，图像预处理过程包括图像去噪、图像增强和图像分割。通过图像预处理可以提升图像的质量及减少图像识别的难度；

三、运用三维CAD软件完成螺栓模型的建立，将获得的螺栓模型导入图像处理软件中，利用虚拟相机获得螺栓2D形状数据模型库，将建立完成的2D形状模型库在全图像中进行全局搜索匹配，从而识别到位于复杂零件上各螺栓，通过双目视觉系统的标定结果，将识别到的螺栓信息位姿由双目视觉系统坐标系转换到工件坐标系中；

四、确定第一个需要被拆卸的螺栓，根据该螺栓位姿信息，机械臂带动单目视觉系统移动到其上方，使得螺栓能够清晰完整地出现在单目视觉系统的视野之中；

五、单目视觉系统获取螺栓图像，对该图像进行预处理，在完成图像预处理后进行图像轮廓拟合，拟合的图像轮廓能够唯一准确地描述目标该螺栓轮廓。将图像轮廓进行分割筛选，筛选后的螺栓每个边缘都至少有一条轮廓，选择螺栓每个边缘的一条轮廓进行延长，每两条延长线相交一个获得交点，获得各个交点的在单目视觉系统坐标系下平面坐标并计算螺栓中心点的平面坐标，将螺栓的各个坐标信息转换到工件坐标系中；

六、移动机械臂，使得拆卸工具的末端到达螺栓上方，拆卸工具下平面与螺栓上平面平行，并且使得工具的中心与螺栓中心点位于同一轴线上，同时通过机械臂旋转使得拆卸工具的各个特征点对准螺栓的各个交点，机械臂往螺栓方向移动，使得拆卸工具与螺栓啮合；

七、设置拆卸参数。拆卸参数包括拆卸工具的目标转角，转动方向，转速和机械臂往原理螺栓方向运动的直线运动速度。在拆卸工具和机械臂的配合下完成螺栓的自动化拆卸。

本发明的有益效果：通过双目视觉系统获得操作空间及复杂零件的三维位姿信息，通过模板匹配进行螺栓位姿粗定位。机械臂移动后，单目视觉系统获取图片进行图像处理获得螺栓各特征点信息，实现了螺栓的精确定位。在拆卸工具和机械臂的配合运动下完成了螺栓的自动化拆卸。本发明可实现非结构环境下复杂零件的自动化拆卸，根据混合视觉系统获取螺栓的精确位姿信息，不但节省了人力物力，还节省了时间成本，提高了螺栓自动化拆卸的效率和质量。

附图说明

图1为本发明的流程图。

具体实施方式

下面结和附图对本发明的实施例作进一步说明：

如图所示，本发明公开了一种基于单双目混合视觉的非结构环境下零件六角螺栓自动拆卸方法，包括

尽管机器人具有非常好的机械特性，但机器人系统相关坐标系却很复杂。因此，对整个系统中的各坐标系做出定义，包括机器人基坐标系(世界坐标系)，双目视觉系统坐标系、单目视觉系统坐标系、自动拆卸工具坐标系以及工件坐标系，各坐标系之间的转换是实现拆卸的关键。

一、完成工具和混合视觉相机的标定

1.自动拆卸工具安装在机器人末端法兰处以满足螺栓自动化拆卸的需求，自动拆卸工具下方存在形状与六角螺栓头部相似的六边形，且六边形的尺寸略大于六角螺栓头部，并且在自动拆卸工具内部有弹性机构，可以使得六角螺栓的头部与自动拆卸工具啮合后还能在螺栓的轴线方向上有一定程度的移动，通过工具标定建立自动拆卸工具坐标系与机器人基坐标系之间的坐标转换关系。

2.双目视觉系统设置在机械臂之外的某个固定位置，在尽量避免发生遮挡的前提下尽可能获得更大的视野。将圆形阵列标定板固定在机械臂末端，圆形阵列标定板随机械臂的运动而发生随动。通过圆形阵列标定板完成标定，获得双目视觉系统的内参和外参，建立双目视觉系统坐标系和自动拆卸工具坐标系之间的坐标转换关系，即建立双目标定。同时，对双目视觉系统左右相机采集的图片进行水平校正，水平校正之后的图片将原来的透明失真变形消除掉，并将两幅图像中的纵坐标对齐。

3.单目视觉系统固定在机械臂末端，与机械臂之间是随动的关系，通过机械臂外一个固定的圆形阵列标定板完成标定，得到单目视觉系统的内参和外参，建立单目视觉系统坐标系和自动拆卸工具坐标系之间的坐标转换关系，即建立手眼标定。

二、双目视觉系统对目标拆卸零件进行图像获取。为了防止相机成像及图像传输过程加入的噪声对于图像处理过程的影响，应该先进行图像预处理，图像预处理过程包括图像去噪、图像增强和图像分割。通过图像预处理可以提升图像的质量，加快图像数据处理时间及减少图像识别的难度；

三、运用三维CAD软件完成六角螺栓模型的建立，将获得的六角螺栓模型导入图像处理软件中，利用虚拟相机获得螺栓2D形状数据模型库，将建立完成的2D形状模型库在全图像中进行全局搜索匹配，从而得到复杂零件上各六角螺栓在双目视觉系统坐标系下的位姿信息通过双目标定结果，获取的各六角螺栓转换到工件坐标系下的位姿信息/>

四、确定第一个需要被拆卸的六角螺栓，根据该螺栓位姿信息机械臂带动单目视觉系统移动到其上方，使得螺栓能够清晰完整地出现在单目视觉系统的视野之中；

五、单目视觉系统获取六角螺栓图像，对该图像进行预处理，在完成图像预处理后进行图像轮廓拟合，并通过轮廓获得六角螺栓的各个特征点，特征处理分析的过程步骤主要如下：

1.对六角螺栓上平面进行RGB图像清晰采集，采集到图像的各特征边缘应该能够清晰的分辨；

2.将RGB图像转为灰度图像，对灰度图像进行二值化处理，使得二值化处理后的灰度图像中尽可能只包含目标拆卸六角螺栓；

3.基于Canny算子进行六角螺栓的边缘检测和轮廓提取，通过调整滤波值得到包括能够完整描述六角螺栓螺帽在内的多条轮廓；

4.对获得的多条轮廓进行筛选，筛选仅后获得六角螺栓的边缘轮廓；

5.提取出的边缘轮廓进行分割，分割的依据为平滑轮廓的点数，分割得到的结果为直线和圆弧。将分割后的各个直线和圆弧进行筛选，使得每一个边缘至少存在一条直线；

6.选择六角螺栓每一条边上的一条直线进行延长，得到六条延长线后，就可以得到在平面坐标系下的六个交点，计算各个交点的平面坐标并计算螺栓中心点的平面坐标；

六、图像处理后的螺栓各特征点在单目视觉系统坐标系下的位姿通过手眼标定，各特征点转换到拆卸工具坐标系下的位姿为/>移动机械臂，使得拆卸工具的末端到达螺栓上方，拆卸工具下平面与螺栓上平面平行，并且使得工具的中心与螺栓中心点位于同一轴线上，同时通过机械臂旋转使得拆卸工具的各个特征点对准螺栓的各个交点，机械臂往螺栓方向移动，使得拆卸工具与螺栓啮合；

七、设置拆卸参数。拆卸参数包括拆卸工具的目标转角，转动方向，转速和机械臂往六角螺栓轴线方向运动的直线运动速度。在拆卸工具和机械臂的配合下完成螺栓的自动化拆卸。

实施例不应视为对本发明的限制，但任何基于本发明的精神所作的改进，都应在本发明的保护范围之内。

Claims (4)

1.一种基于单双目混合视觉的非结构环境下零件六角螺栓自动拆卸方法，其特征在于，

对各坐标系做出定义，包括机器人基坐标系，双目视觉系统坐标系、单目视觉系统坐标系、自动拆卸工具坐标系以及工件坐标系；

非结构环境下零件六角螺栓自动拆卸方法包括如下步骤：

步骤一.完成自动拆卸工具和单双目混合视觉系统的标定；通过工具标定建立自动拆卸工具坐标系与机器人基坐标系之间的坐标转换关系；建立双目视觉系统坐标系和自动拆卸工具坐标系之间的坐标转换关系，即建立双目标定；建立单目视觉系统坐标系和自动拆卸工具坐标系之间的坐标转换关系，即建立手眼标定；

步骤二，双目视觉系统对目标拆卸零件进行图像拍摄；进行图像预处理，图像预处理过程包括图像去噪、图像增强和图像分割；

步骤三，运用三维CAD软件完成六角螺栓模型的建立，将获得的六角螺栓模型导入图像处理软件中，利用虚拟相机获得六角螺栓2D形状数据模型库，将建立完成的2D形状数据模型库在全图像中进行全局搜索匹配，得到目标拆卸零件上各六角螺栓在双目视觉系统坐标系下的位姿信息通过双目标定结果，获取的各六角螺栓在双目视觉系统坐标系的位姿信息转换到自动拆卸工具坐标系下的位姿信息/>

步骤四，确定第一个需要被拆卸的六角螺栓，根据该六角螺栓位姿信息机械臂带动单目视觉系统移动到其上方，使得六角螺栓能够清晰完整地出现在单目视觉系统的视野之中；

步骤五，单目视觉系统获取六角螺栓图像，对该图像进行预处理，在完成图像预处理后进行图像轮廓拟合，并通过轮廓获得六角螺栓的各个特征点；所述步骤五的过程步骤如下：

1).对六角螺栓上平面进行RGB图像清晰采集，采集到图像的各特征边缘能够清晰的分辨；

2).将RGB图像转为灰度图像，对灰度图像进行二值化处理，使得二值化处理后的灰度图像中只包含目标拆卸六角螺栓；

3).基于Canny算子进行六角螺栓的边缘检测和轮廓提取，通过调整滤波值得到包括能够完整描述六角螺栓螺帽在内的多条轮廓；

4).对获得的多条轮廓进行筛选，筛选后获得六角螺栓的边缘轮廓；

5).对获得的边缘轮廓进行分割，分割的依据为平滑轮廓的点数，分割得到的结果为直线和圆弧；将分割后的各个直线和圆弧进行筛选，使得每一个边缘至少存在一条直线；

6).选择六角螺栓每一条边上的一条直线进行延长，得到六条延长线后，得到在平面坐标系下的六个交点，计算各个交点的平面坐标并计算六角螺栓中心点的平面坐标；

步骤六，图像处理后的六角螺栓各特征点在单目视觉系统坐标系下的位姿通过手眼标定，各特征点转换到拆卸工具坐标系下的位姿为/>移动机械臂，使得拆卸工具的末端到达六角螺栓上方，拆卸工具下平面与六角螺栓上平面平行，并且使得工具的中心与六角螺栓中心点位于同一轴线上，同时通过机械臂旋转使得拆卸工具的各个特征点对准六角螺栓的各个交点，机械臂往六角螺栓方向移动，使得拆卸工具与六角螺栓啮合；

步骤七，设置拆卸参数；拆卸参数包括拆卸工具的目标转角，转动方向，转速和机械臂往六角螺栓轴线方向运动的直线运动速度；在拆卸工具和机械臂的配合下完成六角螺栓的自动化拆卸。

2.根据权利要求1所述的一种基于单双目混合视觉的非结构环境下零件六角螺栓自动拆卸方法，其特征在于：所述步骤一中的自动拆卸工具安装在机器人末端法兰处以满足六角螺栓自动化拆卸的需求，自动拆卸工具下方存在形状与六角螺栓头部相似的六边形，且六边形的尺寸大于六角螺栓头部，并且在自动拆卸工具内部有弹性机构，使得六角螺栓的头部与自动拆卸工具啮合后还能在六角螺栓的轴线方向上有一定程度的移动。

3.根据权利要求1所述的一种基于单双目混合视觉的非结构环境下零件六角螺栓自动拆卸方法，其特征在于：所述步骤一单双目混合视觉系统中的双目视觉系统设置在机械臂之外的某个固定位置，在尽量避免发生遮挡的前提下尽可能获得更大的视野；将圆形阵列标定板固定在机械臂末端，圆形阵列标定板随机械臂的运动而发生随动；通过圆形阵列标定板完成标定，获得双目视觉系统的内参和外参；对双目视觉系统左右相机采集的图片进行水平校正，水平校正之后的图片将原来的透明失真变形消除掉，并将两幅图像中的纵坐标对齐。

4.根据权利要求1所述的一种基于单双目混合视觉的非结构环境下零件六角螺栓自动拆卸方法，其特征在于：所述步骤一单双目混合视觉系统中的单目视觉系统固定在机械臂末端，与机械臂之间是随动的关系，通过机械臂外一个固定的圆形阵列标定板完成标定，得到单目视觉系统的内参和外参。