CN111127335A - 一种螺栓安装垂直度平视拍摄视觉检测方法 - Google Patents

Abstract

本发明公开了一种螺栓安装垂直度平视拍摄视觉检测方法，通过采用从螺栓侧面采集螺栓图像，通过计算螺栓图像中螺栓轴向与工作表面的夹角，从而确定螺栓的垂直度。具体地，该垂直度检测方法包括如下步骤：A100，初步视觉定位：通过机器视觉定位系统将螺帽装配机械手定位到螺栓的正上方，将螺栓所在的工作表面标定为螺栓的基准工作面；A200，从螺栓周侧采集螺栓图像：以装配机械手的轴线为中心轴，驱动摄像头绕螺栓周侧旋转，旋转的同时从螺栓的周侧拍摄螺栓图像；A300，垂直度检测：对拍摄的每帧螺栓图像做边缘检测，提取螺栓的边缘轮廓对应的外接矩形；找出最小外接矩形，计算该最小外接矩形与基准工作面的夹角α。

Description

一种螺栓安装垂直度平视拍摄视觉检测方法

技术领域

本发明涉及机器人工程应用的技术领域，特别涉及一种螺栓安装垂直度平视拍摄视觉检测方法。

背景技术

螺栓是利用螺纹旋合实现的一种机器联结，可以用于连接和传动。以往螺栓零件安装都是采用人工装配形式，或是人工对丝后再用电动工具进行装配。随着无人工厂的出现，机器人代替人工装配螺栓成为一种趋势。

大量的制造业产品组装生产线中，螺纹联接是最常用、最频繁的工序。螺栓装配螺帽过程中，对螺栓的定位非常重要。现有的机器人将螺帽在装配到螺栓的过程中大多都会用到视觉定位，以此来确定螺栓的位置，再将螺帽装配到螺栓上。一般情况下，螺栓基本都是垂直于其所在的工作面，摄像头初步确定好螺栓的位置后，即将螺帽定位在螺栓中心轴正上方后即可进行装配。但在实际装配时，螺栓在产品的运输过程中颠簸碰撞或者因加工精度，螺栓的实际垂直度与设计指标会存在一定误差，当该误差较大时，就需要再进行一次定位，以确保螺栓与螺帽的中心轴同轴，即螺栓垂直于螺帽所在的平面，不然会导致装配失败、滑丝等现象。

发明内容

针对现有技术存在的问题，本发明的主要目的是提供一种螺栓安装垂直度平视拍摄视觉检测方法。

为实现上述目的，本发明提出了一种螺栓安装垂直度平视拍摄视觉检测方法，其包括如下步骤：

A100，初步视觉定位：通过机器视觉定位系统将螺帽装配机械手定位到螺栓的正上方，将螺栓所在的工作表面标定为螺栓的基准工作面，装配机械手垂直于螺栓的基准工作面；

A200，从螺栓周侧采集螺栓图像：以装配机械手的轴线为中心轴，驱动摄像头绕螺栓周侧旋转，旋转的同时从螺栓的周侧拍摄螺栓图像；

A300，垂直度检测：对拍摄的每帧螺栓图像做边缘检测，提取螺栓的边缘轮廓对应的外接矩形；找出最小外接矩形，计算该最小外接矩形与基准工作面的夹角α，夹角α即为螺栓与螺栓所在工作表面的夹角。

优选地，所述步骤A300中，对拍摄的每帧螺栓图像做边缘检测前，对螺栓图像进行预处理，该预处理包括：

A310，对螺栓图像进行灰度转换，转换为螺栓的灰度图像；

A320，对为螺栓的灰度图像进行二值化处理，转换为螺栓的二值化图像；

A330，对螺栓的二值化图像进行去噪声处理，转换为螺栓的去噪声图像；

A340，对为螺栓的去噪声图像进行边缘检测。

优选地，所述步骤A330中的去噪声处理是通过图像形态学算法或者滤波算法进行去噪声处理。

优选地，所述步骤A300中的边缘检测是采用边缘检测算子来计算螺栓的边缘，该边缘检测算子为Roberts算子、Sobel算子、Prewitt算子、Laplacian算子、Log/Marr算子、Canny算子、Kirsch算子或者Nevitia算子。

本发明还提出了一种螺栓安装垂直度平视拍摄视觉校正方法，其包括如下步骤：

B100，初步视觉定位：通过机器视觉定位系统将螺帽装配机械手定位到螺栓的正上方，将螺栓所在的工作表面标定为螺栓的基准工作面，装配机械手垂直于螺栓的基准工作面；

B200，从螺栓周侧采集螺栓图像：以装配机械手的轴线为中心轴，驱动摄像头绕螺栓周侧旋转，旋转的同时从螺栓的周侧拍摄螺栓图像；

B300，垂直度检测：对拍摄的每帧螺栓图像做边缘检测，提取螺栓的边缘轮廓对应的外接矩形；找出最小外接矩形，计算该最小外接矩形与基准工作面的夹角α；若夹角α为90度，则判断螺栓垂直于其所在工作表面；若夹角α不为90度，则进行下一步；

B400，装配机械手校正：以最小外接矩形对应的螺栓图像采集面为校正面，以螺栓的端部为转动中心，根据夹角α在校正面内沿螺栓的倾斜方向修正装配机械手的位姿角。

优选地，装配机械手校正后，还包括：垂直度校验：

B410，返回步骤B200，对重新采集的螺栓图像进行边缘检测，并提取螺栓的边缘轮廓对应的外接矩形；找出最小外接矩形，计算该最小外接矩形与摄像头图像采集面之间的夹角β；

若夹角β为90度，则认为校验合格，装配机械手校正完毕；

若夹角β不为90度，则认为校验不合格，进行下一步；

B420，以最小外接矩形对应的螺栓图像采集面为校正面，以螺栓的端部为转动中心，根据夹角β在校正面内沿螺栓的倾斜方向修正装配机械手的位姿角，并返回步骤B410。

本发明还提出了一种螺帽与螺栓的同轴装配方法，其包括如下步骤：

C100，初步视觉定位：通过机器视觉定位系统将螺帽装配机械手定位到螺栓的正上方，将螺栓所在的工作表面标定为螺栓的基准工作面，装配机械手垂直于螺栓的基准工作面；

C200，从螺栓周侧采集螺栓图像：以装配机械手的轴线为中心轴，驱动摄像头绕螺栓周侧旋转，旋转的同时从螺栓的周侧拍摄螺栓图像；

C300，垂直度检测：对拍摄的每帧螺栓图像做边缘检测，提取螺栓的边缘轮廓对应的外接矩形；找出最小外接矩形，计算该最小外接矩形与基准工作面的夹角α；若夹角α为90度，则跳转到步骤C500；若夹角α不为90度，则进行下一步；

C400，装配机械手校正：以最小外接矩形对应的螺栓图像采集面为校正面，以螺栓的端部为转动中心，根据夹角α在校正面内沿螺栓的倾斜方向修正装配机械手的位姿角；

C500，螺帽装配：通过装配机械手将螺帽装配到螺栓上。

本发明的技术方案通过采用从螺栓侧面采集螺栓图像，通过计算螺栓图像中螺栓轴向与工作表面的夹角，从而确定螺栓的垂直度，再根据螺栓轴向与工作表面的夹角来修正装配机械手的位姿角，使得装配机械手与螺栓同轴，进而实现螺帽与螺栓的同轴装配。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为螺帽和螺栓同轴装配方法一实施例的流程示意图；

图2为螺帽和螺栓同轴装配方法的实施结构示意图；

图3为摄像头采集的螺栓图像；

图4为螺帽和螺栓同轴装配方法另一实施例的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一，由图1给出，本发明提供的螺帽和螺栓同轴装配方法包括以下步骤：

C100，初步视觉定位：通过机器视觉定位系统将螺帽装配机械手100定位到螺栓300的正上方，将螺栓300所在的工作表面400标定为螺栓300的基准工作面，装配机械手100垂直于螺栓300的基准工作面。

在步骤C100中，当螺栓300所在的工作表面400为非平面时，如工作表面400为球形或者拱形、类球形，则以螺栓300与所在位置的工作表面的切面为螺栓300的基准工作面。

C200，从螺栓300周侧采集螺栓图像：以装配机械手100的轴线为中心轴，驱动摄像头200绕螺栓300周侧旋转，旋转的同时从螺栓300的周侧拍摄螺栓图像。

在步骤C200中，摄像头200通过附加机械结构安装在装配机械手100上，即eye inhand方式安装。该附加机械结构包括旋转臂110和伸缩臂120。旋转臂110一端垂直于装配机械手100，其可以装配机械手100的轴线为中心轴作旋转运动。伸缩臂120沿装配机械手100的轴向设置，其一端固定于旋转臂110的另一端，摄像头200固定于伸缩臂120的另一端，并与旋转臂110平行设置。伸缩臂120可驱动摄像头200沿装配机械手100的轴向来回移动。

当装配机械手100初步定位到螺栓300的上方时，可通过伸缩臂120驱动摄像头200向下移动到螺栓300的外周侧。此时，可通过旋转臂110驱动摄像头200绕螺栓300旋转，并在旋转的过程中从螺栓300的侧面拍摄螺栓图像。

因为对称性，摄像头200围绕螺栓300旋转1周拍摄时，对称位置的螺栓图像是相同的，故，在拍摄螺栓图像时，仅需绕螺栓300半周，从而提高拍摄效率。

当拍摄完螺栓图像后，伸缩臂120可驱动摄像头200上升，避免摄像头200与螺栓300的工作表面400或者工作表面400上的其他部位发生碰撞，以不影响装配机械手100原本的工作路径，方便后续的螺帽与螺栓300的装配。

C300，垂直度检测：对拍摄的每帧螺栓图像做边缘检测，提取螺栓300的边缘轮廓对应的外接矩形；找出最小外接矩形，计算该最小外接矩形与基准工作面的夹角α。

在步骤C300中，螺栓图像的采集面内，螺栓300的轴向方向与螺栓300的基准工作面夹角有两个，夹角α取两个夹角中≤90度的角。

若每帧螺栓图像的采集面中，螺栓300的轴向方向与螺栓300的基准工作面的夹角α均为90度，则认为螺栓300垂直于其所在的工作表面400。此时，装配机械手100定位到螺栓300的正上方后，装配机械手100就会与螺栓300同轴，可直接跳转到步骤C500。

若全部的螺栓图像的采集面中，只有1帧螺栓图像的采集面内，螺栓300的轴向方向与工作表面400的夹角α为90度，而剩余帧的螺栓图像的采集面内，螺栓300的轴向方向与工作表面400的夹角α均不为90度，则认为螺栓300不垂直于其所在的工作表面400，进行下一步骤。

为便于提取螺栓300的边缘轮廓，在步骤C300中，对拍摄的每帧螺栓图像做边缘检测前，对螺栓图像进行预处理，该预处理包括：

C310，对螺栓图像进行灰度转换，转换为螺栓300的灰度图像。在该步骤C310中，若摄像头200采用的是彩色摄像头200，则需将摄像头200拍摄的彩色图像进行灰度转换，将螺栓图像转换为灰度图像；若摄像头200采用的是黑白摄像头200，则直接进行下一步。通过进行灰度转换，使得边缘点像素得到加强，并抑制非边缘点像素。

C320，选取合适的阈值对灰度图像进行二值化处理，转换为螺栓300的二值化图像。

C330，对螺栓300的二值化图像进行去噪声处理，转换为螺栓300的去噪声图像。在该步骤中，去噪声处理是通过图像形态学算法(如开运算、闭运算等)或者滤波算法(如均值滤波、高斯滤波、双边滤波或者中值滤波等)进行去噪声处理。通过对二值化图像进行去噪声处理，消除噪声干扰，以便于后续的边缘检测。

C340，对去噪声图像进行边缘检测。

在步骤C300中或者步骤C340中，边缘检测采用边缘检测算子来计算螺栓300的边缘，该边缘检测算子可以采用Roberts算子、Sobel算子、Prewitt算子、Laplacian算子、Log/Marr算子、Canny算子、Kirsch算子或者Nevitia算子。

C400，装配机械手100校正：以最小外接矩形对应的螺栓图像采集面为校正面，以螺栓300的端部为转动中心，根据夹角α在校正面内沿螺栓300的倾斜方向修正装配机械手100的位姿角。

在剩余帧的螺栓图像的采集面内，最小外接矩形对应的螺栓图像采集面所对应的装配机械手100的状态是：螺栓300的轴向方向与装配机械手100的轴向方向同平面。该状态下夹角α即为螺栓300与螺栓300所在工作表面400的倾斜角。故，如图2所示，以最小外接矩形对应的螺栓图像采集面为校正面，以螺栓300的端部为转动中心，沿螺栓300的倾斜方向转动α′角，角α′与角α互余，即可使得装配机械手与螺栓300同轴，再进行下一步骤。

C500，螺帽装配：通过装配机械手100将螺帽装配到螺栓300上。

装配机械手100抓取螺帽时，螺帽与装配机械手100同轴。因此，当装配机械手100与螺栓300同轴后，即可实现螺帽与螺栓300的同轴装配。

本发明的技术方案通过采用从螺栓300侧面采集螺栓图像，通过计算螺栓图像中螺栓300轴向与工作表面400的夹角，从而确定螺栓300的垂直度，再根据螺栓300轴向与工作表面400的夹角来修正装配机械手100的位姿角，使得装配机械手100与螺栓300同轴，进而实现螺帽与螺栓300的同轴装配。

与现有技术相比，本发明具有以下有益效果：

1、采用摄像头200侧面拍摄的方法，无需接触即可确定螺栓300的垂直度，不受环境干扰。

2、检测方法简单、有效、且效率高，可快速提高螺帽与螺栓300装配的精准度。

实施例二，在实施例一的基础上，由图4给出，在步骤C400后，还包括垂直度校验：

C410，返回步骤C200，对重新采集的螺栓图像进行边缘检测，并提取螺栓300的边缘轮廓对应的外接矩形；找出最小外接矩形，计算该最小外接矩形与摄像头图像采集面之间的夹角β。

若夹角β为90度，则认为校验合格，跳转到步骤C500；

若夹角β不为90度，则认为校验不合格，进行下一步：

C420，以最小外接矩形对应的螺栓图像采集面为校正面，以螺栓300的端部为转动中心，根据夹角β在校正面内沿螺栓300的倾斜方向修正装配机械手100的位姿角，并返回步骤C410。具体的校正过程与步骤C400一致，在此不详细赘述。

通过设置垂直度的校验步骤，以确保修正后的装配机械手100与螺栓300同轴，从而实现螺帽与螺栓300的高质量的同轴装配。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种螺栓安装垂直度平视拍摄视觉检测方法，其特征在于，包括如下步骤：

A100，初步视觉定位：通过机器视觉定位系统将螺帽装配机械手定位到螺栓的正上方，将螺栓所在的工作表面标定为螺栓的基准工作面，装配机械手垂直于螺栓的基准工作面；

A200，从螺栓周侧采集螺栓图像：以装配机械手的轴线为中心轴，驱动摄像头绕螺栓周侧旋转，旋转的同时从螺栓的周侧拍摄螺栓图像；

A300，垂直度检测：对拍摄的每帧螺栓图像做边缘检测，提取螺栓的边缘轮廓对应的外接矩形；找出最小外接矩形，计算该最小外接矩形与基准工作面的夹角α，夹角α的角度即为螺栓与螺栓所在工作表面的夹角。

2.如权利要求1所述的螺栓安装垂直度平视拍摄视觉检测方法，其特征在于，所述步骤A300中，对拍摄的每帧螺栓图像做边缘检测前，对螺栓图像进行预处理，该预处理包括：

A310，对螺栓图像进行灰度转换，转换为螺栓的灰度图像；

A320，对螺栓的灰度图像进行二值化处理，转换为螺栓的二值化图像；

A330，对螺栓的二值化图像进行去噪声处理，转换为螺栓的去噪声图像；

A340，对螺栓的去噪声图像进行边缘检测。

3.如权利要求2所述的螺栓安装垂直度平视拍摄视觉检测方法，其特征在于，所述步骤A330中的去噪声处理是通过图像形态学算法或者滤波算法进行去噪声处理。

4.如权利要求1-3任意一项所述的螺栓安装垂直度平视拍摄视觉检测方法，其特征在于，所述步骤A300中的边缘检测是采用边缘检测算子来计算螺栓的边缘，该边缘检测算子为Roberts算子、Sobel算子、Prewitt算子、Laplacian算子、Log/Marr算子、Canny算子、Kirsch算子或者Nevitia算子。

5.一种螺栓安装垂直度平视拍摄视觉检测方法，其特征在于，包括如下步骤：

B100，初步视觉定位：通过机器视觉定位系统将螺帽装配机械手定位到螺栓的正上方，将螺栓所在的工作表面标定为螺栓的基准工作面，装配机械手垂直于螺栓的基准工作面；

B200，从螺栓周侧采集螺栓图像：以装配机械手的轴线为中心轴，驱动摄像头绕螺栓周侧旋转，旋转的同时从螺栓的周侧拍摄螺栓图像；

B300，垂直度检测：对拍摄的每帧螺栓图像做边缘检测，提取螺栓的边缘轮廓对应的外接矩形；找出最小外接矩形，计算该最小外接矩形与基准工作面的夹角α；若夹角α为90度，则判断螺栓垂直于其所在工作表面；若夹角α不为90度，则进行下一步；

B400，装配机械手校正：以最小外接矩形对应的螺栓图像采集面为校正面，以螺栓的端部为转动中心，根据夹角α在校正面内沿螺栓的倾斜方向修正装配机械手的位姿角。

6.如权利要求5所述的螺栓安装垂直度平视拍摄视觉校正方法，其特征在于，装配机械手校正后，还包括：垂直度校验：

B410，返回步骤B200，对重新采集的螺栓图像进行边缘检测，并提取螺栓的边缘轮廓对应的外接矩形；找出最小外接矩形，计算该最小外接矩形与摄像头图像采集面之间的夹角β；

若夹角β为90度，则认为校验合格，装配机械手校正完毕；

若夹角β不为90度，则认为校验不合格，进行下一步；

B420，以最小外接矩形对应的螺栓图像采集面为校正面，以螺栓的端部为转动中心，根据夹角β在校正面内沿螺栓的倾斜方向修正装配机械手的位姿角，并返回步骤B410。

7.一种螺帽与螺栓的同轴装配方法，其特征在于，包括如下步骤：

C100，初步视觉定位：通过机器视觉定位系统将螺帽装配机械手定位到螺栓的正上方，将螺栓所在的工作表面标定为螺栓的基准工作面，装配机械手垂直于螺栓的基准工作面；

C200，从螺栓周侧采集螺栓图像：以装配机械手的轴线为中心轴，驱动摄像头绕螺栓周侧旋转，旋转的同时从螺栓的周侧拍摄螺栓图像；

C300，垂直度检测：对拍摄的每帧螺栓图像做边缘检测，提取螺栓的边缘轮廓对应的外接矩形；找出最小外接矩形，计算该最小外接矩形与基准工作面的夹角α；若夹角α为90度，则跳转到步骤C500；若夹角α不为90度，则进行下一步；

C400，装配机械手校正：以最小外接矩形对应的螺栓图像采集面为校正面，以螺栓的端部为转动中心，根据夹角α在校正面内沿螺栓的倾斜方向修正装配机械手的位姿角；

C500，螺帽装配：通过装配机械手将螺帽装配到螺栓上。

Images