CN113284097B - 一种基于力觉与视觉的避雷器自适应寻孔装配方法 - Google Patents

Abstract

本发明公开了一种基于力觉与视觉的避雷器自适应寻孔装配方法，首先采集避雷器装配场景的图像，并进行通过灰度、二值化预处理；其次提取图像中的轮廓线，通过四边形拟合与椭圆拟合算法确定横担与轴孔的位置；然后根据轴孔的实际尺寸计算像素与物理尺寸之间的映射关系，并据此推算横担的实际尺寸；接着根据横担尺寸确定避雷器寻孔的轨迹方程，保证轨迹处于横担表面；最后根据力传感器数据判断避雷器是否到达轴孔位置。本发明可实现任意尺寸横担上的避雷器寻孔装配，解决了传统基于力觉的寻孔方法容易出现避雷器移动到横担外部的问题。

Description

一种基于力觉与视觉的避雷器自适应寻孔装配方法

技术领域

本发明属于机器人装配技术领域，具体为一种基于力觉与视觉的避雷器自适应寻孔装配方法。

背景技术

近年来我国配电网进入高速发展阶段，与此同时配电线路所需的运维工作量也大幅增加。更换避雷器是最典型的带电作业任务。目前该工作主要由人工完成，为避免断电带来的巨大经济损失，工人需要做好诸多安全措施以进行带电作业。配电网电压虽低于输电网，但是足以对工人的人身安全造成威胁；而且配电网环境存在高空、线路复杂、设备密集等特点，工人作业时面临着很大的心理压力和劳动强度。总而言之，人工带电作业不仅效率低下，而且存在安全隐患。

在进行避雷器避雷器装配任务时，需要确定轴孔在横担上的位置。由于视觉系统在此作业场景中视野被末端夹爪严重遮挡，无法采集有效的图像，视觉系统和遥操作都受到了限制，无法使用。机器人需要一种智能自主化的避雷器寻孔装配方法。常见的解决方案是控制机器人使其末端做螺线运动，摸索寻找轴孔的位置。横担形状一般为窄长形的矩形，且有多种尺寸，传统的螺线寻孔方法很容易出现避雷器运动到横担表面以外、落线覆盖不到轴孔的问题，导致装配作业失败。

发明内容

本发明的目的在于提供一种基于力觉与视觉的避雷器自适应寻孔装配方法，以解决机械臂在更换避雷器任务中，视觉系统受限，无法为机器人提供有效目标位置信息的问题。

实现本发明目的的技术方案为：一种基于力觉与视觉的避雷器自适应寻孔装配方法，包括以下步骤：

步骤1、采集横担图像，所述横担图像包括横担表面与轴孔；

步骤2、对横担图像进行预处理，包括灰度处理与二值化处理；

步骤3、对二值化图像进行轮廓提取；

步骤4、对找到的轮廓分别进行椭圆拟合与四边形拟合；

步骤5、对找到的四边形进行筛选，排除凹四边形与非平行四边形；

步骤6、根据拟合出的椭圆在图像中的尺寸与轴孔的实际尺寸计算像素与物理尺寸之间的映射关系，并确定横担表面的实际尺寸；

步骤7、根据横担尺寸数据确定避雷器寻孔的轨迹方程；

步骤8、观察力传感器数据，判断避雷器是否到达轴孔位置本发明与现有技术相比，其显著优点为：1)本发明是完全自主式的避雷器寻孔装配方法，不需要预先给定螺线轨迹，避雷器运动轨迹可自动生成；2)本发明可以保证避雷器在横担表面运动，不会到横担以外的区域；3)本发明可以保证避雷器运动轨迹覆盖到轴孔。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为本发明的流程图。

图2为本发明中采集的横担与轴孔图像预处理后的效果。

图3为本发明中寻找的轮廓图。

图4为本发明中生成的椭圆螺线。

具体实施方式

一种基于力觉与视觉的避雷器自适应寻孔装配方法，其特征在于，包括以下步骤：

步骤1、将采集设备固定于横担侧面，采集完整的横担图像，所述横担图像包括横担表面与轴孔，图像分辨率为1280*720。

步骤2、对横担图像进行预处理，具体包括以下步骤：

步骤2-1、采用加权平均算法进行灰度化处理，根据RGB三通道的重要性及相关指标，将三个分量以不同的权值进行加权平均，具体为：

Gray(i，j)＝0.299*R(i，j)+0.578*G(i，j)+0.114*B(i,j)

式中，Gray(i，j)、R(i，j)、G(i，j)、B(i，j)分别为像素点(i，j)的灰度与三原色值

步骤2-2、对灰度化后的图像进行二值化，采用迭代法确定阈值，具体为：

步骤2-2-1、找出图像的最大和最小灰度值，分别记为R_max和R_min，令阈值 T＝(R_max+R_min)/2；

步骤2-2-2、根据阈值T将图像分成两个区域R₁和R₂，对图像中每一个像素点，若其像素值小于T，则归类于R₁，否则归类于R₂；

步骤2-2-3、分别求出两个区域的平均灰度值μ₁和μ₂；

步骤2-2-4、更新阈值T＝(μ₁+μ₂)/2；

步骤2-2-5、重复步骤2-2-1～2-2-4，直到阈值T不再变化。

步骤3、对二值化图像进行轮廓提取，具体包括以下步骤：

步骤3-1、利用非极大值抑制算法对二值化图像做细化处理，得到单像素边缘图像；

步骤3-2、对步骤3-1的结果提取像素值突变的点集作为轮廓。

本步骤中找轮廓的模式为仅检测外围轮廓，忽略内部纹理

步骤4、对找到的轮廓分别进行椭圆拟合与四边形拟合，具体包括以下步骤：

步骤4-1、在轮廓点集中拟合椭圆。由于横担表面的轴孔为圆形，考虑到相机拍摄角度的因素，轴孔在图像中可能显示为一个椭圆，因此采用椭圆拟合，具体为

其中(x₀，y₀)为椭圆中心点坐标，u为椭圆长半轴长，v为椭圆短半轴长，

为椭圆长轴与x轴正向的夹角。椭圆拟合即是从一组坐标点中使用优化的方法获得椭圆标准参数方程中的5个参数x₀、y₀、u、v和

在平面坐标系中，椭圆的一般代数方程为：

Ax²+Bxy+Cy²+Dx+Ey+F＝0

其中A、B、C、D、E、F为椭圆参数，表示成两个向量相乘的隐式方程为：

f(α，X)＝αX＝Ax²+Bxy+Cy²+Dx+Ey+F＝0

其中，向量α＝[A,B,C,D,E,F],X＝[x²,xy,y²，x，y，1]^T。使用最小二乘原理来求取最佳拟合参数，设提取出的边缘点坐标为(x_i，y_i)，i＝1，2,…，m，m≥5为边缘点的总个数，将f(α，X_i)视作(x_i，y_i)到隐式方程f(α，X)＝0的代数距离，则构造目标函数为：

根据最小二乘法原理，椭圆拟合问题即可转化为求解g的最小值问题。由极值原理可知，当g(A，B，C，D，E，F)取得最小值时必然满足

求解上式可得到椭圆参数A、B、C、D、E、F的值。

步骤4-2、在轮廓点集中拟合四边形。遍历轮廓中所有的直线段，选出所有构成四边形的直线组。

步骤5、对找到的四边形进行筛选，排除凹四边形与非平行四边形，具体包括以下步骤：

步骤5-1、计算四边形的四个内角，若存在大于180°的则排除；

步骤5-2、计算四边形两组对边的向量，若不平行，则排除。

步骤6、根据拟合出的椭圆在图像中的尺寸与轴孔的实际尺寸计算像素与物理尺寸之间的映射关系，并推算横担表面的实际尺寸，具体包括以下步骤：

步骤6-1、根据步骤4中的椭圆方程得到椭圆长轴为a，短轴为b；

步骤6-2、根据步骤4中的四边形顶点得到四边形长m，宽n；

步骤6-3、轴孔直径规范尺寸为直径2(cm)，计算横担实际尺寸，长为l＝am/2(cm)，宽为w＝bn/2(cm)。

步骤7、根据横担尺寸数据确定避雷器寻孔的轨迹方程，具体为：

步骤8、观察力传感器数据，判断避雷器是否到达轴孔位置，具体包括以下步骤：

步骤8-1、避雷器垂直向下运动，直至力传感器数据突变，表示螺丝触碰到横担；

步骤8-2、避雷器水平地按照步骤7中的轨迹方程运动，直至力传感器数据突变，表示找到轴孔；

步骤8-3、避雷器逐渐垂直下降，直至力传感器数据突变，表示成功插入。

下面结合附图与实施例对本发明做详细说明。

实施例：

结合图1，本发明提出的全自动避雷器检测与跟踪方法，包括以下步骤：

步骤1、采集设备固定于横担侧面，采集完整的横担图像，包含横担表面与轴孔，图像分辨率为1280*720。

步骤2、对图像进行预处理，具体包括以下步骤：

步骤2-1、灰度化处理采用加权平均算法，根据RGB三通道的重要性及相关指标，将三个分量以不同的权值进行加权平均，具体为：

Gray(i,j)＝0.299*R(i,j)+0.578*G(i,j)+0.114*B(i,j)

步骤2-2、二值化采用迭代法确定阈值，具体为

步骤2-2-1、找出图像的最大和最小灰度值，分别记为R_max和R_min，令阈值 T＝(R_max+R_min)/2；

步骤2-2-2、根据阈值T将图像分成两个区域R₁和R₂；

步骤2-2-3、分别求出两个区域的平均灰度值μ₁和μ₂；

步骤2-2-4、更新阈值T＝(μ₁+μ₂)/2；

步骤2-2-5、重复上述步骤，直到T不再变化。

效果如图2所示；

步骤3、对二值化图像进行轮廓提取，具体包括以下步骤：

步骤3-1、利用非极大值抑制算法对二值化图像做细化处理，得到单像素边缘图像；

步骤3-2、对步骤3-1的结果提取像素值突变的点集作为轮廓。

其效果如图3所示；

步骤4、对找到的轮廓分别进行椭圆拟合与四边形拟合，具体包括以下步骤：

步骤4-1、在轮廓点集中拟合椭圆；

步骤4-2、在轮廓点集中拟合四边形。遍历轮廓中所有的直线段，选出所有构成四边形的直线组；

步骤5、对找到的四边形进行筛选，排除凹四边形与非平行四边形，具体包括以下步骤：

步骤5-1、计算四边形的四个内角，若存在大于180°的则排除；

步骤5-2、计算四边形两组对边的向量，若不平行，则排除。

步骤6、根据拟合出的椭圆在图像中的尺寸与轴孔的实际尺寸计算像素与物理尺寸之间的映射关系，并推算横担表面的实际尺寸，具体包括以下步骤：

步骤6-1、根据步骤4中的椭圆方程得到椭圆长轴为a，短轴为b；

步骤6-2、根据步骤4中的四边形顶点得到四边形长m，宽n；

步骤6-3、轴孔直径规范尺寸为直径2(cm)，计算横担实际尺寸，长为l＝am/2(cm)，宽为w＝bn/2(cm)。

步骤7、根据横担尺寸数据确定避雷器寻孔的轨迹方程，具体为：

生成的轨迹方程为：

步骤8、观察力传感器数据，判断避雷器是否到达轴孔位置，具体包括以下步骤：

步骤8-1、避雷器垂直向下运动，直至力传感器数据突变，表示螺丝触碰到横担；

步骤8-2、避雷器水平地按照步骤7中的轨迹方程运动，直至力传感器数据突变，表示找到轴孔；

步骤8-3、避雷器逐渐垂直下降，直至力传感器数据突变，表示成功插入。

Claims (8)

1.一种基于力觉与视觉的避雷器自适应寻孔装配方法，其特征在于，包括以下步骤：

步骤1、采集横担图像，所述横担图像包括横担表面与轴孔；

步骤2、对横担图像进行预处理，包括灰度处理与二值化处理；

步骤3、对二值化图像进行轮廓提取；

步骤4、对找到的轮廓分别进行椭圆拟合与四边形拟合，具体为：

建立椭圆拟合关系式，具体为：

其中(x₀,y₀)为椭圆中心点坐标，u为椭圆长半轴长，v为椭圆短半轴长，

为椭圆长轴与x轴正向的夹角；

在平面坐标系中，椭圆的代数方程为：

Ax²+Bxy+Cy²+Dx+Ey+F＝0

其中A、B、C、D、E、F为椭圆参数，表示成两个向量相乘的隐式方程为：

f(α，X)＝αX＝Ax²+Bxy+Cy²+Dx+Ey+F＝0

其中，向量α＝[A,B,C,D,E,F],X＝[x²,xy,y²,x,y,1]^T；

使用最小二乘原理来求取最佳拟合参数，设提取出的边缘点坐标为(x_i,y_i)，i＝1,2,…,m，m≥5为边缘点的总个数，将f(α，X_i)视作(x_i,y_i)到隐式方程f(α，X)＝0的代数距离，则构造目标函数为：

根据最小二乘法原理，椭圆拟合问题即可转化为求解g的最小值问题；由极值原理可知，当g(A,B,C,D,E,F)取得最小值时必然满足

求解上式得到椭圆参数A、B、C、D、E、F的值；

步骤5、对找到的四边形进行筛选，排除凹四边形与非平行四边形；

步骤6、根据拟合出的椭圆在图像中的尺寸与轴孔的实际尺寸计算像素与物理尺寸之间的映射关系，并确定横担表面的实际尺寸；

步骤7、根据横担尺寸数据确定避雷器寻孔的轨迹方程；

步骤8、观察力传感器数据，判断避雷器是否到达轴孔位置。

2.根据权利要求1所述的基于力觉与视觉的避雷器自适应寻孔装配方法，其特征在于，步骤1中采集的横担图像尺寸为1280*720，采集设备固定于横担侧面。

3.根据权利要求1所述的基于力觉与视觉的避雷器自适应寻孔装配方法，其特征在于，步骤2中对图像进行预处理，具体包括以下步骤：

步骤2-1、采用加权平均算法进行灰度化处理，根据RGB三通道的重要性及相关指标，将三个分量以不同的权值进行加权平均，具体为：

Gray(i,j)＝0.299*R(i,j)+0.578*G(i,j)+0.114*B(i,j)

其中，Gray(i,j)、R(i,j)、G(i,j)、B(i,j)分别为像素点(i,j)的灰度与三原色值；

步骤2-2、采用迭代法确定阈值，对图像进行二值化，具体为：

步骤2-2-1、找出图像的最大和最小灰度值，分别记为R_max和R_min，令阈值T＝(R_max+R_min)/2；

步骤2-2-2、根据阈值T将图像分成两个区域R₁和R₂；

步骤2-2-3、分别求出两个区域的平均灰度值μ₁和μ₂；

步骤2-2-4、更新阈值T＝(μ₁+μ₂)/2；

步骤2-2-5、重复步骤2-2-1～2-2-4，直到阈值T不再变化。

4.根据权利要求1所述的基于力觉与视觉的避雷器自适应寻孔装配方法，其特征在于，步骤3中对二值化图像进行轮廓提取，具体包括以下步骤：

步骤3-1、利用非极大值抑制算法对二值化图像做细化处理，得到单像素边缘图像；

步骤3-2、对步骤3-1的结果提取像素值突变的点集作为轮廓。

5.根据权利要求1所述的基于力觉与视觉的避雷器自适应寻孔装配方法，其特征在于，步骤5中通过判断四边形内角是否均小于180°确定是否为凹四边形。

6.根据权利要求1所述的基于力觉与视觉的避雷器自适应寻孔装配方法，其特征在于，步骤6中通过轴孔像素尺寸与实际尺寸的数据计算像素尺寸与物理尺寸的关系，具体包括以下步骤：

步骤6-1、根据步骤4中的椭圆方程得到椭圆长轴为a，短轴为b；

步骤6-2、根据步骤4中的四边形顶点得到四边形长m，宽n；

步骤6-3、轴孔直径规范尺寸为直径2cm，计算横担实际尺寸，长为l＝am/2，宽为w＝bn/2。

7.根据权利要求1所述的基于力觉与视觉的避雷器自适应寻孔装配方法，其特征在于，步骤7中采用螺线式寻孔方案，轨迹采用参数方程表达，具体为：

其中，x,y为运动点坐标，t为时间。

8.根据权利要求1所述的基于力觉与视觉的避雷器自适应寻孔装配方法，其特征在于，步骤8中避雷器按照步骤7中的轨迹方程运动，具体包括以下步骤：

步骤8-1、避雷器垂直向下运动，直至力传感器数据突变，表示螺丝触碰到横担；

步骤8-2、避雷器水平地按照步骤7中的轨迹方程运动，直至力传感器数据突变，表示找到轴孔；

步骤8-3、避雷器逐渐垂直下降，直至力传感器数据突变，表示成功插入。

Images