CN108717713A - 一种基于双目视觉的复杂背景下横担姿态测量方法 - Google Patents

Abstract

本发明公开了一种基于双目视觉的复杂背景下横担姿态测量方法，包括以下步骤：首先初始化双目相机的内外参数；接着采集横担图像；之后对横担图像进行图像分割，分割出横担区域图；再通过边缘检测、掩膜运算获取边缘检测后的横担区域图；然后采用霍夫变换检测横担区域图中的直线，并通过聚类、斜率约束获得横担边缘的三条直线；然后对左目横担区域图中横担边缘的三条直线与右目横担区域图中横担边缘的三条直线进行特征匹配，并利用双目测距原理获取所有特征点的三维坐标；最后利用最小二乘法求解横担两个平面的法向量。本发明能精确地测量复杂背景下横担的姿态，为机械臂末端姿态控制提供有效数据，有利于带电作业机器人更换避雷器作业。

Description

一种基于双目视觉的复杂背景下横担姿态测量方法

技术领域

本发明属于图像信息技术领域，特别涉及一种基于双目视觉的复杂背景下横担姿态测量方法。

背景技术

更换避雷器是国内配网侧带电作业主要作业项目之一，该类工作目前多采用绝缘手套直接作业法，因此在配电作业之前，就需要准备好各种安全措施，明确作业方式，并选择好操作工具。带电作业很大程度上避免了线路停电带来的负面影响，大幅度减少停电时间，提高供电可靠率，缓解用电投诉矛盾。配电网与输电网相比，虽然电压较低，但却存在着设备密集、线路复杂、空间狭小、对地距离小等特点，增加了配电网带电作业难度，很容易造成相间短路或者相地短路。对带电作业人员造成更大的心理压力、劳动强度和作业危险。

使用带电作业机器人代替人进行更换避雷器作业，前提是要测量出避雷器的空间姿态，而避雷器的姿态和横担的姿态是相互垂直的，所以只要测量出横担的姿态，就能够计算出避雷器的姿态，然后根据避雷器姿态调整机械臂末端夹爪的姿态，使得夹爪的开口方向对准避雷器，只有夹爪的开口方向和避雷器对准了，才能保证后续的避雷器抓取和拆卸作业正常完成。现有的横担姿态测量方法是非自主性的，需要人为参与，且易受外界环境的干扰，复杂环境下测量的稳定性差、精度低，导致带电作业机器人机械臂末端的夹爪不能很好的与避雷器对准，从而不能快速完成更换避雷器作业，降低了更换避雷器作业的效率。

发明内容

本发明的目的在于提供一种基于双目视觉的复杂背景下横担姿态测量方法。

实现本发明目的的技术解决方案为：一种基于双目视觉的复杂背景下横担姿态测量方法，包括以下步骤：

步骤1、对双目相机的内外参数进行初始化；

步骤2、利用双目相机采集横担图像，获得左目图像A、右目图像B；

步骤3、对步骤2得到的左目图像A、右目图像B分别进行图像分割，获得图像分割后的横担区域图C、横担区域图D；

步骤4、通过边缘检测、掩膜运算对左目图像A、右目图像B、横担区域图C、横担区域图D进行处理，获取边缘检测后的横担区域图I、横担区域图J；

步骤5、采用霍夫变换对步骤4获得的横担区域图I、横担区域图J进行直线检测，然后在霍夫空间中对横担区域图I、横担区域图J各自检测到的直线分别进行聚类运算，再根据直线的斜率约束获得横担区域图I、横担区域图J各自横担边缘的三条直线；

步骤6、在横担区域图I中横担边缘的三条直线的每一条直线上均等间距选取n个特征点，用横担区域图J中横担边缘的三条直线对横担区域图I对应直线上的特征点进行匹配，然后利用双目测距原理获取所有特征点的三维坐标；

步骤7、利用步骤6获得的所有特征点的三维坐标，采用最小二乘法拟合出横担两个平面的法向量x₁和x₃，从而完成横担姿态的测量。

本发明与现有技术相比，其显著优点为：1)本发明是完全自主式测量方法，不需要人工干预，有效降低了工作人员工作的强度和难度，提高了更换避雷器作业效率；2)本发明能够去除大量环境因素，在复杂环境下也能准确测量横担的姿态，且稳定性好，提高了带电作业机器人机械臂与避雷器对准精度。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为本发明作业流程图。

图2为本发明中待测量的横担空间结构示意图，其中(a)为横担空间几何模型，(b)为横担主体侧视图。

图3为本发明中使用的全卷积神经网络结构。

图4为本发明实施例中双目相机采集的作业现场图像，其中(a)为左目图像，(b)为右目图像。

图5为本发明实施例中基于全卷积神经网络(FCN)算法的横担区域分割图像，其中(a)为左目分割图像，(b)为右目分割图像。

图6为本发明实施例中结合FCN算法对横担图像进行图像分割和Canny边缘检测的结果，其中(a)为左目横担边缘检测结果，(b)为右目横担边缘检测结果。

图7为本发明实施例中利用霍夫变换检测横担区域的直线，其中(a)为左目横担边缘直线检测结果，(b)为右目横担边缘直线检测结果。

图8为本发明实施例中基于聚类方法和斜率约束筛选直线结果，其中(a)为左目横担边缘三条直线检测结果，(b)为右目横担边缘三条直线检测结果。

图9为本发明实施例中左目图像特征点提取结果。

图10为本发明实施例中左、右目图像横担直线特征点匹配结果。

具体实施方式

为了说明本发明的技术方案及技术目的，下面结合附图及具体实施例对本发明做进一步的介绍。

结合图1，本发明基于双目视觉的复杂背景下横担姿态测量方法，包括以下步骤：

步骤1、对双目相机的内外参数进行初始化，如表1、表2所示。

表1左右摄像机参数标定结果

表2双目摄像机位置标定结果

步骤2、利用双目相机采集现场横担图像，获得左目图像A、右目图像B，如图4所示。

步骤3、采用全卷积神经网络(FCN)算法对步骤2得到的左目图像A、右目图像B分别进行图像分割，获得图像分割后的横担区域图C、横担区域图D，如图5所示。

其中，FCN网络结构图如图3所示，采用了VGG19网络架构，原VGG19网络拥有16个卷积层和3个全连接层，本发明将3个全连接层转化为卷积层，其中每层的网络参数如表3所示：

表3 FCN网络结构参数

步骤4、通过边缘检测、掩膜运算对左目图像A、右目图像B、横担区域图C、横担区域图D进行处理，获取边缘检测后的横担区域图I、横担区域图J，如图6所示。具体为：

步骤4-1、采用形态学处理分别去除步骤3获得的横担区域图C、横担区域图D中的空洞和白斑，获得新的横担区域图E、横担区域图F；

步骤4-2、分别对左目图像A、右目图像B进行Canny边缘检测，获得左目边缘检测图像G、右目边缘检测图像H；

步骤4-3、通过步骤4-1获得的横担区域图E、横担区域图F分别对步骤4-2的左目边缘检测图像G、右目边缘检测图像H进行掩膜运算，获得边缘检测后的横担区域图I、横担区域图J。

步骤5、采用霍夫变换对步骤4获得的横担区域图I、横担区域图J进行直线检测，然后在霍夫空间中对横担区域图I、横担区域图J各自检测到的直线分别进行聚类运算，再根据直线的斜率约束获得横担区域图I、横担区域图J各自横担边缘的三条直线。其中率约束的范围为k∈(-0.5,0.5)，k为直线的斜率。

霍夫变换的基本思想是将原图像空间变换到霍夫参数空间，用大多数边缘点符合某种参数形式来描述原图像中的特定形状，通过累加器进行累加，累加器中峰值所对应的信息即为原图像中特定形状在参数空间的描述。

极坐标系中的直线方程可以表示为：

ρ＝xcosθ+ysinθ

式中，ρ为原点到直线的距离，θ为直线法线方向与x轴的夹角。采用霍夫直线拟合可获得边缘图像中的直线集{l_k:k＝1,2,3,L,n}。

对于边缘图像中的任一边缘点p_i和一条直线l_k，若点p_i与l_k的距离

D(p_i,l_k)<d

式中，d为固定阈值，则认为点p_i在直线l_k上。采用该方法对每条直线进行投票，每条直线投票数记为V_k(k＝1,2,3,L,n)，表示直线上的点数，若V_k小于阈值v，则将l_k从直线集中去除。

霍夫空间每个点的ρ和θ与直线的截距和斜率一一对应，所以直线的聚类问题可以转化为霍夫空间的点聚类问题。若霍夫空间中两个点p_i，p_j的距离

D(p_i,p_j)<dh

式中，dh为固定阈值，则将p_i，p_j作为一类。对霍夫空间中所有点聚类完成后，对每个类进行点坐标的平均处理，记霍夫空间中的一点为(θ_i,ρ_i)，则有：

式中，C_j为点(θ_i,ρ_i)的类别，为聚类平均后的直线参数，n为C_j类中的点数。实际带电作业过程中，横担平面与作业平台平面夹角有限，而双目相机安装于作业平台的相机支架上。对参数为的直线进行数值约束，可最终得到三条直线。

步骤6、在横担区域图I中横担边缘的三条直线的每一条直线上均等间距选取n个特征点，用横担区域图J中横担边缘的三条直线对横担区域图I对应直线上的特征点进行匹配，然后利用双目测距原理获取所有特征点的三维坐标。其中n大于5。

对于标定好的双目视觉系统，只需获得目标在左右相机像素坐标系下的坐标，即可求得该目标的三维坐标：

式中，(X_c,Y_c,Z_c)即为图像中任意点P的三维坐标，(u₁,v₁)和(u₂,v₂)分别是点P在左右目相机像素坐标系下的坐标，f_x、f_y为左右相机焦距，B为左右相机的投影中心之间的连线距离，左右摄像机物理坐标系下的原点在像素坐标系下的坐标为(u₀,v₀)。

步骤7、利用步骤6获得的所有特征点的三维坐标，采用最小二乘法拟合出横担两个平面的法向量x₁和x₃，从而完成横担姿态的测量。具体为：

步骤7-1、根据步骤6获取的所有特征点的三维坐标，获取横担区域图I中横担两个平面各自的向量矩阵I₁、I₂；具体为：

步骤7-1-1、根据步骤6获取的所有特征点的三维坐标，求取横担区域图I中横担两个平面中每个平面内特征点构成的n个向量，具体为：

结合图2，记横担区域图I中横担边缘的三条直线分别为L₁、L₂、L₃，直线L₁、L₂构成平面P，直线L₂、L₃构成平面Q，L₁、L₂、L₃上特征点的坐标表示分别为{(X_1i,Y_1i,Z_1i):i＝1,2,3,…,n}、{(X_2i,Y_2i,Z_2i):i＝1,2,3,…,n}和{(X_3i,Y_3i,Z_3i):i＝1,2,3,…,n}，

求取平面P内的n个向量：

求取平面Q内的n个向量：

关于α_i、β_i的公式中，n为每一条直线上的特征点数，α_i为平面P内的第i个向量，β_i为平面Q内的第i个向量，(X_1*,Y_1*,Z_1*)为直线L₁上第“*”个特征点的坐标，(X_2*,Y_2*,Z_2*)为直线L₂上第“*”个特征点的坐标，(X_3*,Y_3*,Z_3*)为直线L₃上第“*”个特征点的坐标；

步骤7-1-2、根据步骤7-1-1中的式α_i、β_i获得平面P、平面Q的向量矩阵分别为I₁＝[α₁,α₂,α₃,…α_n]^T、I₂＝[β₁,β₂,β₃,…β_n]^T。

步骤7-2、根据步骤7-1获得的向量矩阵I₁、I₂结合最小二乘法求取横担区域图I中横担两个平面的法向量x₁、x₃，具体为：

I₁·x₁＝0

I₂·x₃＝0

式中，x₁是横担P面的法向量，x₃是横担Q面的法向量，使用最小二乘法求解矩阵方程。

实施例

本发明提出的基于双目视觉的复杂背景下横担姿态测量方法，包括以下步骤：

1.对双目相机的内外参数进行初始化；

2.利用双目相机采集横担图像，获得左目图像4(a)、右目图像4(b)；

3.采用全卷积神经网络算法对步骤2得到的左目图像4(a)、右目图像4(b)分别进行图像分割，获得图像分割后的横担区域图5(a)、横担区域图5(b)；

4.分别对左目图像4(a)、右目图像4(b)进行Canny边缘检测，把边缘检测结果分别与步骤3中获得的横担区域图5(a)、横担区域图5(b)进行掩膜运算，获得边缘检测后的横担区域图6(a)、横担区域图6(b)；

5.采用霍夫变换对步骤4获得的横担区域图6(a)、横担区域图6(b)进行直线检测，得到图7，然后在霍夫空间中对图7(a)、图7(b)各自检测到的直线分别进行聚类运算，再根据直线的斜率约束(±0.5)获得图7(a)、图7(b)各自横担边缘的三条直线如图8(a)、图8(b)；

6.在图8(a)中横担边缘的三条直线的每一条直线上均等间距选取特征点n个，在本实施例中取n＝6，得到图9，用图8(b)中横担边缘的三条直线对图9中对应直线上的特征点进行匹配，得到图10，然后利用双目测距原理获取所有特征点的三维坐标；

7.利用步骤6获得的所有特征点的三维坐标，采用最小二乘法拟合出横担两个平面的法向量x₁和x₃，完成横担姿态的测量。

本发明能够自主、快速的检测复杂背景下横担的姿态，为带电作业机器人机械臂末端姿态控制提供有效数据，从而使得带电作业机器人根据横担的姿态准确的调整机械臂末端手爪的方向，使其能够对准避雷器，完成后续避雷器的抓取和拆卸工作，具有好的应用前景和价值。

Claims (8)

1.一种基于双目视觉的复杂背景下横担姿态测量方法，其特征在于，包括以下步骤：

步骤1、对双目相机的内外参数进行初始化；

步骤2、利用双目相机采集横担图像，获得左目图像A、右目图像B；

步骤3、对步骤2得到的左目图像A、右目图像B分别进行图像分割，获得图像分割后的横担区域图C、横担区域图D；

步骤4、通过边缘检测、掩膜运算对左目图像A、右目图像B、横担区域图C、横担区域图D进行处理，获取边缘检测后的横担区域图I、横担区域图J；

步骤5、采用霍夫变换对步骤4获得的横担区域图I、横担区域图J进行直线检测，然后在霍夫空间中对横担区域图I、横担区域图J各自检测到的直线分别进行聚类运算，再根据直线的斜率约束获得横担区域图I、横担区域图J各自横担边缘的三条直线；

步骤6、在横担区域图I中横担边缘的三条直线的每一条直线上均等间距选取n个特征点，用横担区域图J中横担边缘的三条直线对横担区域图I对应直线上的特征点进行匹配，然后利用双目测距原理获取所有特征点的三维坐标；

步骤7、利用步骤6获得的所有特征点的三维坐标，采用最小二乘法拟合出横担两个平面的法向量x₁和x₃，从而完成横担姿态的测量。

2.根据权利要求1所述的基于双目视觉的复杂背景下横担姿态测量方法，其特征在于，步骤3中图像分割采用的是全卷积神经网络算法。

3.根据权利要求1所述的基于双目视觉的复杂背景下横担姿态测量方法，其特征在于，步骤4中的边缘检测为Canny边缘检测。

4.根据权利要求1或3所述的基于双目视觉的复杂背景下横担姿态测量方法，其特征在于，步骤4具体为：

步骤4-1、采用形态学处理分别去除步骤3获得的横担区域图C、横担区域图D中的空洞和白斑，获得新的横担区域图E、横担区域图F；

步骤4-2、对左目图像A、右目图像B分别进行Canny边缘检测，获得左目边缘检测图像G、右目边缘检测图像H；

步骤4-3、通过步骤4-1获得的横担区域图E、横担区域图F分别对步骤4-2获得的左目边缘检测图像G、右目边缘检测图像H进行掩膜运算，获得边缘检测后的横担区域图I、横担区域图J。

5.根据权利要求1所述的基于双目视觉的复杂背景下横担姿态测量方法，其特征在于，步骤5中斜率约束的范围为k∈(-0.5,0.5)，其中k为直线的斜率。

6.根据权利要求1所述的基于双目视觉的复杂背景下横担姿态测量方法，其特征在于，步骤6中n大于5。

7.根据权利要求1所述的基于双目视觉的复杂背景下横担姿态测量方法，其特征在于，步骤7具体为：

步骤7-1、根据步骤6获取的所有特征点的三维坐标，获取横担区域图I中横担两个平面各自的向量矩阵I₁、I₂；

步骤7-2、根据步骤7-1获得的向量矩阵I₁、I₂结合最小二乘法求取横担区域图I中横担两个平面的法向量x₁、x₃，具体为：

8.根据权利要求7所述的基于双目视觉的复杂背景下横担姿态测量方法，其特征在于，步骤7-1具体为：

步骤7-1-1、根据步骤6获取的所有特征点的三维坐标，求取横担区域图I中横担两个平面中每个平面内特征点构成的n个向量，具体为：

记横担区域图I中横担边缘的三条直线分别为L₁、L₂、L₃，直线L₁、L₂构成平面P，直线L₂、L₃构成平面Q，L₁、L₂、L₃上特征点的坐标表示分别为{(X_1i,Y_1i,Z_1i):i＝1,2,3,…,n}、{(X_2i,Y_2i,Z_2i):i＝1,2,3,…,n}和{(X_3i,Y_3i,Z_3i):i＝1,2,3,…,n}，

求取平面P内的n个向量：

求取平面Q内的n个向量：

上述关于α_i、β_i的公式中，n为每一条直线上的特征点数，α_i为平面P内的第i个向量，β_i为平面Q内的第i个向量，(X_1*,Y_1*,Z_1*)为直线L₁上第“*”个特征点的坐标，(X_2*,Y_2*,Z_2*)为直线L₂上第“*”个特征点的坐标，(X_3*,Y_3*,Z_3*)为直线L₃上第“*”个特征点的坐标；

步骤7-1-2、根据步骤7-1-1中的α_i、β_i获得平面P、平面Q的向量矩阵分别为I₁＝[α₁,α₂,α₃,…α_n]^T、I₂＝[β₁,β₂,β₃,…β_n]^T。