CN114750154A - 一种配网带电作业机器人的动态目标识别定位与抓取方法 - Google Patents

Abstract

本发明公开了一种配网带电作业机器人的动态目标识别定位与抓取方法，包括：获取配网金具的图像；根据配网金具识别模型，获得配网金具目标图像；根据双目定位方法确定配网金具的位置坐标；基于双目定位控制策略对控制机器人运动至配网金具的附近，并结合基于视觉伺服的PID控制方法实现对配网金具的精准定位；控制机器人的机械臂末端抓手抓取金具。本发明通过神经网络模型、双目定位方法与基于视觉伺服的PID控制方法的结合应用，获取目标配网金具，并框定出其在图像中的位置信息，同时获得它与机械臂末端抓手之间的位置关系，能够实现动态配网金具的自动识别和精准定位，有利于减少视觉识别的工作量，降低人工成本，提高自动识别准确率与效率。

Description

一种配网带电作业机器人的动态目标识别定位与抓取方法

技术领域

本发明涉及一种配网带电作业机器人的动态目标识别定位与抓取方法，属于配网金具识别、定位和控制抓取技术领域。

背景技术

随着国民经济的增长，电力行业飞速发展。目前，国网公司运行的配电线路超过40万条，长度超过300万公里，其中架空线路仍然是配电网的主网架。配电网人工带电检修时，检修员通常需要穿上密不透风的绝缘服、携带各种设备工具，长时间在高空作业，安全风险高，作业效率低，如果是在恶劣天气或者地理条件下，作业难度和风险更高。配网金具如引流线夹、接地环等需要定时更换。因此，非常有必要开发可灵活安全操作的配网带电作业机器人系统，这样不仅能避免不必要的经济损失，还能对国民用电安全和经济稳定发展起着至关重要的作用。

传统的带电作业方式不仅危险系数高、劳动强度大，而且还受限于作业地点的环境条件。随着科技的进步，出现了用机器人代替人工进行带电作业，这种新型的作业方式主要由工作人员利用绝缘杆将配网金具传送到机器人附近，通过携带单目和双目相机等图像采集工具来拍摄配网金具图像，再由工作人员查看并分析采集到的视频图像，观察配网金具的状况并找出金具的具体位置，利用机械手抓取金具以便后续的安装。然而，采用这种新型的作业方式，视频终端所采集到的图像数据庞大、重复性高，且海量的配网图像数据仍需要工作人员通过肉眼查看，因而工作量巨大，容易出现误判或漏判的情况，依然无法及时且准确地定位配网金具。

发明内容

基于上述，本发明提供一种配网带电作业机器人的动态目标识别定位与抓取方法，可以提高配网作业的自动化程度、数据化程度和实时性，以克服现有技术的不足。

本发明的技术方案是：一种配网带电作业机器人的动态目标识别定位与抓取方法，包括：

获取配网金具的图像；

根据配网金具识别模型，获得配网金具目标图像；

根据双目定位方法确定配网金具的位置坐标；

基于双目定位控制策略对控制机器人运动至配网金具的附近，并结合基于视觉伺服的PID控制方法实现对配网金具的精准定位；

控制机器人的机械臂末端抓手抓取金具。

可选的，所述配网金具识别模型的构建方法为：

在原YOLOX-s网络基础上，对颈部使用简化的双向特征金字塔网络进行改进，采用GIOU-Loss作为边界框损失函数，经过训练得到适用于识别配网金具的目标检测模型，其中，所述双向特征金字塔网络简化为3个输入特征层，输出三个加强特征提取后的特征层，经过解耦头预测后，每个特征层获得三个预测结果，分别是目标框的坐标、目标框前景背景判断和目标框的类别。

可选的，预测目标框坐标的边界框损失函数为交并比损失函数，预测目标框前景背景和目标框的类别用到的损失函数为二分类交叉损失函数。

可选的，对训练模型使用的图像进行预处理，所述预处理包括：对所述图像进行水平镜像翻转处理；对所述图像添加随机椒盐噪声或高斯噪声；随机改变所述图像的亮度。

可选的，所述双目定位的方法包括：

利用双目相机获取配网金具的左右视图；

根据相机标定和立体校正获得相机参数；

对所述左右视图进行立体匹配，获取视差；

根据所述相机参数和视差，计算目标物体在相机坐标系中的三维坐标。

可选的，所述基于视觉伺服的PID控制方法为：根据图像特征误差计算出控制量，采用视觉映射模型变换为机器人的运动空间，从而驱动机械臂向配网金具运动。

可选的，所述PID控制的公式为：

式中，u(k)表示机器人的控制输入，K_P、K_I和K_D分别表示比例、微分和积分系数矩阵，e(k)则表示图像特征的误差信号。

可选的，根据图像雅比矩阵估计的方法来实现由平面图像信息到配网带电作业机器人基坐标信息的转换。

本发明的有益效果是：本发明提供的一种配网带电作业机器人的动态目标识别、定位与抓取方法，通过神经网络模型、双目定位方法与基于视觉伺服的PID微操作控制方法的结合应用，获取目标配网金具，并框定出其在图像中的位置信息，同时获得它与机械臂末端抓手之间的位置关系，能够实现动态配网金具的自动识别和精准定位，有利于减少视觉识别的工作量，降低人工成本，提高自动识别准确率与效率。

附图说明

图1为本申请实施例提供的一种配网带电作业机器人的动态目标识别定位与抓取方法流程示意图；

图2为本申请实施例提供的配网带电作业机器人抓取金具示意图；

图3为本申请实施例提供的小型双向特征金字塔网络结构图；

图4为本申请实施例提供的改进YOLOX-s网络整体结构图；

图5为本申请实施例提供的双目定位获取三维点云的原理图；

图6为本申请实施例提供的基于图像的视觉伺服控制结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

请参阅图1至图6，本实施方式一种配网带电作业机器人的动态目标识别定位与抓取方法，该方法包括以下步骤：

S1获取配网金具的图像；

通过机器人携带的双目相机拍摄配网金具的图像，配网金具由工作人员手持绝缘杆向上举起。

S2根据配网金具识别模型，获得配网金具目标图像；

将拍摄的图像传入配网金具识别模型中，将配网金具作为感兴趣区域，并框定出感兴趣区域的位置信息。配网金具识别模型包含配网金具数据库，并能够将感兴趣区域与配网金具数据库进行匹配，确定感兴趣区域是否存在金具。

上述配网金具识别模型的构建方法为：在原YOLOX-s网络基础上，对颈部使用简化的双向特征金字塔网络进行改进，采用GIOU-Loss作为边界框损失函数，经过训练得到适用于识别配网金具的目标检测模型。具体而言，对于YOLOX-s主干网络部分，保留原有的网络结构，同样对中间层、中下层和底层这三个特征层进行特征提取，然后传入双向特征金字塔加强特征提取网络。但由于双向特征金字塔网络有5个输入特征层，所以将双向特征金字塔网络简化为3个输入特征层(记为小型双向特征金字塔网络)，以减少计算量和适用YOLOX网络，小型双向特征金字塔网络参见图3。

本实施例中，当输入大小为(640，640，3)时，小型双向特征金字塔网络的三个输入特征层分别为

小型双向特征金字塔网络的每个特征融合节点都会给每个输入特征分别加权ωi，同时使用快速归一化公式训练这些权重。各融合节点输出的计算公式如下：

其中，Conv表示卷积操作，Resize表示对输入进行上采样或下采样操作，ω_i≥0是可学习的权重，ε＝0.0001是一个保证数值稳定的小量。

改进后的YOLOX-s整体结构参见图5。小型双向特征金字塔网络输出三个加强特征提取后的特征层，其形状大小分别为

经过解耦头预测后，每个特征层获得三个预测结果，分别是目标框的坐标、目标框前景背景判断、目标框的类别。

对于预测目标框前景背景和目标框的类别用到的损失函数，都采用原YOLOX网络中的二分类交叉损失函数(BCE_loss)，但对于预测目标框坐标的边界框损失函数，本申请采用广义交并比损失函数(GIOU_Loss)。与交并比(IOU)相比，广义交并比(GIOU)具有四个特点：第一，与IOU一样，具有非负性、尺度不变性等特征；第二，GIOU对尺度不敏感；第三，GIOU是IOU的下界，取值为[-1,1]，由于惩罚项的引入，在不重叠的情况下，预测框会向目标框移动；第四，GIOU除了关注重叠区域不同，还关注了非重叠区域，能够更好地反映重合度。

由此可见，只有当预测框和真实框重合时，GIOU_Loss才会为0，相比IOU_Loss，GIOU_Loss在任意情况下都可以进行训练。GIOU_Loss计算公式如下：

其中，A是预测矩形框，B是真实矩形框，I是A与B交集面积，U是A与B并集面积，A^c表示A与B的最小外接矩形面积。

本实施例中，采集1083张配网金具图像作为数据集。为满足数据在多样性方面的要求，对现有数据集进行数据预处理，扩充数据集的广度和深度，从而提高模型的鲁棒性。本实施例选取三种图像处理措施，随机对原图的纹理结构和几何学特征进行改变：(1)对图像进行水平镜像翻转，增加整个网络在方向上的不变性；(2)对图像添加一定范围的随机椒盐噪声或高斯噪声，提高网络对摄像头失真的不变性；(3)对图像随机改变亮度，模拟同一地点不同亮度下的配网金具情况。本实施例使用基于YOLOX-s卷积神经网络的tensorflow框架，将数据库中90％的图像作为训练集，10％的图像作为测试集。采取冻结训练方法，以提高训练效率，加速收敛。阈值设为0.5，迭代次数为500，在前90％的迭代过程中采取马赛克数据增强方法训练，全程使用Adam优化器。冻结阶段迭代100次，批量样本训练数(Batch_size)设为32，学习率为0.0001。解冻阶段迭代400次，Batch_size设为8，学习率为0.00001。训练结束后，系统会自动保存电力设施检测到的神经网络的参数。

本实施例中，对所有预测帧执行非最大抑制，并根据置信度选择预测帧作为最终预测结果，用测试集中的500张图片进行模型性能的测试。改进的YOLOX-s目标检测模型可以准确地识别配网金具，并输出这些目标在图像中的坐标信息(即边界框的左上顶点坐标和右下顶点坐标)和类别信息。

与现有技术相比，本申请配网金具识别模型能够明显提高配网金具的自动识别精度，且运用改进的YOLOX-s卷积神经网络进行训练的系统，比其他神经网络的自动识别速度明显提高。

S3根据双目定位方法确定配网金具的位置坐标；

上述双目定位的方法包括以下步骤：

1、首先利用双目相机获取配网金具的左右视图；

2、根据相机标定和立体校正获得相机参数；

具体而言，双目相机的标定需要先对两个相机分别进行标定，获取各自的内参矩阵以及畸变参数，然后再通过双目立体标定获取两个相机之间的位姿关系，最后便可以通过坐标变换矩阵得到摄像头与配网金具之间的坐标转换。本实施例中，相机标定采用张正友标定法；当两个图像平面重合且横轴对准时，可以使用三角测量模型计算深度。然而，在现实的双目立体视觉中，由于相机的安装与制造并不存在这种情况，因此需要立体校正。本实施例中立体校正分为两步：

(1)绕左相机坐标系原点旋转左右图像，将两个图像平面拉回同一平面；

让两个相机各绕着左相机坐标系原点旋转相同的角度，但二者的旋转方向是相反的。如下式：

r_l×r_r＝1

其中，R为两个相机间的相对旋转矩阵，r_l和r_r分别代表左摄像头和右摄像头为转换到共面所需的旋转矩阵。两个相机的成像平面重合了，为了使基线平行于成像平面需要构造校正矩阵R_rect。

(2)绕光轴旋转使得两图像同行对准。

实质是左右两图分别绕各自的光轴旋转，旋转过后两个摄像头的主点连线于像素坐标的行线平行，即使左右相机对应的像素点处于同一行线上，这时左极点处于无穷远。构造该旋转矩阵R_rect的方法是通过右相机相对于左相机的偏移矩阵T＝[T_x T_y T_z]^T完成的，R_rect＝[e₁ e₂ e₃]。

3、对左右视图进行立体匹配，获取视差；

立体匹配是在左右两幅图像中识别同一物体，获取它们在图像中的对应关系，从而求得视差。本实施例中，立体匹配方法采用ELAS算法，包括4个步骤：(1)选取合适支持点，并获取支持点的所有备选视差；(2)以这些支持点为顶点进行三角剖分，得到具有唯一性的三角形网格；(3)假定投影的线性模型，认为每一个三角形代表一个视差平面，通过顶点的坐标值计算视差平面的方程；(4)使用这些视差平面方程估计每一个像素点的视差值，将该视差值对应的相似度函数值与以3个支持点(三角形顶点，也是视差平面的顶点)包含的所有备选视差对应的相似度函数值比较，函数值最小的视差即为该像素点视差。

4、根据相机参数和视差，计算目标物体在相机坐标系中的三维坐标。

通过标定和校正获得相机参数，利用立体匹配求得视差，再结合相似三角形原理就可以实现以左相机坐标系为参考，将物体坐标转化为三维位置的任务。根据三角形相似原理可得下式：

其中，f为左、右相机的焦距，定义视差(Disparity)为特征点P(x_c，y_c，z_c)在左右两幅视图中X轴方向上的坐标差，即Disparity＝X_left-X_right。由此可计算出特征点P(x_c，y_c，z_c)在相机坐标系下的三维坐标为：

S4基于双目定位控制策略对控制机器人运动至配网金具的附近，并结合基于视觉伺服的PID控制方法实现对配网金具的精准定位；

具体而言，通过现有的基于双目定位控制策略控制机器人运动至配网金具的附近，由于基于双目定位控制策略为现有技术，在此不再赘述。由于工作人员手持绝缘杆会使得配网金具在空中出现轻微的摆动，因此双目定位可能存在稍许偏差。为此，本实施例在已经实施的基于双目定位控制策略的基础之上，采用基于视觉伺服的PID控制方法来进行微操，以弥补前者的控制误差，进一步提高机器人的控制精度。本实施例中，利用机器人手臂上安装的相机，通过图像误差引导机械臂在微小空间范围内实现精准定位控制。

配网带电作业机器人采用眼在手上构型时，基于图像的视觉伺服控制结构如图6所示，由图像特征误差计算出的控制量，采用适当的视觉映射模型变换为机器人的运动空间，从而驱动机械臂向目标运动。当图像特征与实际的图像特征之间的差距小于一个给定阈值时，则判定配网带电作业机器人视觉伺服精度已经达到。配网带电作业机器人视觉伺服控制器只需要实现对机器人机械手抓在微小空间范围对金具进行精准定位控制，控制任务相对简单，完全可以采用PID控制方法来设计满足上述控制功能的视觉伺服控制器。

在基于PID的视觉控制系统中，误差可以在工作空间、关节空间或图像特征空间表示，而机器人的控制输入通常为笛卡尔空间或机器人关节空间下的位置或速度指令，根据视觉反馈得到的误差信号可以建立如下的PID控制器：

式中，u(k)表示机器人的控制输入，K_P、K_I和K_D分别表示比例、微分和积分系数矩阵，e(k)则表示误差信号。

对于基于图像的视觉伺服控制系统来说，误差信号是在图像空间表示的，而机器人的控制输入要求是在笛卡尔空间或关节空间，因此视觉控制器的作用方式有两种。第一种方式是直接在图像平面设计视觉控制器，然后将所得到的控制量乘以图像雅可比矩阵的逆，从而得到在笛卡尔空间下的控制量；或者再乘以机器人雅可比矩阵得到关节空间的控制量。第二种方式是先将图像平面的误差先乘以图像雅可比矩阵的逆变换得到笛卡尔空间中的误差，然后再在笛卡尔空间中设计视觉控制器，进而可以得到机器人的控制输入。

假设目标金具在配网带电作业机器人基坐标系{b}下的空间坐标为

同时目标金具在相机坐标系{c}下的空间坐标为

其中

中心为目标金具的深度信息，Z_c轴与相机的光轴重合；此外，假设图像平面{i}的x和y方向上的单位距离像素数分别为N_x和N_y，图像平面中心Oi的图像平面坐标记为(u₀，v₀)，通过图像处理可以得到目标在图像平面{i}下的像素坐标为f＝[u，v]^T，可以通过下式得到目标在图像平面下的投影坐标记为i_P＝[x，y]^T；

x＝(u-u₀)/N_x

y＝(v-v₀)/N_y

由投影原理可以得到目标金具在机坐标系{c}下的坐标

与其在图像平面{i}下的投影坐标i_P＝[x，y]^T之间的转换关系为：

式中λ是相机的焦距，对上式等号两边微分可得：

将上式写成矩阵形式为：

上式表明目标金具在图像平面{i}中的变化与其在相机坐标系{c}下的位姿变化是一种非线性关系；

目标金具在相机坐标系{c}下的坐标与在配网带电作业机器人基坐标系{b}下的坐标通过如下公式进行变换：

式中，

为相机坐标系原点在配网带电作业机器人基坐标系{b}下的位置向量，旋转矩阵

表示机器人坐标系{b}相对相机坐标系{c}的位姿，并且是正交矩阵；

对上式等号两边微分可得：

式中，

示目标金具相对配网带电作业机器人坐标系的平移速度，

表示相机相对配网带电作业机器人基坐标系下的平移速度；由于目标金具一般处于静止状态，所以其移动速度可以认为是0，也即是

由此可将上式改写为：

相机随着机械臂在相机坐标系{c}下做旋转运动

和平移运动

同时可以得到如下关系:

从而得到：

上式表示了目标金具在图像平面上的变化与摄像机位姿变化之间的关系，也即是图像雅可比矩阵J_image为：

上式是图像雅可比矩阵的一般解析表达式，图像雅可比矩阵不仅与目标金具在图像平面中的位置i_P＝[x，y]^T有关，而且还与目标的深度

有关，而由单目相机是无法准确测量目标的深度

的，所以对于眼在手上构型的配网带电作业机器人来说，深度信息直接获取比较困难，所以采用图像雅可比矩阵估计的方法来实现由平面图像信息到配网带电作业机器人基坐标信息的转换。

S5控制机器人的机械臂末端抓手抓取金具。

综上可知，本发明视觉识别及定位抓取方法，首先通过改进的YOLOX-s卷积神经网络模型对配网金具进行自动识别，获得配网金具检测目标和其在图像中的位置信息；机器人按照双目定位方法运动到配网金具的附近；结合基于视觉伺服的PID控制方法实现在微小空间范围内对配网金具的精准定位；最后调节机械臂末端抓手抓取金具以便后续安装。

本发明提供的一种配网带电作业机器人的动态目标识别、定位与抓取方法，通过神经网络模型、双目定位方法与基于视觉伺服的PID微操作控制方法的结合应用，获取目标配网金具，并框定出其在图像中的位置信息，同时获得它与机械臂末端抓手之间的位置关系，能够实现动态配网金具的自动识别和精准定位，有利于减少视觉识别的工作量，降低人工成本，提高自动识别准确率与效率。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种配网带电作业机器人的动态目标识别定位与抓取方法，其特征在于，包括：

获取配网金具的图像；

根据配网金具识别模型，获得配网金具目标图像；

根据双目定位方法确定配网金具的位置坐标；

基于双目定位控制策略对控制机器人运动至配网金具的附近，并结合基于视觉伺服的PID控制方法实现对配网金具的精准定位；

控制机器人的机械臂末端抓手抓取金具。

2.根据权利要求1所述的动态目标识别定位与抓取方法，其特征在于，所述配网金具识别模型的构建方法为：

在原YOLOX-s网络基础上，对颈部使用简化的双向特征金字塔网络进行改进，采用GIOU-Loss作为边界框损失函数，经过训练得到适用于识别配网金具的目标检测模型，其中，所述双向特征金字塔网络简化为3个输入特征层，输出三个加强特征提取后的特征层，经过解耦头预测后，每个特征层获得三个预测结果，分别是目标框的坐标、目标框前景背景判断和目标框的类别。

3.根据权利要求2所述的动态目标识别定位与抓取方法，其特征在于，预测目标框坐标的边界框损失函数为交并比损失函数，预测目标框前景背景和目标框的类别用到的损失函数为二分类交叉损失函数。

4.根据权利要求2所述的动态目标识别定位与抓取方法，其特征在于，对训练模型使用的图像进行预处理，所述预处理包括：对所述图像进行水平镜像翻转处理；对所述图像添加随机椒盐噪声或高斯噪声；随机改变所述图像的亮度。

5.根据权利要求1所述的动态目标识别定位与抓取方法，其特征在于，所述双目定位的方法包括：

利用双目相机获取配网金具的左右视图；

根据相机标定和立体校正获得相机参数；

对所述左右视图进行立体匹配，获取视差；

根据所述相机参数和视差，计算目标物体在相机坐标系中的三维坐标。

6.根据权利要求1所述的动态目标识别定位与抓取方法，其特征在于，所述基于视觉伺服的PID控制方法为：根据图像特征误差计算出控制量，采用视觉映射模型变换为机器人的运动空间，从而驱动机械臂向配网金具运动。

7.根据权利要求6所述的动态目标识别定位与抓取方法，其特征在于，所述PID控制的公式为：

式中，u(k)表示机器人的控制输入，K_P、K_I和K_D分别表示比例、微分和积分系数矩阵，e(k)则表示图像特征的误差信号。

8.根据权利要求6所述的动态目标识别定位与抓取方法，其特征在于，根据图像雅比矩阵估计的方法来实现由平面图像信息到配网带电作业机器人基坐标信息的转换。

9.根据权利要求8所述的动态目标识别定位与抓取方法，其特征在于，所述图像雅比矩阵J_image的推算方法如下：

假设目标金具在配网带电作业机器人基坐标系{b}下的空间坐标为

同时目标金具在相机坐标系{c}下的空间坐标为

其中

中心为目标金具的深度信息，Z_c轴与相机的光轴重合；此外，假设图像平面{i}的x和y方向上的单位距离像素数分别为N_x和N_y，图像平面中心O_i的图像平面坐标记为(u₀，v₀)，通过图像处理可以得到目标在图像平面{i}下的像素坐标为f＝[u，v]^T，可以通过下式得到目标在图像平面下的投影坐标记为i_P＝[x，y]^T；

x＝(u-u₀)/N_x

y＝(v-v₀)/N_y

由投影原理可以得到目标金具在机坐标系{c}下的坐标

与其在图像平面{i}下的投影坐标i_P＝[x，y]^T之间的转换关系为：

式中λ是相机的焦距，对上式等号两边微分可得：

将上式写成矩阵形式为：

上式表明目标金具在图像平面{i}中的变化与其在相机坐标系{c}下的位姿变化是一种非线性关系；

目标金具在相机坐标系{c}下的坐标与在配网带电作业机器人基坐标系{b}下的坐标通过如下公式进行变换：

式中，

为相机坐标系原点在配网带电作业机器人基坐标系{b}下的位置向量，旋转矩阵

表示机器人坐标系{b}相对相机坐标系{c}的位姿，并且是正交矩阵；

对上式等号两边微分可得：

式中，

示目标金具相对配网带电作业机器人坐标系的平移速度，

表示相机相对配网带电作业机器人基坐标系下的平移速度；由于目标金具一般处于静止状态，所以其移动速度可以认为是0，也即是

由此可将上式改写为：

相机随着机械臂在相机坐标系{c}下做旋转运动

和平移运动

同时可以得到如下关系:

从而得到：

上式表示了目标金具在图像平面上的变化与摄像机位姿变化之间的关系，也即是图像雅可比矩阵J_image为：

Images