CN104858877B - 高压线路跌落开关自动更换控制系统的控制方法 - Google Patents

Abstract

本发明公开了一种高压线路跌落开关自动更换控制系统及控制方法，包括：机器人控制单元、机械臂控制单元、视觉模块、目标跟踪模块、图像数据处理中心；机器人控制单元分别与图像数据处理中心和机械臂控制单元连接，所述图像数据处理中心与视觉模块、目标跟踪模块分别连接，所述视觉模块与目标跟踪模块连接。本发明有益效果：通过将螺栓顶端设置成锥形，便于将螺栓顶端深入到螺栓孔，即使螺栓的定位存在几毫米的差别，仍能将螺栓深入到螺栓固定孔内，降低了将螺栓深入到螺栓孔的难度。通过在螺栓的两端增加颜色标记，可以在背景中突出螺栓，便于利用颜色信息跟踪出螺栓的位置，同时利用两边标记的颜色信息可确定出螺栓的长度。

Description

高压线路跌落开关自动更换控制系统的控制方法

技术领域

本发明涉及机器视觉领域，尤其涉及一种基于双目视觉的高压线路中跌落开关自动更换控制系统及控制方法。

背景技术

传统的电力设备维修需要人工近距离接触设备，这样不仅威胁施工人员的人身安全，且效率低下。随着人工智能、机器视觉等相关技术的发展，各种高危环境中的作业已开始由机器人替代，高压输电线路的设备维护亦可以利用机器人完成。

跌落开关是高压输电线路中必不可少的器件，当线路中的电流过大，跌落开关中的熔丝将会因电流过大而发热熔断，以达到保护线路的目的。通常，跌落开关熔断后需要人工更换维护，这样不仅效率低下，而且施工人员在在高压带电线路上施工存在安全隐患。人工智能、机器视觉等技术可使机器人具有人类的部分智能，可使机器人代替施工人员在危险的环境中高效、快速地完成施工任务。但是，针对更换高压输电线路中跌落开关的智能机器人控制系统的相关研究尚存在空白。

由于通常使用的跌落开关螺栓顶端的外径与螺栓孔的内径相差极小，因此即使螺栓与螺栓孔的位置相差1mm时也不能成功固定跌落开关。因此，利用机器视觉、人工智能等技术更换跌落开关时，需要准确将跌落开关上的螺栓孔与固定支架上的螺栓孔对齐，并且将螺栓准确的伸入到螺栓固定孔中才能顺利完成更换跌落开关的任务。

另外，在使用机器视觉、人工智能等技术固定跌落开关整个操作过程中需要根据摄像机获取的图像计算出当前螺栓的位置及其相对倾斜方向，以便及时调整机械臂抓取的螺栓的位姿及位置。螺栓在摄像机中所表现出的灰度特征与周围的环境中其他高压电设施极为相似，且摄像机所呈现出的螺栓将有可能丢掉其自身螺纹所体现出的特有的纹理信息，这就增加了跟踪定位螺栓的难度。

经过以上分析，智能电力设备机器人控制系统在控制更换跌落开关时存在以下问题：

(1)机械臂夹取的螺栓在摄像机捕获的图像中所表现出灰度与周围的其他电力设备、支架等极为相似，这使控制系统不宜实现目标跟踪。

(2)螺栓在摄像机获取的图像中相对较小，将会丢失自身螺纹形成的纹理信息，增加了控制系统跟踪定位螺栓的难度。

(3)螺栓的外径与螺栓孔内径极为接近，不易准确控制螺栓伸入到螺栓孔径中。

发明内容

本发明的目的就是为了解决上述问题，提供了一种基于双目视觉的高压线路跌落开关自动更换控制系统及控制方法，该控制系统能够实现精确控制机械臂自动更换高压输电线路中的跌落开关，避免了施工人员直接在高压带电线路上施工带来的危险。

为了实现上述目的，本发明采用如下技术方案：

一种高压线路跌落开关自动更换控制系统，包括：

机器人控制单元：用于接收图像数据处理中心的数据并向机械臂控制单元发送控制命令；

机械臂控制单元：用于控制机器人的机械臂通过旋紧或旋出带有标识的螺栓更换跌落开关；

视觉模块：用于获取机械臂前端的图像并将图像传送至图像数据处理中心；

目标跟踪模块：用于利用获取的图像数据实时计算当前感兴趣目标的移动位置；

图像数据处理中心：用于对视觉模块采集到的图像进行处理，根据图像信息跟踪机械臂移动的位置以及需要更换的跌落开关的位置；

所述机器人控制单元分别与图像数据处理中心和机械臂控制单元连接，所述图像数据处理中心与视觉模块、目标跟踪模块分别连接，所述视觉模块与目标跟踪模块连接，所述机械臂控制单元控制机器人机械臂完成更换跌落操作。

所述视觉模块包括：光轴交叉双目摄像机和图像采集卡；

光轴交叉双目摄像机设置在机械臂前端用于获取机械臂前端的图像以模拟人眼的双目视觉功能，图像采集卡用于将双目摄像机输出的模拟信号转换成可运用计算机运算处理的数字信号，所述图像采集卡至少为两通道。

所述带有标识的螺栓两端涂有醒目的标记色，在所述标记色之间添加螺纹的纹理信息。

所述螺纹的纹理信息为在所述标记色之间添加粗细及间隔不同的条纹，或其他具有颜色信息的纹理。

一种高压线路跌落开关自动更换控制系统的控制方法，包括跌落开关拆卸控制方法和跌落开关安装控制方法；

所述跌落开关拆卸控制方法为：视觉模块获取双目视觉图像，并对双目图像进行校正；确定机械臂、设备抓取位置以及螺栓拆卸位置在双目视觉图像中的三维坐标，并计算出左、右机械臂移动到设备抓取点、螺栓拆卸点的移动向量，根据移动向量控制机械臂移动，拆卸螺栓；

所述跌落开关安装控制方法为：确定待安装设备的抓取位置、螺栓的顶端及尾端在双目 图像中的三维坐标，分别通过坐标相减计算夹取设备和夹取螺栓的机械臂的移动向量，控制机械臂将螺栓放入螺栓孔径中，安装设备。

所述跌落开关拆卸控制方法具体为：

步骤一：视觉模块获取双目视觉图像，分别标定左右摄像机，对双目视觉图像进行校正；

步骤二：人工辅助确定机械臂、设备抓取位置、螺栓拆卸位置在双目视觉图像中的位置；

步骤三：分别计算步骤二中确定的各个位置的三维坐标，通过坐标相减计算出左、右机械臂移动到设备抓取点、螺栓拆卸点的移动向量；

步骤四：根据移动向量控制机械臂将螺栓脱离螺栓孔，拆卸设备。

所述跌落开关安装控制方法具体为：

步骤一：人工辅助确定待安装设备的抓取位置、螺栓的顶端及尾端在双目图像中的位置；

步骤二：计算夹取设备机械臂的移动向量，控制机械臂移动；

移动过程中，在双目视觉图像中实时跟踪设备的移动位置，并计算设备当前位置的三维坐标，重新生成移动向量后引导机械臂的下一步移动方式，直至将设备移动到指定位置；

步骤三：通过坐标相减计算夹取螺栓机械臂的移动向量，控制机械臂移动；

移动过程中，在双目图像中实时跟踪螺栓的位置，并计算螺栓两端当前位置的三维坐标，根据螺栓两端的三维坐标计算螺栓当前的位姿及当前的移动向量；根据计算结果控制机械臂不断调整螺栓位姿及移动方式，直至将螺栓移动到指定位置；

步骤四：控制机械臂将螺栓放入螺栓孔径中，安装设备。

确定双目图像中相应设备位置的三维坐标的方法为：

假设双目摄像机的成像平面与地面保持水平，点E为所述设备的一个组成点，则点E的三维坐标为：

其中，l为两个摄像头距离的一半，δ_A为摄像机水平视角，W为摄像机水平分辨率，δ_B为摄像机垂直视角，H为摄像机垂直分辨率，(x1，y1)、(x2，y2)分别为待测定点E在双目视觉中成像的图像坐标，为两个摄像机光轴线的夹角，δ₁、δ₂表示点E和光心的连线与光轴线的夹角；

分别求取所述设备所有组成点的三维坐标，求取平均值，得到设备的最终三维坐标。

所述步骤三中根据螺栓两端的三维坐标计算螺栓当前位姿的方法为：

根据螺栓两端的标记色，利用Camshift算法跟踪螺栓两端的位置，分别计算出螺栓两端位置的三维坐标分别为(x₁,y₁,z₁)、(x₂,y₂,z₂)，根据三维坐标及螺栓长度计算螺栓的位姿。

所述根据三维坐标及螺栓长度计算螺栓的位姿的方法为：

$\mathrm{\α}=\frac{x_1-x_2}{L}$

$\mathrm{\β}=\frac{y_1-y_2}{L}$

$\mathrm{\γ}=\frac{z_1-z_2}{L}$

$L=\sqrt[2]{{(x_1-x_2)}^2+{(y_1-y_2)}^2+{(z_1-z_2)}^2}$

其中(x₁,y₁,z₁)为螺栓顶端的三维坐标，(x₂,y₂,z₂)为螺栓尾端的三维坐标；L为螺栓长度，α,β,γ分别为螺栓相对于X、Y、Z三个坐标轴正方向的偏角。

本发明的有益效果：

1、利用本发明的控制系统及控制方法，可以实现自动精确控制机械臂更换高压输电线路中的跌落开关，利用目标跟踪模块跟踪定位带有标识信息的螺栓位置，进而控制机械臂准确的识别螺栓位置并通过旋进或旋出螺栓实现跌落开关的自动更换。

2、通过将螺栓顶端设置成锥形，便于将螺栓顶端深入到螺栓孔，即使螺栓的定位存在几毫米的差别，仍能通过控制系统将螺栓深入到螺栓固定孔内，降低了将螺栓深入到螺栓孔的难度。

3、通过在螺栓的两端增加颜色标记，可以在背景中突出螺栓，便于利用颜色信息跟踪出螺栓的位置，同时利用两边标记的颜色信息可确定出螺栓的长度。

4、由于摄像机所获取到的螺栓极有可能丢失螺栓的螺纹所表现出的纹理信息，因此在颜色标记的中间添加纹理信息。由此，摄像机所捕获到螺栓将体现出明显的颜色信息与纹理信息，有利于螺栓的定位与跟踪。

附图说明

图1为本发明系统结构示意图；

图2为本发明机械臂结构示意图；

图3为本发明螺栓顶端的加工示意图；

图4为本发明螺栓两端标记示意图；

图5为本发明螺栓纹理标记示意图；

图6为本发明摄像机几何模型示意图一；

图7为本发明摄像机几何模型示意图二；

图8为本发明摄像机几何模型示意图三。

其中，1.机器人控制单元，2.机械臂控制单元，3.图像数据处理中心，4.视觉模块，5.目标跟踪模块，6.交叉双目摄像机，7.跌落开关，8.机械臂，9.带有标识信息的螺栓。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

如图1-2所示，一种高压线路跌落开关自动更换控制系统，其特征是，包括：

机器人控制单元1：用于接收图像数据处理中心的数据并向机械臂控制单元发送控制命令；

机械臂控制单元2：用于控制机器人的机械臂8通过旋紧或旋出带有标识信息的螺栓9更换跌落开关7；

视觉模块4：用于获取机械臂8前端的图像并将图像传送至图像数据处理中心；交叉双目摄像机6用来获取机械臂8前端的图像以模拟人眼的双目视觉功能，交叉双目摄像机6的光轴相交，两光轴形成的平面与三维参考平面平行，光轴的相交点位于两光心连线的中垂线上；图像采集卡用来将双目摄像机输出的模拟信号转换成可运用计算机运算处理的数字信号，选用的图像采集卡应至少为两通道。

目标跟踪模块5：利用视觉模块采集到的双目图像实时计算当前感兴趣目标的移动。在本发明中，移动目标的跟踪采用颜色信息融合技术，对水平投影直方图及垂直投影直方图的匹配计算实现。

图像数据处理中心3：主要处理图像采集卡获得的双目视觉图像数据，利用图像数据跟踪出机械臂移动的位置及需要拆卸和安装的跌落开关7的位置，可利用一台高性能计算机作为图像数据处理中心。

所述图像数据处理中心3与机械臂控制单元2、视觉模块4、目标跟踪模块5分别连接， 视觉模块4与目标跟踪模块5连接。

机器人控制单元1接收图像数据处理中心3的数据，向机械臂控制单元2发送控制信号，使得机械臂控制单元2控制机械臂8进行移动，通过机械臂8前端视觉模块中的光轴交叉双目摄像机6采集图像并传送至图像数据处理中心3，并利用这些图像通过目标跟踪模块5对当前感兴趣目标进行跟踪。

带有标识信息的螺栓9：如图3到图5所示，为方便对机械臂8夹取的带有标识信息的螺栓9进行跟踪及便于将带有标识信息的螺栓9深入到螺栓孔径中，本发明中将带有标识信息的螺栓9的外形进行改进。在螺栓的两端涂有醒目的标记色，并将螺栓的顶端加工成锥形，在标记色之间添加螺纹的纹理信息。纹理信息可以是通过颜色标记的粗细不等的条纹信息，或者其他通过颜色标记的纹理信息，比如红色标记的网格纹理等。

一种高压线路跌落开关自动更换控制系统的控制方法，包括跌落开关拆卸部分和跌落开关安装部分；

跌落开关拆卸控制方法为：

步骤一：视觉模块4获取双目视觉图像，利用张正友2D棋盘标定算法分别标定左右摄像机7，对双目图像进行校正。

步骤二：人工辅助确定机械臂8、设备抓取位置、带有标识信息的螺栓9拆卸位置在双目视觉图像中的位置。

步骤三：利用交叉双目视觉模型计算步骤二中人工辅助选取位置的三维坐标，同时通过坐标相减计算出左、右机械臂移动到设备抓取点、螺栓拆卸点的移动向量。

步骤四：根据移动向量控制机械臂8的移动，拆卸带有标识信息的螺栓9。

跌落开关安装控制方法为：

步骤一：人工辅助确定待安装设备的抓取位置、带有标识信息的螺栓9的顶端及尾端在双目图像中的位置；

步骤二：计算夹取设备机械臂8的移动向量，控制机械臂8移动。在移动过程中，在双目图像中实时跟踪设备的移动位置，并计算设备当前的三维坐标，重新生成移动向量后引导机械臂的下一步移动方式，直至将设备移动到指定位置。

步骤三：计算夹取螺栓机械臂8的移动向量，控制机械臂8移动。在移动过程中，在双目图像中实时跟踪带有标识信息的螺栓9的位置，并根据计算出的带有标识信息的螺栓9两端的三维坐标计算带有标识信息的螺栓9的位姿，通过坐标相减计算当前的移动向量。根据最新计算结果控制机械臂8调整带有标识信息的螺栓9位姿及移动方式，直至将带有标识信 息的螺栓9移动到指定位置。

步骤四：控制机械臂8将带有标识信息的螺栓9放入螺栓孔径中，安装设备。

在跌落开关拆卸及安装控制方法中有两个共同的流程，即人工辅助选取目标点及三维坐标计算。人工辅助选取目标点就是利用鼠标在显示双目图像的屏幕上点选目标。三维坐标计算即是利用交叉双目视觉模型，计算目标点的三维坐标，计算原理如下：

如图6-图8所示，A和B分别对应于两个摄像机，点C对应于点T，点T为两个摄像机光轴的交点。安装相机时要保证两点，第一，两相机光轴的交点到两相机的距离相等(即图中线段AC的长度等于线段BC的长度，也即点C位于线段AB的垂直平分线上)；第二，两相机的成像平面与地面保持水平(也即图中的θ₁＝θ₂＝90°)。点E为带测定点。图中线段AC、BC、AB的长度在安装摄像机时可以确定，∠δ₁与∠δ₂的大小根据摄像机的视场角与点E的像在照片上的位置可以间接获得。

MN为摄像机的镜头平面，OO’为摄像机的光轴，O为摄像机镜头的光心，∠δ为光线的入射角，即对应于∠δ₁与∠δ₂。

在推导的过程中假设θ₁＝θ₂＝90°，合理的相机安放可以保证这一假设的成立。

建立三维坐标系，推导可得到：

其中，l为两摄像头距离的一半，水平视角均为δ_A,水平分辨率为W，垂直视角均为δ_B,垂直分辨率为H，(x1，y1)(x2，y2)为待测定点的坐标。

在上文跌落开关安装控制的步骤三的具体内容为：

为在双目图像中突出螺栓，安装设备时所用的螺栓已在外观及结构上做了改进，在螺栓 的两端涂有醒目的颜色，可利用Camshift算法实现目标跟踪功能；在螺栓上添加纹理，可区分螺栓与背景中与之相近的物体。其中，Camshift原理叙述如下：

Camshift算法的思想是利用跟踪对象的统计直方图模型对当前获取的图像进行反向投影操作，自动调整跟踪窗口的大小并计算反向投影图的中心，从而在当前图像中跟踪出目标。

Camshift主要由以下三部分运算组成：

1、反向投影

统计目标的彩色直方图，本发明中统计了目标图像在HSV空间中H分量的统计直方图。对当前图像从RGB颜色空间转换到HSV颜色空间，针对H分量依目标的H分量直方图查表可得到当前图像的反向投影图。

2、meanshift算法

meanshift算法就是控制定位窗口中心沿梯度增大的方向移动，最终移动到密度最大的区域。

3、连续帧运算

将第2步中的meanshift运动到视频的连续帧中，即可跟踪到物体的移动。

关于螺栓的位姿计算，实现方法如下：

螺栓的两端标记有鲜艳的颜色，利用camshift可轻易跟踪到螺栓的两端，此时可计算出螺栓两端再双目图像中的图像坐标，从而可以计算出螺栓两端实际的三维坐标。利用如下公式可计算出螺栓的位姿：

$\mathrm{\α}=\frac{x_1-x_2}{L}$

$\mathrm{\β}=\frac{y_1-y_2}{L}$

$\mathrm{\γ}=\frac{z_1-z_2}{L}$

$L=\sqrt[2]{{(x_1-x_2)}^2+{(y_1-y_2)}^2+{(z_1-z_2)}^2}$

其中(x₁,y₁,z₁)代表螺栓顶端的三维坐标，(x₂,y₂,z₂)代表螺栓尾端的三维坐标。L代表根据螺栓的顶端及尾端求出的螺栓长度，α,β,γ分别代表螺栓相对于X、Y、Z三个坐标轴正方向的偏角。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (6)

1.一种高压线路跌落开关自动更换控制系统的控制方法，其特征是，高压线路跌落开关自动更换控制系统，包括：

机器人控制单元：用于接收图像数据处理中心的数据并向机械臂控制单元发送控制命令；

机械臂控制单元：用于控制机器人的机械臂通过旋紧或旋出带有标识的螺栓更换跌落开关；

视觉模块：用于获取机械臂前端的图像并将图像传送至图像数据处理中心；

目标跟踪模块：用于利用获取的图像数据实时计算当前感兴趣目标的移动位置；

图像数据处理中心：用于对视觉模块采集到的图像进行处理，根据图像信息跟踪机械臂移动的位置以及需要更换的跌落开关的位置；

所述机器人控制单元分别与图像数据处理中心和机械臂控制单元连接，所述图像数据处理中心与视觉模块、目标跟踪模块分别连接，所述视觉模块与目标跟踪模块连接，所述机械臂控制单元控制机器人机械臂完成更换跌落操作；

所述控制方法包括：跌落开关拆卸控制方法和跌落开关安装控制方法；

所述跌落开关拆卸控制方法为：视觉模块获取双目视觉图像，并对双目图像进行校正；确定机械臂、设备抓取位置以及螺栓拆卸位置在双目视觉图像中的三维坐标，并计算出左、右机械臂移动到设备抓取点、螺栓拆卸点的移动向量，根据移动向量控制机械臂移动，拆卸螺栓；

所述跌落开关安装控制方法为：确定待安装设备的抓取位置、螺栓的顶端及尾端在双目图像中的三维坐标，分别通过坐标相减计算夹取设备和夹取螺栓的机械臂的移动向量，控制机械臂将螺栓放入螺栓孔径中，安装设备。

2.如权利要求1所述的一种高压线路跌落开关自动更换控制系统的控制方法，其特征是，所述跌落开关拆卸控制方法具体为：

步骤一：视觉模块获取双目视觉图像，分别标定左右摄像机，对双目视觉图像进行校正；

步骤二：人工辅助确定机械臂、设备抓取位置、螺栓拆卸位置在双目视觉图像中的位置；

步骤三：分别计算步骤二中确定的各个位置的三维坐标，通过坐标相减计算出左、右机械臂移动到设备抓取点、螺栓拆卸点的移动向量；

步骤四：根据移动向量控制机械臂将螺栓脱离螺栓孔，拆卸设备。

3.如权利要求1所述的一种高压线路跌落开关自动更换控制系统的控制方法，其特征是，所述跌落开关安装控制方法具体为：

步骤一：人工辅助确定待安装设备的抓取位置、螺栓的顶端及尾端在双目图像中的位置；

步骤二：计算夹取设备机械臂的移动向量，控制机械臂移动；

移动过程中，在双目视觉图像中实时跟踪设备的移动位置，并计算设备当前位置的三维坐标，重新生成移动向量后引导机械臂的下一步移动方式，直至将设备移动到指定位置；

步骤三：通过坐标相减计算夹取螺栓机械臂的移动向量，控制机械臂移动；

移动过程中，在双目图像中实时跟踪螺栓的位置，并计算螺栓两端当前位置的三维坐标，根据螺栓两端的三维坐标计算螺栓当前的位姿及当前的移动向量；根据计算结果控制机械臂不断调整螺栓位姿及移动方式，直至将螺栓移动到指定位置；

步骤四：控制机械臂将螺栓放入螺栓孔径中，安装设备。

4.如权利要求2或3所述的一种高压线路跌落开关自动更换控制系统的控制方法，其特征是，确定双目图像中相应设备位置的三维坐标的方法为：

假设双目摄像机的成像平面与地面保持水平，点E为所述设备的一个组成点，则点E的三维坐标为：

其中，l为两个摄像头距离的一半，δ_A为摄像机水平视角，W为摄像机水平分辨率，δ_B为摄像机垂直视角，H为摄像机垂直分辨率，(x1，y1)、(x2，y2)分别为待测定点E在双目视觉中成像的图像坐标，为两个摄像机光轴线的夹角，δ₁、δ₂表示点E和光心的连线与光轴线的夹角；

分别求取所述设备所有组成点的三维坐标，求取平均值，得到设备的最终三维坐标。

5.如权利要求3所述的一种高压线路跌落开关自动更换控制系统的控制方法，其特征是，所述步骤三中根据螺栓两端的三维坐标计算螺栓当前位姿的方法为：

根据螺栓两端的标记色，利用Camshift算法跟踪螺栓两端的位置，分别计算出螺栓两端位置的三维坐标分别为(x₁,y₁,z₁)、(x₂,y₂,z₂)，根据三维坐标及螺栓长度计算螺栓的位姿。

6.如权利要求5所述的一种高压线路跌落开关自动更换控制系统的控制方法，其特征是，所述根据三维坐标及螺栓长度计算螺栓的位姿的方法为：

$\mathrm{\α}=\frac{x_1-x_2}{L}$

$\mathrm{\β}=\frac{y_1-y_2}{L}$

$\mathrm{\γ}=\frac{z_1-z_2}{L}$

$L=\sqrt[2]{{(x_1-x_2)}^2+{(y_1-y_2)}^2+{(z_1-z_2)}^2}$

其中(x₁,y₁,z₁)为螺栓顶端的三维坐标，(x₂,y₂,z₂)为螺栓尾端的三维坐标；L为螺栓长度，α,β,γ分别为螺栓相对于X、Y、Z三个坐标轴正方向的偏角。