CN203031618U - 一种用于高压带电作业机器人的视觉系统 - Google Patents

Abstract

本实用新型公开了一种用于高压带电作业机器人的视觉系统，它包括操作端，所述操作端包括左机械臂和右机械臂，左机械臂和右机械臂均安装在绝缘斗上，在左机械臂上安装有左立体摄像机和左立体相机，在右机械臂上安装有右立体摄像机和右立体相机；在绝缘斗的前侧设有可见光摄像机I，在绝缘斗后侧设有摄像机支柱，在支柱的顶端设有可见光摄像机II；左立体摄像机、右立体摄像机、左立体相机、右立体相机、可见光摄像机I和可见光摄像机II均与地面遥控端连接，采用本实用新型可以使操作人员彻底摆脱高空、高危的工作环境，降低劳动强度，大大提高工作安全性，实现对被操作物体位置和姿态的自动识别，提高作业的自动化、智能化水平。

Description

一种用于高压带电作业机器人的视觉系统

技术领域

本实用新型涉及一种视觉系统，尤其涉及一种用于高压带电作业机器人的视觉系统。

背景技术

随着社会数字化、信息化的不断发展，电力供应的连续性和可靠性显得尤为重要。高压带电作业作为一种在高压电气设备不停电情况下进行检修、测试的作业方法，是避免检修停电，保证正常供电的有效措施。

传统的高压带电作业可以分为三种：等电位作业、地电位作业、中间电位作业等。等电位作业中操作者直接接触高压带电部分，通过绝缘衣裤、绝缘鞋袜、绝缘帽子和绝缘手套等保证操作人员的安全；地电位作业时，人体处于接地的杆塔或构架上，通过绝缘工具实现带电作业；中间电位作业系通过绝缘棒等工具进入高压电场中某一区域，但还未直接接触高压带电体，是前两种作业的中间状况。无论那种作业方式，作业人员都处于高电压、高空环境中，具有作业劳动量大，条件恶劣，作业危险性大等缺点。

随着机器人技术的发展，使用机器人代替人来完成高压带电作业业务成为各研究机构的研究热点。

国外在该领域的研究起步较早，日本于1984年开始高压带电作业机器人的研究，并在九州地区得到现场应用。西班牙、美国、法国和加拿大等国也在20世纪八十年代中期开始开展相应的研究，并且取得了一些科研成果。

相对于国外，国内在高压带电作业的起步较晚，20世纪九十年代末期才开始相应领域的技术研究，其中以山东电力研究院实用新型的专利号201210095860的“一种高压带电作业主从控制机器人作业平台”为主要的代表。该实用新型通过液压升降平台将放置于绝缘斗内的机器人操作系统提升至作业高度，操作人员站在绝缘斗内，操控主手遥控机械臂夹持专用工具接触线路完成各种高压带电作业。

上述研究都取得了一定程度上的有益效果，但该实用新型对操作人员的技术要求较高，操作人员须熟练掌握机械臂操作的相关理论和技术，培训难度较大，另外操作人员仍需在高空环境中作业，依然存在一定的作业风险。

实用新型内容

本实用新型的目的就是为了解决上述问题，提供一种用于高压带电作业机器人的视觉系统及工作方法，它具有使操作人员在地面遥控端即可方便、高效的完成带电作业业务的优点。

为了实现上述目的，本实用新型采用如下技术方案：

一种用于高压带电作业机器人的视觉系统，它包括操作端，所述操作端包括左机械臂和右机械臂，左机械臂和右机械臂均安装在绝缘斗上，在左机械臂上安装有左立体摄像机，在左立体摄像机上方安装左立体相机，在右机械臂上安装有右立体摄像机，在右立体摄像机上方安装右立体相机；在绝缘斗左机械臂和右机械臂的前侧设有可见光摄像机I，在绝缘斗左机械臂和右机械臂的后侧设有摄像机支柱，在支柱的顶端设有可见光摄像机II；左立体摄像机、右立体摄像机、左立体相机、右立体相机、可见光摄像机I和可见光摄像机II均与地面遥控端连接。

所述地面遥控端包括机器人控制系统、视频处理器和人机接口；操作端通过光纤与机器人控制系统连接，视频处理器连接通过RJ45与左立体摄像机、右立体摄像机、左立体相机、右立体相机、可见光摄像机I和可见光摄像机II，视频处理器分别与人机接口、机器人控制系统连接。

所述操作端安装在液压升降平台。

所述可见光摄像机I和可见光摄像机II采用高清数字CCD摄像机，通过RJ45线与视频处理器连接。

所述左立体摄像机和右立体摄像机采用全高清裸眼立体摄像机，均通过RJ45线与视频处理器连接。

所述左立体相机和右立体相机通过千兆网与视频处理器相连，通过分析左立体相机和右立体相机视频，实现观测物体的空间信息的识别，包括空间的三维坐标和姿态。

所述视频处理器采用图形工作站，通过RS232与机器人控制系统连接，为机器人控制系统提供伺服控制信号。

所述人机接口采用VGA线与视频处理器连接，为操作人员提供操作时的视频指导。

所述高压带电作业机器人为山东电力研究院实用新型的专利号201210095860的“一种高压带电作业主从控制机器人作业平台”中所述机器人，该机器人包括机器人作业平台支承架、液压升降平台控制集成、机器人操作系统和绝缘斗。

一种用于高压带电作业机器人的视觉系统其主要特点是将所述双目立体相机、所述视频处理器、所述机器人控制系统和所述高压带电作业机器人通过视频处理算法有机结合为一视觉伺服系统。所述视频处理器接受所述双目立体相机采集的视频信息，通过视频处理算法获取目标物的三维信息，将该三维信息与目标三维信息进行比较，得到机器人控制量信息，所述机器人控制系统接受该控制信息，实现机器人的伺服控制，进而实现高压带电作业机器人的自主作业。

对双目相机所获取的左右图像分别利用上述算法计算目标的三维信息，若两者计算结果一致则说明该信息为准确的信息，否则认为该信息无效，这样可以保证方法的鲁棒性。

基于一种用于高压带电作业机器人的视觉系统的工作方法，具体步骤为：

步骤一：高压带电作业机器人通过液压升降平台将机器人操作系统上送到作业高度；

步骤二：地面操作人员在人机接口中展示的由操作端安装的可见光摄像机I、可见光摄像机II、左立体摄像机和右立体摄像机回传的信息指导下，人工控制机器人到适当的观察位置，保证被操作设备位于操作端的左立体相机和右立体相机的视野中；

步骤三：切换为自动控制模式，视频处理器对左立体相机和右立体相机回传的视频进行处理，通过视觉伺服方法实现被操作设备的空间信息的识别；

步骤四：将视频处理器处理的信息通过串口发送给机器人操作系统，实现机器人的伺服控制，自主完成带电作业业务。

所述步骤三的具体步骤为：

（3-1）根据目标的实际形状和大小，在三维画图软件中建立目标的三维模型；

（3-2）以目标三维模型为中心，以R为半径的球面上经度为P、纬度为Q处设置虚拟相机，对三维模型进行观察，得到三维目标的二维模型；

（3-3）对目标三维模型的建立中获取的二维图像序列经行边缘信息进行边缘提取，生成与向量(R,P，Q)一一对应的目标图像的形状模型，从而建立形状模型库；

（3-4）对右立体相机和左立体相机获取的图像信息提取边缘，将图像边缘信息与形状模型库中的所有的模板进行匹配，在形状模型库中利用模板匹配算法搜索与该图像边缘信息最为匹配的边缘信息；搜索到的形状模型所对应的由半径R，经度P，纬度Q组成的向量即目标的三维信息。

所述步骤（3-2）中半径R的最小值为目标外接球体半径，最大为目标外界球体半径的5倍，采样间隔为最小球体半径的二分之一，经度P和纬度Q的采样间隔为5度。

所述步骤（3-3）中的边缘是指二维图像周围像素灰度有阶跃变化的像素集合，边缘的锐利程度由图像灰度的梯度决定，选取其锐利程度大于给定阈值的信息为二维图像的边缘，图像梯度的计算公式如下，其中f为图像函数，

为横坐标方向的一阶导数，

为纵坐标方向的一阶导数，x为各像素点的横坐标，y为各像素点的纵坐标，

$G=\sqrt{{\left(\frac{\∂f}{\∂x}\right)}^2+{\left(\frac{\∂f}{\∂y}\right)}^2}.$

所述步骤（3-4）中模板匹配算法，公式如下：

$D(i,j)=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{[f(i+m,j+n)-T(m,n)]}^2$

其中，f为图像函数，T为模板图像函数，M为模板图像的宽度，N为模板图像的高度，i、m为图像横坐标变量，j、n为纵坐标变量，T(m,n)为模板图像在(m,n)坐标处的灰度值，D(i,j)为图像f中在(i,j)坐标处与模板T的相似度的度量。

对双目相机所获取的左右图像分别利用模板匹配算法计算目标的三维信息，若两者计算结果一致则说明该信息为准确的信息，否则认为该信息无效，这样可以保证方法的鲁棒性。

本实用新型的有益效果：1、采用该视觉系统可以使操作人员彻底摆脱高空、高危的工作环境，降低劳动强度，大大提高工作安全性。

2、采用双目立体相机，实现对被操作物体位置和姿态的自动识别，利用该位置和姿态信息驱动机械臂的运动，自动实现高压带电作业业务，提高作业的自动化、智能化水平。

3、通过安装于不同固定位置的多个CCD摄像机，实现高压带电作业机器人作业的视频监视，并对操作过程提供视频指导。

4、采用全高清裸眼立体摄像机，使操作者具有良好的立体视觉效果，方便操作者操作，提高作业效率。

附图说明

图1为一种用于高压带电作业机器人的视觉系统总体框图；

图2为一种用于高压带电作业机器人的视觉系统操作端结构图；

图3为一种用于高压带电作业机器人的视觉系统视觉伺服系统原理图。

图4为一种用于高压带电作业机器人的视觉系统工作流程图。

其中，1.操作端，2.地面遥控端，3.视频处理器，4.人机接口，5.机器人控制系统，6.液压升降平台，7.摄像机支柱，8.可见光摄像机II，9.可见光摄像机I，10.左机械臂，11.右机械臂，12.右立体相机，13.右立体摄像机，14.左立体相机，15.左立体摄像机，16.绝缘斗。

具体实施方式

下面结合附图与实施例对本实用新型作进一步说明。

如图1、图2所示，一种用于高压带电作业机器人的视觉系统，包括位于操作端1的可见光摄像机II8和可见光摄像机I9、左立体摄像机15和右立体摄像机13、左立体相机14和右立体相机12，位于地面遥控端2的高性能视频处理器3和人机接口4、机器人控制系统5。

所述高压带电作业机器人为山东电力研究院实用新型的专利号201210095860的“一种高压带电作业主从控制机器人作业平台”中所述机器人，该机器人包括液压升降平台6、机器人控制系统5和绝缘斗16。

所述可见光摄像机II8和可见光摄像机I9采用高清数字CCD摄像机，其通过RJ45线与视频处理器3相连，本实用新型使用2个可见光摄像机，分别安装于所述高压带电机器人中所述的绝缘斗16的底部、顶部，其中顶部的可见光摄像机II8安装于摄像机支柱7上方。

所述右立体摄像机13和左立体摄像机15采用全高清裸眼立体摄像机，右立体摄像机13和左立体摄像机15分别安装于所述高压带电作业机器人的右机械臂11末端的手臂末端和左机械臂10末端的手臂末端，通过RJ45线与视频处理器3相连。

所述左立体相机14和右立体相机12通过RJ45与视频处理器3相连，左立体相机14和右立体相机12分别安装于所述高压带电作业机器人所述左机械臂10末端的手臂末端和右机械臂11末端的手臂末端，左立体摄像机15和右立体摄像机13之上，通过分析左立体相机14和右立体相机12视频的视差，实现观测物体的空间信息的识别，包括空间的三维坐标和姿态。

所述视频处理器3采用高性能图形工作站，其通过R232与机器人控制系统5相连，为其提供伺服控制信号。

所述人机接口4采用VGA线与视频处理器3相连，为操作人员提供操作时的视频指导。

如图3所示，一种用于高压带电作业机器人的视觉系统其主要特点是将所述双目立体相机、所述视频处理器3、所述机器人控制系统5和所述高压带电作业机器人通过视频处理算法有机结合为一视觉伺服系统。所述视频处理器3接受所述双目立体相机采集的视频信息，通过视频处理算法获取目标物的三维信息，将该三维信息与目标三维信息进行比较，得到机器人控制量信息，所述机器人控制系统5接受该控制信息，实现机器人的伺服控制，进而实现高压带电作业机器人的自主作业。

所述视频处理算法，其主要包括三个步骤：目标三维模型的建立、形状模型库的建立、目标三维信息的获取。

1、目标三维模型的建立

所述目标三维模型的建立首先是通过三维画图软件，对目标建立准确的三维模型，其次在以目标中心为中心，以R为半径的球面上经度为P、纬度为Q处设置虚拟相机对三维模型进行观察，得到三维目标的二维模型，该二维模型与半径R，经度P，纬度Q组成的向量(R,P,Q)一一对应。遍历不同的半径R，经度P和纬度Q，其中R的最小值为目标外接球体半径，最大为目标外界球体半径的5倍，采样间隔为最小球体半径的二分之一，经度P和纬度Q的采样间隔为5度，这样可以得到一二维图像序列。

2、形状模型库的建立

所述形状模型库的建立为对所述目标三维模型的建立中获取的二维图像序列经行边缘信息的提取，以此边缘信息作为图像的形状信息来实现目标的识别。

所述边缘是指图像周围像素灰度有阶跃变化的像素集合，图像的边缘很少是从一个灰度跳到另一个灰度这样的理想状况，真实图像的边缘通常都具有有限的宽度呈现出陡峭的斜坡状。边缘的锐利程度由图像灰度的梯度决定，选取其锐利程度大于某给定阈值的信息为图像边缘，其中图像梯度的计算公式如下，其中f为图像函数，

为横坐标方向的一阶导数，

为纵坐标方向的一阶导数，x为各像素点的横坐标，y为各像素点的纵坐标，

$G=\sqrt{{\left(\frac{\∂f}{\∂x}\right)}^2+{\left(\frac{\∂f}{\∂y}\right)}^2}.$

对上一步获取的二维图像序列分别做边缘提取，可生成与向量(R,P,Q)一一对应的一系列目标的形状模型，从而完成目标形状模型库的建立。

3、目标三维信息的获取

对双目相机获取的图像信息提取边缘，在形状模型库中搜索与该图像边缘信息最为匹配的边缘信息，该匹配算法采用模板匹配算法，其公式如下所示。

$D(i,j)=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{[f(i+m,j+n)-T(m,n)]}^2$

其中f为图像函数，T为模板图像函数，M为模板图像的宽度，N为模板图像的高度，i、m为图像横坐标变量，j、n为纵坐标变量，T(m,n)为模板图像在(m,n)坐标处的灰度值，D(i,j)为图像f中在(i,j)坐标处与模板T的相似度的度量。

将图像与形状模型库中的所有的模板进行匹配，搜索其中与其有最大相似度是形状模型，该形状模型所对应的由半径R，经度P，纬度Q组成的向量即目标的三维信息。

对双目相机所获取的左右图像分别利用上述算法计算目标的三维信息，若两者计算结果一致则说明该信息为准确的信息，否则认为该信息无效，这样可以保证方法的鲁棒性。

图4为一种用于高压带电作业机器人的视觉系统工作流程图，所述高压带电作业机器人通过液压升降平台6将机器人操作系统上送到作业高度，地面操作人员在人机接口4中展示的由操作端1安装的可见光摄像机I9、可见光摄像机II8、全高清裸眼左立体摄像机15和右立体摄像机13回传的信息的指导下，人工控制机器人到适当的观察位置，保证被操作设备位于操作端1的左立体相机14和右立体相机12的视野中，此时切换为自动控制模式，视频处理器3对左立体相机14和右立体相机12回传的视频进行处理，通过分析左立体相机14和右立体相机12的视差，实现被操作设备的空间信息的识别，将此信息通过串口发送给机器人操作系统，实现机器人的伺服控制，自主完成带电作业业务。

上述虽然结合附图对本实用新型的具体实施方式进行了描述，但并非对本实用新型保护范围的限制，所属领域技术人员应该明白，在本实用新型的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本实用新型的保护范围以内。

Claims (8)

1.一种用于高压带电作业机器人的视觉系统，其特征是，它包括操作端，所述操作端包括左机械臂和右机械臂，左机械臂和右机械臂均安装在绝缘斗上，在左机械臂上安装有左立体摄像机，在左立体摄像机上方安装左立体相机，在右机械臂上安装有右立体摄像机，在右立体摄像机上方安装右立体相机；在绝缘斗左机械臂和右机械臂的前侧设有可见光摄像机I，在绝缘斗左机械臂和右机械臂的后侧设有摄像机支柱，在支柱的顶端设有可见光摄像机II；左立体摄像机、右立体摄像机、左立体相机、右立体相机、可见光摄像机I和可见光摄像机II均与地面遥控端连接。

2.如权利要求1所述一种用于高压带电作业机器人的视觉系统，其特征是，所述地面遥控端包括机器人控制系统、视频处理器和人机接口；操作端通过光纤与机器人控制系统连接，视频处理器连接通过RJ45与左立体摄像机、右立体摄像机、左立体相机、右立体相机、可见光摄像机I和可见光摄像机II，视频处理器分别与人机接口、机器人控制系统连接。

3.如权利要求1所述一种用于高压带电作业机器人的视觉系统，其特征是，所述操作端安装在液压升降平台。

4.如权利要求1所述一种用于高压带电作业机器人的视觉系统，其特征是，所述可见光摄像机I和可见光摄像机II采用高清数字CCD摄像机，通过RJ45线与视频处理器连接。

5.如权利要求1所述一种用于高压带电作业机器人的视觉系统，其特征是，所述左立体摄像机和右立体摄像机采用全高清裸眼立体摄像机，均通过RJ45线与视频处理器连接。

6.如权利要求1所述一种用于高压带电作业机器人的视觉系统，其特征是，所述左立体相机和右立体相机通过千兆网与视频处理器相连，通过分析左立体相机和右立体相机视频的视差，实现观测物体的空间信息的识别，包括空间的三维坐标和姿态。

7.如权利要求2所述一种用于高压带电作业机器人的视觉系统，其特征是，所述视频处理器采用图形工作站，通过RS232与机器人控制系统连接，为机器人控制系统提供伺服控制信号。

8.如权利要求2所述一种用于高压带电作业机器人的视觉系统，其特征是，所述人机接口采用VGA线与视频处理器连接，为操作人员提供操作时的视频指导。

Images