CN103481285B - 基于现实虚拟技术的高压带电作业机器人控制系统及方法 - Google Patents

Abstract

本发明公开了基于现实虚拟技术的高压带电作业机器人控制系统及方法，包括遥控端和作业端；遥控端包括主计算机，所述主计算机为系统控制总枢纽，其接收主手信息采集单元上送的主手位置信息，并将该信息下发到从手控制计算机，实现从手的运动控制；其接收从手控制计算机上送的从手运动信息；其接受图像处理计算机通过图像采集单元采集的机器人运行环境中各设备的位置和姿态信息，通过现实虚拟技术控制作业端的从手运动实现虚拟与现实的实时同步。采用现实虚拟互动技术，提高了机器人操作人机接口友好程度，简化操作流程。

Description

基于现实虚拟技术的高压带电作业机器人控制系统及方法

技术领域

本发明涉及一种机器人控制系统，尤其涉及一种基于现实虚拟技术的高压带电作业机器人控制系统及方法。

背景技术

随着社会数字化、信息化的不断发展，电力供应的连续性和可靠性显得尤为重要。高压带电作业作为一种在高压电气设备不停电情况下进行检修、测试的作业方法，是避免检修停电，保证正常供电的有效措施。

传统的高压带电作业时，作业人员位于接地的杆塔或构架上，直接接触高压带电体，或通过高压作业工具间接与高压带电接触，此时作业人员都处于高电压、高空环境中，具有作业劳动量大，条件恶劣，作业危险性大等缺点。

随着机器人技术的发展，近二三十年内国内外出现使用机器人代替人来完成高压带电作业业务相关研究，如国家知识产权局公告的专利号201210096179.6的“高压带电作业机器人主从式液压机械臂系统”。该发明采用位置伺服闭环控制方式，并通过光纤将高压电场与人隔离，操作人员操控主手遥控机械臂夹持专用工具接触线路完成各种高压带电作业。该研究取得了一定程度上的有益效果，作业人员无需与高压设备直接接触，但作业人员仍需在高空环境中作业，依然存在一定的作业风险。

为使作业人员彻底摆脱高压、高空、高危的工作环境，有机构提出可以通过视频监控的方法来实现，如国家知识产权局公告的专利号为201320046972.5的“一种用于高压带电作业机器人的视觉系统”。该发明通过在机器人作业端安装多个摄像机将作业现场视频传输到地面的控制端，操作人员通过观看现场作业视频画面来完成高压带电作业业务。该发明使作业人员彻底摆脱了高危的工作环境，但从操作端回传的视频，不能完全覆盖作业的所有细节，无法保证操作过程中出现作业机器人与周围设备发生碰撞等意外情况的出现，且作业人员通过观察视频来完成机器人的控制，控制过程繁琐，且无法保证精度。

发明内容

为解决现有技术存在的不足，本发明公开了一种基于现实虚拟技术的高压带电作业机器人控制系统及方法，高压带电作业环境因为设备和安装方式几乎是固定的，可以认为是结构化环境。本发明基于该结构化环境，采用虚拟现实技术建立机器人本体及工作环境的虚拟模型，以该模型为原型，利用机器人本体上安装的状态及环境信息采集传感器，实现原型参数的自适应调整，实现虚拟与现实的实时同步。以同步虚拟模型为遥操作终端，实现机器人的遥操作。

本发明基于高压带电作业机器人，所述高压带电作业机器人为山东电力研究院发明的专利号201210096179.6的“高压带电作业机器人主从式液压机械臂系统”中所述机器人。

为实现上述目的，本发明的具体方案如下：

基于现实虚拟技术的高压带电作业机器人控制系统，包括遥控端和作业端，所述遥控端安装于地面操作室内，所述作业端安装于液压升降平台上方的绝缘斗中；

所述遥控端包括主计算机，所述主计算机为系统控制总枢纽，首先其接收主手信息采集单元上送的主手位置信息，并将该信息下发到从手控制计算机，实现从手的运动控制；其次其接收从手控制计算机上送的从手运动信息，再次其接受图像处理计算机通过图像采集单元采集的机器人运行环境中各设备的位置和姿态信息，通过现实虚拟技术控制作业端的从手运动实现虚拟与现实的实时同步；

所述作业端包括从手控制计算机和双目相机，所述从手控制计算机通过从手控制卡控制从手的运动，双目相机通过图像采集单元采集的图像传送给图像处理计算机，图像处理计算机处理完后传送给主机算计。

所述主手为所述高压带电作业机器人机械臂6自由度主手，其上的每个关节转轴处均带有电位器。

所述主手信息采集单元采集主手电位器的位置信息并实时地将位置信息发送主计算机。

所述主计算机上安装有数据库软件，数据库中存储有从手和机器人运行环境中各设备的三维模型原型，所述主计算机为系统控制总枢纽，首先其接收主手信息采集单元上送的主手位置信息，并将该信息下发到从手控制计算机，实现从手的运动控制；其次其接收从手控制计算机上送的从手运动信息，利用该信息实现现实中从手与虚拟模型中的从手状态的实时同步；再次其接受图像处理计算机上送的机器人运行环境中各设备的位置和姿态信息，对数据库中的设备模型参数的自适应调整，实现虚拟与现实的实时同步；最后主计算机利用同步三维模型信息，对从手的运动进行预判，实现对主手控制命令的预处理，防止出现从手与周围设备的碰撞。

所述显示单元实现从手和机器人运行环境中个设备三维模型的三维模型的可视化展示。

所述图像处理计算机接收双目相机采集的图像，通过图像处理算法实现机器人运行环境中各个设备的自动识别，并通过双目视觉算法实现各设备的准确的定位和测量。所述图像处理计算机通过RJ45线与主计算机连接，并向主计算机上送各设备的位置和姿态信息。

所述从手为所述高压带电作业机器人机械臂7自由度机械臂，机械臂各关节处安装有角度传感器，各角度传感器和液压伺服阀通过串口与从手控制卡连接。

从手的机械臂各关节处安装有角度传感器，采集机器人各关节间的相对角度关系，机械臂各关节的运动通过相应的液压执行器来执行；每个执行器与相应的液压伺服阀连接实现对执行器的控制。

所述各角度传感器和液压伺服阀通过串口与从手控制卡连接，实现从手角度信息的采集和从手运动的控制。

从手控制计算机实现对采集的从手信息的汇总和组织，将汇总后的信息以统一的格式发送到主计算机，并实现对主计算机下发的从手控制命令的缓存和预处理。

基于现实虚拟技术的高压带电作业机器人控制方法，包括以下步骤：

步骤一、首先对从手和机器人运行环境中各设备提前建模，并存储在主计算机数据库中；

步骤二、在控制实现过程中，主计算机接收从手控制卡采集从手的运动信息和图像处理计算机通过处理获取环境中各设备的位置和尺度信息，通过设备定位测量算法实现从手运行环境中设备模型与实际设备的位置和尺度的同步，并将该虚拟场景通过现实单元展示；

步骤三、操作者从过观察现实单元中的虚拟场景，操作主手运动，主手信息采集单元采集主手电位器的位置信息并实时地将位置信息发送给主计算机，主计算机利用现有三维模型实现运动碰撞的提前检测，当虚拟场景中无碰撞发生，则将该控制命令下发到从手控制计算机，通过从手控制计算机的缓存，将命令下发到从手控制卡，控制从手运动状态与主手的运动状态一致，实现高压带电作业机器人的遥操作。

所述步骤二中设备定位测量算法包括以下四个步骤：

（1）设备模板库的建立；

（2）实时场景图像中设备的识别；

（3）双目立体视觉获取场景的三维空间信息；

（4）各设备位置和尺度获取。

所述设备模型库的建立即实现手动选取从手运行环境图像内存在的各个设备的图像信息，将此图像依此存储在数据库中，并以不同的编号区分各个设备，建立设备模板库。

所述实时场景中设备的识别是利用上一步建立好的模板库，采用模板匹配算法实现实时场景中设备的自动识别。

所述模板匹配算法，公式如下：

$D(i,j)=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{[f(i+m,j+n)-T(m,n)]}^2$

其中，f为图像函数，T为模板图像函数，M为模板图像的宽度，N为模板图像的高度，i、m为图像横坐标变量，j、n为纵坐标变量，T(m,n)为模板图像在(m,n)坐标处的灰度值，D(i,j)为图像f中在(i,j)坐标处与模板T的相似度的度量。

利用数据库中各个模板图像在实时图像中分别采用模板匹配算法计算其相似度，其相似度最大的区域即为模板设备区域。

所述双目立体视觉获取场景的三维空间信息即利用同一场景在双目相机左目和右目中的两种不同投影图像，利用搜索算法寻找左右图像中的同一场景点的不同投影点，计算其在左右目图像中的位差，利用位差数据和相机内参计算该场景点与相机的距离信息，进而计算出场景的三维点云信息。其具体原理可参考2009年7月光子学报发表的《基于双目立体视觉实现物体三维测量的研究》。

所述各设备位置和尺度获取是在利用双目立体视觉获取场景三维点云信息后，结合之前提取的各个设备在图像中的区域，得到设备的三维位置和尺度信息，将该信息上送至主计算机实现设备模型的实时同步。

本发明的有益效果：

1、采用双目相机，利用双目立体视觉算法和模板匹配算法实现机器人工作环境中的设备模型与实际设备的实时同步，提高了遥操作的可视化程度。

2、充分发挥了虚拟现实技术的沉浸感和交互性，给操作员带来了身临其境的效果，有助于操作者更好地掌握工作现场的信息,提高高压带电作业机器人作业的工作效率。

3、通过虚拟模型中的模拟仿真可以实现机器人的预测控制，减少机器人实际运行过程中的意外事故，提高运行安全性。

4、采用现实虚拟互动技术，提高了机器人操作人机接口友好程度，简化操作流程。

附图说明

图1本发明的系统总体框图；

图2设备定位测量算法流程图；

图中，1遥控端，2作业端，3主计算机，4从手控制计算机，5从手控制卡，6从手，7双目相机，8图像采集单元，9图像处理计算机，10显示单元，11主手，12主手信息采集单元。

具体实施方式：

下面结合附图对本发明进行详细说明：

如图1所示，基于现实虚拟技术的高压带电作业机器人控制系统，包括遥控端1和作业端2，所述遥控端1安装于地面操作室内，所述作业端2安装于液压升降平台上方的绝缘斗中；

所述遥控端包括主手11、主手信息采集单元12、主计算机3、图像处理计算机9、图像采集单元8和显示单元10，所述主计算机3为系统控制总枢纽，首先其接收主手信息采集单元12上送的主手11位置信息，并将该信息下发到从手控制计算机4，实现从手6的运动控制；其次其接收从手控制计算机4上送的从手6运动信息，再次其接受图像处理计算机9通过图像采集单元8采集的机器人运行环境中各设备的位置和姿态信息，通过现实虚拟技术控制作业端2的从手6运动实现虚拟与现实的实时同步，主计算机3通过显示单元10实时显示运行结果；

主手11通过串口与主手信息采集单元12连接，主手信息采集单元12与主计算机3相连，主计算机3与图像处理计算机9相连，图像处理计算机9通过PCI总线与图像采集单元8相连，所述主计算机3通过VGA与显示单元10相连；

所述作业端包括从手6、从手控制卡5、从手控制计算机4和双目相机7，所述从手控制计算机4通过从手控制卡5控制从手6的运动，双目相机7通过图像采集单元8采集的图像传送给图像处理计算机9，图像处理计算机9处理完后传送给主机算计3。

从手6与从手控制卡5通信连接，从手控制卡5通过PCI总线与从手控制计算机4相连，从手控制计算机4通过RJ45线与主计算机3连接，所述双目相机7通过1394总线与图像采集单元8相连。

所述主手11为所述高压带电作业机器人机械臂6自由度主手，其上的每个关节转轴处均带有电位器。

所述从手6为所述高压带电作业机器人机械臂7自由度机械臂，机械臂各关节处安装有角度传感器，各角度传感器和液压伺服阀通过串口与从手控制卡5连接。

所述从手6的机械臂各关节处安装有角度传感器，采集机器人各关节间的相对角度关系。机械臂各关节的运动通过相应的液压执行器来执行；每个执行器与相应的液压伺服阀连接实现对执行器的控制。

所述各角度传感器和液压伺服阀通过串口与从手控制卡连接，实现从手6角度信息的采集和从手6运动的控制。

所述从手控制卡5通过PCI总线与从手控制计算机4相连，其通过RJ45线与主计算机3连接。从手控制计算机4实现对采集的从手信息的汇总和组织，将汇总后的信息已同意的格式发送到主计算机3，并实现对主计算机3下发的从手控制命令的缓存和预处理。

所述主手11为所述高压带电作业机器人机械臂6自由度主手，其上的每个关节转轴处均带有电位器。主手11通过串口与主手信息采集单元12连接，主手信息采集单元12采集主手电位器的位置信息并实时地将位置信息发送主计算机3。

所述双目相机7通过1394总线与图像采集单元8连接，图像采集单元8通过PCI总线与图像处理计算9连接。

所述图像处理计算机9接收双目相机7采集的图像，通过图像处理算法实现机器人运行环境中各个设备的自动识别，并通过双目视觉算法实现各设备的准确的定位和测量。所述图像处理计算机9通过RJ45线与主计算机3连接，并向主计算机3上送各设备的位置和尺度信息。

所述主计算机3上安装有数据库软件，数据库中存储有从手和机器人运行环境中各设备的三维模型原型。所述主计算机为系统控制总枢纽，首先其接收主手信息采集单元12上送的主手位置信息，并将该信息下发到从手控制计算机4，实现从手的运动控制；其次其接收从手控制计算机4上送的从手运动信息，利用该信息实现现实中从手与虚拟模型中的从手状态的实时同步；再次其接受图像处理计算机9上送的机器人运行环境中各设备的位置和尺度信息，对数据库中的设备模型参数的自适应调整，实现虚拟与现实的实时同步；最后主计算机3利用同步三维模型信息，对从手的运动进行预判，实现对主手控制命令的预处理，防止出现从手与周围设备的碰撞。

所述显示单元10通过VGA与主计算机3连接，实现从手和机器人运行环境中个设备三维模型的三维模型的可视化展示。

本发明的工作过程：

基于现实虚拟互动的高压带电作业机器人遥操作系统需首先对从手和机器人运行环境中各设备提前建模，并存储在主计算机3数据库中。在控制实现过程中，主计算机接收从手控制卡5采集从手6的运动信息和图像处理计算机9通过处理获取环境中各设备的位置和尺度信息，实现虚拟从手6和环境设备模型参数（安装位置和设备尺寸）与实际设备的实时同步，并将该虚拟场景通过现实单元展示。操作者从过观察现实单元中的虚拟场景，操作主手11运动，主手信息采集单元12采集主手电位器的位置信息并实时地将位置信息发送给主计算机3，主计算机3利用现有三维模型实现运动碰撞的提前检测，若虚拟场景中无碰撞发生，则将该控制命令下发到从手控制计算机4，通过从手控制计算机4的缓存，将命令下发到从手控制卡5，控制从手6运动状态与主手11的运动状态一致，实现高压带电作业机器人的遥操作。

基于现实虚拟互动的高压带电作业机器人遥操作系统的特点在于不仅能够实现虚拟场景中从手与实际中主手的运动同步，而且可以通过设备定位测量算法实现从手运行环境中设备模型与实际设备的位置和尺度的同步。

如图2所示，所述设备定位测量算法可以概括为以下四个步骤：I、设备模板库的建立，II、实时场景图像中设备的识别，III、场景三维空间信息的获取，IV、设备位置和尺度获取。

所述设备模型库的建立即实现手动选取从手运行环境图像内存在的各个设备的图像信息，将此图像依此存储在数据库中，并以不同的编号区分各个设备，建立设备模板库。

所述实时场景中设备的识别是利用上一步建立好的模板库，采用模板匹配算法实现实时场景中设备的自动识别。本发明采用模板匹配算法，公式如下：

$D(i,j)=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{[f(i+m,j+n)-T(m,n)]}^2$

其中，f为图像函数，T为模板图像函数，M为模板图像的宽度，N为模板图像的高度，i、m为图像横坐标变量，j、n为纵坐标变量，T(m,n)为模板图像在(m,n)坐标处的灰度值，D(i,j)为图像f中在(i,j)坐标处与模板T的相似度的度量。

利用数据库中各个模板图像在实时图像中分别采用模板匹配算法计算其相似度，其相似度最大的区域即为模板设备区域。

所述场景三维空间信息的获取即利用同一场景在双目相机左目和右目中的两种不同投影图像，利用搜索算法寻找左右图像中的同一场景点的不同投影点，计算其在左右目图像中的位差，利用位差数据和相机内参计算该场景点与相机的距离信息，进而计算出场景的三维点云信息。其具体原理可参考2009年7月光子学报发表的《基于双目立体视觉实现物体三维测量的研究》。

所述设备位置和尺度获取是在利用双目立体视觉获取场景三维点云信息后，结合之前提取的各个设备在图像中的区域，就可顺利得到设备的三维位置和尺度信息，将该信息上送至主计算机便可实现设备模型的实时同步。

Claims (9)

1.基于现实虚拟技术的高压带电作业机器人控制系统的控制方法，所述基于现实虚拟技术的高压带电作业机器人控制系统，包括遥控端和作业端；

所述遥控端包括主计算机，所述主计算机为系统控制总枢纽，它接收主手信息采集单元上送的主手位置信息，并将该信息下发到从手控制计算机，实现从手的运动控制；接收从手控制计算机上送的从手运动信息；接受图像处理计算机通过图像采集单元采集的机器人运行环境中各设备的位置和姿态信息，通过现实虚拟技术控制作业端的从手运动实现虚拟与现实的实时同步；

所述作业端包括从手控制计算机和双目相机，所述从手控制计算机通过从手控制卡控制从手的运动，双目相机通过图像采集单元将采集的图像传送给图像处理计算机，图像处理计算机处理完后传送给主计算机；

其特征是，包括以下步骤：

步骤一、首先对从手和机器人运行环境中各设备提前建模，并存储在主计算机数据库中；

步骤二、在控制实现过程中，主计算机接收从手控制卡采集从手的运动信息和图像处理计算机通过处理获取环境中各设备的位置和尺度信息，通过设备定位测量算法实现从手运行环境中设备模型与实际设备的位置和尺度的同步，并将虚拟场景通过现实单元展示；

步骤三、操作者通过观察现实单元中的虚拟场景，操作主手运动，主手信息采集单元采集主手电位器的位置信息并实时地将位置信息发送给主计算机，主计算机利用现有三维模型实现运动碰撞的提前检测，当虚拟场景中无碰撞发生，则将控制命令下发到从手控制计算机，通过从手控制计算机的缓存，将命令下发到从手控制卡，控制从手运动状态与主手的运动状态一致，实现高压带电作业机器人的遥操作。

2.如权利要求1所述的基于现实虚拟技术的高压带电作业机器人控制系统的控制方法，其特征是，所述步骤二中设备定位测量算法包括以下四个步骤：

(1)设备模板库的建立；

(2)实时场景图像中设备的识别；

(3)双目立体视觉获取场景的三维空间信息；

(4)各设备位置和尺度获取。

3.如权利要求2所述的基于现实虚拟技术的高压带电作业机器人控制系统的控制方法，其特征是，所述设备模型库的建立即实现手动选取从手运行环境图像内存在的各个设备的图像信息，将此图像依次存储在数据库中，并以不同的编号区分各个设备，建立设备模板库。

4.如权利要求2所述的基于现实虚拟技术的高压带电作业机器人控制系统的控制方法，其特征是，所述实时场景中设备的识别是利用上一步建立好的模板库，采用模板匹配算法实现实时场景中设备的自动识别。

5.如权利要求4所述的基于现实虚拟技术的高压带电作业机器人控制系统的控制方法，其特征是，所述模板匹配算法，公式如下：

$D(i,j)=\underset{m=1}{\overset{M}{\Σ}}\underset{n=1}{\overset{N}{\Σ}}{\[f(i+m,j+n)-T(m,n)\]}^2$

其中，f为图像函数，T为模板图像函数，M为模板图像的宽度，N为模板图像的高度，i、m为图像横坐标变量，j、n为纵坐标变量，T(m,n)为模板图像在(m,n)坐标处的灰度值，D(i,j)为图像f中在(i,j)坐标处与模板T的相似度的度量。

6.如权利要求2所述的基于现实虚拟技术的高压带电作业机器人控制系统的控制方法，其特征是，所述双目立体视觉获取场景的三维空间信息即利用同一场景在双目相机左目和右目中的两种不同投影图像，利用搜索算法寻找左右图像中的同一场景点的不同投影点，计算其在左右目图像中的位差，利用位差数据和相机内参数计算该场景点与相机的距离信息，进而计算出场景的三维点云信息。

7.如权利要求2所述的基于现实虚拟技术的高压带电作业机器人控制系统的控制方法，其特征是，所述各设备位置和尺度获取是在利用双目立体视觉获取场景三维点云信息后，结合之前提取的各个设备在图像中的区域，得到设备的三维位置和尺度信息，将该信息上送至主计算机实现设备模型的实时同步。

8.如权利要求1所述的基于现实虚拟技术的高压带电作业机器人控制系统的控制方法，其特征是，所述主手为高压带电作业机器人机械臂自由度主手，其上的每个关节转轴处均带有电位器。

9.如权利要求1所述的基于现实虚拟技术的高压带电作业机器人控制系统的控制方法，其特征是，所述从手为高压带电作业机器人机械臂自由度机械臂，机械臂各关节处安装有角度传感器，各角度传感器和液压伺服阀通过串口与从手控制卡连接，实现从手角度信息的采集和从手运动的控制。