CN106737668A - 一种基于虚拟现实的带电作业机器人遥操作方法 - Google Patents

Abstract

本发明提出一种基于虚拟现实的带电作业机器人遥操作方法。带电作业机器人包括第一机械臂、第二机械臂、机械臂专用工具箱和第一工控机；第一机械臂、第二机械臂均安装于绝缘斗中，左机械臂和右机械臂安装于绝缘斗前部；机械臂专用工具箱装有便于视觉和传感器识别的工具；第一工控机主要用于控制两个机械臂运动；操作者通过虚拟眼镜来观察带电作业细节，所述第一工控机通过虚拟眼镜上安装的深度传感器识别操作者双手的姿态信息，并将该姿态信息发送给机械臂，实现机械臂的运动控制。本发明通过虚拟现实将作业场景显示给操作人呀，操作人员在虚拟现实场景控制远端机械臂进行带电操作，减小了带电作业发生事故的可能性。

Description

一种基于虚拟现实的带电作业机器人遥操作方法

技术领域

本发明属于电力技术领域，具体涉及一种基于虚拟现实的带电作业机器人遥操作方法。

背景技术

目前，我国带电作业，主要采用绝缘手套作业法，要求操作人员攀爬高压铁塔或借助绝缘斗臂车进行不停电作业。但人工带电作业稍有不慎就容易发生人身伤亡事故，给家庭和社会带来严重的损失。

发明内容

本发明提出一种基于虚拟现实的带电作业机器人遥操作方法，通过虚拟现实将作业场景显示给操作人呀，操作人员在虚拟现实场景控制远端机械臂进行带电操作，减小了带电作业发生事故的可能性。

为了解决上述技术问题，本发明提供一种基于虚拟现实的带电作业机器人遥操作方法，包括第一机械臂、第二机械臂、机械臂专用工具箱和第一工控机；第一机械臂、第二机械臂均安装于绝缘斗中，左机械臂和右机械臂安装于绝缘斗前部；机械臂专用工具箱装有便于视觉和传感器识别的工具；第一工控机主要用于控制两个机械臂运动；操作者通过虚拟眼镜来观察带电作业细节，所述第一工控机通过虚拟眼镜上安装的深度传感器识别操作者双手的姿态信息，并将该姿态信息发送给机械臂，实现机械臂的运动控制。

进一步，对机械臂的遥操作过程为：

步骤一、首先对作业环境中各设备提前建模，对动态结构采用基于模型的建模方法，对静态结构采用基于图像的建模方法，并储存在第一工控机数据库中；

步骤二、第一工控机接收机械臂控制卡采集机械臂的运动信息和图像处理计算机通过处理获取环境中各设备的位置和尺度信息，通过位姿测量算法实现机械臂运行环境中设备模型与实际设备的位置和尺度的同步，并将该虚拟场景通过现实单元展示；

步骤三、操作者通过观察现实单元中的虚拟场景，作出相应的手势，第一工控机通过手势识别算法识别出相应的操作指令，将该操作指令下发到从手控制器，控制从手的运动状态来完成相应的带电作业任务，实现带电作业机器人的遥操作。

进一步，所述步骤三中手势识别包括以下四个步骤：

3.1手势分割，把大部分与操作手势输入无关的背景过滤；

3.2用直方图法对手势进行建模，将人手臂等效为六自由度机械臂，分别对应机械臂的六个自由度；

3.3运用位姿测量算法识别出手臂的各关节的位置和角度信息；

3.4将手臂的控制信息传达给机械臂，给机械臂的六个电机传送命令，控制机械臂进行带电作业任务。

本发明与现有技术相比，其显著优点在于，本发明采用虚拟现实的方法将带电作业机器人工作的细节展现给操作者，操作者通过虚拟眼镜观察带电作业机器人作业细节，操作者通过手势操作远程控制带电作业机器人，通过遥操作的方法解决了安全问题。

附图说明

图1是机器人平台的结构图。

图2是机械臂三维模型。

图3是手势识别流程图。

具体实施方式

容易理解，依据本发明的技术方案，在不变更本发明的实质精神的情况下，本领域的一般技术人员可以想象出本发明基于虚拟现实的带电作业机器人遥操作方法的多种实施方式。因此，以下具体实施方式和附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。

本发明将机器人作业现场采用虚拟现实的方法实现重构，操作者通过头盔观察机器人作业场景，使用双目摄像机采集操作者的手势图像数据，通过图像处理的方法识别手势的控制信息，将该信息发送到从手控制计算机，实现从手的运动控制。

结合附图，带电作业机器人包括第一机械臂43、第二机械臂44、机械臂专用工具箱47和第一工控机48。第一机械臂43、第二机械臂44均安装于绝缘斗中，左机械臂和右机械臂安装于绝缘斗前部，为系统主要操作手；机械臂专用工具箱44装有便于视觉和传感器识别的工具，方便作业过程中对作业工具进行更换；第一工控机48主要用于控制两个机械臂运动。

所述第一机械臂43、第二机械臂44为两个同种型号的6自由度机械手，其上的每个关节转轴处均带有电位器。

所述机器人作业现场的重构的元素包括天空远景、电线杆塔、机械臂(第一机械臂43、第二机械臂44)、电线、单个元器件和机械臂工具。重构的方法采用基于模型的重构方法和基于图像重构方法相结合的方法，将机械臂(第一、第二机械手)、单个元器件和机械手工具采用基于模型的方法进行建模，将天空远景、电线杆塔和电线采用基于图像的方法进行建模。

操作者通过虚拟眼镜来观察带电作业细节，在虚拟眼镜上安装深度传感器，操作者的手臂动作由深度传感器获取。

遥控端配置有主计算机，第一工控机48完成作业场景的三维重构，由控制器给机械臂各个电机的位姿信号模拟出机械臂的运动轨迹；主计算机接收作业端图像采集卡传送的工具和元器件的位姿信息，利用该信息实现虚拟模型与现实的的同步。所述第一工控机48为系统控制总枢纽，首先识别操作者双手的姿态信息，并将该信息发送给机械臂，实现机械臂的运动控制。

所述第一工控机48接收作业端双目相机采集的图像，通过特征点匹配的方法实现机器手环境中动态机构的识别，并通过双目视觉算法求解目标的姿态参数，对数据库中的设备模型自适应调整，实现虚拟与现实的同步。作业端双目相机采集的图像通过光纤传输给主计算机。

所述操作者双臂有7个自由度，与6自由度机械手进行匹配解算，实现人手与机械手的对应关系，已达到机械臂跟随人手运动来完成带电操作任务。

机械臂的6个关节处安装有角度传感器，采集机器人各关节见的相对角度关系，机械臂各关节的运动通过相应的电动执行器来执行；

基于虚拟现实的带电作业机器人遥操作方法，包括以下步骤：

步骤一、首先对作业环境中各设备提前建模，对动态结构采用基于模型的建模方法，对静态结构采用基于图像的建模方法，并储存在第一工控机48数据库中；

步骤二、在控制实现的过程中，第一工控机48接收机械臂控制卡采集机械臂的运动信息和图像处理计算机通过处理获取环境中各设备的位置和尺度信息，通过位姿测量算法实现机械臂运行环境中设备模型与实际设备的位置和尺度的同步，并将该虚拟场景通过现实单元展示；

步骤三、操作者通过观察现实单元中的虚拟场景，作出相应的手势，第一工控机48通过手势识别算法识别出相应的操作指令，将该操作指令下发到从手控制器，控制从手的运动状态来完成相应的带电作业任务，实现带电作业机器人的遥操作。

所述步骤三中手势识别包括以下四个步骤

(1)手势分割，把大部分与操作手势输入无关的背景过滤。

(2)用直方图法对手势进行建模。将人手臂等效为6自由度机械臂，分别对应从手的6个自由度。

(3)运用位姿测量算法识别出手臂的各关节的位置和角度信息。

(4)将手臂的控制信息传达给机械臂从手，给从手的6个电机传送命令，控制机械臂进行带电作业任务。

Claims (3)

1.一种基于虚拟现实的带电作业机器人遥操作方法，其特征在于，带电作业机器人包括第一机械臂、第二机械臂、机械臂专用工具箱和第一工控机；第一机械臂、第二机械臂均安装于绝缘斗中，左机械臂和右机械臂安装于绝缘斗前部；机械臂专用工具箱装有便于视觉和传感器识别的工具；第一工控机主要用于控制两个机械臂运动；操作者通过虚拟眼镜来观察带电作业细节，所述第一工控机通过虚拟眼镜上安装的深度传感器识别操作者双手的姿态信息，并将该姿态信息发送给机械臂，实现机械臂的运动控制。

2.如权利要求1所述基于虚拟现实的带电作业机器人遥操作方法，其特征在于，对机械臂的遥操作过程为：

步骤一、首先对作业环境中各设备提前建模，对动态结构采用基于模型的建模方法，对静态结构采用基于图像的建模方法，并储存在第一工控机数据库中；

步骤二、第一工控机接收机械臂控制卡采集机械臂的运动信息和图像处理计算机通过处理获取环境中各设备的位置和尺度信息，通过位姿测量算法实现机械臂运行环境中设备模型与实际设备的位置和尺度的同步，并将该虚拟场景通过现实单元展示；

步骤三、操作者通过观察现实单元中的虚拟场景，作出相应的手势，第一工控机通过手势识别算法识别出相应的操作指令，将该操作指令下发到从手控制器，控制从手的运动状态来完成相应的带电作业任务，实现带电作业机器人的遥操作。

3.如权利要求1所述基于虚拟现实的带电作业机器人遥操作方法，其特征在于，所述步骤三中手势识别包括以下四个步骤：

3.1手势分割，把大部分与操作手势输入无关的背景过滤；

3.2用直方图法对手势进行建模，将人手臂等效为六自由度机械臂，分别对应机械臂的六个自由度；

3.3运用位姿测量算法识别出手臂的各关节的位置和角度信息；

3.4将手臂的控制信息传达给机械臂，给机械臂的六个电机传送命令，控制机械臂进行带电作业任务。