CN109531566A - 一种基于虚拟现实系统的机器人带电作业控制方法 - Google Patents

Abstract

本发明提供了一种基于虚拟现实系统的机器人带电作业控制方法，其基于包括虚拟现实系统和实际操作系统；本发明将机器人带电作业与虚拟现实技术相结合，操作人员主要承担操作虚拟现实软件的任务，对机器人进行遥操作或者让机器人自主作业，虚拟现实系统获得反馈信息并建立虚拟三维场景，操作人员通过分析逼真的虚拟三维情景，确立初步的操作流程，然后通过仿真系统进行模拟操作，避免误动作，在仿真操作正确的情况下，操作人员可通过遥操作系统对机器人进行远程控制，或者发出自主作业指令让机器人自主完成作业流程，在操作过程中，系统持续进行建模、渲染以及三维重构，以确保系统的实时性和可操作性。

Description

一种基于虚拟现实系统的机器人带电作业控制方法

技术领域

本发明属于遥控技术领域，特别涉及一种基于虚拟现实系统的机器人带电作业控制方法。

背景技术

我国的虚拟现实技术主要应用于三维场景的扫描重建和仿真上，还没有很好地应用在带电作业机器人仿真和实时操作领域。在带电作业培训中，采用实物操作，一方面会大量消耗电力，另一方面由于培训人员操作生疏，可能发生安全事故；在带电作业机器人作业过程中，工作环境复杂多变，线路布局紧密无规则，作业空间狭小，这种非结构化的作业环境将大大增加机器人带电作业的难度，降低作业效率，甚至带来安全隐患。研究基于虚拟现实视觉临场感的带电作业技术，不仅可以为培训人员提供一个高效、安全的培训平台，提高带电作业培训的效率；同时还可以为操作人员构造一个真实性、沉浸性、多感知性和交互性好的虚拟现实系统，提高带电作业的自动化水平和安全性，提高电网的运行质量，具有巨大的经济效益和社会效益。

我国基于虚拟现实技术的带电作业机器人的研发及应用立足于国内自主研发。但目前国内研发的带电作业机器人，在智能控制、信息感知、对非结构化环境的适应能力、双机械手协同控制方面，与西方发达国家的带电作业机器人相比还有一定差距，尚不能自主地完成精细复杂的工作，机器人的作业内容与作业效率受到很大限制，未能真正实现工程化应用。

发明内容

本发明将机器人带电作业与虚拟现实技术相结合：操作人员主要承担操作虚拟现实软件的任务，对机器人进行遥操作或者让机器人自主作业，虚拟现实系统获得反馈信息并建立虚拟三维场景。操作人员通过分析逼真的虚拟三维情景，确立初步的操作流程，然后通过仿真系统进行模拟操作，避免误动作。在仿真操作正确的情况下，操作人员可通过遥操作系统对机器人进行远程控制，或者发出自主作业指令让机器人自主完成作业流程。在操作过程中，系统持续进行建模、渲染以及三维重构，以确保系统的实时性和可操作性。

本发明具体为一种基于虚拟现实系统的机器人带电作业控制方法，所述基于虚拟现实系统的机器人带电作业控制方法具体包括如下步骤：

步骤(1)：操作人员根据作业任务现场情况，控制绝缘斗臂车升降，将机器人作业平台送至作业面，并保证其在可控的状态下；

步骤(2)：操作人员通过操作虚拟现实系统软件控制机器人端的双目摄像机获取工作环境信息，并控制多传感器获取机械手姿态信息；

步骤(3)：根据工作环境信息和机械手姿态信息建立机械手模型和作业对象的虚拟三维模型；

步骤(4)：系统软件通过分析摄像机拍摄图像得到工作环境的光照条件，对建立好的模型进行光照渲染，并对渲染好的模型进行三维情景重建，删除无关面，提高场景重建效率；

步骤(5)：操作人员通过分析逼真的虚拟三维情景，确立初步的操作流程，然后通过仿真系统进行操作的模拟，避免出现误操作；

步骤(6)：在仿真操作正确的情况下，操作人员通过遥操作系统对机器人进行遥操作，或者发出自主作业指令，让机器人自主完成作业流程，在操作过程中，系统持续进行建模、渲染以及三维重构步骤，以确保系统的实时可操作性；

步骤(7)：作业完成后，操作人员发出结束指令，虚拟现实系统软件控制机械手复位，并清除已经过期的模型信息；

步骤(8)：检测是否有新的作业任务到来，若是，回到步骤(2)，继续进行下一作业任务，若否，进入步骤(9)；

步骤(9)：所有作业任务完成，操作人员控制作业平台复位，绝缘斗臂车收回。

进一步的，所述步骤(2)中通过位姿跟踪的方式获取机械手姿态信息，预先构造一个状态可配置的三维机械手的几何模型，利用此模型生成机械手位姿假设；通过多目视觉系统采集机械手的多方位多视角图像信息，配合激光测距传感器、景深传感器采集的信息，计算机械手位姿假设所对应的模型特征组和观测图像特征组之问的匹配误差，在机械手状态空间中搜索使匹配误差最小化的状态参数，即为当前帧对应的最优解；虚拟现实系统通过使用机械手状态转移模型来根据上一帧所获得的最优解预测下一帧的机械手状态配置，缩小状态参数的搜索空间。

进一步的，所述步骤(4)中建立虚拟三维场景具体包括：三维建模、数据预处理、参数设置、投影变换、三维裁剪、视窗变换、建立光照模型、纹理映射和建立三维场景。

进一步的，所述三维建模不仅要建模机械臂和环境部件对象的外观，更要保证它们在光照、纹理、行为表现方面均与客观世界的对象相近，具体包括几何建模、运动建模、物理建模和对象行为建模。

进一步的，所述数据预处理包括将建模后得到的物体几何模型转换成基本图元的形式，以及对影像数据进行图像格式转换、图像质量改善。

进一步的，所述投影变换采用透视投影方式将物体从三维表示形式转换为二维表示形式，依次包括：模型变换、观察变换、规范化变换、规范视见体剪裁、投影、窗口至视区变换以及显示。

进一步的，所述建立光照模型需要考虑的光照明因素包括：在物体和周围环境之间多次反射后最终达到平衡的环境光、由于物体表面的粗糙不平引起的均匀向各个方向传播的漫反射光以及物体外表面对入射光的直接反射产生的镜面反射光；光照模型计算后获得二维图像的明暗值，在经过显示后形成模型的浓淡渲染图，最终通过颜色和亮度差异表现物体表面的光照特性，得到真实的光照信息。

进一步的，所述纹理映射通过拍照、摄像方式从影像图上提取纹理信息，以纹理图像作为输入，通过定义纹理与物体之间的映射关系，将图像映射到简单的景物几何形态上合成具有真实感的表面花纹、图案和细微的结构。

具体实施方式

下面对本发明一种用于机器人带电作业的虚拟现实操作系统的具体实施方式做详细阐述。

本发明基于虚拟现实系统的机器人带电作业控制方法具体包括如下步骤：步骤(1)：操作人员根据作业任务现场情况，控制绝缘斗臂车升降，将机器人作业平台送至作业面，并保证其在可控的状态下；步骤(2)：操作人员通过操作虚拟现实系统软件控制机器人端的双目摄像机获取工作环境信息，并控制多传感器获取机械手姿态信息；步骤(3)：根据工作环境信息和机械手姿态信息建立机械手模型和作业对象的虚拟三维模型；步骤(4)：系统软件通过分析摄像机拍摄图像得到工作环境的光照条件，对建立好的模型进行光照渲染，并对渲染好的模型进行三维情景重建，删除无关面，提高场景重建效率；步骤(5)：操作人员通过分析逼真的虚拟三维情景，确立初步的操作流程，然后通过仿真系统进行操作的模拟，避免出现误操作；步骤(6)：在仿真操作正确的情况下，操作人员通过遥操作系统对机器人进行遥操作，或者发出自主作业指令，让机器人自主完成作业流程，在操作过程中，系统持续进行建模、渲染以及三维重构步骤，以确保系统的实时可操作性；步骤(7)：作业完成后，操作人员发出结束指令，虚拟现实系统软件控制机械手复位，并清除已经过期的模型信息；步骤(8)：检测是否有新的作业任务到来，若是，回到步骤(2)，继续进行下一作业任务，若否，进入步骤(9)；步骤(9)：所有作业任务完成，操作人员控制作业平台复位，绝缘斗臂车收回。

所述步骤(2)中通过位姿跟踪的方式获取机械手姿态信息，预先构造一个状态可配置的三维机械手的几何模型，利用此模型生成机械手位姿假设；通过多目视觉系统采集机械手的多方位多视角图像信息，配合激光测距传感器、景深传感器采集的信息，计算机械手位姿假设所对应的模型特征组和观测图像特征组之问的匹配误差，在机械手状态空间中搜索使匹配误差最小化的状态参数，即为当前帧对应的最优解；虚拟现实系统通过使用机械手状态转移模型来根据上一帧所获得的最优解预测下一帧的机械手状态配置，缩小状态参数的搜索空间。

所述步骤(4)中建立虚拟三维场景具体包括：三维建模、数据预处理、参数设置、投影变换、三维裁剪、视窗变换、建立光照模型、纹理映射和建立三维场景。所述三维建模不仅要建模机械臂和环境部件对象的外观，更要保证它们在光照、纹理、行为表现方面均与客观世界的对象相近，具体包括几何建模、运动建模、物理建模和对象行为建模。所述数据预处理包括将建模后得到的物体几何模型转换成基本图元的形式，以及对影像数据进行图像格式转换、图像质量改善。所述投影变换采用透视投影方式将物体从三维表示形式转换为二维表示形式，依次包括：模型变换、观察变换、规范化变换、规范视见体剪裁、投影、窗口至视区变换以及显示。所述建立光照模型需要考虑的光照明因素包括：在物体和周围环境之间多次反射后最终达到平衡的环境光、由于物体表面的粗糙不平引起的均匀向各个方向传播的漫反射光以及物体外表面对入射光的直接反射产生的镜面反射光；光照模型计算后获得二维图像的明暗值，在经过显示后形成模型的浓淡渲染图，最终通过颜色和亮度差异表现物体表面的光照特性，得到真实的光照信息。所述纹理映射通过拍照、摄像方式从影像图上提取纹理信息，以纹理图像作为输入，通过定义纹理与物体之间的映射关系，将图像映射到简单的景物几何形态上合成具有真实感的表面花纹、图案和细微的结构。

最后应该说明的是，结合上述实施例仅说明本发明的技术方案而非对其限制。所属领域的普通技术人员应当理解到，本领域技术人员可以对本发明的具体实施方式进行修改或者等同替换，但这些修改或变更均在申请待批的权利要求保护范围之中。

Claims (8)

1.一种基于虚拟现实系统的机器人带电作业控制方法，其特征在于，所述基于虚拟现实系统的机器人带电作业控制方法具体包括如下步骤：

步骤(1)：操作人员根据作业任务现场情况，控制绝缘斗臂车升降，将机器人作业平台送至作业面，并保证其在可控的状态下；

步骤(2)：操作人员通过操作虚拟现实系统软件控制机器人端的双目摄像机获取工作环境信息，并控制多传感器获取机械手姿态信息；

步骤(3)：根据工作环境信息和机械手姿态信息建立机械手模型和作业对象的虚拟三维模型；

步骤(4)：系统软件通过分析摄像机拍摄图像得到工作环境的光照条件，对建立好的模型进行光照渲染，并对渲染好的模型进行三维情景重建，删除无关面，提高场景重建效率；

步骤(5)：操作人员通过分析逼真的虚拟三维情景，确立初步的操作流程，然后通过仿真系统进行操作的模拟，避免出现误操作；

步骤(6)：在仿真操作正确的情况下，操作人员通过遥操作系统对机器人进行遥操作，或者发出自主作业指令，让机器人自主完成作业流程，在操作过程中，系统持续进行建模、渲染以及三维重构步骤，以确保系统的实时可操作性；

步骤(7)：作业完成后，操作人员发出结束指令，虚拟现实系统软件控制机械手复位，并清除已经过期的模型信息；

步骤(8)：检测是否有新的作业任务到来，若是，回到步骤(2)，继续进行下一作业任务，若否，进入步骤(9)；

步骤(9)：所有作业任务完成，操作人员控制作业平台复位，绝缘斗臂车收回。

2.根据权利要求1所述的一种基于虚拟现实系统的机器人带电作业控制方法，其特征在于，所述步骤(2)中通过位姿跟踪的方式获取机械手姿态信息，预先构造一个状态可配置的三维机械手的几何模型，利用此模型生成机械手位姿假设；通过多目视觉系统采集机械手的多方位多视角图像信息，配合激光测距传感器、景深传感器采集的信息，计算机械手位姿假设所对应的模型特征组和观测图像特征组之问的匹配误差，在机械手状态空间中搜索使匹配误差最小化的状态参数，即为当前帧对应的最优解；虚拟现实系统通过使用机械手状态转移模型来根据上一帧所获得的最优解预测下一帧的机械手状态配置，缩小状态参数的搜索空间。

3.根据权利要求2所述的一种基于虚拟现实系统的机器人带电作业控制方法，其特征在于，所述步骤(4)中建立虚拟三维场景具体包括：三维建模、数据预处理、参数设置、投影变换、三维裁剪、视窗变换、建立光照模型、纹理映射和建立三维场景。

4.根据权利要求3所述的一种基于虚拟现实系统的机器人带电作业控制方法，其特征在于，所述三维建模不仅要建模机械臂和环境部件对象的外观，更要保证它们在光照、纹理、行为表现方面均与客观世界的对象相近，具体包括几何建模、运动建模、物理建模和对象行为建模。

5.根据权利要求3所述的一种基于虚拟现实系统的机器人带电作业控制方法，其特征在于，所述数据预处理包括将建模后得到的物体几何模型转换成基本图元的形式，以及对影像数据进行图像格式转换、图像质量改善。

6.根据权利要求3所述的一种基于虚拟现实系统的机器人带电作业控制方法，其特征在于，所述投影变换采用透视投影方式将物体从三维表示形式转换为二维表示形式，依次包括：模型变换、观察变换、规范化变换、规范视见体剪裁、投影、窗口至视区变换以及显示。

7.根据权利要求3所述的一种基于虚拟现实系统的机器人带电作业控制方法，其特征在于，所述建立光照模型需要考虑的光照明因素包括：在物体和周围环境之间多次反射后最终达到平衡的环境光、由于物体表面的粗糙不平引起的均匀向各个方向传播的漫反射光以及物体外表面对入射光的直接反射产生的镜面反射光；光照模型计算后获得二维图像的明暗值，在经过显示后形成模型的浓淡渲染图，最终通过颜色和亮度差异表现物体表面的光照特性，得到真实的光照信息。

8.根据权利要求3所述的一种基于虚拟现实系统的机器人带电作业控制方法，其特征在于，所述纹理映射通过拍照、摄像方式从影像图上提取纹理信息，以纹理图像作为输入，通过定义纹理与物体之间的映射关系，将图像映射到简单的景物几何形态上合成具有真实感的表面花纹、图案和细微的结构。