CN111651036A - 用于电力巡检的无人机模拟训练系统及方法 - Google Patents

Abstract

本发明提供一种用于电力巡检的无人机模拟训练系统，其包含：操控器，其用于通过操控其上的控制装置控制无人机；虚拟现实设备，其用于向用户多视角的显示模拟训练过程；可视化设备，其用于显示第一人称无人机主视角、第一人称无人机相机视角、第一人称手动飞行视角、第三人称视角以及无人机轨迹查看视角；系统部署服务器，其用于建立所述模拟训练项目对应的三维场景模型，并得到无人机全真模拟模型；前端展示工作站，其用于依据切换指令切换虚拟现实设备以及可视化设备的显示视角。本发明能够基于不同的模拟训练项目生成匹配的三维场景模型，并且能够在多个视角范围内进行视角切换，支持用户完成模拟训练过程。

Description

用于电力巡检的无人机模拟训练系统及方法

技术领域

本发明涉及电力巡检技术领域，具体地说，涉及一种用于电力巡检的无人机模拟训练系统及方法。

背景技术

随着电网行业智能化巡检的发展，从2011年初步涉及智能化巡检到现阶段智能化无人机巡检逐渐替代人工巡检的巡检方式。截至2019年，无人机巡检跨入智能时代，虽然无人机的飞行应用逐渐由智能化自主飞行代替，但对于初始数据的采集还是需要无人机飞行作业人员进行手动飞行初次采集。

无人机飞行需要训练，对于国家电网行业，由于其特殊的飞行环境、高电压、强干扰、野外环境等在普通的培训过程中无法做到贴合实际应用的飞行训练。现有技术中，在电力巡检领域，无人机模拟系统存在以下缺陷：

第一：无人机模拟训练器稀缺，目前行业内成型的无人机模拟训练器极其稀缺，成熟的商业化产品不超过5款，本身就有大量的需求缺口，需要弥补；

第二：针对电力行业的专属设计稀缺，电力行业的无人机飞行作业具有非常高的特殊性，操作要求，训练科目与目前市场上常规的无人机培训差别很大，所以需要更有针对性的设计，来实现培训需要达到效果；

第三：无人机行业培训方法原始，危险性高，目前几乎所有的无人机培训学校由于模拟器的稀缺，都会大量使用无人机真机或教练机训练，在培训过程中，由于外部的不可控力和飞行人员操作经验的缺乏，进场造成人员、设施、设备等的损失和危险。

基于现有技术的以上缺陷，本发明提供了一种用于电力巡检的无人机模拟训练系统及方法。

发明内容

为解决上述问题，本发明提供了一种用于电力巡检的无人机模拟训练系统，所述系统包含：

操控器，其用于支持用户在选定的模拟训练项目下，通过操控其上的控制装置控制无人机，以使所述无人机完成所述模拟训练项目；

虚拟现实设备，其用于向用户多视角的显示模拟训练过程，其中多视角包含：第一人称无人机主视角、第一人称无人机相机视角以及第一人称手动飞行视角；

可视化设备，其用于显示所述第一人称无人机主视角、所述第一人称无人机相机视角、所述第一人称手动飞行视角、第三人称视角以及无人机轨迹查看视角；

系统部署服务器，其用于基于原始点云数据经点云处理与三维解算处理后建立所述模拟训练项目对应的三维场景模型，并对所述无人机的飞行过程进行模拟仿真，得到无人机全真模拟模型；

前端展示工作站，其与所述操控器、所述虚拟现实设备、所述可视化设备以及所述系统部署服务器通信，用于依据切换指令切换所述虚拟现实设备以及所述可视化设备的显示视角。

根据本发明的一个实施例，所述系统部署服务器包含：点云分类模块，其用于对所述原始点云数据进行点云分类处理，得到分类后的点云数据，分类后的点云数据包含地面点、植被点、建筑物点、电力线点以及杆塔点。

根据本发明的一个实施例，所述点云分类模块包含：

样本筛选单元，其用于对所述原始点云数据进行电力线以及杆塔的筛选，得到训练样本；

特征提取与分类单元，对所述训练样本进行特征提取，基于提取到的特征建立分类器，对所述原始点云数据进行分类处理，得到分类后的点云数据。

根据本发明的一个实施例，所述系统部署服务器包含：三维解算模块，其用于对所述分类后点云数据进行航迹解算和定位与定姿解算，得到激光雷达点云数据航迹质量报告以及定位与定姿精度报告。

根据本发明的一个实施例，所述系统部署服务器包含：模型处理模块，其用于基于所述激光雷达点云数据航迹质量报告以及所述定位与定姿精度报告生成预设格式的点云数据，所述预设格式的点云数据用以展现输电线路走廊内的地形、地貌以及地物。

根据本发明的一个实施例，所述系统部署服务器包含：环境处理模块，其用于模拟环境信息得到环境数据，所述环境数据包含：风环境数据、雨环境数据以及雪环境数据。

根据本发明的一个实施例，所述系统部署服务器包含：电力设施模拟模块，其用于模拟当前模拟训练项目包含的电力设施属性信息。

根据本发明的一个实施例，所述系统部署服务器包含：场景生成模块，其用于基于所述预设格式的点云数据、所述环境数据以及所述电力设施属性信息，生成当前模拟训练项目所对应的三维场景模型。

根据本发明的一个实施例，所述系统还包含后台客户端，其与所述系统部署服务器通信，用于对用户数据进行管理。

根据本发明的另一个方面，还提供了一种用于电力巡检的无人机模拟训练方法，所述方法包含以下步骤：

通过操控器接收用户的指令选定当前的模拟训练项目；

通过系统部署服务器基于原始点云数据经点云处理与三维解算处理后建立所述模拟训练项目对应的三维场景模型，并对无人机的飞行过程进行模拟仿真，得到无人机全真模拟模型；

通过前端展示工作站接收操控指令以及切换指令，基于所述切换指令切换虚拟现实设备以及可视化设备的视角，基于所述操控指令控制所述无人机，以使所述无人机完成所述模拟训练项目。

本发明提供的用于电力巡检的无人机模拟训练系统及方法能够基于不同的模拟训练项目生成匹配的三维场景模型，并且能够在多个视角范围内进行视角切换，能够支持用户完成模拟训练过程；本发明基于专业的多旋翼、固定翼无人机飞行培训系统，搭载虚拟现实硬件设备，结合无人机专属飞行控制硬件仿真模块、实现真实的培训体验和操作手感，达到更好的训练效果。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1显示了根据本发明的一个实施例的用于电力巡检的无人机模拟训练系统结构框图；

图2显示了根据本发明的一个实施例的三维场景模型生成示意图；

图3显示了根据本发明的一个实施例的点云分类流程示意图；

图4显示了根据本发明的一个实施例的输电线路走廊图；

图5显示了根据本发明的另一个实施例的用于电力巡检的无人机模拟训练系统结构框图；

图6显示了根据本发明的一个实施例的虚拟现实设备示意图；

图7a-图7b显示了根据本发明的一个实施例的可视化设备示意图；以及

图8显示了根据本发明的一个实施例的用于电力巡检的无人机模拟训练方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明实施例作进一步地详细说明。

图1显示了根据本发明的一个实施例的用于电力巡检的无人机模拟训练系统结构框图。

如图1，无人机模拟训练系统包含操控器101、虚拟现实设备102、可视化设备103、系统部署服务器104以及前端展示工作站105。

在一个实施例中，无人机模拟训练系统还包含后台客户端106。

操控器101用于支持用户在选定的模拟训练项目下，通过操控其上的控制装置控制无人机，以使无人机完成模拟训练项目。

虚拟现实设备102用于向用户多视角的显示模拟训练过程，其中多视角包含：第一人称无人机主视角、第一人称无人机相机视角以及第一人称手动飞行视角。

可视化设备103用于显示第一人称无人机主视角、第一人称无人机相机视角、第一人称手动飞行视角、第三人称视角以及无人机轨迹查看视角。

系统部署服务器104用于基于原始点云数据经点云处理与三维解算处理后建立模拟训练项目对应的三维场景模型，并对无人机的飞行过程进行模拟仿真，得到无人机全真模拟模型。

前端展示工作站105与操控器101、虚拟现实设备102、可视化设备103以及系统部署服务器104通信，用于依据切换指令切换虚拟现实设备102以及可视化设备103的显示视角。

后台客户端106与系统部署服务器104通信，用于对用户数据进行管理。

图2显示了根据本发明的一个实施例的三维场景模型生成示意图。在一个实施例中，系统部署服务器104中完成三维场景模型的构建过程，具体来说，系统部署服务器104包含点云分类模块、三维解算模块、模型处理模块、环境处理模块、电力设施模拟模块以及场景生成模块。

原始点云数据需要处理的工作主要包括杆塔位置及属性编辑、线路切档、点云去噪、点云分类、危险点检测等流程，而点云数据具有采样密度高、点云分布密集等特点，难以直接对点云的几何数据进行分类和特征提取。点云分类的目的是将获取的原始点云数据标记为地面点、植被点、建筑物点、电力线点、杆塔点等，这是分析输电线路安全的基础。

具体来说，点云分类模块用于对原始点云数据进行点云分类处理，得到分类后的点云数据，分类后的点云数据包含地面点、植被点、建筑物点、电力线点以及杆塔点。具体来说，原始点云数据为激光雷达与倾斜摄影数据。

进一步地，点云分类模块包含：样本筛选单元与特征提取与分类单元。如图3所示，样本筛选单元对原始点云数据进行电力线以及杆塔的筛选，得到训练样本；特征提取与分类单元对训练样本进行特征提取，基于提取到的特征建立分类器，对原始点云数据进行分类处理，得到分类后的点云数据。

点云分类过程中，首先从输电线路的原始点云数据中人工筛选训练样本，为保证分类的准确性，选择时应考虑不同的塔型和线型，人工分出电力线和杆塔类别，并利用滤波算法分出地面点。

在分类时，对于电力线，采用Hough直线检测算法，可以较少的受到间断点干扰，克服电力线数据的离散性。杆塔为聚集点群，采用腐蚀运算消除电力线边界，再用膨胀运算得到连通区域，对每个点选取其邻域点计算特征。

特征提取完成后，基于提取的特征建立分类器，并对未分类的数据采用该分类器进行自动分类，分类后的结果包括：地面点、电力线、杆塔和其它类。

之后对分类结果进行散斑合并，并通过相关准则进行优化。利用生成的训练模型，通过深度学习算法对杆塔、电力线、植被、地面等不同地物进行自动分类，检查机器分类效果，采用人工交互的方式进行编辑，将误分类或者错分类的区域予以改正。机器学习点云分类，处理效率高，人力投入少，随着样本数据库的不断丰富，分类精度可以不断提高。

如图2，在三维解算模块中完成三维解算建模，三维解算模块对分类后点云数据进行航迹解算和定位与定姿解算，得到激光雷达点云数据航迹质量报告以及定位与定姿精度报告。

如图2，在模型处理模块中完成仿真系统模型加载，模型处理模块基于激光雷达点云数据航迹质量报告以及定位与定姿精度报告生成预设格式的点云数据，预设格式的点云数据用以展现输电线路走廊内的地形、地貌以及地物。

如图2，在环境处理模块中完成环境信息加载，环境处理模块模拟环境信息得到环境数据，环境数据包含：风环境数据、雨环境数据以及雪环境数据。

如图2，在电力设施模拟模块中完成电力设施属性信息加载，电力设施模拟模块模拟当前模拟训练项目包含的电力设施属性信息。

如图2，在场景生成模块中完成三维场景模型的构建，场景生成模块基于预设格式的点云数据、环境数据以及电力设施属性信息，生成当前模拟训练项目所对应的三维场景模型。

综上，通过无人机挂载激光雷达设备、倾斜相机或其他特殊设备，对输电线路所处地形、地貌、地物、杆塔、输电线路通道进行扫描，无人机扫描到的原始点云数据上传到系统部署服务器后，进行一键后处理航迹解算和POS解算，同步生成激光雷达点云数据航迹质量报告和POS精度报告(定位与定姿精度报告)，通过航迹质量报告和POS精度报告可初步判断雷达点云数据质量，之后生成LAS点云数据(预设格式点云数据)后，支持在线三维显示轨迹信息和输电线路走廊三维可视化展示(高程显示)，如图4所示。

本发明基于点云数据智能存储技术方法、智能分析技术方法和智能学习技术方法，用于各供电公司的输运维部门，实现对输线路激光雷达点云数据自动解算、自动融合、自动整理，自动分析，自动识别等，最终融合海量机巡数据自动入库，能够准确有效地模拟和再现输电线路走廊内的地形、地貌、地物，并可进行三维操作，实现输电线路走廊三维可视化，对数据进行有效统一的管理，形成数据智能处理平台实现一站式的数据处理服务，避免大量的人工处理数据任务，用于输电巡检数据一站式解决方案。

图5显示了根据本发明的另一个实施例的用于电力巡检的无人机模拟训练系统结构框图。如图5，系统包含可视化设备、VR设备、前端展示工作站、遥控器、GPU服务器以及后台客户端。

在本实施例中，虚拟现实设备采用VR设备，操控器采用无人机遥控器、系统部署服务器采用GPU服务器。

如图5所示的系统基于国家电网行业应用，基于现阶段国家电网无人机行业应用于无人机巡检结果数据应用，结合用户实际生产，将生产于培训紧密对接。目前来说，国家电网架空线路杆塔数据扫描已经在某些省份进行大力推广应用，不断采集积累了大量的激光雷达数据与倾斜摄影数据，此部分数据一方面应用于现场生产巡检中，另一方面，通过本发明的系统，应用于生产培训中。

如图5所示的系统分为应用部分与数据处理部分，应用部分主要是界面功能，数据处理部分能够通过系统部署服务端进行处理，将采集的原始点云数据进行点云分类等处理之后进行三维模型的建立。本发明在不断满足用户需求的情况下，对整体系统中的模型与成果进行模型库的建立，从而生成一套整体的基于实际飞行应用的培训体系。

本发明接入VR眼镜设备(如图6所示)与大屏的可视化设备(如图7a-图7b所示，可视化设备是由一台投影机投射一个大屏幕，投影机采用高清工程投影)，通过前端展示工作站，可以将系统中VR应用显示独立进行切换输出，VR部分切换模式包括第一人称飞机FPV(主)视角、第一人称无人机相机视角、第一人称手动飞行视角。可视化屏幕部分切换模式包括VR部分所有模式外，增加第三人称视角与飞机轨迹查看视角。

在整体系统中，系统部署服务器主要对原始点云数据与倾斜摄影数据进行解算生成相应三维场景模型。

在实际应用中，为了保证模拟训练效果的真实，受训学员将佩戴VR眼镜，并可搭配VR全景投影系统进行训练。通过VR设备，让受训人员真正的达到身临其境的感受，大大提升模拟训练的效果。同时大大降低培训过程中出现问题所造成的损失。

在一个实施例中，从无人机的实际操作体验，到专业电力行业相关训练科目的培训内容，本发明都可以进行相应的专属设计，能真正让受训人员在受训过程中学习真正业务需求，积累业务经验

具体来说，专属设计包含：专属设计主要体现在对于场景的设计中，对用户的现场采集数据的专业定制化模型制作。

在一个实施例中，本发明可包含各类典型使用机型、用户数据、实景数据等等。同时，基于目前的内容和架构，可针对无人机、训练课程、行业特点、考试要求等多个内容和项目进行定制开发和拓展

具体来说，本发明的可扩展性强是因为是基于服务端与应用端的架构，对于应用扩展性更强，对于后续业务的拓展更强，可根据用户需求增加服务并针对服务端与应用端的架构进行扩展，例如增加后续点云航线的规划功能或者进行管理业务的集成。

在一个实施例中，本发明将VR技术进行结合，提高了临场沉浸感，通过第一视角VR眼镜以及投影系统，能真正做到身临其境的沉浸式体验，大大提升操作人员的真实感和操作的训练效果。

在现有技术中的模拟培训系统中，用户的培训场景基本都是特定的，就算是针对行业级别的客户，也只是特定的场景进行业务培训，无法做到真实模拟(生产工作)。往往用户在模拟器中培训之后，在实际线路中还是无法发挥出培训的效果。

本发明应用的多元化集成与针对业务场景业务用户的系统化落地应用，让用户手中的采集数据不再单一的进行应用，而是将用户手中的数据进行充分利用。提高系统中数据的利用率，让用户所做的事情不再是无用功。

在系统运行过程中，操作人员可通过VR眼镜实际体验操作，也可对着可视化大屏进行操作。本发明由于有切换功能，可以将VR眼镜中培训人员的视频信息与可视化显示的区分开，可以让培训考官有针对性的去查看考生的所有操作和现场应对，而不会干扰被培训人员。通过本发明提供的系统可以更高效、更真实的模拟现场线路情况于飞行情况，系统内集成多种无人机参数，做到现场杆塔模型与无人机全真模拟。

图8显示了根据本发明的一个实施例的用于电力巡检的无人机模拟训练方法流程图。

如图8，在步骤S801中，通过操控器接收用户的指令选定当前的模拟训练项目。

如图8，在步骤S802中，通过系统部署服务器基于原始点云数据经点云处理与三维解算处理后建立模拟训练项目对应的三维场景模型，并对无人机的飞行过程进行模拟仿真，得到无人机全真模拟模型。

如图8，在步骤S803中，通过前端展示工作站接收操控指令以及切换指令，基于切换指令切换虚拟现实设备以及可视化设备的视角，基于操控指令控制无人机，以使无人机完成模拟训练项目。

综上，本发明提供的用于电力巡检的无人机模拟训练系统及方法能够基于不同的模拟训练项目生成匹配的三维场景模型，并且能够在多个视角范围内进行视角切换，能够支持用户完成模拟训练过程；本发明基于专业的多旋翼、固定翼无人机飞行培训系统，搭载虚拟现实硬件设备，结合无人机专属飞行控制硬件仿真模块、实现真实的培训体验和操作手感，达到更好的训练效果。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种用于电力巡检的无人机模拟训练系统，其特征在于，所述系统包含：

操控器，其用于支持用户在选定的模拟训练项目下，通过操控其上的控制装置控制无人机，以使所述无人机完成所述模拟训练项目；

虚拟现实设备，其用于向用户多视角的显示模拟训练过程，其中多视角包含：第一人称无人机主视角、第一人称无人机相机视角以及第一人称手动飞行视角；

可视化设备，其用于显示所述第一人称无人机主视角、所述第一人称无人机相机视角、所述第一人称手动飞行视角、第三人称视角以及无人机轨迹查看视角；

系统部署服务器，其用于基于原始点云数据经点云处理与三维解算处理后建立所述模拟训练项目对应的三维场景模型，并对所述无人机的飞行过程进行模拟仿真，得到无人机全真模拟模型；

前端展示工作站，其与所述操控器、所述虚拟现实设备、所述可视化设备以及所述系统部署服务器通信，用于依据切换指令切换所述虚拟现实设备以及所述可视化设备的显示视角。

2.如权利要求1所述的系统，其特征在于，所述系统部署服务器包含：点云分类模块，其用于对所述原始点云数据进行点云分类处理，得到分类后的点云数据，分类后的点云数据包含地面点、植被点、建筑物点、电力线点以及杆塔点。

3.如权利要求2所述的系统，其特征在于，所述点云分类模块包含：

样本筛选单元，其用于对所述原始点云数据进行电力线以及杆塔的筛选，得到训练样本；

特征提取与分类单元，对所述训练样本进行特征提取，基于提取到的特征建立分类器，对所述原始点云数据进行分类处理，得到分类后的点云数据。

4.如权利要求2或3中任一项所述的系统，其特征在于，所述系统部署服务器包含：三维解算模块，其用于对所述分类后点云数据进行航迹解算和定位与定姿解算，得到激光雷达点云数据航迹质量报告以及定位与定姿精度报告。

5.如权利要求4所述的系统，其特征在于，所述系统部署服务器包含：模型处理模块，其用于基于所述激光雷达点云数据航迹质量报告以及所述定位与定姿精度报告生成预设格式的点云数据，所述预设格式的点云数据用以展现输电线路走廊内的地形、地貌以及地物。

6.如权利要求5所述的系统，其特征在于，所述系统部署服务器包含：环境处理模块，其用于模拟环境信息得到环境数据，所述环境数据包含：风环境数据、雨环境数据以及雪环境数据。

7.如权利要求6所述的系统，其特征在于，所述系统部署服务器包含：电力设施模拟模块，其用于模拟当前模拟训练项目包含的电力设施属性信息。

8.如权利要求7所述的系统，其特征在于，所述系统部署服务器包含：场景生成模块，其用于基于所述预设格式的点云数据、所述环境数据以及所述电力设施属性信息，生成当前模拟训练项目所对应的三维场景模型。

9.如权利要求1-8中任一项所述的系统，其特征在于，所述系统还包含后台客户端，其与所述系统部署服务器通信，用于对用户数据进行管理。

10.一种用于电力巡检的无人机模拟训练方法，其特征在于，所述方法包含以下步骤：

通过操控器接收用户的指令选定当前的模拟训练项目；

通过系统部署服务器基于原始点云数据经点云处理与三维解算处理后建立所述模拟训练项目对应的三维场景模型，并对无人机的飞行过程进行模拟仿真，得到无人机全真模拟模型；

通过前端展示工作站接收操控指令以及切换指令，基于所述切换指令切换虚拟现实设备以及可视化设备的视角，基于所述操控指令控制所述无人机，以使所述无人机完成所述模拟训练项目。

Images