CN107833503B - 配网核心作业增强现实仿真培训系统 - Google Patents

Abstract

本发明的配网核心作业增强现实仿真培训系统，包括通过无线网络连接的系统客户端和后台服务器；本发明采用的智能终端以平板电脑、智能手机为载体，具有体积小、携带方便、性能强悍等优势，随着智能终端普及性越来越高，其携带的摄像头、传感器、GPS模块使得增强现实的广泛应用成为趋势，本发明结合增强现实技术、传感器技术、移动通信技术与调度技术等，实现在智能终端上的增强现实的应用。

Description

配网核心作业增强现实仿真培训系统

技术领域

本发明涉及电力系统技术领域，具体涉及一种配网核心作业增强现实仿真培训系统。

背景技术

随着我国经济的快速发展，对电力的需求必然大幅度增长，因此对电力网络的建设暨配网核心业务也相应增加。 技能培训一直是积极推动电力员工和电力企业不断向前发展的重要手段之一。然而传统的培训模式除了存在培训费用过高以及培训时间、地点不灵活等问题。在传统的课堂教学模式上往往形成了老师单向灌输、学生被动接受的局面，传统教学模式的缺陷是非常明显的，其中关键的是作为认知主体的学生在整个教学过程中都始终处于被动地接受知识的地位，学生学习的主动性被忽视，甚至被压抑。这与现代社会对人才培养的要求是不相符合的，这种模式担负不了培养高素质的创造性人才的重担，因此，改变传统教学模式，打造适应新课改要求的高效课堂模式势在必行。与此同时，多媒体技术的快速发展为企业完善培训手段，强化绩效支持效用提供了更加便捷的方式。

计算机辅助教学将计算机作为多媒体技术教学，为学员提供一个良好的学习环境，使学员通过计算机的对话来进行学习的一种新型教学形式。作为教学媒体，计算机能帮助教师改善教学效果，扩大教学范围，延伸教师的教育功能。计算机具有许多其他教学媒体所不具备的功能。计算机具备交互性，提高了学生自主学习的能力，开发了学生的兴趣性。而且计算机能以多种方式向学生提供学习材料，屏幕显示的内容可以随意重复和迅速更换，可以表现事物的动态变化，还可以随画面变化产生相应的声音，利用多媒体技术使某些抽象的、难以表现的教学过程得以实现。不限时间及地点的变化进行学习，还可在有限的时间内增大课容量，提高课堂教学效率和效益。计算机多媒体教学的开发有待实现。

现有技术中开发的3D课件，是采用3D图形软件制作的课件，3D课件中绘制的对象是立体图形，有透视变化，有明暗变化，像照片一样。常用制作软件是3DMAX、MAYA等3D动画软件，制作出的对象形象非常逼真；不但可以表现组成对象各部分之间的运动关系，同时还可以表现一些操作引发的事件反馈。但是，选用3D课件进行多媒体教学，在配网核心业务实际操作要求较强的领域，用户体验度不能体现出来，只能从视觉上达到教学的目的，不能从感官加强教学效果。

发明内容

本发明的目的是为了提供一种配网核心作业增强现实仿真培训系统，虚实结合和实时交互，学员通过本发明可体验到虚拟与现实和谐融合的叠加效果，真正实现感官视觉上的加强，提升教学效果。

为实现上述目的，本发明提出的一种配网核心作业增强现实仿真培训系统，包括：通过无线网络连接的系统客户端和后台服务器；系统客户端，包括支持Android系统和IOS系统的智能手机、平板电脑，用于接收来自于学员扫描的课件识别卡信息，显示虚拟的教学内容；后台服务器包括数据库服务器、AR服务器、和资源服务器；数据库服务器，用于对学员的信息进行储存；AR服务器，用于对课件识别卡对应信息进行管理；资源服务器，用于对学习资源进行管理，系统客户端与后台服务器的对交互信息进行处理；所述系统客户端通过视觉摄像头获取的视觉图像帧信息和非视觉传感器感知信息获取当前所在场景信息，将视觉图像帧信息和场景信息按照设定的格式进行封装，发送给资源服务器；资源服务器，进行图像识别、匹配，并将目标定位信息、渲染信息返回至系统客户端，客户端根据目标对象的坐标、尺寸信息进行目标跟踪配准，显示虚拟的教学内容。

上述技术方案中，所述目标跟踪配准采用基于机器视觉的ICMT算法进行对象跟踪将增强数据实时地叠加在跟踪目标对象上，达到虚实融合的效果。

上述技术方案中，系统客户端将封装的信息发送给资源服务器后，资源服务器的数据解析部分开始工作，按照设定格式进行数据解析，得到需要的目标定位信息和增强信息，将定位信息作为跟踪配准模块的输入，在跟踪配准模块中进行目标对象跟踪，并将目标对象所在区域作为虚实融合模块的输入，虚实融合模块将增强信息叠加到真实场景中，达到增强现实的效果。

上述技术方案中，系统客户端将封装好的场景信息通过FTTP连接发送给远程资源服务器。

上述技术方案中，系统客户端包括智能手机和平板电脑上安装的App软件，App软件包括识别模块、消息模块、模型管理模块和系统调度模块；识别模块包括识别资源加载模块、识别资源卸载模块、识别图像追踪模块和识别图像叠加模块；识别资源加载模块用于将应用程序所需的资源加载到内存，识别资源卸载模块用于对资源信息进行卸载，识别图像追踪模块将从识别资源加载模块获得序列图像数据，通过目标检测算法完成对跟踪目标的初始锁定，并提取跟踪目标的初始信息和初始跟踪模块，然后结合目标识别算法和目标跟踪算法对序列图像分析，提取目标特征，完成识别图像跟踪，并给出跟踪目标的位置参数；识别图像叠加模块，用于和图像中检测到的标志物匹配计算定位，通过模板匹配可以提高图像检测的效率，为增强现实的实时性提供了保障，通过计算图像中标志物的偏移和偏转，得到三维虚拟物体的全方位观察，模板匹配一般用于对应特定图片三维成像，设备通过扫描特定的图片，将图片中的标志位与预先存储的模板匹配，呈现三维虚拟模型；

消息模块用于接收信息并发送给各个模块；模型管理模块包括模型资源匹配模块和模型资源调度模块，模型资源匹配模块用于在识别图像中通过消息模块匹配相对应的模型信息；模型资源调度模块用于通过消息模块调用相对应的模型资源，加载到设备显示器里；系统调度模块包括场景管理模块和交互模块，场景管理模块用于构建基础的增强现实场景对象，管理3D模型的贴图、材质、各动画效果，便于数据传递到引擎获取并交互模块加以控制，交互模块用于UI及程序之间的信息发生交互。

本发明采用的智能终端以平板电脑、智能手机为载体，具有体积小、携带方便、性能强悍等优势，随着智能终端普及性越来越高，其携带的摄像头、传感器、GPS模块使得增强现实的广泛应用成为趋势，本发明结合增强现实技术、传感器技术、移动通信技术与调度技术等，实现在智能终端上的增强现实的应用。

本发明提供的仿真培训系统，在三维虚拟空间构建配网电气设备的三维模型和作业场景，采用增强现实技术，围绕配网作业的相关知识进行仿真，开发三维可视的、可交互的AR培训系统，可以将配网作业的技术规范、安全规范、专业知识创造性的融入到各个环节，实现配网员工培训的实用性、趣味性、针对性、系统性的统一，迅速提高配网员工的业务知识水平和安全生产的实际技能。

附图说明

图1为本发明系统框架示意图；

图2为本发明系统的运行结构图；

图3为本发明系统客户端开发的APP软件模块示意图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步的详细描述：

如图1-3所示，配网核心作业增强现实仿真培训系统，包括通过无线网络连接的系统客户端和后台服务器；系统客户端，包括支持Android系统和IOS系统的智能手机、平板电脑，用于接收来自于学员扫描的课件识别卡信息，显示虚拟的教学内容；后台服务器包括数据库服务器、AR服务器、和资源服务器；数据库服务器，用于对学员的信息进行储存；AR服务器，用于对课件识别卡对应信息进行管理；资源服务器，用于对学习资源进行管理，系统客户端与后台服务器的对交互信息进行处理；

系统客户端通过视觉摄像头获取的视觉图像帧信息和非视觉传感器感知信息获取当前所在场景信息，将视觉图像帧信息和场景信息按照设定的格式进行封装，发送给资源服务器；资源服务器，进行图像识别、匹配，并将目标定位信息、渲染信息返回至系统客户端，客户端根据目标对象的坐标、尺寸信息进行目标跟踪配准，显示虚拟的教学内容。

目标跟踪配准采用基于机器视觉的ICMT算法进行对象跟踪将增强数据实时地叠加在跟踪目标对象上，达到虚实融合的效果。

系统客户端将封装的信息发送给资源服务器后，资源服务器的数据解析部分开始工作，按照设定格式进行数据解析，得到需要的目标定位信息和增强信息，将定位信息作为跟踪配准模块的输入，在跟踪配准模块中进行目标对象跟踪，并将目标对象所在区域作为虚实融合模块的输入，虚实融合模块将增强信息叠加到真实场景中，达到增强现实的效果。

系统客户端将封装好的场景信息通过FTTP连接发送给远程资源服务器。

系统客户端包括智能手机和平板电脑上安装的App软件，如图3所示，App软件包括识别模块、消息模块、模型管理模块和系统调度模块；识别模块包括识别资源加载模块、识别资源卸载模块、识别图像追踪模块和识别图像叠加模块；识别资源加载模块用于将应用程序所需的资源加载到内存，识别资源卸载模块用于对资源信息进行卸载，识别图像追踪模块将从识别资源加载模块获得序列图像数据，通过目标检测算法完成对跟踪目标的初始锁定，并提取跟踪目标的初始信息和初始跟踪模块，然后结合目标识别算法和目标跟踪算法对序列图像分析，提取目标特征，完成识别图像跟踪，并给出跟踪目标的位置参数；识别图像叠加模块，用于和图像中检测到的标志物匹配计算定位，通过模板匹配可以提高图像检测的效率，为增强现实的实时性提供了保障，通过计算图像中标志物的偏移和偏转，得到三维虚拟物体的全方位观察，模板匹配一般用于对应特定图片三维成像，设备通过扫描特定的图片，将图片中的标志位与预先存储的模板匹配，呈现三维虚拟模型；消息模块用于接收信息并发送给各个模块；模型管理模块包括模型资源匹配模块和模型资源调度模块，模型资源匹配模块用于在识别图像中通过消息模块匹配相对应的模型信息；模型资源调度模块用于通过消息模块调用相对应的模型资源，加载到设备显示器里；系统调度模块包括场景管理模块和交互模块，场景管理模块用于构建基础的增强现实场景对象，管理3D模型的贴图、材质、各动画效果，便于数据传递到引擎获取并交互模块加以控制，交互模块用于UI及程序之间的信息发生交互。

系统的运行结构如图2所示，系统分为3个层次：用户层、业务逻辑层、网络层。其中用户层主要负责与用户进行交互；业务逻辑层主要负责处理本系统的所有业务处理，包括场景信息的获取、信息的封装与解析、目标对象的跟踪配准以及增强现实后台服务平台，得到目标对象的定位信息和增强信息，并通过网络连接接收这些数据信息。

以某项目实施为例，具体说明本发明的实现步骤：

1)、收集电气设备的文字材料：获取相关电气设备及仪器的文字信息（如双重编号、基础信息、工作原理、图纸、说明书等）。

2)、收集电气设备及仪器的影像资料：主要收集电气设备及仪器的运维、操作及检修过程相关的视频材料

3)、对电气设备的三维激光扫描：前两种方式收集的资料不足以作为建模的依据，需通过现场拍照和三维扫描测绘获得电气设备的外观和精确尺寸信息。

三维激光扫描技术能够准确获得设备尺寸及异形或复杂结构的三维激光影像（点云数据），通过数据处理可很方便的用于制作精准的三维模型。

4)、内容分析：对收集回来的项目各项资料进行分析，理整。包括照片的归类，三维扫描点云数据的拼接，降噪处理与点云抽稀，点云分割，输出，做好三维建模前的准备。

5)、点云拼接：全景三维激光扫描点云拼接以球形或平面标靶特征拟合和软件点云自动最佳拟合两种方式完成，采用标靶特征拼接时应不少于三个标靶点，且拼接后标靶同名点内符合精度不大于3mm,整理拼接误差＜100mm，单个模型对象的精度偏差≤20mm。

6)、点云降噪与点云抽稀：点云数据中存在偏离目标物的孤立点时，应采用滤波或手动方法进行去除。数据采集时相邻扫描站点之间存在公共区域，使得成果数据有冗余，拖慢数据运行速度。为生成最优模型，需在保证模型精度同时将点云数据进行抽稀，点云数据抽稀应满足不影响目标物特征识别与提取的情况下进行。

7)、点云分割：点云原始文件格式为pts格式，导入ReCap或其他相关软件转换成res或OBJ格式用于模型制作。对于单个设备的点云，需要从整体的场景扫描点云文件中分割出来，分割时与设备无关的点要全部删除干净。保留下来的点云所涵盖的部分均需要建模，以便模型制作后对模型进行检测时，模型和点云全方位的位置匹配。

8)、点云数据输出：点云数据作为建模参考，导入建模软件之前需进行格式设置与转换。扫描设备中的点云应导出为.asc、.ply或.obj数据格式以供Geomagic Studio，Geomagic Design等进行建模和分析。点云处理软件可输出为.ply、.obj、.pts或.xyz数据格式以提供给CAD、3DSMax、Bentley等软件进行建模。整理项目的任务工作量及计划安排，分配到部门进行制作。前期设计主要对课件的制作所需资料进行调研与收资；进行需求分析；逻辑梳理，将电力系统语言转换为三维交互语言。

Claims (4)

1.一种配网核心作业增强现实仿真培训系统，其特征在于包括：通过无线网络连接的系统客户端和后台服务器；系统客户端，包括支持Android系统和IOS系统的智能手机、平板电脑，用于接收来自于学员扫描的课件识别卡信息，显示虚拟的教学内容；后台服务器包括数据库服务器、AR服务器、和资源服务器；数据库服务器，用于对学员的信息进行储存；AR服务器，用于对课件识别卡对应信息进行管理；资源服务器，用于对学习资源进行管理，系统客户端与后台服务器对交互信息进行处理；

所述系统客户端通过视觉摄像头获取的视觉图像帧信息，通过非视觉传感器获取当前所在场景信息，将视觉图像帧信息和场景信息按照设定的格式进行封装，发送给资源服务器；资源服务器，进行图像识别、匹配，并将目标定位信息、渲染信息返回至系统客户端，客户端根据目标对象的坐标、尺寸信息进行目标跟踪配准，显示虚拟的教学内容；

系统客户端包括智能手机和平板电脑上安装的App软件，App软件包括识别模块、消息模块、模型管理模块和系统调度模块；识别模块包括识别资源加载模块、识别资源卸载模块、识别图像追踪模块和识别图像叠加模块；识别资源加载模块用于将应用程序所需的资源加载到内存，识别资源卸载模块用于对资源信息进行卸载，识别图像追踪模块将从识别资源加载模块获得序列图像数据，通过目标检测算法完成对跟踪目标的初始锁定，并提取跟踪目标的初始信息和初始跟踪模块，然后结合目标识别算法和目标跟踪算法对序列图像分析，提取目标特征，完成识别图像跟踪，并给出跟踪目标的位置参数；识别图像叠加模块，用于和图像中检测到的标志物匹配计算定位，通过模板匹配可以提高图像检测的效率，为增强现实的实时性提供了保障，通过计算图像中标志物的偏移和偏转，得到三维虚拟物体的全方位观察，模板匹配一般用于对应特定图片三维成像，设备通过扫描特定的图片，将图片中的标志位与预先存储的模板匹配，呈现三维虚拟模型；

消息模块用于接收信息并发送给各个模块；

模型管理模块包括模型资源匹配模块和模型资源调度模块，模型资源匹配模块用于在识别图像中通过消息模块匹配相对应的模型信息；模型资源调度模块用于通过消息模块调用相对应的模型资源，加载到设备显示器里；

系统调度模块包括场景管理模块和交互模块，场景管理模块用于构建基础的增强现实场景对象，管理3D模型的贴图、材质、各动画效果，便于数据传递到引擎获取并交互模块加以控制，交互模块用于UI及程序之间的信息发生交互。

2.根据权利要求1所述的配网核心作业增强现实仿真培训系统，其特征在于：所述目标跟踪配准采用基于机器视觉的ICMT算法进行对象跟踪将增强数据实时地叠加在跟踪目标对象上，达到虚实融合的效果。

3.根据权利要求1所述的配网核心作业增强现实仿真培训系统，其特征在于：系统客户端将封装的信息发送给资源服务器后，资源服务器的数据解析部分开始工作，按照设定格式进行数据解析，得到需要的目标定位信息和增强信息，将定位信息作为跟踪配准模块的输入，在跟踪配准模块中进行目标对象跟踪，并将目标对象所在区域作为虚实融合模块的输入，虚实融合模块将增强信息叠加到真实场景中，达到增强现实的效果。

4.根据权利要求3所述的配网核心作业增强现实仿真培训系统，其特征在于：系统客户端将封装好的场景信息通过FTTP连接发送给远程资源服务器。