CN117746701A - 一种基于增强现实的煤机装备培训系统及培训方法 - Google Patents

Abstract

本发明属于增强现实领域，具体是一种基于增强现实的煤机装备培训系统及培训方法。包括：云服务器系统，用于承担煤机装备培训系统部署，三维模型库储存与管理、理论知识文件存储服务；增强现实系统，用于对待培训的煤机装备模型进行三维建模；三维场景系统，用于构建煤机装备所处的巷道模型；视觉系统，用于三维模型的运动跟踪以及手势命令的识别；模拟操作系统，用于模拟巷道作业环境，记录学员的各项步骤和锻炼学员的操作能力并进行考核打分，直至成绩合格。本发明将虚拟场景与现实操作相结合，人机交互性，沉浸感强，能够提高学员培训兴趣。

Description

一种基于增强现实的煤机装备培训系统及培训方法

技术领域

本发明属于增强现实领域，具体是一种基于增强现实的煤机装备培训系统及培训方法。

背景技术

我国拥有丰富的煤炭资源，目前，我国的煤炭开采方式以井工开采为主。煤机装备具有大型化，复杂化等特点，煤矿井下环境特殊，具有粉尘、水雾、瓦斯等等特点。安全，熟练的使用煤炭机械装备是每一个煤矿作业人员必备的技能，然而在现阶段，我培养煤矿工人的方式是先进行视频，幻灯片教学，而后直接进行井下实操。这种培训方式虽然一定程度上能满足监管人员和作业人员的需求，但培训内容少，无法涵盖煤矿井下作业等场景，在实践经验不足的情况下进入煤矿井下实操，井下环境复杂多变，水雾、粉尘、瓦斯浓度等因素都时刻干扰着工人对状况的判断，工作效率大大降低，甚至做出错误操作而引发危险。

发明内容

本发明为了解决现有煤机装备培训内容少、培训效果差、学员体验感差等问题，提供了一种基于增强现实的煤机装备培训系统及培训方法。

本发明采取以下技术方案：一种基于增强现实的煤机装备培训系统，包括：

云服务器系统，用于承担煤机装备培训系统部署，三维模型库储存与管理、理论知识文件存储服务；

增强现实系统，用于对待培训的煤机装备模型进行三维建模；

三维场景系统，用于构建煤机装备所处的巷道模型；

视觉系统，用于三维模型的运动跟踪以及手势命令的识别；

模拟操作系统，用于模拟巷道作业环境，记录学员的各项步骤和锻炼学员的操作能力并进行考核打分，直至成绩合格。

在一些实施例中，三维场景系统中巷道重建的具体过程为：利用三维扫描设备将激光发射至巷道墙面，通过接收返回的信号并进行采样、处理、计算将三维信息数字化输出成点云数据；点云数据经过滤波、平滑、法向等预处理；使用泊松重建曲面，实现巷道的三维重建。

在一些实施例中，视觉系统包括对工作台的识别、对按键和摇杆的识别以及对手势的识别。

在一些实施例中，视觉系统的识别过程包括：

通过特征提取进行识别；

客户端AR智能眼镜的安卓程序向云端服务器发送HTTP GET请求；

云服务器接收到请求，并在 HTTP 头中添加 "Content-Type：text/event-stream"；

云服务器系统建立一个持续的HTTP连接，向客户端AR智能眼镜的安卓程序发送数据，直至连接关闭；系统从云服务器系统的数据库获取到手势图片，进行比对处理。

在一些实施例中，模拟操作系统的工作流程包括：

获取煤机装备模型、巷道地形及环境数据；

通过增强现实技术在工作台搭建模拟设备、巷道环境；

语音提示操作；

设备、环境状态更新；

记录操作考核打分。

一种培训方法，基于增强现实的煤机装备培训系统，

包括：

S1：佩戴AR智能眼镜观影式学习煤机装备知识；

S2：获取煤机装备模型参数，获取掘进机的相关参数和运动效果，获取巷道的地形数据，获取空间环境数据；

S3：基于获取的数据，工作台上搭建出三维虚拟掘进机模型，构建出巷道模型，环境状态动态监测栏；

S4：视觉系统捕捉学员手势动作，实现虚拟角色在三维场景中的作业任务；

S5：记录操作过程，对本次模拟操作进行考核打分，合格即可进行后续设备的模拟操作，不合格则需要重复训练本环节。

在一些实施例中，S1包括，AR智能眼镜访问云服务器系统，云服务器系统上导入包括的基础知识讲解视频，根据视觉系统识别到手势，选择播放、暂停视频以及放大缩小视频。

在一些实施例中，S4包括，

视觉系统识别到工作台，在工作台上加载出掘进机在巷道的透视模型、桌面的虚拟按键以及动态变化的环境状态动态监测栏；

根据语音提示，首先按下标写着“开启”的虚拟按键，按下之后，耳机会传出掘进机待机振动的声音；如果长时间未操作，系统对需要按下的按键高亮，提示尽快完成此项操作；

根据语音提示，按下对应功能按键，设备完成对应操作；

未能按下正确按键时，系统响起警报声，环境中灯光闪烁，学员扣除此项分数。

与现有技术相比，本发明具有以下有益效果：

本发明专利提出的基于增强现实的煤机装备培训系统，将虚拟场景与现实操作相结合，人机交互性，沉浸感强，能够提高学员培训兴趣，另外，开发煤机装备培训系统可以针对不同场景进行自主编辑，提高系统的适用性。

本发明专利提出的基于增强现实的煤机装备培训系统，模型文件经过降维后储存在云服务器端，响应速度快，调取方式简单。基于视觉系统的手势识别轻松操控设备，适用于煤机装备的快速体验。

本发明专利提出了一种煤机装备培训的新方法，利用基于增强现实技术来提高作业人员的安全意识和操作水平，减少煤炭开采事故的发生。

本发明专利提出的基于增强现实的煤机装备培训系统，将虚拟场景与现实操作相结合，人机交互性，沉浸感强，能够提高学员培训兴趣，另外，开发煤机装备培训系统可以针对不同工作内容编辑场景，提高系统的适用性。

附图说明

图1为基于增强现实的煤机装备培训系统模块划分结构图；

图2为基于增强现实的煤机装备培训系统整体设计流程图；

图3为本发明实施例中泊松曲面重建原理示意图；

图4为基于增强现实的煤机装备培训系统视觉系统结构图；

图5为本发明实施例操作流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于增强现实的煤机装备培训系统，包括：云服务器系统，增强现实系统，三维场景系统，视觉系统，模拟操作系统其中：

云服务器系统

云服务器系统指部署在云端，可以通过网络连接的高性能计算机群，对外直接提供服务。如图2所示，主要用于承担煤机装备培训系统部署，三维模型库储存与管理、理论知识文件等存储服务；场景自定义编辑与实时渲染、图像识别等计算任务。三维场景主要包括煤岩石、粉尘、瓦斯、水雾、锚杆、巷道铺网等。云服务器的搭建过程具体为：选择本地服务器；安装Ubuntu22.4.1操作系统、安装docker；在docker中使用“sudo docker pullnextcloud”命令拉去nextcloud，浏览器输入IP+9002进入nextcloud，其中9002为设置的端口号，进入到nextcloud容器；docker安装MySQL容器，使用“sudo docker run -itd --namemysql -p 3307:3306 -eMYSQL_ROOT_PASSWORD=123456 mysql”命令映射容器服务的 3306端口到宿主机的 3307 端口，外部主机可以直接通过 宿主机ip:3307 访问到 MySQL 的服务，并设置MySQL的密码为123456；配置nextcloud连接mysql数据库，浏览器回到nextcloud配置页面，数据库选择MySQL，主机名填写IP:端口。最后，系统可以在局域网下通过内网IP访问nextcloud下的MySQL数据库，获取项目内的数据内容。

增强现实系统

主要用于煤机装备的建模。现有的机械装备的模型大多是CAD、SOLIDWORKS等软件编辑的文件，此类软件专注于工程系统和装配体可购买CAM和虚拟仿真模块无法正确导入Unity3D的项目中。而Blender不仅仅是3D建模软件，它还可以创建动画、视觉效果交互式3D应用程序、VR场景和AR场景。另外，原模型面数多内存占用大，在运行过程中极其消耗系统的性能，严重影响学员的体验，需要进行预处理。本文采用的模型降维的策略提升系统性能。具体的是根据煤机装备的物理实体或者机械模型降维，在SOLIDWORKS软件中打开存有煤机装备模型prt格式的文件；将其另存为stp格式的模型，单位设置为米，为保留细节分辨率选择精细；在blender中打开stpimport插件导入准备好的stp格式模型；在blender中选中模型添加修改器选择精简，切换成反细分，迭代次数选择1得到精简的模型；为实现逼真的视觉效果，机械模型需要添加材质及纹理。最后导出适配于unity的FBX格式文件。

三维场景系统

主要用于巷道地形环境的3维重建。巷道3维重建的具体过程为：利用三维扫描设备将激光发射至巷道墙面，通过接收返回的信号并进行采样、处理、计算等将三维信息数字化输出成点云数据；点云数据经过滤波、平滑、法向等预处理；使用泊松重建曲面，实现巷道的3维重建。点云表示的是物体表面的位置，法向量代表了内外的方向，考虑在三维空间内给定物体M，其边界为/>，定义指示函数/>是三维空间/>到[0,1]为满足物体M的为1，其余为0。点云数据输入S为物体边界/>的采样，/>在物体边界/>的正交方向存在0到1的不连续性，需要平滑滤波函数/>进行处理。

(1)

其中*为卷积操作，为表面处法向量，平滑滤波函数/>不能过大以产生过度平滑误差，也不能过小而使得离样本点较远时插值不可靠。

由于点云数据的离散型，物体表面法向并不对每一点已知，因此需要进行分块近似。

(2)

s是初始点云数据集合S的一点，和/>是s中的位置信息和法向量信息，/>是安按照空间分布划分的s附近的物体表面区域，彼此不重叠，且/>，/>为其对应的面积。由于平滑滤波函数/>的局部性，平滑后的结果仅为小范围内的样本信息的加权和。通过离散近似得到了/>，则只需求解的问题为/>。

视觉系统

主要用于三维模型的运动跟踪以及手势命令的识别。本实施例中，Vuforia中使用Speeded Up Robust Features（SURF，加速稳健特征）特征提取算法实现手势云识别，云识别的配置具体为：项目中的CloudRecognition预制体填入可用的Client Access Keys，CloudRecognition的脚本文件与服务器进行关联。在进行识别或运动跟踪任务时，服务器端主要使用的是javascript EventSource技术，工作原理为：客户端向服务器端发送HTTPGET请求；服务器接收到请求，并在 HTTP 头中添加 "Content-Type：text/event-stream"；服务器建立一个持续的HTTP连接，向客户端发送数据，直至连接关闭。系统从服务器端获取到手势图片，根据算法进行比对处理。SURF特征提取算法构建图像中每个像素点的Hessian矩阵：

(3)

其中，/>，/>为高斯滤波后的图像在x和y方向的二阶导数。

(4)

根据Hessian矩阵得到变换图像中。经过hessian矩阵处理过的每个像素点与其3维领域的26个点进行大小比较，如果它是这26个点中的最大值或者最小值，则保留下来，作为的特征点。特征点的匹配通过计算两组特征点的欧氏距离实现的。欧氏距离越小，则相似度越高，当欧式距离小于设定阈值时，可以判定为匹配成功。

模拟操作系统

基于增强现实的煤机装备模拟操作系统是主要用于模拟巷道作业环境，通过三维虚拟场景和基于增强现实的煤机装备实体培训模型实物相结合，记录学员的各项步骤和锻炼学员的操作能力并进行考核打分，直至成绩合格，实现更好的学习效果。包括学员对巷道作业的操作以及对风险、隐患的识别，可与虚拟场景中的设备和物体进行实时交互。煤炭开采三维场景中的风险，依靠学员的经验知识进行判断，常见的风险如作业人员高处坠落、瓦斯浓度异常现实导致瓦斯中毒、未正确佩戴安全带安全帽、煤机装备操作不规范、工作面未正确截割等。

基于增强现实的煤机装备模拟操作系统作业流程如图2所示：

（1）理论知识学习，学员佩戴AR智能眼镜观影式学习煤机装备知识。

（2）模拟操作学习。获取煤机装备模型参数，获取掘进机的相关参数和运动效果，获取巷道的地形数据，获取空间环境数据；

（3）基于上述获取的数据，通过增强现实技术在工作台上搭建出三维虚拟掘进机模型，构建出巷道模型，环境状态动态监测栏；

（4）视觉系统捕捉学员手势动作，实现虚拟角色在三维场景中的作业任务。

（5）记录操作过程，对本次模拟操作进行考核打分，合格即可进行后续设备的模拟操作，不合格则需要重复训练本环节。

实施案例：

（1）掘进机截割作业

首先，依托于谷歌AR眼镜访问云端服务器，服务器上导入包含的基础知识讲解视频，根据视觉系统识别到手势，选择播放、暂停视频、放大缩小视频。

视觉系统识别到工作台，在现实空间上加载出巷道的透视模型和掘进机3维模型，学员身处巷道环境内，桌面的操作面板有虚拟按键，动态变化的环境状态动态监测栏。

作业前，学员需检查个人安全防护设备是否齐全，安全帽是否正确佩戴；检查巷道环境如瓦斯浓度，粉尘浓度是否满足作业要求，仪器仪表指数是否正常显示；检查煤机装备的煤矿安全标志（MA、KA）是否齐全，未取得煤矿安全标志的矿用设备不能使用。

作业过程中，根据语音提示，首先需要按下标写着“开启”的虚拟按键，按下之后，耳机会传出掘进机待机振动的声音。如果长时间未操作，系统会对需要按下的按键高亮，提示尽快完成此项操作。

根据语音提示，按下对应功能按键，煤机装备完成对应操作，例如按下“前进”按键，掘进机向前行进。

未能按下正确按键时，系统会响起警报声，环境中灯光闪烁，学员扣除此项分数。在煤矿井下，每一步误操作都有可能发生危害，在AR培训系统中设置了分数机制，学员们只有专注于操作过程，才能将安全隐患杜绝在培训时期。最后，系统会提示此项操作的正确步骤以及处理突发情况的措施，以此培养学员的危机意识和处理突发情况的能力。

切割臂切割煤层的过程中，煤层厚度减少，煤块从上方落下，AR眼镜调取环境数据库，通过渲染的方式显示出来。煤块掉落激起的粉尘通过Unity3D的环境特效实现，链接数据库中粉尘，水雾浓度，环境的水雾等特效也会随之加深或减弱。

煤矿粉尘浓度过大，需要关闭截割头，按照语音提示关闭截割按钮，按下冷却灭尘系统对环境进行除尘操作。往复循环上述步骤，直至完成煤层的第一轮切割。

对本次模拟实操进行考核打分，操作过程中如果出现错误操作，不按照正规步骤操作，均予以不合格，正确，正规使用煤机装备，是对个人，集体安全的保障，养成良好的操作习惯，这是每一个初学者真正需要学习的事。这一项考核合格的，可以学习其他设备的使用，直至完成所有培训内容，对煤机装备有了一定的经验，可以进行下一步的训练。

工作流程：

理论知识学习，学员佩戴AR智能眼镜观影式学习煤机装备知识。模拟操作学习，获取煤机装备模型参数，获取掘进机的相关参数和运动效果，获取巷道的地形数据，获取空间环境数据；基于上述获取的数据，通过增强现实技术在工作台上搭建出三维虚拟掘进机模型，构建出巷道模型，环境状态动态监测栏；视觉系统捕捉学员手势动作，实现虚拟角色在三维场景中的作业任务。记录操作过程，对本次模拟操作进行考核打分，合格即可进行后续设备的模拟操作，不合格则需要重复训练本环节。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种基于增强现实的煤机装备培训系统，其特征在于，包括：

云服务器系统，用于承担煤机装备培训系统部署，三维模型库储存与管理、理论知识文件存储服务；

增强现实系统，用于对待培训的煤机装备模型进行三维建模；

三维场景系统，用于构建煤机装备所处的巷道模型；

视觉系统，用于三维模型的运动跟踪以及手势命令的识别；

模拟操作系统，用于模拟巷道作业环境，记录学员的各项步骤和锻炼学员的操作能力并进行考核打分，直至成绩合格。

2.根据权利要求1所述的基于增强现实的煤机装备培训系统，其特征在于，所述三维场景系统中巷道重建的具体过程为：利用三维扫描设备将激光发射至巷道墙面，通过接收返回的信号并进行采样、处理、计算将三维信息数字化输出成点云数据；点云数据经过滤波、平滑、法向等预处理；使用泊松重建曲面，实现巷道的三维重建。

3.根据权利要求1所述的基于增强现实的煤机装备培训系统，其特征在于，所述视觉系统包括对工作台的识别、对按键和摇杆的识别以及对手势的识别。

4.根据权利要求3所述的基于增强现实的煤机装备培训系统，其特征在于，所述视觉系统的识别过程包括：

通过特征提取进行识别；

客户端AR智能眼镜的安卓程序向云服务器端发送HTTP GET请求；

云服务器接收到请求；

云服务器系统建立一个持续的HTTP连接，向客户端AR智能眼镜的安卓程序发送数据，直至连接关闭；系统从云服务器系统的数据库获取到手势图片，进行比对处理。

5.根据权利要求1所述的基于增强现实的煤机装备培训系统，其特征在于，所述模拟操作系统的工作流程包括：

获取煤机装备模型、巷道地形及环境数据；

通过增强现实技术在工作台搭建模拟设备、巷道环境；

语音提示操作；

设备、环境状态更新；

记录操作考核打分。

6.一种培训方法，采用如权利要求1或2或3或4或5所述的基于增强现实的煤机装备培训系统，其特征在于，

包括：

S1：佩戴AR智能眼镜观影式学习煤机装备知识；

S2：获取煤机装备模型参数，获取掘进机的相关参数和运动效果，获取巷道的地形数据，获取空间环境数据；

S3：基于获取的数据，工作台上搭建出三维虚拟掘进机模型，构建出巷道模型，环境状态动态监测栏；

S4：视觉系统捕捉学员手势动作，实现虚拟角色在三维场景中的作业任务；

S5：记录操作过程，对本次模拟操作进行考核打分，合格即可进行后续设备的模拟操作，不合格则需要重复训练本环节。

7.根据权利要求6所述的培训方法，其特征在于，所述S1包括，AR智能眼镜访问云服务器系统，云服务器系统上导入包括的基础知识讲解视频，根据视觉系统识别到手势，选择播放、暂停视频以及放大缩小视频。

8.根据权利要求6所述的培训方法，其特征在于，所述S4包括，

视觉系统识别到工作台，在工作台上加载出掘进机在巷道的透视模型、桌面的虚拟按键以及动态变化的环境状态动态监测栏；

根据语音提示，首先按下标写着“开启”的虚拟按键，按下之后，耳机会传出掘进机待机振动的声音；如果长时间未操作，系统对需要按下的按键高亮，提示尽快完成此项操作；

根据语音提示，按下对应功能按键，设备完成对应操作；

未能按下正确按键时，系统响起警报声，环境中灯光闪烁，学员扣除此项分数。