CN118015890A - 一种实景复现的训练讲评系统、方法及设备 - Google Patents
一种实景复现的训练讲评系统、方法及设备 Download PDFInfo
- Publication number
- CN118015890A CN118015890A CN202410172696.XA CN202410172696A CN118015890A CN 118015890 A CN118015890 A CN 118015890A CN 202410172696 A CN202410172696 A CN 202410172696A CN 118015890 A CN118015890 A CN 118015890A
- Authority
- CN
- China
- Prior art keywords
- training
- training process
- live
- action
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 335
- 238000000034 method Methods 0.000 title claims abstract description 224
- 230000008569 process Effects 0.000 claims abstract description 205
- 238000011156 evaluation Methods 0.000 claims abstract description 56
- 238000004088 simulation Methods 0.000 claims abstract description 51
- 230000015654 memory Effects 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims description 19
- 230000009471 action Effects 0.000 claims description 18
- 230000006854 communication Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 5
- 229910052760 oxygen Inorganic materials 0.000 description 5
- 239000001301 oxygen Substances 0.000 description 5
- 239000004509 smoke generator Substances 0.000 description 4
- 238000012552 review Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000010977 unit operation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于模拟训练教学领域，具体涉及了一种实景复现的训练讲评系统、方法及设备，旨在解决现有的训练教学系统仅通过教员的记忆和笔录对学员进行评价，学习训练效率较低的问题。本发明包括：基于训练实景构建虚拟环境模型；采集训练过程视频、训练过程定位信息、训练过程声音记录和训练过程设备操作记录；基于所述训练过程视频和过程定位信息通过姿态估计算法获取学员的姿态序列，将所述姿态序列与过程定位信息关联和训练过程声音记录和训练过程设备操作记录，获得第二模拟训练过程模型；通过VR或AR展示第二模拟训练过程模型及训练评价。本发明通过VR或AR设备使学员能够在训后从多个角度反复查看训练过程及训练评价，提高训练效率。
Description
技术领域
本发明属于模拟训练教学领域，具体涉及了一种实景复现的训练讲评系统、方法及设备。
背景技术
机组是保障飞行运行安全的人员，机组人员须完成必需的训练，确保个人资质符合飞行运行要求。客舱模拟训练设备是机组实施规章所要求的训练时使用的重要设备。目前客舱训练设备仅供教学员实施训练和教学活动，没有课后评价系统。教员根据笔录和记忆对于学员进行考核评价，学员无法课后回看自己的操作和表现。因此，有必要设计一套机组训练课后讲评系统，能够记录训练全程供课后查阅，并为教员考核提供更加客观的依据和参考；为学员提供一项有利的重温和自我纠错机制；结合系统自动分析功能，帮助训练机组进行总结，从而有效的提高训练质量、提升训练机组飞行技能、降低飞行安全风险。
发明内容
为了解决现有技术中的上述问题，即现有的训练教学系统仅通过教员的记忆和笔录对学员进行评价，且学员仅能通过看回放录像进行回顾，以至于学习训练效率较低的问题，本发明提供了一种实景复现的训练讲评系统，所述系统包括：
环境构建模块，配置为基于训练实景构建虚拟环境模型；
过程采集模块，配置为采集训练过程视频、训练过程定位信息、训练过程声音记录和训练过程设备操作记录；
学员数据模块，配置为将所述姿态序列与过程定位信息关联获得关联信息，基于关联信息通过姿态估计算法获取学员的姿态序列，并将所述关联信息添加到所述虚拟环境模型中，获得第一模拟训练过程模型；
记录信息添加模块，配置为向第一模拟训练过程模型中添加所述训练过程声音记录和训练过程设备操作记录，获得第二模拟训练过程模型；
实景复现模块，配置为通过VR或AR展示第二模拟训练过程模型及训练评价。
进一步的，所述将第一模拟训练过程模型，其获得方法包括：
根据分工和编号为参训人员创建虚拟形象，使虚拟形象执行姿态序列并将虚拟形象根据过程定位信息添加到虚拟环境模型中，获得第一模拟训练过程模型。
进一步的，所述姿态估计算法为Openpose算法。
进一步的，所述通过姿态估计算法获取学员的姿态序列，包括通过多人训练场景姿态提议网络实现，具体为：
步骤A1，将所述训练过程视频逐帧标准化为设定尺寸；
步骤A2，将标准化后的视频帧输入所述多人训练场景姿态提议网络，通过CNN的前向传播方式，获得人物实例RP、人物部位RP和肢体检测RP；
步骤A3，基于所述人物实例RP、人物部位RP和肢体检测RP分别通过非极大值抑制算法处理并合并为单个个人姿态数据和姿态评估建议。
进一步的，所述多人训练场景姿态提议网络，通过多人训练场景姿态提议损失函数LPP训练：
其中，i表示将视频帧划分的网格的序号，k表示肢体部位的序号，k＝0表示为一个完整的人体，R和I表示不同的二进制随机变量，表示第i个网格负责检测第k个肢体部位的概率标签值，/>表示第i个单元格是否负责第k个part的检测(0,1)变量，p(I|R,k,i)表示第i个网格预测的第k个肢体部位与真实区域的IoU，/>表示边界框的中心相对于当前网格的边界的距离，/>表示真实情况下边界框的中心相对于当前网格的边界的距离，/>表示表示边界框的宽、高，/>表示表示真实情况下边界框的宽、高，j表示与i不同的另一个网格的序号，/>第i个单元格是否负责第k个部位的检测的(0,1)变量为根据当前特殊场景所加入的损失变量，/>表示第i个单元格是否负责第k1个部位的检测的(0,1)变量为根据当前特殊场景所加入的损失变量，/>表示第i个单元格是否负责第k2个部位的检测的(0,1)变量为根据当前特殊场景所加入的损失变量，G表示表示将视频帧划分的网格的总数，G＝{1,...,H×W}，H表示标准化后的视频帧的高，W表示标准化后的视频帧的宽，K表示需要检测的部位的数量，k1、k2表示不同的两个关节，Δx∈X表示从该关节延伸的向量，x表示关节所处位置的横坐标，y表示关节所处位置的纵坐标，L表示能被检测到的肢体部位，/>表示关节k1与k2的连接是肢体的概率；λresp表示负责检测物体的置信度误差，λIoU表示IOU损失误差，λcoor.表示中心定位误差，λsize表示宽高定位误差，λlimb表示肢体识别分类误差
进一步的，所述虚拟环境模型，包括添演训场景的单元，配置为基于实训场景中的任务内容及任务时间，在虚拟环境模型中添加动态演训场景。
进一步的，所述记录信息添加模块，具体包括：基于多个声音采集设备获取到的训练过程声音记录，确定声音记录发出者并分离出环境声音，将训练过程声音记录添加到第一模拟训练过程模型中；
基于训练过程设备操作记录，将实训场景中发生的控制信息传递路径、通信路径和设备操作引起的训练实景改变添加到第一模拟训练过程模型中；
获得第二模拟训练过程模型。
进一步的，所述展示第二模拟训练过程模型及训练评价，配置为预先构建规范训练过程模型，并为规范训练过程模型标记多个维度的关键阶段；比对关键阶段对应的第二模拟训练过程模型的训练过程视频、训练过程定位信息、训练过程声音记录和训练过程设备操作记录，生成多个维度的训练评价；
将所述训练评价，在第二模拟训练过程模型的发生时间及对应的学员位置突出显示。
进一步的，所述训练评价，包括执行方面评价和接收方面评价；
所述执行方面评价，包括基于姿态序列、训练过程声音记录和训练过程设备操作记录判断学员在关键阶段是否执行设定的动作，和设定的动作的执行程度；
所述接收方面评价，包括基于训练过程声音记录和训练过程设备操作记录，判断学员发出的声音记录的判别率和训练实景改变程度。
进一步的，若通过VR展示第二模拟训练过程模型及训练评价，则在所述第二模拟训练过程模型中确立虚拟视角，根据训练评价将整个训练过程划分为多个训练项目，通过列表的形式在第二模拟训练过程模型的时间轴上关联，并突出显示各学员在各训练项目中的训练评价；
教员可通过控制时间轴或选中训练项目的方式展示第二模拟训练过程模型及训练评价，完成训练过程的实景复现。
进一步的，若通过AR展示第二模拟训练过程模型及训练评价，则通过AR设备在实景环境中进行位置校准，在训练实景中复现第二模拟训练过程模型中虚拟环境模型外的部分，完成训练过程的实景复现。
本发明的另一方面，提出了一种实景复现的训练讲评方法，所述方法包括：
步骤S1，基于训练实景构建虚拟环境模型；
步骤S2，采集训练过程视频、训练过程定位信息、训练过程声音记录和训练过程设备操作记录；
步骤S3，将所述姿态序列与过程定位信息关联获得关联信息，基于关联信息通过姿态估计算法获取学员的姿态序列，并将所述关联信息添加到所述虚拟环境模型中，获得第一模拟训练过程模型；
步骤S4，向第一模拟训练过程模型中添加所述训练过程声音记录和训练过程设备操作记录，获得第二模拟训练过程模型；
步骤S5，通过VR或AR展示第二模拟训练过程模型及训练评价。
本发明的第三方面，提出了一种电子设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的一种实景复现的训练讲评系统。
本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的一种实景复现的训练讲评系统。
本发明的有益效果：
(1)本发明通过自动采集和处理多元信号，将图像、声音、操作状态和操作记录，按时间整合为模拟图像和文字记录进行展示并自动标记处典型动作，有利教员和学院的训后复盘，提高训练质量。
(2)本发明通过将采集到的信息加入到虚拟训练模型中，并通过VR或AR设备使学员能够在训后从多个角度反复查看训练过程及训练评价，提高训练效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明实施例中实景复现的训练讲评系统的结构框图；
图2是本发明实施例中实景复现的驯良讲评系统的硬件框图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了更清晰地对本发明一种实景复现的训练讲评系统进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明第一实施例的一种实景复现的训练讲评系统，各功能模块详细描述如下：
环境构建模块，配置为基于训练实景构建虚拟环境模型；
在本实施例中，所述虚拟环境模型，包括添演训场景的单元，配置为基于实训场景中的任务内容及任务时间，在虚拟环境模型中添加动态演训场景。
在实训中，会预先布置一个机舱或客舱场景的训练实景，该训练实景包括多个角度的摄像头、氧气控制面板、音频控制面板及识别记录控制器、烟雾发生器及其识别记录控制器、站位和舱门状态识别记录控制器和内化计算机，并通过交换机进行整合。交换机与服务器端进行连接，并支持将服务器端的处理结果发送至多个讲评计算机。
在训练实景中，通过烟雾发生器、温度控制器、振动发生器和支撑装置，在模拟客舱中模拟起飞、颠簸、陆地迫降、水上迫降、舱外大火、舱门打开和舱门关闭任务。教员可通过教员台计算机设置场景和科目并保留录屏数据。并支持将训练实景中模拟的状况在虚拟环境模型中进行展现。
过程采集模块，配置为采集训练过程视频、训练过程定位信息、训练过程声音记录和训练过程设备操作记录；
本实施例中采集的训练过程视频为通过多个图像采集设备获取的多个视角的图像，获取每一位学员在训练工程中进行的所有动作，并且通过多个视角的图像能够完整反应学员各个阶段的任务指定动作完成情况。
本实施例中的过程声音记录，包括学员的喊话信息和环境声音，并通过布设于不同位置的声音传感器记录每个学员的喊话信息，以便后续通过语音识别对学员的喊话正确性和喊话可辨识度进行评分。
本实施例中的训练过程设备操作记录，包括红外传感器、灭火状态、舱门状态、氧气面板、音频面板、飞行员话机使用记录、乘务员话机使用记录、舱门开关和教员台操作录屏的操作状态和操作记录。操作状态和操作记录，以视频、模拟图像、标识和文字的形式保存。
需要采集的操作状态和操作记录包括：访问内话计算机、采集内话数据的接口程序；驾驶舱内氧气面板、音频面板开关位置记录的捕捉器；记录火灾/烟雾模拟装置烟雾发生器开断的捕捉器；与红外站位传感器、左辅助手柄传感器、右辅助手柄传感器、舱门开启计时器相连的捕捉器；若干舱上视频采集摄像头；若干乘务员、乘务教员声音采集话筒。装置采用模块式设计，通过上述软件、接口程序、捕捉器、视频采集摄像头、音频采集话筒来还原模拟动态舱训练期间的所有过程，当训练完成后通过讲评系统客户端软件将此过程展示给乘务学员和乘务教员，提供乘务员音量大小、乘务员站位是否到位、辅助手柄是否使用到位、舱门开关时间、灭火时间等客观过程的评判结果，提供动态舱内对氧气面板、音频面板、飞行员话机、乘务员话机、舱门开关等；站位、辅助手柄、舱门状态识别记录捕捉器与交换机通过网线连接。此捕捉器同样用于收集在应急撤离过程中各乘务员的站位及舱门的状态，由控制主机将收集到的信号实时传输给服务器。内话计算机用于采集机组通过内话系统进行的对话和操作数据，在客舱现有的内化系统上，用以太网进行连接，并对机组各角色之间的通信和操作的内容进行收集，在机组训练结束后的讲评系统中进行复现，力求真实还原训练之中的机组操作。
学员数据模块，配置为将所述姿态序列与过程定位信息关联获得关联信息，基于关联信息通过姿态估计算法获取学员的姿态序列，并将所述关联信息添加到所述虚拟环境模型中，获得第一模拟训练过程模型。在本实施例中一般以乘务员站位的点位来确定人员角色(例如L1站位为乘务长)，即过程定位信息包含对应站位点的人员在训练过程中行走的路径，以及关键操作时的辅助姿态识别。即：乘务员站位+训练过程中的行走路线+关键姿态识别＝第一模拟训练过程模型。
在本实施例中，所述姿态估计算法为Openpose算法。并通过UWB定位系统还原学员在训练中所做出的动作及所处的位置。支持实时记录姿态、三维空间的厘米级别定位，用于抓取不合格或优秀的姿势并以时间尺度还原学员的整个过程。
在本实施例中，所述通过姿态估计算法获取学员的姿态序列，包括通过多人训练场景姿态提议网络实现，具体为：
步骤A1，将所述训练过程视频逐帧标准化为设定尺寸；
步骤A2，将标准化后的视频帧输入所述多人训练场景姿态提议网络，通过CNN的前向传播方式，获得人物实例RP、人物部位RP和肢体检测RP；
步骤A3，基于所述人物实例RP、人物部位RP和肢体检测RP分别通过非极大值抑制算法处理并合并为单个个人姿态数据和姿态评估建议。这里是输出每个目标概率最高的姿态结果，根据步骤A2获得人物实例进行多人场景的区分，结合YOLO和OpenPose两个算法，将openpose中训练置信度点和关联域的过程用YOLO的目标检测替代，加快了识别速度。
本实施例的姿态提议网络(Pose Proposal Network，PPN)架构：PPN由单个CNN构建，并为输入图像上的每个检测目标(个人实例或每个肢体部位)生成固定大小的RP集合。CNN将输入图像分为H×W网格，其中每个单元对应一个图像块，并生成一组RP检测。
进一步的，所述多人训练场景姿态提议网络，通过多人训练场景姿态提议损失函数LoosPP训练：
其中，i表示将视频帧划分的网格的序号，k表示肢体部位的序号，k＝0表示为一个完整的人体，R和I表示不同的二进制随机变量，表示第i个网格负责检测第k个肢体部位的概率标签值，/>表示第i个单元格是否负责第k个part的检测(0,1)变量，p(I|R,k,i)表示第i个网格预测的第k个肢体部位与真实区域的IoU，/>表示边界框的中心相对于当前网格的边界的距离，/>表示真实情况下边界框的中心相对于当前网格的边界的距离，/>表示表示边界框的宽、高，/>表示表示真实情况下边界框的宽、高，j表示与i不同的另一个网格的序号，/>第i个单元格是否负责第k个部位的检测的(0,1)变量为根据当前特殊场景所加入的损失变量，/>表示第i个单元格是否负责第k1个部位的检测的(0,1)变量为根据当前特殊场景所加入的损失变量，/>表示第i个单元格是否负责第k2个部位的检测的(0,1)变量为根据当前特殊场景所加入的损失变量，G表示表示将视频帧划分的网格的总数，G＝{1,...,H×W}，H表示标准化后的视频帧的高，W表示标准化后的视频帧的宽，K表示需要检测的部位的数量，k1、k2表示不同的两个关节，Δx∈X表示从该关节延伸的向量，x表示关节所处位置的横坐标，y表示关节所处位置的纵坐标，L表示能被检测到的肢体部位，/>表示关节k1与k2的连接是肢体的概率；λresp表示负责检测物体的置信度误差，λIoU表示IOU损失误差，λcoor.表示中心定位误差，λsize表示宽高定位误差，λlimb表示肢体识别分类误差。
R和I都是随机生成的二进制数，就是对应一个随机生成的识别框，R用于计算识别框正确识别的可能性概率，I用于计算识别框正确识别并且与真实识别框准确度。
本发明的损失函数增加了对肢体分类的损失函数，能够针对如肢体识别中出现的多个人的手等情况，将所有肢体识别完成后再进行拼接，缩短了训练时间。
可通过学员的站位区分学员的身份进而调整不同的多人训练场景姿态提议网络的参数，以提高针对不同岗位身份的识别正确率。
使用IoU阈值对每个检测目标的RP应用标准NMS，以获得固定大小的合并RP子集方法。在本实施例中，所述将第一模拟训练过程模型，其获得方法包括：
根据分工和编号为参训人员创建虚拟形象，使虚拟形象执行姿态序列并将虚拟形象根据过程定位信息添加到虚拟环境模型中，获得第一模拟训练过程模型。由于客舱训练是一项多人(多位受训人员)配合完成的训练，训练分为很多种类型，一般为应急生存训练、服务性的训练、机组CRM训练，因此需要完整复现不同分工和编号的人员的训练表现。
记录信息添加模块，配置为向第一模拟训练过程模型中添加所述训练过程声音记录和训练过程设备操作记录，获得第二模拟训练过程模型；
在本实施例中，所述记录信息添加模块，具体包括：基于多个声音采集设备获取到的训练过程声音记录，确定声音记录发出者并分离出环境声音，将训练过程声音记录添加到第一模拟训练过程模型中；客舱内话系统，是训练过程中机组语音沟通/标准喊话的必要设备，可以实现全过程语音抓取，并标示出通信的过程。并且能准确识别发话者的角色，通过基于TensorFlow的音频分离工具进行声音分离。
基于训练过程设备操作记录，将实训场景中发生的控制信息传递路径、通信路径和设备操作引起的训练实景改变添加到第一模拟训练过程模型中；
获得第二模拟训练过程模型。
实景复现模块，配置为通过VR或AR展示第二模拟训练过程模型及训练评价。
在本实施例中，所述展示第二模拟训练过程模型及训练评价，配置为预先构建规范训练过程模型，并为规范训练过程模型标记多个维度的关键阶段；比对关键阶段对应的第二模拟训练过程模型的训练过程视频、训练过程定位信息、训练过程声音记录和训练过程设备操作记录，生成多个维度的训练评价；
一般这些关键阶段包括：如果客舱乘务长和机组发布撤离指令，那么对应站位乘务员应该及时发起客舱撤离指令，包括某几个按钮、广播发话、开门空座等，这些指令是有时间要求的。在时间要求内完成规定动作，就是针对这个撤离指令的容忍度。总的容忍度中，还有对开门动作的识别，如果不标准，在第二模拟机训练过程模块中会作相应的提示。
将所述训练评价，在第二模拟训练过程模型的发生时间及对应的学员位置突出显示。比如若判断操作时间超时，则在第二模拟训练过程模型中对应超时人员的虚拟形象进行闪烁显示，将识别出的动作错误在第二模拟训练过程模型的对应虚拟形象上执行，并显示错误的步骤所述项目。
在本实施例中，所述训练评价，包括执行方面评价和接收方面评价；
所述执行方面评价，包括基于姿态序列、训练过程声音记录和训练过程设备操作记录判断学员在关键阶段是否执行设定的动作，和设定的动作的执行程度；包括判定乘务训练员音量分贝数是否达标；判定乘务员在开关舱门时，站位是否合格；判定乘务员开舱门所用的时间和关舱门所用的时间是否合格；判定乘务员所用的灭火时间是否合格；判断学员使用氧气面罩的动作是否合格。在本实施例中，还包括自动识别人员组合任务的环节，通过对训练过程定位信息和通信路径判定组合任务起算时间和结束时间，在组合任务期间，将参与组合任务的学员共同评分。
所述接收方面评价，包括基于训练过程声音记录和训练过程设备操作记录，判断学员发出的声音记录的判别率和训练实景改变程度。通过语音识别系统，识别出乘务员的喊话的文字，与标准喊话对比，将喊话错误部分，文字标红予以识别；同时语音识别系统可以判定乘务员喊话的分贝数、语音识别成文字的识别率。
在本实施例中，若通过VR展示第二模拟训练过程模型及训练评价，则在所述第二模拟训练过程模型中确立虚拟视角，根据训练评价将整个训练过程划分为多个训练项目，通过列表的形式在第二模拟训练过程模型的时间轴上关联，并突出显示各学员在各训练项目中的训练评价；
教员可通过控制时间轴或选中训练项目的方式展示第二模拟训练过程模型及训练评价，完成训练过程的实景复现。
在本实施例中，若通过AR展示第二模拟训练过程模型及训练评价，则通过AR设备在实景环境中进行位置校准，在训练实景即原地点原场景中复现第二模拟训练过程模型中虚拟环境模型外的部分，完成训练过程的实景复现。
在进行AR展示过程中，可在预先在训练实景中设置辅助定位标识，辅助定位标识；辅助定位标识用于确定AR设备对应于第二模拟训练过程模型中的视角位置，通过拟合的方法构建像素点转换矩阵，精二准确的在正确位置复现各虚拟形象的动作。
通过AR展示的方式，能够让学员从其他参与者或受服务人员的视角观察本次演训，比如通过AR设备以其他分工的学员的视角观察自己曾经的训练过程，能够充分理解合作者和受服务人员的对此前自己动作的感受。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
本发明第二实施例的一种实景复现的训练讲评方法，所述方法包括：
步骤S1，基于训练实景构建虚拟环境模型；
步骤S2，采集训练过程视频、训练过程定位信息、训练过程声音记录和训练过程设备操作记录；
步骤S3，将所述姿态序列与过程定位信息关联获得关联信息，基于关联信息通过姿态估计算法获取学员的姿态序列，并将所述关联信息添加到所述虚拟环境模型中，获得第一模拟训练过程模型；
步骤S4，向第一模拟训练过程模型中添加所述训练过程声音记录和训练过程设备操作记录，获得第二模拟训练过程模型；
步骤S5，通过VR或AR展示第二模拟训练过程模型及训练评价。
本发明第三实施例的一种电子设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的一种实景复现的训练讲评系统。
本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的一种实景复现的训练讲评系统。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (13)
1.一种实景复现的训练讲评系统，其特征在于，所述系统包括：
环境构建模块，配置为基于训练实景构建虚拟环境模型；
过程采集模块，配置为采集训练过程视频、训练过程定位信息、训练过程声音记录和训练过程设备操作记录；
学员数据模块，配置为将所述姿态序列与过程定位信息关联获得关联信息，基于关联信息通过姿态估计算法获取学员的姿态序列，并将所述关联信息添加到所述虚拟环境模型中，获得第一模拟训练过程模型；
记录信息添加模块，配置为向第一模拟训练过程模型中添加所述训练过程声音记录和训练过程设备操作记录，获得第二模拟训练过程模型；
实景复现模块，配置为通过VR或AR展示第二模拟训练过程模型及训练评价。
2.根据权利要求1所述的实景复现的训练讲评系统，其特征在于，所述第一模拟训练过程模型，其获得方法包括：
根据分工和编号为参训人员创建虚拟形象，使虚拟形象执行姿态序列并将虚拟形象根据过程定位信息添加到虚拟环境模型中，获得第一模拟训练过程模型。
3.根据权利要求1所述的实景复现的训练讲评系统，其特征在于，所述通过姿态估计算法获取学员的姿态序列，包括通过多人训练场景姿态提议网络实现，具体为：
步骤A1，将所述训练过程视频逐帧标准化为设定尺寸；
步骤A2，将标准化后的视频帧输入所述多人训练场景姿态提议网络，通过CNN的前向传播方式，获得人物实例RP、人物部位RP和肢体检测RP；
步骤A3，基于所述人物实例RP、人物部位RP和肢体检测RP分别通过非极大值抑制算法处理并合并为单个个人姿态数据和姿态评估建议。
4.根据权利要求3所述的实景复现的训练讲评系统，其特征在于，所述多人训练场景姿态提议网络，通过多人训练场景姿态提议损失函数LPP训练：
其中，i表示将视频帧划分的网格的序号，k表示肢体部位的序号，肢体部位包括关节和肢体，k＝0表示为一个完整的人体，R和I表示不同的二进制随机变量，表示第i个网格负责检测第k个肢体部位的概率标签值，/>表示第i个单元格是否负责第k个part的检测(0,1)变量，p(I|R,k,i)表示第i个网格预测的第k个肢体部位与真实区域的IoU，表示边界框的中心相对于当前网格的边界的距离，/>表示真实情况下边界框的中心相对于当前网格的边界的距离，/>表示表示边界框的宽、高，/>表示表示真实情况下边界框的宽、高，j表示与i不同的另一个网格的序号，/>第i个单元格是否负责第k个部位的检测的(0,1)变量为根据当前特殊场景所加入的损失变量，/>表示第i个单元格是否负责第k1个部位的检测的(0,1)变量为根据当前特殊场景所加入的损失变量，/>表示第i个单元格是否负责第k2个部位的检测的(0,1)变量为根据当前特殊场景所加入的损失变量，G表示表示将视频帧划分的网格的总数，G＝{1,...,H×W}，H表示标准化后的视频帧的高，W表示标准化后的视频帧的宽，K表示需要检测的部位的数量，k1、k2表示不同的两个关节，Δx∈X表示从关节延伸的向量，x表示关节所处位置的横坐标，y表示关节所处位置的纵坐标，L表示能被检测到的肢体部位，/>表示关节k1与k2的连接是肢体的概率；λresp表示负责检测物体的置信度误差，λIoU表示IOU损失误差，λcoor.表示中心定位误差，λsize表示宽高定位误差，λlimb表示肢体识别分类误差。
5.根据权利要求1所述的实景复现的训练讲评系统，其特征在于，所述虚拟环境模型，包括添演训场景的单元，配置为基于实训场景中的任务内容及任务时间，在虚拟环境模型中添加动态演训场景。
6.根据权利要求1所述的实景复现的训练讲评系统，其特征在于，所述记录信息添加模块，具体包括：基于多个声音采集设备获取到的训练过程声音记录，确定声音记录发出者并分离出环境声音，将训练过程声音记录添加到第一模拟训练过程模型中；
基于训练过程设备操作记录，将实训场景中发生的控制信息传递路径、通信路径和设备操作引起的训练实景改变添加到第一模拟训练过程模型中；
获得第二模拟训练过程模型。
7.根据权利要求1所述的实景复现的训练讲评系统，其特征在于，所述展示第二模拟训练过程模型及训练评价，配置为预先构建规范训练过程模型，并为规范训练过程模型标记多个维度的关键阶段；比对关键阶段对应的第二模拟训练过程模型的训练过程视频、训练过程定位信息、训练过程声音记录和训练过程设备操作记录，生成多个维度的训练评价；
将所述训练评价，在第二模拟训练过程模型的发生时间及对应的学员位置突出显示。
8.根据权利要求7所述的实景复现的训练讲评系统，其特征在于，所述训练评价，包括执行方面评价和接收方面评价；
所述执行方面评价，包括基于姿态序列、训练过程声音记录和训练过程设备操作记录判断学员在关键阶段是否执行设定的动作，和设定的动作的执行程度；
所述接收方面评价，包括基于训练过程声音记录和训练过程设备操作记录，判断学员发出的声音的判别率和训练实景改变程度。
9.根据权利要求1所述的实景复现的训练讲评系统，其特征在于，若通过VR展示第二模拟训练过程模型及训练评价，则在所述第二模拟训练过程模型中确立虚拟视角，根据训练评价将整个训练过程划分为多个训练项目，通过列表的形式在第二模拟训练过程模型的时间轴上关联，并突出显示各学员在各训练项目中的训练评价；
教员可通过控制时间轴或选中训练项目的方式展示第二模拟训练过程模型及训练评价，完成训练过程的实景复现。
10.根据权利要求1所述的实景复现的训练讲评系统，其特征在于，若通过AR展示第二模拟训练过程模型及训练评价，则通过AR设备在实景环境中进行位置校准，在训练实景中复现第二模拟训练过程模型中虚拟环境模型外的部分，完成训练过程的实景复现。
11.一种实景复现的训练讲评方法，其特征在于，所述方法包括：
步骤S1，基于训练实景构建虚拟环境模型；
步骤S2，采集训练过程视频、训练过程定位信息、训练过程声音记录和训练过程设备操作记录；
步骤S3，将所述姿态序列与过程定位信息关联获得关联信息，基于关联信息通过姿态估计算法获取学员的姿态序列，并将所述关联信息添加到所述虚拟环境模型中，获得第一模拟训练过程模型；
步骤S4，向第一模拟训练过程模型中添加所述训练过程声音记录和训练过程设备操作记录，获得第二模拟训练过程模型；
步骤S5，通过VR或AR展示第二模拟训练过程模型及训练评价。
12.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1-10任一项所述的一种实景复现的训练讲评系统。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求1-10任一项所述的一种实景复现的训练讲评系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410172696.XA CN118015890A (zh) | 2024-02-07 | 2024-02-07 | 一种实景复现的训练讲评系统、方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410172696.XA CN118015890A (zh) | 2024-02-07 | 2024-02-07 | 一种实景复现的训练讲评系统、方法及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118015890A true CN118015890A (zh) | 2024-05-10 |
Family
ID=90949731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410172696.XA Pending CN118015890A (zh) | 2024-02-07 | 2024-02-07 | 一种实景复现的训练讲评系统、方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118015890A (zh) |
-
2024
- 2024-02-07 CN CN202410172696.XA patent/CN118015890A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110364049B (zh) | 一种具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统及辅助教学方法 | |
| CN110349667B (zh) | 结合调查问卷及多模态范式行为数据分析的孤独症评估系统 | |
| US11307667B2 (en) | Systems and methods for facilitating accessible virtual education | |
| CN109101879B (zh) | 一种vr虚拟课堂教学的姿态交互系统及实现方法 | |
| CN108876046B (zh) | 沉浸式虚拟现实灾害求生救援的最优路径选择系统 | |
| CN107765859A (zh) | 一种基于vr虚拟课堂的训练系统及方法 | |
| CN108648535A (zh) | 一种基于vr移动端技术的教学系统及其运行方法 | |
| Datcu et al. | On the usability of augmented reality for information exchange in teams from the security domain | |
| CN111291613A (zh) | 一种课堂表现评价方法及系统 | |
| CN112331001A (zh) | 一种基于虚拟现实技术的教学系统 | |
| CN108735031A (zh) | 一种基于虚拟现实的教学培训系统 | |
| CN115188074A (zh) | 一种互动式体育训练测评方法、装置、系统及计算机设备 | |
| Babu et al. | Learning cultural conversational protocols with immersive interactive virtual humans | |
| Wang et al. | Modeling and verification of an intelligent tutoring system based on Petri net theory | |
| CN118015890A (zh) | 一种实景复现的训练讲评系统、方法及设备 | |
| CN111199378B (zh) | 学员管理方法、装置、电子设备及存储介质 | |
| JP7096626B2 (ja) | 情報抽出装置 | |
| Sarkar et al. | A 360-degree video analytics service for in-classroom firefighter training | |
| CN113947509A (zh) | 一种基于虚拟现实的模拟船舶应急训练方法 | |
| CN113268626A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN114830208A (zh) | 信息处理装置、信息处理方法和程序 | |
| CN112818741A (zh) | 一种用于智能面试的行为礼仪维度评价方法及装置 | |
| CN113256453A (zh) | 学习状态改善管理系统 | |
| TWI837038B (zh) | 創客教育學習辨識個體行為的方法 | |
| CN110413130B (zh) | 基于动作捕捉的虚拟现实手语学习、测试和评价方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |