CN116630106A - 一种智造实训交互教学管理方法及系统 - Google Patents

Abstract

本申请公开了一种智造实训交互教学管理方法及系统，涉及虚拟现实领域，所述方法包括：通过获取目标实训设备基本信息，进行图像和音频采集，获取采集结果。将基本信息、图像和音频采集结果输入3D仿真软件，创建三维虚拟实训场景。通过VR投影屏幕还原三维场景。并结合预设的智造实训方案进行智造实训模拟，使用图像采集设备记录学员实训模拟过程，获取图像采集结果并输入实训模拟评价模型，得到实训模拟分数。通过基于深度学习的神经网络所建立并训练得到的实训模拟评价模型进行动作识别和评价，能够解决识别准确率较低，导致学员实训成绩不准确的技术问题。进而达成提升肢体动作识别的可靠性。提高学员实训成绩的准确性和客观性的技术效果。

Description

一种智造实训交互教学管理方法及系统

技术领域

本发明涉及虚拟现实技术领域，特别涉及一种智造实训交互教学管理方法及系统。

技术背景

在现在的教育方法中，实践培训是必不可少的一部分。抛开书本理论，进行实际的训练、实际的操作，有利于理解其中的含义，提高学员的职业素养，为今后参与工作打下坚实的基础，同时也为社会和企业培育全面发展的人才，对个人提升，企业发展、社会进步都具有十分重要的意义。然而现有的实训教学管理技术中，往往采用人工比对的方法，对采集到的虚拟现实模拟实训图像数据进行识别，造成学员肢体动作识别准确率较低，从而导致学员实训成绩不准确的技术问题。

现有技术存在由于肢体动作识别方法识别准确率较低，导致学员实训成绩不准确的技术问题。

发明内容

本申请的目的在于提供一种智造实训交互教学管理方法及系统。用以解决现有技术中由于的肢体动作识别方法识别准确率较低，导致学员实训成绩不准确的技术问题。

鉴于以上技术问题，本申请提供了一种智造实训交互教学管理方法及系统。

第一方面，本申请提供了一种智造实训交互教学管理方法，所述方法应用于教学管理系统，所述系统与教学管理中心通信连接，其中，所述方法包括：获得目标实训设备的基本信息，所述基本信息包括设备类型、设备规格和设备运行参数；对所述目标实训设备进行图像和音频采集，获得图像采集结果和音频采集结果；将所述基本信息、所述图像采集结果、所述音频采集结果输入3D仿真软件进行三维实训场景仿真，获得虚拟实训场景；通过VR投影屏幕对所述虚拟实训场景进行三维还原，获得三维实训场景；基于所述三维实训场景，根据预设智造实训方案进行智造实训模拟，并通过图像采集装置对学员的实训模拟过程进行图像采集，获得实训模拟图像采集结果；将所述实训模拟图像采集结果输入实训模拟评价模型，获得实训模拟分数。

第二方面，本申请还提供了一种智造实训交互教学管理系统，其中，所述系统包括：第一获取模块，所述第一获取模块用于获得目标实训设备的基本信息，所述基本信息包括设备类型、设备规格和设备运行参数；第一采集模块，所述第一采集模块用于对所述目标实训设备进行图像和音频采集，获得图像采集结果和音频采集结果；第一输入模块，所述第一输入模块用于将所述基本信息、所述图像采集结果、所述音频采集结果输入3D仿真软件进行三维实训场景仿真，获得虚拟实训场景；第二获取模块，所述第二获取模块用于通过VR投影屏幕对所述虚拟实训场景进行三维还原，获得三维实训场景；第一模拟模块，所述第一模拟模块用于基于所述三维实训场景，根据预设智造实训方案进行智造实训模拟；第二采集模块，所述第二采集模块用于通过图像采集装置对学员的实训模拟过程进行图像采集，获得实训模拟图像采集结果；第一评价模块，所述第一评价模块用于将所述实训模拟图像采集结果输入实训模拟评价模型，获得实训模拟分数。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

本申请通过获取目标实训设备的基本信息，包括设备类型、规格和运行参数。接着，对目标实训设备进行图像和音频采集，获取图像采集结果和音频采集结果。然后，将基本信息、图像采集结果和音频采集结果输入到3D仿真软件中，进行三维实训场景仿真以创建三维虚拟实训场景。接着，通过VR投影屏幕将虚拟实训场景还原为三维场景。而后，利用三维实训场景和预设的智造实训方案进行智造实训模拟，并使用图像采集设备记录学员的实训模拟过程，得到实训模拟图像采集结果。最后，将实训模拟图像采集结果输入实训模拟评价模型，得到实训模拟分数。通过增加引入数据量，同时采集动态图像和静态图像，多模态信息相互补充和增强，基于听觉、温度、视觉的理念构建VR虚拟实训场景，从多体感层次增强实训模拟体验的真实性，通过构建模拟操作空间、交互空间等多个维度的实训空间，进一步提高实训质量和效果，使用基于深度学习的神经网络所建立并训练得到的实训模拟评价模型进行动作识别和评价。进而达成提升肢体动作识别的可靠性。提高学员实训成绩的准确性和客观性的技术效果。

上述说明仅是本申请技术方案的概述，为了能够更清楚阐明本申请的技术手段，进而可依照说明书的内容予以实施，并且为了让本申请的上述及其他目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

本发明的实施例及后述简单说明结合图示予以说明，附图说明如下：

图1为本申请提供了一种智造实训交互教学管理方法的流程示意图；

图2为本申请提供了一种智造实训交互教学管理方法中通过图像采集装置对学员的实训模拟过程进行图像采集，获得实训模拟图像采集结果的流程示意图；

图3为本申请提供了一种智造实训交互教学管理方法中获得静态实训图像集的流程示意图；

图4为本申请提供了一种智造实训交互教学管理方法中生成实训模拟评价模型的流程示意图；

图5为本申请提供了一种智造实训交互教学管理方法中构建动作识别子模型识别层的流程示意图；

图6为本申请提供了一种智造实训交互教学管理系统的结构示意图。

附图标记说明：第一获取模块11、第一采集模块12、第一输入模块13、第二获取模块14、第一模拟模块15、第二采集模块16、第一评价模块17。

具体实施方式

本申请通过提供一种智造实训交互教学管理方法和系统，解决了现有技术面临的由于的肢体动作识别方法识别准确率较低，导致学员实训成绩不准确的技术问题。

本技术实施例中的方案，为解决上述问题，所采用的整体思路如下：

通过获取目标实训设备的基本信息，包括设备类型、规格和运行参数。接着，对目标实训设备进行图像和音频采集，获取图像采集结果和音频采集结果。然后，将基本信息、图像采集结果和音频采集结果输入到3D仿真软件中，进行三维实训场景仿真以创建三维虚拟实训场景。接着，通过VR投影屏幕将虚拟实训场景还原为三维场景。而后，利用三维实训场景和预设的智造实训方案进行智造实训模拟，并使用图像采集设备记录学员的实训模拟过程，得到实训模拟图像采集结果。最后，将实训模拟图像采集结果输入实训模拟评价模型，得到实训模拟分数。通过增加引入数据量，同时采集动态图像和静态图像，多模态信息相互补充和增强，基于听觉、温度、视觉的理念构建VR虚拟实训场景，从多体感层次增强实训模拟体验的真实性，通过构建模拟操作空间、交互空间等多个维度的实训空间，进一步提高实训质量和效果，引入基于深度学习的神经网络。从而达到了提升肢体动作识别的可靠性。提高学员实训成绩的准确性和客观性的技术效果。

为更好理解上述技术方案，下面将结合说明书附图和具体的实施方式来对上述技术方案进行详细的说明，需要说明的是，所描述的实施例仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部。

实施例一

如图1所示，本申请提供了一种智造实训交互教学管理方法，其中，所述方法应用于教学管理系统，所述系统与教学管理中心通信连接，所述方法包括：

S100：获得目标实训设备的基本信息，所述基本信息包括设备类型、设备规格和设备运行参数；

具体而言，所述目标实训设备的基本信息，其中，实训设备的类型因具体的领域和目标有所不同。其中，所述设备规格描述了所述目标实训设备的具体规格和特征，包括尺寸、重量、功率要求等。其中，所述设备运行参数包括所述目标实训设备在运行过程中的各种参数和属性，例如温度、压力、速度、电流等。

获取所述设备运行参数有人工获取、自动获取等方法。优选的，所述基本信息可采取人工查阅实训设备规格书，传感器采集、API接口获取、条码扫描、读取RFID标签获得。

获取这些基本信息对于搭建虚拟实训场景、制定智造实训方案以及评估学员的实训模拟过程具有重要的指导作用。通过获取目标实训设备的基本信息，达到了为设定实训过程和虚拟实训场景提供参考依据的技术效果。

S200：对所述目标实训设备进行图像和音频采集，获得图像采集结果和音频采集结果；

具体而言：对所述实训设备进行采集，其中，所述图像采集通过适当的图像采集设备，优选的，包括高清摄像机、激光扫描仪、深度摄像机、3D扫描仪等进行图像采集。所述图像包括静态图像的拍摄和动态图像的连续采集。

静态图像的采集采用定点采集的形式，根据设备的外形尺寸和结构特征，设定采集点，优选的，包括：所述实训设备的整体三视图，各个零部件的三视图，各部分装配步骤三视图等动态图像采用高帧率摄像采集，针对所述实训设备的功能和运作情况，对其整体运动和部件运动分别进行X轴、Y轴、Z轴三个方向的采集。示例性地，动态图像的视频的帧数为60FPS。

其中，所述音频通过合适的音频采集设备采集，优选的，采用包括空间音频麦克风阵列、环绕声麦克风、头戴式立体声麦克风、环境音效采集设备等进行音频采集。音频采集可以包括设备产生的声音、噪声、振动等。对音频的采集采用周期采集，以实训方案中学员对设备的一个实训周期为采集周期，在周期内采用头戴式立体声麦克风，对音频进行连续双声道采集。示例性的，音频的采集参数为：采样率44.1Hz、采样精度16bit。

通过图像采集获得图像采集结果和音频采集结果，获取设备的外观、形状、结构、操作状态等信息，达到了为三维实训场景仿真提供数据的技术效果。

S300：将所述基本信息、所述图像采集结果、所述音频采集结果输入3D仿真软件进行三维实训场景仿真，获得虚拟实训场景；

具体而言：通过3D仿真软件能够将输入的信息转化为具体的设备模型。首先，通过输入所述基本信息，在3D仿真软件中生成所述实训设备的3D建模，并为各个部件添加运动动作和运动约束关系；而后，利用图像采集结果和音频采集结果对模型进行材质、纹理贴图和声音渲染，设定触发动作并将声音与具体的触发动作关联；最后，根据图像采集结果，设置所述实训场景的光照、反射和阴影的渲染；示例性地，触发动作包括按键、旋钮、报警、急停等；光照包括点光源、平行光源、环境光等，可采用光线追踪技术实现。渲染包括抗锯齿，透明效果和后处理等。

由此虚拟实训场景就可以在视觉和听觉上与真实场景相似，为实训学员提供沉浸式的体验，在虚拟实训场景中，学员可以通过交互操作与模拟设备进行互动，在仿真环境中进行实训和练习，观察和操作虚拟设备的各个方面，进行实际操作的模拟，并根据场景中呈现的情况进行反馈和调整。进而达到获得高拟真度的所述虚拟实训场景的，为下一步进行三维还原，获得三维实训场景提供场景的技术效果。

S400：通过VR投影屏幕对所述虚拟实训场景进行三维还原，获得三维实训场景；

具体而言：所述VR投影屏幕是一种设备，通过投影技术将虚拟场景投射到屏幕上，并通过特殊的眼镜或头戴设备使用户能够沉浸在虚拟环境中。所述VR投影屏幕通过外部摄像头追踪所述头戴设备上的标记点，提供学员的精准位置坐标和移动情况；而后，内置陀螺仪和加速度传感器对设备在空间中的方向和运动进行监测，优选的，包括VR屏幕朝向，欧拉角(Euler angles)，跟踪学员头部的并根据用户头部的姿态来确定视角的变化，通过高分辨率，高刷新率，低延迟的屏幕进行视觉还原。最后，根据学员的位置和移动情况，结合声源定位算法和音频渲染引擎，通过立体声耳机对于声音传播效果进行还原。

具体的,对所述虚拟实训场景进行三维还原还包括从温度感觉的体感角度进行还原，其中，温度通过热辐射、热对流设备进行还原，示例性的，包括红外线卤素灯管、空气调节器等。

具体的，对所述虚拟实训场景进行三维还原从多维度进行，其中，通过设置与实训教师的互动空间，提供多个交互动作，并与操作空间的相应环节和动作一一对应，并产生相应的交互结果。示例性的，包括语音交互、动作指导交互、其他指令等。

通过结合包括：温度、听觉、视觉、体感操控手势动作的多体感，交互空间(和老师进行语音交互、动作指导交互或其他指令等)、操作空间(肢体动作交互)的多维度，对虚拟实训场景进行三维还原，使学员能够以更加真实和直观的方式参与到虚拟实训中。达成为下一步进行实训模拟提供场景的技术效果。

S500：基于所述三维实训场景，根据预设智造实训方案进行智造实训模拟，并通过图像采集装置对学员的实训模拟过程进行图像采集，获得实训模拟图像采集结果；

具体而言：所述预设智造实训方案根据用户需求设置，包括一系列训练项目，具体可分为多个步骤和目标。为对学员进行模拟实训。首先分析所述智造实训方案，遍历其设置的项目及详细操作步骤，设置预设操作顺序，流程，并对其赋予时间约束，进而生成与所述预设智造实训方案相匹配的实训模拟环境，并使学员通过佩戴VR设备在所述实训模拟环境中进行实训模拟。

具体的，使用专门的图像采集设备，对学员在实训模拟过程中的操作和动作进行图像采集。这些图像记录可以捕捉到学员的实际操作细节、姿态和动作变化等信息。优选的，通过包括高清摄像机、深度摄像机。所述实训模拟图像采集结果，是指通过对学员实训模拟过程中采集的图像进行处理和分析，得到实训模拟的图像采集结果。这些结果可以用于评估学员的实训表现、分析操作的准确性和效率，并达到为后续的实训模拟评价提供依据的技术效果。

S600：将所述实训模拟图像采集结果输入实训模拟评价模型，获得实训模拟分数。

具体而言：所述实训模分数是通过将所述实训模拟的图像采集结果经处理后，输入到专门设计训练的实训模拟评价模型中得到的。优选的，基于卷积神经网络，BP神经网络进行所述实训模拟评价模型的构建，所述实训模拟评价模型由动作识别和动作评价子模型组成。通过所述实训模拟评价模型对所述图像采集结果进行分析，根据设定的评价标准和指标，对学员的实训表现进行量化评估。具体的，设定实训标准表现数据集，其中包含评价标准和指标。而后，求得多个所述学员实训表现实训标准表现的比值或相似性，以百分比表示。接着，根据各个指标重要性，确定相应的占比系数，且每一评分部分所有评价指标的系数之和等于1。最后，根据所述占比系数，对评价指标加权求和，得到多个评分分数，并对所述多个评分分数求和，获得实训模拟分数。优选的，指标可考虑操作准确性、动作流畅性、速度、协调性、失误率等因素，从而达成，对学员实训效果进行综合评判，给出准确的实训模拟分数的技术效果。

进一步的，如图2所示，所述通过图像采集装置对学员的实训模拟过程进行图像采集，获得实训模拟图像采集结果，步骤S500还包括：

S510：基于所述预设智造实训方案获取多个图像采集时间窗口；

S520：根据多个图像采集时间窗口控制所述图像采集装置对学员的实训模拟过程进行图像采集，获得多组图像采集结果；

S530：将多组所述图像采集结果按照采集时间进行排列组合，获得所述实训模拟图像采集结果。

具体而言：所述基于所述预设智造实训方案获取多个图像采集时间窗口，是指通过所述预设智造实训方案中实训项目本身的属性、实训设备的参数、实训操作的顺序步骤等，确定出学员在不同的实训阶段需要进行图像采集的时间点或时间段。所述图像采集时间窗口对应特定的动作、操作或任务，以便准确捕捉学习者的实际表现。具体的，分析所述实训项目的操作流程，根据学员是否需要进行操作进行分类，不需要进行操作的，将对应时间点或时间段标记为非采集区间。接着，遍历所述实训方案中多个实训项目，得到多个非采集区间，生成非采集区间集A。最后，求实训方案总时间集U与所述集A的补集S，并将所述补集S记录为所述图像采集时间窗口，存储于采集时间窗口记录装置中

通过在所述图像采集时间窗口内进行图像采集，达成了获取到更全面、准确的关键动作、姿势或操作的图像数据和图像采集结果的技术效果。

具体而言，对学员的实训模拟过程，可以通过多种方式根据时间采样窗口控制图像采集装置采集图像，其中包括：触发机制、编程控制等。优选的，采用结合时间控制与关键动作控制的触发机制，其中，对于时间段采用窗口，设定其起始动作或姿势为开始记录关键动作，其完成动作或姿势为结束记录关键动作，根据其与前后采样窗口或关键动作的时间差值，于开始记录关键动作时间点前N秒开始采集，结束记录关键动作后N秒结束记录。对于时间点采样窗口，根据其与前后采样窗口或关键动作的时间差值，设定采样基准时间，于采样基准时间前N秒开始采集，后N秒结束采集。N为学员的反应时间，根据教职人员实训经验确定，示例性的，N为2秒。

通过上述控制方式，可达成精准根据所述多个图像采集时间窗口进行图像采集，获取所述多组图像采集结果的技术效果。

具体而言，对多组所述图像采集结果按照采集时间进行排列，并将同一项目不同操作周期的，记录为一操作集，多个所述操作集组合，得到所述实训模拟图像采集结果。

进一步的，如图3所示，所述将所述实训模拟图像采集结果输入实训模拟评价模型，获得实训模拟分数，步骤S600还包括：

S610：获取动态图像采样频率和静态图像采样频率，其中所述动态图像采样频率远大于所述静态图像采样频率；

S620：根据所述动态图像采样频率对所述实训模拟图像采集结果中第一组图像采集结果进行图像帧提取和下采样处理，获得N组动态实训图像集，其中N为所述动态图像采样频率与所述静态图像采样频率的比值；

S630：根据所述静态图像采样频率对所述实训模拟图像采集结果进行图像帧提取，获得静态实训图像集。

具体而言：所述动态图像采样频率是指在动态场景下进行图像采集的频率，即对运动或变化较快的对象进行图像采集的速率，为了捕捉到细节和动态特征，需要使用较高的图像采样频率。其中图像采样率由所述动态场景的动作特性、采集和处理设备的资源性能、对所述图像采集结果的帧率和清晰度要求决定。示例性的，动态图像采集频率为60Hz，即对于60帧/秒的动态图像采集结果，每一帧都进行采样。

所述静态图像采样频率是指在静态场景下进行图像采集的频率，即对相对稳定、不发生明显变化的对象进行图像采集的速率。在所述静态场景中，对象的状态相对稳定，没有快速运动或变形，因此可以使用较低的图像采样频率进行采集，以节省资源和存储空间。示例性的，静态图像采样率为5Hz，即每12帧采样一次。

通过所述动态图像采样频率远大于所述静态图像采样频率的设置，达到在所述动态场景下获取到足够多的图像帧数，以捕捉动态变化的细节，而在所述静态场景下则可以降低采样频率，以节省资源并减少冗余数据的技术效果。

具体而言：所述图像帧提取是指从连续的图像序列中提取特定的帧作为样本。根据所述静态图像采样频率，可以选择合适的间隔从采集结果中提取图像帧，其中，采样间隔等于图像采样率的倒数。示例性的，采样间隔为200ms。

具体的，所述下采样处理，是指降低图像的分辨率的处理方式。优选的，采用平均池化对所述动态图像进行下采样，示例性的，池化核大小为(2,2)步幅为(2,2)。

通过所述图像帧提取及下采样，可以减少数据量和存储需求，得到所述N组动态实训图像集。同时，根据所述静态图像采样频率对所述实训模拟图像采集结果进行图像帧提取，获得静态实训图像集。达到了为后续构建识别模型提供训练数据集的技术效果。

进一步的，如图4所示，所述将所述实训模拟图像采集结果输入实训模拟评价模型，获得实训模拟分数，步骤S600还包括：

S640：基于卷积神经网络，构建动作识别子模型，所述动作识别子模型包括输入层、卷积层、分析层、识别层、输出层，所述输入层包括动态图像通道和静态图像通道；

S650：基于BP神经网络，构建动作评价子模型；

S660：基于所述动作识别子模型和所述动作评价子模型生成实训模拟评价模型，其中所述动作识别子模型的输出层与所述动作评价子模型的输入层相连接。

具体而言：所述动作识别子模型包括输入层、卷积层、分析层、识别层、输出层。其中，所述输入层包括动态图像通道和静态图像通道。动态图像通道用于接收所述动态实训图像集，而静态图像通道用于接收所述静态实训图像集。这样的设计考虑到连续动作和静态图像在特征表达和处理方式上的差异。

具体而言：所述基于BP神经网络，构建动作评价子模型，其中，所述BP神经网络也称为反向传播神经网络(Backpropagation Neural Network)，由输入层、隐藏层和输出层组成。

具体的，构建所述动作评价子模型输入层为动作识别结果，隐藏层根据评分指标设置多层，示例性的，设置动作相似度、失误率。各层之间，根据对应指标的评分占比，设置层之间的链接权重，其中，激活函数采用ReLU函数(Rectified Linear Unit)。

通过反向传播更新权重，BP神经网络可以逐渐学习到输入与输出之间的复杂映射关系，实现对新样本的准确预测。

具体而言：所述生成实训模拟评价模型，其中，将所述动作识别子模型的输出层与所述动作评价子模型的输入层相连接。以将动作类别的预测结果传递给动作评价子模型进行进一步的评估和分析。进而通过连接两个子模型，实所生成所述训模拟评价模型的技术效果。

需要注意的是，具体的模型架构和连接方式可能因应用场景和数据特征的不同而有所变化。以上描述提供了一种一般的结构，并不局限于此种结构之中，实际应用中可以根据具体需求进行进一步调整和优化。

进一步的，如图5所示，所述基于卷积神经网络，构建动作识别子模型，所述动作识别子模型包括输入层、卷积层、分析层、识别层、输出层，步骤S640还包括：

S641：进行实际操作动作图像采集，获得多个动作运行轨迹和多个动作识别结果；

S642：基于多个所述动作运行轨迹和多个所述动作识别结果构建样本数据集；

S643：通过所述样本数据集对所述识别层进行训练和验证，获得所述识别层。

具体而言：所述进行实际操作动作图像采集，获得多个动作运行轨迹和多个动作识别结果。其中，所述图像采集优选的，包括高清摄像机、激光扫描仪、深度摄像机、3D扫描仪等进行图像采集。而后，基于所述预设智造实训方案，通过人工对图像采集结果进行分析识别，得到所述多个动作运行轨迹和所述多个动作识别结果，并构建所述样本数据集。其中，样本数据集中，多个所述动作运行轨迹和多个所述动作识别结果一一对应。

具体而言：通过所述样本数据集对所述识别层进行训练和验证，优选的，首先，将已经准备好的所述样本数据集划分为、验证集和测试集，将所述训练集输入计算网络获取预输出；接着，计算所述预输出与实际评价结果之间的均方误差，得到误差结果；而后，从所述输出层开始，通过链式法则将所述误差结果进行反向传播到所述隐藏层和所述输入层，根据误差对权重和偏置进行调整；最后，设定误差阈值，对所述反向传播后得到的所述识别层进行验证，输入所述验证集，若连续输出的验证集输出误差结果符合所述误差阈值，则所述识别层收敛，识别层训练完成，并输入所述测试集评估所述识别层的模型的性能。其中，训练集用于网络的参数更新和训练过程，验证集用于调整权重和偏置并改善模型性能，测试集用于最终评估模型的性能。

反向传播过程中，根据误差对权重和偏置进行调整，以减小误差。通过反复迭代上述过程，不断调整网络中的权重和偏置，从而实现所述动作评价子模型对新样本的准确预测，构建所述实训模拟评价模型的技术效果。

进一步的，所述将所述实训模拟图像采集结果输入实训模拟评价模型，获得实训模拟分数，步骤S600还包括：

S670：将N组所述动态实训图像集输入所述动态图像通道，通过所述卷积层进行动态特征提取，获得N个动态特征提取结果；

S680：将所述静态实训图像集输入所述静态图像通道，通过所述卷积层进行静态特征提取，获得静态特征提取结果；

S690：将N个所述动态特征提取结果和所述静态特征提取结果输入所述分析层进行动作轨迹分析，获得动作运行轨迹；

S6100：将所述动作运行轨迹输入所述识别层进行动作识别，通过所述输出层输出动作识别结果。

具体而言：所述卷积层通过一系列卷积操作和非线性激活函数，从输入的动态图像序列和静态图像中提取特征。首先，定义卷积核、步长，示例性的，卷积核大小为3×3，步长1。接着，对输入的动态图像序列和静态图像进行卷积操作，得到N个动态特征提取结果。

具体而言：所述分析层对从所述卷积层提取的特征进行分析和编码。优选的，分析层采用SlowFast网络建模，所述SlowFast网络由慢速路径(Slow Path)和快速路径(FastPath)组成，通过同时处理视频的低帧率和高帧率部分，提高了视频特征的建模能力。

其中，所述慢速路径用于捕捉视频低帧率部分中的时间信息和运动细节。采用较慢的帧率进行采样，以减少计算成本。慢速路径只处理12帧中的一个。慢速路径通过使用卷积神经网络(CNN)或循环神经网络(RNN)来对连续帧之间的时间关系进行建模，从而捕捉到视频中的长期时间动态。

其中，所述快速路径用于捕捉视频高帧率部分中的快速运动和空间信息。它采用较快的帧率进行采样，以更好地捕捉瞬时的运动和细节。快速路径主要由卷积神经网络(CNN)组成，用于对每个视频帧进行特征提取。

进一步的，综合考虑时间和空间的特征，所述慢速路径和所述快速路径的特征信息会通过不同的方式融合，优选的，将两个路径的特征进行级联、加权求和或平均等。通过同时处理视频的低帧率和高帧率部分，获得所述动作运行轨迹。

进一步的，将所述动作运行轨迹输入所述识别层，对输入的动作进行分类和识别。优选的，识别层的构建包括卷积层、激活函数层、池化层、全连接层和softmax函数层。卷积层提取特征。接着，激活函数层使用ReLU(Rectified Linear Unit)函数，对特征数据的变换。而后，变换后的数据通过池化层压缩。然后，通过所述全连接层将特征映射到不同的动作类别，并通过所述softmax函数层计算每个类别的概率。最后，所述输出层将所述识别层计算得到的概率分布结果输出为所述动作识别结果。优选的，所述动作识别结果表达为相似度最高的动作类别及该动作类别的概率。实现为下一步获得多个动作评分提供基础的技术效果。

进一步的，所述将所述实训模拟图像采集结果输入实训模拟评价模型，获得实训模拟分数，步骤S600还包括：

S6110：获得多个动作识别结果和多个动作评分，并组建评分样本数据集；

S6120：通过所述评分样本数据集对所述动作评价子模型进行训练、验证、测试，获得所述动作评价子模型；

S6130：将所述动作识别结果输入所述动作评价子模型的输入层进行动作评价，获得所述第一组图像采集结果的动作评分；

S6140：将所述实训模拟图像采集结果中的多组图像采集结果依次输入所述实训模拟评价模型，获得多个动作评分；

S6150：将多个所述动作评分进行相加求和，获得所述实训模拟分数。

具体而言：通过所述动作识别子模型和所述动作评价子模型，获得所述多个动作识别结果和所述多个动作评分，并组建所述评分样本数据集。将所述评分样本数据集划分为、验证集和测试集。而后，将所述训练集输入所述动作评价子模型，获取预输出结果；接着，计算所述预输出结果与实际评价结果之间的均方误差，得到误差结果；然后，从所述输出层开始，通过链式法则将所述误差结果进行反向传播到所述隐藏层和所述输入层，根据误差对权重和偏置进行调整；最后，设定误差阈值，输入所述验证集，对反向传播后得到的所述动作评价子模型进行验证。若连续输出的验证集输出误差结果符合所述误差阈值，则所述动作评价子模型收敛，训练完成，并输入所述测试集评估所述动作评价子模型的性能，获得所述动作评价子模型。

具体而言：所述第一组图像采集结果，是图像采集结果集中，按照动作步骤分类后，与第一步骤相关的图像采集结果，其中包含所述静态实训图像和所述动态实训图像。获取所述第一组图像采集结果的动作评分，是第一步骤的动作评分结果。而后，将所述实训模拟图像采集结果中的多组图像采集结果依次输入所述实训模拟评价模型，即可获得所述多个动作评分。最后，将多个所述动作评分进行相加求和，获得所述实训模拟分数。

通过上述步骤，利用所述评价子模型和所述实训模拟评价模型对图像采集结果进行评价和分数计算，可以综合考量学员的动作质量、准确度和实训表现，达成为实训过程提供客观的量化评价结果的技术效果。

综上所述，本发明所提供的一种智造实训交互教学管理方法具有如下技术效果：

通过获取目标实训设备的基本信息，包括设备类型、规格和运行参数。接着，对目标实训设备进行图像和音频采集，获取图像采集结果和音频采集结果。然后，将基本信息、图像采集结果和音频采集结果输入到3D仿真软件中，进行三维实训场景仿真以创建三维虚拟实训场景。接着，通过VR投影屏幕将虚拟实训场景还原为三维场景。而后，利用三维实训场景和预设的智造实训方案进行智造实训模拟，并使用图像采集设备记录学员的实训模拟过程，得到实训模拟图像采集结果。最后，将实训模拟图像采集结果输入实训模拟评价模型，得到实训模拟分数。通过增加引入数据量，同时采集动态图像和静态图像，多模态信息相互补充和增强，基于听觉、温度、视觉的理念构建VR虚拟实训场景，从多体感层次增强实训模拟体验的真实性，通过构建模拟操作空间、交互空间等多个维度的实训空间，进一步提高实训质量和效果，引入基于深度学习的神经网络。从而达到了提升肢体动作识别的可靠性。提高学员实训成绩的准确性和客观性的技术效果。

实施例二

基于与所述实施例中一种智造实训交互教学管理方法同样的构思，如图6所示，本申请还提供了一种智造实训交互教学管理系统，所述系统包括：

第一获取模块11，所述第一获取模块11用于获得目标实训设备的基本信息，所述基本信息包括设备类型、设备规格和设备运行参数；

第一采集模块12，所述第一采集模块12用于对所述目标实训设备进行图像和音频采集，获得图像采集结果和音频采集结果；

第一输入模块13，所述第一输入模块13用于将所述基本信息、所述图像采集结果、所述音频采集结果输入3D仿真软件进行三维实训场景仿真，获得虚拟实训场景；

第二获取模块14，所述第二获取模块14用于通过VR投影屏幕对所述虚拟实训场景进行三维还原，获得三维实训场景；

第一模拟模块15，所述第一模拟模块15用于基于所述三维实训场景，根据预设智造实训方案进行智造实训模拟；

第二采集模块16，所述第二采集模块16用于通过图像采集装置对学员的实训模拟过程进行图像采集，获得实训模拟图像采集结果；

第一评价模块17，所述第一评价模块17用于将所述实训模拟图像采集结果输入实训模拟评价模型，获得实训模拟分数。

进一步的，所述第二采集模块16还用于：基于所述预设智造实训方案获取多个图像采集时间窗口；根据多个图像采集时间窗口控制所述图像采集装置对学员的实训模拟过程进行图像采集，获得多组图像采集结果；

进一步的，所述第一评价模块17还包括第一处理单元171，所述第一处理单元171用于：根据所述图像采样频率对所述实训模拟图像采集结果进行图像帧提取和下采样处理，获得N组动态实训图像集和静态实训图像集；

进一步的，所述第一评价模块17还包括第一构建单元172，所述第一构建单元172用于：基于卷积神经网络，构建动作识别子模型；

进一步的，所述第一评价模块17还包括第二构建单元173，所述第二构建单元173用于：基于BP神经网络，构建动作评价子模型；

进一步的，所述第一评价模块17还包括第三构建单元174，所述第三构建单元174用于：基于所述动作识别子模型和所述动作评价子模型生成实训模拟评价模型；

进一步的，所述第一评价模块17还包括第一特征提取单元175，所述第一特征提取单元175用于：将N组所述动态实训图像集输入所述动态图像通道，通过所述卷积层进行动态特征提取，获得N个动态特征提取结果；

进一步的，所述第一评价模块17还包括第二特征提取单元176，所述第二特征提取单元176用于：将所述静态实训图像集输入所述静态图像通道，通过所述卷积层进行静态特征提取，获得静态特征提取结果；

进一步的，所述第一评价模块17还包括第一识别单元177，所述第一识别单元177用于：将所述动作运行轨迹输入所述识别层进行动作识别，通过所述输出层输出动作识别结果。

应当理解的是，本说明书中所提及的实施例重点在其与其他实施例的不同，前述实施例一中的具体实施例，同样适用于实施例二所述的一种智造实训交互教学管理系统，为了说明书的简洁，在此不作进一步的展开。

应当理解的是，本申请所公开的实施例及上述说明，可以使得本领域的技术人员运用本申请实现本申请。同时本申请不被限制于上述所提到的这部分实施例，对本申请提到的实施例进行显而易见的修改、变种，也属于本申请原理范围之内。

Claims (8)

1.一种智造实训交互教学管理方法，其特征在于，所述方法包括：

获得目标实训设备的基本信息，所述基本信息包括设备类型、设备规格和设备运行参数；

对所述目标实训设备进行图像和音频采集，获得图像采集结果和音频采集结果；

将所述基本信息、所述图像采集结果、所述音频采集结果输入3D仿真软件进行三维实训场景仿真，获得虚拟实训场景；

通过VR投影屏幕对所述虚拟实训场景进行三维还原，获得三维实训场景；

基于所述三维实训场景，根据预设智造实训方案进行智造实训模拟，并通过图像采集装置对学员的实训模拟过程进行图像采集，获得实训模拟图像采集结果；

将所述实训模拟图像采集结果输入实训模拟评价模型，获得实训模拟分数。

2.如权利要求1所述的方法，其特征在于，所述并通过图像采集装置对学员的实训模拟过程进行图像采集，获得实训模拟图像采集结果，还包括：

基于所述预设智造实训方案获取多个图像采集时间窗口；

根据多个图像采集时间窗口控制所述图像采集装置对学员的实训模拟过程进行图像采集，获得多组图像采集结果；

将多组所述图像采集结果按照采集时间进行排列组合，获得所述实训模拟图像采集结果。

3.如权利要求1所述的方法，其特征在于，所述将所述实训模拟图像采集结果输入实训模拟评价模型之前，还包括：

获取动态图像采样频率和静态图像采样频率，其中所述动态图像采样频率远大于所述静态图像采样频率；

根据所述动态图像采样频率对所述实训模拟图像采集结果中第一组图像采集结果进行图像帧提取和下采样处理，获得N组动态实训图像集，其中N为所述动态图像采样频率与所述静态图像采样频率的比值；

根据所述静态图像采样频率对所述实训模拟图像采集结果进行图像帧提取，获得静态实训图像集。

4.如权利要求3所述的方法，其特征在于，还包括：

基于卷积神经网络，构建动作识别子模型，所述动作识别子模型包括输入层、卷积层、分析层、识别层、输出层，所述输入层包括动态图像通道和静态图像通道；

基于BP神经网络，构建动作评价子模型；

基于所述动作识别子模型和所述动作评价子模型生成实训模拟评价模型，其中所述动作识别子模型的输出层与所述动作评价子模型的输入层相连接。

5.如权利要求4所述的方法，其特征在于，还包括：

将N组所述动态实训图像集输入所述动态图像通道，通过所述卷积层进行动态特征提取，获得N个动态特征提取结果；

将所述静态实训图像集输入所述静态图像通道，通过所述卷积层进行静态特征提取，获得静态特征提取结果；

将N个所述动态特征提取结果和所述静态特征提取结果输入所述分析层进行动作轨迹分析，获得动作运行轨迹；

将所述动作运行轨迹输入所述识别层进行动作识别，通过所述输出层输出动作识别结果。

6.如权利要求4所述的方法，其特征在于，还包括：

进行实际操作动作图像采集，获得多个动作运行轨迹和多个动作识别结果；

基于多个所述动作运行轨迹和多个所述动作识别结果构建样本数据集；

通过所述样本数据集对所述识别层进行训练和验证，获得所述识别层。

7.如权利要求5所述的方法，其特征在于，还包括：

获得多个动作识别结果和多个动作评分，并组建评分样本数据集；

通过所述评分样本数据集对所述动作评价子模型进行训练、验证、测试，获得所述动作评价子模型；

将所述动作识别结果输入所述动作评价子模型的输入层进行动作评价，获得所述第一组图像采集结果的动作评分；

将所述实训模拟图像采集结果中的多组图像采集结果依次输入所述实训模拟评价模型，获得多个动作评分；

将多个所述动作评分进行相加求和，获得所述实训模拟分数。

8.一种智造实训交互教学管理系统，其特征在于，所述系统包括：

第一获取模块，所述第一获取模块用于获得目标实训设备的基本信息，所述基本信息包括设备类型、设备规格和设备运行参数；

第一采集模块，所述第一采集模块用于对所述目标实训设备进行图像和音频采集，获得图像采集结果和音频采集结果；

第一输入模块，所述第一输入模块用于将所述基本信息、所述图像采集结果、所述音频采集结果输入3D仿真软件进行三维实训场景仿真，获得虚拟实训场景；

第二获取模块，所述第二获取模块用于通过VR投影屏幕对所述虚拟实训场景进行三维还原，获得三维实训场景；

第一模拟模块，所述第一模拟模块用于基于所述三维实训场景，根据预设智造实训方案进行智造实训模拟；

第二采集模块，所述第二采集模块用于通过图像采集装置对学员的实训模拟过程进行图像采集，获得实训模拟图像采集结果；

第一评价模块，所述第一评价模块用于将所述实训模拟图像采集结果输入实训模拟评价模型，获得实训模拟分数。