CN115880111A

CN115880111A - 基于图像的虚拟仿真实训课堂教学管理方法及系统

Info

Publication number: CN115880111A
Application number: CN202310145786.5A
Authority: CN
Inventors: 朱宏雁; 张文硕; 张娜; 王霞; 马玉英; 段倩; 孙良静; 刘亚男
Original assignee: Shandong Engineering Vocational and Technical University
Current assignee: Shandong Engineering Vocational and Technical University
Priority date: 2023-02-22
Filing date: 2023-02-22
Publication date: 2023-03-31
Anticipated expiration: 2043-02-22
Also published as: CN115880111B

Abstract

本发明提供了一种基于图像的虚拟仿真实训课堂教学管理方法及系统，属于图像处理技术领域；本发明解决了现有的虚拟仿真实训课堂对学生动作执行过程评价不全面的问题。本发明所述方法包括：依次进行去噪后的各学生连续视频帧图像的特征提取，得到初始学生动作特征序列；其中，初始学生动作特征序列包括角度特征和能量特征；根据角度特征和能量特征进行核心动作视频帧图像筛选，得到筛选后的学生动作特征序列；根据筛选后的学生动作特征序列以及预设的深度学习分类模型，得到学生连续动作识别结果，进而得到第一外部评估结果，以第一外部评估结果和内部评估结果的加权和为学生课堂评估结果；本发明实现了更准确的实训动作标准化评估。

Description

基于图像的虚拟仿真实训课堂教学管理方法及系统

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于图像的虚拟仿真实训课堂教学管理方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。

虚拟仿真（Virtual Reality）是用一个系统模仿另一个真实系统的技术，随着虚拟仿真技术的不断发展，众多高校或者培训机构已经建立了虚拟仿真实训课堂，通过虚拟仿真的方式即可使得学生身临其境的进行实操学习，不仅能够用于真正实操前的预演，也能够弥补无法深入生产制造一线带来的技能缺失。

但是，发明人发现，现有的虚拟实训课堂，大多采用每个学生佩戴一副VR眼镜结合手臂和手腕上的传感器来实现虚拟实训，然后教师根据虚拟实训软件给出的学生评分进行学生学习内容的评估，由于不同的虚拟实训软件的评价标准存在差异，进行学生学习情况的评估大多存在较大的差异，而且由于学生个体间的差异，单纯的采用虚拟实训软件给出的评估结果进行评价容易出现学生操作正常但是评分较低的情况。

发明内容

为了解决现有技术的不足，本发明提供了一种基于图像的虚拟仿真实训课堂教学管理方法及系统，根据实时采集到的视频帧图像进行学生虚拟实训过程中的连续性动作识别，实现了学生虚拟实训的外部评估，结合虚拟实训课堂给出的内部评估，实现了更准确的实训动作标准化评估，避免了单一评价标准带来的片面性。

为了实现上述目的，本发明采用如下技术方案：

本发明第一方面提供了一种基于图像的虚拟仿真实训课堂教学管理方法。

一种基于图像的虚拟仿真实训课堂教学管理方法，包括以下过程：

获取虚拟仿真实训课堂的学生连续视频帧图像并进行预处理；

依次进行去噪后的各学生连续视频帧图像的特征提取，得到初始学生动作特征序列；其中，初始学生动作特征序列包括角度特征和能量特征；

根据角度特征和能量特征进行核心动作视频帧图像筛选，得到筛选后的学生动作特征序列；

根据筛选后的学生动作特征序列以及预设的深度学习分类模型，得到学生连续动作识别结果；

根据学生连续动作识别结果与预设虚拟仿真实训课堂的标准动作的偏差，得到第一外部评估结果；

获取虚拟仿真实训课程结束后给出的内部评估结果，以第一外部评估结果和内部评估结果的加权和为学生课堂评估结果。

作为本发明第一方面可选的一种实现方式，角度特征的获取，包括：

依次获取锁骨、左肩部、左手肘部、左手腕部、右肩部、右手肘部和右手腕部的关节向量，各相邻的关节向量之间的夹角分别作为第一夹角、第二夹角、第三夹角、第四夹角、第五夹角和第六夹角，以第一夹角、第二夹角、第三夹角、第四夹角、第五夹角和第六夹角构成某一视频帧的角度特征向量；

假定视频帧图像为N帧，去除第一帧视频帧图像，将N-1帧视频帧的角度特征向量组合后，得到N-1维的角度特征；

能量特征的获取，包括：

根据学生所在空间的三维模型，依次获取左肩部、左手肘部、左手腕部、右肩部、右手肘部和右手腕部的关节坐标；

根据获取的坐标值计算各关节的当前帧图像与上一帧图像之间的能量差，得到第一能量差、第二能量差、第三能量差、第四能量差、第五能量差和第六能量差，以第一能量差、第二能量差、第三能量差、第四能量差、第五能量差和第六能量差构成相邻视频帧的能量特征向量；

假定视频帧图像为N帧，则得到N-1帧视频帧的能量特征向量，将N-1帧视频帧的能量特征向量组合后，得到N-1维的能量特征。

作为本发明进一步的限定，根据角度特征和能量特征进行核心动作视频帧图像筛选，包括：

计算N-1维的角度特征中当前帧图像与下一帧图像的角度向量的欧氏距离，根据各个关节的权重，得到当前帧图像的角度欧式距离，依次计算，得到N-2个角度欧式距离值；

计算N-1维度的能量特征中当前帧图像与下一帧图像的能量向量的欧氏距离，根据各个关节的权重，得到当前帧图像的能量欧式距离，依次计算，得到N-2个能量欧式距离值；

将各帧的角度欧式距离和能量欧式距离相加，得到N-2个欧氏距离计算值；

去除N-2个欧氏距离计算值中最小的10%对应的视频帧图像，得到核心动作视频帧图像筛选结果。

作为本发明第一方面可选的一种实现方式，获取筛选后的学生动作特征序列中各视频帧对应时刻的学生脑电信号，根据获取的脑电信号计算各视频帧图像对应的专注度，得到第二外部评估结果；

以学生课堂评估结果和第二外部评估结果的加权值，为最终的学生课堂评估结果；

其中，获取教师规范操作时的学生课堂评估结果等级分以及第二外部评估结果的等级分，生成第二外部评估结果和学生课堂评估结果的权重，根据权重计算最终的学生课堂评估结果。

作为本发明第一方面可选的一种实现方式，根据学生连续动作识别结果与预设虚拟仿真实训课堂的标准动作的偏差，得到第一外部评估结果，包括：

假定学生连续动作识别结果为依次执行了N个动作；

当预设虚拟仿真实训课堂的标准动作为N个动作，且学生的动作顺序和动作内容与标准动作的动作顺序和动作内容相同时，则第一外部评估结果为第一等级分；

当预设虚拟仿真实训课堂的标准动作为N个动作，但学生的动作顺序和动作内容与标准动作的动作顺序和动作内容存在差异时，如果差异小于第一设定阈值，则第一外部评估结果为第二等级分；否则，第一外部评估结果为第三等级分。

作为本发明进一步的限定，当学生实际动作为M个动作，且M与N的差异大于第二设定阈值时，第一外部评估结果为第三等级分；M与N的差异大于1且小于第二设定数量范围时，第一外部评估结果为第二等级分。

作为本发明进一步的限定，以第一外部评估结果和内部评估结果的加权和为学生课堂评估结果，包括：

获取教师规范操作时的内部评估结果等级分以及第一外部评估结果的等级分，生成第一外部评估结果和内部评估结果的权重，根据权重计算学生课堂评估结果。

作为本发明第一方面可选的一种实现方式，获取虚拟仿真实训课堂的学生连续视频帧图像并进行预处理，包括：

对任一视频帧图像，将此视频帧图像的各个像素均添加像素增量，得到像素增强后的视频帧图像；

其中，像素增量为：优质像素值设定值与此视频帧图像的像素平均值的差值。

作为本发明进一步的限定，进行预处理，还包括：

采用卷积神经网络模型对像素增强后的视频帧图像进行图像增强，其中，

卷积神经网络模型包括依次连接的第一卷积层、第二卷积层、第三卷积层、池化层和全连接层，第一卷积层的输入与第一卷积层的输出级联后作为第二卷积层的输入，第二卷积层的输出、第一卷积层的输入与第一卷积层的输出级联后作为第三卷积层的输入；

其中，卷积神经网络模型的损失函数为：

；

其中，式中S(i，j)与T(i，j)为预处理后的图像和标准图像在(i，j)位置的像素值，P为i的最大值，Q为j的最大值。

本发明第二方面提供了一种基于图像的虚拟仿真实训课堂教学管理系统。

一种基于图像的虚拟仿真实训课堂教学管理系统，包括：

图像预处理模块，被配置为：获取虚拟仿真实训课堂的学生连续视频帧图像并进行预处理；

特征提取模块，被配置为：依次进行去噪后的各学生连续视频帧图像的特征提取，得到初始学生动作特征序列；其中，初始学生动作特征序列包括角度特征和能量特征；

图像筛选模块，被配置为：根据角度特征和能量特征进行核心动作视频帧图像筛选，得到筛选后的学生动作特征序列；

动作识别模块，被配置为：根据筛选后的学生动作特征序列以及预设的深度学习分类模型，得到学生连续动作识别结果；

外部评估模块，被配置为：根据学生连续动作识别结果与预设虚拟仿真实训课堂的标准动作的偏差，得到第一外部评估结果；

综合评估模块，被配置为：获取虚拟仿真实训课程结束后给出的内部评估结果，以第一外部评估结果和内部评估结果的加权和为学生课堂评估结果。

与现有技术相比，本发明的有益效果是：

1、根据实时采集到的视频帧图像进行学生虚拟实训过程中的连续性动作，实现了学生虚拟实训的外部评估，结合虚拟实训课堂给出的内部评估，能够更全面的进行实训动作标准化评估，避免了单一评价标准带来的片面性。

2、根据角度特征和能量特征进行核心动作视频帧图像筛选，得到筛选后的学生动作特征序列，减少了非必要视频帧图像的处理，提高了图像处理的效率。

3、对各视频帧图像进行像素增强预处理和图像增强预处理，采用特定设计的卷积层网络及损失函数，能够有效的提升图像的清晰度。

4、能够结合学生虚拟现实操作时的专注度数据，进一步提升了实训动作标准化评估的全面性。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例1提供的虚拟仿真实训课堂教学管理方法的流程示意图；

图2为本发明实施例2提供的虚拟仿真实训课堂教学管理系统的结构示意图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例

如图1所示，本发明实施例1提供了一种基于图像的虚拟仿真实训课堂教学管理方法，包括以下过程：

具体的，角度特征的获取，包括：

依次获取锁骨（这里单指锁骨中心位置）、左肩部、左手肘部、左手腕部、右肩部、右手肘部和右手腕部的关节向量（l ₁，l ₂，l ₃，l ₄，l ₅，l ₆，l ₇），各相邻的关节向量之间的夹角分别作为第一夹角θ ₁（即l ₁与l ₂之间的夹角）、第二夹角θ ₂（即l ₂与l ₃之间的夹角）、第三夹角θ ₃（即l ₃与l ₄之间的夹角）、第四夹角θ ₄（即l ₄与l ₅之间的夹角）、第五夹角θ ₅（即l ₅与l ₆之间的夹角）和第六夹角θ ₆（即l ₆与l ₇之间的夹角），以第一夹角θ ₁、第二夹角θ ₂、第三夹角θ ₃、第四夹角θ ₄、第五夹角θ ₅和第六夹角θ ₆构成某一视频帧i的角度特征向量p _i =（θ ₁ ，θ ₂ ，θ ₃ ，θ ₄ ，θ ₅ ，θ ₆）；

能量特征的获取，包括：

根据学生所在空间的三维模型，依次获取左肩部、左手肘部、左手腕部、右肩部、右手肘部和右手腕部的关节坐标（x ₁ ，y ₁ ，z ₁）、（x ₂ ，y ₂ ，z ₂）、（x ₃ ，y ₃ ，z ₃）、（x ₄ ，y ₄ ，z ₄）、（x ₅ ，y ₅ ，z ₅）、（x ₆ ，y ₆ ，z ₆）；

本实施例中，以右肩部（x ₄ ，y ₄ ，z ₄）为例进行能量差

的计算，包括：

；

其中，△k为两帧之间的时间差，s为常数，其中，

、/>

和/>

为当前视频帧图像的右肩部坐标，/>

、/>

和/>

为上一帧视频帧图像的右肩部坐标。

按上述方式依次计算当真帧图像的F_差1、F_差2、F_差3、F_差4、F_差5、F_差6，则构建当前帧的能量特征向量q _i =（F _差1 ，F _差2 ，F _差3 ，F _差4 ，F _差5 ，F _差6）。

本实施例中，根据角度特征和能量特征进行核心动作视频帧图像筛选，包括：

计算N-1维度的角度特征中当前帧图像与下一帧图像的角度向量的欧氏距离，根据各个关节的权重，得到当前帧图像的角度欧式距离，依次计算，得到N-2个角度欧式距离值；

可以理解的，在其他一些实现方式，这里的10%也可以根据具体工况进行选择，例如也可以选择15%或者20%等等，本领域技术人员可以根据具体工况进行选择，这里不再赘述。

本实施例中，获取筛选后的学生动作特征序列中各视频帧对应时刻的学生脑电信号，根据获取的脑电信号计算各视频帧图像对应的专注度，得到第二外部评估结果；

具体的，当人脑的注意力较为集中时，脑电信号中的β脑波的能量值明显高于α脑波和θ脑波，反之则β脑波的能量值低于α脑波和θ脑波，即α脑波和θ脑波占主导地位，综合三种脑波能量值，可以得到评估人脑的专注度为：E _β/（E _β+E _α+E _θ）；

其中，E _β为β脑波的能量值，E _α为α脑波的能量值，E _θ为θ脑波的能量值。

可选的，根据学生连续动作识别结果与预设虚拟仿真实训课堂的标准动作的偏差，得到第一外部评估结果，包括：

假定学生连续动作识别结果为依次执行了N个动作；

可选的，在其他一些实现方式中，当学生实际动作为M个动作，且M与N的差异大于第二设定阈值时，第一外部评估结果为第三等级分；M与N的差异大于1且小于第二设定数量范围时，第一外部评估结果为第二等级分。

具体的，这里的标准动作依次为左手抓握、右手抓握、左手抬起、右手抬起、右手旋转、右手松开、左手放下、左手松开、右手放下，为9个动作；

当学生的实训动作为9个动作，且动作顺序依次也为左手抓握、右手抓握、左手抬起、右手抬起、右手旋转、右手松开、左手放下、左手松开、右手放下时，给予第一等级分90分；

这里设定第一设定阈值为3，当两个动作顺序出现错误时，例如检测到左手抬起、左手放下、右手抬起、右手放下、右手旋转、右手松开、左手放下、左手松开、右手放下时，给予第一等级分70分；当动作顺序的错误数量大于或等于3时，则给予第三等级分60分；

这里设定第一设定阈值为4，当5个动作出现缺失时，例如只有右手旋转、右手松开、左手放下、左手松开等4个动作，则给予第三等级分60分；当3个动作出现缺失时，例如只有左手抬起、右手抬起、右手旋转、右手松开、左手放下、左手松开时，则给予第二等级分70分。

可选的，以第一外部评估结果和内部评估结果的加权和为学生课堂评估结果，包括：

可选的，教师规范操作时的得分如果为50分，而第一外部评估结果为100分，那么，给予第一外部评估结果更高的权重，例如0.9，给予内部得分更低的权重，例如0.1，以平衡软件带来的影响；当教师规范操作时的得分如果为100分，而第一外部评估结果为100分，则权重均为0.5，这里可以根据具体工况进行选择，这里不再赘述。

可选的，本实施例中，获取虚拟仿真实训课堂的学生连续视频帧图像并进行预处理，包括：

可选的，在其他一些实现方式中，进行预处理，还包括：

其中，卷积神经网络模型的损失函数为：

；

其中，S(i，j)与T(i，j)为预处理后的图像和标准图像在(i，j)位置的像素值，P为i的最大值，Q为j的最大值。

本实施例中，卷积神经网络模型的卷积核大小均为3×3，步长均为1。

本实施例中，预设的深度学习分类模型均采用现有的深度学习模型，例如卷积神经网络模型或者长短期记忆神经网络模型，现有方式均能够实现动作识别，只要以本实施例角度特征和能量特征为输入，以具体的动作为输出进行训练即可得到预设的深度学习模型，这里不再赘述。

实施例

如图2所示，本发明实施例2提供了一种基于图像的虚拟仿真实训课堂教学管理系统，包括：

所述系统的工作方法与实施例1提供的基于图像的虚拟仿真实训课堂教学管理方法相同，这里不再赘述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图中一个流程或多个流程和/或方框图中一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图中一个流程或多个流程和/或方框图中一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图中一个流程或多个流程和/或方框图中一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random AccessMemory，RAM）等。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于图像的虚拟仿真实训课堂教学管理方法，其特征在于，包括以下过程：

2.如权利要求1所述的基于图像的虚拟仿真实训课堂教学管理方法，其特征在于，角度特征的获取，包括：

能量特征的获取，包括：

3.如权利要求2所述的基于图像的虚拟仿真实训课堂教学管理方法，其特征在于，根据角度特征和能量特征进行核心动作视频帧图像筛选，包括：

4.如权利要求1所述的基于图像的虚拟仿真实训课堂教学管理方法，其特征在于，获取筛选后的学生动作特征序列中各视频帧对应时刻的学生脑电信号，根据获取的脑电信号计算各视频帧图像对应的专注度，得到第二外部评估结果以学生课堂评估结果和第二外部评估结果的加权值，为最终的学生课堂评估结果；其中，获取教师规范操作时的学生课堂评估结果等级分以及第二外部评估结果的等级分，生成第二外部评估结果和学生课堂评估结果的权重，根据权重计算最终的学生课堂评估结果。

5.如权利要求1所述的基于图像的虚拟仿真实训课堂教学管理方法，其特征在于，根据学生连续动作识别结果与预设虚拟仿真实训课堂的标准动作的偏差，得到第一外部评估结果，包括：

假定学生连续动作识别结果为依次执行了N个动作；

6.如权利要求5所述的基于图像的虚拟仿真实训课堂教学管理方法，其特征在于，当学生实际动作为M个动作，且M与N的差异大于第二设定阈值时，第一外部评估结果为第三等级分；M与N的差异大于1且小于第二设定数量范围时，第一外部评估结果为第二等级分。

7.如权利要求5所述的基于图像的虚拟仿真实训课堂教学管理方法，其特征在于，以第一外部评估结果和内部评估结果的加权和为学生课堂评估结果，包括：获取教师规范操作时的内部评估结果等级分以及第一外部评估结果的等级分，生成第一外部评估结果和内部评估结果的权重，根据权重计算学生课堂评估结果。

8.如权利要求1所述的基于图像的虚拟仿真实训课堂教学管理方法，其特征在于，获取虚拟仿真实训课堂的学生连续视频帧图像并进行预处理，包括：对任一视频帧图像，将此视频帧图像的各个像素均添加像素增量，得到像素增强后的视频帧图像；其中，像素增量为：优质像素值设定值与此视频帧图像的像素平均值的差值。

9.如权利要求8述的基于图像的虚拟仿真实训课堂教学管理方法，其特征在于，进行预处理，还包括：

卷积神经网络模型的损失函数为：

；其中，S(i，j)与T(i，j)为预处理后的图像和标准图像在(i，j)位置的像素值，P为i的最大值，Q为j的最大值。

10.一种基于图像的虚拟仿真实训课堂教学管理系统，其特征在于，包括：