CN115114537B - 一种基于文件内容识别的互动虚拟教具实现方法 - Google Patents

Abstract

本发明公开了一种基于文件内容识别的互动虚拟教具实现方法，包括以下步骤：提取使用对象的实时教学动作，并基于使用对象的实时教学动作在预先建立的动作习惯模型中预测得到使用对象的将来时教学动作；依据将来时教学动作对由使用对象、使用对象所处的现时场景和互动虚拟场景虚实融合得到的互动教学场景进行将来时融合预调整。本发明构建动作习惯模型以预测得到使用对象的将来时教学动作，无需使用对象进行场景适应，直接利用虚实结合的互动教学场景进行提前适应使用者的动作习惯，为使用对象提供更好的用户体验的同时，降低了互动教学场景的融合滞后性来提高虚实互动的流畅性。

Description

一种基于文件内容识别的互动虚拟教具实现方法

技术领域

本发明涉及教学应用技术领域，具体涉及一种基于文件内容识别的互动虚拟教具实现方法。

背景技术

5G、VR/AR/MR、全息投影等技术正深刻改变传统的教学环境，构建虚实一体、线上线下混合的新一代教学环境已成为人工智能时代对未来教育模式探讨的新使命。教学过程中，虚拟教具可将抽象知识转变成具体化、形象化内容，降低学生掌握复杂、抽象概念的困难，提高观察、实践和科学思维能力。基于MR技术构建的混合增强学习环境，通过多网传播、全息投影等技术，可在虚拟教具、真实教师及其所处真实环境之间构建一个交互反馈的信息回路。其情境性、交互性和融合性的特征，可打破在线课堂师生分割屏幕两端的局限，避免学习者产生孤独感和倦怠感。教师通过人机界面及语音交互方式生成虚实融合的教具，借助空间定位和追踪机制，实现头部、眼动、手势、手柄、按钮等多模态自然交互，达成真实环境中教师与虚拟教具模型的虚实互动。虚实融合的教具在新一代智能教学环境中将会发挥重大作用，拥有广阔的应用前景。

目前虚拟教具生成方面还存在诸多问题，比如，使用对象在使用互动虚拟教具过程中，需要实时关注虚拟教具的响应状况，并适应虚拟教具的响应状况，使用者教学精力分散，影响教学质量，同时虚拟教具也要跟随使用者进行移动，通常需要在使用者移动变化后进行位置锁定追踪计算达到跟随效果，因此使用者需要进行等待，互动滞后性强。

发明内容

本发明的目的在于提供一种基于文件内容识别的互动虚拟教具实现方法，以解决现有技术中使用者和虚拟教具互相迁就，互动滞后性强的技术问题。

为解决上述技术问题，本发明具体提供下述技术方案：

一种基于文件内容识别的互动虚拟教具实现方法，包括以下步骤：

步骤S1、提取教具文件内容中的教具关键词，并基于教具关键词在预先建立虚拟场景预测模型中提取出共性化虚拟场景，将教具关键词与共性化虚拟场景对应的场景关键词进行比较筛选出教具关键词中的个性化关键词，再基于个性化关键词在共性化虚拟场景中添加个性化虚拟元素以定制出符合教具文件的互动虚拟场景；

步骤S2、提取使用对象的实时教学动作，并基于使用对象的实时教学动作在预先建立的动作习惯模型中预测得到使用对象的将来时教学动作；

步骤S3、依据将来时教学动作对由使用对象、使用对象所处的现时场景和互动虚拟场景虚实融合得到的互动教学场景进行将来时融合预调整，以降低互动教学场景的融合滞后性来提高虚实互动的流畅性。

作为本发明的一种优选方案，利用TF-IDF算法在教具文件内容中提取所述教具关键词。

作为本发明的一种优选方案，所述基于教具关键词在预先建立虚拟场景预测模型中提取出共性化虚拟场景，包括：

将教具关键词输入至所述虚拟场景预测模型中，由虚拟场景预测模型输出教具虚拟场景可选序列，以及教具虚拟场景可选序列中每个教具虚拟场景的匹配度；

选取匹配度最高的教具虚拟场景作为所述共性化虚拟场景；

所述虚拟场景预测模型的构建包括：

将学科教材中所有表征教具实验的教具文件进行三维虚拟搭建得到多个虚拟教具场景，并将表征教具实验的教具文件的教具关键词作为虚拟教具场景的场景关键词；

在表征教具实验的教具文件的教具关键词抽取部分教具关键词作为样本关键词，将样本关键词与场景关键词进行等数量处理，并计算样本关键词与所述场景关键词的相似度作为样本关键词与场景关键词对应的虚拟教具场景的匹配度作为样本匹配度，所述样本匹配度的计算公式为：

；

式中，X _i 为第i个样本关键词的词向量，EX为所有样本关键词的均值向量，Y _i 为第i个场景关键词的词向量，EY为所有场景关键词的均值向量，i为计量常数，N为场景关键词的总数量与样本关键词的总数量中的最大值；

将所述样本关键词作为DNN神经网络的训练输入项，将所述样本关键词与场景关键词对应的虚拟教具场景、以及所述样本匹配度作为DNN神经网络的训练输出项，将DNN神经网络应用与训练输入项和训练输出项中进行网络训练得到所述虚拟场景预测模型，所述虚拟场景预测模型的模型表达式为：

List[Scene,I]=DNN(key_word)；

式中，Scene为虚拟教具场景的表达式标识符，I为匹配度的表达式标识符，key_word为关键词的表达式标识符，DNN为DNN神经网络的表达式标识符，List为序列的表达式标识符。

作为本发明的一种优选方案，所述教具关键词与共性化虚拟场景对应的场景关键词进行比较筛选出教具关键词中的个性化关键词，包括：

将教具关键词与共性化虚拟场景对应的场景关键词进行比较，并在教具关键词中剔除场景关键词，将剩余的教具关键词作为个性化关键词。

作为本发明的一种优选方案，所述基于个性化关键词在共性化虚拟场景中添加个性化虚拟元素以定制出符合教具文件的互动虚拟场景，包括：

将个性化关键词进行三维虚拟构建得到个性化虚拟元素，并将个性化虚拟元素融合至所述共性化虚拟场景中得到所述互动虚拟场景。

作为本发明的一种优选方案，所述基于使用对象的实时教学动作在预先建立的动作习惯模型中预测得到使用对象的将来时教学动作，包括：

将使用对象的实时教学动作输入至动作习惯模型中，并有动作习惯模型输出使用者的将来时教学动作；

所述动作习惯模型的构建包括：

捕捉使用对象的多组连续教学习惯动作，并在多组连续教学习惯动作进行时序拆解得到多组习惯动作时序序列，其中，所述习惯动作时序序列的每个时序处数据序列包括动作时序、使用对象位移量、使用对象朝向方位变化量，所述习惯动作时序序列的函数表达式为：{t _j :[ΔP _j ,ΔH _j ]|j∈[1,M]}，式中，t _j 为第j个动作时序，ΔP _j 为第j个动作时序处的使用对象位移量，ΔH _j 为第j个动作时序处的使用对象朝向方位变化量，j为计量常数，M为习惯动作时序序列中动作时序总数量；

利用LSTM网络对所述习惯动作时序序列进行网络训练得到所述动作习惯模型，所述动作习惯模型的模型表达式为：

Future{ t:[ΔP,ΔH]}=LSTM(Now{ t:[ΔP,ΔH]})；

式中，Future{ t:[ΔP,ΔH]}为将来时的动作时序、使用对象位移量、使用对象朝向方位变化量，Now{ t:[ΔP,ΔH]}为现在时的动作时序、使用对象位移量、使用对象朝向方位变化量，j为计量常数。

作为本发明的一种优选方案，所述将来时融合预调整，包括：

将将来时教学动作的动作时序处互动虚拟场景依据将来时教学动作的使用对象位移量进行位置移动，并将将来时教学动作的动作时序处互动虚拟场景依据将来时教学动作的使用对象朝向方位变化量进行朝向移动，以使得互动虚拟场景对使用对象具有动态跟随性。

作为本发明的一种优选方案，所述将样本关键词与场景关键词进行等数量处理，包括：

当样本关键词的总数量与场景关键词的总数量不一致，则将样本关键词的总数量与场景关键词的总数量中最少的一方利用零向量数量补齐；

当样本关键词的总数量与场景关键词的总数量一致，则维持样本关键词与场景关键词不变。

作为本发明的一种优选方案，所述互动教学场景的虚实融合包括：采集使用对象、使用对象所处的现时场景的实景图像并重建为三维实景空间模型，将三维实景空间模型与互动虚拟场景进行三维模型融合得到互动教学场景。

作为本发明的一种优选方案，所述互动教学场景的三维位置坐标与使用对象所处的现时场景的三维空间坐标互相映射。

本发明与现有技术相比较具有如下有益效果：

本发明建立虚拟场景预测模型中提取出共性化虚拟场景，以构成包含共性化和个性化关键词的互动虚拟场景，直接使用当前封装的虚拟场景中在添加个性化教学元素，使得场景搭建效率更高，构建动作习惯模型以预测得到使用对象的将来时教学动作，无需使用对象进行场景适应，直接利用虚实结合的互动教学场景进行提前适应使用者的动作习惯，为使用对象提供更好的用户体验的同时，降低了互动教学场景的融合滞后性来提高虚实互动的流畅性。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

图1为本发明实施例提供的互动虚拟教具实现方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供了一种基于文件内容识别的互动虚拟教具实现方法，包括以下步骤：

步骤S1、提取教具文件内容中的教具关键词，并基于教具关键词在预先建立虚拟场景预测模型中提取出共性化虚拟场景，将教具关键词与共性化虚拟场景对应的场景关键词进行比较筛选出教具关键词中的个性化关键词，再基于个性化关键词在共性化虚拟场景中添加个性化虚拟元素以定制出符合教具文件的互动虚拟场景；

利用TF-IDF算法在教具文件内容中提取教具关键词。

基于教具关键词在预先建立虚拟场景预测模型中提取出共性化虚拟场景，包括：

将教具关键词输入至虚拟场景预测模型中，由虚拟场景预测模型输出教具虚拟场景可选序列，以及教具虚拟场景可选序列中每个教具虚拟场景的匹配度；

选取匹配度最高的教具虚拟场景作为共性化虚拟场景；

虚拟场景预测模型的构建包括：

将学科教材中所有表征教具实验的教具文件进行三维虚拟搭建得到多个虚拟教具场景，并将表征教具实验的教具文件的教具关键词作为虚拟教具场景的场景关键词；

在表征教具实验的教具文件的教具关键词抽取部分教具关键词作为样本关键词，将样本关键词与场景关键词进行等数量处理，并计算样本关键词与场景关键词的相似度作为样本关键词与场景关键词对应的虚拟教具场景的匹配度作为样本匹配度，样本匹配度的计算公式为：

；

式中，X _i 为第i个样本关键词的词向量，EX为所有样本关键词的均值向量，Y _i 为第i个场景关键词的词向量，EY为所有场景关键词的均值向量，i为计量常数，N为场景关键词的总数量与样本关键词的总数量中的最大值；

将样本关键词作为DNN神经网络的训练输入项，将样本关键词与场景关键词对应的虚拟教具场景、以及样本匹配度作为DNN神经网络的训练输出项，将DNN神经网络应用与训练输入项和训练输出项中进行网络训练得到虚拟场景预测模型，虚拟场景预测模型的模型表达式为：

List[Scene,I]=DNN(key_word)；

式中，Scene为虚拟教具场景的表达式标识符，I为匹配度的表达式标识符，key_word为关键词的表达式标识符，DNN为DNN神经网络的表达式标识符，List为序列的表达式标识符。

教具关键词与共性化虚拟场景对应的场景关键词进行比较筛选出教具关键词中的个性化关键词，包括：

将教具关键词与共性化虚拟场景对应的场景关键词进行比较，并在教具关键词中剔除场景关键词，将剩余的教具关键词作为个性化关键词。

基于个性化关键词在共性化虚拟场景中添加个性化虚拟元素以定制出符合教具文件的互动虚拟场景，包括：

将个性化关键词进行三维虚拟构建得到个性化虚拟元素，并将个性化虚拟元素融合至共性化虚拟场景中得到互动虚拟场景。

学科教学中涉及的教学知识点通常已经进行过归类总结，教学使用对象（学科教师）在进行教学过程中通常是教学的知识点模块是固定的，根据教学教材固定设置的，因此在进行教学演示的时候通常的场景较为固定，比如电学部分的教学，此处的虚拟场景就需要涉及到摆放电学元件的电学工具台，化学中氧化还原反应部分的教学所需的虚拟场景就设计到摆放化学试剂的化学工具台，进而就算不同的使用对象而言，在教学这部分内容过程中都绕不开共同的场景，对于这些场景而言本实施例将其共同性进行封装，在之后根据教学文件内容（备课本）的教具关键词进行统一调配，从而实现共性化场景的直接使用，无需在由各个教具关键词进行依次层次化重新搭建，提高效率，而在面临不同使用对象时候，使用对象在教学文件内容（备课本）上的不同需要，会设置属于使用对象自我特征的教学元素，比如在教学过程中的课外补充、提高部分，此类部分都属于使用对象的个性化部分，因此本实施例只对个性化部分进行重新搭建，在融合至共性化场景中得到互动虚拟场景。

步骤S2、提取使用对象的实时教学动作，并基于使用对象的实时教学动作在预先建立的动作习惯模型中预测得到使用对象的将来时教学动作；

基于使用对象的实时教学动作在预先建立的动作习惯模型中预测得到使用对象的将来时教学动作，包括：

将使用对象的实时教学动作输入至动作习惯模型中，并有动作习惯模型输出使用者的将来时教学动作；

动作习惯模型的构建包括：

捕捉使用对象的多组连续教学习惯动作，并在多组连续教学习惯动作进行时序拆解得到多组习惯动作时序序列，其中，习惯动作时序序列的每个时序处数据序列包括动作时序、使用对象位移量、使用对象朝向方位变化量，习惯动作时序序列的函数表达式为：{t _j :[ΔP _j ,ΔH _j ]|j∈[1,M]}，式中，t _j 为第j个动作时序，ΔP _j 为第j个动作时序处的使用对象位移量，ΔH _j 为第j个动作时序处的使用对象朝向方位变化量，j为计量常数，M为习惯动作时序序列中动作时序总数量；

利用LSTM网络对习惯动作时序序列进行网络训练得到动作习惯模型，动作习惯模型的模型表达式为：

Future{ t:[ΔP,ΔH]}=LSTM(Now{ t:[ΔP,ΔH]})；

式中，Future{ t:[ΔP,ΔH]}为将来时的动作时序、使用对象位移量、使用对象朝向方位变化量，Now{ t:[ΔP,ΔH]}为现在时的动作时序、使用对象位移量、使用对象朝向方位变化量，j为计量常数。

教学使用对象在整个教学过程中会有自己的教学风格，比如：在教学过程中偏好在讲台部分进行讲演，讲演过程中移动范围较小，或者在教学过程中偏好从围绕听课对象进行环绕式讲演，讲演过程移动范围大，本实施例构建动作习惯模型去学习使用对象的教学动作习惯，从而进行使用对象的教学动作的提前预测，能够让互动虚拟场景提前达到使用对象的将来时的位置坐标处，并朝向使用对象正面以方便使用对象的演示使用，而非在使用对象发生移动后在进行使用对象位置朝向的获取，获取后在进行互动虚拟场景的调整，这种滞后性调整会造成互动虚拟场景的卡顿，时序间流畅性差，跟不上使用对象的教学进度，需要使用对象进行等待，因此本实施例的提前预判调整，能够降低卡顿，提高使用对象的使用体验感。

步骤S3、依据将来时教学动作对由使用对象、使用对象所处的现时场景和互动虚拟场景虚实融合得到的互动教学场景进行将来时融合预调整，以降低互动教学场景的融合滞后性来提高虚实互动的流畅性。

将来时融合预调整，包括：

将将来时教学动作的动作时序处互动虚拟场景依据将来时教学动作的使用对象位移量进行位置移动，并将将来时教学动作的动作时序处互动虚拟场景依据将来时教学动作的使用对象朝向方位变化量进行朝向移动，以使得互动虚拟场景对使用对象具有动态跟随性。

将样本关键词与场景关键词进行等数量处理，包括：

当样本关键词的总数量与场景关键词的总数量不一致，则将样本关键词的总数量与场景关键词的总数量中最少的一方利用零向量数量补齐；

当样本关键词的总数量与场景关键词的总数量一致，则维持样本关键词与场景关键词不变。

互动教学场景的虚实融合包括：采集使用对象、使用对象所处的现时场景的实景图像并重建为三维实景空间模型，将三维实景空间模型与互动虚拟场景进行三维模型融合得到互动教学场景。

互动教学场景的三维位置坐标与使用对象所处的现时场景的三维空间坐标互相映射，从而保证根据使用对象的将来时教学动作的互动虚拟场景调整更准确。

本发明建立虚拟场景预测模型中提取出共性化虚拟场景，以构成包含共性化和个性化关键词的互动虚拟场景，直接使用当前封装的虚拟场景中在添加个性化教学元素，使得场景搭建效率更高，构建动作习惯模型以预测得到使用对象的将来时教学动作，无需使用对象进行场景适应，直接利用虚实结合的互动教学场景进行提前适应使用者的动作习惯，为使用对象提供更好的用户体验的同时，降低了互动教学场景的融合滞后性来提高虚实互动的流畅性。

以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (8)

1.一种基于文件内容识别的互动虚拟教具实现方法，其特征在于：包括以下步骤：

步骤S1、提取教具文件内容中的教具关键词，并基于教具关键词在预先建立虚拟场景预测模型中提取出共性化虚拟场景，将教具关键词与共性化虚拟场景对应的场景关键词进行比较筛选出教具关键词中的个性化关键词，再基于个性化关键词在共性化虚拟场景中添加个性化虚拟元素以定制出符合教具文件的互动虚拟场景；

步骤S2、提取使用对象的实时教学动作，并基于使用对象的实时教学动作在预先建立的动作习惯模型中预测得到使用对象的将来时教学动作；

步骤S3、依据将来时教学动作对由使用对象、使用对象所处的现时场景和互动虚拟场景虚实融合得到的互动教学场景进行将来时融合预调整，以降低互动教学场景的融合滞后性来提高虚实互动的流畅性；

所述基于教具关键词在预先建立虚拟场景预测模型中提取出共性化虚拟场景，包括：

将教具关键词输入至所述虚拟场景预测模型中，由虚拟场景预测模型输出教具虚拟场景可选序列，以及教具虚拟场景可选序列中每个教具虚拟场景的匹配度；

选取匹配度最高的教具虚拟场景作为所述共性化虚拟场景；

所述虚拟场景预测模型的构建包括：

将学科教材中所有表征教具实验的教具文件进行三维虚拟搭建得到多个虚拟教具场景，并将表征教具实验的教具文件的教具关键词作为虚拟教具场景的场景关键词；

在表征教具实验的教具文件的教具关键词抽取部分教具关键词作为样本关键词，将样本关键词与场景关键词进行等数量处理，并计算样本关键词与所述场景关键词的相似度作为样本关键词与场景关键词对应的虚拟教具场景的匹配度作为样本匹配度，所述样本匹配度的计算公式为：

；

式中，X _i 为第i个样本关键词的词向量，EX为所有样本关键词的均值向量，Y _i 为第i个场景关键词的词向量，EY为所有场景关键词的均值向量，i为计量常数，N为场景关键词的总数量与样本关键词的总数量中的最大值；

将所述样本关键词作为DNN神经网络的训练输入项，将所述样本关键词与场景关键词对应的虚拟教具场景、以及所述样本匹配度作为DNN神经网络的训练输出项，将DNN神经网络应用与训练输入项和训练输出项中进行网络训练得到所述虚拟场景预测模型，所述虚拟场景预测模型的模型表达式为：

List[Scene,I]=DNN(key_word)；

式中，Scene为虚拟教具场景的表达式标识符，I为匹配度的表达式标识符，key_word为关键词的表达式标识符，DNN为DNN神经网络的表达式标识符，List为序列的表达式标识符；

所述基于使用对象的实时教学动作在预先建立的动作习惯模型中预测得到使用对象的将来时教学动作，包括：

将使用对象的实时教学动作输入至动作习惯模型中，并有动作习惯模型输出使用者的将来时教学动作；

所述动作习惯模型的构建包括：

捕捉使用对象的多组连续教学习惯动作，并在多组连续教学习惯动作进行时序拆解得到多组习惯动作时序序列，其中，所述习惯动作时序序列的每个时序处数据序列包括动作时序、使用对象位移量、使用对象朝向方位变化量，所述习惯动作时序序列的函数表达式为：{t _j :[ΔP _j ,ΔH _j ]|j∈[1,M]}，式中，t _j 为第j个动作时序，ΔP _j 为第j个动作时序处的使用对象位移量，ΔH _j 为第j个动作时序处的使用对象朝向方位变化量，j为计量常数，M为习惯动作时序序列中动作时序总数量；

利用LSTM网络对所述习惯动作时序序列进行网络训练得到所述动作习惯模型，所述动作习惯模型的模型表达式为：

Future{ t:[ΔP,ΔH]}=LSTM(Now{ t:[ΔP,ΔH]})；

式中，Future{ t:[ΔP,ΔH]}为将来时的动作时序、使用对象位移量、使用对象朝向方位变化量，Now{ t:[ΔP,ΔH]}为现在时的动作时序、使用对象位移量、使用对象朝向方位变化量，j为计量常数。

2.根据权利要求1所述的一种基于文件内容识别的互动虚拟教具实现方法，其特征在于：利用TF-IDF算法在教具文件内容中提取所述教具关键词。

3.根据权利要求2所述的一种基于文件内容识别的互动虚拟教具实现方法，其特征在于：所述教具关键词与共性化虚拟场景对应的场景关键词进行比较筛选出教具关键词中的个性化关键词，包括：

将教具关键词与共性化虚拟场景对应的场景关键词进行比较，并在教具关键词中剔除场景关键词，将剩余的教具关键词作为个性化关键词。

4.根据权利要求3所述的一种基于文件内容识别的互动虚拟教具实现方法，其特征在于：所述基于个性化关键词在共性化虚拟场景中添加个性化虚拟元素以定制出符合教具文件的互动虚拟场景，包括：

将个性化关键词进行三维虚拟构建得到个性化虚拟元素，并将个性化虚拟元素融合至所述共性化虚拟场景中得到所述互动虚拟场景。

5.根据权利要求4所述的一种基于文件内容识别的互动虚拟教具实现方法，其特征在于，所述将来时融合预调整，包括：

将将来时教学动作的动作时序处互动虚拟场景依据将来时教学动作的使用对象位移量进行位置移动，并将将来时教学动作的动作时序处互动虚拟场景依据将来时教学动作的使用对象朝向方位变化量进行朝向移动，以使得互动虚拟场景对使用对象具有动态跟随性。

6.根据权利要求5所述的一种基于文件内容识别的互动虚拟教具实现方法，其特征在于，所述将样本关键词与场景关键词进行等数量处理，包括：

当样本关键词的总数量与场景关键词的总数量不一致，则将样本关键词的总数量与场景关键词的总数量中最少的一方利用零向量数量补齐；

当样本关键词的总数量与场景关键词的总数量一致，则维持样本关键词与场景关键词不变。

7.根据权利要求6所述的一种基于文件内容识别的互动虚拟教具实现方法，其特征在于，所述互动教学场景的虚实融合包括：采集使用对象、使用对象所处的现时场景的实景图像并重建为三维实景空间模型，将三维实景空间模型与互动虚拟场景进行三维模型融合得到互动教学场景。

8.根据权利要求7所述的一种基于文件内容识别的互动虚拟教具实现方法，其特征在于，所述互动教学场景的三维位置坐标与使用对象所处的现时场景的三维空间坐标互相映射。

Images