CN115114537A - 一种基于文件内容识别的互动虚拟教具实现方法 - Google Patents

一种基于文件内容识别的互动虚拟教具实现方法 Download PDF

Info

Publication number
CN115114537A
CN115114537A CN202211036632.4A CN202211036632A CN115114537A CN 115114537 A CN115114537 A CN 115114537A CN 202211036632 A CN202211036632 A CN 202211036632A CN 115114537 A CN115114537 A CN 115114537A
Authority
CN
China
Prior art keywords
scene
teaching
teaching aid
virtual
keywords
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211036632.4A
Other languages
English (en)
Other versions
CN115114537B (zh
Inventor
杨湘伶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Aeronautic Polytechnic
Original Assignee
Chengdu Aeronautic Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Aeronautic Polytechnic filed Critical Chengdu Aeronautic Polytechnic
Priority to CN202211036632.4A priority Critical patent/CN115114537B/zh
Publication of CN115114537A publication Critical patent/CN115114537A/zh
Application granted granted Critical
Publication of CN115114537B publication Critical patent/CN115114537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9532Query formulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/08Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于文件内容识别的互动虚拟教具实现方法,包括以下步骤:提取使用对象的实时教学动作,并基于使用对象的实时教学动作在预先建立的动作习惯模型中预测得到使用对象的将来时教学动作;依据将来时教学动作对由使用对象、使用对象所处的现时场景和互动虚拟场景虚实融合得到的互动教学场景进行将来时融合预调整。本发明构建动作习惯模型以预测得到使用对象的将来时教学动作,无需使用对象进行场景适应,直接利用虚实结合的互动教学场景进行提前适应使用者的动作习惯,为使用对象提供更好的用户体验的同时,降低了互动教学场景的融合滞后性来提高虚实互动的流畅性。

Description

一种基于文件内容识别的互动虚拟教具实现方法
技术领域
本发明涉及教学应用技术领域,具体涉及一种基于文件内容识别的互动虚拟教具实现方法。
背景技术
5G、VR/AR/MR、全息投影等技术正深刻改变传统的教学环境,构建虚实一体、线上线下混合的新一代教学环境已成为人工智能时代对未来教育模式探讨的新使命。教学过程中,虚拟教具可将抽象知识转变成具体化、形象化内容,降低学生掌握复杂、抽象概念的困难,提高观察、实践和科学思维能力。基于MR技术构建的混合增强学习环境,通过多网传播、全息投影等技术,可在虚拟教具、真实教师及其所处真实环境之间构建一个交互反馈的信息回路。其情境性、交互性和融合性的特征,可打破在线课堂师生分割屏幕两端的局限,避免学习者产生孤独感和倦怠感。教师通过人机界面及语音交互方式生成虚实融合的教具,借助空间定位和追踪机制,实现头部、眼动、手势、手柄、按钮等多模态自然交互,达成真实环境中教师与虚拟教具模型的虚实互动。虚实融合的教具在新一代智能教学环境中将会发挥重大作用,拥有广阔的应用前景。
目前虚拟教具生成方面还存在诸多问题,比如,使用对象在使用互动虚拟教具过程中,需要实时关注虚拟教具的响应状况,并适应虚拟教具的响应状况,使用者教学精力分散,影响教学质量,同时虚拟教具也要跟随使用者进行移动,通常需要在使用者移动变化后进行位置锁定追踪计算达到跟随效果,因此使用者需要进行等待,互动滞后性强。
发明内容
本发明的目的在于提供一种基于文件内容识别的互动虚拟教具实现方法,以解决现有技术中使用者和虚拟教具互相迁就,互动滞后性强的技术问题。
为解决上述技术问题,本发明具体提供下述技术方案:
一种基于文件内容识别的互动虚拟教具实现方法,包括以下步骤:
步骤S1、提取教具文件内容中的教具关键词,并基于教具关键词在预先建立虚拟场景预测模型中提取出共性化虚拟场景,将教具关键词与共性化虚拟场景对应的场景关键词进行比较筛选出教具关键词中的个性化关键词,再基于个性化关键词在共性化虚拟场景中添加个性化虚拟元素以定制出符合教具文件的互动虚拟场景;
步骤S2、提取使用对象的实时教学动作,并基于使用对象的实时教学动作在预先建立的动作习惯模型中预测得到使用对象的将来时教学动作;
步骤S3、依据将来时教学动作对由使用对象、使用对象所处的现时场景和互动虚拟场景虚实融合得到的互动教学场景进行将来时融合预调整,以降低互动教学场景的融合滞后性来提高虚实互动的流畅性。
作为本发明的一种优选方案,利用TF-IDF算法在教具文件内容中提取所述教具关键词。
作为本发明的一种优选方案,所述基于教具关键词在预先建立虚拟场景预测模型中提取出共性化虚拟场景,包括:
将教具关键词输入至所述虚拟场景预测模型中,由虚拟场景预测模型输出教具虚拟场景可选序列,以及教具虚拟场景可选序列中每个教具虚拟场景的匹配度;
选取匹配度最高的教具虚拟场景作为所述共性化虚拟场景;
所述虚拟场景预测模型的构建包括:
将学科教材中所有表征教具实验的教具文件进行三维虚拟搭建得到多个虚拟教具场景,并将表征教具实验的教具文件的教具关键词作为虚拟教具场景的场景关键词;
在表征教具实验的教具文件的教具关键词抽取部分教具关键词作为样本关键词,将样本关键词与场景关键词进行等数量处理,并计算样本关键词与所述场景关键词的相似度作为样本关键词与场景关键词对应的虚拟教具场景的匹配度作为样本匹配度,所述样本匹配度的计算公式为:
Figure 251564DEST_PATH_IMAGE001
式中,X i 为第i个样本关键词的词向量,EX为所有样本关键词的均值向量,Y i 为第i个场景关键词的词向量,EY为所有场景关键词的均值向量,i为计量常数,N为场景关键词的总数量与样本关键词的总数量中的最大值;
将所述样本关键词作为DNN神经网络的训练输入项,将所述样本关键词与场景关键词对应的虚拟教具场景、以及所述样本匹配度作为DNN神经网络的训练输出项,将DNN神经网络应用与训练输入项和训练输出项中进行网络训练得到所述虚拟场景预测模型,所述虚拟场景预测模型的模型表达式为:
List[Scene,I]=DNN(key_word);
式中,Scene为虚拟教具场景的表达式标识符,I为匹配度的表达式标识符,key_word为关键词的表达式标识符,DNN为DNN神经网络的表达式标识符,List为序列的表达式标识符。
作为本发明的一种优选方案,所述教具关键词与共性化虚拟场景对应的场景关键词进行比较筛选出教具关键词中的个性化关键词,包括:
将教具关键词与共性化虚拟场景对应的场景关键词进行比较,并在教具关键词中剔除场景关键词,将剩余的教具关键词作为个性化关键词。
作为本发明的一种优选方案,所述基于个性化关键词在共性化虚拟场景中添加个性化虚拟元素以定制出符合教具文件的互动虚拟场景,包括:
将个性化关键词进行三维虚拟构建得到个性化虚拟元素,并将个性化虚拟元素融合至所述共性化虚拟场景中得到所述互动虚拟场景。
作为本发明的一种优选方案,所述基于使用对象的实时教学动作在预先建立的动作习惯模型中预测得到使用对象的将来时教学动作,包括:
将使用对象的实时教学动作输入至动作习惯模型中,并有动作习惯模型输出使用者的将来时教学动作;
所述动作习惯模型的构建包括:
捕捉使用对象的多组连续教学习惯动作,并在多组连续教学习惯动作进行时序拆解得到多组习惯动作时序序列,其中,所述习惯动作时序序列的每个时序处数据序列包括动作时序、使用对象位移量、使用对象朝向方位变化量,所述习惯动作时序序列的函数表达式为:{t j :[ΔP j ,ΔH j ]|j∈[1,M]},式中,t j 为第j个动作时序,ΔP j 为第j个动作时序处的使用对象位移量,ΔH j 为第j个动作时序处的使用对象朝向方位变化量,j为计量常数,M为习惯动作时序序列中动作时序总数量;
利用LSTM网络对所述习惯动作时序序列进行网络训练得到所述动作习惯模型,所述动作习惯模型的模型表达式为:
Future{ t:[ΔP,ΔH]}=LSTM(Now{ t:[ΔP,ΔH]});
式中,Future{ t:[ΔP,ΔH]}为将来时的动作时序、使用对象位移量、使用对象朝向方位变化量,Now{ t:[ΔP,ΔH]}为现在时的动作时序、使用对象位移量、使用对象朝向方位变化量,j为计量常数。
作为本发明的一种优选方案,所述将来时融合预调整,包括:
将将来时教学动作的动作时序处互动虚拟场景依据将来时教学动作的使用对象位移量进行位置移动,并将将来时教学动作的动作时序处互动虚拟场景依据将来时教学动作的使用对象朝向方位变化量进行朝向移动,以使得互动虚拟场景对使用对象具有动态跟随性。
作为本发明的一种优选方案,所述将样本关键词与场景关键词进行等数量处理,包括:
当样本关键词的总数量与场景关键词的总数量不一致,则将样本关键词的总数量与场景关键词的总数量中最少的一方利用零向量数量补齐;
当样本关键词的总数量与场景关键词的总数量一致,则维持样本关键词与场景关键词不变。
作为本发明的一种优选方案,所述互动教学场景的虚实融合包括:采集使用对象、使用对象所处的现时场景的实景图像并重建为三维实景空间模型,将三维实景空间模型与互动虚拟场景进行三维模型融合得到互动教学场景。
作为本发明的一种优选方案,所述互动教学场景的三维位置坐标与使用对象所处的现时场景的三维空间坐标互相映射。
本发明与现有技术相比较具有如下有益效果:
本发明建立虚拟场景预测模型中提取出共性化虚拟场景,以构成包含共性化和个性化关键词的互动虚拟场景,直接使用当前封装的虚拟场景中在添加个性化教学元素,使得场景搭建效率更高,构建动作习惯模型以预测得到使用对象的将来时教学动作,无需使用对象进行场景适应,直接利用虚实结合的互动教学场景进行提前适应使用者的动作习惯,为使用对象提供更好的用户体验的同时,降低了互动教学场景的融合滞后性来提高虚实互动的流畅性。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的互动虚拟教具实现方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明提供了一种基于文件内容识别的互动虚拟教具实现方法,包括以下步骤:
步骤S1、提取教具文件内容中的教具关键词,并基于教具关键词在预先建立虚拟场景预测模型中提取出共性化虚拟场景,将教具关键词与共性化虚拟场景对应的场景关键词进行比较筛选出教具关键词中的个性化关键词,再基于个性化关键词在共性化虚拟场景中添加个性化虚拟元素以定制出符合教具文件的互动虚拟场景;
利用TF-IDF算法在教具文件内容中提取教具关键词。
基于教具关键词在预先建立虚拟场景预测模型中提取出共性化虚拟场景,包括:
将教具关键词输入至虚拟场景预测模型中,由虚拟场景预测模型输出教具虚拟场景可选序列,以及教具虚拟场景可选序列中每个教具虚拟场景的匹配度;
选取匹配度最高的教具虚拟场景作为共性化虚拟场景;
虚拟场景预测模型的构建包括:
将学科教材中所有表征教具实验的教具文件进行三维虚拟搭建得到多个虚拟教具场景,并将表征教具实验的教具文件的教具关键词作为虚拟教具场景的场景关键词;
在表征教具实验的教具文件的教具关键词抽取部分教具关键词作为样本关键词,将样本关键词与场景关键词进行等数量处理,并计算样本关键词与场景关键词的相似度作为样本关键词与场景关键词对应的虚拟教具场景的匹配度作为样本匹配度,样本匹配度的计算公式为:
Figure 500142DEST_PATH_IMAGE001
式中,X i 为第i个样本关键词的词向量,EX为所有样本关键词的均值向量,Y i 为第i个场景关键词的词向量,EY为所有场景关键词的均值向量,i为计量常数,N为场景关键词的总数量与样本关键词的总数量中的最大值;
将样本关键词作为DNN神经网络的训练输入项,将样本关键词与场景关键词对应的虚拟教具场景、以及样本匹配度作为DNN神经网络的训练输出项,将DNN神经网络应用与训练输入项和训练输出项中进行网络训练得到虚拟场景预测模型,虚拟场景预测模型的模型表达式为:
List[Scene,I]=DNN(key_word);
式中,Scene为虚拟教具场景的表达式标识符,I为匹配度的表达式标识符,key_word为关键词的表达式标识符,DNN为DNN神经网络的表达式标识符,List为序列的表达式标识符。
教具关键词与共性化虚拟场景对应的场景关键词进行比较筛选出教具关键词中的个性化关键词,包括:
将教具关键词与共性化虚拟场景对应的场景关键词进行比较,并在教具关键词中剔除场景关键词,将剩余的教具关键词作为个性化关键词。
基于个性化关键词在共性化虚拟场景中添加个性化虚拟元素以定制出符合教具文件的互动虚拟场景,包括:
将个性化关键词进行三维虚拟构建得到个性化虚拟元素,并将个性化虚拟元素融合至共性化虚拟场景中得到互动虚拟场景。
学科教学中涉及的教学知识点通常已经进行过归类总结,教学使用对象(学科教师)在进行教学过程中通常是教学的知识点模块是固定的,根据教学教材固定设置的,因此在进行教学演示的时候通常的场景较为固定,比如电学部分的教学,此处的虚拟场景就需要涉及到摆放电学元件的电学工具台,化学中氧化还原反应部分的教学所需的虚拟场景就设计到摆放化学试剂的化学工具台,进而就算不同的使用对象而言,在教学这部分内容过程中都绕不开共同的场景,对于这些场景而言本实施例将其共同性进行封装,在之后根据教学文件内容(备课本)的教具关键词进行统一调配,从而实现共性化场景的直接使用,无需在由各个教具关键词进行依次层次化重新搭建,提高效率,而在面临不同使用对象时候,使用对象在教学文件内容(备课本)上的不同需要,会设置属于使用对象自我特征的教学元素,比如在教学过程中的课外补充、提高部分,此类部分都属于使用对象的个性化部分,因此本实施例只对个性化部分进行重新搭建,在融合至共性化场景中得到互动虚拟场景。
步骤S2、提取使用对象的实时教学动作,并基于使用对象的实时教学动作在预先建立的动作习惯模型中预测得到使用对象的将来时教学动作;
基于使用对象的实时教学动作在预先建立的动作习惯模型中预测得到使用对象的将来时教学动作,包括:
将使用对象的实时教学动作输入至动作习惯模型中,并有动作习惯模型输出使用者的将来时教学动作;
动作习惯模型的构建包括:
捕捉使用对象的多组连续教学习惯动作,并在多组连续教学习惯动作进行时序拆解得到多组习惯动作时序序列,其中,习惯动作时序序列的每个时序处数据序列包括动作时序、使用对象位移量、使用对象朝向方位变化量,习惯动作时序序列的函数表达式为:{t j :[ΔP j ,ΔH j ]|j∈[1,M]},式中,t j 为第j个动作时序,ΔP j 为第j个动作时序处的使用对象位移量,ΔH j 为第j个动作时序处的使用对象朝向方位变化量,j为计量常数,M为习惯动作时序序列中动作时序总数量;
利用LSTM网络对习惯动作时序序列进行网络训练得到动作习惯模型,动作习惯模型的模型表达式为:
Future{ t:[ΔP,ΔH]}=LSTM(Now{ t:[ΔP,ΔH]});
式中,Future{ t:[ΔP,ΔH]}为将来时的动作时序、使用对象位移量、使用对象朝向方位变化量,Now{ t:[ΔP,ΔH]}为现在时的动作时序、使用对象位移量、使用对象朝向方位变化量,j为计量常数。
教学使用对象在整个教学过程中会有自己的教学风格,比如:在教学过程中偏好在讲台部分进行讲演,讲演过程中移动范围较小,或者在教学过程中偏好从围绕听课对象进行环绕式讲演,讲演过程移动范围大,本实施例构建动作习惯模型去学习使用对象的教学动作习惯,从而进行使用对象的教学动作的提前预测,能够让互动虚拟场景提前达到使用对象的将来时的位置坐标处,并朝向使用对象正面以方便使用对象的演示使用,而非在使用对象发生移动后在进行使用对象位置朝向的获取,获取后在进行互动虚拟场景的调整,这种滞后性调整会造成互动虚拟场景的卡顿,时序间流畅性差,跟不上使用对象的教学进度,需要使用对象进行等待,因此本实施例的提前预判调整,能够降低卡顿,提高使用对象的使用体验感。
步骤S3、依据将来时教学动作对由使用对象、使用对象所处的现时场景和互动虚拟场景虚实融合得到的互动教学场景进行将来时融合预调整,以降低互动教学场景的融合滞后性来提高虚实互动的流畅性。
将来时融合预调整,包括:
将将来时教学动作的动作时序处互动虚拟场景依据将来时教学动作的使用对象位移量进行位置移动,并将将来时教学动作的动作时序处互动虚拟场景依据将来时教学动作的使用对象朝向方位变化量进行朝向移动,以使得互动虚拟场景对使用对象具有动态跟随性。
将样本关键词与场景关键词进行等数量处理,包括:
当样本关键词的总数量与场景关键词的总数量不一致,则将样本关键词的总数量与场景关键词的总数量中最少的一方利用零向量数量补齐;
当样本关键词的总数量与场景关键词的总数量一致,则维持样本关键词与场景关键词不变。
互动教学场景的虚实融合包括:采集使用对象、使用对象所处的现时场景的实景图像并重建为三维实景空间模型,将三维实景空间模型与互动虚拟场景进行三维模型融合得到互动教学场景。
互动教学场景的三维位置坐标与使用对象所处的现时场景的三维空间坐标互相映射,从而保证根据使用对象的将来时教学动作的互动虚拟场景调整更准确。
本发明建立虚拟场景预测模型中提取出共性化虚拟场景,以构成包含共性化和个性化关键词的互动虚拟场景,直接使用当前封装的虚拟场景中在添加个性化教学元素,使得场景搭建效率更高,构建动作习惯模型以预测得到使用对象的将来时教学动作,无需使用对象进行场景适应,直接利用虚实结合的互动教学场景进行提前适应使用者的动作习惯,为使用对象提供更好的用户体验的同时,降低了互动教学场景的融合滞后性来提高虚实互动的流畅性。
以上实施例仅为本申请的示例性实施例,不用于限制本申请,本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内,对本申请做出各种修改或等同替换,这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (10)

1.一种基于文件内容识别的互动虚拟教具实现方法,其特征在于:包括以下步骤:
步骤S1、提取教具文件内容中的教具关键词,并基于教具关键词在预先建立虚拟场景预测模型中提取出共性化虚拟场景,将教具关键词与共性化虚拟场景对应的场景关键词进行比较筛选出教具关键词中的个性化关键词,再基于个性化关键词在共性化虚拟场景中添加个性化虚拟元素以定制出符合教具文件的互动虚拟场景;
步骤S2、提取使用对象的实时教学动作,并基于使用对象的实时教学动作在预先建立的动作习惯模型中预测得到使用对象的将来时教学动作;
步骤S3、依据将来时教学动作对由使用对象、使用对象所处的现时场景和互动虚拟场景虚实融合得到的互动教学场景进行将来时融合预调整,以降低互动教学场景的融合滞后性来提高虚实互动的流畅性。
2.根据权利要求1所述的一种基于文件内容识别的互动虚拟教具实现方法,其特征在于:利用TF-IDF算法在教具文件内容中提取所述教具关键词。
3.根据权利要求2所述的一种基于文件内容识别的互动虚拟教具实现方法,其特征在于:所述基于教具关键词在预先建立虚拟场景预测模型中提取出共性化虚拟场景,包括:
将教具关键词输入至所述虚拟场景预测模型中,由虚拟场景预测模型输出教具虚拟场景可选序列,以及教具虚拟场景可选序列中每个教具虚拟场景的匹配度;
选取匹配度最高的教具虚拟场景作为所述共性化虚拟场景;
所述虚拟场景预测模型的构建包括:
将学科教材中所有表征教具实验的教具文件进行三维虚拟搭建得到多个虚拟教具场景,并将表征教具实验的教具文件的教具关键词作为虚拟教具场景的场景关键词;
在表征教具实验的教具文件的教具关键词抽取部分教具关键词作为样本关键词,将样本关键词与场景关键词进行等数量处理,并计算样本关键词与所述场景关键词的相似度作为样本关键词与场景关键词对应的虚拟教具场景的匹配度作为样本匹配度,所述样本匹配度的计算公式为:
Figure DEST_PATH_IMAGE001
式中,X i 为第i个样本关键词的词向量,EX为所有样本关键词的均值向量,Y i 为第i个场景关键词的词向量,EY为所有场景关键词的均值向量,i为计量常数,N为场景关键词的总数量与样本关键词的总数量中的最大值;
将所述样本关键词作为DNN神经网络的训练输入项,将所述样本关键词与场景关键词对应的虚拟教具场景、以及所述样本匹配度作为DNN神经网络的训练输出项,将DNN神经网络应用与训练输入项和训练输出项中进行网络训练得到所述虚拟场景预测模型,所述虚拟场景预测模型的模型表达式为:
List[Scene,I]=DNN(key_word);
式中,Scene为虚拟教具场景的表达式标识符,I为匹配度的表达式标识符,key_word为关键词的表达式标识符,DNN为DNN神经网络的表达式标识符,List为序列的表达式标识符。
4.根据权利要求3所述的一种基于文件内容识别的互动虚拟教具实现方法,其特征在于:所述教具关键词与共性化虚拟场景对应的场景关键词进行比较筛选出教具关键词中的个性化关键词,包括:
将教具关键词与共性化虚拟场景对应的场景关键词进行比较,并在教具关键词中剔除场景关键词,将剩余的教具关键词作为个性化关键词。
5.根据权利要求4所述的一种基于文件内容识别的互动虚拟教具实现方法,其特征在于:所述基于个性化关键词在共性化虚拟场景中添加个性化虚拟元素以定制出符合教具文件的互动虚拟场景,包括:
将个性化关键词进行三维虚拟构建得到个性化虚拟元素,并将个性化虚拟元素融合至所述共性化虚拟场景中得到所述互动虚拟场景。
6.根据权利要求5所述的一种基于文件内容识别的互动虚拟教具实现方法,其特征在于:所述基于使用对象的实时教学动作在预先建立的动作习惯模型中预测得到使用对象的将来时教学动作,包括:
将使用对象的实时教学动作输入至动作习惯模型中,并有动作习惯模型输出使用者的将来时教学动作;
所述动作习惯模型的构建包括:
捕捉使用对象的多组连续教学习惯动作,并在多组连续教学习惯动作进行时序拆解得到多组习惯动作时序序列,其中,所述习惯动作时序序列的每个时序处数据序列包括动作时序、使用对象位移量、使用对象朝向方位变化量,所述习惯动作时序序列的函数表达式为:{t j :[ΔP j ,ΔH j ]|j∈[1,M]},式中,t j 为第j个动作时序,ΔP j 为第j个动作时序处的使用对象位移量,ΔH j 为第j个动作时序处的使用对象朝向方位变化量,j为计量常数,M为习惯动作时序序列中动作时序总数量;
利用LSTM网络对所述习惯动作时序序列进行网络训练得到所述动作习惯模型,所述动作习惯模型的模型表达式为:
Future{ t:[ΔP,ΔH]}=LSTM(Now{ t:[ΔP,ΔH]});
式中,Future{ t:[ΔP,ΔH]}为将来时的动作时序、使用对象位移量、使用对象朝向方位变化量,Now{ t:[ΔP,ΔH]}为现在时的动作时序、使用对象位移量、使用对象朝向方位变化量,j为计量常数。
7.根据权利要求6所述的一种基于文件内容识别的互动虚拟教具实现方法,其特征在于,所述将来时融合预调整,包括:
将将来时教学动作的动作时序处互动虚拟场景依据将来时教学动作的使用对象位移量进行位置移动,并将将来时教学动作的动作时序处互动虚拟场景依据将来时教学动作的使用对象朝向方位变化量进行朝向移动,以使得互动虚拟场景对使用对象具有动态跟随性。
8.根据权利要求7所述的一种基于文件内容识别的互动虚拟教具实现方法,其特征在于,所述将样本关键词与场景关键词进行等数量处理,包括:
当样本关键词的总数量与场景关键词的总数量不一致,则将样本关键词的总数量与场景关键词的总数量中最少的一方利用零向量数量补齐;
当样本关键词的总数量与场景关键词的总数量一致,则维持样本关键词与场景关键词不变。
9.根据权利要求8所述的一种基于文件内容识别的互动虚拟教具实现方法,其特征在于,所述互动教学场景的虚实融合包括:采集使用对象、使用对象所处的现时场景的实景图像并重建为三维实景空间模型,将三维实景空间模型与互动虚拟场景进行三维模型融合得到互动教学场景。
10.根据权利要求9所述的一种基于文件内容识别的互动虚拟教具实现方法,其特征在于,所述互动教学场景的三维位置坐标与使用对象所处的现时场景的三维空间坐标互相映射。
CN202211036632.4A 2022-08-29 2022-08-29 一种基于文件内容识别的互动虚拟教具实现方法 Active CN115114537B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211036632.4A CN115114537B (zh) 2022-08-29 2022-08-29 一种基于文件内容识别的互动虚拟教具实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211036632.4A CN115114537B (zh) 2022-08-29 2022-08-29 一种基于文件内容识别的互动虚拟教具实现方法

Publications (2)

Publication Number Publication Date
CN115114537A true CN115114537A (zh) 2022-09-27
CN115114537B CN115114537B (zh) 2022-11-22

Family

ID=83335772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211036632.4A Active CN115114537B (zh) 2022-08-29 2022-08-29 一种基于文件内容识别的互动虚拟教具实现方法

Country Status (1)

Country Link
CN (1) CN115114537B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107172157A (zh) * 2017-05-22 2017-09-15 浙江精益佰汇数字技术有限公司 多人交互式英语教学系统平台及实现方法
CN107765859A (zh) * 2017-11-09 2018-03-06 温州大学 一种基于vr虚拟课堂的训练系统及方法
CN108459717A (zh) * 2018-03-13 2018-08-28 重庆虚拟实境科技有限公司 虚拟教育方法、装置、计算机装置及存储介质
US20180342103A1 (en) * 2017-05-26 2018-11-29 Microsoft Technology Licensing, Llc Using tracking to simulate direct tablet interaction in mixed reality
CN109313484A (zh) * 2017-08-25 2019-02-05 深圳市瑞立视多媒体科技有限公司 虚拟现实交互系统、方法及计算机存储介质
CN109464803A (zh) * 2018-11-05 2019-03-15 腾讯科技(深圳)有限公司 虚拟对象控制、模型训练方法、装置、存储介质和设备
CN110069139A (zh) * 2019-05-08 2019-07-30 上海优谦智能科技有限公司 Vr技术实现旅游教学实践的体验系统
CN110221694A (zh) * 2019-05-31 2019-09-10 珠海格力电器股份有限公司 一种交互平台的控制方法、装置、存储介质及交互平台
CN110428680A (zh) * 2019-08-14 2019-11-08 莆田学院 虚拟仿真技术的数学与应用数学师范生课堂技能训练系统
CN110969905A (zh) * 2019-11-29 2020-04-07 塔普翊海(上海)智能科技有限公司 混合现实的远程教学互动、教具互动系统及其互动方法
CN111258433A (zh) * 2020-03-02 2020-06-09 上海乂学教育科技有限公司 基于虚拟场景的教学互动系统
CN111538456A (zh) * 2020-07-10 2020-08-14 深圳追一科技有限公司 基于虚拟形象的人机交互方法、装置、终端以及存储介质
CN112230772A (zh) * 2020-10-14 2021-01-15 华中师范大学 一种虚实融合的教具自动生成方法
CN113032694A (zh) * 2021-05-26 2021-06-25 浙江口碑网络技术有限公司 基于场景的查询方法及装置、存储介质、计算机设备
CN113095969A (zh) * 2021-03-11 2021-07-09 华中师范大学 一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法
CN114035678A (zh) * 2021-10-26 2022-02-11 山东浪潮科学研究院有限公司 一种基于深度学习和虚拟现实的辅助判断方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107172157A (zh) * 2017-05-22 2017-09-15 浙江精益佰汇数字技术有限公司 多人交互式英语教学系统平台及实现方法
US20180342103A1 (en) * 2017-05-26 2018-11-29 Microsoft Technology Licensing, Llc Using tracking to simulate direct tablet interaction in mixed reality
CN109313484A (zh) * 2017-08-25 2019-02-05 深圳市瑞立视多媒体科技有限公司 虚拟现实交互系统、方法及计算机存储介质
CN107765859A (zh) * 2017-11-09 2018-03-06 温州大学 一种基于vr虚拟课堂的训练系统及方法
CN108459717A (zh) * 2018-03-13 2018-08-28 重庆虚拟实境科技有限公司 虚拟教育方法、装置、计算机装置及存储介质
CN109464803A (zh) * 2018-11-05 2019-03-15 腾讯科技(深圳)有限公司 虚拟对象控制、模型训练方法、装置、存储介质和设备
CN110069139A (zh) * 2019-05-08 2019-07-30 上海优谦智能科技有限公司 Vr技术实现旅游教学实践的体验系统
CN110221694A (zh) * 2019-05-31 2019-09-10 珠海格力电器股份有限公司 一种交互平台的控制方法、装置、存储介质及交互平台
CN110428680A (zh) * 2019-08-14 2019-11-08 莆田学院 虚拟仿真技术的数学与应用数学师范生课堂技能训练系统
CN110969905A (zh) * 2019-11-29 2020-04-07 塔普翊海(上海)智能科技有限公司 混合现实的远程教学互动、教具互动系统及其互动方法
CN111258433A (zh) * 2020-03-02 2020-06-09 上海乂学教育科技有限公司 基于虚拟场景的教学互动系统
CN111538456A (zh) * 2020-07-10 2020-08-14 深圳追一科技有限公司 基于虚拟形象的人机交互方法、装置、终端以及存储介质
CN112230772A (zh) * 2020-10-14 2021-01-15 华中师范大学 一种虚实融合的教具自动生成方法
CN113095969A (zh) * 2021-03-11 2021-07-09 华中师范大学 一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法
CN113032694A (zh) * 2021-05-26 2021-06-25 浙江口碑网络技术有限公司 基于场景的查询方法及装置、存储介质、计算机设备
CN114035678A (zh) * 2021-10-26 2022-02-11 山东浪潮科学研究院有限公司 一种基于深度学习和虚拟现实的辅助判断方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
袁丽等: "人机自然交互支持的3D虚拟教具设计", 《系统仿真学报》 *

Also Published As

Publication number Publication date
CN115114537B (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN107480206B (zh) 一种基于多模态低秩双线性池化的图像内容问答方法
CN109947954B (zh) 多任务协同识别方法及系统
Qian Research on artificial intelligence technology of virtual reality teaching method in digital media art creation
CN108877336A (zh) 基于增强现实技术的教学方法、云服务平台和教学系统
CN111027425A (zh) 一种智能化表情合成反馈交互系统及方法
CN113761153B (zh) 基于图片的问答处理方法、装置、可读介质及电子设备
CN110851760A (zh) 在web3D环境融入视觉问答的人机交互系统
Zheng Robot translation based on computer vision for cultural psychology of english culture education
CN114969298A (zh) 一种基于跨模态异质图神经网络的视频问答方法
CN113822114A (zh) 一种图像处理方法、相关设备及计算机可读存储介质
Zhang et al. [Retracted] An Empirical Study on Big Data Model and Visualization of Internet+ Teaching
CN115114537B (zh) 一种基于文件内容识别的互动虚拟教具实现方法
CN115379278B (zh) 基于扩展现实(xr)技术沉浸式微课的录制方法及系统
CN116662651A (zh) 基于注意力机制的异构图神经网络课程推荐方法和系统
McLeod et al. Integrated media systems
Qu et al. Design and Implementation of Teaching Assistant System for Mechanical Course based on Mobile AR Technology
Guo Design and development of an intelligent rendering system for new year's paintings color based on b/s architecture
Grifoni et al. When language evolution meets multimodality: Current status and challenges toward multimodal computational models
Godwin-Jones Technology-mediated SLAEvolving Trends and Emerging Technologies
Jiao [Retracted] Action Recognition Model in Choral Conducting Teaching in Colleges and Universities under New Media Environment
Chavan et al. Opportunities in Research for Generative Artificial Intelligence (GenAI), Challenges and Future Direction: A Study
Yanyan Construction of a Smart Classroom for Image Processing Courses in Colleges and Universities Based on Artificial Intelligence: Taking Fundamentals of Photoshop as an Example
Al Ka'bi Proposed Artificial Intelligence Algorithm for Developing Higher Education
CN116781836B (zh) 一种全息远程教学方法及系统
Zhang et al. Virtual Reality Practice and Learning Platform Based on Generative Adversarial Networks Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant