CN111488058A - 一种基于ar及vr的训练方法及装置 - Google Patents

一种基于ar及vr的训练方法及装置 Download PDF

Info

Publication number
CN111488058A
CN111488058A CN202010242643.2A CN202010242643A CN111488058A CN 111488058 A CN111488058 A CN 111488058A CN 202010242643 A CN202010242643 A CN 202010242643A CN 111488058 A CN111488058 A CN 111488058A
Authority
CN
China
Prior art keywords
training
user
equipment
course
courses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010242643.2A
Other languages
English (en)
Inventor
林廷宇
韩励
郭丽琴
顾蕾
王玫
肖莹莹
贾政轩
曾贲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Simulation Center
Original Assignee
Beijing Simulation Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Simulation Center filed Critical Beijing Simulation Center
Priority to CN202010242643.2A priority Critical patent/CN111488058A/zh
Publication of CN111488058A publication Critical patent/CN111488058A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes

Abstract

本发明公开了一种基于AR及VR的训练方法及装置,该训练方法包括:S1、基于训练内容生成真实场景下的训练课程;S2、在用户通过AR设备执行训练课程中,通过AR设备生成的虚拟导航对用户进行训练引导;S3、通过VR设备对用户通过AR设备执行训练课程的过程进行真实场景复现,并通过AR设备生成的虚拟导航对用户通过VR设备在所述复现的真实场景中的行为进行重复练习和复习引导。本发明所述技术方案通过在真实场景中与训练课程结合进行融入式训练,提高用户体验感,提高用户训练和学习效率。

Description

一种基于AR及VR的训练方法及装置
技术领域
本发明涉及数字化训练领域,具体涉及一种基于AR及VR的训练方法及装置。
背景技术
目前的数字化的训练方法存在基于多媒体的训练方法、基于VR的训练方法和基于AR的训练方法等,例如:
CN104992387A公开了一种基于IETM的一体化教学实验方法,将教学实验中涉及的基本原理、实验步骤、实验指标,实物图、内部结构图、原理框图、实验连接图、实验操作过程、培训教程等技术文件资料设计成文字、表格、图片、图纸、音频、视频、动画等电子文件,然后将其通过DTD设计转化为SGML文档,并将SGML文档映射成数据库模式存储在数据库中,然后通过人机交互软件实现技术数据的调用,通过实验操作界面实现人机交互。
CN108039080A公开了一种基于虚拟现实的沉浸式远程培训系统,该系统提供多层次的视景模型,支持接收学员利用输入设备(键盘、鼠标、数据手套和数据衣等)的输入信号完成对虚拟环境中虚拟设备的操纵,然后将虚拟场景的变化通过输出设备(头盔显示器、立体眼镜、立体音响和力反馈手套等)实时反馈给学员;支持不同地方实时的同步协作,实现训练的远程支持或者远程交流,就培训内容展开共同讨论、相互交流学习经验和思想。
CN107784885A公开了一种基于AR设备的操作培训方法和AR设备以提高操作培训的效率和便捷性,包括:拍摄真实场景中的目标设备,以获取第一图像,所述第一图像包含所述目标设备的标识特征;根据所述标识特征,获取与所述目标设备相匹配的三维设备模型;将所述三维设备模型显示在所述AR设备的显示屏上;响应于用户对所述三维设备模型上的部件的操作,将对应所述部件的第一操作培训信息显示在所述显示屏上对应所述部件的位置。
但是以上述专利申请公开文本为例的现有技术中,当前的数字化的训练方法的核心问题是训练场景与真实场景是割裂的,特别是前述的基于多媒体的训练方法、基于VR的训练方法,人们对应用提供的场景感受不深刻,在真正的应用场景中又发现联系不上训练所学的东西。
另外,数字化的训练方法的存在问题还有训练场景与真实场景融合困难,即使是基于VR的训练方法、基于AR的训练方法,目前尚缺乏对用户在场景中的训练程度的有效认知,缺乏“聪明”的教练增强用户在真实场景中的体验。
因此,需要提出一种新的基于AR及VR的训练方法及装置。
发明内容
本发明的目的在于提供一种基于AR及VR的训练方法及装置,以解决现有技术中存在的问题中的至少一个;
为达到上述目的,本发明采用下述技术方案:
本发明第一方面提供一种基于AR及VR的训练方法,包括:
S1、基于训练内容生成真实场景下的训练课程;
S2、在用户通过AR设备执行训练课程中,通过AR设备生成的虚拟导航对用户进行训练引导;
S3、通过VR设备对用户通过AR设备执行训练课程的过程进行真实场景复现,并通过AR设备生成的虚拟导航对用户通过VR设备在所述复现的真实场景中的行为进行重复练习和复习引导。
可选地,S1进一步包括:
S11、基于训练内容的属性对训练内容分类;
S12、基于用户选择的训练内容的类别生成训练课程,以及设置所述训练课程基于真实场景下的课程入口。
可选地,所述课程入口通过AR设备进行获取和进入以执行训练课程。
可选地,S2进一步包括:
S21、获取用户通过AR设备执行训练课程中的学习行为,生成对应于用户学习程度的训练等级课程;
S22、基于用户在训练等级课程的训练行为,虚拟导航对用户进行重复训练引导或进阶训练引导。
可选地,S21进一步包括:
S211、获取用户通过AR设备执行训练课程中的学习行为,生成用户的学习程度的评估结果;
S212、获取用户的目标等级;
S213、基于所述评估结果和所述目标等级,生成对应于用户的所述学习程度的训练等级课程。
可选地,S2还包括:通过所述虚拟导航关联其他用户的训练课程以与其他用户共同训练引导。
可选地,所述S3还包括:
S31、基于复现的所述过程生成真实场景下的复习课程;
S32、通过AR设备生成的虚拟导航对用户通过VR设备在所述复习课程中的行为进行复习引导。
本发明第二方面提供一种基于AR及VR的训练装置,包括:
课程生成模块、AR设备和VR设备;
所述课程生成模块,用于基于训练内容生成真实场景下的训练课程;
AR设备,用于执行训练课程以及生成的虚拟导航对用户进行训练引导;
VR设备,用于基于用户通过AR设备执行训练课程的过程进行真实场景复现,并通过AR设备生成的虚拟导航对用户通过VR设备在所述复现的真实场景中的行为进行重复练习和复习引导。
本发明的有益效果如下:
本发明所述技术方案通过在真实场景中与训练课程结合进行融入式训练,提高用户体验感,提高用户训练和学习效率。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明。
图1示出本实施例的训练方法的示意图。
具体实施方式
为了更清楚地说明本发明,下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解,下面所具体描述的内容是说明性的而非限制性的,不应以此限制本发明的保护范围。
如图1所示,本发明的一个实施例公开了一种基于AR及VR的训练方法,包括:
S1、基于训练内容生成真实场景下的训练课程;
S2、在用户通过AR设备执行训练课程中,通过AR设备生成的虚拟导航对用户进行训练引导;
S3、通过VR设备对用户通过AR设备执行训练课程的过程进行真实场景复现,并通过AR设备生成的虚拟导航对用户通过VR设备在所述复现的真实场景中的行为练习进行重复练习和复习引导。
本发明所述技术方案通过在真实场景中与训练课程结合进行融入式训练,提高用户体验感,通过获取用户学习行为和真实行为生成不同的训练课程,有效提高用户训练和学习效率。
在本实施例的具体示例中,基于学习语言为例,通过VR设备捕捉记录用户在真实场景下的真实行为,最后生成的训练课程是提取了用户的真实行为后在课程生成模块中生成的。并且由于训练课程是基于由用户自身经历过的,因此用户对课程有较好的吸收效果。
在本实施例的具体示例中,对用户所处的真实场景和真实过程中的行为进行全面的记录,对相关场景和行为进行认知和重构。通过课程生成模块复现出用户经历过的真实场景,复现真实场景中的真实事件,支持用户在复现出来的场景中与虚拟出的智能陪练员进行练习,在复盘的过程中加深对训练内容的理解和掌握的程度。
在本实施例的具体示例中,AR及VR设备可以采用摄像头捕获和记录用户的各项行为。
在本实施例的一些可选地实现方式中,S1、基于训练内容生成真实场景下的训练课程进一步包括:
S11、基于训练内容的属性对训练内容分类;
S12、基于用户选择的训练内容的类别生成训练课程,以及设置所述训练课程基于真实场景下的课程入口。
在本实施例的一些可选地实现方式中,课程入口通过AR设备进行获取和进入以执行训练课程。
在一个具体示例中,以学习英语为例,它训练内容的属性可以分类为日常交流,行业用语和影视用语等等。而更具体地日常交流又可以分类为不同的场景下的日常用语,以生活事件为例,生活事件可以分为寻求帮助,给予帮助,人际交往等等多个类别。用户通过搜索关键词添加训练内容,进一步确定不同用户的不同使用需要,更精准地确定用户的需求以及避免复杂繁多的训练课程。在一个具体示例中,用户可基于训练内容的属性将需要训练的内容精确为“学习英语”、“外出旅游”、“寻求帮助”和“交通”。
进一步地,根据于用户选择的需要训练的内容制作跟真实的场景紧密结合的训练课程,并在真实的场景中设置训练入口。在真实场景中植入训练课程的内容,并通过AR设备进行多媒体播放、人机互动。在一个具体示例中,用户可通过AR设备在真实的场景中做任务,当用户将需要训练的内容精确为“学习英语”、“外出旅游”、“寻求帮助”和“交通”时,可通过课程生成模块在马路边,红绿灯路口,各种店铺门口设置训练入口,通过AR设备,用户可对上述的入口进行探索和捕获。当用户通过AR设备开启训练课程,并出现在上述场地时,训练入口被开启,用户通过找到所有入口和内容进行训练课程的全面性地学习,从训练入口进去可以获得文字、表格、图片、纸、音频、视频等多媒体资料,同时可以开展实操式的训练。
在本实施例的一些可选地实现方式中,S2进一步包括:
S21、获取用户通过AR设备执行训练课程中学习行为,生成对应于用户学习程度的训练等级课程;
S22、基于用户在训练等级课程的训练行为,虚拟导航对用户进行重复训练引导或进阶训练引导。
通过AR设备捕获用户从入口进来后的学习行为,对用户在真实场景中的学习程度进行有效的认知。用户在训练课程和新的训练课程下,都可通过AR设备虚拟出智能的陪练员,虚拟的陪练员通过文字、语音、图像等多媒体对用户进行启发式、交互式的训练引导,根据用户的训练程度开展重复训练或者进阶训练。有效避免用户一个人在训练课程中产生的无聊等消极情绪。
通过“虚拟导航”进行学习引导,在智能认知学员用户的水平和阶段的基础上,可帮助学员用户融入真实场景中循序渐进地学习。在本实施例的具体示例中,基于上述学习语言为例,训练课程等级可分为:初级,中级和高级,初级表示有基本的单词阅读能力,但是不能交流;中级表示有阅读和基本的交流能力,但是不流畅,无法实现与他人的正常交流;高级则表示已经可以和他人进行流利的交流。基于用户在训练课程的表现对用户的等级进行划分,可有效地制定与用户等级相符的训练课程。进一步地,当确定用户在训练等级课程的训练行为后,通过AR设备虚拟出智能的虚拟导航对用户进行重复训练引导或进阶训练引导,并且虚拟导航可以根据用户的训练程度对用户开展重复训练或者进阶训练以让用户应对复杂的任务或者环境事件。在一个示例中,虚拟导航可通过陪练员的人类形象,宠物形象或者类似机械的机器人等形象出现,由用户自行设置。
在本实施例的一些可选地实现方式中,S21、获取用户基于所述训练课程的学习行为,以生成对应于用户学习程度的训练等级课程进一步包括:
S211、获取用户通过AR设备执行训练课程中的学习行为,生成用户的学习程度的评估结果;
S212、获取用户的目标等级;
S213、基于所述评估结果和所述目标等级,生成对应于用户的所述学习程度的训练等级课程。
在本实施例的具体示例中,基于上述学习语言为例,训练课程等级可分为:初级,中级和高级,初级表示有基本的单词阅读能力,但是不能交流;中级表示有阅读和基本的交流能力,但是不流畅,无法实现与他人的正常交流;高级则表示已经可以和他人进行流利的交流。基于用户在训练课程的表现对用户的等级进行划分,可有效地制定与用户等级相符的训练课程。
获取用户基于学习语言的训练课程的学习行为,以确定用户的学习程度的评估等级是初级、中级或者是高级;并且获取用户在执行AR设备中的训练课程后选择的目标学习程度等级;如果用户的评估等级是初级,目标等级是中级,那么课程生成模块生成相应的训练课程,虚拟导航对用户进行指导进阶。
在本实施例的一些可选地实现方式中,S2还包括:通过所述虚拟导航关联其他用户的训练课程以与其他用户共同训练引导。在本实施例中,还可对使用AR设备的用户进行关联,这样可以关联其他学员用户的学习轨迹促进共同学习。仍以学习英语为例,不一定要人和机器练,还可以通过虚拟导航引导不同的用户之间相约到真实场景中练习。
在本实施例的一些可选地实现方式中,S3还包括:
S31、基于复现的所述过程生成真实场景下的复习课程;
S32、通过AR设备生成的虚拟导航对用户通过VR设备在所述复习课程中的行为进行复习引导。
在一个具体示例中,通过VR设备对用户通过AR设备执行训练课程的过程进行真实场景复现,AR设备对用户学习英语的过程进行记录,并通过VR设备对此过程进行复现,还基于这个复现的学习英语的课程生成对应的复习课程,从而支持用户通过VR设备的复现课程进行一次又一次的真实场景中遇到的情况进行重复性地复盘训练;以及通过复习课程对真实场景中存在的问题进行针对性地训练。
在本实施例的一些示例中,AR设备获取真实场景的信息包括:建筑信息、环境信息、事件信息。在一个具体示例中,可通过摄像头对用户所处的真实场景下的建筑物,周围路人,车辆以及和当时发生的意外事件进行记录,在训练和复现课程中通过VR设备重现还原。
AR设备记录用户的在真实场景下的真实行为,以及在训练课程和复现课程中的学习行为,记录的形式包括动作行为,语言行为。在一个具体示例中,摄像头记录用户在真实生活中的录像,声音设备记录用户的语言,虚拟导航基于记录的动作行为和语言行为复现场景,并生成以语言行为和动作行为作为基础信息的复现课程。
在本实施例的一些其他示例中,该方法还包括:利用AR设备获取用户指定的其他人基于真实场景下的真实行为。在一个具体示例中,由于用户本身的学习等级并不高,用户可以指定设备获取其他人的真实行为用于为自己生成训练课程和复现课程;或者用户可指定生活中的真实人物或者影视中的影视人物,通过AR设备的摄像头记录他们的经历与活动,即可在VR设备复现出与记录内容对应的训练课程和复现课程。
在本实施例的一些其他示例中,虚拟导航不仅可对可共同训练用户的提供关联与引导;还可通过训练课程设定的知识点和实际场景的课程入口对用户进行执行课程的引导;还可对用户在单个场景下的训练过程进行引导;以及为用户提供融入真实场景的多媒体智能陪练。
在每一个用户执行训练课程时,如果出现用户对训练课程不理解的情况,虚拟导航会根据设定的知识点关键词向用户进行进一步的引导解释;在用户执行训练课程的过程中,无法找到全部的训练课程入口时,虚拟导航对用户进行未开启的训练课程入口进行引导;同样地,当用户处于当前场景下的训练课程中,却无法开启全部训练入口时,虚拟导航对用户进行引导,以确保所有入口的课程被开启,实现用户学习的全面性。虚拟导航可以在用户独自进行训练时,以智能陪练的形式帮助用户完成训练课程的学习和复习,智能陪练融入当前的真实场景,可以是人、动物以及静止物体的形态,给用户真实的课程体验。本发明的第二个实施例提供一种基于AR及VR的真实场景的训练装置,包括:
课程生成模块、AR设备和VR设备;
所述课程生成模块,用于基于训练内容生成真实场景下的训练课程;
AR设备,用于执行训练课程以及生成的虚拟导航对用户进行训练引导;
VR设备,用于基于用户通过AR设备执行训练课程的过程进行真实场景复现,并通过AR设备生成的虚拟导航对用户通过VR设备在所述复现的真实场景中的行为进行重复练习和复习引导。
需要说明的是,本实施例提供基于AR及VR的真实场景的训练装置的原理及工作流程与基于AR及VR的真实场景的训练方法相似,相关之处可以参照上述说明,在此不再赘述。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定,对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动,这里无法对所有的实施方式予以穷举,凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (8)

1.一种基于AR及VR的训练方法,其特征在于,包括:
S1、基于训练内容生成真实场景下的训练课程;
S2、在用户通过AR设备执行训练课程中,通过AR设备生成的虚拟导航对用户进行训练引导;
S3、通过VR设备对用户通过AR设备执行训练课程的过程进行真实场景复现,并通过AR设备生成的虚拟导航对用户通过VR设备在所述复现的真实场景中的行为进行重复练习和复习引导。
2.根据权利要求1所述的方法,其特征在于,S1进一步包括:
S11、基于训练内容的属性对训练内容分类;
S12、基于用户选择的训练内容的类别生成训练课程,以及设置所述训练课程基于真实场景下的课程入口。
3.根据权利要求2所述的方法,其特征在于,所述课程入口通过AR设备进行获取和进入以执行训练课程。
4.根据权利要求1所述的方法,其特征在于,S2进一步包括:
S21、获取用户通过AR设备执行训练课程中的学习行为,生成对应于用户学习程度的训练等级课程;
S22、基于用户在训练等级课程的训练行为,虚拟导航对用户进行重复训练引导或进阶训练引导。
5.根据权利要求4所述的方法,其特征在于,S21进一步包括:
S211、获取用户通过AR设备执行训练课程中的学习行为,生成用户的学习程度的评估结果;
S212、获取用户的目标等级;
S213、基于所述评估结果和所述目标等级,生成对应于用户的所述学习程度的训练等级课程。
6.根据权利要求4所述的方法,其特征在于,S2还包括:通过所述虚拟导航关联其他用户的训练课程以与其他用户共同训练引导。
7.根据权利要求1所述的方法,其特征在于,所述S3还包括:
S31、基于复现的所述过程生成真实场景下的复习课程;
S32、通过AR设备生成的虚拟导航对用户通过VR设备在所述复习课程中的行为进行复习引导。
8.一种基于AR及VR的训练装置,其特征在于,包括:
课程生成模块、AR设备和VR设备;
所述课程生成模块,用于基于训练内容生成真实场景下的训练课程;
AR设备,用于执行训练课程以及生成的虚拟导航对用户进行训练引导;
VR设备,用于基于用户通过AR设备执行训练课程的过程进行真实场景复现,并通过AR设备生成的虚拟导航对用户通过VR设备在所述复现的真实场景中的行为进行重复练习和复习引导。
CN202010242643.2A 2020-03-31 2020-03-31 一种基于ar及vr的训练方法及装置 Pending CN111488058A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010242643.2A CN111488058A (zh) 2020-03-31 2020-03-31 一种基于ar及vr的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010242643.2A CN111488058A (zh) 2020-03-31 2020-03-31 一种基于ar及vr的训练方法及装置

Publications (1)

Publication Number Publication Date
CN111488058A true CN111488058A (zh) 2020-08-04

Family

ID=71791572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010242643.2A Pending CN111488058A (zh) 2020-03-31 2020-03-31 一种基于ar及vr的训练方法及装置

Country Status (1)

Country Link
CN (1) CN111488058A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112090062A (zh) * 2020-09-14 2020-12-18 成都拟合未来科技有限公司 交互式练习虚拟场景显示方法、系统、终端及介质
CN113253852A (zh) * 2021-07-16 2021-08-13 成都飞机工业(集团)有限责任公司 一种基于虚拟现实的交互式培训课件构建系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170301140A1 (en) * 2016-04-18 2017-10-19 Disney Enterprises, Inc. System and method for linking and interacting between augmented reality and virtual reality environments
WO2018200692A1 (en) * 2017-04-26 2018-11-01 The Trustees Of The University Of Pennsylvania Methods and systems for virtual and augmented reality training for responding to emergency conditions
US20190304188A1 (en) * 2018-03-29 2019-10-03 Eon Reality, Inc. Systems and methods for multi-user virtual reality remote training
CN110362209A (zh) * 2019-07-23 2019-10-22 辽宁向日葵教育科技有限公司 一种mr混合现实智能感知交互系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170301140A1 (en) * 2016-04-18 2017-10-19 Disney Enterprises, Inc. System and method for linking and interacting between augmented reality and virtual reality environments
WO2018200692A1 (en) * 2017-04-26 2018-11-01 The Trustees Of The University Of Pennsylvania Methods and systems for virtual and augmented reality training for responding to emergency conditions
US20190304188A1 (en) * 2018-03-29 2019-10-03 Eon Reality, Inc. Systems and methods for multi-user virtual reality remote training
CN110362209A (zh) * 2019-07-23 2019-10-22 辽宁向日葵教育科技有限公司 一种mr混合现实智能感知交互系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112090062A (zh) * 2020-09-14 2020-12-18 成都拟合未来科技有限公司 交互式练习虚拟场景显示方法、系统、终端及介质
CN113253852A (zh) * 2021-07-16 2021-08-13 成都飞机工业(集团)有限责任公司 一种基于虚拟现实的交互式培训课件构建系统及方法
CN113253852B (zh) * 2021-07-16 2021-10-08 成都飞机工业(集团)有限责任公司 一种基于虚拟现实的交互式培训课件构建系统及方法

Similar Documents

Publication Publication Date Title
Schiel et al. The SmartKom Multimodal Corpus at BAS.
KR102341752B1 (ko) 메타버스에서 아바타를 이용한 강의 보조 방법 및 그 장치
WO2020082566A1 (zh) 基于生物识别的远程教学方法、装置、设备及存储介质
CN110488975B (zh) 一种基于人工智能的数据处理方法及相关装置
WO2023197979A1 (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN106408480A (zh) 基于增强现实、语音识别的国学三维交互学习系统及方法
CN110246228B (zh) 一种基于虚拟现实技术的化学实验评价系统及其方法
Yadav et al. Content-driven multi-modal techniques for non-linear video navigation
US20170287346A1 (en) System and methods to create multi-faceted index for instructional videos
CN111488058A (zh) 一种基于ar及vr的训练方法及装置
DE102019122937A1 (de) Verfahren und vorrichtungen zum hinzufügen von vernünftigem denken zu künstlicher intelligenz im kontext von mensch-maschine-schnittstellen
CN112528768A (zh) 视频中的动作处理方法、装置、电子设备及存储介质
CN113610681A (zh) 一种基于ai的用户交互式阅读支持方法及系统
KR101858204B1 (ko) 양방향 멀티미디어 컨텐츠 생성 방법 및 장치
CN117055724A (zh) 虚拟教学场景中生成式教学资源系统及其工作方法
Imran et al. Multimedia learning objects framework for e-learning
Zeng et al. Gesturelens: Visual analysis of gestures in presentation videos
CN116910302A (zh) 一种多模态视频内容有效性反馈可视分析方法与系统
CN116416839A (zh) 一种基于物联网实训系统的实训辅助教学的方法
Zhang Virtual mentor and media structuralization theory
CN115641537A (zh) 教师多模态情感与学生行为相关性的可视分析方法及系统
Matsumoto et al. Ai-josyu: Thinking support system in class by real-time speech recognition and keyword extraction
Del Bimbo Expressive semantics for automatic annotation and retrieval of video streams
Nijholt Meetings in the virtuality continuum: Send your avatar
KR102510209B1 (ko) 메타버스를 통한 선택적 토론 강의 플랫폼 서버

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination