CN106097787A - 基于虚拟现实的肢体教学方法与教学系统 - Google Patents

基于虚拟现实的肢体教学方法与教学系统 Download PDF

Info

Publication number
CN106097787A
CN106097787A CN201610688612.3A CN201610688612A CN106097787A CN 106097787 A CN106097787 A CN 106097787A CN 201610688612 A CN201610688612 A CN 201610688612A CN 106097787 A CN106097787 A CN 106097787A
Authority
CN
China
Prior art keywords
virtual
learner
joint
limb action
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610688612.3A
Other languages
English (en)
Inventor
杨思茗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Aether Force Technology Co Ltd
Original Assignee
Sichuan Aether Force Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Aether Force Technology Co Ltd filed Critical Sichuan Aether Force Technology Co Ltd
Priority to CN201610688612.3A priority Critical patent/CN106097787A/zh
Publication of CN106097787A publication Critical patent/CN106097787A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于虚拟现实的肢体教学方法,其包括如下步骤:a.捕捉教学者的肢体动作信息,并将所述肢体动作信息映射至第一虚拟主体;b.捕捉学习者的肢体动作信息,并将所述肢体动作信息映射至第二虚拟主体;c.学习者对比第二虚拟主体与第一虚拟主体的动作差异并调整学习者的肢体动作;d.重复步骤b至步骤c,直到第二虚拟主体与第一虚拟主体的动作相同。本发明的方案,让学习者在虚拟场景中通过自我对比学习调整,且无需教学者监督指导即可完美匹配教学者的肢体动作,该方式更加形象,更加简单,且更易推广。相应地,本发明还公开了一种基于虚拟现实的肢体教学系统。

Description

基于虚拟现实的肢体教学方法与教学系统
技术领域
本发明涉及虚拟现实领域,更具体地涉及一种基于虚拟现实的肢体教学方法与教学系统。
背景技术
在复杂肢体动作辅助教学领域,例如舞蹈教学,使用了动作捕捉器采集学员肢体动作,并进行事后数据分析对比,这种方式还停留在单纯数据层面的分析,缺乏实时性且不够形象,学员无法实时看到哪里做的不到位从而进行实时调整,缺乏一个循环正反馈的闭环过程,体验和效果都不好。
在社交应用中,很多有特殊肢体动作技能(例如街舞)的业余人士找不到专业的渠道学习发展自己的特长,很多想学习特殊肢体动作的人士找不到好的或者有名的教练指导;同样的,很多专业水平很高的教练员因找不到合适的学员,而浪费其专业技能资源。从而使得供需两端的信息不对称,而不能很好的满足供需两端的需求。
因此,有必要提供一种在教练者与学习者之间实现信息对称、实现教学资源有效利用的基于虚拟现实的肢体教学方法与教学系统。
发明内容
本发明的目的是提供一种基于虚拟现实的肢体教学方法与教学系统,让学习者在虚拟场景中通过自我对比学习调整,且无需教学者监督指导即可完美匹配教学者的肢体动作,该方式更加形象,更加简单,且更易推广。
为实现上述目的,本发明提供一种基于虚拟现实的肢体教学方法,其包括如下步骤:
a.捕捉教学者的肢体动作信息,并将所述肢体动作信息映射至第一虚拟主体;
b.捕捉学习者的肢体动作信息,并将所述肢体动作信息映射至第二虚拟主体;
c.学习者对比第二虚拟主体与第一虚拟主体的动作差异并调整学习者的肢体动作;
d.重复步骤b至步骤c,直到第二虚拟主体与第一虚拟主体的动作相同。
较佳地,所述肢体动作信息为教学者或学习者的各关节的动作信息。
较佳地,各关节的所述动作信息包括该关节的三维空间位置信息及运动轨迹信息。
较佳地,所述基于虚拟现实的肢体教学方法还包括步骤:
根据学习者的关节位置调整所述第一虚拟主体对应的关节位置信息,以使所述第一虚拟主体的关节位置信息与所述第二虚拟主体的关节位置信息完全相同。
较佳地,所述捕捉教学者的肢体动作信息,并将所述肢体动作映射至第一虚拟主体,具体地包括:
按设定在教学者的对应关节处佩戴捕捉器,所述捕捉器捕捉教学者各关节的动作信息;
将捕捉到的各关节的动作信息映射至所述第一虚拟主体,所述第一虚拟主体与教学者对应的关节作出相同的动作。
较佳地,所述捕捉教学者的肢体动作信息,并将所述肢体动作映射至第一虚拟主体,具体地包括:
通过摄像器件对教学者的肢体动作进行摄像,以捕捉教学者各关节的动作信息;
将捕捉到的各关节的动作信息映射至所述第一虚拟主体,所述第一虚拟主体与教学者对应的关节作出相同的动作
较佳地,所述捕捉学习者的肢体动作信息,并将所述肢体动作信息映射至第二虚拟主体,具体地包括:
在学习者与教学者相同的关节处佩戴捕捉器,所述捕捉器捕捉学习者各关节的动作信息;
将捕捉到的各关节的动作信息映射至所述第二虚拟主体,所述第二虚拟主体与学习者对应的关节作出相同的动作
较佳地,所述捕捉学习者的肢体动作信息,并将所述肢体动作映射至第一虚拟主体,具体地包括:
通过摄像器件对学习者的肢体动作进行摄像,以捕捉学习者各关节的动作信息;
将捕捉到的各关节的动作信息映射至所述第二虚拟主体,所述第二虚拟主体与学习者对应的关节作出相同的动作。
同时,本发明还提供一种基于虚拟现实的肢体教学系统,其包括:
肢体动作捕捉器,用以捕捉教学者与学习者的肢体动作信息;或者,直接通过摄像头经计算机视觉算法识别学习者与教学者对应的各关节的动作信息。
控制处理器,用以接收所述肢体动作捕捉器获得的肢体动作信息,且将所述教学者的肢体动作信息映射至第一虚拟主体,将所述学习者的肢体动作信息映射至第二虚拟主体,并形成虚拟现实场景;
显示器,用以显示所述控制处理器形成的虚拟现实场景;
虚拟现实眼镜,佩戴于学习者的眼睛上,用以向学习者显示所述显示器上的虚拟现实场景。
较佳地,所述控制处理器包括一编码单元,用以将肢体动作捕捉器捕捉的肢体动作信息按照时间顺序组装编码成视频序列流并编码,以形成视频信息。
较佳地,所述肢体动作捕捉器由多个传感器构成,且佩戴于教学者与学习者设定的关节表面,用以获取对应关节的三维空间位置信息及运动轨迹信息。
较佳地,所述肢体动作捕捉器还包括多个角度传感器,所述角度传感器用以获取当前关节的角度翻转信息。
较佳地,所述肢体动作捕捉器为摄像器件,所述摄像器件拍摄教学者或学习者的肢体动作,并通过所述控制处理器的视觉算法处理,识别教学者或学习者的肢体动作信息。
较佳地,所述控制处理器还包括一存储单元,所述第一虚拟主体与教学者对应的关节位置信息存储于所述存储单元内,当学习者对应的第二虚拟主体的关节位置信息与第一虚拟主体对应的关节位置信息不相同时,在所述存储单元中修改所述第一虚拟主体的关节位置信息,以使所述第一虚拟主体的关节位置信息与所述第二虚拟主体的关节位置信息完全相同。
较佳地,所述虚拟现实眼镜还包括一角度检测单元,用以获取佩戴有所述虚拟现实眼镜的学习者的头部转动角度信息,所述虚拟现实眼镜根据获取的学习者的头部转动角度信息而调整显示的虚拟现实场景的角度。
较佳地,所述虚拟现实眼镜还包括一控制单元,所述控制单元用以控制所述控制处理器中虚拟现实场景的播放显示。
与现有技术相比,本发明的基于虚拟现实的的肢体教学方法与教学系统突破传统肢体运动教学中,学习者看教学者动作然后自己模仿,或者教学者手把手纠正学习者的动作的模式,通过本发明的方式可以让学习者在虚拟场景中无需教学者监督指导即可完美地与教学者的肢体动作进行匹配,实现了自我学习;而且本发明的方式更加形象,更加简单,且更易推广。
通过以下的描述并结合附图,本发明将变得更加清晰,这些附图用于解释本发明的实施例。
附图说明
图1为本发明基于虚拟现实的肢体教学方法的流程图。
具体实施方式
现在参考附图描述本发明的实施例,附图中类似的元件标号代表类似的元件。如上所述,本发明提供了一种基于虚拟现实的肢体教学方法与教学系统,让学习者在虚拟场景中通过自我对比学习调整,且无需教学者监督指导即可完美匹配教学者的肢体动作,达到自我学习的目的,该方式更加形象,更加简单,且更易推广。
请参考图1,描述本发明基于虚拟现实的肢体教学方法的具体过程。图1为本发明基于虚拟现实的肢体教学方法的流程图,如图所示,本发明基于虚拟现实的肢体教学方法包括如下步骤:
步骤S101:捕捉教学者的肢体动作信息,并将所述肢体动作信息映射至第一虚拟主体;在本步骤中,所述肢体动作信息具体表现为教学者的各关节的动作信息,即教学者的各关节在某一连续时间范围内的具体动作,且各关节的所述动作信息包括该关节的三维空间位置信息及运动轨迹信息;例如,教学者的手臂进行一个平摆动作,则所述动作信息包括肩关节在三维空间的转动角度信息、腕关节或肘关节在水平位置上的位置移动信息,而肩关节与腕关节之间整个手臂在三维空间的运动即形成该手臂的运动轨迹信息。
另外,在本发明中,本步骤具体地通过如下两种方式实现。
第一种方式:
按设定在教学者的对应关节处佩戴捕捉器,所述捕捉器捕捉教学者各关节的动作信息;
将捕捉到的各关节的动作信息映射至所述第一虚拟主体,所述第一虚拟主体与教学者对应的关节作出相同的动作。
根据设定的动作要求在教学者对应的关节处佩戴捕捉器,捕捉器用以获取当前关节的动作信息;例如,教学者的手臂进行一个平摆动作,而只需要在教学者的肩关节与腕关节/肘关节处佩戴有捕捉器即可,其它各关节可以不用佩戴。当然在实际应用过程中,为了动作的连贯体现,通常会在所有需要用到的关节处均佩戴捕捉器。尔后,将捕捉到的各关节的动作信息映射至所述第一虚拟主体,从而所述第一虚拟主体的对应关节与教学者的对应关节作出相同的动作,也即使得所述第一虚拟主体完全体现教学者的肢体动作,以完成对教学者肢体动作的录制。
第二种方式:
通过摄像器件对教学者的肢体动作进行摄像,以捕捉教学者各关节的动作信息;
将捕捉到的各关节的动作信息映射至所述第一虚拟主体,所述第一虚拟主体与教学者对应的关节作出相同的动作。
通过摄像的方式获取教学者各关节的动作信息相对来说来更直观形象,而且教学者不需要另外佩戴捕捉设备于休表,使得教学者进行肢体动作时更轻松自如;当然,这种方式需要的空间位置更大,且获得教学者肢体动作的成本也更高。在具体使用过程中,教学者可根据教学者的实际情况而选择其中一种方式进行。
另外,作为本发明的一个优选的具体实施例,所述第一虚拟主体可具体为高度仿真为人形的布娃娃或提线木偶,所述布娃娃或提线木偶在虚拟现实场景中根据映射关系做出与教学者完全相同的肢体动作,也即实现对教学者肢体动作的录制;当然所述第一虚拟主体并不限于布娃娃或提线木偶,其它可仿真成人形并能在虚拟现实场景中根据映射关系做出与教学者完全相同的肢体动作的物件均可。
步骤S102:捕捉学习者的肢体动作信息,并将所述肢体动作信息映射至第二虚拟主体;在本步骤中,具体的操作过程与步骤S101相同,不同仅在于捕捉的是学习者的肢体动作信息,第二虚拟主体的动作表现为学习者的具体肢体动作。其中,所述第二虚拟主体与第一虚拟主体相同地,可为布娃娃或提线木偶,或其它可仿真成人形并能在虚拟现实场景中根据映射关系做出与学习者完全相同的肢体动作的物件;另外,对学习者肢体动作的具体捕捉过程,与对教学者肢体动作的捕捉过程完全相同,在此不再细述。
步骤S103:学习者对比第二虚拟主体与第一虚拟主体的动作差异并调整学习者的肢体动作;在本步骤中,学习者通过实时对比第二虚拟主体与第一虚拟主体之间的动作,也即对比学习者自己的肢体动作与教学者的肢体动作的,而发现学习者与教学者之间的肢体动作差异,进而学习者对有差异的肢体动作实时地进行调整改进,以达到学习的目的。从而在本发明中,学习者可从第三方的角度通过观察第一虚拟主体与第二虚拟主体两者之间动作的差异,而发现自己在学习过程中存在的问题,并相应作出动作的改进,从而不需要通过教学者或其他第三方来辅助认识到问题所在并进行改进,因此学习效果更直观,且学习成本也大大降低了。
步骤S104:重复步骤S102至步骤S103,直到第二虚拟主体与第一虚拟主体的动作相同;在本步骤中,学习者每练习一次肢体动作即可与教学者对应的第二虚拟主体的动作进行对比,通过对比学习者发现自己肢体动作与教学者肢体动作之间存在的差异,进而学习者在下一次练习中对自己的肢体动作进行改进,如此重复多次练习,直到学习者完成的肢体动作与教学者的肢体动作完全一致,也即第二虚拟主体与第一虚拟主体的动作相同,从而完成学习过程,从而无需教练或第三人在场即可自我校正学习。
另外,由上述可知,在本发明的具体实际应用中,教学者的动作信息已事先录制映射至所述第一虚拟主体上,而不同的学习者的体型、关节位置可能均与教学者不一样,为了让学习者更好的达到学习的效果,学习者可在开始学习之前对所述第一虚拟主体进行初始化设置。因此,作为本发明的优选实施例,所述基于虚拟现实的肢体教学方法还包括步骤:根据学习者的关节位置调整所述第一虚拟主体对应的关节位置信息,以使所述第一虚拟主体的关节位置信息与所述第二虚拟主体的关节位置信息完全相同;通过调整设置所述第一虚拟主体对应的关节位置,以使其与学习者对应的第二虚拟主体的关节位置完全相同,从而也间接使得教学者的关节位置匹配了学习者的关节位置,因此,学习者可以更直观形象地发现自己的肢体动作与教学者的肢体动作之间的差别,以达到更好的学习效果。由上述可知,该初始化设置是学习者在开始学习之前进行设置的,因此,在具体流程中可设置在步骤S101与步骤S102之间。
相应地,本发明还提供了一种基于虚拟现实的肢体教学系统,该系统包括:
肢体动作捕捉器,佩戴于教学者与学习者的体表,用以捕捉教练者与学习者的肢体动作信息;或者,直接通过摄像头经计算机视觉算法识别学习者与教学者对应的各关节的动作信息。
控制处理器,用以接收所述肢体动作捕捉器获得的肢体动作信息,且将所述教学者的肢体动作信息映射至第一虚拟主体,将所述学习者的肢体动作信息映射至第二虚拟主体,并形成虚拟现实场景;
显示器,用以显示所述控制处理器形成的虚拟现实场景;
虚拟现实眼镜,佩戴于学习者的眼睛上,用以向学习者显示所述显示器上的虚拟现实场景。
如上所述,本发明的基于虚拟现实的肢体教学系统,教学者与学习者的肢体动作信息通过所述肢体动作捕捉器捕捉后分别映射至所述第一虚拟主体与第二虚拟主体上,并通过所述控制处理器而形成虚拟现实场景,学习者佩戴上虚拟现实眼镜即可在所述显示器上观看形成的虚拟现场景;学习者能够以第三方的视角来观看体现自己肢体动作的第二虚拟主体与体现教学者肢体动作的第一虚拟主体两者之间的动作差异,而发现自己在学习过程中存在的问题,并相应作出动作的改进,从而不需要通过教学者或其他第三方来辅助认识到问题所在并进行改进,因此学习效果更直观,且学习成本也大大降低了;而且学习者通过佩戴虚拟现实眼镜可以在所述显示器上观看到所述控制处理器形成的虚拟现实场景,学习者在学习过程中的体验效果更直观形象
具体地,在本发明基于虚拟现实的肢体教学系统的具体实施方式中:
所述肢体动作捕捉器有两种实现方案:第一种,由多个传感器构成,且佩戴于教学者与学习者设定的关节表面,用以获取对应关节的三维空间位置信息及运动轨迹信息。根据设定的动作要求在教学者和学习者对应的关节处佩戴所述传感器,所述传感器用以获取当前关节的动作信息;例如,教学者或学习者的手臂进行一个平摆动作,则只需要在教学者或学习者的肩关节与腕关节/肘关节处佩戴有传感器即可,其它各关节可以不用佩戴。当然在实际应用过程中,为了动作的连贯体现,通常会在所有需要用到的关节处均佩戴传感器,以获取各关节实时的三维空间位置信息及运动轨迹信息,从而以使教学者与学习者的肢体动作更好的映射至所述第一虚拟主体与第二虚拟主体上。其中,基于传感器的肢体动作捕捉,可以使用惯性传感器二次积分获取位移技术,或者使用UWB定位技术。优选地,所述肢体动作捕捉器还包括多个角度传感器,所述角度传感器用以获取当前关节的角度翻转信息;当某些肢体动作中需要频繁地使某一关节进行角度翻转时,则需要使用所述角度传感器来获取当前关节的角度翻转信息;从而以更真实而准确地获取学习者与教学者的肢体动作。第二种,无需佩戴传感器设备,所述肢体动作捕捉器为摄像器件,所述摄像器件拍摄教学者或学习者的肢体动作,并通过所述控制处理器的视觉算法处理,识别教学者或学习者的肢体动作信息;通过这种方式,直接通过摄像器件拍摄教学者或学习者的肢体动作,经过所述控制处理器的视觉算法技术识别为肢体关节动作信息;且在该方式的具体应用中,摄像器件的动作捕捉,可以使用微软的kinect技术。
所述控制处理器包括一编码单元,用以将肢体动作捕捉器捕捉的肢体动作信息按照时间顺序组装编码成视频序列流并编码,以形成视频信息;其中所述肢体动作捕捉器具体为上述的各传感器;所述编码单元将教学者与学习者的各肢体动作信息编码转化为视频信息,以方便学习者实时地直观地观看学习。
所述控制处理器还包括一存储单元,所述第一虚拟主体与教学者对应的关节位置信息存储所述存储单元内,当学习者对应的第二虚拟主体的关节位置信息与第一虚拟主体对应的关节位置信息不相同时,在所述存储单元中修改所述第一虚拟主体的关节位置信息,以使所述第一虚拟主体的关节位置信息与所述第二虚拟主体的关节位置信息完全相同。在本发明的具体实际应用中,教学者的肢体动作信息已事先录制映射至所述第一虚拟主体上,并存储于所述存储单元中;而不同的学习者的体型、关节位置可能均与教学者不一样,如果能让两者的关节位置对应一致,能达到更好的学习的效果;因此,在本发明中,为了让学习者达到更好的学习效果,根据学习者的关节位置调整修改所述存储单元中所述第一虚拟主体对应的关节位置信息,以使所述第一虚拟主体的关节位置信息与所述第二虚拟主体的关节位置信息完全相同。通过在所述存储单元中调整设置所述第一虚拟主体对应的关节位置,以使其与学习者对应的第二虚拟主体的关节位置完全相同,从而也间接使得教学者的关节位置匹配了学习者的关节位置,因此,学习者可以更直观形象地发现自己的肢体动作与教学者的肢体动作之间的差别。
所述虚拟现实眼镜还包括一角度检测单元,用以获取佩戴有所述虚拟现实眼镜的学习者的头部转动角度信息,所述虚拟现实眼镜根据获取的学习者的头部转动角度信息而调整显示的虚拟现实场景的角度,以使学习者从360°观看第一虚拟主体与第二虚拟主体的对应肢体动作。其中,学习者的头部转后,其视角信息也对应发生了变化,所述角度检测单元检测到学习者头部的转动角度信息后,虚拟现实眼镜将学习者的视角变动信息发送给虚拟现实引擎,对应视角会随之运动。具体地,当学习者当前观看第二虚拟主体的动作时,视角朝向始终面向第二虚拟主体的三维中心位置,视角位置可以在以第二虚拟主体的中心为圆心,视角当前位置到圆心距离为半径的球面上运动;其控制指令即由所述虚拟现实眼镜的视角变动信息控制;当学习者当前观看第一虚拟主体的动作时,视角的调整过程与观看第二虚拟主体的动作的调整过程相同,不同仅在于,此时是以第一虚拟主体的三维中心为圆心,在此不再细述;方便学习者观看第一虚拟主体与第二虚拟主体的各个部位的匹配情况。其中,虚拟现实引擎采用U3D引擎,其支持的平台包括但不限于web浏览器,android系统,ios系统等。优选地,所述虚拟现实眼镜还包括一控制单元,所述控制单元用以控制所述控制处理器中虚拟现实场景的播放显示;从而学习者在学习过程中可通过所述虚拟现实眼镜实时地控制所述控制处理器形成的虚拟现实场景,使用更加灵活,且更有利于及时地发现动作存在的差异,能进一步提高学习效率。
综上所述,本发明的基于虚拟现实的的肢体教学方法与教学系统突破传统肢体运动教学中,学习者看教学者动作然后自己模仿,或者教学者手把手纠正学习者的动作的模式,通过本发明的方式可以让学习者在虚拟场景中无需教学者监督指导即可完美地与教学者的肢体动作进行匹配,实现了自我学习;而且本发明的方式更加形象,更加简单,且更易推广。
以上结合最佳实施例对本发明进行了描述,但本发明并不局限于以上揭示的实施例,而应当涵盖各种根据本发明的本质进行的修改、等效组合。

Claims (16)

1.一种基于虚拟现实的肢体教学方法,其特征在于,包括如下步骤:
a.捕捉教学者的肢体动作信息,并将所述肢体动作信息映射至第一虚拟主体;
b.捕捉学习者的肢体动作信息,并将所述肢体动作信息映射至第二虚拟主体;
c.学习者对比第二虚拟主体与第一虚拟主体的动作差异并调整学习者的肢体动作;
d.重复步骤b至步骤c,直到第二虚拟主体与第一虚拟主体的动作相同。
2.如权利要求1所述的基于虚拟现实的肢体教学方法,其特征在于,所述肢体动作信息为教学者或学习者的各关节的动作信息。
3.如权利要求2所述的基于虚拟现实的肢体教学方法,其特征在于,各关节的所述动作信息包括该关节的三维空间位置信息及运动轨迹信息。
4.如权利要求2所述的基于虚拟现实的肢体教学方法,其特征在于,还包括步骤:
根据学习者的关节位置调整所述第一虚拟主体对应的关节位置信息,以使所述第一虚拟主体的关节位置信息与所述第二虚拟主体的关节位置信息完全相同。
5.如权利要求2所述的基于虚拟现实的肢体教学方法,其特征在于,所述捕捉教学者的肢体动作信息,并将所述肢体动作映射至第一虚拟主体,具体地包括:
按设定在教学者的对应关节处佩戴捕捉器,所述捕捉器捕捉教学者各关节的动作信息;
将捕捉到的各关节的动作信息映射至所述第一虚拟主体,所述第一虚拟主体与教学者对应的关节作出相同的动作。
6.如权利要求2所述的基于虚拟现实的肢体教学方法,其特征在于,所述捕捉教学者的肢体动作信息,并将所述肢体动作映射至第一虚拟主体,具体地包括:
通过摄像器件对教学者的肢体动作进行摄像,以捕捉教学者各关节的动作信息;
将捕捉到的各关节的动作信息映射至所述第一虚拟主体,所述第一虚拟主体与教学者对应的关节作出相同的动作。
7.如权利要求5所述的基于虚拟现实的肢体教学方法,其特征在于,所述捕捉学习者的肢体动作信息,并将所述肢体动作信息映射至第二虚拟主体,具体地包括:
在学习者与教学者相同的关节处佩戴捕捉器,所述捕捉器捕捉学习者各关节的动作信息;
将捕捉到的各关节的动作信息映射至所述第二虚拟主体,所述第二虚拟主体与学习者对应的关节作出相同的动作。
8.如权利要求6所述的基于虚拟现实的肢体教学方法,其特征在于,所述捕捉学习者的肢体动作信息,并将所述肢体动作映射至第一虚拟主体,具体地包括:
通过摄像器件对学习者的肢体动作进行摄像,以捕捉学习者各关节的动作信息;
将捕捉到的各关节的动作信息映射至所述第二虚拟主体,所述第二虚拟主体与学习者对应的关节作出相同的动作。
9.一种基于虚拟现实的肢体教学系统,其特征在于,包括:
肢体动作捕捉器,用以捕捉教学者与学习者的肢体动作信息;或者,用户无需佩戴设备,直接通过摄像头经计算机视觉算法处理,识别用户肢体动作信息。
控制处理器,用以接收所述肢体动作捕捉器获得的肢体动作信息,且将所述教学者的肢体动作信息映射至第一虚拟主体,将所述学习者的肢体动作信息映射至第二虚拟主体,并形成虚拟现实场景;
显示器,用以显示所述控制处理器形成的虚拟现实场景;
虚拟现实眼镜,佩戴于学习者的眼睛上,用以向学习者显示所述显示器上的虚拟现实场景。
10.如权利要求9所述的基于虚拟现实的肢体教学系统,其特征在于,所述控制处理器包括一编码单元,用以将肢体动作捕捉器捕捉的肢体动作信息按照时间顺序组装编码成视频序列流并编码,以形成视频信息。
11.如权利要求9所述的基于虚拟现实的肢体教学系统,其特征在于,所述肢体动作捕捉器由多个传感器构成,且佩戴于教学者与学习者设定的关节表面,用以获取对应关节的三维空间位置信息及运动轨迹信息。
12.如权利要求11所述的基于虚拟现实的肢体教学系统,其特征在于,所述肢体动作捕捉器还包括多个角度传感器,所述角度传感器用以获取当前关节的角度翻转信息。
13.如权利要求9所述的基于虚拟现实的肢体教学系统,其特征在于,其特征在于,所述肢体动作捕捉器为摄像器件,所述摄像器件拍摄教学者或学习者的肢体动作,并通过所述控制处理器的视觉算法处理,识别教学者或学习者的肢体动作信息。
14.如权利要求9所述的基于虚拟现实的肢体教学系统,其特征在于,所述控制处理器还包括一存储单元,所述第一虚拟主体与教学者对应的关节位置信息存储于所述存储单元内。在学习开始时,当学习者对应的第二虚拟主体的关节位置信息与第一虚拟主体对应的关节位置信息不相同时,在所述存储单元中修改所述第一虚拟主体的关节位置信息,以使所述第一虚拟主体的关节位置信息与所述第二虚拟主体的关节位置信息完全相同。
15.如权利要求9所述的基于虚拟现实的肢体教学系统,其特征在于,所述虚拟现实眼镜还包括一角度检测单元,用以获取佩戴有所述虚拟现实眼镜的学习者的头部转动角度信息,所述虚拟现实眼镜根据获取的学习者的头部转动角度信息而调整显示的虚拟现实场景的角度。
16.如权利要求15所述的基于虚拟现实的肢体教学系统,其特征在于,所述虚拟现实眼镜还包括一控制单元,所述控制单元用以控制所述控制处理器中虚拟现实场景的播放显示。
CN201610688612.3A 2016-08-18 2016-08-18 基于虚拟现实的肢体教学方法与教学系统 Pending CN106097787A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610688612.3A CN106097787A (zh) 2016-08-18 2016-08-18 基于虚拟现实的肢体教学方法与教学系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610688612.3A CN106097787A (zh) 2016-08-18 2016-08-18 基于虚拟现实的肢体教学方法与教学系统

Publications (1)

Publication Number Publication Date
CN106097787A true CN106097787A (zh) 2016-11-09

Family

ID=58069888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610688612.3A Pending CN106097787A (zh) 2016-08-18 2016-08-18 基于虚拟现实的肢体教学方法与教学系统

Country Status (1)

Country Link
CN (1) CN106097787A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341981A (zh) * 2017-08-25 2017-11-10 宁波灵云科技信息服务有限公司 基于vr技术的学生教学互动平台与控制方法
CN107833283A (zh) * 2017-10-30 2018-03-23 努比亚技术有限公司 一种教学方法及移动终端
CN107945597A (zh) * 2017-12-29 2018-04-20 安徽硖石智能装备科技有限公司 基于vr和动作捕捉的远程教育系统
CN107993720A (zh) * 2017-12-19 2018-05-04 中国科学院自动化研究所 基于深度相机和虚拟现实技术的康复功能评定装置及方法
CN108376487A (zh) * 2018-02-09 2018-08-07 冯侃 基于虚拟现实中的肢体训练系统及方法
CN109325466A (zh) * 2018-10-17 2019-02-12 兰州交通大学 一种基于动作识别技术的智能运动指导系统及方法
CN109590986A (zh) * 2018-12-03 2019-04-09 深圳市越疆科技有限公司 机器人教学方法、智能机器人和存储介质
CN109675264A (zh) * 2018-08-13 2019-04-26 淮海工学院 一种基于Kinect的通用肢体训练系统及方法
CN109817031A (zh) * 2019-01-15 2019-05-28 张赛 一种基于vr技术的肢体运动教学方法
CN110689866A (zh) * 2019-09-18 2020-01-14 江西昕光年智能科技有限公司 基于增强现实的小提琴辅助教学方法及系统
CN111035363A (zh) * 2018-10-12 2020-04-21 德普伊新特斯产品公司 具有多传感器阵列的神经肌肉感测装置
CN111047925A (zh) * 2019-12-06 2020-04-21 山东大学 基于房间式互动投影的动作学习系统及方法
CN111739393A (zh) * 2020-06-28 2020-10-02 山东省医药生物技术研究中心(山东省病毒研究所) 一种基于动作捕捉系统的穿戴式推拿教学辅助系统
CN113033242A (zh) * 2019-12-09 2021-06-25 上海幻电信息科技有限公司 动作识别方法及系统
US11354036B2 (en) 2018-07-27 2022-06-07 Samsung Electronics Co., Ltd Method and electronic device for configuring touch screen keyboard
WO2023077660A1 (zh) * 2021-11-04 2023-05-11 福建中医药大学附属康复医院 基于混合现实的太极拳训练方法及系统、设备及存储介质
US11726550B2 (en) 2018-09-11 2023-08-15 Samsung Electronics Co., Ltd. Method and system for providing real-time virtual feedback

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4264368B2 (ja) * 2004-02-24 2009-05-13 日本ナレッジ株式会社 実技分析システム及びプログラム
CN103179437A (zh) * 2013-03-15 2013-06-26 苏州跨界软件科技有限公司 虚拟人物视频录制及播放系统和方法
CN103816654A (zh) * 2012-11-19 2014-05-28 大连鑫奇辉科技有限公司 一种舞蹈训练系统
CN103816655A (zh) * 2012-11-19 2014-05-28 大连鑫奇辉科技有限公司 一种基于虚拟现实的舞蹈训练系统
US20150099252A1 (en) * 2013-10-03 2015-04-09 Autodesk, Inc. Enhancing movement training with an augmented reality mirror
CN105183147A (zh) * 2015-08-03 2015-12-23 众景视界(北京)科技有限公司 头戴式智能设备及其建模三维虚拟肢体的方法
CN105291138A (zh) * 2015-11-26 2016-02-03 华南理工大学 一种增强虚拟现实浸入感的视觉反馈平台

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4264368B2 (ja) * 2004-02-24 2009-05-13 日本ナレッジ株式会社 実技分析システム及びプログラム
CN103816654A (zh) * 2012-11-19 2014-05-28 大连鑫奇辉科技有限公司 一种舞蹈训练系统
CN103816655A (zh) * 2012-11-19 2014-05-28 大连鑫奇辉科技有限公司 一种基于虚拟现实的舞蹈训练系统
CN103179437A (zh) * 2013-03-15 2013-06-26 苏州跨界软件科技有限公司 虚拟人物视频录制及播放系统和方法
US20150099252A1 (en) * 2013-10-03 2015-04-09 Autodesk, Inc. Enhancing movement training with an augmented reality mirror
CN105183147A (zh) * 2015-08-03 2015-12-23 众景视界(北京)科技有限公司 头戴式智能设备及其建模三维虚拟肢体的方法
CN105291138A (zh) * 2015-11-26 2016-02-03 华南理工大学 一种增强虚拟现实浸入感的视觉反馈平台

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341981A (zh) * 2017-08-25 2017-11-10 宁波灵云科技信息服务有限公司 基于vr技术的学生教学互动平台与控制方法
CN107833283A (zh) * 2017-10-30 2018-03-23 努比亚技术有限公司 一种教学方法及移动终端
CN107993720A (zh) * 2017-12-19 2018-05-04 中国科学院自动化研究所 基于深度相机和虚拟现实技术的康复功能评定装置及方法
CN107945597A (zh) * 2017-12-29 2018-04-20 安徽硖石智能装备科技有限公司 基于vr和动作捕捉的远程教育系统
CN108376487A (zh) * 2018-02-09 2018-08-07 冯侃 基于虚拟现实中的肢体训练系统及方法
US11354036B2 (en) 2018-07-27 2022-06-07 Samsung Electronics Co., Ltd Method and electronic device for configuring touch screen keyboard
CN109675264A (zh) * 2018-08-13 2019-04-26 淮海工学院 一种基于Kinect的通用肢体训练系统及方法
US11726550B2 (en) 2018-09-11 2023-08-15 Samsung Electronics Co., Ltd. Method and system for providing real-time virtual feedback
CN111035363A (zh) * 2018-10-12 2020-04-21 德普伊新特斯产品公司 具有多传感器阵列的神经肌肉感测装置
CN109325466B (zh) * 2018-10-17 2022-05-03 兰州交通大学 一种基于动作识别技术的智能运动指导系统及方法
CN109325466A (zh) * 2018-10-17 2019-02-12 兰州交通大学 一种基于动作识别技术的智能运动指导系统及方法
CN109590986A (zh) * 2018-12-03 2019-04-09 深圳市越疆科技有限公司 机器人教学方法、智能机器人和存储介质
CN109817031A (zh) * 2019-01-15 2019-05-28 张赛 一种基于vr技术的肢体运动教学方法
CN109817031B (zh) * 2019-01-15 2021-02-05 张赛 一种基于vr技术的肢体运动教学方法
CN110689866A (zh) * 2019-09-18 2020-01-14 江西昕光年智能科技有限公司 基于增强现实的小提琴辅助教学方法及系统
CN111047925A (zh) * 2019-12-06 2020-04-21 山东大学 基于房间式互动投影的动作学习系统及方法
CN113033242A (zh) * 2019-12-09 2021-06-25 上海幻电信息科技有限公司 动作识别方法及系统
CN111739393A (zh) * 2020-06-28 2020-10-02 山东省医药生物技术研究中心(山东省病毒研究所) 一种基于动作捕捉系统的穿戴式推拿教学辅助系统
WO2023077660A1 (zh) * 2021-11-04 2023-05-11 福建中医药大学附属康复医院 基于混合现实的太极拳训练方法及系统、设备及存储介质

Similar Documents

Publication Publication Date Title
CN106097787A (zh) 基于虚拟现实的肢体教学方法与教学系统
CN106128174A (zh) 基于虚拟现实的肢体教学方法与教学系统
US20190200003A1 (en) System and method for 3d space-dimension based image processing
Hu et al. An overview of assistive devices for blind and visually impaired people
US9520072B2 (en) Systems and methods for projecting images onto an object
CN108010394B (zh) 一种基于vr的虚拟教学方法、控制终端、虚拟教学系统
CN103390174A (zh) 基于人体姿态识别的体育教学辅助系统和方法
CN107533356A (zh) 头像控制系统
US20160110922A1 (en) Method and system for enhancing communication by using augmented reality
CN110969905A (zh) 混合现实的远程教学互动、教具互动系统及其互动方法
CN107240049B (zh) 一种沉浸式环境中远程动作教学质量的自动评价方法和系统
KR20150102026A (ko) 니어 아이 디스플레이를 위한 디스플레이 업데이트 시간 감소 기법
CN106110627A (zh) 体育和武术运动动作校正设备和方法
Sun et al. Systems and methods for projecting images onto an object
CN112926521B (zh) 基于光源亮灭的眼球追踪方法、系统
US11049321B2 (en) Sensor-based object tracking and monitoring
CN112102667A (zh) 一种基于vr交互的视频教学系统及方法
CN115933868A (zh) 翻转讲台的立体综合教学场系统及其工作方法
CN114821006B (zh) 交互式间接推理的孪生体态检测方法及系统
CN106899596B (zh) 一种远程云讲师服务装置和控制管理方法
Mangina et al. Drones for live streaming of visuals for people with limited mobility
CN106708257A (zh) 游戏交互方法与装置
KR102319328B1 (ko) 비대면 학습자의 영상 이미지를 이용하는 학습 태도 평가 방법 및 이에 사용되는 관리 서버
Sibert et al. Initial assessment of human performance using the gaiter interaction technique to control locomotion in fully immersive virtual environments
Jiawei et al. A special edutainment system based on somatosensory game

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161109

RJ01 Rejection of invention patent application after publication