CN107240049A - 一种沉浸式环境中远程动作教学质量的自动评价方法和系统 - Google Patents

一种沉浸式环境中远程动作教学质量的自动评价方法和系统 Download PDF

Info

Publication number
CN107240049A
CN107240049A CN201710326333.7A CN201710326333A CN107240049A CN 107240049 A CN107240049 A CN 107240049A CN 201710326333 A CN201710326333 A CN 201710326333A CN 107240049 A CN107240049 A CN 107240049A
Authority
CN
China
Prior art keywords
action
student
echomotism
mrow
arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710326333.7A
Other languages
English (en)
Other versions
CN107240049B (zh
Inventor
陈晓明
陈志波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Advanced Technology University of Science and Technology of China
Original Assignee
Institute of Advanced Technology University of Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Advanced Technology University of Science and Technology of China filed Critical Institute of Advanced Technology University of Science and Technology of China
Priority to CN201710326333.7A priority Critical patent/CN107240049B/zh
Publication of CN107240049A publication Critical patent/CN107240049A/zh
Application granted granted Critical
Publication of CN107240049B publication Critical patent/CN107240049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种沉浸式环境中远程动作教学质量的自动评价方法和系统，所述方法包括以下步骤：采集教师标准动作和学生模仿动作；综合学生模仿动作与教师标准动作的动作相似度、学生模仿动作的动作细节、学生模仿动作的动作平滑度对学生模仿动作质量进行系统总体打分，得到系统总分Q；如此,利用低成本的动作捕捉传感器可穿戴设备，结合Kinect传感器采集的数据和动作捕捉传感器捕捉的数据，进行动作质量评分，实现运动的高效远程教学和准确的自动动作评价。

Description

一种沉浸式环境中远程动作教学质量的自动评价方法和系统
技术领域
本发明涉及远程教学和评价技术领域，尤其涉及一种沉浸式环境中远程动作教学质量的自动评价方法和系统。
背景技术
随着网络技术的进步，近年来在线教育课程，如MOOC-Massive Open Onl ineCourse，获得了快速的发展，然而，现有的在线教育系统主要还是以视频、音频、文本等传统形式传递如科学类、语言类等传统课程内容，而这些形式对于运动型的教学，特别是一些专业性较强和对动作的规范性要求较高的运动，如太极、武术，往往效果不理想。
目前，市场上也存在一些可采集体感动作的设备和系统，例如，微软的Kinect可以采集人体的运动动作，并将其应用到游戏和娱乐中，动作捕捉传感器系统(Motion capturesystem或Mocap系统)具有更高的采集精度，然而，目前专业Mocap系统的售价依然很高，短期内无法在民用市场得到广泛应用。此外，目前市场上并不存在针对太极这一特点运动的远程教学系统和动作指令评价方法。
发明内容
基于背景技术存在的技术问题，本发明提出了一种沉浸式环境中远程动作教学质量的自动评价方法和系统；
本发明提出的一种沉浸式环境中远程动作教学质量的自动评价方法，包括以下步骤：
S1、采集教师标准动作和学生模仿动作；
S2、综合学生模仿动作与教师标准动作的动作相似度、学生模仿动作的动作细节、学生模仿动作的动作平滑度对学生模仿动作质量进行系统总体打分，得到系统总分Q。
优选地，步骤S1，具体包括：采集教师标准动作的手臂关节动作和手臂动作力度，采集学生模仿动作的手臂关节动作和手臂动作力度；
优选地，通过Kinect采集教师标准动作和学生模仿动作的手臂关节动作，通过动作捕捉传感器采集教师标准动作和学生模仿动作的手臂动作力度。
优选地，步骤S2，具体包括：
S21、采用基于动态时间规整的相似度评价方法，对学生模仿动作与教师标准动作的动作相似度进行评价，得到学生目标节点模仿动作与教师目标节点标准动作的动作相似度分数Q1；
S22、根据教师手臂动作边界距离和学生手臂动作边界距离，对学生模仿动作的动作细节进行评价，得到学生模仿动作的动作细节分数Q2；
S23、根据动作捕捉传感器获取的手臂动作力度，对学生模仿动作的动作平滑度进行评价,得到学生模仿动作的动作平滑度分数Q3；
S24、按照最优权重矢量对Q1、Q2、Q3进行加权求和，得到系统总分Q；
优选地，步骤S21，具体包括：
对学生模仿动作进行归一化处理，
P(t)表示目标节点教师标准动作，Q(t)表示目标节点学生模仿动作， 分别表示节点欧拉角数据的x，y，z分量，t代表时刻，N表示总时刻数，向量表示从Kinect获取的3个欧拉角数据，再建立一个N×N的距离矩阵d(t1,t2)＝|P(t1)-Q(t2)|2，t1，t2表示N×N矩阵中处在t1行t2列的位置，然后根据动态规划的方法累计距离矩阵：
γ(t1,t2)＝d(t1,t2)+min{γ(t1-1,t2-1),γ(t1-1,t2),γ(t1,t2-1)}，得到距离空间，γ(t1,t2)表示处在(t1,t2)位置的矩阵元素；根据距离空间对学生目标节点模仿动作与教师目标节点标准动作的动作相似度进行评价，得到学生目标节点模仿动作与教师目标节点标准动作的动作相似度分数，再计算学生所有节点模仿动作与教师所有节点标准动作的动作相似度分数的平均值，得到学生模仿动作与教师标准动作的动作相似度分数Q1；
优选地，步骤S22，具体包括：
分别求出教师手臂动作边界和学生手臂动作边界，
Ppeak＝max{PX(0),Px(1),...,PX(N-1)}，
Qpeak＝max{QX(0),QX(1),...,QX(M-1)}，
Ppeak表示教师手臂动作边界，Qpeak表示学生手臂动作边界，t代表时刻，N＝M表示总时刻数，Px(0)表示在时刻t＝0时教师手臂动作节点的角度数据，Px(N-1)表示在时刻t＝N-1时教师手臂动作节点的角度数据，Qx(0)表示在时刻t＝0时学生手臂动作节点的角度数据，Qx(M-1)表示在时刻t＝M-1时学生手臂动作节点的角度数据，所述Ppeak、Qpeak可通过Kinect获取；根据Ppeak和Qpeak的距离，对学生模仿动作动作细节进行评价，得到学生模仿动作的动作细节分数Q2；
优选地，步骤S23，具体包括：
通过动作捕捉传感器获取的手臂动作力度数据在以200Hz为截止频率经过5阶巴特沃斯低通滤波后为：X＝{x1,x2,x3…xn}，计算其变化率ΔX＝{x2-x1,x3-x2…xn-xn-1}，计算方差Var(X)＝Ε[(ΔX-μ)2]，其中n表示总时刻数，μ＝Ε[ΔX]表示均值，通过方差对学生模仿动作的动作平滑度进行评价,得到学生模仿动作的动作平滑度分数Q3；
优选地，步骤S24，具体包括：
按照最优权重矢量w＝[w1，w2，w3]T对三项分数Q1、Q2、Q3进行加权求和，得到系统总分Q＝w1·Q1+w2·Q2+w3·Q3，其中w1+w2+w3＝1。
优选地，在步骤S24中，利用穷举法求解专家对学生动作总体打分的专家分数y和系统总分Q之间的相关性，得到使y和Q的相关性系数取值最大时的最优权重矢量w＝[w1，w2，w3]T，所述方法，具体包括：
其中
x＝QT×w，x表示学生加权后的总体得分，QT表示对学生动作进行系统总体打分的各项得分矩阵，表示第i个学生的第k分项得分，k＝1，2，3，i＝1，…N，N表示学生总数；
y＝[y1,y2...yi,...yN]T，yi表示专家对第i个学生动作总体打分的专家分数。
优选地，在步骤S1中，在采集教师标准动作和学生模仿动作之后，还包括：对采集的教师标准动作和学生模仿动作进行去除噪音处理。
一种沉浸式环境中远程动作教学质量的自动评价系统，包括：
动作采集模块，用于采集教师标准动作和学生模仿动作；
动作评价模块，用于综合学生模仿动作与教师标准动作的动作相似度、学生模仿动作的动作细节、学生模仿动作的动作平滑度对学生模仿动作质量进行系统总体打分，得到系统总分Q。
优选地，所述动作采集模块，具体用于：采集教师标准动作的手臂关节动作和手臂动作力度，采集学生模仿动作的手臂关节动作和手臂动作力度；
优选地，通过Kinect采集教师标准动作和学生模仿动作的手臂关节动作，通过动作捕捉传感器采集教师标准动作和学生模仿动作的手臂动作力度。
优选地，所述动作评价模块包括：相似度计算子模块、动作细节计算子模块、平滑度计算子模块、总体打分子模块；
所述相似度计算子模块，用于采用基于动态时间规整的相似度评价方法，对学生模仿动作与教师标准动作的动作相似度进行评价，得到学生目标节点模仿动作与教师目标节点标准动作的动作相似度分数Q1；
所述动作细节计算子模块，用于根据教师手臂动作边界距离和学生手臂动作边界距离，对学生模仿动作的动作细节进行评价，得到学生模仿动作的动作细节分数Q2；
所述平滑度计算子模块，用于根据动作捕捉传感器获取的手臂动作力度，对学生模仿动作的动作平滑度进行评价,得到学生模仿动作的动作平滑度分数Q3；
所述总体打分子模块，用于按照最优权重矢量对Q1、Q2、Q3进行加权求和，得到系统总分Q；
优选地，所述相似度计算子模块，具体用于：
对学生模仿动作进行归一化处理，
P(t)表示目标节点教师标准动作，Q(t)表示目标节点学生模仿动作， 分别表示节点欧拉角数据的x，y，z分量，t代表时刻，N表示总时刻数，向量表示从Kinect获取的3个欧拉角数据，再建立一个N×N的距离矩阵d(t1,t2)＝|P(t1)-Q(t2)|2，t1,t2表示N×N矩阵中处在t1行t2列的位置，然后根据动态规划的方法累计距离矩阵：
γ(t1,t2)＝d(t1,t2)+min{γ(t1-1,t2-1),γ(t1-1,t2),γ(t1,t2-1)}，得到距离空间，γ(t1,t2)表示处在(t1,t2)位置的矩阵元素；根据距离空间对学生目标节点模仿动作与教师目标节点标准动作的动作相似度进行评价，得到学生目标节点模仿动作与教师目标节点标准动作的动作相似度分数，再计算学生所有节点模仿动作与教师所有节点标准动作的动作相似度分数的平均值，得到学生模仿动作与教师标准动作的动作相似度分数Q1；
优选地，所述动作细节计算子模块，具体用于：
分别求出教师手臂动作边界和学生手臂动作边界，
Ppeak＝max{PX(0),Px(1),...,PX(N-1)}，
Qpeak＝max{QX(0),QX(1),...,QX(M-1)}，
Ppeak表示教师手臂动作边界，Qpeak表示学生手臂动作边界，t代表时刻，N＝M表示总时刻数，Px(0)表示在时刻t＝0时教师手臂动作节点的角度数据，Px(N-1)表示在时刻t＝N-1时教师手臂动作节点的角度数据，Qx(0)表示在时刻t＝0时学生手臂动作节点的角度数据，Qx(M-1)表示在时刻t＝M-1时学生手臂动作节点的角度数据，所述Ppeak、Qpeak可通过Kinect获取；根据Ppeak和Qpeak的距离，对学生模仿动作动作细节进行评价，得到学生模仿动作的动作细节分数Q2；
优选地，所述平滑度计算子模块，具体用于：
通过动作捕捉传感器获取的手臂动作力度数据在以200Hz为截止频率经过5阶巴特沃斯低通滤波后为：X＝{x1,x2,x3…xn}，计算其变化率ΔX＝{x2-x1,x3-x2…xn-xn-1}，计算方差Var(X)＝Ε[(ΔX-μ)2]，其中n表示总时刻数，μ＝Ε[ΔX]表示均值，通过方差对学生模仿动作的动作平滑度进行评价,得到学生模仿动作的动作平滑度分数Q3；
优选地，所述总体打分子模块，具体用于：
按照最优权重矢量w＝[w1，w2，w3]T对三项分数Q1、Q2、Q3进行加权求和，得到系统总分Q＝w1·Q1+w2·Q2+w3·Q3，其中w1+w2+w3＝1。
优选地，利用穷举法求解专家对学生动作总体打分的专家分数y和系统总分Q之间的相关性，得到使y和Q的相关性系数取值最大时的最优权重矢量w＝[w1，w2，w3]T，所述方法，具体包括：
其中
x＝QT×w，x表示学生加权后的总体得分，QT表示对学生动作进行系统总体打分的各项得分矩阵，表示第i个学生的第k分项得分，k＝1，2，3，i＝1，…N，N表示学生总数；
y＝[y1,y2...yi,...yN]T，yi表示专家对第i个学生动作总体打分的专家分数。
优选地，还包括去噪模块，用于对采集的教师标准动作和学生模仿动作进行去除噪音处理。
本发明通过采集教师标准动作和学生模仿动作，综合学生模仿动作与教师标准动作的动作相似度、学生模仿动作的动作细节、学生模仿动作的动作平滑度对学生模仿动作质量进行总体评价，如此利用低成本的动作捕捉传感器可穿戴设备，结合Kinect传感器采集的数据和动作捕捉传感器捕捉的数据，进行动作质量评分，实现一些专业性较强和对动作的规范性要求较高的运动的高效远程教学和准确的自动动作评价。
附图说明
图1为本发明提出的一种沉浸式环境中远程动作教学质量的自动评价方法的流程示意图；
图2为本发明提出的一种沉浸式环境中远程动作教学质量的自动评价系统的模块示意图。
具体实施方式
参照图1，本发明提出的一种沉浸式环境中远程动作教学质量的自动评价方法，该方法包括以下步骤：
步骤S1，采集教师标准动作和学生模仿动作；
本步骤具体包括：采集教师标准动作的手臂关节动作和手臂动作力度，采集学生模仿动作的手臂关节动作和手臂动作力度；进一步的，通过Kinect采集教师标准动作和学生模仿动作的手臂关节动作，通过动作捕捉传感器采集教师标准动作和学生模仿动作的手臂动作力度；
本步骤，在采集教师标准动作和学生模仿动作之后，还包括：对采集的教师标准动作和学生模仿动作进行去除噪音处理；
在具体方案中，通过Kinect采集用户的全身25个关节动作，4个MPU6050动作捕捉传感器被固定于用户的左右大小臂，用来采集用户的手臂力度信息，MPU6050动作捕捉传感器的数据经由蓝牙传输，Kinect数据则通过USB传输；
具体地，可对采集的教师标准动作和学生模仿动作进行自然视频或3D动画的展示，学生可对教师标准动作视频或3D动画进行回放，学生根据视频和动画中的标准动作模仿教师的标准动作，并录制模仿动作视频和动作，学生对模仿动作视频和动作进行回放，了解自己学习情况。
步骤S2，根据教师标准动作，综合学生模仿动作与教师标准动作的动作相似度、学生模仿动作的动作细节、学生模仿动作的动作平滑度对学生模仿动作质量进行系统总体打分，得到系统总分Q；
本步骤，具体包括：
S21、采用基于动态时间规整的相似度评价方法，对学生模仿动作与教师标准动作的动作相似度进行评价，得到学生目标节点模仿动作与教师目标节点标准动作的动作相似度分数Q1；进一步的，对学生模仿动作进行归一化处理，
P(t)表示目标节点教师标准动作，Q(t)表示目标节点学生模仿动作， 分别表示节点欧拉角数据的x，y，z分量，t代表时刻，N表示总时刻数，向量表示从Kinect获取的3个欧拉角数据，再建立一个N×N的距离矩阵d(t1,t2)＝|P(t1)-Q(t2)|2，t1,t2表示N×N矩阵中处在t1行t2列的位置，然后根据动态规划的方法累计距离矩阵：
γ(t1,t2)＝d(t1,t2)+min{γ(t1-1,t2-1),γ(t1-1,t2),γ(t1,t2-1)}，得到距离空间，γ(t1,t2)表示处在(t1,t2)位置的矩阵元素；根据距离空间对学生目标节点模仿动作与教师目标节点标准动作的动作相似度进行评价，得到学生目标节点模仿动作与教师目标节点标准动作的动作相似度分数，再计算学生所有节点模仿动作与教师所有节点标准动作的动作相似度分数的平均值，得到学生模仿动作与教师标准动作的动作相似度分数Q1；
S22、根据教师手臂动作边界距离和学生手臂动作边界距离，对学生模仿动作的动作细节进行评价，得到学生模仿动作的动作细节分数Q2；进一步的，分别求出教师手臂动作边界和学生手臂动作边界，
Ppeak＝max{PX(0),Px(1),...,PX(N-1)}，
Qpeak＝max{QX(0),QX(1),…,QX(M-1)}，
Ppeak表示教师手臂动作边界，Qpeak表示学生手臂动作边界，t代表时刻，N＝M表示总时刻数，Px(0)表示在时刻t＝0时教师手臂动作节点的角度数据，Px(N-1)表示在时刻t＝N-1时教师手臂动作节点的角度数据，Qx(0)表示在时刻t＝0时学生手臂动作节点的角度数据，Qx(M-1)表示在时刻t＝M-1时学生手臂动作节点的角度数据，所述Ppeak、Qpeak可通过Kinect获取；根据Ppeak和Qpeak的距离，对学生模仿动作动作细节进行评价，得到学生模仿动作的动作细节分数Q2；
S23、根据动作捕捉传感器获取的手臂动作力度，对学生模仿动作的动作平滑度进行评价,得到学生模仿动作的动作平滑度分数Q3；进一步的，通过动作捕捉传感器获取的手臂动作力度数据在以200Hz为截止频率经过5阶巴特沃斯低通滤波后为：X＝{x1,x2,x3…xn}，计算其变化率ΔX＝{x2-x1,x3-x2…xn-xn-1}，计算方差Var(X)＝Ε[(ΔX-μ)2]，其中n表示总时刻数，μ＝Ε[ΔX]表示均值，通过方差对学生模仿动作的动作平滑度进行评价,得到学生模仿动作的动作平滑度分数Q3；
S24、按照最优权重矢量对Q1、Q2、Q3进行加权求和，得到系统总分Q；进一步的，按照最优权重矢量w＝[w1，w2，w3]T对三项分数Q1、Q2、Q3进行加权求和，得到系统总分Q＝Q1×w1+Q2×w2+Q3×w3，其中w1+w2+w3＝1；其中，在步骤S24中，利用穷举法求解专家对学生动作总体打分的专家分数y和系统总分Q之间的相关性，得到使y和Q的相关性系数取值最大时的最优权重矢量w＝[w1，w 2，w3]T，所述方法，具体包括：
其中
x＝QT×w，x表示学生加权后的总体得分，QT表示对学生动作进行系统总体打分的各项得分矩阵，表示第i个学生的第k分项得分，k＝1，2，3，i＝1，…N，N表示学生总数；
y＝[y1,y2...yi,...yN]T，yi表示专家对第i个学生动作总体打分的专家分数。
在具体方案中，通过动作相似度，动作细节，以及动作平滑度三个方面，对学生的模仿动作进行评价，首先，教师和学生完成同一动作的时间并不一定完全相同，因此在动作相似度评价之前需先进行归一化处理，使N＝M；再通过动态规划方法计算教师标准动作和学生模仿动作之间的距离空间，对学生模仿动作的动作相似度进行评价，具体的，评价分数为1-5分，5分最高，表示学生模仿动作与教师标准动作相似度很高，1分最低，表示学生模仿动作与教师标准动作相似度很低；再计算出教师和学生的手臂动作边界，根据两者的距离值判断学生动作是否到位，从而对学生模仿动作的动作细节进行评价，具体的，评价分数为1-5分，5分最高，表示学生模仿动作非常到位，1分最低，表示学生模仿动作不到位；最后计算学生模仿动作力度变化率的方差，根据方差对学生模仿动作的动作平滑度进行评价，具体的，评价分数为1-5分，5分最高，表示学生模仿动作很平滑，1分最低，表示学生模仿动作不平滑，按照最优权重矢量对三项分数进行加权求和，得到系统总分Q，进一步的，Q1和Q2的计算，可以通过Kinect传感器采集到的动作数据计算，而Q3的计算与Q1和Q2不同，不能从Kinect传感器直接得到，Q3是通过在学生大小手臂上放置动捕传感器获得的力度数据，并进行计算的，本评价方法结合Kinect传感器采集的数据和动作捕捉传感器捕捉的数据，而进行动作质量评分的。
其中，最优权重矢量利用穷举法求解yi与Q间的相关性求得,矩阵QT和矢量y都是常数，它们仅由实验数据决定，在具体方案中，学生的动作是否标准以专家对学生打分的总体分数作为标准，。
参照图2，本发明提出的一种沉浸式环境中远程动作教学质量的自动评价系统，该系统包括：
动作采集模块，用于采集教师的标准动作和学生的模仿动作；
动作采集模块，具体用于：采集教师标准动作的手臂关节动作和手臂动作力度，采集学生模仿动作的手臂关节动作和手臂动作力度；具体地，通过Kinect采集教师标准动作和学生模仿动作的手臂关节动作，通过动作捕捉传感器采集教师标准动作和学生模仿动作的手臂动作力度。
在具体方案中，通过Kinect采集用户的全身25个关节动作，4个MPU6050动作捕捉传感器被固定于用户的左右大小臂，用来采集用户的手臂力度信息，MPU6050动作捕捉传感器的数据经由蓝牙传输，Kinect数据则通过USB传输；
具体地，可对采集的教师标准动作和学生模仿动作进行自然视频或3D动画的展示，学生可对教师标准动作视频或3D动画进行回放，学生根据视频和动画中的标准动作模仿教师的标准动作，并录制模仿动作视频和动作，学生对模仿动作视频和动作进行回放，了解自己学习情况。
还包括动作采集模块，用于对采集的教师标准动作和学生模仿动作进行去除噪音处理。
动作评价模块，用于根据教师标准动作，综合学生模仿动作与教师标准动作的动作相似度、学生模仿动作的动作细节、学生模仿动作的动作平滑度对学生模仿动作质量进行系统总体打分，得到系统总分Q；
动作评价模块，包括：相似度计算子模块、动作细节计算子模块、平滑度计算子模块、总体打分子模块；
所述相似度计算子模块，用于采用基于动态时间规整的相似度评价方法，对学生模仿动作与教师标准动作的动作相似度进行评价，得到学生目标节点模仿动作与教师目标节点标准动作的动作相似度分数Q1；
具体的，所述相似度计算子模块，具体用于：
对学生模仿动作进行归一化处理，
P(t)表示目标节点教师标准动作，Q(t)表示目标节点学生模仿动作， 分别表示节点欧拉角数据的x，y，z分量，t代表时刻，N表示总时刻数，向量表示从Kinect获取的3个欧拉角数据，再建立一个N×N的距离矩阵d(t1,t2)＝|P(t1)-Q(t2)|2，t1,t2表示N×N矩阵中处在t1行t2列的位置，然后根据动态规划的方法累计距离矩阵：
γ(t1,t2)＝d(t1,t2)+min{γ(t1-1,t2-1),γ(t1-1,t2),γ(t1,t2-1)}，得到距离空间，γ(t1,t2)表示处在(t1,t2)位置的矩阵元素；根据距离空间对学生目标节点模仿动作与教师目标节点标准动作的动作相似度进行评价，得到学生目标节点模仿动作与教师目标节点标准动作的动作相似度分数，再计算学生所有节点模仿动作与教师所有节点标准动作的动作相似度分数的平均值，得到学生模仿动作与教师标准动作的动作相似度分数Q1；
所述动作细节计算子模块，用于根据教师手臂动作边界距离和学生手臂动作边界距离，对学生模仿动作的动作细节进行评价，得到学生模仿动作的动作细节分数Q2；
具体的，所述动作细节计算子模块，具体用于：
分别求出教师手臂动作边界和学生手臂动作边界，
Ppeak＝max{PX(0),Px(1),...,PX(N-1)}，
Qpeak＝max{QX(0),QX(1),...,QX(M-1)}，
Ppeak表示教师手臂动作边界，Qpeak表示学生手臂动作边界，t代表时刻，N＝M表示总时刻数，Px(0)表示在时刻t＝0时教师手臂动作节点的角度数据，Px(N-1)表示在时刻t＝N-1时教师手臂动作节点的角度数据，Qx(0)表示在时刻t＝0时学生手臂动作节点的角度数据，Qx(M-1)表示在时刻t＝M-1时学生手臂动作节点的角度数据，所述Ppeak、Qpeak可通过Kinect获取；根据Ppeak和Qpeak的距离，对学生模仿动作动作细节进行评价，得到学生模仿动作的动作细节分数Q2；
所述平滑度计算子模块，用于根据动作捕捉传感器获取的手臂动作力度，对学生模仿动作的动作平滑度进行评价,得到学生模仿动作的动作平滑度分数Q3；
具体的，所述平滑度计算子模块，具体用于：
通过动作捕捉传感器获取的手臂动作力度数据在以200Hz为截止频率经过5阶巴特沃斯低通滤波后为：X＝{x1,x2,x3…xn}，计算其变化率ΔX＝{x2-x1,x3-x2…xn-xn-1}，计算方差Var(X)＝Ε[(ΔX-μ)2]，其中n表示总时刻数，μ＝Ε[ΔX]表示均值，通过方差对学生模仿动作的动作平滑度进行评价,得到学生模仿动作的动作平滑度分数Q3；
所述总体打分子模块，用于按照最优权重矢量对Q1、Q2、Q3进行加权求和，得到系统总分Q；
具体的，所述总体打分子模块，具体用于：
按照最优权重矢量w＝[w1，w2，w3]T对三项分数Q1、Q2、Q3进行加权求和，得到系统总分Q＝w1·Q1+w2·Q2+w3·Q3，其中w1+w2+w3＝1；其中，利用穷举法求解专家对学生动作总体打分的专家分数y和系统总分Q之间的相关性，得到使y和Q的相关性系数取值最大时的最优权重矢量w＝[w1，w2，w3]T，所述方法，具体包括：
其中
x＝QT×w，x表示学生加权后的总体得分，QT表示对学生动作进行系统总体打分的各项得分矩阵，表示第i个学生的第k分项得分，k＝1，2，3，i＝1，…N，N表示学生总数；
y＝[y1,y2...yi,...yN]T，yi表示专家对第i个学生动作总体打分的专家分数。
在具体方案中，通过动作相似度，动作细节，以及动作平滑度三个方面，对学生的模仿动作进行评价，首先，教师和学生完成同一动作的时间并不一定完全相同，因此在动作相似度评价之前需先进行归一化处理，使N＝M；再通过动态规划方法计算教师标准动作和学生模仿动作之间的距离空间，对学生模仿动作的动作相似度进行评价，具体的，评价分数为1-5分，5分最高，表示学生模仿动作与教师标准动作相似度很高，1分最低，表示学生模仿动作与教师标准动作相似度很低；再计算出教师和学生的手臂动作边界，根据两者的距离值判断学生动作是否到位，从而对学生模仿动作的动作细节进行评价，具体的，评价分数为1-5分，5分最高，表示学生模仿动作非常到位，1分最低，表示学生模仿动作不到位；最后计算学生模仿动作力度变化率的方差，根据方差对学生模仿动作的动作平滑度进行评价，具体的，评价分数为1-5分，5分最高，表示学生模仿动作很平滑，1分最低，表示学生模仿动作不平滑，按照最优权重矢量对三项分数进行加权求和，得到系统总分Q，进一步的，Q1和Q2的计算，可以通过Kinect传感器采集到的动作数据计算，而Q3的计算与Q1和Q2不同，不能从Kinect传感器直接得到。Q3是通过在学生大小手臂上放置动捕传感器获得的力度数据，并进行计算的，本评价方法结合Kinect传感器采集的数据和动作捕捉传感器捕捉的数据，而进行动作质量评分的。
最优权重矢量利用穷举法求解yi与Q间的相关性求得,矩阵QT和矢量y都是常数，它们仅由实验数据决定，在具体方案中，学生的动作是否标准以专家对学生打分的总体分数作为标准。
本实施方式通过采集教师标准动作和学生模仿动作，综合学生模仿动作与教师标准动作的动作相似度、学生模仿动作的动作细节、学生模仿动作的动作平滑度对学生模仿动作质量进行总体评价，如此利用低成本的动作捕捉传感器可穿戴设备，结合Kinect传感器采集的数据和动作捕捉传感器捕捉的数据，进行动作质量评分，实现一些专业性较强和对动作的规范性要求较高的运动的高效远程教学和准确的自动动作评价。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种沉浸式环境中远程动作教学质量的自动评价方法，其特征在于，包括以下步骤：
S1、采集教师标准动作和学生模仿动作；
S2、综合学生模仿动作与教师标准动作的动作相似度、学生模仿动作的动作细节、学生模仿动作的动作平滑度对学生模仿动作质量进行系统总体打分，得到系统总分Q。
2.根据权利要求1所述的沉浸式环境中远程动作教学质量的自动评价方法，其特征在于，步骤S1，具体包括：采集教师标准动作的手臂关节动作和手臂动作力度，采集学生模仿动作的手臂关节动作和手臂动作力度；
优选地，通过Kinect采集教师标准动作和学生模仿动作的手臂关节动作，通过动作捕捉传感器采集教师标准动作和学生模仿动作的手臂动作力度。
3.根据权利要求1或2所述的沉浸式环境中远程动作教学质量的自动评价方法，其特征在于，步骤S2，具体包括：
S21、采用基于动态时间规整的相似度评价方法，对学生模仿动作与教师标准动作的动作相似度进行评价，得到学生目标节点模仿动作与教师目标节点标准动作的动作相似度分数Q1；
S22、根据教师手臂动作边界距离和学生手臂动作边界距离，对学生模仿动作的动作细节进行评价，得到学生模仿动作的动作细节分数Q2；
S23、根据动作捕捉传感器获取的手臂动作力度，对学生模仿动作的动作平滑度进行评价,得到学生模仿动作的动作平滑度分数Q3；
S24、按照最优权重矢量对Q1、Q2、Q3进行加权求和，得到系统总分Q；
优选地，步骤S21，具体包括：
对学生模仿动作进行归一化处理，
<mrow> <mi>P</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>E</mi> <mi>x</mi> <mi>P</mi> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mover> <mi>i</mi> <mo>&amp;RightArrow;</mo> </mover> <mo>+</mo> <msubsup> <mi>E</mi> <mi>y</mi> <mi>P</mi> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mover> <mi>j</mi> <mo>&amp;RightArrow;</mo> </mover> <mo>+</mo> <msubsup> <mi>E</mi> <mi>z</mi> <mi>P</mi> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mover> <mi>k</mi> <mo>&amp;RightArrow;</mo> </mover> <mo>,</mo> <mi>t</mi> <mo>=</mo> <mn>0</mn> <mo>,</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mo>...</mo> <mi>N</mi> <mo>-</mo> <mn>1</mn> <mo>,</mo> </mrow>
<mrow> <mi>Q</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>E</mi> <mi>x</mi> <mi>Q</mi> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mover> <mi>i</mi> <mo>&amp;RightArrow;</mo> </mover> <mo>+</mo> <msubsup> <mi>E</mi> <mi>y</mi> <mi>Q</mi> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mover> <mi>j</mi> <mo>&amp;RightArrow;</mo> </mover> <mo>+</mo> <msubsup> <mi>E</mi> <mi>z</mi> <mi>Q</mi> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mover> <mi>k</mi> <mo>&amp;RightArrow;</mo> </mover> <mo>,</mo> <mi>t</mi> <mo>=</mo> <mn>0</mn> <mo>,</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mo>...</mo> <mi>N</mi> <mo>-</mo> <mn>1</mn> <mo>,</mo> </mrow>
P(t)表示目标节点教师标准动作，Q(t)表示目标节点学生模仿动作， 分别表示节点欧拉角数据的x，y，z分量，t代表时刻，N表示总时刻数，向量表示从Kinect获取的3个欧拉角数据，再建立一个N×N的距离矩阵d(t1,t2)＝|P(t1)-Q(t2)|2，t1，t2表示N×N矩阵中处在t1行t2列的位置，然后根据动态规划的方法累计距离矩阵：
γ(t1,t2)＝d(t1,t2)+min{γ(t1-1,t2-1),γ(t1-1,t2),γ(t1,t2-1)}，得到距离空间，γ(t1,t2)表示处在(t1,t2)位置的矩阵元素；根据距离空间对学生目标节点模仿动作与教师目标节点标准动作的动作相似度进行评价，得到学生目标节点模仿动作与教师目标节点标准动作的动作相似度分数，再计算学生所有节点模仿动作与教师所有节点标准动作的动作相似度分数的平均值，得到学生模仿动作与教师标准动作的动作相似度分数Q1；
优选地，步骤S22，具体包括：
分别求出教师手臂动作边界和学生手臂动作边界，
Ppeak＝max{PX(0),Px(1),...,PX(N-1)}，
Qpeak＝max{QX(0),QX(1),...,QX(M-1)}，
Ppeak表示教师手臂动作边界，Qpeak表示学生手臂动作边界，t代表时刻，N＝M表示总时刻数，Px(0)表示在时刻t＝0时教师手臂动作节点的角度数据，Px(N-1)表示在时刻t＝N-1时教师手臂动作节点的角度数据，Qx(0)表示在时刻t＝0时学生手臂动作节点的角度数据，Qx(M-1)表示在时刻t＝M-1时学生手臂动作节点的角度数据，所述Ppeak、Qpeak可通过Kinect获取；根据Ppeak和Qpeak的距离，对学生模仿动作动作细节进行评价，得到学生模仿动作的动作细节分数Q2；
优选地，步骤S23，具体包括：
通过动作捕捉传感器获取的手臂动作力度数据在以200Hz为截止频率经过5阶巴特沃斯低通滤波后为：X＝{x1,x2,x3…xn}，计算其变化率ΔX＝{x2-x1,x3-x2…xn-xn-1}，计算方差Var(X)＝Ε[(ΔX-μ)2]，其中n表示总时刻数，μ＝Ε[ΔX]表示均值，通过方差对学生模仿动作的动作平滑度进行评价,得到学生模仿动作的动作平滑度分数Q3；
优选地，步骤S24，具体包括：
按照最优权重矢量w＝[w1，w2，w3]T对三项分数Q1、Q2、Q3进行加权求和，得到系统总分Q＝w1·Q1+w2·Q2+w3·Q3，其中w1+w2+w3＝1。
4.根据权利要求3所述的沉浸式环境中远程动作教学质量的自动评价方法，其特征在于，在步骤S24中，利用穷举法求解专家对学生动作总体打分的专家分数y和系统总分Q之间的相关性，得到使y和Q的相关性系数取值最大时的最优权重矢量w＝[w1，w2，w3]T，所述方法，具体包括：
其中
x＝QT×w，x表示学生加权后的总体得分，QT表示对学生动作进行系统总体打分的各项得分矩阵，表示第i个学生的第k分项得分，k＝1，2，3，i＝1，…N，N表示学生总数；
y＝[y1,y2...yi,...yN]T，yi表示专家对第i个学生动作总体打分的专家分数。
5.根据权利要求1所述的沉浸式环境中远程动作教学质量的自动评价方法，其特征在于，在步骤S1中，在采集教师标准动作和学生模仿动作之后，还包括：对采集的教师标准动作和学生模仿动作进行去除噪音处理。
6.一种沉浸式环境中远程动作教学质量的自动评价系统，其特征在于，包括：
动作采集模块，用于采集教师标准动作和学生模仿动作；
动作评价模块，用于综合学生模仿动作与教师标准动作的动作相似度、学生模仿动作的动作细节、学生模仿动作的动作平滑度对学生模仿动作质量进行系统总体打分，得到系统总分Q。
7.根据权利要求6所述的沉浸式环境中远程动作教学质量的自动评价系统，其特征在于，所述动作采集模块，具体用于：采集教师标准动作的手臂关节动作和手臂动作力度，采集学生模仿动作的手臂关节动作和手臂动作力度；
优选地，通过Kinect采集教师标准动作和学生模仿动作的手臂关节动作，通过动作捕捉传感器采集教师标准动作和学生模仿动作的手臂动作力度。
8.根据权利要求6或7所述的沉浸式环境中远程动作教学质量的自动评价系统，其特征在于，所述动作评价模块包括：相似度计算子模块、动作细节计算子模块、平滑度计算子模块、总体打分子模块；
所述相似度计算子模块，用于采用基于动态时间规整的相似度评价方法，对学生模仿动作与教师标准动作的动作相似度进行评价，得到学生目标节点模仿动作与教师目标节点标准动作的动作相似度分数Q1；
所述动作细节计算子模块，用于根据教师手臂动作边界距离和学生手臂动作边界距离，对学生模仿动作的动作细节进行评价，得到学生模仿动作的动作细节分数Q2；
所述平滑度计算子模块，用于根据动作捕捉传感器获取的手臂动作力度，对学生模仿动作的动作平滑度进行评价,得到学生模仿动作的动作平滑度分数Q3；
所述总体打分子模块，用于按照最优权重矢量对Q1、Q2、Q3进行加权求和，得到系统总分Q；
优选地，所述相似度计算子模块，具体用于：
对学生模仿动作进行归一化处理，
<mrow> <mi>P</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>E</mi> <mi>x</mi> <mi>P</mi> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mover> <mi>i</mi> <mo>&amp;RightArrow;</mo> </mover> <mo>+</mo> <msubsup> <mi>E</mi> <mi>y</mi> <mi>P</mi> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mover> <mi>j</mi> <mo>&amp;RightArrow;</mo> </mover> <mo>+</mo> <msubsup> <mi>E</mi> <mi>z</mi> <mi>P</mi> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mover> <mi>k</mi> <mo>&amp;RightArrow;</mo> </mover> <mo>,</mo> <mi>t</mi> <mo>=</mo> <mn>0</mn> <mo>,</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mo>...</mo> <mi>N</mi> <mo>-</mo> <mn>1</mn> <mo>,</mo> </mrow>
<mrow> <mi>Q</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>E</mi> <mi>x</mi> <mi>Q</mi> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mover> <mi>i</mi> <mo>&amp;RightArrow;</mo> </mover> <mo>+</mo> <msubsup> <mi>E</mi> <mi>y</mi> <mi>Q</mi> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mover> <mi>j</mi> <mo>&amp;RightArrow;</mo> </mover> <mo>+</mo> <msubsup> <mi>E</mi> <mi>z</mi> <mi>Q</mi> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mover> <mi>k</mi> <mo>&amp;RightArrow;</mo> </mover> <mo>,</mo> <mi>t</mi> <mo>=</mo> <mn>0</mn> <mo>,</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mo>...</mo> <mi>N</mi> <mo>-</mo> <mn>1</mn> <mo>,</mo> </mrow>
P(t)表示目标节点教师标准动作，Q(t)表示目标节点学生模仿动作， 分别表示节点欧拉角数据的x，y，z分量，t代表时刻，N表示总时刻数，向量表示从Kinect获取的3个欧拉角数据，再建立一个N×N的距离矩阵d(t1,t2)＝|P(t1)-Q(t2)|2，t1,t2表示N×N矩阵中处在t1行t2列的位置，然后根据动态规划的方法累计距离矩阵：
γ(t1,t2)＝d(t1,t2)+min{γ(t1-1,t2-1),γ(t1-1,t2),γ(t1,t2-1)}，得到距离空间，γ(t1,t2)表示处在(t1,t2)位置的矩阵元素；根据距离空间对学生目标节点模仿动作与教师目标节点标准动作的动作相似度进行评价，得到学生目标节点模仿动作与教师目标节点标准动作的动作相似度分数，再计算学生所有节点模仿动作与教师所有节点标准动作的动作相似度分数的平均值，得到学生模仿动作与教师标准动作的动作相似度分数Q1；
优选地，所述动作细节计算子模块，具体用于：
分别求出教师手臂动作边界和学生手臂动作边界，
Ppeak＝max{PX(0),Px(1),...,PX(N-1)}，
Qpeak＝max{QX(0),QX(1),...,QX(M-1)}，
Ppeak表示教师手臂动作边界，Qpeak表示学生手臂动作边界，t代表时刻，N＝M表示总时刻数，Px(0)表示在时刻t＝0时教师手臂动作节点的角度数据，Px(N-1)表示在时刻t＝N-1时教师手臂动作节点的角度数据，Qx(0)表示在时刻t＝0时学生手臂动作节点的角度数据，Qx(M-1)表示在时刻t＝M-1时学生手臂动作节点的角度数据，所述Ppeak、Qpeak可通过Kinect获取；根据Ppeak和Qpeak的距离，对学生模仿动作动作细节进行评价，得到学生模仿动作的动作细节分数Q2；
优选地，所述平滑度计算子模块，具体用于：
通过动作捕捉传感器获取的手臂动作力度数据在以200Hz为截止频率经过5阶巴特沃斯低通滤波后为：X＝{x1,x2,x3…xn}，计算其变化率ΔX＝{x2-x1,x3-x2…xn-xn-1}，计算方差Var(X)＝Ε[(ΔX-μ)2]，其中n表示总时刻数，μ＝Ε[ΔX]表示均值，通过方差对学生模仿动作的动作平滑度进行评价,得到学生模仿动作的动作平滑度分数Q3；
优选地，所述总体打分子模块，具体用于：
按照最优权重矢量w＝[w1，w2，w3]T对三项分数Q1、Q2、Q3进行加权求和，得到系统总分Q＝w1·Q1+w2·Q2+w3·Q3，其中w1+w2+w3＝1。
9.根据权利要求8所述的沉浸式环境中远程动作教学质量的自动评价系统，其特征在于，利用穷举法求解专家对学生动作总体打分的专家分数y和系统总分Q之间的相关性，得到使y和Q的相关性系数取值最大时的最优权重矢量w＝[w1，w2，w3]T，所述方法，具体包括：
其中
x＝QT×w，x表示学生加权后的总体得分，QT表示对学生动作进行系统总体打分的各项得分矩阵，表示第i个学生的第k分项得分，k＝1，2，3，i＝1，…N，N表示学生总数；
y＝[y1,y2...yi,...yN]T，yi表示专家对第i个学生动作总体打分的专家分数。
10.根据权利要求6所述沉浸式环境中远程动作教学质量的自动评价系统，其特征在于，还包括去噪模块，用于对采集的教师标准动作和学生模仿动作进行去除噪音处理。
CN201710326333.7A 2017-05-10 2017-05-10 一种沉浸式环境中远程动作教学质量的自动评价方法和系统 Active CN107240049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710326333.7A CN107240049B (zh) 2017-05-10 2017-05-10 一种沉浸式环境中远程动作教学质量的自动评价方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710326333.7A CN107240049B (zh) 2017-05-10 2017-05-10 一种沉浸式环境中远程动作教学质量的自动评价方法和系统

Publications (2)

Publication Number Publication Date
CN107240049A true CN107240049A (zh) 2017-10-10
CN107240049B CN107240049B (zh) 2020-04-03

Family

ID=59984354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710326333.7A Active CN107240049B (zh) 2017-05-10 2017-05-10 一种沉浸式环境中远程动作教学质量的自动评价方法和系统

Country Status (1)

Country Link
CN (1) CN107240049B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154125A (zh) * 2017-12-26 2018-06-12 深圳Tcl新技术有限公司 动作教学方法、终端及计算机可读存储介质
CN109035091A (zh) * 2018-07-25 2018-12-18 深圳市异度信息产业有限公司 一种用于学生实验的打分方法、装置及设备
CN109508656A (zh) * 2018-10-29 2019-03-22 重庆中科云丛科技有限公司 一种舞蹈评级自动判别方法、系统及计算机可读存储介质
CN109698920A (zh) * 2017-10-20 2019-04-30 深圳市鹰硕技术有限公司 一种基于互联网教学平台的跟随教学系统
CN111179669A (zh) * 2019-12-27 2020-05-19 广东德诚科教有限公司 物理力学实验结果的量化方法、装置、终端和存储介质
CN112272324A (zh) * 2020-10-15 2021-01-26 聚好看科技股份有限公司 一种跟练模式控制方法及显示设备
CN112560605A (zh) * 2020-12-02 2021-03-26 北京字节跳动网络技术有限公司 交互方法、装置、终端、服务器和存储介质
CN113283275A (zh) * 2020-12-28 2021-08-20 电子科技大学 基于opencv的机读卡自动评分系统、方法及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102500094A (zh) * 2011-10-28 2012-06-20 北京航空航天大学 一种基于kinect的动作训练方法
CN103706106A (zh) * 2013-12-30 2014-04-09 南京大学 一种基于Kinect的自适应连续动作训练方法
US20140220527A1 (en) * 2013-02-07 2014-08-07 AZ Board of Regents, a body corporate of the State of AZ, acting for & on behalf of AZ State Video-Based System for Improving Surgical Training by Providing Corrective Feedback on a Trainee's Movement
CN105999670A (zh) * 2016-05-31 2016-10-12 山东科技大学 基于kinect的太极拳动作判定和指导系统及其指导方法
CN106020440A (zh) * 2016-05-05 2016-10-12 西安电子科技大学 一种基于体感交互的京剧教学系统
US20170103672A1 (en) * 2015-10-09 2017-04-13 The Regents Of The University Of California System and method for gesture capture and real-time cloud based avatar training

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102500094A (zh) * 2011-10-28 2012-06-20 北京航空航天大学 一种基于kinect的动作训练方法
US20140220527A1 (en) * 2013-02-07 2014-08-07 AZ Board of Regents, a body corporate of the State of AZ, acting for & on behalf of AZ State Video-Based System for Improving Surgical Training by Providing Corrective Feedback on a Trainee's Movement
CN103706106A (zh) * 2013-12-30 2014-04-09 南京大学 一种基于Kinect的自适应连续动作训练方法
US20170103672A1 (en) * 2015-10-09 2017-04-13 The Regents Of The University Of California System and method for gesture capture and real-time cloud based avatar training
CN106020440A (zh) * 2016-05-05 2016-10-12 西安电子科技大学 一种基于体感交互的京剧教学系统
CN105999670A (zh) * 2016-05-31 2016-10-12 山东科技大学 基于kinect的太极拳动作判定和指导系统及其指导方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TIANYU HE 等: "Immersive and collaborative Taichi motion learning in various VR environments", 《2017 IEEE VIRTUAL REALITY(VR)》 *
郑斌珏: "基于Kinect深度信息的手势识别", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109698920A (zh) * 2017-10-20 2019-04-30 深圳市鹰硕技术有限公司 一种基于互联网教学平台的跟随教学系统
CN109698920B (zh) * 2017-10-20 2020-07-24 深圳市鹰硕技术有限公司 一种基于互联网教学平台的跟随教学系统
CN108154125B (zh) * 2017-12-26 2021-08-24 深圳Tcl新技术有限公司 动作教学方法、终端及计算机可读存储介质
CN108154125A (zh) * 2017-12-26 2018-06-12 深圳Tcl新技术有限公司 动作教学方法、终端及计算机可读存储介质
CN109035091A (zh) * 2018-07-25 2018-12-18 深圳市异度信息产业有限公司 一种用于学生实验的打分方法、装置及设备
CN109508656A (zh) * 2018-10-29 2019-03-22 重庆中科云丛科技有限公司 一种舞蹈评级自动判别方法、系统及计算机可读存储介质
CN111179669A (zh) * 2019-12-27 2020-05-19 广东德诚科教有限公司 物理力学实验结果的量化方法、装置、终端和存储介质
CN112272324A (zh) * 2020-10-15 2021-01-26 聚好看科技股份有限公司 一种跟练模式控制方法及显示设备
CN112272324B (zh) * 2020-10-15 2023-03-14 聚好看科技股份有限公司 一种跟练模式控制方法及显示设备
CN112560605A (zh) * 2020-12-02 2021-03-26 北京字节跳动网络技术有限公司 交互方法、装置、终端、服务器和存储介质
CN112560605B (zh) * 2020-12-02 2023-04-18 北京字节跳动网络技术有限公司 交互方法、装置、终端、服务器和存储介质
CN113283275A (zh) * 2020-12-28 2021-08-20 电子科技大学 基于opencv的机读卡自动评分系统、方法及存储介质
CN113283275B (zh) * 2020-12-28 2022-04-12 电子科技大学 基于opencv的机读卡自动评分系统、方法及存储介质

Also Published As

Publication number Publication date
CN107240049B (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
CN107240049A (zh) 一种沉浸式环境中远程动作教学质量的自动评价方法和系统
US11638853B2 (en) Augmented cognition methods and apparatus for contemporaneous feedback in psychomotor learning
CN107349594B (zh) 一种虚拟舞蹈系统的动作评价方法
Chen et al. Computer-assisted yoga training system
CN108764120B (zh) 一种人体规范动作评价方法
JP2852925B2 (ja) 肉体的運動熟達教育用システム
CN109214231A (zh) 基于人体姿态识别的体育教学辅助系统和方法
KR101979750B1 (ko) 댄스 트레이닝 콘텐츠 저작 시스템
Noiumkar et al. Use of optical motion capture in sports science: A case study of golf swing
US11113988B2 (en) Apparatus for writing motion script, apparatus for self-teaching of motion and method for using the same
CN103390174A (zh) 基于人体姿态识别的体育教学辅助系统和方法
Chye et al. Game based approach to learn martial arts for beginners
CN105396279A (zh) 用于实现团体运动成果的系统和方法
US11935330B2 (en) Object fitting using quantitative biomechanical-based analysis
CN106166376A (zh) 简化24式太极拳综合训练系统
CN108376487A (zh) 基于虚拟现实中的肢体训练系统及方法
KR101555863B1 (ko) 태권도 품새 판독 및 교육 장치 및 그 방법
Chun et al. A sensor-aided self coaching model for uncocking improvement in golf swing
WO2008023250A1 (en) Motion coaching device, method and system
CN112933581A (zh) 一种基于虚拟现实技术的体育动作评分方法与装置
Tisserand et al. Preservation and gamification of traditional sports
WO2021230101A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN103593863A (zh) 一种三维动画制作系统
KR100863055B1 (ko) 영상분석에 기반한 태권도 학습시스템
JP6899105B1 (ja) 動作表示装置、動作表示方法及び動作表示プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant