CN109784133B - 动作评量模型生成装置及其动作评量模型生成方法 - Google Patents

动作评量模型生成装置及其动作评量模型生成方法 Download PDF

Info

Publication number
CN109784133B
CN109784133B CN201711225173.3A CN201711225173A CN109784133B CN 109784133 B CN109784133 B CN 109784133B CN 201711225173 A CN201711225173 A CN 201711225173A CN 109784133 B CN109784133 B CN 109784133B
Authority
CN
China
Prior art keywords
action
motion
standard
algorithm
vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711225173.3A
Other languages
English (en)
Other versions
CN109784133A (zh
Inventor
江振国
卢允中
陈柏年
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute for Information Industry
Original Assignee
Institute for Information Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute for Information Industry filed Critical Institute for Information Industry
Publication of CN109784133A publication Critical patent/CN109784133A/zh
Application granted granted Critical
Publication of CN109784133B publication Critical patent/CN109784133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

一种动作评量模型生成装置及其动作评量模型生成方法。动作评量模型生成装置存储多个原始数据集及其对应的多个标准动作标签。动作评量模型生成装置基于机器学习演算法，运算该多个原始数据集，以进行一监督式学习而生成一特征向量产生模型及一分类器模型。动作评量模型生成装置通过随机产生多个动作特征向量，并将其输入至分类器模型，以决定各标准动作标签的一代表动作特征向量。动作评量模型生成装置基于特征向量产生模型、分类器模型及对应至该多个标准动作标签的该多个代表动作特征向量，生成一动作评量模型。

Description

动作评量模型生成装置及其动作评量模型生成方法
【技术领域】
本发明是关于动作评量模型生成装置及其动作评量模型生成方法。具体而言，本发明的动作评量模型生成装置经由机器学习演算法生成动作评量模型。
【背景技术】
随着科技的快速发展，智能型手机及各种穿戴式装置已充斥于人们的日常生活中，带来不同的应用(例如：电玩上、运动上等)。举例而言，目前穿戴式装置大多装载着移动传感器(motion sensor)(例如：重力传感器)，因此穿戴式装置可针对用户的动作进行辨识，以进行相应的操作。然而，目前的辨识技术仅能提供动作分类，而无法同时提供动作分类与动作评分，进而造成实际的应用受限。
有鉴于此，如何建立一种用于穿戴式装置的一动作评量模型，以同时提供动作分类与动作评分，乃是业界亟待解决的问题。
【发明内容】
本发明的目的在于提供一种适用于穿戴式装置的动作评量模型，其基于机器学习演算法，经由监督式学习训练所生成，以有效地同时提供动作分类与动作评分的功能。
为达上述目的，本发明揭露一种动作评量模型生成装置，其包含一存储器及一处理器。该存储器用以存储多个原始数据集及多个标准动作标签。各该原始数据集包含多个原始数据，且各该原始数据是由一感测(sensing)装置所产生。各该原始数据集对应至多个标准动作标签其中之一。该处理器电性连结至该存储器，用以执行以下操作：基于一第一阶段机器学习演算法，运算各该原始数据集的该多个原始数据，以产生多个标准动作特征向量；基于一第二阶段机器学习演算法，运算该多个标准动作特征向量，以产生多个标准动作类别向量；基于该多个原始数据集与其对应的该多个标准动作标签，进行该第一阶段机器学习演算法及该第二阶段机器学习演算法的一监督式学习，以生成一特征向量产生模型及一分类器模型，其中该监督式学习是使得各该标准动作标签所对应的该原始数据集的该多个原始数据，输入至该特征向量产生模型及该分类器模型后所产生的该多个标准动作类别向量具有一特定分量值；随机产生多个动作特征向量，并将该多个动作特征向量输入至该分类器模型，以产生多个动作类别向量；根据该多个动作类别向量，自该多个动作特征向量中选择对应至各该标准动作标签的一代表动作特征向量，各该代表动作特征向量所对应的该动作类别向量具有一相对分量极大值；以及基于该特征向量产生模型、该分类器模型及对应至该多个标准动作标签的该多个代表动作特征向量，生成一动作评量模型。
此外，本发明更揭露一种用于一动作评量模型生成装置的动作评量模型生成方法。该动作评量模型生成装置包含一存储器以及一处理器。该存储器用以存储多个原始数据集及多个标准动作标签。各该原始数据集包含多个原始数据，且各该原始数据是由一感测(sensing)装置所产生。各该原始数据集对应至多个标准动作标签其中之一。该动作评量模型生成方法由该处理器执行且包含下列步骤：基于一第一阶段机器学习演算法，运算各该原始数据集的该多个原始数据，以产生多个标准动作特征向量；基于一第二阶段机器学习演算法，运算该多个标准动作特征向量，以产生多个标准动作类别向量；基于该多个原始数据集与其对应的该多个标准动作标签，进行该第一阶段机器学习演算法及该第二阶段机器学习演算法的一监督式学习，以生成一特征向量产生模型及一分类器模型，其中该监督式学习是使得各该标准动作标签所对应的该原始数据集的该多个原始数据，输入至该特征向量产生模型及该分类器模型后所产生的该多个标准动作类别向量具有一特定分量值；随机产生多个动作特征向量，并将该多个动作特征向量输入至该分类器模型，以产生多个动作类别向量；根据该多个动作类别向量，自该多个动作特征向量中选择对应至各该标准动作标签的一代表动作特征向量，各该代表动作特征向量所对应的该动作类别向量具有一相对分量极大值；以及基于该特征向量产生模型、该分类器模型及对应至该多个标准动作标签的该多个代表动作特征向量，生成一动作评量模型。
在参阅附图及随后描述的实施方式后，本领域的技术人员便可了解本发明的其他目的，以及本发明的技术手段及实施态样。
【附图说明】
图1A是描绘本发明动作评量模型生成装置1的示意图；
图1B是描绘本发明动作评量模型生成装置1的另一示意图；
图2A是描绘本发明动作评量模型生成装置1进行模型训练的示意图；
图2B是描绘本发明动作评量模型生成装置1决定对应至各标准动作标签的一代表动作特征向量的示意图；
图3是描绘本发明动作评量模型生成装置1进行模型训练的示意图；
图4是描绘本发明动作评量模型生成装置1所生成的动作评量模型进移动作评量的示意图；
图5是本发明一实施例的动作评量模型生成方法的流程图；
图6A是本发明另一实施例的动作评量模型生成方法的流程图；以及
图6B是本发明另一实施例的动作评量模型生成方法的流程图。
【符号说明】
1：动作评量模型生成装置
11：存储器
13：处理器
15：网络接口
RDS：原始数据集
SAL：标准动作标签
RD：原始数据
FV：动作特征向量
CV：动作类别向量
CM：分类器模型
SFV：标准动作特征向量
SCV：标准动作类别向量
FVM：特征向量产生模型
FMA：第一阶段机器学习演算法
SMA：第二阶段机器学习演算法
UED：待评量数据
UEFV：待评量动作特征向量
UECV：待评量动作类别向量
IM：动作及分数等级辨识模块
SM：分数计算模块
AID：动作标识符
AEM：动作评量模型
IR：辨识结果
SV：分数值
A1、A2、A3、B1、B2、B3、C1、C2、C3、D1、D2、D3、E1、E2、E3、F1、F2、F3：分量
S501-S511、S601、S603：步骤
【具体实施方式】
以下将通过实施例来解释本发明内容，本发明的实施例并非用以限制本发明须在如实施例所述的任何特定的环境、应用或特殊方式方能实施。因此，关于实施例的说明仅为阐释本发明的目的，而非用以限制本发明。需说明者，以下实施例及附图中，与本发明非直接相关的组件已省略而未绘示，且附图中各组件间的尺寸关系仅为求容易了解，并非用以限制实际比例。
本发明第一实施例请参考图1-3。图1是描绘本发明动作评量模型生成装置1的示意图。动作评量模型生成装置1包含一存储器11及一处理器13。动作评量模型生成装置1可为一云端服务器、一个人计算机或任一具有运算处理能力的装置。处理器13电性连结至存储器11。存储器11用以存储多个原始数据集RDS及多个标准动作标签SAL。各原始数据集RDS包含多个原始数据RD，且各原始数据RD是由一感测(sensing)装置(例如：一穿戴式装置所装载的一移动传感器(motion sensor))所产生。各原始数据集RDS对应至该多个标准动作标签SAL其中之一。换言之，各原始数据RD是因应感测装置感测一动作而产生，且对应至该多个标准动作标签SAL其中之一。
图2A是描绘本发明动作评量模型生成装置1进行模型训练的示意图。处理器13基于一第一阶段机器学习演算法FMA，运算各原始数据集RDS的该多个原始数据RD，以产生多个标准动作特征向量SFV。举例而言，第一阶段机器学习演算法FMA包含一卷积神经网络(Convolutional Neural Network；CNN)演算法，其可用于撷取各原始数据RD的时间序列的特征，以及一长短期记忆(Long Short-Term Memory；LSTM)演算法，其可用于记忆不定时间长度的数值，并决定输入的数据是否重要而需被记录及输出，以强化第一阶段机器学习演算法FMA的整体神经网络。于产生该多个标准动作特征向量SFV后，处理器13更基于一第二阶段机器学习演算法SMA(例如：一支援向量机(Support Vector Machine；SVM)演算法、一神经网络(Neural Network；NN)演算法、一判定树(Decision Tree；DT)演算法、一随机树(Random Tree；RT)演算法、一提升方法(Boosting)、一贝氏(Bayes)演算法、一最大期望(Expectation-Maximization；EM)演算法或一K最邻近(K-Nearest Neighbors；KNN)演算法)，运算该多个标准动作特征向量SFV，以产生多个标准动作类别向量SCV。
如图3所示，假设各原始数据RD为3*250大小的矩阵形式表示。各原始数据RD经由第一阶段机器学习演算法FMA(例如：CNN演算法与LSTM演算法的组合)运算后会产生对应的128*1大小的标准动作特征向量SFV，而标准动作特征向量SFV再经由第二阶段机器学习演算法SMA(例如：SVM演算法)运算后会产生对应的18*1大小的标准动作类别向量SCV。各标准动作类别向量SCV的各分量A1、A2、A3、B1、B2、B3、C1、C2、C3、D1、D2、D3、E1、E2、E3、F1、F2、F3分别对应至动作A、B、C、D、E、F及其分数等级。例如，分量A1、A2、A3分别代表A动作的三个等级(好、普通、差)，分量B1、B2、B3分别代表B动作的三个等级(好、普通、差)，以此类推。换言之，各标准动作类别向量SCV具有多个分量值，各分量值与该多个标准动作标签其中之一相关联且代表一分数等级。
接着，处理器13更基于该多个原始数据RD与其对应的该多个标准动作标签SAL，进行第一阶段机器学习演算法FMA及第二阶段机器学习演算法SMA的一监督式学习，以生成一特征向量产生模型FVM及一分类器模型CM。监督式学习使得各标准动作标签SAL所对应的原始数据集RDS的该多个原始数据RD，输入至特征向量产生模型FVM及分类器模型CM后所产生的该多个标准动作类别向量SCV具有一特定分量值。
举例而言，存储器11存储对应至该多个原始数据RD的该多个标准动作标签SAL有6个，其分别对应至动作A、B、C、D、E、F。换言之，各原始数据RD对应至动作A、B、C、D、E、F其中之一。上述的监督式学习的训练目标是欲使得对应至动作A的该多个原始数据RD所产生的标准动作类别向量SCV的分量A1具有特定分量值(例如：标准化后的特定分量值为1)，而其余分量A2、A3、B1、B2、B3、C1、C2、C3、D1、D2、D3、E1、E2、E3、F1、F2、F3的分量值与分量A1的分量值间具有明显差距(例如：差距大于30％，即其余分量的分量值小于0.7)，使得对应至动作B的该多个原始数据RD所产生的标准动作类别向量SCV的分量B1具有特定分量值(例如：标准化后的特定分量值为1)，而其余分量A1、A2、A3、B2、B3、C1、C2、C3、D1、D2、D3、E1、E2、E3、F1、F2、F3的分量值与分量B1的分量值间具有明显差距(例如：差距大于30％，即其余分量的分量值小于0.7)，以此类推。由于本领域的技术人员可了解前述关于机器学习演算法的训练目标可借由设定目标函数来达成，故在此不再加以赘述。
经由上述监督式学习的训练，处理器13即可获得第一阶段机器学习演算法FMA所需的神经网络的参数，并据以生成特征向量产生模型FVM。类似地，经由上述监督式学习的训练，处理器13即可获得第二阶段机器学习演算法SMA所需的神经网络的参数，并据以生成分类器模型CM。由于本领域的技术人员基于前述说明可以了解如何经由监督式学习的训练获得机器学习演算法所需的神经网络的参数，并据以生成模型，故在此不再加以赘述。
于生成特征向量产生模型FVM及分类器模型CM后，处理器13随机产生大量的动作特征向量FV，并将该多个动作特征向量FV输入至分类器模型CM，以产生多个动作类别向量CV，如图2B所示。同样地，各动作类别向量CV亦具有分量A1、A2、A3、B1、B2、B3、C1、C2、C3、D1、D2、D3、E1、E2、E3、F1、F2、F3，其分别对应至动作A、B、C、D、E、F及其分数等级。接着，处理器13根据该多个动作类别向量CV，自该多个动作特征向量FV中选择对应至各标准动作标签SAL的一代表动作特征向量，其中各代表动作特征向量所对应的动作类别向量CV具有一相对分量极大值。
详细而言，以挑选对应动作A的标准动作标签SAL的代表动作特征向量作为说明，处理器13自该多个动作特征向量FV中选择一动作特征向量，其对应的动作类别向量CV满足分量A1的分量值远大于其余分量A2、A3、B1、B2、B3、C1、C2、C3、D1、D2、D3、E1、E2、E3、F1、F2、F3的分量值(例如：基于一目标函数(objective function)来决定)的条件。因此，处理器13可自该多个动作特征向量FV中决定各动作A、B、C、D、E、F的代表动作特征向量。最后，处理器13基于特征向量产生模型FVM、分类器模型CM及对应至该多个标准动作标签SAL的该多个代表动作特征向量，生成一动作评量模型。
举例而言，前述的目标函数可表示如以下公式：
Figure BDA0001487116820000091
其中，CV表示动作类别向量，c表示动作的数量(例如：六个动作A、B、C、D、E、F，则c＝6)、e表示分数等级数量(例如：3个等级，则e＝3)，CPx表示动作类别向量的第x个分量值(例如：CP1为分量A1的分量值、CP4为分量B1的分量值)。因此，以动作A作为说明(即第i个动作，i＝1)，处理器13是可基于目标函数，自该多个动作类别向量CV中选择一动作类别向量CV，其CP1分别减去CP2至CP18的值的总和为最大者(即目标函数值为最大者)所对应的动作特征向量FV作为代表动作特征向量。
须说明者，于本实施例中，第一阶段机器学习演算法FMA是以CNN演算法与LSTM演算法的组合作为举例说明，以及第二阶段机器学习演算法SMA是以SVM演算法作为举例说明。然而，于其他实施例中，其他可产生标准动作特征向量SFV的机器学习演算法亦可套用至本发明的第一阶段机器学习演算法FMA，以及其他可产生标准动作类别向量SCV的机器学习演算法亦可套用至本发明的第二阶段机器学习演算法SMA。
此外，于其他实施例中，如图1B所示，当动作评量模型生成装置1为一云端服务器时，则动作评量模型生成装置1更包含一网络接口15，其联机至一网络，且用以自一外部装置接收该多个原始数据集RDS及该多个标准动作标签SAL。此网络接口15可为一有线网络接口、一无线网络接口或其组合，且网络可为一移动通信网络、一因特网、一局域网络等，或是前述各种网络的组合。此外部装置可为一个人计算机、一手机、一穿戴式装置或任一具有通信能力的装置。另外，处理器13可基于动作评量模型，产生一软件开发工具包(SoftwareDevelopment Kit；SDK)，以供一外部装置下载。
举例而言，当使用者为一运动教练时，其可自行通过穿戴式装置(例如：智能型手环)所装载的移动传感器(motion sensor)，针对不同标准运动动作产生多个原始数据RD，并标示该多个原始数据RD所对应标准运动动作，以产生对应的该多个标准动作标签SAL。随后，运动教练可将该多个原始数据RD及该多个标准动作标签SAL上传至本发明的动作评量模型生成装置1，使得动作评量模型生成装置1因应生成动作评量模型，并产生一软件开发工具包供下载。因此，运动教练可将此软件开发工具包提供给学员，让学员将其安装至穿戴式装置上，以供学员在平时运动时，对其各个动作进行评量。
此外，软件开发工具包亦可安装与智能型手机、平板、个人计算机或任一可自穿戴式装置读取移动传感器所产生的原始数据的装置上，以基于所读取的原始数据，对其所对应的动作进行评量。再者，本发明的动作评量模型生成装置1亦可直接提供云端动作评量的服务。动作评量模型生成装置1可自一外部装置接收移动传感器所产生的原始数据，并基于所接收的原始数据，使用动作评量模型对原始数据所对应的动作进行评量。换言之，本发明动作评量模型的动作辨识及评量可于服务商的云端服务器上或用户端的装置(例如：智能型手机、平板、个人计算机、穿戴式装置等)上实现。
本发明的第二实施例如图4所示，其是描绘本发明动作评量模型生成装置1所生成的动作评量模型AEM进移动作评量的示意图。第二实施例是为第一实施例的进一步延伸。为简化说明，以下假设本发明的动作评量模型是通过软件开发工具包安装于穿戴式装置(例如：智能型手环)上作为举例说明。然而，如先前所述，本发明的动作评量模型AEM的动作辨识及评量亦可于服务商的云端服务器或用户端的装置(例如：智能型手机、平板、个人计算机、穿戴式装置等)上实现。动作评量模型AEM可由一计算机程序实现，其是被穿戴式装置的处理器执行，以达到对各个动作进行评量。
如图4所示，当一学员进行运动时，智能型手环的移动传感器会因应学员的一运动动作产生一待评量数据UED(即，原始数据)。随后，待评量数据UED经由特征向量产生模型FVM运算后，产生待评量动作特征向量UEFV。接着，待评量动作特征向量UEFV经由分类器模型CM运算后，产生待评量动作类别向量UECV。
于产生待评量动作类别向量UECV后，动作及分数等级辨识模块IM可判断待评量动作类别向量UECV的分量A1、A2、A3、B1、B2、B3、C1、C2、C3、D1、D2、D3、E1、E2、E3、F1、F2、F3中的哪个分量值最大，以辨识出动作及分数等级。举例而言，假设待评量动作类别向量UECV中分量B1的值最大，因此动作及分数等级辨识模块IM，产生辨识结果IR，其指示待评量数据UED所对应的动作为动作B，且此动作的分数等级为「好」。另一方面，动作及分数等级辨识模块IM于辨识动作B后，将动作B的动作标识符AID传送给分数计算模块SM。
分数计算模块SM根据动作标识符AID，将动作B的代表动作特征向量与待评量动作特征向量UEFV进行内积计算，以产生一分数值SV。换言之，分数计算模块SM是计算待评量动作特征向量UEFV于代表动作特征向量上的投影量，将投影量与代表动作特征向量的大小间的百分比，作为分数值SV。如此一来，智能型手环可将辨识结果IR及分数值SV呈现于其屏幕上供学员参考。智能型手环亦可将辨识结果IR及分数值SV传送至所联机的智能型手机、平板计算机、个人计算机或云端服务器，以记录保存。
须说明者，于本实施例中，动作评量模型AEM是包含动作及分数等级辨识模块IM及分数计算模块SM。然而，于其他实施例中，动作评量模型AEM可不包含动作及分数等级辨识模块IM及分数计算模块SM。在此情况下，动作及分数等级辨识模块IM及分数计算模块SM是可运行于与智能型手环所联机的装置(例如：智能型手机、平板计算机、个人计算机或云端服务器)。据此，于智能型手环将待评量动作特征向量UEFV及待评量动作类别向量UECV传送至所联机的装置后，装置将可据以产生辨识结果IR及分数值SV。
此外，前述举例说明是以运动动作作为动作评量的标的；然而，本领域的技术人员可了解本发明的动作评量模型AEM亦适用于其他活动的动作评量(例如：机械的操作等)，故各种活动的动作评量皆属于本发明保护的范畴。
本发明第三实施例请参考图5，其是为本发明动作评量模型生成方法的流程图。动作评量模型生成方法适用于一动作评量模型生成装置(例如：第一实施例的动作评量模型生成装置1)，其包含一存储器以及一处理器。存储器用以存储多个原始数据集及多个标准动作标签。各原始数据集包含多个原始数据，且各原始数据是由一感测(sensing)装置所产生。各原始数据集对应至多个标准动作标签其中之一。
动作评量模型生成方法由处理器执行。首先，于步骤S501中，基于一第一阶段机器学习演算法，运算各原始数据集的该多个原始数据，以产生多个标准动作特征向量。于步骤S503中，基于一第二阶段机器学习演算法，运算该多个标准动作特征向量，以产生多个标准动作类别向量。接着，于步骤S505中，基于该多个原始数据集与其对应的该多个标准动作标签，进行第一阶段机器学习演算法及第二阶段机器学习演算法的一监督式学习，以生成一特征向量产生模型及一分类器模型。监督式学习是使得各标准动作标签所对应的原始数据集的该多个原始数据，输入至特征向量产生模型及分类器模型后所产生的该多个标准动作类别向量具有一特定分量值。
随后，于步骤S507中，随机产生多个动作特征向量，并将该多个动作特征向量输入至分类器模型，以产生多个动作类别向量。于步骤S509中，根据该多个动作类别向量，自该多个动作特征向量中选择对应至各标准动作标签的一代表动作特征向量。各代表动作特征向量所对应的动作类别向量具有一相对分量极大值。最后，于步骤S511中，基于特征向量产生模型、分类器模型及对应至该多个标准动作标签的该多个代表动作特征向量，生成一动作评量模型。
于其他实施例中，第一阶段机器学习演算法包含一卷积神经网络(ConvolutionalNeural Network；CNN)演算法及一长短期记忆(Long Short-Term Memory；LSTM)演算法，以及第二阶段机器学习演算法是一支持向量机(Support Vector Machine；SVM)演算法、一神经网络(Neural Network；NN)演算法、一判定树(Decision Tree；DT)演算法、一随机树(Random Tree；RT)演算法、一提升方法(Boosting)、一贝氏(Bayes)演算法、一最大期望(Expectation-Maximization；EM)演算法或一K最邻近(K-Nearest Neighbors；KNN)演算法。
此外，于其他实施例中，各标准动作类别向量具有多个分量值，各分量值与该多个标准动作标签其中之一相关联且代表一分数等级。于一实施例中，感测装置是被装载于一穿戴式装置，且包含一移动传感器(motion sensor)，由感测装置所产生的一待评量数据经由动作评量模型的特征向量产生模型而产生的待评量动作特征向量是与该多个代表动作特征向量其中之一进行一内积运算，以产生一分数值。
于其他实施例中，动作评量模型生成装置可为一云端服务器，其更包含一网络接口，联机至一网络。在此情况下，如图6A所示，本发明的动作评量模型生成方法更包含步骤S601：通过网络接口，自一外部装置接收该多个原始数据集及该多个标准动作标签。另外，于其他实施例中，如图6B所示，本发明的动作评量模型生成方法更包含步骤S603：基于动作评量模型，产生一软件开发工具包(Software Development Kit；SDK)，以供一外部装置下载。
综上所述，本发明提供的适用于穿戴式装置的动作评量模型，其基于机器学习演算法，以及经由监督式学习训练所生成。本发明的动作评量模型可有效地同时提供动作分类与动作评分的功能，以增加穿戴式装置的应用，提供多元信息。
前述的实施例仅用来例举本发明的实施态样，以及阐释本发明的技术特征，并非用来限制本发明的保护范畴。任何熟悉此技术者可轻易完成的改变或均等性的安排均属于本发明所主张的范围，本发明的权利保护范围应以权利要求书为准。

Claims (16)

1.一种动作评量模型生成装置，其特征在于，包含：
一存储器，用以存储多个原始数据集及多个标准动作标签，各该原始数据集包含多个原始数据，各该原始数据是由一感测装置所产生，各该原始数据集对应至该多个标准动作标签其中之一；以及
一处理器，电性连结至该存储器，用以执行以下操作：
基于一第一阶段机器学习演算法，运算各该原始数据集的该多个原始数据，以产生多个标准动作特征向量；
基于一第二阶段机器学习演算法，运算该多个标准动作特征向量，以产生多个标准动作类别向量；
基于该多个原始数据集与其对应的该多个标准动作标签，进行该第一阶段机器学习演算法及该第二阶段机器学习演算法的一监督式学习，以生成一特征向量产生模型及一分类器模型，其中该监督式学习是使得各该标准动作标签所对应的该原始数据集的该多个原始数据，输入至该特征向量产生模型及该分类器模型后所产生的该多个标准动作类别向量具有一特定分量值；
随机产生多个动作特征向量，并将该多个动作特征向量输入至该分类器模型，以产生多个动作类别向量；
根据该多个动作类别向量，自该多个动作特征向量中选择对应至各该标准动作标签的一代表动作特征向量，各该代表动作特征向量所对应的该动作类别向量具有一相对分量极大值；以及基于该特征向量产生模型、该分类器模型及对应至该多个标准动作标签的该多个代表动作特征向量，生成一动作评量模型。
2.如权利要求1所述的动作评量模型生成装置，其特征在于，该第一阶段机器学习演算法包含一卷积神经网络演算法及一长短期记忆演算法。
3.如权利要求1所述的动作评量模型生成装置，其特征在于，该第二阶段机器学习演算法是一支持向量机演算法、一神经网络演算法、一判定树演算法、一随机树演算法、一提升方法、一贝氏演算法、一最大期望演算法及一K最邻近演算法其中之一。
4.如权利要求1所述的动作评量模型生成装置，其特征在于，各该标准动作类别向量具有多个分量值，各该分量值与该多个标准动作标签其中之一相关联且代表一分数等级。
5.如权利要求4所述的动作评量模型生成装置，其特征在于，由该感测装置所产生的一待评量数据经由该动作评量模型的该特征向量产生模型而产生的待评量动作特征向量是与该多个代表动作特征向量其中之一进行一内积运算，以产生一分数值。
6.如权利要求1所述的动作评量模型生成装置，其特征在于，更包含一网络接口，联机至一网络，且用以自一外部装置接收该多个原始数据集及该多个标准动作标签。
7.如权利要求1所述的动作评量模型生成装置，其特征在于，该感测装置是被装载于一穿戴式装置，且包含一移动传感器。
8.如权利要求1所述的动作评量模型生成装置，其特征在于，更包含一网络接口，联机至一网络，其中该处理器基于该动作评量模型，产生一软件开发工具包，以供一外部装置下载。
9.一种用于一动作评量模型生成装置的动作评量模型生成方法，该动作评量模型生成装置包含一存储器以及一处理器，该存储器用以存储多个原始数据集及多个标准动作标签，各该原始数据集包含多个原始数据，各该原始数据是由一感测装置所产生，各该原始数据集对应至该多个标准动作标签其中之一，其特征在于，该动作评量模型生成方法由该处理器执行且包含下列步骤：
基于一第一阶段机器学习演算法，运算各该原始数据集的该多个原始数据，以产生多个标准动作特征向量；
基于一第二阶段机器学习演算法，运算该多个标准动作特征向量，以产生多个标准动作类别向量；
基于该多个原始数据集与其对应的该多个标准动作标签，进行该第一阶段机器学习演算法及该第二阶段机器学习演算法的一监督式学习，以生成一特征向量产生模型及一分类器模型，其中该监督式学习是使得各该标准动作标签所对应的该原始数据集的该多个原始数据，输入至该特征向量产生模型及该分类器模型后所产生的该多个标准动作类别向量具有一特定分量值；
随机产生多个动作特征向量，并将该多个动作特征向量输入至该分类器模型，以产生多个动作类别向量；
根据该多个动作类别向量，自该多个动作特征向量中选择对应至各该标准动作标签的一代表动作特征向量，各该代表动作特征向量所对应的该动作类别向量具有一相对分量极大值；以及
基于该特征向量产生模型、该分类器模型及对应至该多个标准动作标签的该多个代表动作特征向量，生成一动作评量模型。
10.如权利要求9所述的动作评量模型生成方法，其特征在于，该第一阶段机器学习演算法包含一卷积神经网络演算法及一长短期记忆演算法。
11.如权利要求9所述的动作评量模型生成方法，其特征在于，该第二阶段机器学习演算法是一支持向量机演算法、一神经网络演算法、一判定树演算法、一随机树演算法、一提升方法、一贝氏演算法、一最大期望演算法及一K最邻近演算法其中之一。
12.如权利要求9所述的动作评量模型生成方法，其特征在于，各该标准动作类别向量具有多个分量值，各该分量值与该多个标准动作标签其中之一相关联且代表一分数等级。
13.如权利要求12所述的动作评量模型生成方法，其特征在于，由该感测装置所产生的一待评量数据经由该动作评量模型的该特征向量产生模型而产生的待评量动作特征向量是与该多个代表动作特征向量其中之一进行一内积运算，以产生一分数值。
14.如权利要求9所述的动作评量模型生成方法，其特征在于，该动作评量模型生成装置更包含一网络接口，其联机至一网络，以及该动作评量模型生成方法更包含以下步骤：
通过该网络接口，自一外部装置接收该多个原始数据集及该多个标准动作标签。
15.如权利要求9所述的动作评量模型生成方法，其特征在于，该感测装置是被装载于一穿戴式装置，且包含一移动传感器。
16.如权利要求9所述的动作评量模型生成方法，其特征在于，该动作评量模型生成装置更包含一网络接口，其联机至一网络，以及该动作评量模型生成方法更包含以下步骤：
基于该动作评量模型，产生一软件开发工具包，以供一外部装置下载。
CN201711225173.3A 2017-11-15 2017-11-29 动作评量模型生成装置及其动作评量模型生成方法 Active CN109784133B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW106139489 2017-11-15
TW106139489A TWI670628B (zh) 2017-11-15 2017-11-15 動作評量模型生成裝置及其動作評量模型生成方法

Publications (2)

Publication Number Publication Date
CN109784133A CN109784133A (zh) 2019-05-21
CN109784133B true CN109784133B (zh) 2021-11-02

Family

ID=66433237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711225173.3A Active CN109784133B (zh) 2017-11-15 2017-11-29 动作评量模型生成装置及其动作评量模型生成方法

Country Status (3)

Country Link
US (1) US11397471B2 (zh)
CN (1) CN109784133B (zh)
TW (1) TWI670628B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11676034B2 (en) * 2019-06-27 2023-06-13 The Nielsen Company (Us), Llc Initialization of classification layers in neural networks
CN110648404B (zh) * 2019-09-30 2023-06-09 恒信东方文化股份有限公司 一种互动学习方法及其系统
CN110782481B (zh) * 2019-10-18 2023-09-05 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 无人艇智能决策方法及系统
US11482047B2 (en) * 2020-01-06 2022-10-25 Kaia Health Software GmbH ML model arrangement and method for evaluating motion patterns
CN117542121B (zh) * 2023-12-06 2024-06-28 融视数字科技集团有限公司 基于计算机视觉的智能化训练考核系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104133813A (zh) * 2014-08-11 2014-11-05 南通大学 一种基于Kinect的海军旗语训练方法
CN106446844A (zh) * 2016-09-29 2017-02-22 北京市商汤科技开发有限公司 姿势估计方法和装置、计算机系统
CN106611153A (zh) * 2016-05-12 2017-05-03 简极科技有限公司 一种智能球训练动作识别系统及方法
CN106991372A (zh) * 2017-03-02 2017-07-28 北京工业大学 一种基于混合深度学习模型的动态手势识别方法
CN107016347A (zh) * 2017-03-09 2017-08-04 腾讯科技（深圳）有限公司 一种体感动作识别方法、装置以及系统
CN107293175A (zh) * 2017-08-04 2017-10-24 华中科技大学 一种基于体感技术的机车手信号操作训练方法
CN107291232A (zh) * 2017-06-20 2017-10-24 深圳市泽科科技有限公司 一种基于深度学习与大数据的体感游戏交互方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345984B2 (en) * 2010-01-28 2013-01-01 Nec Laboratories America, Inc. 3D convolutional neural networks for automatic human action recognition
US11089146B2 (en) * 2015-12-28 2021-08-10 The Mitre Corporation Systems and methods for rehabilitative motion sensing
US9977968B2 (en) * 2016-03-04 2018-05-22 Xerox Corporation System and method for relevance estimation in summarization of videos of multi-step activities
TWI651664B (zh) * 2017-11-15 2019-02-21 財團法人資訊工業策進會 模型生成伺服器及其模型生成方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104133813A (zh) * 2014-08-11 2014-11-05 南通大学 一种基于Kinect的海军旗语训练方法
CN106611153A (zh) * 2016-05-12 2017-05-03 简极科技有限公司 一种智能球训练动作识别系统及方法
CN106446844A (zh) * 2016-09-29 2017-02-22 北京市商汤科技开发有限公司 姿势估计方法和装置、计算机系统
CN106991372A (zh) * 2017-03-02 2017-07-28 北京工业大学 一种基于混合深度学习模型的动态手势识别方法
CN107016347A (zh) * 2017-03-09 2017-08-04 腾讯科技（深圳）有限公司 一种体感动作识别方法、装置以及系统
CN107291232A (zh) * 2017-06-20 2017-10-24 深圳市泽科科技有限公司 一种基于深度学习与大数据的体感游戏交互方法及系统
CN107293175A (zh) * 2017-08-04 2017-10-24 华中科技大学 一种基于体感技术的机车手信号操作训练方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Human Activity Recognition Process Using 3-D Posture Data;Salvatore Gaglio等;《2015 IEEE Transactions on Human-Machine Systems》;20141218;第45卷(第5期);全文 *
基于Kinect的动作评价方法研究;姜延丰;《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》;20170815(第8期);全文 *

Also Published As

Publication number Publication date
TWI670628B (zh) 2019-09-01
TW201923517A (zh) 2019-06-16
US20190146590A1 (en) 2019-05-16
CN109784133A (zh) 2019-05-21
US11397471B2 (en) 2022-07-26

Similar Documents

Publication Publication Date Title
CN109784133B (zh) 动作评量模型生成装置及其动作评量模型生成方法
US11307864B2 (en) Data processing apparatus and method
CN107578014B (zh) 信息处理装置及方法
US9846840B1 (en) Semantic class localization in images
US8917907B2 (en) Continuous linear dynamic systems
WO2018105194A1 (en) Method and system for generating multi-relevant label
CN109522450B (zh) 一种视频分类的方法以及服务器
JP4697670B2 (ja) 識別用データ学習システム、学習装置、識別装置及び学習方法
US20210158138A1 (en) Gesture feedback in distributed neural network system
CN109214421B (zh) 一种模型训练方法、装置、及计算机设备
CN101937513A (zh) 信息处理设备、信息处理方法和程序
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN112149733B (zh) 模型训练、质量确定方法、装置、电子设备及存储介质
JP7213754B2 (ja) 情報処理システム、推論方法、攻撃検知方法、推論実行プログラム及び攻撃検知プログラム
WO2022142494A1 (zh) 时序数据的异常监测方法、装置、电子设备和存储介质
WO2020168448A1 (zh) 睡眠预测方法、装置、存储介质及电子设备
CN113609819B (zh) 标点符号确定模型及确定方法
CN112997148A (zh) 睡眠预测方法、装置、存储介质及电子设备
CN112270334B (zh) 一种基于异常点暴露的少样本图像分类方法及系统
US11106942B2 (en) Method and apparatus for generating learning data required to learn animation characters based on deep learning
CN116186295B (zh) 基于注意力的知识图谱链接预测方法、装置、设备及介质
US11983633B2 (en) Machine learning predictions by generating condition data and determining correct answers
CN116127049A (zh) 模型训练方法、文本生成方法、终端设备及计算机介质
CN110390102A (zh) 一种情感分析的方法和相关装置
CN111400715B (zh) 分类引擎诊断方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant