CN107122752A - 一种人体动作比对方法及装置 - Google Patents
一种人体动作比对方法及装置 Download PDFInfo
- Publication number
- CN107122752A CN107122752A CN201710313793.6A CN201710313793A CN107122752A CN 107122752 A CN107122752 A CN 107122752A CN 201710313793 A CN201710313793 A CN 201710313793A CN 107122752 A CN107122752 A CN 107122752A
- Authority
- CN
- China
- Prior art keywords
- action
- human body
- standard
- data
- binary tree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009471 action Effects 0.000 title claims abstract description 226
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 27
- 230000033001 locomotion Effects 0.000 claims description 78
- 239000013598 vector Substances 0.000 claims description 59
- 238000012545 processing Methods 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000012706 support-vector machine Methods 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 11
- 238000000513 principal component analysis Methods 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims description 6
- 230000003252 repetitive effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 235000006629 Prosopis spicigera Nutrition 0.000 description 1
- 240000000037 Prosopis spicigera Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种人体动作比对方法及装置。所述方法包括：S1，基于可穿戴传感器采集到的当前人体动作，利用二叉树分类器网络进行识别，确认所述当前人体动作为标准动作或非标准动作；S2，当确认为非标准动作时，将所述非标准动作与所述非标准动作对应的标准动作数据进行比对，获得所述非标准动作的各关节角度的偏差信息。本发明首先评判出存在偏差的人体动作，识别出标准或非标准动作；然后非标准的人体动作和对应的标准动作数据进行关节角度的细致比对，量化的给出角度偏差信息，以对人体动作姿态进行矫偏指导和进一步对人体动作进行评级，精度高，拥有优秀的泛化能力，处理小样本训练集的能力很强。
Description
技术领域
本发明涉及人机交互与模式识别技术领域，更具体地，涉及一种人体动作比对方法及装置。
背景技术
人体动作采集技术是记录人体动作信息以供分析和回放的新型人机交互技术。动作采集的分类有机械式动作采集、声学式动作采集、电磁式动作采集、光学式动作采集、惯性导航动作采集。采集的数据既可简单到记录肢体的空间位置，也可复杂到记录脸部和肌肉群的细致动作。考虑到小巧、便捷、廉价以及不影响人自身肢体活动等因素，采用惯导加电磁式的九轴动作采集方式来采集人体动作，并进行比对最为合适。
随着动作识别技术的不断发展，其已广泛应用于体育、舞蹈、影视、医疗仿真及动作技能培训等领域。动作识别技术建立在动作采集技术得到的动作数据的基础之上，分为基于图像的动作识别技术和基于可穿戴动作传感器的动作识别技术。
目前，基于图像的动作识别技术缺点是受环境的约束太大，需要一块专门的动作采集场地，用户与摄像机之间不能有遮挡物。而且往往需要多个摄像机，操作复杂、价格昂贵、数据量和计算量都很大。而基于可穿戴动作传感器的动作识别技术不存在以上种种缺陷，因此基于可穿戴动作传感器的动作识别技术引起了学术界的广泛关注。
当前人机交互方式发生着重大的变革，将人体动作采集及动作识别技术应用于人机交互领域，服务于计算机仿真和虚拟现实技术是现阶段的研究热点。在舞蹈教学、体育竞技训练、机器人行为学习和体感游戏等领域有着重要的应用价值。但是由于人身体是一个复杂的结构体，不同人的动作习惯和动作方式也不相同，使得难以对采集到的用户动作信息进行使用、比对以及评估。目前还没有成熟、高效的比对方法和标准。
根据国家专利局检索中心专利查询，申请号为：201310312228.X，公开号为：CN103345627B，该发明专利针对可穿戴式传感器的动作识别领域，发明了一套动作识别方法和装置。该发明拟合采集到的动作数据来表征动作能量变化的大小，使用滑动窗口的方法对拟合后数据进行分段，之后使用动态时间规整方法找到与采集到动作最相近的原型动作，最后再通过隐马尔科夫模型方法对采集到的动作进行识别。
上述专利中，使用隐马尔科夫模型的优点是当前状态只受前一时刻状态影响，计算复杂度低。缺点是无法进行信息的有效融合，参数误差相互叠加，最终使识别精度受到影响。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的人体动作比对方法及装置。
根据本发明的一个方面，提供一种人体动作比对方法，包括：
S1，基于可穿戴传感器采集到的当前人体动作，利用二叉树分类器网络进行识别，确认所述当前人体动作为标准动作或非标准动作；
S2，当确认为非标准动作时，将所述非标准动作与所述非标准动作对应的标准动作数据进行比对，获得所述非标准动作的各关节角度的偏差信息。
根据本发明的另一个方面，还提供一种人体动作比对装置，包括：
动作识别模块，用于基于当前人体动作，利用二叉树分类器网络进行识别，确认所述当前人体动作为标准动作或非标准动作；以及
偏差比对模块，用于当确认为非标准动作时，将所述非标准动作与所述非标准动作对应的标准动作数据进行比对，获得所述非标准动作的各关节角度的偏差信息。
本发明提出一种人体动作比对方法及装置，利用训练好的二叉树分类器网络对当前采集的人体动作进行识别，首先评判出存在偏差的人体动作，识别出标准或非标准动作；然后非标准的人体动作和对应的标准动作数据进行关节角度的细致比对，量化的给出角度偏差信息，以对人体动作姿态进行矫偏指导和进一步对人体动作进行评级。本发明所述方法精度高，拥有优秀的泛化能力，处理小样本训练集的能力很强。
附图说明
图1为本发明实施例一种人体动作比对方法流程图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1所示，一种人体动作比对方法，包括：
S1，基于可穿戴传感器采集到的当前人体动作，利用二叉树分类器网络进行识别，确认所述当前人体动作为标准动作或非标准动作；
S2，当确认为非标准动作时，将所述非标准动作与所述非标准动作对应的标准动作数据进行比对，获得所述非标准动作的各关节角度的偏差信息。
本实施例为解决现有技术的缺陷，提出一种人体动作比对方法，利用训练好的二叉树分类器网络对当前采集的人体动作进行识别，首先评判出存在偏差的人体动作，识别出标准或非标准；然后非标准的人体动作和对应的标准动作数据进行关节角度的细致比对，量化的给出角度偏差信息，以对人体动作姿态进行矫偏指导和进一步对人体动作进行评级。
作为一个可选的实施例，所述S1中所述二叉树分类器网络通过以下步骤获取：
采集应用领域中已知的标准人体动作，进行滤波去噪和归一化处理；
将处理后的所述标准人体动作进行分段处理，获得若干段动作数据，其中每一段动作数据为一个基本人体动作；
基于每一个基本人体动作，分别从所述基本人体动作的时域、频域和时频域数据中提取第一特征向量；
基于所述第一特征向量，根据样本类间的相对距离，构建所述二叉树分类器网络BT-SVM-NN，所述二叉树分类器网络的每个网络节点为一个与网络分类结构需求对应的二分类支持向量机和最近邻混合分类器SVM-NN。
本实施例构建并训练以支持向量机为核心的二叉树分类器网络，利用事先采集的某个应用领域的已知标准动作，使用第一特征向量构成训练样本集，来对所述支持向量机进行训练；根据二叉树分类器网络结构，针对每个非叶子节点建立并训练一个混合分类器。所述二叉树分类器网络BT-SVM-NN可以对人体动作进行精确识别。
所述二叉树分类器网络BT-SVM-NN，所有叶子节点均对应基本的人体动作类别。
本实施例所述支持向量机的分类方法为二分类方法，使用径向基核函数(RBF)为支持向量机的核函数，来解决线性不可分的二分类问题。所述径向基核函数可表示为：
设X是Rn中的一个子集，k(x,xi)是定义在X×X上的函数。
其中，x∈X，xi∈X，γ为Gauss径向基核函数的参数，Rn表示n维实数域空间。
本实施例所述二分类支持向量机和最近邻混合分类器SVM-NN中的最近邻混合算法为K近邻分类算法，使用所述K近邻算法主要针对SVM分类出错的动作类别进行辅助分类，具体实施如下：
首先在分类器网络中只使用SVM分类器，使用标准动作数据对网络进行训练；之后使用标准动作数据测试分类器网络分类情况，对出现分类错误的分类节点增加使用K-NN分类器进行辅助分类。
作为一个可选的实施例，所述S1进一步包括：
S1.1，对所述当前人体动作进行滤波去噪、归一化处理和分段处理，得到若干段动作数据；
S1.2，分别从所述若干段动作数据的时域、频域和时频域数据中提取第二特征向量；
S1.3，利用所述二叉树分类器网络对所述第二特征向量进行分类识别，确认所述当前人体动作为标准动作或非标准动作。
本实施例中，对所述当前人体动作的滤波去噪、归一化处理和分段处理与S1中所述二叉树分类器网络的获取步骤中的滤波去噪、归一化处理和分段处理相同，所不同的只是使用数据不同。S1中所述二叉树分类器网络的获取步骤中使用的是应用领域的标准人体动作，其目的是为了训练支持向量分类器；本实施例中使用的是当前人体动作，是需要进行识别的数据。
本实施例中所述第二特征向量的提取方法与S1中所述二叉树分类器网络的获取步骤中所述第一特征向量的提取方法也是相同，同理，所不同的只是使用数据不同。
本实施例利用训练好的二叉树分类器网络对经过处理和提取特征向量的所述当前人体动作进行识别，可以精确的识别出标准动作或非标准动作。
本实施例中，对需要识别的当前人体动作经过滤波去噪、归一化处理和分段处理及提取特征值，还包括利用主成分分析法进行降维，从中进一步提取出有效且独立不重复的特征值，构成维度更低的特征向量。使用所述训练好的分类器网络对当前人体动作数据特征值序列进行分类识别，得到用户的动作类别序列。然后与已知标准动作类别序列进行比对，若序列中相同次序对应动作类别相同，则判定该次序中人体动作为标准动作，若次序对应动作类别不相同则判定人体动作为非标准动作。
作为一个可选的实施例，所述S2所述标准动作数据通过以下步骤获取：
对应用领域中已知的标准人体动作数据，进行滤波去噪、归一化处理和分段处理后，得到若干基本人体动作；
基于所述基本人体动作数据，计算人体各肢体的四元数数据；
基于人体关节的相邻两个肢体的四元数数据，利用四元数方法解算出人体各关节的角度信息为所述标准动作数据。
本实施例中，所述分段处理，与S1中所述二叉树分类器网络的获取步骤中的分段处理，以及S1.1中的分段处理，都是相同的处理过程。针对不同的动作类型，分段处理的具体方法不同。
本实施例所应用的场景，大多都隐含有明确的动作段。比如在辅助舞蹈教学中使用本实施例方法，可以使用舞蹈动作中原有的节拍动作段来对原始的九轴数据进行分段，定义每个节拍内为一个基本的舞蹈动作。因为舞蹈动作的节拍段时间长度固定，所以可以直接依据舞蹈节拍的始末时间点，来对九轴数据进行分段。这样也可以减少数据分段所需的计算量。
作为一个可选的实施例，所述S2进一步包括：
S2.1，基于所述非标准动作，计算所述非标准动作的若干段动作数据的四元数；
S2.2，利用四元数方法解算所述非标准动作的各关节的角度信息；
S2.3，比较所述非标准动作的各关节的角度信息与对应关节的标准动作数据，得到所述非标准动作的各关节的角度偏差信息。
本实施例对标准动作进行进一步计算。所述四元数方法解算人体各关节角度信息的具体实施为：
先使用各个人体姿态采集点的九轴姿态数据，计算得到相应的四元数信息；使用任意两个相邻的人体姿态采集点的四元数姿态信息，解算得到两个采集点之间在三轴方向上相对于初始位置的角度变化，得到人体各关节角度信息。
通过所述四元数方法解算得到所述非标准动作的各关节的角度信息后，通过与事先计算好的对应关节的标准动作数据进行计算，可进一步地得到具体的各关节角度偏差信息，可以供全面、具体地分级评估人体动作以及辅助教学使用。
作为一个可选的实施例，所述基于所述第一特征向量，构建所述二叉树分类器网络之前还包括：
对所述第一特征向量进行主要成分分析，进一步提取独立不重复能有效表征待识别动作特性的特征值，来构成维度更低的新第一特征向量。可降低识别计算量，同时提高识别精度。
同理，对本发明所述第二特征向量也进行了与第一特征向量相同的降维处理。
作为一个可选的实施例，所述构建所述二叉树分类器网络BT-SVM-NN包括：
根据样本类间的相对距离，构建出最优的不完全二叉树结构；
基于所述不完全二叉树结构，为每个非叶子节点构建并训练相应的二分类SVM-NN混合模式分类器，以将各个父节点中的所有类别，划分到其两个孩子节点中，直到孩子节点为叶子节点，且只包含一个基本动作类别。
本实施例给出了构建二叉树分类器网络BT-SVM-NN的方法。由于人体动作众多，因此需要对不同的人体动作训练多个可以精确识别的支持向量机，构建混合模式分类器网络，最终形成一个二叉树分类器网络BT-SVM-NN，可以对所有不同的人体动作进行精确识别。
具体的，所述第一特征向量包括：
从时域数据中解算出的特征值，包括：从所述基本人体动作的九轴姿态信号中计算得到的算数和、峰峰值、过零值、均值、均方差、能量、两轴间相关系数、偏度以及峰度信息；
从频域数据中解算出的特征值，包括：对所述基本人体动作的九轴姿态信号进行傅里叶变换后得到的傅里叶系数、能谱密度和频域熵；
从时频域数据中解算出的特征值，包括：对所述基本人体动作的九轴姿态信号进行小波变换后提取的不同方向上的小波能量比。
之后再对所述第一特征向量进行主要成分分析(PCA)，对得到的所述第一特征向量进行降维，进一步提取独立不重复的特征值构成最终的第一特征向量。可以减少分类器的计算量，提高分类器的分类效果。
具体的，所述第二特征向量包括：
从时域数据中解算出的特征值，包括：从所述若干段动作数据的九轴姿态信号中计算得到的算数和、峰峰值、过零值、均值、均方差、能量、两轴间相关系数、偏度以及峰度信息；
从频域数据中解算出的特征值，包括：对所述若干段动作数据的九轴姿态信号进行傅里叶变换后得到的傅里叶系数、能谱密度和频域熵；
从时频域数据中解算出的特征值，包括：对所述若干段动作数据的九轴姿态信号进行小波变换后提取的不同方向上的小波能量比；
之后再对所述第二特征向量进行主要成分分析(PCA)，对得到的所述第二特征向量进行降维，进一步提取独立不重复的特征值构成最终的第二特征向量。
以上所述第二特征向量和所述第一特征向量的获取方法完全相同，所不同的只是使用数据不同。所述第一特征向量通过应用领域的标准人体动作获取，其目的是为了训练支持向量机分类器；所述第二特征向量通过需要识别的当前人体动作获取。
在所述第二特征向量和所述第一特征向量中，所述均方差即标准差，标准差是方差的算术平方根，可以反映一个数据集的离散程度，可通过下式表示：
其中，μ为数据平均值，N为样本个数，xi为样本，K为均方差值。
所述偏度是用来度量传感器数据分布偏斜方向和程度的统计特征，可通过下式表示：
其中，σ为标准差，为均值，N为样本个数，Xi为样本。
所述峰度反映了传感器数据在数据曲线顶峰处的陡峭程度，可通过下式表示：
其中，σ为标准差，为均值，N为样本个数，Xi为样本。
所述两轴间相关系数是衡量变量之间线性相关程度的指标,是一个常用的统计特征，可通过下式表示：
所述两轴间相关系数中两个变量Xi和Yi分别为两个样本的数值。
其中，为样本Xi的均值，为样本Yi的均值。
作为一个可选的实施例，本发明所述构建二叉树分类器网络BT-SVM-NN的具体处理如下：
(1)基于标准人体动作数据集的各基本动作段，从时域、频域及时频域三方面，提取能代表并区分各个基本动作的一组特征参数，该特征参数包含l个特征量，对l个所述特征量进行编号，各基本动作段的l个所述特征量组成各动作段的第一特征向量，所述各动作段的第一特征向量构成第一特征向量集，其中l≥2。
(2)以所述第一特征向量集为训练样本集，将所述训练样本集中的k个类别命名为：类1、类2、…、类k，设C为由k个样本类别构成的集合；使用所述训练样本集构建样本类间相对距离矩阵D:
其中第一、二列分别表示类i，j的标号，第三列为类i，j之间的相对距离；
(3)在D中找到在C集合中拥有最大相对距离的的两个类i，j，并分别存入集合C1，C2中，同时令C＝C-(C1∪C2)；
若则转到(6)
(4)在D中查找样本类m(m∈C)分别到C1，C2中各样本类的最小相对距离Dmc1和Dmc2，若Dmc1<Dmc2，则将m添加到C1中反之添加到C2中，重复执行本步操作，直到将C中所有样本类全部存入C1和C2之中。
(5)分别将C1，C2作为二叉树网络结构的左右子树，完成一个二元分类正负类的选择；
(6)令C＝C1，回到步骤(2)，将左子树进一步分割为两个次子树，直到每个类别都成为二叉树的叶子节点为止；
(7)同样，令C＝C2，回到步骤(2)，将右子树也进一步分割成两个次子树，直到每个类别都成为二叉树的叶子节点为止；
得到对应标准人体动作数据集的二叉树混合分类器网络结构之后，在二叉树结构的每一个非叶子节点处训练一个分类器。并根据不同节点对于样本类的分类需求不同，训练不同的的SVM分类器。
所述样本类间相对距离计算步骤：
设两个样本类，类i和类j。
(1)分别计算两个样本类的样本中心，分别记为ci和cj；
(2)计算两个样本类间的欧式距离，记为dij；
(3)分别计算两个样本类的最小超球体半径，分别记为Ri和Rj；
(4)使用公式计算两个样本类间的相对距离，记为Dij；
所述第i类的样本中心计算方法为：
其中X为包含k个类别的的样本集，Xi为第i类的训练样本集，i＝1,2,…,k，ni是第i类的样本数量，x为训练样本Xi中的特征向量。
所述类间欧式距离计算方法为：
dij＝‖ci-cj‖
其中ci，cj分别为类i和类j的样本中心。或者表示为
其中为样本类i中所有训练样本特征向量的第p个特征量的均值，其中为样本类j中所有训练样本特征向量的第p个特征量的均值,l为特征向量中包含特征量的个数。
所述第i类的最小超球体半径计算方法为：
其中X为包含k个类别的的样本集，Xi为第i类的训练样本集，其中ci为类i的样本中心。
本发明还提供一种人体动作比对装置，包括：
动作识别模块，用于基于可穿戴传感器采集到的当前人体动作，利用二叉树分类器网络进行识别，确认所述当前人体动作为标准动作或非标准动作；以及
偏差比对模块，用于当确认为非标准动作时，将所述非标准动作与所述非标准动作对应的标准动作数据进行比对，获得所述非标准动作的各关节角度的偏差信息。
其中，所述二叉树分类器网络通过以下步骤获取：
采集应用领域中已知的标准人体动作，进行滤波去噪和归一化处理；
将处理后的所述标准人体动作进行分段处理，获得若干段动作数据，其中每一段动作数据为一个基本人体动作；
基于每一个基本人体动作，分别从所述基本人体动作的时域、频域和时频域数据中提取第一特征向量；
基于所述第一特征向量，构建所述二叉树分类器网络BT-SVM-NN，所述二叉树分类器网络的每个网络节点为一个基本人体动作对应的二分类支持向量机和最近邻混合分类器SVM-NN。
优选的，所述基于所述第一特征向量，构建所述二叉树分类器网络之前还包括：
对所述第一特征向量进行主要成分分析，提取独立不重复的特征值构成新的特征向量。
优选的，所述构建所述二叉树分类器网络BT-SVMM-NN包括：
(1)基于标准人体动作数据集的各基本动作段，从时域、频域及时频域三方面，提取能代表并区分各个基本动作的一组特征参数，该特征参数包含l个特征量，对l个所述特征量进行编号，各基本动作段的l个所述特征量组成各动作段的第一特征向量，所述各动作段的第一特征向量构成第一特征向量集，其中l≥2。
(2)以所述第一特征向量集为训练样本集，将所述训练样本集中的k个类别命名为：类1、类2、…、类k，设C为由k个样本类别构成的集合；使用所述训练样本集构建样本类间相对距离矩阵D:
其中第一、二列分别表示类i，j的标号，第三列为类i，j之间的相对距离；
(3)在D中找到在C集合中拥有最大相对距离的的两个类i，j，并分别存入集合C1，C2中，同时令C＝C-(C1∪C2)；
若则转到(6)
(4)在D中查找样本类m(m∈C)分别到C1，C2中各样本类的最小相对距离Dmc1和Dmc2，若Dmc1<Dmc2，则将m添加到C1中反之添加到C2中，重复执行本步操作，直到将C中所有样本类全部存入C1和C2之中。
(5)分别将C1，C2作为二叉树网络结构的左右子树，完成一个二元分类正负类的选择；
(6)令C＝C1，回到步骤(2)，将左子树进一步分割为两个次子树，直到每个类别都成为二叉树的叶子节点为止；
(7)同样，令C＝C2，回到步骤(2)，将右子树也进一步分割成两个次子树，直到每个类别都成为二叉树的叶子节点为止；
得到对应标准人体动作数据集的二叉树混合分类器网络结构之后，在二叉树结构的每一个非叶子节点处训练一个分类器。并根据不同节点对于样本类的分类需求不同，训练不同的的SVM分类器。
所述样本类间相对距离计算步骤：
设两个样本类，类i和类j。
(5)分别计算两个样本类的样本中心，分别记为ci和cj；
(6)计算两个样本类间的欧式距离，记为dij；
(7)分别计算两个样本类的最小超球体半径，分别记为Ri和Rj；
(8)使用公式计算两个样本类间的相对距离，记为Dij；
所述第i类的样本中心计算方法为：
其中X为包含k个类别的的样本集，Xi为第i类的训练样本集，i＝1,2,…,k，ni是第i类的样本数量，x为训练样本Xi中的特征向量。
所述类间欧式距离计算方法为：
dij＝‖ci-cj‖
其中ci，cj分别为类i和类j的样本中心。或者表示为
其中为样本类i中所有训练样本特征向量的第p个特征量的均值，其中为样本类j中所有训练样本特征向量的第p个特征量的均值,l为特征向量中包含特征量的个数。
所述第i类的最小超球体半径计算方法为：
其中X为包含k个类别的的样本集，Xi为第i类的训练样本集，其中ci为类i的样本中心。
其中，所述标准动作数据通过以下步骤获取：
对应用领域中已知的标准人体动作，进行滤波去噪、归一化处理和分段处理后，得到若干基本人体动作；
基于所述基本人体动作，计算人体各肢体的四元数数据；
基于人体关节的相邻两个肢体的四元数数据，利用四元数方法解算出人体各关节的角度信息为所述标准动作数据。
进一步，所述动作识别模块包括：
预处理单元，用于对所述当前人体动作进行滤波去噪、归一化处理和分段处理，得到若干段动作数据；
特征向量单元，用于分别从所述若干段动作数据的时域、频域和时频域数据中提取第二特征向量；以及
识别单元，用于利用所述二叉树分类器网络对所述第二特征向量进行分类识别，确认所述当前人体动作为标准动作或非标准动作。
进一步，所述偏差比对模块包括：
四元数单元，用于基于所述非标准动作，计算所述非标准动作的若干段动作数据的四元数；
角度信息单元，用于利用四元数方法解算所述非标准动作的各关节的角度信息；以及
偏差信息单元，用于比较所述非标准动作的各关节的角度信息与对应关节的标准动作数据，得到所述非标准动作的各关节的角度偏差信息。
具体的，所述第一特征向量包括：
从时域数据中解算出的特征值，包括：从所述基本人体动作的九轴姿态信号中计算得到的算数和、峰峰值、过零值、均值、均方差、能量、两轴间相关系数、偏度以及峰度信息；
从频域数据中解算出的特征值，包括：对所述基本人体动作的九轴姿态信号进行傅里叶变换后得到的傅里叶系数、能谱密度和频域熵；
从时频域数据中解算出的特征值，包括：对所述基本人体动作的九轴姿态信号进行小波变换后提取的不同方向上的小波能量比。
具体的，所述第二特征向量包括：
从时域数据中解算出的特征值，包括：从所述若干段动作数据的九轴姿态信号中计算得到的算数和、峰峰值、过零值、均值、均方差、能量、两轴间相关系数、偏度以及峰度信息；
从频域数据中解算出的特征值，包括：对所述若干段动作数据的九轴姿态信号进行傅里叶变换后得到的傅里叶系数、能谱密度和频域熵；
从时频域数据中解算出的特征值，包括：对所述若干段动作数据的九轴姿态信号进行小波变换后提取的不同方向上的小波能量比。
本发明采用以模式识别技术中的支持向量机(SVM)分类器为核心的混合模式模式识别分类器网络。将采集的人体动作作为一个动作序列，对所述动作序列进行分段，每段为一个基本动作类别；使用训练好的所述混合模式分类器网络来识别每小段的动作类别，再与标准动作类别序列进行比对，类别相同判定所述人体动作为标准，类别不同判定人体动作为错误；再针对判定为错误的人体动作，使用四元数方法，融合解算出人体关节角度，与对应次序的标准动作段中的各关节角度进行比较，得到具体各个动作关节角度的偏差值，最终完成对采集到的人体动作姿态和标准的动作姿态高效、全面的比对。本发明所述方法精度高，量化的偏差结果能更好的对人体动作姿态进行矫偏指导和评价，具有良好的有益效果。
最后，本发明的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种人体动作比对方法，其特征在于，包括：
S1，基于可穿戴传感器采集到的当前人体动作，利用二叉树分类器网络进行识别，确认所述当前人体动作为标准动作或非标准动作；
S2，当确认为非标准动作时，将所述非标准动作与所述非标准动作对应的标准动作数据进行比对，获得所述非标准动作的各关节角度的偏差信息。
2.如权利要求1所述的方法，其特征在于，所述S1中所述二叉树分类器网络通过以下步骤获取：
采集应用领域中已知的标准人体动作，进行滤波去噪和归一化处理；
将处理后的所述标准人体动作进行分段处理，获得若干段动作数据，其中每一段动作数据为一个基本人体动作；
基于每一个基本人体动作，分别从所述基本人体动作的时域、频域和时频域数据中提取第一特征向量；
基于所述第一特征向量，根据样本类间的相对距离，构建所述二叉树分类器网络BT-SVM-NN，所述二叉树分类器网络的每个网络节点为一个与网络分类结构需求对应的二分类支持向量机和最近邻混合分类器SVM-NN。
3.如权利要求1所述的方法，其特征在于，所述S1进一步包括：
S1.1，对可穿戴传感器采集到的所述当前人体动作进行滤波去噪、归一化处理和分段处理，得到若干段动作数据；
S1.2，分别从所述若干段动作数据的时域、频域和时频域数据中提取第二特征向量；
S1.3，利用所述二叉树分类器网络对所述第二特征向量进行分类识别，确认所述当前人体动作为标准动作或非标准动作。
4.如权利要求1所述的方法，其特征在于，所述S2所述标准动作数据通过以下步骤获取：
对应用领域中已知的标准人体动作，进行滤波去噪、归一化处理和分段处理后，得到若干基本人体动作；
基于所述基本人体动作，计算人体各肢体的四元数数据；
基于人体关节的相邻两个肢体的四元数数据，利用四元数方法解算出人体各关节的角度信息为所述标准动作数据。
5.如权利要求1所述的方法，其特征在于，所述S2进一步包括：
S2.1，基于所述非标准动作，计算所述非标准动作的若干段动作数据的四元数；
S2.2，利用四元数方法解算所述非标准动作的各关节的角度信息；
S2.3，比较所述非标准动作的各关节的角度信息与对应关节的标准动作数据，得到所述非标准动作的各关节的角度偏差信息。
6.如权利要求2所述的方法，其特征在于，所述基于所述第一特征向量，构建所述二叉树分类器网络之前还包括：-
对所述第一特征向量进行主要成分分析，提取独立不重复的特征值，以构成新的第一特征向量。
7.如权利要求2所述的方法，其特征在于，所述构建所述二叉树分类器网络BT-SVM-NN包括：
根据样本类间的相对距离，构建出最优的不完全二叉树结构；
基于所述不完全二叉树结构，为每个非叶子节点构建并训练相应的二分类SVM-NN混合模式分类器，以将各个父节点中的所有类别，划分到其两个孩子节点中，直到孩子节点为叶子节点，且只包含一个基本动作类别。
8.如权利要求2所述的方法，其特征在于，所述第一特征向量包括：
从时域数据中解算出的特征值，包括：从所述基本人体动作的九轴姿态信号中计算得到的算数和、峰峰值、过零值、均值、均方差、能量、两轴间相关系数、偏度以及峰度信息；
从频域数据中解算出的特征值，包括：对所述基本人体动作的九轴姿态信号进行傅里叶变换后得到的傅里叶系数、能谱密度和频域熵；
从时频域数据中解算出的特征值，包括：对所述基本人体动作的九轴姿态信号进行小波变换后提取的不同方向上的小波能量比。
9.如权利要求3所述的方法，其特征在于，所述第二特征向量包括：
从时域数据中解算出的特征值，包括：从所述若干段动作数据的九轴姿态信号中计算得到的算数和、峰峰值、过零值、均值、均方差、能量、两轴间相关系数、偏度以及峰度信息；
从频域数据中解算出的特征值，包括：对所述若干段动作数据的九轴姿态信号进行傅里叶变换后得到的傅里叶系数、能谱密度和频域熵；
从时频域数据中解算出的特征值，包括：对所述若干段动作数据的九轴姿态信号进行小波变换后提取的不同方向上的小波能量比。
10.一种人体动作比对装置，其特征在于，包括：
动作识别模块，用于基于可穿戴传感器采集到的当前人体动作，利用二叉树分类器网络进行识别，确认所述当前人体动作为标准动作或非标准动作；以及
偏差比对模块，用于当确认为非标准动作时，将所述非标准动作与所述非标准动作对应的标准动作数据进行比对，获得所述非标准动作的各关节角度的偏差信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710313793.6A CN107122752B (zh) | 2017-05-05 | 2017-05-05 | 一种人体动作比对方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710313793.6A CN107122752B (zh) | 2017-05-05 | 2017-05-05 | 一种人体动作比对方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107122752A true CN107122752A (zh) | 2017-09-01 |
| CN107122752B CN107122752B (zh) | 2020-06-26 |
Family
ID=59727813
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710313793.6A Active CN107122752B (zh) | 2017-05-05 | 2017-05-05 | 一种人体动作比对方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107122752B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107371009A (zh) * | 2017-06-07 | 2017-11-21 | 东南大学 | 一种人体动作增强可视化方法及人体动作增强现实系统 |
| CN107748619A (zh) * | 2017-10-30 | 2018-03-02 | 南京布塔信息科技有限公司 | 一种基于动作捕捉技术的运动分析系统及方法 |
| CN108009480A (zh) * | 2017-11-22 | 2018-05-08 | 南京亚兴为信息技术有限公司 | 一种基于特征识别的图像人体行为检测方法 |
| CN108205654A (zh) * | 2017-09-30 | 2018-06-26 | 北京市商汤科技开发有限公司 | 一种基于视频的动作检测方法及装置 |
| CN108284444A (zh) * | 2018-01-25 | 2018-07-17 | 南京工业大学 | 人机协作下基于Tc-ProMps算法的多模式人体动作预测方法 |
| CN109241909A (zh) * | 2018-09-06 | 2019-01-18 | 闫维新 | 一种基于智能终端的远程舞蹈动作捕捉评测系统 |
| CN109344790A (zh) * | 2018-10-16 | 2019-02-15 | 浩云科技股份有限公司 | 一种基于姿态分析的人体行为分析方法及系统 |
| CN109635925A (zh) * | 2018-11-30 | 2019-04-16 | 北京首钢自动化信息技术有限公司 | 一种运动员辅助训练数据获取方法、装置及电子设备 |
| CN110245718A (zh) * | 2019-06-21 | 2019-09-17 | 南京信息工程大学 | 一种基于联合时域频域特征的人体行为识别方法 |
| CN112016430A (zh) * | 2020-08-24 | 2020-12-01 | 郑州轻工业大学 | 一种面向多手机佩戴位置的层次化动作识别方法 |
| CN112906438A (zh) * | 2019-12-04 | 2021-06-04 | 内蒙古科技大学 | 人体动作行为的预测方法以及计算机设备 |
| CN113033501A (zh) * | 2021-05-06 | 2021-06-25 | 泽恩科技有限公司 | 一种基于关节四元数的人体分类方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102000430A (zh) * | 2009-09-01 | 2011-04-06 | 深圳泰山在线科技有限公司 | 一种基于计算机的舞蹈动作判定方法 |
| CN104268577A (zh) * | 2014-06-27 | 2015-01-07 | 大连理工大学 | 一种基于惯性传感器的人体行为识别方法 |
| US20160055387A1 (en) * | 2005-11-11 | 2016-02-25 | Eyelock Llc | Methods for performing biometric recognition of a human eye and corroboration of same |
| CN105635669A (zh) * | 2015-12-25 | 2016-06-01 | 北京迪生数字娱乐科技股份有限公司 | 基于三维运动捕捉数据与实拍视频的动作对比系统及方法 |
| CN106227368A (zh) * | 2016-08-03 | 2016-12-14 | 北京工业大学 | 一种人体关节角度解算方法及装置 |
| CN106419930A (zh) * | 2016-11-30 | 2017-02-22 | 深圳市酷浪云计算有限公司 | 运动健康管理平台及运动智能装备 |
| CN106512369A (zh) * | 2016-11-02 | 2017-03-22 | 王华勤 | 一种仰卧起坐测试仪 |
-
2017
- 2017-05-05 CN CN201710313793.6A patent/CN107122752B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160055387A1 (en) * | 2005-11-11 | 2016-02-25 | Eyelock Llc | Methods for performing biometric recognition of a human eye and corroboration of same |
| CN102000430A (zh) * | 2009-09-01 | 2011-04-06 | 深圳泰山在线科技有限公司 | 一种基于计算机的舞蹈动作判定方法 |
| CN104268577A (zh) * | 2014-06-27 | 2015-01-07 | 大连理工大学 | 一种基于惯性传感器的人体行为识别方法 |
| CN105635669A (zh) * | 2015-12-25 | 2016-06-01 | 北京迪生数字娱乐科技股份有限公司 | 基于三维运动捕捉数据与实拍视频的动作对比系统及方法 |
| CN106227368A (zh) * | 2016-08-03 | 2016-12-14 | 北京工业大学 | 一种人体关节角度解算方法及装置 |
| CN106512369A (zh) * | 2016-11-02 | 2017-03-22 | 王华勤 | 一种仰卧起坐测试仪 |
| CN106419930A (zh) * | 2016-11-30 | 2017-02-22 | 深圳市酷浪云计算有限公司 | 运动健康管理平台及运动智能装备 |
Non-Patent Citations (1)
| Title |
|---|
| 李昕迪: "基于Kinect的人体姿势识别方法在舞蹈训练中的应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107371009A (zh) * | 2017-06-07 | 2017-11-21 | 东南大学 | 一种人体动作增强可视化方法及人体动作增强现实系统 |
| CN108205654A (zh) * | 2017-09-30 | 2018-06-26 | 北京市商汤科技开发有限公司 | 一种基于视频的动作检测方法及装置 |
| CN107748619A (zh) * | 2017-10-30 | 2018-03-02 | 南京布塔信息科技有限公司 | 一种基于动作捕捉技术的运动分析系统及方法 |
| CN108009480A (zh) * | 2017-11-22 | 2018-05-08 | 南京亚兴为信息技术有限公司 | 一种基于特征识别的图像人体行为检测方法 |
| CN108284444B (zh) * | 2018-01-25 | 2021-05-11 | 南京工业大学 | 人机协作下基于Tc-ProMps算法的多模式人体动作预测方法 |
| CN108284444A (zh) * | 2018-01-25 | 2018-07-17 | 南京工业大学 | 人机协作下基于Tc-ProMps算法的多模式人体动作预测方法 |
| CN109241909A (zh) * | 2018-09-06 | 2019-01-18 | 闫维新 | 一种基于智能终端的远程舞蹈动作捕捉评测系统 |
| CN109344790A (zh) * | 2018-10-16 | 2019-02-15 | 浩云科技股份有限公司 | 一种基于姿态分析的人体行为分析方法及系统 |
| CN109635925A (zh) * | 2018-11-30 | 2019-04-16 | 北京首钢自动化信息技术有限公司 | 一种运动员辅助训练数据获取方法、装置及电子设备 |
| CN110245718A (zh) * | 2019-06-21 | 2019-09-17 | 南京信息工程大学 | 一种基于联合时域频域特征的人体行为识别方法 |
| CN112906438A (zh) * | 2019-12-04 | 2021-06-04 | 内蒙古科技大学 | 人体动作行为的预测方法以及计算机设备 |
| CN112906438B (zh) * | 2019-12-04 | 2023-05-02 | 内蒙古科技大学 | 人体动作行为的预测方法以及计算机设备 |
| CN112016430A (zh) * | 2020-08-24 | 2020-12-01 | 郑州轻工业大学 | 一种面向多手机佩戴位置的层次化动作识别方法 |
| CN112016430B (zh) * | 2020-08-24 | 2022-10-11 | 郑州轻工业大学 | 一种面向多手机佩戴位置的层次化动作识别方法 |
| CN113033501A (zh) * | 2021-05-06 | 2021-06-25 | 泽恩科技有限公司 | 一种基于关节四元数的人体分类方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107122752B (zh) | 2020-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107122752B (zh) | 一种人体动作比对方法及装置 | |
| CN106682598B (zh) | 一种基于级联回归的多姿态的人脸特征点检测方法 | |
| Zhu et al. | Evaluating spatiotemporal interest point features for depth-based action recognition | |
| US9639746B2 (en) | Systems and methods of detecting body movements using globally generated multi-dimensional gesture data | |
| CN110659665B (zh) | 一种异维特征的模型构建方法及图像识别方法、装置 | |
| CN104616316B (zh) | 基于阈值矩阵和特征融合视觉单词的人物行为识别方法 | |
| CN103218609B (zh) | 一种基于隐最小二乘回归的多姿态人脸识别方法及其装置 | |
| CN102938070B (zh) | 一种基于动作子空间与权重化行为识别模型的行为识别方法 | |
| Shen et al. | Wireless capsule endoscopy video segmentation using an unsupervised learning approach based on probabilistic latent semantic analysis with scale invariant features | |
| Kovač et al. | Frame–based classification for cross-speed gait recognition | |
| Khan et al. | Facial expression recognition on real world face images using intelligent techniques: A survey | |
| CN111460976B (zh) | 一种数据驱动的基于rgb视频的实时手部动作评估方法 | |
| CN110555463B (zh) | 一种基于步态特征的身份识别方法 | |
| De Smedt | Dynamic hand gesture recognition-From traditional handcrafted to recent deep learning approaches | |
| Liu et al. | LDS-FCM: A linear dynamical system based fuzzy C-means method for tactile recognition | |
| Hachaj et al. | Effectiveness comparison of Kinect and Kinect 2 for recognition of Oyama karate techniques | |
| CN110516638B (zh) | 一种基于轨迹和随机森林的手语识别方法 | |
| Kumar et al. | Early estimation model for 3D-discrete indian sign language recognition using graph matching | |
| Mohammadzade et al. | Sparseness embedding in bending of space and time; a case study on unsupervised 3D action recognition | |
| Chen et al. | A fusion recognition method based on multifeature hidden markov model for dynamic hand gesture | |
| Shan et al. | Learning skeleton stream patterns with slow feature analysis for action recognition | |
| CN112084852B (zh) | 一种基于数据融合的人体轨迹相似行为识别方法 | |
| CN115205961A (zh) | 一种羽毛球动作识别方法、装置、电子设备及存储介质 | |
| Oliveira | Handshape recognition using principal component analysis and convolutional neural networks applied to sign language | |
| Farouk | Principal component pyramids using image blurring for nonlinearity reduction in hand shape recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |