CN104598867A - 一种人体动作自动评估方法及舞蹈评分系统 - Google Patents

Abstract

本发明公开了一种人体动作自动评估方法及舞蹈评分系统。该方法包括基于深度数据选取人体骨骼节点和人体轮廓节点；基于人体骨骼节点构建人体肢体向量，计算人体肢体向量与对应的模板肢体向量之间的空间夹角，将其加权归一，计算累积误差作为基于人体骨骼节点分析的差异度；基于人体轮廓节点构建人体轮廓向量，计算人体相邻两轮廓向量的空间夹角，利用其与模板轮廓向量的空间夹角之间的差异值构建能量函数，采用图割方法求得能量函数的最小值作为基于人体轮廓节点分析的差异度；将基于人体骨骼节点和人体轮廓节点分析的差异度加权求和作为衡量人体动作与模板动作匹配程度的评估参数，以实现人体动作的自动评估。

Description

一种人体动作自动评估方法及舞蹈评分系统

技术领域

本发明涉及图像处理与计算机视觉领域的运动分析技术，特别是关于一种基于深度数据的人体动作自动评估方法及舞蹈评分系统。

背景技术

在智能舞蹈教学、体育视频分析和康复训练等应用领域，人体动作自动评估方法有着广泛的应用前景。相对于传统的、人工判断为主的人体动作评估方法，人体动作自动评估方法不会受人为主观因素的影响，能够基于计算机和预设的分析方法智能地评估捕捉的人体动作与规定的模板动作之间的差异程度。现有技术中，人体动作自动评估方法多是基于二维的图形序列推算人体骨骼，比较用户动作与模板动作的匹配程度，该方法由于缺少深度信息导致评估结果的准确度偏低。近几年随着RGB-D摄像头的普及，也有提出基于深度数据推算人体骨骼节点的人体动作分析方法。该方法基于深度数据推算人体骨骼节点时常采用拟合等方法对人体骨骼节点进行二次估计，由于深度数据存在噪声会导致估计结果产生一定的误差，尤其是对于描述细微动作的人体肢体末端节点常会出现估计结果不准确的情况，从而使得评估结果的准确度偏低。而基于人体轮廓信息的人体动作分析方法在评估人体的腰部等细微动作时虽然准确度较高，但是在前期提取人体轮廓节点时容易受人体着装的干扰。

因此，针对上述现有的人体动作自动评估方法的不足，亟需一种准确度更高的人体动作自动评估方法及舞蹈评分系统。

发明内容

针对上述问题，本发明提出了一种能够对人体整体动作和细致动作进行全面准确评估的人体动作自动评估方法及舞蹈评分系统。

本发明提出的人体动作自动评估方法包括以下步骤：

S100、基于深度数据选取人体骨骼节点和人体轮廓节点；

S200、基于人体骨骼节点分析计算人体动作差异度；

S300、基于人体轮廓节点分析计算人体动作差异度；

S400，将基于人体骨骼节点和人体轮廓节点分析计算的人体动作差异度加权求和，其结果作为衡量人体动作与模板动作匹配程度的评估参数。

具体地，上述步骤S100中，基于深度数据建立人体分割图像，在人体分割图像中选取人体骨骼节点和人体轮廓节点，所述人体轮廓节点包括胯下轮廓节点，其选取方法如下：

将左臀骨骼节点与左膝骨骼节点连线，取线段四分之一处为A点，将右臀骨骼节点与右膝骨骼节点连线，取线段四分之一处为B点，分别过A、B两点做平行于竖直轴的直线，选取两条直线之间的轮廓线上距离腰骨骼节点最近的点作为胯下轮廓节点。

具体地，上述步骤S200包括以下步骤：

S201、基于人体骨骼节点构建人体肢体向量；

S202、计算人体肢体向量与对应的模板肢体向量之间的空间夹角；

S203、将空间夹角加权归一，计算人体肢体向量与对应的模板肢体向量之间的空间夹角累积误差，作为基于人体骨骼节点分析的人体动作差异度。

且进一步地，上述步骤S203可以按照下式计算人体肢体向量与对应的模板肢体向量之间的空间夹角累积误差：

Metric=SD+AngDiff₁×f₁+AngDiff₂×f₂+AngDiff_U×f_U+AngDiffL×f_L

$\begin{array}{cc}{f}_U=\frac{\mathrm{AngDif}{f}_U^{\text{'}}}{{\mathrm{AngDiff}}_U^{\text{'}}+{\mathrm{AngDiff}}_L^{\text{'}}}& f_L=\frac{{\mathrm{AngDiff}}_L^{\text{'}}}{{\mathrm{AngDiff}}_U^{\text{'}}+{\mathrm{AngDiff}}_L^{\text{'}}}\end{array}$

$\begin{array}{cc}{f}_1=\frac{\mathrm{AngDif}{f}_1^{\text{'}}}{{\mathrm{AngDiff}}_1^{\text{'}}+{\mathrm{AngDiff}}_2^{\text{'}}}& f_2=\frac{{\mathrm{AngDiff}}_2^{\text{'}}}{{\mathrm{AngDiff}}_1^{\text{'}}+{\mathrm{AngDiff}}_2^{\text{'}}}\end{array}$

上式中，Metric是人体肢体向量与对应的模板肢体向量之间的空间夹角累积误差，SD是肢体向量空间夹角的标准差，AngDiff_U、AngDiff_L、AngDiff₁、AngDiff₂分别表示同一动作一个实验样本中上肢相关的、下肢相关的、一级节点相关的、二级节点相关的肢体向量空间夹角的累积和，f_U、f_L、f₁、f₂分别表示上肢相关的、下肢相关的、一级节点相关的、二级节点相关的肢体向量在差异性表达中所占的权重，AngDiff'_U、AngDiff'_L、AngDiff₁'、AngDiff₂'分别表示多组实验样本集中所有上肢相关的、下肢相关的、一级节点相关的、二级节点相关的肢体向量空间夹角的累积和。

具体地，上述步骤S300包括以下步骤：

S301、基于人体轮廓节点构建人体轮廓向量；

S302、计算人体相邻两轮廓向量之间的空间夹角；

S303、计算人体每一个轮廓向量空间夹角与模板所有轮廓向量空间夹角之间的差异值；

S304、基于差异值构造能量函数，求取能量函数的最小值作为基于人体轮廓节点分析的人体动作差异度。

且进一步地，上述步骤S304中，按照下式构造能量函数E(d)：

$E\left(d\right)=\underset{s=1}{\overset{j}{\mathrm{\Σ}}}{[k_1\left(s\right)-k_2(s-d\left(s\right))]}^2+\mathrm{\α}\left|d\left(s\right)\right|$

上式中，s为轮廓向量空间夹角的序号，k₁(s)为模板数据中序号s对应的轮廓向量空间夹角，d(s)表示对于序号s的待匹配人体数据中的偏移量，k₂(s-d(s))为经过偏移变换后待匹配人体数据中的轮廓向量空间夹角，α为平滑系数，j为轮廓向量空间夹角的个数。

且进一步地，上述步骤S304中，采用图割方法求取能量函数的最小值。

具体地，上述步骤S400中，当人体动作存在自身遮挡时，将基于人体轮廓节点分析计算的差异度的权重系数设置为零。

且进一步地，判断人体动作是否存在自身遮挡的方法包括以下步骤：

S401、对人体分割图像查找边缘，找出深度数据大于给定阈值的深度突变像素；

S402、检查深度突变像素坐标，判断深度突变像素是否是人体图像像素：

若是，人体动作存在自身遮挡。

此外，本发明还提供一种舞蹈评分系统，其特征在于，包括：

显示装置，用于播放视频模板动作；

体感设备，用于实时捕捉人体动作；

控制装置，其内预置有上述人体动作自动评估方法，以评估所述体感设备捕捉的人体动作与所述显示装置播放的模板动作的匹配程度，并给出相应的评分结果。

与现有技术相比，本发明具有以下优点：

1、通过引入深度数据完善了三维信息，实现了人体动作的三维匹配。对基于深度数据的骨骼三维信息的描述和匹配方式具有较强的鲁棒性，简化了人体动作与模板动作差异度的计算方法。

2、在基于人体轮廓节点的匹配分析中引入了新图形的构造，较为鲁棒的抽象了人体动作，便利地提取了人体动作描述符，且回避了大量的噪声和重复信息。此外，利用图割方法最小化能量函数，能够快速便捷地求得人体动作与模板动作的差异度。

3、自动地对上述两种匹配方式加权求和增强了人体动作评估的准确度。

与现有的技术相比，本发明带来了以下有益效果：

1、实时地评估人体动作与模板动作的准确性，增加了人体动作打分评估的智能性和效率，为人工的评估方式提供了辅助的技术支持。

2、通过深度数据获取三维的人体骨骼节点信息和人体轮廓节点信息，也即获取人体数据，基于人体骨骼节点信息和人体轮廓节点信息分别计算人体动作差异度，将两种方法求得的差异度进行权重求和，可以对人体整体动作和细致动作进行全面评估，提高了动作比对结果的精确度，也进一步增强了本发明提供的舞蹈评分系统的可用性和适用范围。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明人体动作自动评估方法的流程图；

图2是本发明选取的人体轮廓节点的示意图；

图3是本发明胯下人体轮廓节点的选取方法示意图；

图4是图1所示步骤中基于人体骨骼节点计算差异度的方法流程图；

图5是图1所示步骤中基于人体骨骼节点构建肢体向量的示意图；

图6是图1所示步骤中基于人体轮廓节点计算差异度的方法流程图；

图7是本发明的舞蹈评分系统应用实例的效果截图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

如图1所示，是本发明提出的人体动作自动评估方法的流程图，其包括以下步骤：

S100、获取深度数据并基于深度数据建立人体分割图像，选取人体骨骼节点和人体轮廓节点；

S200、基于人体骨骼节点构建人体肢体向量，计算人体肢体向量与对应的模板肢体向量之间的空间夹角累积误差，作为基于人体骨骼节点分析的人体动作差异度；

S300、基于人体轮廓节点构建人体轮廓向量，求取人体相邻两轮廓向量的空间夹角，利用其与模板轮廓向量的空间夹角之间的差异值构建能量函数，求取能量函数的最小值，作为基于人体轮廓节点分析的人体动作差异度；

S400、将上述基于人体骨骼节点和人体轮廓节点分析的人体动作差异度加权求和，作为衡量人体动作与模板动作匹配程度的评估参数。

上述方法主要是针对现有技术中人体动作评估方法的不足，提出了基于人体骨骼节点和基于人体轮廓节点相结合的分析策略进行人体动作自动评估，从而对人体的整体动作和细微动作进行更为全面地评估，且评估结果更加准确和客观。

下面通过一具体实施例，对本发明提出的方法做进一步详细的介绍。

在上述步骤S100中，可以采用RGB-D设备获取深度数据，确保设备视野范围内包含人体全部，然后将采集到的深度数据转换为一定分辨率的深度图像，基于该深度图像建立人体分割图像，本发明的实施例中，人体分割图像是指将背景图像和人体图像分离后的图像。

在人体分割图像中通过拟合确定分析人体动作用的人体骨骼节点。在本实施例中，优选以下二十个骨骼节点：头、颈、左肩、左肘、左腕、左手、右肩、右肘、右腕、右手、脊椎、腰、左臀、左膝、左踝、左脚、右臀、右膝、右踝、右脚。这些骨骼节点按照人体运动方式对动作的影响程度可以大致分为以下几类：

躯干节点：脊椎、腰、左肩、右肩、左臀、右臀、颈共七个节点。通过观察可以得知，躯干节点通常表现出强烈的自主运动趋势且很少呈现出高独立性的运动，因此可以把人体躯干视为运动惰性较大的刚体，在整体图像配准的相似性衡量中不考虑躯干节点的运动。

一级节点：直接与躯干相连的头，左肘、右肘、左膝、右膝。一级节点少量的运动偏差就能造成视觉上较大的差异。

二级节点：与一级节点相连的左腕、右腕、左踝、右踝。二级节点相较于一级节点离人体躯干更远，运动趋势仅受一级节点影响，很容易在空间中进行自由旋转，因此运动幅度较大，但是在视觉上对角度偏差的容忍度较高。

末端节点：左手、右手、左脚、右脚。末端节点距离二级节点非常短，且灵活度较高，在跟踪成像时易受噪声干扰造成定位不准，因此本实施例中忽略末端节点对人体动作的影响。

在人体分割图像中选取人体轮廓节点。首先在人体分割图像中提取人体轮廓线，然后将轮廓线转化为序列点的表示形式，从中选取分析人体动作用的人体轮廓节点。如图2所示，根据人体肢体动作的特性，本实施例优选以下方式选取人体左腋下、左肘、左腕、左臀、左膝、左踝、胯下，右踝、右膝、右臀、右腕、右肘、右腋下共十三个轮廓节点：

左腋下轮廓节点的选取方式为，过左肩骨骼节点处画一条平行于X轴的直线，寻找在直线下方的轮廓线上距离左肩骨骼节点最近的序列点，作为左腋下轮廓节点。右腋下轮廓节点同理。

右肘轮廓节点的选取方式为，过右肘骨骼节点处画一条平行于Y轴的直线，寻找直线右侧轮廓线上距离右肘骨骼节点最近的序列点，作为右肘轮廓节点。右腕、右臀、右膝、右踝同理。

左肘轮廓节点的选取方式为，过左肘骨骼节点处画一条平行于Y轴的直线，寻找直线左侧轮廓线上距离左肘骨骼节点最近的序列点，作为左肘轮廓节点。左腕、左臀、左膝、左踝同理。

胯下轮廓节点的选取方式如图3所示，将左臀骨骼节点与左膝骨骼节点连线，取线段上四分之一处为A点，将右臀骨骼节点与右膝骨骼节点连线，取线段上四分之一处为B点，分别过A、B点做平行于竖直轴的直线，在这两条直线之间的轮廓线上寻找距离腰骨骼节点O最近的序列点P，作为胯下轮廓节点。

如图4所示，是图1所示步骤S200的基于人体骨骼节点分析计算人体动作差异度的方法流程图，其包括以下步骤：

S201、基于人体骨骼节点构建人体肢体向量，作为人体动作数据的描述符：

由于人体骨骼节点的坐标不具有相对性和方向性，因此本发明采用肢体向量来代替人体骨骼节点作为骨骼数据的描述符。一方面，肢体向量具有方向性，其空间位置可以借助骨骼节点的三维坐标表示，另一方面，肢体向量与人体肢体相对应，用肢体向量的运动能够描述人体肢体的运动，大大减少数据的数量和降低计算的复杂度。此外，从人体的运动方式可知，人体头部和躯干的运动对于人体动作的影响程度较小，而人体肢体的运动对于人体动作的影响程度较大，因此本发明在采用肢体向量描述人体运动时，采用了一定的简化措施。如图5所示，在本例实施中，选取人体腕关节、肘关节、肩关节、臀关节、膝关节、踝关节左右共12个骨骼节点作为肢体向量的构成点，以高级骨骼节点指向低级骨骼节点作为肢体向量的方向，也即由躯干节点指向一级节点，由一级节点指向二级节点。

S202、按照下式计算人体肢体向量与对应的模板肢体向量之间的空间夹角，以衡量实时采集的人体骨骼数据与系统预设的模板骨骼数据中对应点之间的匹配程度。

$\cos \mathrm{\θ}=\frac{\stackrel{\→}{a_1}\•\stackrel{\→}{a_2}}{\left|\stackrel{\→}{a_1}\right|\•\left|\stackrel{\→}{a_2}\right|}=\frac{x_1\•x_2+y_1\•y_2+z_1\•z_2}{\sqrt{{x_1}^2+{y_1}^2+{z_1}^2}+\sqrt{{x_2}^2+{y_2}^2+{z_2}^2}}$

上式中，θ是人体肢体向量与对应的模板肢体向量之间的空间夹角（也称肢体向量空间夹角），其值越小表明人体肢体向量与对应的模板肢体向量越匹配，因此在基于人体骨骼节点的分析方法中用于衡量人体动作与模板动作的匹配程度。分别表示人体肢体向量和模板肢体向量。x₁，y₁，z₁与x₂，y₂，z₂分别为的三维坐标。人体肢体向量的三维坐标由人体骨骼节点的三维坐标决定，人体骨骼节点的三维坐标基于步骤S100获得的深度数据而确定。在本实施例中，优选人体腰骨骼节点为原点，水平方向为X轴，竖直方向为Y轴建立空间直角坐标系，人体骨骼节点和肢体向量的三维坐标均为该空间直角坐标系中的直角坐标，为同一数量级。

由前述可知，人体运动时，不同类型的骨骼节点处的动作差异给人的主观感觉不同，因此本发明通过大量的数据对比与实践经验，分别给一级节点相关的肢体向量、二级节点相关的肢体向量、人体上部的肢体向量和人体下部的肢体向量在差异性表达中赋予不同的权重。具体设置可以如下：

在本实施例中，二级节点相较于一级节点距离躯干较远，运动幅度只受一级节点的影响，在运动时较易控制，因此二级节点相关的肢体向量（图5所示肢体向量4、5、6、7）在动作匹配的难度考量中所占比重较少，而一级节点距离躯干较近，受躯干运动惯性的影响，同时也受二级节点运动幅度的影响，因此一级节点相关的肢体向量（图5所示肢体向量0、1、2、3）在动作匹配的难度考量中所占比重较多。同时，还需要考虑可能出现局部空间夹角过大的情况，为了使同一动作每个人体肢体向量与对应的模板肢体向量间的空间夹角尽可能平均，在本实施例中，还将同一动作每个人体肢体向量与对应的模板肢体向量间的空间夹角的标准差也作为衡量动作匹配程度的考量因子。此外，本实施例优选对上肢相关的肢体向量（图5所示肢体向量0、1、4、5）的差异数据赋予较小的权重，对下肢相关的（图5所示肢体向量2、3、6、7）的差异数据赋予较大的权重，以平衡视觉感受。

S203、将空间夹角加权归一，按照下式计算人体肢体向量与对应的模板肢体向量之间的空间夹角累积误差，作为基于人体骨骼节点分析的人体动作差异度：

Metric=SD+AngDiff₁×f₁+AngDiff₂×f₂+AngDiff_U×f_U+AngDiff_L×f_L

上式中，Metric是人体肢体向量与对应的模板肢体向量之间的空间夹角累积误差，SD是肢体向量空间夹角的标准差。AngDiff_U、AngDiff_L、AngDiff₁、AngDiff₂分别表示同一动作一个实验样本中上肢相关的、下肢相关的、一级节点相关的、二级节点相关的肢体向量空间夹角的累积和。在本实施例中，仅考虑了图5所示的八个肢体向量0～7，因此有：

${\mathrm{AngDiff}}_1=\mathrm{AngDiff}[{\∂}_0+{\∂}_1+{\∂}_2+{\∂}_3]$

${\mathrm{AngDiff}}_2=\mathrm{AngDiff}[{\∂}_4+{\∂}_5+{\∂}_6+{\∂}_7]$

${\mathrm{AngDiff}}_U=\mathrm{AngDiff}[{\∂}_0+{\∂}_1+{\∂}_4+{\∂}_5]$

${\mathrm{AngDiff}}_L=\mathrm{AngDiff}[{\∂}_2+{\∂}_3+{\∂}_6+{\∂}_7]$

其中，，i∈{0，1，...，7}是八个人体肢体向量与对应的模板肢体向量之间的空间夹角。

f_U、f_L、f₁、f₂分别表示上肢相关的、下肢相关的、一级节点相关的、二级节点相关的肢体向量在差异性表达中所占的权重，用于分别体现了上、下肢，一级节点和二级节点相关的肢体向量对人体动作的影响程度。

$\begin{array}{cc}{f}_U=\frac{\mathrm{AngDif}{f}_U^{\text{'}}}{{\mathrm{AngDiff}}_U^{\text{'}}+{\mathrm{AngDiff}}_L^{\text{'}}}& f_L=\frac{{\mathrm{AngDiff}}_L^{\text{'}}}{{\mathrm{AngDiff}}_U^{\text{'}}+{\mathrm{AngDiff}}_L^{\text{'}}}\end{array}$

$\begin{array}{cc}{f}_1=\frac{\mathrm{AngDif}{f}_1^{\text{'}}}{{\mathrm{AngDiff}}_1^{\text{'}}+{\mathrm{AngDiff}}_2^{\text{'}}}& f_2=\frac{{\mathrm{AngDiff}}_2^{\text{'}}}{{\mathrm{AngDiff}}_1^{\text{'}}+{\mathrm{AngDiff}}_2^{\text{'}}}\end{array}$

上式中，AngDiff'_U、AngDiff'_L、AngDiff₁'、AngDiff₂'分别表示多组实验样本集中所有上肢相关的、下肢相关的、一级节点相关的、二级节点相关的肢体向量空间夹角的累积和。这里一组实验样本由多个实验样本组成，一个实验样本具体是指假设预设的模板动作为A（如直立平伸双臂的动作），某时刻采集的与该模板动作A类似的人体动作为a，则模板动作A与人体动作a就构成模板动作A的一个实验样本。一组实验样本具体是指对于同一模板动作A，同一个人不同时刻的类似动作以及不同的人不同时刻的类似动作与模板动作一起构成一组实验样本。每个模板动作就有一组实验样本，多个不同的模板动作（如模板动作A、模板动作B和模板动作C等）就构建出多组实验样本集。

如图6所示，是图1所示步骤S300的基于人体轮廓节点分析计算人体动作差异度的方法流程图，其包括以下步骤：

S301、基于人体轮廓节点构建人体轮廓向量：

将人体轮廓节点依次首尾相连，两两连接以构建人体轮廓向量，在本实施例中，可以按照左腋下、左肘、左腕、左臀、左膝、左踝、胯下，右踝、右膝、右臀、右腕、右肘、右腋下的顺序首尾相连，组成十三个人体轮廓向量。

S302、按照下式计算人体相邻两轮廓向量之间的空间夹角，作为人体动作数据的描述符：

上式中，是人体相邻两轮廓向量之间的空间夹角（也称轮廓向量空间夹角），分别表示人体相邻的两轮廓向量，x₁，y₁，z₁与x₂，y₂，z₂此处分别是的三维坐标（与前面基于人体骨骼节点分析方法中步骤S202的公式定义不同）。人体轮廓向量的三维坐标由人体轮廓节点的三维坐标决定，人体轮廓节点的三维坐标基于步骤100获得的深度数据而确定。与人体骨骼节点的分析方法类似，在本实施例中，优选人体腰骨骼节点为原点，水平方向为X轴，竖直方向为Y轴建立空间直角坐标系，人体轮廓节点和轮廓向量的三维坐标均为该空间直角坐标系中的直角坐标，为同一数量级。

S303、计算人体每一轮廓向量空间夹角与模板所有轮廓向量空间夹角的差异值：

在本实施例中，步骤S302十三个人体轮廓向量获得十三个人体轮廓向量空间夹角，将第一个人体轮廓向量空间夹角分别减去模板的十三个轮廓向量空间夹角，再将第二个人体轮廓向量空间夹角分别减去模板的十三个轮廓向量空间夹角，依次类推，一共获得13×13个差异值。

S304、基于差异值构造能量函数，求取能量函数的最小值作为基于人体轮廓节点分析的人体动作差异度：

上述步骤S303获得的13×13个差异值作为矩阵元素，构成13×13的差异矩阵，由于矩阵元素的值可正可负，为了构造能量函数，将各矩阵元素平方处理，按照下式构建能量函数E(d)：

$E\left(d\right)=\underset{s=1}{\overset{j}{\mathrm{\Σ}}}{[k_1\left(s\right)-k_2(s-d\left(s\right))]}^2+\mathrm{\α}\left|d\left(s\right)\right|$

上式中，s是轮廓向量空间夹角的序号，k₁(s)为模板数据中序号s对应的轮廓向量空间夹角，d(s)表示对于序号s的待匹配人体数据中的偏移量。在实际应用中，模板数据中轮廓向量空间夹角可能与待匹配人体数据中轮廓向量空间夹角的顺序不一致，例如可能出现以下情况：模板数据中第一个空间夹角为左腋下空间夹角，而待匹配人体数据中第三个空间夹角为左腋下空间夹角，故而需要定义d(s)，表示对于模板数据中第s个空间夹角，在待匹配人体数据中需要对s偏移d(s)后，两者的轮廓向量空间夹角才能彼此对应，因此k₂(s-d(s))是经过偏移变换后待匹配人体数据中的轮廓向量空间夹角。α为平滑系数。j是轮廓向量空间夹角的个数，在本实施例中，其值为13。

然后，利用图割算法求取能量函数的最小值，作为基于人体轮廓节点分析的人体动作差异度。

S400、将上述基于人体骨骼节点和人体轮廓节点分析的人体动作差异度按照下式加权求和，其结果作为衡量人体动作与模板动作匹配程度的评估参数，其值越大，表明人体动作与模板动作相似度越低，其值越小，表明人体动作与模板动作相似度越高，从而实现人体动作全面准确的自动评估，达到本发明的技术效果。

D=a×D_skeleton+(1-a)×D_shape

上式中，D是衡量人体动作与模板动作匹配程度的评估参数，D_skeleton是基于人体骨骼节点分析的人体动作差异度，a为其权重系数，D_shape是基于人体轮廓节点分析的人体动作差异度，为归一化处理，令(1-a)为其权重系数。

在上述权重的设定过程中，需要进行大量的数据测试并结合人体主观感觉来确定权重系数a的值。且还可以进一步地根据具体要求对权重系数进行调整。例如，可以根据步骤s100中获得的深度数据和人体骨骼节点数据判断人体动作是否存在自身遮挡。当人体动作存在自身遮挡时，部分肢体轮廓丢失，此时就不能再采用与基于人体轮廓节点分析相结合的方法进行运算，需要强制性地将基于人体骨骼节点分析的人体动作差异度的权重系数置为1，只采用基于人体骨骼节点的分析方法进行运算，评估动作匹配程度。

上述判断人体动作是否存在自身遮挡的方法包括以下步骤：

S401、对人体分割图像查找边缘，找出深度突变像素：

对人体分割图像查找边缘，找出其中深度数据大于给定阈值的像素，认为其深度有突变，是深度突变像素；

S402、判断深度突变像素是否是人体图像像素：

检查深度突变像素坐标，若深度突变像素位于人体图像的范围，是人体图像像素，则表明人体部位存在深度突变，进而推断该人体动作存在自身遮挡。

本发明融合人体骨骼节点分析和人体轮廓节点分析的评估结果，自动地评估人体动作与模板动作之间的匹配程度，在一定程度上弥补了现有技术中仅基于人体骨骼节点分析或者人体轮廓节点分析进行动作比对的不足，能更好地实现人体动作的准确评估。

除了上述人体动作自动评估方法之外，本发明还提出了一种基于微软公司Kinect体感设备的舞蹈评分系统的实施例。该舞蹈评分系统包括：显示装置、语音装置、Kinect体感设备和控制装置。其具体功能如下：游戏开始前，向用户展示舞蹈模板动作；游戏开始时，播放音乐以供用户随着音乐节奏模仿模板动作，系统采集音乐的节奏点，并实时捕捉用户动作，与模板动作进行匹配，给出匹配结果，提示用户及时调整动作；游戏结束时，系统将用户所有动作的分数加权求和，得出一个总评分，作为用户舞蹈动作匹配程度的最终结果。该游戏采用三维模式显示。

在上述舞蹈评分系统中，控制装置中预设有用于评估用户动作与模板动作匹配程度的人体动作自动评估方法：首先通过Kinect获取深度信息获得人体分割图像，选取人体骨骼节点和人体轮廓节点；其次采用基于人体骨骼节点和基于人体轮廓节点的分析方法分别计算人体动作差异度；然后再采用人机交互的方式设置相应的权重；最后将基于人体骨骼节点和基于人体轮廓节点分析的人体动作差异度加权求和得到衡量人体动作与模板动作差异度的评估参数，并将其量化成分数显示。该舞蹈评分系统利用3D Studio Max建立三维舞蹈人物模型，采用用户数据报协议实现算法数据与显示平台Unity3D的数据传输，从而将实时采集的动作数据赋值到三维人物模型的肢体关节坐标中，最终在Unity3D平台完成了基于关键帧的舞蹈评分系统的三维显示。如图7所示，是本发明的舞蹈评分系统的一个应用实例的三维效果截图。其中，Template列为模板动作，Real-Time列为实时捕捉的人体动作，Score列为匹配分数，Invaild表明动作无效。可以看出，该系统较为准确地反映了人体动作与模板动作的相似程度，由动作差异度计算得到的评估分数符合视觉感官的客观判断，实验结果证明了本发明的有效性。

本领域的技术人员应该明白，上文中所记载的内容只是为了便于理解本发明而采用的具体实施方式，并非用于限定本发明。例如，步骤S200和步骤S300的顺序不分前后。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种人体动作自动评估方法，其包括以下步骤：

S100、基于深度数据选取人体骨骼节点和人体轮廓节点；

S200、基于人体骨骼节点分析计算人体动作差异度；

S300、基于人体轮廓节点分析计算人体动作差异度；

S400，将基于人体骨骼节点和人体轮廓节点分析计算的人体动作差异度加权求和，其结果作为衡量人体动作与模板动作匹配程度的评估参数。

2.如权利要求1所述的人体动作自动评估方法，其特征在于，所述步骤S100中，基于深度数据建立人体分割图像，在人体分割图像中选取人体骨骼节点和人体轮廓节点，所述人体轮廓节点包括胯下轮廓节点，其选取方法如下：

将左臀骨骼节点与左膝骨骼节点连线，取线段四分之一处为A点，将右臀骨骼节点与右膝骨骼节点连线，取线段四分之一处为B点，分别过A、B两点做平行于竖直轴的直线，选取两条直线之间的轮廓线上距离腰骨骼节点最近的点作为胯下轮廓节点。

3.如权利要求2所述的人体动作自动评估方法，其特征在于，所述步骤S200包括以下步骤：

S201、基于人体骨骼节点构建人体肢体向量；

S202、计算人体肢体向量与对应的模板肢体向量之间的空间夹角；

S203、将空间夹角加权归一，计算人体肢体向量与对应的模板肢体向量之间的空间夹角累积误差，作为基于人体骨骼节点分析的人体动作差异度。

4.如权利要求3所述的人体动作自动评估方法，其特征在于，所述步骤S203中，按照下式计算人体肢体向量与对应的模板肢体向量之间的空间夹角累积误差：

Metric=SD+AngDiff₁×f₁+AngDiff₂×f₂+AngDiff_U×f_U+AngDiff_L×f_L

$\begin{array}{cc}{f}_U=\frac{\mathrm{AngDif}{f}_U^{\text{'}}}{{\mathrm{AngDiff}}_U^{\text{'}}+{\mathrm{AngDiff}}_L^{\text{'}}}& f_L=\frac{{\mathrm{AngDiff}}_L^{\text{'}}}{{\mathrm{AngDiff}}_U^{\text{'}}+{\mathrm{AngDiff}}_L^{\text{'}}}\end{array}$

$\begin{array}{cc}{f}_1=\frac{\mathrm{AngDif}{f}_1^{\text{'}}}{{\mathrm{AngDiff}}_1^{\text{'}}+{\mathrm{AngDiff}}_2^{\text{'}}}& f_2=\frac{{\mathrm{AngDiff}}_2^{\text{'}}}{{\mathrm{AngDiff}}_1^{\text{'}}+{\mathrm{AngDiff}}_2^{\text{'}}}\end{array}$

上式中，Metric是人体肢体向量与对应的模板肢体向量之间的空间夹角累积误差，SD是肢体向量空间夹角的标准差，AngDiff_U、AngDiff_L、AngDiff₁、AngDiff₂分别表示同一动作一个实验样本中上肢相关的、下肢相关的、一级节点相关的、二级节点相关的肢体向量空间夹角的累积和，f_U、f_L、f₁、f₂分别表示上肢相关的、下肢相关的、一级节点相关的、二级节点相关的肢体向量在差异性表达中所占的权重，AngDiff'_U、AngDiff_L'、AngDiff₁'、AngDiff₂'分别表示多组实验样本集中所有上肢相关的、下肢相关的、一级节点相关的、二级节点相关的肢体向量空间夹角的累积和。

5.如权利要求1～4任意一项所述的人体动作自动评估方法，其特征在于，所述步骤S300包括以下步骤：

S301、基于人体轮廓节点构建人体轮廓向量；

S302、计算人体相邻两轮廓向量之间的空间夹角；

S303、计算人体每一个轮廓向量空间夹角与模板所有轮廓向量空间夹角之间的差异值；

S304、基于差异值构造能量函数，求取能量函数的最小值作为基于人体轮廓节点分析的人体动作差异度。

6.如权利要求5所述的人体动作自动评估方法，其特征在于：所述步骤S304中，按照下式构造能量函数E(d)：

$E\left(d\right)=\underset{s=1}{\overset{j}{\mathrm{\Σ}}}{[k_1\left(s\right)-k_2(s-d\left(s\right))]}^2+a\left|d\left(s\right)\right|$

上式中，s为轮廓向量空间夹角的序号，k₁(s)为模板数据中序号s对应的轮廓向量空间夹角，d(s)表示对于序号s的待匹配人体数据中的偏移量，k₂(s-d(s))为经过偏移变换后待匹配人体数据中的轮廓向量空间夹角，α为平滑系数，j为轮廓向量空间夹角的个数。

7.如权利要求5所述的人体动作自动评估方法，其特征在于：所述步骤S304中，采用图割方法求取能量函数的最小值。

8.如权利要求1～4任意一项所述的人体动作自动评估方法，其特征在于，所述步骤S400中，当人体动作存在自身遮挡时，将基于人体轮廓节点分析计算的差异度的权重系数设置为零。

9.如权利要求8所述的人体动作自动评估方法，其特征在于，判断人体动作是否存在自身遮挡的方法包括以下步骤：

S401、对人体分割图像查找边缘，找出深度数据大于给定阈值的深度突变像素；

S402、检查深度突变像素坐标，判断深度突变像素是否是人体图像像素：

若是，人体动作存在自身遮挡。

10.一种舞蹈评分系统，其特征在于，包括：

显示装置，用于播放视频模板动作；

体感设备，用于实时捕捉人体动作；

控制装置，其内预置有如权利要求1～9任意一项所述的人体动作自动评估方法，以评估所述体感设备捕捉的人体动作与所述显示装置播放的模板动作的匹配程度，并给出相应的评分结果。