CN112560665B - 基于深度迁移学习实现人体姿态检测的专业舞蹈评价方法 - Google Patents

Abstract

本发明涉及一种基于深度迁移学习实现人体姿态检测的专业舞蹈评价方法，包括：步骤S1：利用深度迁移学习原理，结合专业舞蹈训练的姿态特征建立专门的人体姿态检测模型；步骤S2：采集示范舞蹈动作的视频，输入前述的人体姿态检测模型中，得到随时间变化的人体关键点数据流作为评价的参考标准；步骤S3：以相同方式得到被测者舞蹈动作的人体关键点信息，将其与参考标准之间的相似度作为舞姿标准程度的评价。本发明利用深度迁移学习提高了模型训练的效率和准确性。

Description

基于深度迁移学习实现人体姿态检测的专业舞蹈评价方法

技术领域

本发明涉及一种基于深度迁移学习实现人体姿态检测的专业舞蹈评价方法。

背景技术

在专业舞蹈学校的舞蹈教学中，一种普遍的考核方式是由学生表演一组事先学习并练习过的舞蹈动作套路，考核教师根据学生完成这组舞蹈套路的动作标准程度进行评分。主要的评价指标有肢体姿态是否到位，动作与音乐是否合拍等。然而在实际的考核过程中，尤其是在许多学生连续表演的情况下，由考核教师肉眼观察每个学生的全部舞蹈动作细节是困难且疲劳的。借助机器学习方法智能化检测学生的姿态标准程度，协助教师进行评分是一种减轻教师负担、提高考核效率的有效方式。此外，对于视频数据进行精确的人体姿态学习及评价系统还可应用于其他舞蹈教学和自学自测、医疗复健、运动健身和仿人机器人开发等相关领域。

利用深度学习训练模型实现实时人体姿态估计的研究在近年来已有诸多进展，其原理主要建立在对图像中的人体主要关节等关键点进行检测并将关键点之间的肢体进行连接以构成某种姿态。如openpose、alphapose和deeppose等模型均能在各类常态情境下取得较好的识别效果。而专业舞蹈姿态中常常包含一些比较夸张的肢体动作和大量的肢体重叠、遮挡动作，容易造成漏识别和错识别；此外，应用于专业舞蹈评分的模型对姿态识别的精确度要求更高。以上这些已有的模型并非专为识别专业舞蹈动作设计，不能达到实现准确评分的效果。为实现本应用场景下的设计目标，专门的人体姿态检测模型应具备以下特点：(1)能够识别人体躯干和四肢的姿态，以及头部、手掌和脚部的姿态，输出2D单目标的人体关键点检测信息；(2)对专业舞蹈动作具有较高的识别准确性。之后利用示范例与待评价舞蹈的关键点坐标信息之间的相似程度给出最终评价。

迁移学习是近年来随着机器学习发展而诞生的学习理念，是指运用已有的知识对不同但相关领域问题进行求解。获得足够的有标签训练样本的成本很高，从头开始训练新的模型是非常复杂且费时的，将所求问题相关领域已有的知识进行迁移和复用能有效提高学习效率。深度迁移学习将深度神经网络与迁移学习相结合，在计算机视觉领域取得了良好进展，适合应用于本发明涉及的问题。

发明内容

本发明的目的在于借助机器学习原理实现对专业舞蹈动作中的人体姿态检测和标准性评价以协助教师完成对学生的考核，而提供一种基于深度迁移学习实现人体姿态检测的专业舞蹈评价方法。

本发明的目的可以通过以下技术方案来实现：

一种基于深度迁移学习实现人体姿态检测的专业舞蹈评价方法，其特征是，如下过程：

步骤S1：利用深度迁移学习原理，结合专业舞蹈训练的姿态特征建立专门的人体姿态检测模型；

步骤S11：采用预训练卷积神经网络模型和源域训练集，用于提取图像层次结构的特征，实现人体关节点识别；

特征点对齐预处理；

改进后的ResNet-18模型；

利用源域训练集，喂入改进后的ResNet-18卷积神经网络模型，进行提取图像层次结构的特征并人体关键点识别训练；同时，将预训练卷积神经网络模型训练得到的姿态检测点与标准点的像素点欧式距离作为损失函数，为：

f＝||X-g(X)||

其中f表示损失函数函数，X为关节i标准姿态点位置信息，g(X)为关节i通过预训练卷积神经网络模型得到的人体姿态点位置信息；人体姿态点信息是基于人体多部位(头部、腰部、肩部、肘部、臀部以及踝关节)组合形成的一系列多帧数多维度的坐标信息，每一关键点坐标信息是以人体中心点为参考原点，并建立人体多部位的连接关系而形成的相对极坐标表示值；以头部、腰部、肩部、肘部、臀部以及踝关节某个关节位置(以肘关节位置为例)，以与其连接的其它某一关节(如肩关节为例)为相对坐标参考原点，以肘关节与肩关节形成的平面为例为坐标面，计算肘关节相对于肩关节的位移距离、方向和角度，表示如下：

x_i+1＝x_i(ρ,α)

其中x_i表示关节i的坐标点，ρ为关节i+1相对于关节i的相对位移值，α为关节i+1相对于关节i的相对角度值；

步骤S12：根据专业舞蹈评价的要求特征，进行深度迁移学习并训练，设计专门的人体姿态检测模型；

过程如下：

首先，利用ResNet-18对大量带标签源训练集进行初始网络模型训练，得到网络的具体权重和偏置参数；

其次，将少量的目标域数据集输入到预训练的网络中，对上一步建立好的卷积神经网络模型进行网络权重和偏置参数更新；

最后，对得到的无标签目标域数据集进行模型学习训练；

步骤S2：采集示范舞蹈动作的视频，输入前述的人体姿态检测模型中，得到随时间变化的人体关键点数据流作为评价的参考标准；得到人体关键点数据是随时间变化的一组二维人体关键点坐标信息，该坐标是以人体中心点为参考的一组相对坐标；

步骤S21：将示范舞蹈视频进行预处理；

步骤S22：将示范舞蹈图像输入人体姿态检测模型得到人体关键点数据；

步骤S3：以步骤S2输出的待评价舞蹈视频动作的人体关键点信息，将其与参考标准之间的相似度作为舞姿标准程度的评价；

本发明将深度迁移学习模型(即人体姿态检测模型)得到的姿态检测点与参考标准点的像素点欧式距离作为相似度函数，并通过统一的加权计分规则计算被测者舞蹈动作的评价分数；

f＝||X-g(X)||

其中f表示相似度函数，X为关节i标准姿态点位置信息，g(X)为关节i通过深度迁移学习模型得到的姿态点位置信息。

相比于现有技术中其它的实时人体姿态检测模型，本发明模型在专业舞蹈考核评价这一应用领域进行了侧重优化，提高了对各类舞蹈姿态的识别准确率；并能实现以舞蹈示范样本为参考对其他舞蹈者动作标准程度的评估，以协助教师考核评分。

本发明优势在于：

(1)训练效率高、成本低：利用深度迁移学习原理训练2D单目标人体姿态检测模型，提高了训练的效率，需要的专门训练样本很少；

(2)专业化：相比于其他实时人体姿态检测模型，本发明中的模型在专业舞蹈考核评价这一应用领域进行了侧重优化，包含了手部、脚部和头部的姿态细节，提高了对各类舞蹈姿态的识别准确率，能够对舞蹈过程中发生的各类肢体重叠与肢体遮挡的动作做出有效识别；

(3)泛用性高：能通过标准化处理减少不同舞蹈者身材、体型和拍摄环境等因素对评估的影响；能根据音频自动对齐；评估具有一定的容错率。

(4)拓展性强：后续可根据不同的应用需要，方便地迁移到教育、医疗、健康和机器人等其他领域中的对视频数据的人体姿态学习及评价问题中，应用领域广泛、前景好。

附图说明

图1为本发明方法过程及网络模型架构。

图2为人体姿态检测示意图。

具体实施方式

下面结合图例和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示：

一种基于深度迁移学习实现人体姿态检测的专业舞蹈评价方法，如下过程：

步骤S1：利用深度迁移学习原理，结合专业舞蹈训练的姿态特征建立专门的人体姿态检测模型；

步骤S11：采用预训练卷积神经网络模型和源域训练集，用于提取图像层次结构的特征，实现人体关节点识别；

本发明使用的数据集为视频数据集，在进行模型训练之前，需要进行视频关键帧数检测、剪切以及对齐等预处理。具体而言，本发明选择利用Imagenet预训练的VGG-16提取每一帧的特征，并确定得到视频的关键帧，完成剪切，此外，本发明基于特征匹配度实现特征点对齐等预处理。

本发明选用ResNet改进模型作为预训练卷积神经网络模型提取视频中的图像层次结构的特征，实现人体关节点识别。

ResNet-18模型共4个卷积块，每个卷积块由4到5个卷积层构成，每两个卷积层之间通过shortcut残差结构进行连接，模型最后为全连接层。其中卷积层的卷积核大小除第一个卷积层为7*7之外均为3*3，步长除每个块第一个卷积层为2，其余层均为1，即模型通过每个块第一个卷积层进行降维；池化层窗口大小为3*3，步长为2。改进后的ResNet-18模型接框架为：1个64通道的卷积层→池化层→4个64通道的卷积层→4个128通道的卷积层→4个256通道的卷积层→4个512通道的卷积层→全局池化层→输出为N维的全连接层(N为人体姿态检测点数目)。

利用源域训练集，喂入改进后的ResNet-18卷积神经网络模型，进行提取图像层次结构的特征并人体关键点识别训练；同时，将预训练卷积神经网络模型训练得到的姿态检测点与标准点的像素点欧式距离作为损失函数，为：

f＝||X-g(X)||

其中f表示损失函数函数，X为关节i标准姿态点位置信息，g(X)为关节i通过预训练卷积神经网络模型得到的人体姿态点位置信息。人体姿态点信息是基于人体多部位(头部、腰部、肩部、肘部、臀部以及踝关节等)组合形成的一系列多帧数多维度的坐标信息，每一关键点坐标信息是以人体中心点为参考原点，并建立人体多部位的连接关系而形成的相对极坐标表示值。以头部、腰部、肩部、肘部、臀部以及踝关节某个关节位置(以肘关节位置为例)，本发明以与其连接的其它某一关节(如肩关节为例)为相对坐标参考原点，以肘关节与肩关节形成的平面为例为坐标面，计算肘关节相对于肩关节的位移距离、方向和角度，表示如下：

x_i+1＝x_i(ρ,α)

其中x_i表示关节i的坐标点，ρ为关节i+1相对于关节i的相对位移值，α为关节i+1相对于关节i的相对角度值。

步骤S12：根据专业舞蹈评价的要求特征，进行深度迁移学习并训练，设计专门的人体姿态检测模型；

将结合大量带标签的源域训练集和少量带标签或者专业人员评估的目标域样本进行深度迁移学习模型训练，设计得到专门的人体姿态检测网络模型。

过程如下：

首先，利用ResNet-18对大量带标签源训练集进行初始网络模型训练，得到网络的具体权重和偏置参数；

其次，将少量的目标域数据集输入到预训练的网络中，对上一步建立好的卷积神经网络模型进行网络权重和偏置参数更新；

最后，对得到的无标签目标域数据集进行模型学习训练。

步骤S2：采集示范舞蹈动作的视频，输入前述的人体姿态检测模型中，得到随时间变化的人体关键点数据流作为评价的参考标准；得到人体关键点数据是随时间变化的一组二维人体关键点坐标信息，该坐标是以人体中心点为参考的一组相对坐标。

步骤S21：将示范舞蹈视频进行剪切、对齐等预处理；

本发明将示范舞蹈视频数据集进行视频关键帧数检测、剪切以及对齐等预处理。具体而言，本发明选择利用Imagenet预训练的VGG-16提取每一帧的特征，并确定得到视频的关键帧，完成剪切，此外，本发明基于特征匹配度实现特征点对齐等预处理。

步骤S22：将示范舞蹈图像输入人体姿态检测模型得到人体关键点数据。

将预处理得到的示范舞蹈图像输入到人体姿态检测模型进行测试，获取人体姿态关键点。

步骤S3：以步骤S2输出的待评价舞蹈视频动作的人体关键点信息，将其与参考标准之间的相似度作为舞姿标准程度的评价。

本发明将深度迁移学习模型(即人体姿态检测模型)得到的姿态检测点与参考标准点的像素点欧式距离作为相似度函数，并通过统一的加权计分规则计算被测者舞蹈动作的评价分数。

f＝||X-g(X)||

其中f表示相似度函数，X为关节i标准姿态点位置信息，g(X)为关节i通过深度迁移学习模型得到的姿态点位置信息。

所述步骤S3具体为：

步骤S31：将待评价舞蹈视频进行剪切、对齐等预处理；

本发明将舞蹈配乐作为时间轴参考，将处理后的待评价舞蹈与示范舞蹈的人体关键点数据按照时刻的对应关系逐帧对比。某一时刻配乐与舞蹈动作应有固定的对应关系，故将视频的声音数据作为对齐标准。

步骤S32：将待评价舞蹈视频输入人体姿态检测模型得到人体关键点数据；

步骤S33：将处理后的待评价舞蹈的人体关键点数据与示范舞蹈的人体姿态检测点数据按照时刻的对应关系逐帧对比，测定两者的相似程度并给出评价。

本发明将换算到同一标准下的待评价舞蹈与示范舞蹈的人体关键点数据中，各对应的姿态检测点与参考标准点的像素点欧式距离为相似度；将整个舞蹈过程中的总相似度作为对该舞蹈的评价。相似度的计算有合理程度上的容错率且能去除发生明显错误的数据点。

具体实施时，通过录像设备采集待评价的舞蹈视频(待评价的舞蹈动作内容应在示范舞蹈视频中完全相同的出现过)，视频通过训练好的人体姿态检测模型输出人体关键点信息。将待评价舞蹈与对应的示范舞蹈的人体关键点信息对应，并对待评价舞蹈的人体关键点信息做标准化处理使其与标准信息在同一坐标系下。以舞蹈配乐的音频信息为时间轴，将两者的关键点信息流按对应时刻对齐后，把关键点坐标偏差换算为相似度。最终把整个舞蹈过程的总相似度输出作为评价。

本发明利用深度迁移学习原理训练人体姿态检测模型，提高了训练的效率和准确性；相比于其他实时人体姿态检测模型，本发明中的模型在专业舞蹈考核评价这一应用领域进行了侧重优化，提高了对各类舞蹈姿态的识别准确率。

本发明具有良好的发展前景，其应用能够拓展到其他相关领域。如将舞蹈评价系统开发到个人端，协助舞蹈专业考生或学习者根据发布的舞蹈示范进行自学自测；也可应用于健康领域，协助有行动障碍的患者复健或协助运动爱好者在运动练习中调整自己的身体姿态；此外，还可应用于仿人机器人对人类视频中动作的学习以及其他诸多相关领域的软硬体开发问题。

Claims (1)

1.一种基于深度迁移学习实现人体姿态检测的专业舞蹈评价方法，其特征是，如下过程：

步骤S1：利用深度迁移学习原理，结合专业舞蹈训练的姿态特征建立专门的人体姿态检测模型；

步骤S11：采用预训练卷积神经网络模型和源域训练集，用于提取图像层次结构的特征，实现人体关节点识别；

特征点对齐预处理；

改进后的ResNet-18模型；

利用源域训练集，输入改进后的ResNet-18卷积神经网络模型，进行提取图像层次结构的特征并人体关键点识别训练；同时，将预训练卷积神经网络模型训练得到的姿态检测点与标准点的像素点欧式距离作为损失函数，为：

f＝‖X-g(X)‖

其中f表示损失函数函数，X为关节i标准姿态点位置信息，g(X)为关节i通过预训练卷积神经网络模型得到的人体姿态点位置信息；人体姿态点信息是基于人体多部位头部、腰部、肩部、肘部、臀部以及踝关节组合形成的一系列多帧数多维度的坐标信息，每一关键点坐标信息是以人体中心点为参考原点，并建立人体多部位的连接关系而形成的相对极坐标表示值；以头部、腰部、肩部、肘部、臀部以及踝关节某个关节位置，以与其连接的其它某一关节为相对坐标参考原点，以关节i+1与关节i形成的平面为坐标面，计算关节i+1相对于关节i的位移距离、方向和角度，表示如下：

x_i+1＝x_i(ρ,α)

其中x_i表示关节i的坐标点，ρ为关节i+1相对于关节i的相对位移值，α为关节i+1相对于关节i的相对角度值；

步骤S12：根据专业舞蹈评价的要求特征，进行深度迁移学习并训练，设计专门的人体姿态检测模型；

过程如下：

首先，利用ResNet-18对大量带标签源训练集进行初始网络模型训练，得到网络的具体权重和偏置参数；

其次，将少量的目标域数据集输入到预训练的网络中，对上一步建立好的卷积神经网络模型进行网络权重和偏置参数更新；

最后，对得到的无标签目标域数据集进行模型学习训练；

步骤S2：采集示范舞蹈动作的视频，输入前述的人体姿态检测模型中，得到随时间变化的人体关键点数据流作为评价的参考标准；得到人体关键点数据是随时间变化的一组二维人体关键点坐标信息，该坐标是以人体中心点为参考的一组相对坐标；

步骤S21：将示范舞蹈视频进行预处理；

步骤S22：将示范舞蹈图像输入人体姿态检测模型得到人体关键点数据；

步骤S3：以步骤S2输出的待评价舞蹈视频动作的人体关键点信息，将其与参考标准之间的相似度作为舞姿标准程度的评价；

将深度迁移学习模型即人体姿态检测模型得到的姿态检测点与参考标准点的像素点欧式距离作为相似度函数，并通过统一的加权计分规则计算被测者舞蹈动作的评价分数；

f＝‖X-g(X)‖

其中f表示相似度函数，X为关节i标准姿态点位置信息，g(X)为关节i通过深度迁移学习模型得到的姿态点位置信息。

Images