CN113246147A - 一种基于视觉处理建立机器人舞蹈动作库的方法 - Google Patents

Abstract

本发明公开了种基于视觉处理建立机器人舞蹈动作库的方法，具体包括下列步骤：1)建立人体骨骼支架模块，2)舞蹈音频的切割模块，3)获取关节点角度模块，4)基本动作存储模块。本发明涉及机器学习技术领域，具体提供了一种基于视觉处理建立机器人舞蹈动作库的方法解决舞蹈动作重复性高等问题,且取得了优于传统方法的效果，该系统能在一整段视频中捕获人物的基本动作视频进行切分，对应到机器人的动作，实现快速编出一整套的基本动作，节省了人力、物力，提高工作效率，基本动作根据音乐风格进行动作归类，使每种风格的音乐都有自己的舞蹈动作特征，舞蹈类型符合音乐类型，实现舞蹈动作更加丰富，动作种类更加多样。

Description

一种基于视觉处理建立机器人舞蹈动作库的方法

技术领域

本发明涉及机器学习技术领域，具体为一种基于视觉处理建立机器人舞蹈动作库的方法。

背景技术

舞蹈机器人基本动作库是基于深度学习中的动作捕捉算法和视觉处理来获取动作位置，从而建立更加完善的基本动作库，为舞蹈机器人的舞蹈动作多样性和舞蹈种类多样性提供基础。

近几年来，随着人们生活水平的提高，人们在精神文化消费方面的需求也日益增长。舞蹈与音乐是人类特有的情感表达方式，它们能带给我们身心的娱乐，人们也在寻找其他能表达舞蹈与音乐的物品。随着科学技术的日趋成熟，机器人走进了人们的生活，跳舞机器人成了舞蹈与音乐表达的载体，在娱乐、教育等领域有着巨大的市场前景。在春晚晚会上、大型商会开幕式、家庭中都有跳舞机器人的身影；跳舞机器人是音乐与舞蹈展示的载体，人们能更加直观地体验舞蹈带来的优美感。不同风格的音乐，机器人所需要的舞蹈动作也不同，这就需要各种各样音乐风格的舞蹈基本动作。但是，基本动作库的编排十分繁琐且耗费时间，每个基本动作都是几个关键帧编排而来，这就需要特定的编舞软件或者是人为手动掰动机器人来获取动作姿势，从而得到这个位置的机器人动作关键帧。这就极大地限制了机器人舞蹈动作库的发展，过少的基本动作使机器人编出来的一段舞蹈可能出现同一个动作的重复率大大增加，这降低了舞蹈动作的多样性。

为了更好地解决基本动作编排繁琐、耗时、重复率高等问题，让机器人舞蹈更契合人们的审美观，体现机器人舞蹈的优美性。本发明提出了一种基于视觉处理建立机器人舞蹈动作库的方法以丰富基本动作。

发明内容

针对上述情况，为克服当前的技术缺陷，本发明提供了一种基于视觉处理建立机器人舞蹈动作库的方法解决舞蹈动作重复性高等问题,且取得了优于传统方法的效果，该系统能在一整段视频中捕获人物的基本动作视频进行切分，对应到机器人的动作，实现快速编出一整套的基本动作，节省了人力、物力，提高工作效率，基本动作根据音乐风格进行动作归类，使每种风格的音乐都有自己的舞蹈动作特征，舞蹈类型符合音乐类型，实现舞蹈动作更加丰富，动作种类更加多样。

本发明采取的技术方案如下：本发明一种基于视觉处理建立机器人舞蹈动作库的方法，具体包括下列步骤：

1)建立人体骨骼支架模块：PC端(电脑端)播放舞蹈视频，机器人实时获取视频图像信息，将获取到的图像利用深度学习中openpose算法检测出人体关键的18个关键点，将关键点进行1-18顺序标号连接形成人体骨架，关键点的位置匹配到机器人身上各个关节部位的舵机；

2)舞蹈音频的切割模块：为了将舞蹈切割成许多段的基本动作，结合pyaudioanalysis库包分析音频节拍特征和舞者动作速度来切割视频，根据在节拍处检测舞者动作速度是否为零为切割点，得到许多切割完的小段视频，每小段视频根据音乐类型和音频特征类型进行聚类，对每小段视频中对应音乐节拍点进行拍摄获取动作姿态位置；

3)获取关节点角度模块：关键点之间用空间向量计算关节角度，将计算得到的每个关节角度信息传给机器人，机器人调节自身角度得到舵机参数，形成一个关键帧，每一个视频小片段都有节拍位置帧，将身体姿势位置帧用贝塞尔曲线拟合起来形成一个完整的基本动作；

4)基本动作存储模块：视频学习得到的舞蹈基本动作序列进行存储，每个基本动作形成一个mtnx文件。

优选地，所述pyaudioanalysis库包模块为一种音频分析的库包，在特征提取方面提出了短期时长的特征抽取，所述短期时长的特征抽取的具体方法为：采用stFeatureExtraction方法将音频信号拆分成短期的片段/元组，然后计算每个片段/元组的特征，最终生成整段音频的特征向量的序列。

优选地，所述openpose算法构建人体姿态的方法具体如下：基于卷积神经网络和监督学习并以caffe为框架,可以实现人的面部表情、躯干和四肢甚至手指的跟踪，主要针对的是bottom-up的方式，采用PAF(Part Affinity Fieilds)来进行自下而上的人体姿态估计，首先借鉴CPM的方法，检测出人关键点的位置，比如人体右肩膀的位置，得到检测结果是通过预测人体关键点的heatmap，这样就可以看到每个人体关键点上都有一个高斯的峰值，代表网络预测出这里是一个人体的关键点，在得到检测结果之后，对关键点结果进行连接，进行连接的时候，主要采用的就是PAF。

优选地，步骤3)所述关键点之间用空间向量计算关节角度的具体方法如下，将人物骨骼关键点映射到数学坐标系中，直接使用空间向量计算关节之间的角度：

以肘为中心点(肩膀S点，肘E点，手H点)画空间向量，对应z轴从里到外分别为：肩膀，肘，手，且三点在向量图中均处于z轴负半轴，利用这种方式可以计算出相邻关节点之间的夹角度数，进而得知动作的姿态位置,其中，

为肘-肩膀，

为肘-手，cosθ为肩膀-手形成的夹角。

优选地，所述贝塞尔曲线拟合是将几个动作姿态帧按照某种趋势平滑拟合成连贯动作，得到的动作路径符合人的动作行为。

采用上述结构本发明取得的有益效果如下：本发明一种基于视觉处理建立机器人舞蹈动作库的方法，相较于传统电源测试夹具，优点在于：(1)可以针对测试电源的的不同方向进行选点测试，也便于翻转检查测试电源的外观；(2)可以根据使用需求进行高度调整，适用不同人群的使用需求；综上所述，采取本方案进一步提高了电源测试环节的工作效率，减少了测试人员人工取放的环节。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明一种基于视觉处理建立机器人舞蹈动作库的方法的流程框图；

图2为本发明一种基于视觉处理建立机器人舞蹈动作库的方法人体骨骼支架模块的示意图；

图3为本发明一种基于视觉处理建立机器人舞蹈动作库的方法基本动作存储模块的示意图；

图4为本发明一种基于视觉处理建立机器人舞蹈动作库的方法实施例中以手臂标点图为例的关节点连接示意图；

图5为本发明一种基于视觉处理建立机器人舞蹈动作库的方法实施例中以肘-手-肩膀向量图为例的示意图；

图6为本发明一种基于视觉处理建立机器人舞蹈动作库的方法实施例中滤波算法的详细流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。

图1所示为动作处理的流程框图，首先将视频中获取的图像用openpose算法检测出人体关节点位置进行标号，连接各个关节点，形成人体骨骼图；舞蹈视频pyaudioanalysis提取音频特征，以动作速度为零和节拍点切割舞蹈视频，每段小视频中以节拍点确定动作姿态位置，建立空间向量坐标，计算出每个动作位置关节点角度，将每个小视频的位置帧用贝塞尔拟合成完整的基本动作。

图2所示的为人体骨骼支架模块的示意图，图中所示的关节点是通过openpose算法检测出人体的关节点，此方法可以检测出每张图像的关节点，每个关节点对应机器人身上的各个部位。

图3为基本动作存储模块的示意图，每个动作位置对应一个帧，每个帧中都有舵机参数，参数代表了机器人动作的位置，将每一个参数写入矩阵中存储，动作帧放在同一个后缀为mtnx文件中形成一个连贯的基本动作。

如图1～3所示，本发明采取的技术方案如下：本发明一种基于视觉处理建立机器人舞蹈动作库的方法，结合openpose算法检测出的关节点进行连接形成完整的人体骨骼模型；结合pyaudioanalysis库包根据音乐特征来确定动作姿态和舞者的动作速度来切割舞蹈视频，从而形成基本动作库；利用空间向量坐标标出每个关节点的坐标，用向量知识计算出关节点的角度大小，映射到机器人的姿态上，根据陀螺仪和加速器对角度进行二次微调整，机器人模仿出人体的动作位置，即是一个动作姿态帧，同理，就可对切割视频中的图像拟出动作姿态帧，再利用贝塞尔拟合动作之间的平滑度连接，将其形成一个完整的基本动作；逐个将基本动作位置帧的参数写入mtnx文件的矩阵中，动作位置帧写入同一个mtnx文件存储，这样就形成一个连贯的基本动作序列。

本发明的具体步骤如下：

步骤一：建立人体骨架，在PC(电脑端)端播放舞蹈音频，机器人开启摄像头实时获取图像信息通过WiFi传给系统服务器，构造出人体的骨骼支架，主要流程为：(1)神经网络预测；(2)关节点检测；(3)关节点连接；(4)拼装成人体骨骼支架。

首先输入一张原始图片，经过基础网络VGG进行简单的特征提取，得到一个Feature map，然后在神经网络预测步骤，经过两个分支分别预测，第一个分支为关键点的分支，在这个分支的基础之上增加了PAF骨骼点走向的分支，之后的阶段与上面的类似，最终得到网络的输出S关键点(关节点)，L像素点在人体骨骼的走向(肢体)。

采用下述公式对任务关节点检测：

其中，S_j,k ^*(p)为第k个人的第j个关节点的像素点，X_j,k为第k个人的第j个关节的位置，σ为控制峰值，p为像素点。S_j,k ^*(p)符合正态分布，当像素点P接近注释点X_j,k时，达到正态曲线的峰值，则每张图像中第j种关节的S为图像中k个人的正态分布峰值。按此，找出每个关节点的位置。

以手臂标点图为例，关节点连接方式如图4所示，图像中的X_j1，k以及X_j2，k分别表示第k个人的肢体c的两个身体部件j1以及j2的GT位置，如果点p落在了肢体c上，那么L*c,k(p)的值为j1指向j2的单位向量，不在这个肢体上的点p为0。

为了在训练过程中评估fL,定义PAF在点p的GT值根据下式计算:

其中，L_C,k ^*(p)表示的是肢体的单位向量。

在0≤v·(p-xj1,k)≤lc,k和∣v⊥·(p-xj1,k)∣≤σl范围内的点p被定义为在肢体c上，其中σl代表肢体的宽度，lc,k∥xj2,k-xj1,k∥2代表肢体的长度。

每张图像中第c中肢体的Lc*，为k个人在位置p的向量平均值，计算方式如下：

(1)首先根据预测置信图得到离散的候选部件DJ＝{dmj:j∈{1…J},m∈{1…Nj}，其中dmj代表身体部件j的第m个候选关键点的位置，Nj表示j的候选点的个数；

(2)匹配目标是要求候选部位和统一个人的其他候选部件进行连接，首先定义变量zmnj1j2∈{0,1}用来表示两个候选部件dmj1dj1m和dnp之间是否有连接，所有候选部件的连线集合为Z＝{zmnjj2:for j1,j2∈{1…J},m∈{1…Nj1},n∈{1…Nj2}}；

(3)找到肢体c上两个身体部件j1,j2，总亲和度最高的关节点连接起来拼装成人体骨骼支架。

步骤二：舞蹈音频切割，舞蹈与音乐有直接的关联关系，舞蹈动作对应音乐节拍，因此，在节拍处检测舞者动作的速度来建立动作分析进行切割。关键帧通常出现在舞者动作衔接处,原因是动作元素之间的衔接都应出现在音乐节奏上,并且节奏与舞蹈动作必须相协调,所以用音乐节奏精确分割舞蹈动作是可行的。

系统使用pyaudioanalysis库包提取音频节拍点，视频动作的手，脚和质心的动作律动关系到整个身体，因此，根据检测手、脚速度趋于零的点成为原始分割动作、准确建立关键帧。根据步骤一得到的人体骨骼支架，建立局部空间向量坐标系，坐标系中手的动作与整个身体动作的关联关系，同样，脚和质心的速度也是在坐标系中计算得到，当动作静止时，脚的速度相对与质心的移动速度趋向于零，就可以分析动作的数据。速度的计算公式为：

其中，C(t)为t时刻人体标志点的坐标值；Δt是节拍点的时间间隔。舞蹈动作与舞蹈动作之间有停顿点，如果在tbeat时刻,检测到标志点的速度趋于零,则说明动作序列在此tbeat时刻可以被分割，若在n个节拍点没有动作静止则不分割视频。分割的视频筛除重复的，再根据音频特征进行聚类。

步骤三：获取关节点之间的角度。在人体骨骼支架的关节点上建立空间向量坐标系，计算出每个人体骨骼连接角度，肘-手-肩膀向量图如图5所示，计算公式如下：

其中，

为肘-肩膀，

为肘-手，cosθ为肩膀-手形成的夹角。利用这种方式可以计算出相邻关节点之间的夹角度数，进而得知动作的姿态位置。

以肘为中心点(肩膀S点，肘E点，手H点)画空间向量，对应z轴从里到外分别为：肩膀，肘，手，且三点在向量图中均处于z轴负半轴。

对于腿部姿态在有角度的条件下要保持平衡，这就需要机器人加上陀螺仪和加速器检测，保证机器人的脚部动作能保持机器人的平稳问题。

同时，提出了一种限幅滤波算法，此滤波算法采用了动态规划的思想，保证每次滤波后的结果都是最优解，从而从整体上得出最优解。滤波算法的详细流程如图6所示，根据图6所示流程计算出每个关节点之间的角度，反馈给机器人，机器根据角度信息模仿人物动作，对于一些角度进行二次微调保持平稳，从而建立一个动作位置帧。在一个舞蹈片段中，重复上述流程建立所有动作位置帧，利用贝塞尔拟合动作之间的平滑连接成连贯的基本动作。

步骤四：将步骤三得到的动作位置帧的舵机参数以矩阵的形式写入mtnx文件中，得到的mtnx文件就是一个可执行的基本动作序列文件。

综上所述，本发明一种基于深度学习建立基本动作库系统，可以对舞蹈视频文件进行切分模仿学习基本动作，并将其归类保存到文件中形成基本动作库，可以达到快速建立大量的机器人舞蹈动作，丰富机器人舞蹈动作，提高舞蹈的欣赏度的效果。

要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物料或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物料或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种基于视觉处理建立机器人舞蹈动作库的方法，其特征在于，具体包括下列步骤：

1)建立人体骨骼支架模块：PC端播放舞蹈视频，机器人实时获取视频图像信息，将获取到的图像利用深度学习中的openpose算法检测出人体的18个关键点，将关键点进行1-18顺序标号连接形成人体骨架，关键点的位置匹配到机器人身上各个关节部位的舵机；

2)舞蹈音频的切割模块：为了将舞蹈切割成许多段的基本动作，结合pyaudioanalysis库包分析音频节拍特征和舞者动作速度来切割视频，根据在节拍处检测舞者动作速度是否为零为切割点，得到多个切割完的小段视频，每小段视频根据音乐类型和音频特征类型进行聚类，对每小段视频中对应音乐节拍点进行拍摄获取动作姿态位置；

3)获取关节点角度模块：关键点之间用空间向量计算关节角度，将计算得到的每个关节角度信息传给机器人，机器人调节自身角度得到舵机参数，形成一个关键帧，每一个视频小片段都有节拍位置帧，将身体姿势位置帧用贝塞尔曲线拟合起来形成一个完整的基本动作；

4)基本动作存储模块：视频学习得到的舞蹈基本动作序列进行存储，每个基本动作形成一个mtnx文件。

2.根据权利要求1所述的一种基于视觉处理建立机器人舞蹈动作库的方法，其特征在于，所述pyaudioanalysis库包模块为一种音频分析的库包，在特征提取方面提出了短期时长的特征抽取，所述短期时长的特征抽取的具体方法为：采用stFeatureExtraction方法将音频信号拆分成短期的片段/元组，然后计算每个片段/元组的特征，最终生成整段音频的特征向量的序列。

3.根据权利要求1所述的一种基于视觉处理建立机器人舞蹈动作库的方法，其特征在于，所述openpose算法构建人体姿态的方法具体如下：基于卷积神经网络和监督学习并以caffe为框架,可以实现人的面部表情、躯干和四肢甚至手指的跟踪，主要针对的是bottom-up的方式，采用PAF(Part Affinity Fieilds)来进行自下而上的人体姿态估计，首先借鉴CPM的方法，检测出人关键点的位置，比如人体右肩膀的位置，得到检测结果是通过预测人体关键点的heatmap，这样就可以看到每个人体关键点上都有一个高斯的峰值，代表网络预测出这里是一个人体的关键点，在得到检测结果之后，对关键点结果进行连接，进行连接的时候，主要采用的就是PAF。

4.根据权利要求1所述的一种基于视觉处理建立机器人舞蹈动作库的方法，其特征在于，步骤3)所述关键点之间用空间向量计算关节角度的具体方法如下，将人物骨骼关键点映射到数学坐标系中，直接使用空间向量计算关节之间的角度：

以肘为中心点(肩膀S点，肘E点，手H点)画空间向量，对应z轴从里到外分别为：肩膀，肘，手，且三点在向量图中均处于z轴负半轴，利用这种方式可以计算出相邻关节点之间的夹角度数，进而得知动作的姿态位置,其中，

为肘-肩膀，

为肘-手，cosθ为肩膀-手形成的夹角。

5.根据权利要求2所述的一种基于视觉处理建立机器人舞蹈动作库的方法，其特征在于，所述贝塞尔曲线拟合是将几个动作姿态帧按照某种趋势平滑拟合成连贯动作，得到的动作路径符合人的动作行为。

Images