CN101615302A - 音乐数据驱动的基于机器学习的舞蹈动作生成方法 - Google Patents

Abstract

本发明公开了一种音乐数据驱动的基于机器学习的舞蹈动作生成方法。方法的步骤如下：预先构建的动作和音乐数据库，分析动作和音乐特征的相关性系数，选择最优的相关性系数集合；使用基于boost的机器学习方法获得可以对动作和音乐匹配程度进行评分的学习器；对每个音乐片段，系统综合考虑候选动作片段与输入音乐片段的匹配程度以及动作片段的平滑程度，选择最佳动作片段。本发明实现了给定任意音乐，系统可以根据习得的机器学习模型自动从舞蹈动作数据库中选择最佳动作序列的功能。解决了动画制作过程中音乐和动画难以良好匹配的难题，提供了一个在动画制作中进行全自动编舞的算法框架。

Description

音乐数据驱动的基于机器学习的舞蹈动作生成方法

技术领域

本发明涉及音乐驱动的舞蹈编排方法，尤其是一种音乐数据驱动的基于机器学习的舞蹈动作生成方法。

背景技术

根据给定音乐生成与之匹配的舞蹈动作在计算机动画创作领域有着广泛的应用。在编舞创作中，需要根据用户选定的音乐片段编排合适的舞蹈动作，然而动作与音乐是两种不同感知通道的时序信号，要想恰当地评价两者的匹配程度，就需要建立一个合理的动作-音乐特征匹配模型，该模型应当能够将动作和音乐信号转化到符合人类认知的某种高层语义上进行匹配程度的比较，并依据所建立的匹配关系有效地存储，搜索以及编辑音乐或动作数据。

在传统的动画创作过程中，一般由动画师手工建立动作和音乐的匹配模型。动画师根据给定的音乐手工绘制关键帧并由计算机进行插值以创作舞蹈动画，这是一项枯燥而耗时的工作。目前在计算机自动编舞方面已经积累了许多有价值的工作，主要的技术思路是基于经验建立动作和音乐特征的特征匹配模型，例如节奏特征匹配，音符密度和动作强度匹配等。然而其缺陷在于由于主观因素导致所建立模型不具有普适性。机器学习通过对已有数据进行挖掘从而发现动作和音乐之间客观的内在联系，从而成为一种更为科学的技术思路。

发明内容

本发明的目的是提供一种音乐数据驱动的基于机器学习的舞蹈动作生成方法。

音乐数据驱动的基于机器学习的舞蹈动作生成方法的步骤如下：

1)构建动作和音乐数据库，将动作和音乐特征按照节奏点位置切分为动作和音乐片段对；

2)对每一对动作和音乐片段对进行相关性分析得到相关性系数矩阵，选择最优的相关性系数集合；

3)使用基于boost的机器学习方法将每个动作和音乐片段对作为训练样本，获得对动作和音乐片段对匹配程度进行评分的学习器；

4)将用户输入系统的音乐按照节奏特征切分为音乐片段；

5)用户输入系统使用动态规划算法综合考虑学习器给出的匹配分值以及前后动作片段的连贯性，选择最佳动作序列；

6)对动作序列进行动作对齐，动作变形以及动作平滑以优化结果。

所述的对每一对动作和音乐片段对进行相关性分析得到相关性系数矩阵，选择最优的相关性系数集合步骤为：给定动作和音乐片段对(A_i，M_j)，A_i为i号音乐片段，M_j为j号动作片段，则A_i的特征q和M_j的特征p之间的相关性系数为： $C(p,q)=\frac{E(X-{\mathrm{\μ}}_X)E(Y-{\mathrm{\μ}}_Y)}{{\mathrm{\δ}}_X{\mathrm{\δ}}_Y},$ 其中，μ_X，μ_Y，δ_X，δ_Y分别为X和Y的期望和方差，E为期望值运算符，得到相关性系数矩阵后，选择最佳的相关性系数特征子集。

所述的使用基于boost的机器学习方法将每个动作和音乐片段对作为训练样本，获得对动作和音乐片段对匹配程度进行评分的学习器步骤为：该机器学习方法由7种基本学习器构成，针对不同的舞种选定最佳的基本学习器。数据库中的每个动作-音乐片段对构成一个训练样例，训练样例以相关性系数的形式表示，不同舞种的训练样例用于训练不同舞种的学习器；设动作和音乐片段对(A_i，M_j)，A_i为i号音乐片段，M_j为j号动作片段，N_i为原始数据库中与A_i对应的动作片段，则(A_i，M_j)的匹配程度误差分值为：S(A_i，M_j)＝1-exp(-Dist_m(M_i，M_j))。其中Dist_m(M_i，M_j)是动作片段M_i与M_j间的距离。

本发明是在机器学习获得动作与音乐特征之间关联的基础上，通过动态规划算法检索最佳的动作序列。本发明允许输入任意的音乐片段，系统根据机器学习得到的最佳学习器对数据库中的候选动作片段进行评分，同时考虑动作平滑程度以合成最佳舞蹈动作序列。本发明解决了动作与音乐特征之间的关系挖掘问题，同时提供了一种全自动的舞蹈动作编排创作方法。

附图说明

图1是步骤1)的切分动作和音乐片段；

图2是步骤2)的相关性系数矩阵；

图3是基于机器学习的舞蹈动作编排软件系统的框架和流程；

图4是基于机器学习的舞蹈动作编排软件系统的输出结果。

具体实施方式

音乐数据驱动的基于机器学习的舞蹈动作生成方法的步骤如下：

1)构建动作和音乐数据库，将动作和音乐特征按照节奏点位置切分为动作和音乐片段对；

2)对每一对动作和音乐片段对进行相关性分析得到相关性系数矩阵，选择最优的相关性系数集合；

3)使用基于boost的机器学习方法将每个动作和音乐片段对作为训练样本，获得对动作和音乐片段对匹配程度进行评分的学习器；

4)将用户输入系统的音乐按照节奏特征切分为音乐片段；

5)用户输入系统使用动态规划算法综合考虑学习器给出的匹配分值以及前后动作片段的连贯性，选择最佳动作序列；

6)对动作序列进行动作对齐，动作变形以及动作平滑以优化结果。

所述的对每一对动作和音乐片段对进行相关性分析得到相关性系数矩阵，选择最优的相关性系数集合步骤为：给定动作和音乐片段对(A_i，M_j)，A_i为i号音乐片段，M_j为j号动作片段，则A_i的特征q和M_j的特征p之间的相关性系数为： $C(p,q)=\frac{E(X-{\mathrm{\μ}}_X)E(Y-{\mathrm{\μ}}_Y)}{{\mathrm{\δ}}_X{\mathrm{\δ}}_Y},$ 其中，μ_X，μ_Y，δ_X，δ_Y分别为X和Y的期望和方差，E为期望值运算符，得到相关性系数矩阵后，选择最佳的相关性系数特征子集。

所述的使用基于boost的机器学习方法将每个动作和音乐片段对作为训练样本，获得对动作和音乐片段对匹配程度进行评分的学习器步骤为：该机器学习方法由7种基本学习器构成，针对不同的舞种选定最佳的基本学习器。数据库中的每个动作-音乐片段对构成一个训练样例，训练样例以相关性系数的形式表示，不同舞种的训练样例用于训练不同舞种的学习器；设动作和音乐片段对(A_i，M_j)，A_i为i号音乐片段，M_j为j号动作片段，M_i为原始数据库中与A_i对应的动作片段，则(A_i，M_j)的匹配程度误差分值为：S(A_i，M_j)＝1-exp(-Dist_m(M_i，M_j))。其中Dist_m(M_i，M_j)是动作片段M_i与M_j间的距离。

实施例

准备工作：建立动作和音乐片段的数据库。

首先，预先构建动作和音乐数据库，将动作和音乐数据按照节奏点位置切分为片段(如图1所示)。尔后提取多种动作特征和多种音乐特征，对每种动作特征和音乐特征片段对进行相关性分析得到相关性系数矩阵。给定设训练样例组合(A_i，M_j)，A_i为i号音乐片段，M_j为j号动作片段，则A_i的特征q和M_j的特征p之间的相关性系数为： $C(p,q)=\frac{E(X-{\mathrm{\μ}}_X)E(Y-{\mathrm{\μ}}_Y)}{{\mathrm{\δ}}_X{\mathrm{\δ}}_Y}.$ 此处μ_X，μ_Y，δ_X，δ_Y分别为X和Y的期望和方差。E()为期望值运算符。得到相关性系数矩阵后(如图2所示)，根据最优特征选择算法选择最佳的相关性系数特征子集。

然后使用基于boost的机器学习方法将每个动作和音乐片段组合作为训练样本，通过学习获得可以对动作和音乐匹配程度进行评分的学习器。该机器学习模型由7种基本学习器构成。针对不同的舞种选定最佳的基本学习器。数据库中的每个动作-音乐片段对构成一个训练样例，训练样例以相关性系数的形式表示。不同舞种的训练样例用于训练不同舞种的学习器。训练样例的生成采用计算动作距离的方法来衡量。设动作和音乐片段组合(A_i，M_j)A_i为i号音乐片段，M_j为j号动作片段，M_i为原始数据库中与A_i对应的动作片段。则(A_i，M_j)的匹配程度误差分值为：S(A_i，M_j)＝1-exp(-Dist_m(M_i，M_j))。其中Dist_m(M_i，M_j)是动作片段M_i与M_j间的距离。

接下来，将用户输入系统的音乐按照节奏特征切分为音乐片段，针对每个音乐片段，系统使用动态规划算法综合考虑候选动作片段与音乐片段的匹配程度以及动作片段的平滑程度，选择最佳动作序列。动作片段与音乐片段的匹配程度分值由训练所得的学习器给出，动作片段的平滑程度由对动作图的查询得到。

最后，对得到的动作序列进行动作片段对齐，动作变形以及动作平滑以优化结果动画。整个系统的框架与流程如图3所示，系统合成的舞蹈动作如图4所示。

Claims (3)

1.一种音乐数据驱动的基于机器学习的舞蹈动作生成方法，方法的步骤如下：

1)构建动作和音乐数据库，将动作和音乐特征按照节奏点位置切分为动作和音乐片段对；

2)对每一对动作和音乐片段对进行相关性分析得到相关性系数矩阵，选择最优的相关性系数集合；

3)使用基于boost的机器学习方法将每个动作和音乐片段对作为训练样本，获得对动作和音乐片段对匹配程度进行评分的学习器；

4)将用户输入系统的音乐按照节奏特征切分为音乐片段；

5)用户输入系统使用动态规划算法综合考虑学习器给出的匹配分值以及前后动作片段的连贯性，选择最佳动作序列；

6)对动作序列进行动作对齐，动作变形以及动作平滑以优化结果。

2.根据权利要求1所诉的一种由音乐数据驱动的基于机器学习的舞蹈动作生成方法，其特征在于所述的对每一对动作和音乐片段对进行相关性分析得到相关性系数矩阵，选择最优的相关性系数集合步骤为：给定动作和音乐片段对(A_i，M_j)，A_i为i号音乐片段，M_j为j号动作片段，则A_i的特征q和M_j的特征p之间的相关性系数为： $C(p,q)=\frac{E(X-{\mathrm{\μ}}_X)E(Y-{\mathrm{\μ}}_Y)}{{\mathrm{\δ}}_X{\mathrm{\δ}}_Y},$ 其中，μ_X，μ_Y，δ_X，δ_Y分别为X和Y的期望和方差，E为期望值运算符，得到相关性系数矩阵后，选择最佳的相关性系数特征子集。

3.根据权利要求1所诉的一种由音乐数据驱动的基于机器学习的舞蹈动作生成方法，其特征在于，所述的使用基于boost的机器学习方法将每个动作和音乐片段对作为训练样本，获得对动作和音乐片段对匹配程度进行评分的学习器步骤为：该机器学习方法由7种基本学习器构成，针对不同的舞种选定最佳的基本学习器。数据库中的每个动作-音乐片段对构成一个训练样例，训练样例以相关性系数的形式表示，不同舞种的训练样例用于训练不同舞种的学习器；设动作和音乐片段对(A_i，M_j)，A_i为i号音乐片段，M_j为j号动作片段，M_i为原始数据库中与A_i对应的动作片段，则(A_i，M_j)的匹配程度误差分值为：S(A_i，M_j)＝1-exp(-Dist_m(M_i，M_j))。其中Dist_m(M_i，M_j)是动作片段M_i与M_j间的距离。

Images