CN108527376A - 控制机器人舞蹈动作的方法、装置、设备及介质 - Google Patents

Abstract

本发明属于智能机器人技术领域，提供了一种控制机器人舞蹈动作的方法、装置、设备及介质。该方法包括获取待伴随音乐的类别标签、时间长度和节奏时序，确定与类别标签匹配的目标舞蹈动作标签，根据时间长度，在目标舞蹈动作标签下进行序列选择，生成混合动作的动作序列，根据节奏时序，调整混合动作的节奏。本发明控制机器人舞蹈动作的方法、装置、设备及介质，能够赋予机器人根据音乐跳舞的特性，结合伴随音乐，控制机器人的舞蹈动作，提高娱乐性。

Description

控制机器人舞蹈动作的方法、装置、设备及介质

技术领域

本发明涉及智能机器人技术领域，具体涉及一种控制机器人舞蹈动作的方法、装置、设备及介质。

背景技术

目前，用于个人护理和陪伴的机器人越来越被普通消费者接受，具有巨大的产品市场。这类机器人的基本功能是与用户进行语音交互，陪伴用户聊天，开导用户，还有些个人护理陪伴机器人具有根据用户输入执行特定指令的作用，从早期的控制家居设备，到最近的帮用户预定机票、酒店、外卖、网购等，都已经有相关产品。

为了在已有产品和技术的基础上，提升个人护理和陪伴机器人的娱乐性，给普通用户带来更多乐趣。而现有技术中，并没有能够伴随音乐进行舞蹈的机器人。

如何赋予机器人根据音乐跳舞的特性，结合伴随音乐，控制机器人的舞蹈动作，提高娱乐性能，是本领域技术人员亟需解决的问题。

发明内容

针对现有技术中的缺陷，本发明提供了一种控制机器人舞蹈动作的方法、装置、设备及介质，能够赋予机器人根据音乐跳舞的特性，结合伴随音乐，控制机器人的舞蹈动作，提高娱乐性能。

第一方面，本发明提供一种控制机器人舞蹈动作的方法，该方法包括：获取待伴随音乐的类别标签、时间长度和节奏时序；

确定与类别标签匹配的目标舞蹈动作标签；

根据时间长度，在目标舞蹈动作标签下进行序列选择，生成混合动作的动作序列；

根据节奏时序，调整混合动作的节奏。

进一步地，每个链表数组包括舞蹈动作标签，在每个链表数组中，特定列表示动作类型，每行表示每种动作类型可选的动作序列；

确定与类别标签匹配的目标舞蹈动作标签，包括：

查询每个链表数据的舞蹈动作标签，确定与类别标签匹配的目标舞蹈动作标签；

将目标舞蹈动作标签对应的链表数组，作为目标链表数组；

根据时间长度，在目标舞蹈动作标签下进行序列选择，生成混合动作的动作序列，包括：

根据时间长度，在目标链表数组中确定动作类型，选择每种动作类型的具体动作，生成混合动作的动作序列。

基于上述任意控制机器人舞蹈动作的方法实施例，进一步地，获取待伴随音乐的类别标签、时间长度和节奏时序，包括：

接收用户点选的目标歌曲；

将目标歌曲作为索引，在数据库中进行查询，确定类别标签、时间长度和节奏时序。

进一步地，获取待伴随音乐的类别标签、时间长度和节奏时序，包括：

接收用户哼唱的音频；

或根据目标歌曲进行查询，获取查询到的音频；

对音频进行处理，确定类别标签、时间长度和节奏时序。

进一步地，对音频进行处理，确定类别标签、时间长度和节奏时序，包括：

依次对音频进行离散化处理、时频特性统计，确定特征向量；

根据特征向量，确定类别标签；

统计音频的时间长度；

根据音频，确定音频拟合曲线；

根据音频拟合曲线，确定节奏时序。

进一步地，接收用户哼唱的音频之后，将确定类别标签之前，该方法还包括：依次对音频进行预处理、傅里叶变换、滤波、取对数、离散余弦变换、一阶差分计算，生成特征向量。

基于上述任意控制机器人舞蹈动作的方法实施例，进一步地，该方法还包括：从开始动作数组中选择一个动作，作为开始动作；

从结束动作数组中选择一个动作，作为结束动作，机器人的动作包括开始动作、混合动作和结束动作。

第二方面，本发明提供一种控制机器人舞蹈动作的装置，该装置包括：音乐分析单元、标签匹配单元、动作序列生成单元和混合动作调整单元，音乐分析单元用于获取待伴随音乐的类别标签、时间长度和节奏时序；标签匹配单元用于确定与类别标签匹配的目标舞蹈动作标签；动作序列生成单元用于根据时间长度，在目标舞蹈动作标签下进行序列选择，生成混合动作的动作序列；混合动作调整单元用于根据节奏时序，调整混合动作的节奏。

第三方面，本发明提供一种控制机器人舞蹈动作的设备，该设备包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现上述控制机器人舞蹈动作的方法。

第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当计算机程序指令被处理器执行时实现上述控制机器人舞蹈动作的方法。

由上述技术方案可知，本实施例提供的控制机器人舞蹈动作的方法、装置、设备及介质，能够赋予机器人根据音乐跳舞的特性，确定伴随音乐的类别标签、时间长度和节奏时序，进而确定目标舞蹈动作标签、混合动作的动作序列和节奏，以控制机器人的舞蹈动作，实现舞蹈动作与伴随音乐的结合，提高娱乐性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1示出了本发明所提供的一种控制机器人舞蹈动作方法的方法流程图；

图2示出了本发明所提供的一种控制机器人舞蹈动作装置的连接示意图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

本发明实施例控制机器人舞蹈动作的方法中，所涉及的机器人包括具有实体的机器人及不具有实体的虚拟机器人。本发明涉及的机器人不应局限于全息显示或3D机器人，通过单面显示的虚拟机器人，如公交广告站牌、投射于楼宇外墙显示的虚拟机器人、利用光学的折射反射等进行显示的2D/3D机器人、车载娱乐系统显示的机器人、具有部分躯干、头部、四肢的机器人等都在本发明的保护范围之内。

第一方面，本发明实施例提供一种控制机器人舞蹈动作的方法，结合图1，该方法包括：

步骤S1，获取待伴随音乐的类别标签、时间长度和节奏时序。

步骤S2，确定与类别标签匹配的目标舞蹈动作标签。

步骤S3，根据时间长度，在目标舞蹈动作标签下进行序列选择，生成混合动作的动作序列。

步骤S4，根据节奏时序，调整混合动作的节奏，往往选择出来的混合动作的动作序列与音乐时长会有一定的差值，再就是存在同一类型的音乐播放速度不同的问题，为了更好地统一音频与动作，根据歌曲节奏调整预选动作的快慢。歌曲的节奏可以粗略地分为快、中、慢三个级别，也可以进行更加细致的划分。

由上述技术方案可知，本实施例提供的控制机器人舞蹈动作的方法，能够赋予机器人根据音乐跳舞的特性，确定伴随音乐的类别标签、时间长度和节奏时序，进而确定目标舞蹈动作标签、混合动作的动作序列和节奏，以控制机器人的舞蹈动作，实现舞蹈动作与伴随音乐的结合，提高娱乐性。

为了进一步提高本实施例控制机器人舞蹈动作的方法的准确性，在混合动作控制方面，每一类别的歌曲都会对应一个混合动作链表数组，或者矩阵，或者二维数组等。针对链表数组，本实施例控制机器人舞蹈动作的方法预先构建链表数组，每个链表数组包括舞蹈动作标签，在每个链表数组中，特定列表示动作类型，每行表示每种动作类型可选的动作序列。链表数组是通过链表将向量的第0位链接在一起，也就是在链表数组中的第一列表示的是动作类型，同一行的动作是该种类型可供选择的动作，具体如表1所示：

动作类型1	序列1	序列2	…	序列n-1	序列n
						动作类型2	序列1	序列2	…	序列n-1	序列n
…	序列1	序列2	…	序列n-1	序列n
						动作类型m-1	序列1	序列2	…	序列n-1	序列n
动作类型m	序列1	序列2	…	序列n-1	序列n

表1

在生成动作时，根据歌曲时长，在链表数组中选择混合动作的动作序列。

在确定与类别标签匹配的目标舞蹈动作标签时，具体为：

查询每个链表数据的舞蹈动作标签，确定与类别标签匹配的目标舞蹈动作标签。

将目标舞蹈动作标签对应的链表数组，作为目标链表数组。

根据时间长度，在目标舞蹈动作标签下进行序列选择，生成混合动作的动作序列时，具体为：根据时间长度，在目标链表数组中确定动作类型，选择每种动作类型的具体动作，生成混合动作的动作序列。

在此，本实施例控制机器人舞蹈动作的方法，能够确定与伴随音乐的类别标签匹配的链表，选择不同动作类型的动作，生成变化多样的动作序列，提高娱乐性。

在伴随音乐选择方面，本实施例控制机器人舞蹈动作的方法提供用户选择的方式，例如，接收用户点选的目标歌曲。

将目标歌曲作为索引，在数据库中进行查询，确定类别标签、时间长度和节奏时序，在此，预先构建的数据库存储每首歌曲的属性，即每首歌曲的类别标签、时间长度和节奏时序，以便于后续进行处理，生成动作序列，以控制机器人。

本实施例控制机器人舞蹈动作的方法还提供用户哼唱的方式，例如，接收用户哼唱的音频。

对音频进行处理，确定类别标签、时间长度和节奏时序。

在此，使用者可以即兴哼唱歌曲，本实施例控制机器人舞蹈动作的方法也能够对音频进行处理，确定类别标签、时间长度和节奏时序，以便于后续进行处理，生成动作序列，以控制机器人。

另外，针对用户点选的目标歌曲，将目标歌曲作为索引，在数据库中进行查询，若查询成功，即可确定类别标签、时间长度和节奏时序。若查询失败，则查询该目标歌曲所对应的音频，对查询到的音频进行处理，以确定类别标签、时间长度和节奏时序，同时，将类别标签、时间长度和节奏时序与该目标歌曲进行关联，以便于后续查询，更新完善数据库。

在音频处理方面，依次对音频进行离散化处理、时频特性统计，确定特征向量，根据特征向量，确定类别标签。

其中，机器学习模型是将已知类别标签的音频作为训练数据，训练得到的模型，该模型可以判别新输入未知类别标签的音频所对应的类别。

音频作为连续的信号，需要首先将其离散化，具体采用傅里叶变换或插值拟合的方法，然后计算该段音频对应的特征向量，具体采用概率计算，实际上就是统计，统计某一段音频的时频特性。

统计音频的时间长度。

根据音频，确定音频拟合曲线。例如，通过预处理，以便于降噪、平滑，再进行傅里叶变换、滤波等操作，得到离散的音频拟合曲线。

根据音频拟合曲线，确定节奏时序。例如，计算其功率谱密度、短时能量等参数，通过这些参数判断歌曲的节奏。

其中，针对特征向量，本实施例控制机器人舞蹈动作的方法还提供另一种计算方式，接收用户哼唱的音频之后，确定类别标签之前，该方法还能够依次对音频进行预处理、傅里叶变换、滤波、取对数、离散余弦变换、一阶差分计算，生成特征向量。其中，预处理的作用是降噪、平滑。

在此，本实施例控制机器人舞蹈动作的方法采用机器学习方式，对音频进行处理，采用多种方式，生成特征向量，确定类别标签，统计音频的时间长度，确定节奏时序，为后续生成动作序列提供可靠的信息支持。

在舞蹈动作生成方面，机器人的动作包括开始动作、混合动作和结束动作，针对混合动作，本实施例控制机器人舞蹈动作的方法根据链表数据进行控制，而针对开始动作和结束动作，本实施例控制机器人舞蹈动作的方法的具体实现过程如下：从开始动作数组中选择一个动作，作为开始动作。从结束动作数组中选择一个动作，作为结束动作，以完善机器人的舞蹈动作。

在实际应用过程中，对任一类型的歌曲，其开始动作和结束动作为两个独立的索引向量，向量中每一个位对应着一个开始的动作，向量中至少包含一位，向量的第0位不能为空，每次机器人生成动作时，都会从开始动作数组和结束动作数组分别选择，可以是随机选择，也可以根据产品定义按照规则选择，或者根据用户反馈更新规则，作为本次机器人生成的舞蹈动作的开始动作和结束动作。

第二方面，本发明实施例提供一种控制机器人舞蹈动作的装置，结合图2，该装置包括音乐分析单元1、标签匹配单元2、动作序列生成单元3和混合动作调整单元4，音乐分析单元1用于获取待伴随音乐的类别标签、时间长度和节奏时序。标签匹配单元2用于确定与类别标签匹配的目标舞蹈动作标签。动作序列生成单元3用于根据时间长度，在目标舞蹈动作标签下进行序列选择，生成混合动作的动作序列。混合动作调整单元4用于根据节奏时序，调整混合动作的节奏。

由上述技术方案可知，本实施例提供的控制机器人舞蹈动作的装置，能够赋予机器人根据音乐跳舞的特性，确定伴随音乐的类别标签、时间长度和节奏时序，进而确定目标舞蹈动作标签、混合动作的动作序列和节奏，以控制机器人的舞蹈动作，实现舞蹈动作与伴随音乐的结合，提高娱乐性。

第三方面，本发明实施例提供一种控制机器人舞蹈动作的设备，该设备包括至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现上述控制机器人舞蹈动作的方法。

由上述技术方案可知，本实施例提供的控制机器人舞蹈动作的设备，能够赋予机器人根据音乐跳舞的特性，确定伴随音乐的类别标签、时间长度和节奏时序，进而确定目标舞蹈动作标签、混合动作的动作序列和节奏，以控制机器人的舞蹈动作，实现舞蹈动作与伴随音乐的结合，提高娱乐性。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现上述控制机器人舞蹈动作的方法。

由上述技术方案可知，本实施例提供的计算机可读存储介质，能够赋予机器人根据音乐跳舞的特性，确定伴随音乐的类别标签、时间长度和节奏时序，进而确定目标舞蹈动作标签、混合动作的动作序列和节奏，以控制机器人的舞蹈动作，实现舞蹈动作与伴随音乐的结合，提高娱乐性。

本发明的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种控制机器人舞蹈动作的方法，其特征在于，包括：

获取待伴随音乐的类别标签、时间长度和节奏时序；

确定与所述类别标签匹配的目标舞蹈动作标签；

根据所述时间长度，在所述目标舞蹈动作标签下进行序列选择，生成混合动作的动作序列；

根据所述节奏时序，调整所述混合动作的节奏。

2.根据权利要求1所述控制机器人舞蹈动作的方法，其特征在于，

每个链表数组包括舞蹈动作标签，在每个链表数组中，特定列表示动作类型，每行表示每种动作类型可选的动作序列；

确定与所述类别标签匹配的目标舞蹈动作标签，包括：

查询每个链表数据的舞蹈动作标签，确定与所述类别标签匹配的目标舞蹈动作标签；

将所述目标舞蹈动作标签对应的链表数组，作为目标链表数组；

根据所述时间长度，在所述目标舞蹈动作标签下进行序列选择，生成混合动作的动作序列，包括：

根据所述时间长度，在目标链表数组中确定动作类型，选择每种动作类型的具体动作，生成混合动作的动作序列。

3.根据权利要求1所述控制机器人舞蹈动作的方法，其特征在于，

获取待伴随音乐的类别标签、时间长度和节奏时序，包括：

接收用户点选的目标歌曲；

将所述目标歌曲作为索引，在数据库中进行查询，确定所述类别标签、所述时间长度和所述节奏时序。

4.根据权利要求3所述控制机器人舞蹈动作的方法，其特征在于，

获取待伴随音乐的类别标签、时间长度和节奏时序，包括：

接收用户哼唱的音频；

或根据所述目标歌曲进行查询，获取查询到的音频；

对所述音频进行处理，确定所述类别标签、所述时间长度和所述节奏时序。

5.根据权利要求4所述控制机器人舞蹈动作的方法，其特征在于，

对所述音频进行处理，确定所述类别标签、所述时间长度和所述节奏时序，包括：

依次对所述音频进行离散化处理、时频特性统计，确定特征向量；

根据所述特征向量，确定类别标签；

统计所述音频的时间长度；

根据所述音频，确定音频拟合曲线；

根据所述音频拟合曲线，确定节奏时序。

6.根据权利要求5所述控制机器人舞蹈动作的方法，其特征在于，

接收用户哼唱的音频之后，将确定类别标签之前，该方法还包括：依次对所述音频进行预处理、傅里叶变换、滤波、取对数、离散余弦变换、一阶差分计算，生成特征向量。

7.根据权利要求1所述控制机器人舞蹈动作的方法，其特征在于，该方法还包括：从开始动作数组中选择一个动作，作为开始动作；

从结束动作数组中选择一个动作，作为结束动作，机器人的动作包括开始动作、混合动作和结束动作。

8.一种控制机器人舞蹈动作的装置，其特征在于，包括：

音乐分析单元，用于获取待伴随音乐的类别标签、时间长度和节奏时序；

标签匹配单元，用于确定与所述类别标签匹配的目标舞蹈动作标签；

动作序列生成单元，用于根据所述时间长度，在所述目标舞蹈动作标签下进行序列选择，生成混合动作的动作序列；

混合动作调整单元，用于根据所述节奏时序，调整所述混合动作的节奏。

9.一种控制机器人舞蹈动作的设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-7中任一项所述的方法。