CN106292424A - 针对人形机器人的音乐数据处理方法及装置 - Google Patents

Abstract

本发明提供一种针对人形机器人的音乐数据处理方法，所述方法包括以下步骤：接收用户输入的多模态数据并解析，获取表演曲目对应的歌词；根据所述歌词搜索对应的歌曲，生成歌曲对应的动作输出模型；结合所述动作输出模型进行多模态输出。根据本发明的机器人跳舞不是机械地事先预设、编排好动作，而是在音乐元素多特征信息融合基础上，建立、训练机器人运动模型，输出恰当的舞蹈动作。本发明在图灵操作系统的框架下，实现了例如通过歌词对应的歌曲的音乐特征提取、建立模型、训练模型，从而解决了仿人形机器人伴舞难题。

Description

针对人形机器人的音乐数据处理方法及装置

技术领域

本发明涉及智能机器人领域，具体地说，涉及一种针对人形机器人的音乐数据处理方法及装置。

背景技术

目前，音乐的歌词、曲目播放可通过软件来实现。比如，百度主页的音乐功能模块就是软件实现的一个例子。而人跳舞、伴舞则通过线下(演唱会、节目演出)实现。这样会使得音乐上的视觉、听觉完整娱乐性表现很弱。

针对机器人而言，最难的问题是，在目前的技术实现中机器人伴舞都是根据特定曲目事先预设好的对应动作去体现，而不能主动实现任意歌曲的舞蹈动作。

为此，需要一种能够使机器人根据用户需求对任意歌曲进行舞蹈动作输出的技术方案。

发明内容

本发明的目的在于为解决现有技术的上述问题，提供了一种针对人形机器人的音乐数据处理方法。该方法包括以下步骤：

接收用户输入的多模态数据并解析，获取表演曲目对应的歌词；

根据所述歌词搜索对应的歌曲，生成歌曲对应的动作输出模型；

结合所述动作输出模型进行多模态输出。

根据本发明的一个实施例，在针对人形机器人的音乐数据处理方法中，根据所述表演曲目信息获取对应的歌曲的步骤还包括提取所述歌曲的多维度音乐元素特征参数，并通过融合所述多维度音乐元素特征参数来训练生成动作输出模型。

根据本发明的一个实施例，在针对人形机器人的音乐数据处理方法中，所述多维度音乐元素特征参数包括歌曲的节拍、旋律、歌词含义、曲风、预设动作。

根据本发明的一个实施例，在针对人形机器人的音乐数据处理方法中，在生成所述动作输出模型时，根据身体运动行为建立机器人运动的动作库。

根据本发明的一个实施例，在针对人形机器人的音乐数据处理方法中，所述动作库包括：所述机器人硬件肢体方向及运行路线数据。

根据本发明的另一个方面，还提供了一种针对人形机器人的音乐数据处理装置。该装置包括以下单元：

表演曲目解析单元，其用以接收用户输入的多模态数据并解析，获取表演曲目对应的歌词；

动作输出模型生成单元，其用以根据所述歌词搜索对应的歌曲，生成歌曲对应的动作输出模型；

多模态输出单元，其用以结合所述动作输出模型进行多模态输出。

根据本发明的一个实施例，在针对人形机器人的音乐数据处理装置中，用以根据所述表演曲目信息获取对应的歌曲的动作输出模型生成单元还包括用以提取所述歌曲的多维度音乐元素特征参数，通过融合所述多维度音乐元素特征参数来训练生成动作输出模型的单元。

根据本发明的一个实施例，在针对人形机器人的音乐数据处理装置中，所述多维度音乐元素特征参数包括歌曲的节拍、旋律、歌词含义、曲风、预设动作。

根据本发明的一个实施例，在针对人形机器人的音乐数据处理装置中，在所述动作输出模型生成单元还包括根据身体运动行为建立机器人运动的动作库的单元。

根据本发明的一个实施例，在针对人形机器人的音乐数据处理装置中，所述动作库包括：所述机器人硬件肢体方向及运行路线数据。

本发明的有利之处在于，根据本发明的机器人跳舞不是机械地事先预设、编排好动作，而是在音乐元素多特征信息融合基础上，建立、训练机器人运动模型，输出恰当的舞蹈动作。本发明在图灵操作系统的框架下，实现了例如通过歌词对应的歌曲的音乐特征提取、建立模型、训练模型，从而解决了仿人形机器人伴舞难题。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1显示了根据本发明进行舞蹈动作输出的总体流程图；

图2显示了音乐特征信息的分类表；以及

图3显示了根据本发明的机器人舞蹈动作输出的装置结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明实施例作进一步地详细说明。

在目前的技术实现中，机器人伴舞都是根据特定曲目事先预设好的对应动作去体现。而不能够自动根据要表演的曲目进行即兴表演。本发明旨在实现该目的。

本发明的方法主要是在机器人操作系统中实现的，采用的是现有的机器人操作系统架构。如图1所示，其中显示了一种现有技术中的机器人操作系统的体系架构的框图。在机器人操作系统上植入各种应用程序APP，从而实现机器人的各种功能性，如多媒体播放以及伴舞功能。具体到本发明而言，需要在操作系统中植入用于根据用户以多模态方式输入的歌词来自动进行舞蹈动作输出的程序块。

本发明提供了一种基于用户输入的歌词来进行仿人形机器人伴舞的方法。通过该方法，用户采用多种方式如语音、文本方式输入的歌唱可被人形机器人检测、分析、匹配，并通过关键特征构建出与该歌词对应的歌曲最匹配的舞蹈动作。

例如，当用户说出一段歌词，机器人检测到并通过语音识别技术识别出对应的文本，然后对该句(段)歌词与歌曲库进行匹配，匹配到具体歌曲后，根据该歌曲的节奏、旋律、和声、曲风、歌词含义、预设动作等音乐元素，在机器人动作库里检索出最佳动作，并串联成该首歌曲的舞蹈动作。

下面介绍其具体实现。本发明的方法主要通过计算机系统而实现。因此，实现本发明的方法的计算机程序可以在例如上述操作系统提供的平台上进行开发。如图2所示，其中显示了根据本发明的一个实施例的用于根据歌词识别来使智能机器人进行舞蹈动作输出的方法的流程图。

在该图中，本发明的方法开始于步骤S101。在步骤S101中，机器人接收用户输入的多模态数据并进行解析，获取待表演曲目的歌词。

一般情况下，用户输入的多模态数据包括语音输入数据、动作输入数据、表情情感输入数据。然而，在本发明中的多模态数据中，它主要包括声音输入数据或者文本输入数据。歌词获取方法可以通过语音输入或者写成文字给机器人看，或者机器人对当前播放的歌曲进行歌词提取等方式。

例如，声音输入数据包括用户说出或唱出的歌词。或者，也可以是机器人从输入的多模态数据中解析出歌词，从而在记忆库中搜索并确定下一步要进行伴舞的曲目名称。如果用户输入的仅是歌词，例如歌曲的经典歌词，机器人可以在搜索到对应于具有该歌词的待表演曲目之后同时进行播放。

接下来，在步骤S102中，机器人对所获取的歌词进行搜索，确定其所属的曲目。在此过程中，机器人需要访问自身的记忆库。一般地，该记忆库中的某个特定区域(如音乐库)已经预先存储了大量的流行歌曲或者经典乐曲。对应于这些曲目，机器人在记忆库中也有专门保存动作元素的动作库，其中会有特定的标记以使这些动作与特定旋律的音乐片段匹配。

在步骤S103中，机器人根据识别出的所述曲目提取其中的音乐特征参数。在音乐元素特征提取中，对识别出来的曲目分帧处理提取其节拍、旋律、歌词含义、曲风、预设定动作等特征信息的提取。如图3所示，其中显示了音乐特征的分类。在一些实例中，节拍这一参数可以忽略。

接下来，机器人系统会将这些多维度的音乐特征参数融合到一基本的动作模型中，并进行训练，从而生成与确定出的待表演曲目相适应的动作输出模型。在生成动作输出模型时，根据身体运动行为建立机器人运动的动作库。所说的动作库包括机器人硬件肢体方向数据和运动路线数据。具体说，系统根据音乐元素特征创建相应适合机器人的肢体动作，创建动作模型并训练，输出适合机器人伴舞的最佳动作。

任何时候，只要机器人检测到有代表歌词含义的语音或文本输入，机器人便可以通过音乐特征提取、建立、训练动作模型输出伴舞动作。机器人系统根据其胳膊、手腕、腿、头部的前后左右、对角线、斜向上等多方向的转动或移动，跳跃、弯曲、前擦、回踏、旋转、滚动、转弯等身体运动行为建立适合机器人运动的动作库，并根据音乐元素特征创建运动模型。

而针对没有肢体只有头部和身体的球状机器人，根据音乐元素特征可建立跳跃、滚动、扭头的动作。针对具有头部、肢体和身体主干的人形机器人，根据音乐元素或多元素特征的融合，可实现前后左右、转弯、旋转、前擦、回踏、弯曲等丰富逼真的舞蹈动作。

在机器人动作模型建立和训练学习过程中，可训练出最优动作模型，从而实现最佳舞蹈设计表演。其中，音乐元素组合越多，特征信息越丰富，动作模型越完善，舞蹈表达更贴切到位。

机器人自动伴舞的场景如下：

1)日常生活中，人们(老人、成人、小孩)有意或无意说出一两句或一首歌曲的歌词时，仿人形机器人能够进行歌曲识别，匹配出最佳舞蹈动作来进行伴舞展示，为家庭生活提供乐趣同时有助于培养激发人们对音乐艺术的爱好；

2)娱乐演出中，根据歌手演唱的任意曲目(已有曲目、最新创作)可以快速识别并演示匹配的舞蹈动作。

最后，在步骤S104中，系统结合训练优化的动作输出模型进行多模态的输出。根据本发明，多模态的输出不仅仅指舞蹈动作的输出，还可包括多媒体播放输出、语音输出以及表情输出(在舞蹈表演中，表情也是其中一个很重要的因素)等等。

本发明提出的通过歌词识别使仿人形机器人伴舞的方法，打通了人们在音乐领域从歌词、曲目到伴舞、舞蹈视听完整的身临其境的体验。本发明克服了人们不知道旋律，只记得几句歌词的情况下，用语音表述的方式将歌词告诉机器人，机器人自动识别出对应曲目，然后对曲目进行音乐元素特征提取创建动作模型，并训练，实现音乐的播放和最佳舞蹈动作的表达，提升音乐视听感受。

由于本发明的方法描述的是在计算机系统中实现的。该计算机系统例如可以设置在机器人的控制核心处理器中。例如，本文所述的方法可以实现为能以控制逻辑来执行的软件，其由机器人控制系统中的CPU来执行。本文所述的功能可以实现为存储在非暂时性有形计算机可读介质中的程序指令集合。当以这种方式实现时，该计算机程序包括一组指令，当该组指令由计算机运行时其促使计算机执行能实施上述功能的方法。可编程逻辑可以暂时或永久地安装在非暂时性有形计算机可读介质中，例如只读存储器芯片、计算机存储器、磁盘或其他存储介质。除了以软件来实现之外，本文所述的逻辑可利用分立部件、集成电路、与可编程逻辑设备(诸如，现场可编程门阵列(FPGA)或微处理器)结合使用的可编程逻辑，或者包括它们任意组合的任何其他设备来体现。所有此类实施例旨在落入本发明的范围之内。

因此，根据本发明的另一个方面，还提供了一种通过歌词识别来使机器人进行舞蹈动作输出的装置300。如图3所示，通过歌词识别来使机器人进行舞蹈动作输出的装置300包括以下单元：

表演曲目解析单元301，其用以接收用户输入的多模态数据并解析，获取表演曲目对应的歌词；

曲目识别单元302，根据歌词识别出对应的表演曲目；

动作输出模型生成单元303，其用以根据所述表演曲目提取音乐特征参数，并生成表演曲目对应的动作输出模型；

多模态输出单元304，其用以结合所述动作输出模型进行多模态输出。

根据本发明的针对人形机器人的音乐数据处理装置，在用以根据所述表演曲目信息获取对应的歌曲的动作输出模型生成单元中，提取所述歌曲的多维度音乐元素特征参数，通过融合所述多维度音乐元素特征参数来训练生成动作输出模型。

根据本发明的针对人形机器人的音乐数据处理装置，所述多维度音乐元素特征参数包括歌曲的节拍、旋律、歌词含义、曲风、预设动作。

根据本发明的针对人形机器人的音乐数据处理装置，在所述动作输出模型生成单元中，还包括根据身体运动行为建立机器人运动的动作库的单元305。

根据本发明的通过歌词信息识别来使机器人进行舞蹈动作输出的装置300，其中的动作库包括机器人硬件肢体方向数据和运动路线数据。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种针对人形机器人的音乐数据处理方法，其特征在于，所述方法包括以下步骤：

接收用户输入的多模态数据并解析，获取表演曲目对应的歌词；

根据所述歌词搜索对应的歌曲，生成歌曲对应的动作输出模型；

结合所述动作输出模型进行多模态输出。

2.如权利要求1所述的针对人形机器人的音乐数据处理方法，其特征在于，在根据所述表演曲目信息获取对应的歌曲的步骤中，提取所述歌曲的多维度音乐元素特征参数，通过融合所述多维度音乐元素特征参数来训练生成动作输出模型。

3.如权利要求2所述的针对人形机器人的音乐数据处理方法，其特征在于，所述多维度音乐元素特征参数包括歌曲的节拍、旋律、歌词含义、曲风、预设动作。

4.如权利要求2所述的针对人形机器人的音乐数据处理方法，其特征在于，在生成所述动作输出模型时，根据身体运动行为建立机器人运动的动作库。

5.如权利要求4所述的针对人形机器人的音乐数据处理方法，其特征在于，所述动作库包括：所述机器人硬件肢体方向及运行路线数据。

6.一种针对人形机器人的音乐数据处理装置，其特征在于，所述装置包括以下单元：

表演曲目解析单元，其用以接收用户输入的多模态数据并解析，获取表演曲目对应的歌词；

动作输出模型生成单元，其用以根据所述歌词搜索对应的歌曲，生成歌曲对应的动作输出模型；

多模态输出单元，其用以结合所述动作输出模型进行多模态输出。

7.如权利要求6所述的针对人形机器人的音乐数据处理装置，其特征在于，在用以根据所述表演曲目信息获取对应的歌曲的动作输出模型生成单元中，提取所述歌曲的多维度音乐元素特征参数，通过融合所述多维度音乐元素特征参数来训练生成动作输出模型。

8.如权利要求7所述的针对人形机器人的音乐数据处理装置，其特征在于，所述多维度音乐元素特征参数包括歌曲的节拍、旋律、歌词含义、曲风、预设动作。

9.如权利要求7所述的针对人形机器人的音乐数据处理装置，其特征在于，在所述动作输出模型生成单元中，还包括根据身体运动行为建立机器人运动的动作库的单元。

10.如权利要求9所述的针对人形机器人的音乐数据处理装置，其特征在于，所述动作库包括：所述机器人硬件肢体方向及运行路线数据。