CN110861086A

CN110861086A - 机器人弹奏钢琴的控制方法、装置、存储介质和机器人

Info

Publication number: CN110861086A
Application number: CN201911144217.9A
Authority: CN
Inventors: 田世权; 谢黎; 李明; 钟文涛; 高小云; 张天翼; 文辉
Original assignee: Gree Electric Appliances Inc of Zhuhai; Zhuhai Gree Intelligent Equipment Co Ltd
Current assignee: Gree Electric Appliances Inc of Zhuhai; Zhuhai Gree Intelligent Equipment Co Ltd
Priority date: 2019-11-20
Filing date: 2019-11-20
Publication date: 2020-03-06

Abstract

本发明提供了一种机器人弹奏钢琴的控制方法、装置、存储介质和机器人，所述方法包括：获取待弹奏曲目的乐谱信息；将所述乐谱信息进行格式转换，得到与所述乐谱信息相对应的音轨信息；根据所述音轨信息生成机器人弹奏的机械点位和每一机械点位对应的弹奏时间；控制所述机器人按照所述机械点位和每一机械点位对应的弹奏时间进行弹奏。本发明通过将乐谱格式转换成音轨后生成对应的机器人机械点位和弹奏时间，解决现有技术中人为手动进行点位示教面临的工作量大、步骤繁琐以及准确率低的问题，既能提高工作效率，又能保障演奏效果。

Description

机器人弹奏钢琴的控制方法、装置、存储介质和机器人

技术领域

本发明涉及机器人控制技术领域，尤其涉及一种机器人弹奏钢琴的控制方法、装置、存储介质和机器人。

背景技术

随着科技的发展，工业机器人广泛应用于各个社会领域，面向大众的服务型机器人逐渐成为一个重要分支，其中以音乐演奏型机器人为代表。音乐演奏型机器人除了实现音乐演奏的基本功能外，其对于服务型机器人的推广使用具有重要意义。

特别地，目前音乐演奏型机器人主要采用机器人末端加灵气机械手的方式进行钢琴演奏，而为了实现精准弹奏，通常需要事先完成每个机械手指与钢琴琴键之间的匹配，如果通过人为方式手动进行每个机械手指的点位示教，再根据曲目乐谱生成相应的机械点位，最后生成机器人末端在演奏中的移动位置，同时还要保证演奏节拍没有误差，将会使操作人员面临庞大的工作量，而且示教、调整过程相当繁琐，如果工作步骤出现错误，相应的点位信息较难修改。

因此，如何能够解放人力，快速、准确地生成机器人弹奏钢琴曲目时的机械点位是亟待解决的问题。

发明内容

鉴于上述问题，本发明提出了一种机器人弹奏钢琴的控制方法、装置、存储介质和机器人，以解决现有技术中通过机器人弹奏钢琴时，机器人点位示教工作繁琐、点位准确率低的问题。

本发明的一个方面，提供了一种机器人弹奏钢琴的控制方法，所述方法包括：

获取待弹奏曲目的乐谱信息；

将所述乐谱信息进行格式转换，得到与所述乐谱信息相对应的音轨信息；

根据所述音轨信息生成机器人弹奏的机械点位和每一机械点位对应的弹奏时间；

控制所述机器人按照所述机械点位和每一机械点位对应的弹奏时间进行弹奏。

可选地，所述根据所述音轨信息生成机器人弹奏的机械点位和每一机械点位对应的弹奏时间，包括：

确定与所述各个音符的弹奏点位相对应的琴键位置信息；

根据所述琴键位置信息以及所述各个音符的弹奏点位的时间间隔，确定所述机器人的各个机械手指对应的机械点位和每一机械点位对应的弹奏时间。

可选地，所述根据所述音轨信息生成机器人弹奏的机械点位和每一机械点位对应的弹奏时间，还包括：

根据所述机器人的各个机械手指对应的机械点位，确定所述机器人在弹奏各个机械点位时的位置信息。

可选地，所述根据所述音轨信息生成机器人弹奏的机械点位和每一机械点位对应的弹奏时间之后，所述方法还包括：

控制所述机器人按照所述机械点位和每一机械点位对应的弹奏时间进行演练；

将演练得到的音频数据与所述待弹奏曲目的标准音频数据进行比对，得到比对结果；

根据所述比对结果对各机械点位和/或对应的弹奏时间进行调整，以使所述演练得到的音频数据与所述待弹奏曲目的标准音频数据一致。

可选地，所述方法还包括：

根据每一机械点位对应的弹奏时间确定弹奏当前机械点位时机械手指的抬起动作和按键动作的执行时间。

本发明的另一方面，提供了一种机器人弹奏钢琴的控制装置，所述装置包括：

获取模块，用于获取待弹奏曲目的乐谱信息；

转换模块，用于将所述乐谱信息进行格式转换，得到与所述乐谱信息相对应的音轨信息；

生成模块，用于根据所述音轨信息生成机器人弹奏的机械点位和每一机械点位对应的弹奏时间；

第一控制模块，用于控制所述机器人按照所述机械点位和每一机械点位对应的弹奏时间进行弹奏。

可选地，所述生成模块，包括：

第一确定单元，用于确定与所述各个音符的弹奏点位相对应的琴键位置信息；

第二确定单元，用于根据所述琴键位置信息以及所述各个音符的弹奏点位的时间间隔，确定所述机器人的各个机械手指对应的机械点位和每一机械点位对应的弹奏时间。

可选地，所述生成模块，还包括：

第三确定单元，用于根据所述机器人的各个机械手指对应的机械点位，确定所述机器人在弹奏各个机械点位时的位置信息。

可选地，所述装置还包括：

第二控制模块，用于控制所述机器人按照所述机械点位和每一机械点位对应的弹奏时间进行演练；

比对模块，用于将演练得到的音频数据与所述待弹奏曲目的标准音频数据进行比对，得到比对结果；

调整模块，用于根据所述比对结果对各机械点位和/或对应的弹奏时间进行调整，以使所述演练得到的音频数据与所述待弹奏曲目的标准音频数据一致。

可选地，所述生成模块，还包括：

第四确定单元，用于根据每一机械点位对应的弹奏时间确定弹奏当前机械点位时机械手指的抬起动作和按键动作的执行时间。

此外，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法的步骤。

此外，本发明还提供了一种机器人，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述方法的步骤。

本发明实施例提供的机器人弹奏钢琴的控制方法、装置、存储介质和机器人，通过将获取的待弹奏曲目的乐谱信息格式转换成对应的音轨信息，进而根据所述音轨信息生成机器人弹奏的机械点位和每一机械点位对应的弹奏时间，实现控制机器人按照所述机械点位以及对应的弹奏时间进行钢琴弹奏。本发明通过将曲目乐谱格式转换成音轨后生成对应的机器人点位和弹奏时间，解决手动进行机器人点位示教所面临的工作量大、步骤繁琐以及点位准确率低的问题，能够快速、准确地生成机器人点位，保障机器人弹奏效果，还能够解放人力。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例的一种机器人弹奏钢琴的控制方法的流程示意图；

图2为本发明实施例的一种机器人弹奏钢琴的控制装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。

图1示意性示出了本发明一个实施例的机器人弹奏钢琴的控制方法的流程图。参照图1，本发明实施例提出的机器人弹奏钢琴的控制方法具体包括步骤S11～S14，如下所示：

S11、获取待弹奏曲目的乐谱信息。

具体地，本发明实施例应用于可根据控制指令实现目标动作的机器人，而机器人的类型和型号不做具体限定。优选地，机器人可接收外部控制指令，也可执行内部控制程序。

可选地，对于具体的待弹奏曲目不做限制，与之对应的乐谱可以是五线谱、简谱或点字谱等任一种乐谱形式。

S12、将所述乐谱信息进行格式转换，得到与所述乐谱信息相对应的音轨信息。

本实施例中，将获取的乐谱信息格式转换成与之对应的音轨信息，可采用例如Cakewalk等音乐软件进行格式转换。具体地，音轨由主旋律、和弦和伴奏等组成，可以把MIDI或者音频数据记录在特定的时间位置，包括了每个音符在时间轴中的位置。

S13、根据所述音轨信息生成机器人弹奏的机械点位和每一机械点位对应的弹奏时间。

S14、控制所述机器人按照所述机械点位和每一机械点位对应的弹奏时间进行弹奏。

本实施例中，根据音轨信息中包括的当前曲目中的音符信息，可以确定在当前乐器中与所述音符信息相对应的具体弹奏位置，本实施例具体指进行钢琴弹奏时，与各个音符相对应的琴键位置。同时，根据每个音符在时间轴中的位置信息，可以确定对应于当前音符的琴键敲击时间。

进一步地，适应于所选择的钢琴规格，根据已确定的待敲击的琴键位置和对应的敲击时间，可以得到机器人在进行弹奏时，弹奏动作所对应的机械点位和每一机械点位所对应的弹奏时间。

本发明通过将曲目乐谱格式转换成音轨后生成对应的机器人点位和弹奏时间，解决了手动进行机器人点位示教所面临的工作量大、步骤繁琐以及点位准确率低的问题，能够快速、准确地生成机器人点位，保障机器人弹奏效果，并解放了人力。

本发明的一个实施例中，步骤S13所述根据所述音轨信息生成机器人弹奏的机械点位和每一机械点位对应的弹奏时间，具体包括以下未在附图中示出的步骤S131～S132：

S131、确定与所述各个音符的弹奏点位相对应的琴键位置信息；

S132、根据所述琴键位置信息以及所述各个音符的弹奏点位的时间间隔，确定所述机器人的各个机械手指对应的机械点位和每一机械点位对应的弹奏时间。

具体地，各个音符的演奏通过对与其相对应的琴键进行一次敲击实现。本实施例中，机器人的每个机械手指都可独立完成一次琴键敲击动作，以弹奏出当前音符。

特别地，本实施例中，为使弹奏过程中机器人的每个机械手指能够尽量以最短的移动路径完成连续的或者断续的音符弹奏，根据与当前曲目中各个音符相对应的琴键位置和与该位置对应的弹奏时间点，并结合当前机器人的型号，例如机器人相对于钢琴的移动速度、机器人的机械手间距以及机械手指的数量和分布情况等，将各个音符合理分配给各个机械手指，由此可以避免因机械点位分配不合理导致在弹奏过程中机械手弹奏相邻两个音符时动作跨度过大、弹奏动作延迟而造成演奏跑调的问题。

本发明的一个具体实施例中，步骤S13所述根据所述音轨信息生成机器人弹奏的机械点位和每一机械点位对应的弹奏时间，还包括以下步骤：

本具体实施例中，确定机器人的各个机械手指对应的机械点位和每一机械点位对应的弹奏时间后，需要通过机器人相对于钢琴左右移动使各个机械手指在指定的时间点到达指定的琴键位置，因此，当各个机械手指进行某一音符的弹奏动作时，机器人也处于某一特定位置坐标。进一步地，为完成曲目弹奏，应根据机器人的各个机械手指对应的机械点位，确定所述机器人在弹奏各个机械点位时的位置信息。

在另一个具体实施例中，机器人位置不发生移动而机械手臂能够相对移动时，可根据机器人的各个机械手指对应的机械点位确定与之对应的机械手臂的位置坐标，以实现音符弹奏。

本发明的又一个实施例中，所述方法还包括根据每一机械点位对应的弹奏时间确定弹奏当前机械点位时机械手指的抬起动作和按键动作的执行时间。

具体地，各个机械手指在对应的机械点位都需要对当前对应的琴键进行一次敲击，一个完整的敲击动作包括机械手指的抬起和落下。考虑到机械手指从开始落下到敲击琴键需要一个动作过程和时间，本实施例还将根据每一个机械点位对应的弹奏时间确定负责当前机械点位的机械手指执行按键动作的时间，以确保机械手指在该弹奏时间点恰好完成琴键敲击动作。相应地，机械手指的抬起动作同理。特别地，若弹奏相邻两个音符需要机器人首先进行一次移动，且相邻两个弹奏时间间隔较小时，机器人需迅速完成移动，则为保护机械手指不与相邻琴键发生碰撞顺利抬起、落下，并确保准时完成对下一琴键的敲击，机械手指抬起动作和按键动作的执行时间和执行速度都应适应性调整。

本发明的一个实施例中，步骤S13所述根据所述音轨信息生成机器人弹奏的机械点位和每一机械点位对应的弹奏时间之后，所述方法还包括以下未在附图中示出的步骤S131’～S133’：

S131’、控制所述机器人按照所述机械点位和每一机械点位对应的弹奏时间进行演练。

S132’、将演练得到的音频数据与所述待弹奏曲目的标准音频数据进行比对，得到比对结果。

S133’、根据所述比对结果对各机械点位和/或对应的弹奏时间进行调整，以使所述演练得到的音频数据与所述待弹奏曲目的标准音频数据一致。

本实施例中，还将控制机器人按照已确定的机械点位和每一机械点位对应的弹奏时间对当前曲目进行演练弹奏，同时记录演练得到的音频数据，然后将该音频数据与当前曲目的标准音频数据进行对比，所述标准音频数据为在理想状态下机器人进行弹奏应得到的音频数据，其能够达到用户期望的弹奏效果，可选地，音频数据的格式不做具体限定，可实现音频数据的比对即可。

进一步地，根据所述比对结果对各机械手指负责的机械点位和/或对应的弹奏时间进行调整，或者对机器人的位置坐标进行调整，又或者对机械手指的抬起和/或按键动作的执行时间和执行速度进行调整以使演练得到的音频数据与对应的标准音频数据一致。优选地，可进行多次演练、音频数据比对和调整步骤以提高弹奏的精确度和弹奏效果。

对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

图2示意性示出了本发明一个实施例的机器人弹奏钢琴的控制装置的结构示意图。参照图2，本发明实施例的机器人弹奏钢琴的控制装置具体包括获取模块201、转换模块202、生成模块203和第一控制模块204，其中：

获取模块201，用于获取待弹奏曲目的乐谱信息；

转换模块202，用于将所述乐谱信息进行格式转换，得到与所述乐谱信息相对应的音轨信息；

生成模块203，用于根据所述音轨信息生成机器人弹奏的机械点位和每一机械点位对应的弹奏时间；

第一控制模块204，用于控制所述机器人按照所述机械点位和每一机械点位对应的弹奏时间进行弹奏。

进一步地，所述生成模块203，包括未在附图中示出的第一确定单元和第二确定单元，其中：

所述第一确定单元，用于确定与所述各个音符的弹奏点位相对应的琴键位置信息；

所述第二确定单元，用于根据所述琴键位置信息以及所述各个音符的弹奏点位的时间间隔，确定所述机器人的各个机械手指对应的机械点位和每一机械点位对应的弹奏时间。

进一步地，所述生成模块203，还包括未在附图中示出的第三确定单元，所述第三确定单元用于根据所述机器人的各个机械手指对应的机械点位，确定所述机器人在弹奏各个机械点位时的位置信息。

又进一步地，所述装置还包括未在附图中示出的第二控制模块、比对模块和调整模块，其中：

所述第二控制模块，用于控制所述机器人按照所述机械点位和每一机械点位对应的弹奏时间进行演练；

所述比对模块，用于将演练得到的音频数据与所述待弹奏曲目的标准音频数据进行比对，得到比对结果；

所述调整模块，用于根据所述比对结果对各机械点位和/或对应的弹奏时间进行调整，以使所述演练得到的音频数据与所述待弹奏曲目的标准音频数据一致。

更进一步地，所述生成模块203，还包括未在附图中示出的第四确定单元，所述第四确定单元用于根据每一机械点位对应的弹奏时间确定弹奏当前机械点位时机械手指的抬起动作和按键动作的执行时间。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

本发明实施例提供的机器人弹奏钢琴的控制方法、装置，通过将获取的待弹奏曲目的乐谱信息格式转换成对应的音轨信息，进而根据所述音轨信息生成机器人弹奏的机械点位和每一机械点位对应的弹奏时间，实现控制机器人按照所述机械点位以及对应的弹奏时间进行钢琴弹奏。本发明通过将曲目乐谱格式转换成音轨后生成对应的机器人点位和弹奏时间，解决手动进行机器人点位示教所面临的工作量大、步骤繁琐以及点位准确率低的问题，能够快速、准确地生成机器人点位，保障机器人弹奏效果，还能够解放人力。

此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法的步骤。

本实施例中，所述机器人弹奏钢琴的控制装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本发明实施例提供的机器人，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各个机器人弹奏钢琴的控制方法实施例中的步骤，例如图1所示的S11～S14。或者，所述处理器执行所述计算机程序时实现上述各机器人弹奏钢琴的控制装置实施例中各模块/单元的功能，例如图2所示的获取模块201、转换模块202、生成模块203和第一控制模块204。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述机器人弹奏钢琴的控制装置中的执行过程。例如，所述计算机程序可以被分割成获取模块201、转换模块202、生成模块203和第一控制模块204。

所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述机器人的控制中心，利用各种接口和线路连接整个机器人的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述机器人的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种机器人弹奏钢琴的控制方法，其特征在于，所述方法包括：

获取待弹奏曲目的乐谱信息；

2.根据权利要求1所述的方法，其特征在于，所述根据所述音轨信息生成机器人弹奏的机械点位和每一机械点位对应的弹奏时间，包括：

确定与所述各个音符的弹奏点位相对应的琴键位置信息；

3.根据权利要求2所述的方法，其特征在于，所述根据所述音轨信息生成机器人弹奏的机械点位和每一机械点位对应的弹奏时间，还包括：

4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述音轨信息生成机器人弹奏的机械点位和每一机械点位对应的弹奏时间之后，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.一种机器人弹奏钢琴的控制装置，其特征在于，所述装置包括：

获取模块，用于获取待弹奏曲目的乐谱信息；

7.根据权利要求6所述的装置，其特征在于，所述生成模块，包括：

8.根据权利要求7所述的装置，其特征在于，所述生成模块，还包括：

9.根据权利要求6-8任一项所述的装置，其特征在于，所述装置还包括：

10.根据权利要求6所述的装置，其特征在于，所述生成模块，还包括：

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5任一项所述方法的步骤。

12.一种机器人，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任一项所述方法的步骤。