CN117321675A - 乐谱制作装置、训练装置、乐谱制作方法以及训练方法 - Google Patents

Abstract

乐谱制作装置具备接受部以及推定部，接受部接受由多个音符构成的音符串。推定部使用训练完毕模型，推定用于制作乐谱的各音符以及属性信息。训练完毕模型是学会了由多个参考音符构成的参考音符串、与用于制作乐谱的各参考音符以及参考属性信息之间的输入输出关系的机器学习模型。训练装置具备第一取得部、第二取得部以及构建部。第一取得部取得参考音符串。第二取得部取得各参考音符以及参考属性信息。构建部构建训练完毕模型。

Description

乐谱制作装置、训练装置、乐谱制作方法以及训练方法

技术领域

本发明涉及用于制作乐谱的乐谱制作装置、训练装置、乐谱制作方法以及训练方法。

背景技术

作为制作乐谱的技术，例如公知有专利文献1或专利文献2。在专利文献1中记载有对MIDI(乐器数字接口(Musical Instrument Digital Interface))形式的自动演奏数据进行分析而生成乐谱显示数据。在专利文献2中记载了从标准MIDI文件等音乐数据对象提取音符的特性，基于音符的特性而判断关联的音符的音节，根据音符的特性，生成视觉上的乐谱。

现有技术文献

专利文献

专利文献1：日本特开2005-195827号公报

专利文献2：日本特表2018-533076号公报

发明内容

发明要解决的课题

实用的乐谱不仅记载有音符，还记载有音符的各种属性信息。然而，在专利文献1或专利文献2的技术中，无法从MIDI数据推定属性信息。因此，难以制作实用的乐谱。

本发明的目的在于提供能够制作实用的乐谱的乐谱制作装置、训练装置、乐谱制作方法以及训练方法。

用于解决课题的手段

根据本发明的一方面的乐谱制作装置具备：接受部，接受由多个音符构成的音符串；以及推定部，使用训练完毕模型，推定用于制作乐谱的各音符以及属性信息，训练完毕模型是学会了由多个参考音符构成的参考音符串、与用于制作乐谱的各参考音符以及参考属性信息之间的输入输出关系的机器学习模型。

根据本发明的另一方面的乐谱制作装置具备：接受部，接受包含音符、声部以及节拍的信息的演奏用的数据即输入音符令牌串；推定部，使用训练完毕模型，根据输入音符令牌串推定乐谱令牌串，其中，该训练完毕模型进行了如下的学习，即，将图像乐谱变为包含音符描绘、属性以及小节的信息的乐谱元素令牌串，并根据乐谱元素令牌串制作学习用音符令牌串，以学习用音符令牌串作为输入并以乐谱令牌作为输出的学习；以及制作部，根据乐谱令牌串制作图像乐谱。

根据本发明的又另一方面的训练装置具备：第一取得部，取得由多个参考音符构成的参考音符串；第二取得部，取得用于制作乐谱的各参考音符以及参考属性信息；以及构建部，构建学会了参考音符串与、各参考音符以及参考属性信息之间的输入输出关系的训练完毕模型。

根据本发明的又另一方面的乐谱制作方法通过计算机执行如下操作：接受由多个音符构成的音符串；以及使用训练完毕模型，推定用于制作乐谱的各音符以及属性信息，训练完毕模型是学会了由多个参考音符构成的参考音符串、与用于制作乐谱的各参考音符以及参考属性信息之间的输入输出关系的机器学习模型。

根据本发明的又另一方面的训练方法通过计算机执行如下操作：取得由多个参考音符构成的参考音符串；取得用于制作乐谱的各参考音符以及参考属性信息；以及构建学会了参考音符串、与各参考音符以及参考属性信息之间的输入输出关系的训练完毕模型。

发明的效果

根据本发明，能够制作实用的乐谱。

附图说明

图1是示出本发明的一实施方式所涉及的包含乐谱制作装置以及训练装置的处理系统的结构的框图。

图2是示出各训练数据中的学习用音符令牌串的一例的图。

图3是通过图2的学习用音符令牌串而示出的钢琴卷轴。

图4是示出各训练数据中的乐谱元素令牌串的一例的图。

图5是通过图4的乐谱元素令牌串而示出的乐谱。

图6是示出各训练数据中的乐谱元素令牌串的其他例的图。

图7是示出记述音部的乐谱元素令牌串的其他例的图。

图8是示出记述音部的乐谱元素令牌串的其他例的图。

图9是示出记述声部的乐谱元素令牌串的一例的图。

图10是示出训练装置以及乐谱制作装置的结构的框图。

图11是示出图像乐谱的一例的图。

图12是示出由图10的训练装置进行的训练处理的一例的流程图。

图13是示出由图10的乐谱制作装置进行的乐谱制作处理的一例的流程图。

图14是用于说明其他实施方式中的接受部的动作的图。

具体实施方式

(1)处理系统的结构

以下，使用附图，对本发明的实施方式所涉及的乐谱制作装置、训练装置、乐谱制作方法以及训练方法详细地进行说明。图1是示出本发明的一实施方式所涉及的包含乐谱制作装置以及训练装置的处理系统的结构的框图。如图1所示，处理系统100具备RAM(随机存取存储器)110、ROM(只读存储器)120、CPU(中央运算处理装置)130、存储部140、操作部150以及显示部160。

处理系统100通过个人计算机、平板终端或智能手机等计算机实现。或者，处理系统100也可以通过利用以太网等通信路径而连接的多个计算机的共同动作来实现，也可以通过电子钢琴等具备演奏功能的电子乐器来实现。

RAM110、ROM120、CPU130、存储部140、操作部150以及显示部160与总线170连接。通过RAM110、ROM120以及CPU130构成训练装置10以及乐谱制作装置20。在本实施方式中，训练装置10和乐谱制作装置20通过公共的处理系统100构成，但也可以由单独的处理系统构成。

RAM110例如由易失性存储器构成，并用作CPU130的作业区域。ROM120例如由非易失性存储器构成，存储训练程序以及乐谱制作程序。CPU130通过在RAM110上执行存储于ROM120的训练程序来进行训练处理。此外，CPU130通过在RAM110上执行存储于ROM120的乐谱制作程序来进行乐谱制作处理。对于训练处理以及乐谱制作处理的详情将后述。

训练程序或乐谱制作程序也可以不存储于ROM120而存储于存储部140。或者，训练程序或乐谱制作程序也可以以存储于计算机可读取的存储介质的方式被提供，并安装于ROM120或存储部140。或者，在处理系统100与因特网等网络连接的情况下，从该网络上的服务器(包含云服务器。)分发的训练程序或乐谱制作程序也可以安装于ROM120或存储部140。

存储部140包含硬盘、光盘、磁盘或存储卡等存储介质，存储训练完毕模型M以及多个训练数据D。训练完毕模型M或各训练数据D也可以不存储于存储部140，而存储于计算机可读取的存储介质。或者，在处理系统100与网络连接的情况下，训练完毕模型M或各训练数据D也可以存储于该网络上的服务器。

训练完毕模型M是为了推定用于制作乐谱的各音符以及属性信息而被训练的机器学习模型，使用多个训练数据D而构建。训练数据D表示参考音符串与各参考音符以及参考属性信息的组。参考音符串例如作为由能够从MIDI生成的多个参考音符构成的学习用音符令牌串(token string)而示出。各参考音符以及参考属性信息作为乐谱元素令牌串而示出。

训练数据D也可以是表示后述的图5的图像乐谱的图像数据。在这种情况下，根据训练数据D所表示的图像乐谱制作学习用音符令牌串以及乐谱元素令牌串。训练完毕模型M通过学会学习用音符令牌串与乐谱元素令牌串之间的输入输出关系而构建。以下，对学习用音符令牌串以及乐谱元素令牌串的详情进行说明。

(2)学习用音符令牌串

在本实施方式中，在学习用音符令牌串中除了包含参考音符串之外，还包含声部(part)以及节拍构造。图2是示出各训练数据D中的学习用音符令牌串的一例的图。图3是通过图2的学习用音符令牌串A而示出的钢琴卷轴(Piano roll)。

如图2所示，学习用音符令牌串A通过包含基本上按时间序列依次排列的令牌A0～A24的多个令牌而记述。各令牌是将音乐元素符号化的，一部分令牌具有属性。令牌的属性记述于该令牌的后半部分(下划线之后)。图2的学习用音符令牌串A是摘录了曲子的开头的2小节的量的数据。

令牌A0表示声部。作为令牌A0，“R”以及“L”分别表示右手以及左手的声部。在本例中，在“R”之后配置右手的令牌串。其后配置“L”，在“L”之后配置左手的令牌串。“R”以及右手的令牌串也可以配置于左手的令牌串之后。此外，虽然令牌A0配置在学习用音符令牌串A中的开头即参考音符串(令牌A1～A24)之前，但也可以配置于学习用音符令牌串A中的任意位置。在不存在声部的区别的情况下，学习用音符令牌串A不包含令牌A0。

令牌A1～A24与参考音符串对应。参考音符串中的参考音符通过音高和音值的组而示出。音高通过令牌A1、A3等中的“note”的属性而记述。音值通过令牌A2、A4等中的“len”的属性而记述。在图2的例子中，音高为“73”且36个单位时间的参考音符通过令牌A1、A2的组而示出，音高为“69”且36个单位时间的参考音符通过令牌A3、A4的组而示出。另外，在图3的钢琴卷轴中，键“C5”与音高“72”对应。

“bar”、“beat”以及“pos”是表示节拍构造的令牌。在学习用音符令牌串A中，通过“bar”划分小节，通过“beat”划分拍。此外，参考音符的拍内的位置通过“pos”的属性而记述。在图2的例子中，1小节为4拍。此外，1拍的长度为12个单位。

从令牌A1至令牌A12的一部分(令牌A12的6个单位长度的量)表示第一小节的参考音符串。因此，令牌A1～A12通过令牌A1之前的“bar”和令牌A12之后的“bar”而划分为小节。此外，第一小节通过令牌A4之后的3个“beat”而划分为拍。同样地，从令牌A12的剩余的部分起至令牌A24的一部分(令牌A24的6个单位长度的量)表示第二小节的参考音符串。

(3)乐谱元素令牌串

在本实施方式中，在乐谱元素令牌串中包含用于制作图像乐谱的音符描绘、属性以及小节的信息。图4是示出各训练数据D中的乐谱元素令牌串的一例的图。图5是通过图4的乐谱元素令牌串B而示出的乐谱。

如图4所示，乐谱元素令牌串B通过包含基本上按时间序列依次排列的令牌B1～B38的多个令牌而记述。与学习用音符令牌串A的令牌同样地，一部分的令牌具有属性。令牌的属性记述于该令牌的后半部分。此外，与学习用音符令牌串A同样地，乐谱元素令牌串B也可以包含表示声部的“R”以及“L”的令牌。

在乐谱元素令牌串B中，也通过“bar”来划分小节。在图4的例子中，由令牌B1之前的“bar”以及令牌B15之后的“bar”划分出的范围与第一小节对应。因此，令牌B1～B15与图2的学习用音符令牌串A的第一小节对应。同样地，由令牌B16之前的“bar”以及令牌B38之后的“bar”划分出的范围与第二小节对应。因此，令牌B16～B38与学习用音符令牌串A的第二小节对应。

在乐谱元素令牌串B中，参考音符串中的参考音符也通过音高和音值的组而示出。音高通过“note”的属性来记述，音值通过“len”的属性来记述。另外，虽然在学习用音符令牌串A中，“len_12”相当于1拍，但在乐谱元素令牌串B中，“len_1”相当于1拍。参考音符的符干的方向通过“stem”属性而记述。在“stem”的属性为“down”的情况下，符干被描绘为从符头向下延伸。另一方面，在“stem”的属性为“up”的情况下，符干被描绘为从符头向上延伸。

在图4的例子中，令牌B3～B6表示图5的参考音符N1，令牌B7～B10表示参考音符N2，令牌B11～B14表示参考音符N3，令牌B16～B19表示参考音符N4。令牌B21～B24表示参考音符N5，令牌B26～B29表示参考音符N6，令牌B30～B33表示参考音符N7，令牌B34～B37表示参考音符N8。在令牌B9、B13等中，“len”的属性通过1/2等分数来记述，但也可以通过0.5等小数来记述。

参考音符串中的参考休止符通过“rest”令牌来记述。参考休止符的音值与参考音符同样地，通过“len”的属性来记述。通过使用“beam”令牌，能够将8分音符或16分音符等多个参考音符用符杠来连接。符杠的开始位置以及结束位置分别通过“beam”的属性“start”以及“stop”而记述。

图6是示出各训练数据D中的乐谱元素令牌串B的其他例的图。在图6的上部示出乐谱元素令牌串B的一部分，在下部示出相当于上部的乐谱元素令牌串B的图像乐谱。在后述的图7～图9中也同样。图6的乐谱元素令牌串B中的令牌B7～B14与图4的乐谱元素令牌串B的令牌B7～B14相同。

如图6所示，在令牌B7之前配置有“beam_start”，在令牌B14之后配置有“beam_stop”。即，与参考音符N2对应的令牌B7～B10、和与参考音符N3对应的令牌B11～B14被“beam_start”和“beam_stop”夹着。由此，如图6的单点划线所示那样，在图像乐谱中，参考音符N2和参考音符N3通过符杠而连接。

(4)参考属性信息

乐谱元素令牌串B除了包含用于上述的音符描绘以及休止符描绘的令牌之外，还包含将调号、音值的分割以及结合、音部或声部作为参考属性信息而记述的令牌。以下，对乐谱元素令牌串B中的参考属性信息的具体例进行说明。作为记述调号、音值的分割以及结合、以及音部的乐谱元素令牌串B的说明，参照图4以及图5。

如图4的令牌B2所示那样，调号通过“key”令牌来记述。调号的种类通过“key”的属性来记述。例如，升号以及还原号分别通过“key”的属性“sharp”以及“natural”来记述。此外，调号的数量通过“key”的进一步的属性来记述。因此，通过令牌B2，记述图5的由单点划线围起的3个升号。记述调号的令牌出现在图像乐谱中的段的开头以及调号的变更位置。

音值的分割以及结合通过图5的由双点划线围起的演奏符号延音线来表示。如图4的令牌B15、B20、B25、B38所示那样，演奏符号延音线通过“tie”令牌来记述。演奏符号延音线的开始位置以及结束位置分别通过“tie”的属性“start”以及“stop”来记述。

如图4的令牌B1所示那样，音部符号通过“clef”令牌来记述。音部符号的种类通过“clef”的属性来记述。例如，高音谱号以及低音谱号分别通过“clef”的属性“treble”以及“bass”来记述。因此，通过令牌B1，作为图5的音部符号C而记述高音谱号。记述音部符号的令牌出现在图像乐谱中的段的开头以及音部符号的变更位置。

图7以及图8是示出记述音部的乐谱元素令牌串B的其他例的图。图7的由单点划线围起的高一个八度的八度线通过“8va”令牌来记述。图8的由单点划线围起的低一个八度的八度线通过“8vb”的令牌来记述。八度线的开始位置以及结束位置分别通过“8va”或“8vb”的属性“start”以及“stop”来记述。

图9是示出记述声部的乐谱元素令牌串B的一例的图。图9的由单点划线围起的一方的声部的开始位置以及结束位置分别通过一组“voice”以及“/voice”的令牌来记述。图9的由双点划线围起的另一方的声部的开始位置以及结束位置分别通过在上述的一组“voice”以及“/voice”之后配置的另一组“voice”以及“/voice”的令牌来记述。

(5)训练装置

图10是示出训练装置10以及乐谱制作装置20的结构的框图。如图10所示，训练装置10包含第一取得部11、第二取得部12以及构建部13作为功能部。图1的CPU130执行训练程序，由此实现训练装置10的功能部。训练装置10的功能部的至少一部分也可以通过电子电路等硬件来实现。

第一取得部11基于存储于存储部140等的各训练数据D，取得包含参考音符串、声部以及节拍构造的学习用音符令牌串A。在本例中，通过从由后述的第二取得部12取得的乐谱元素令牌串B提取一部分令牌串，来取得学习用音符令牌串A。

第二取得部12基于存储于存储部140等的各训练数据D，取得包含音符描绘、属性以及小节的信息的乐谱元素令牌串B。在本例中，通过解析图像乐谱，从而按时间序列依次提取图像乐谱中包含的音符描绘、属性以及小节。此外，按时间序列依次提取出的音符描绘、属性以及小节分别遵循预先确定的转换表而转换为令牌。由此，取得乐谱元素令牌串B。

构建部13针对各训练数据D，使机器学习模型进行以由第一取得部11取得的学习用音符令牌串A作为输入并以由第二取得部12取得的乐谱元素令牌串B作为输出的学习。通过针对多个训练数据D而反复进行机器学习，构建部13构建表示学习用音符令牌串A与乐谱元素令牌串B之间的输入输出关系的训练完毕模型M。

在本例中，构建部13通过训练Transformer而构建训练完毕模型M，但实施方式不限定于此。构建部13也可以训练处理时间序列的其他方式的机器学习模型，由此构建训练完毕模型M。由构建部13构建出的训练完毕模型M例如存储于存储部140。由构建部13构建出的训练完毕模型M也可以存储于网络上的服务器等。

乐谱制作装置20包含接受部21、推定部22、第一判定部23、第二判定部24以及生成部25作为功能部。图1的CPU130执行乐谱制作程序，由此实现乐谱制作装置20的功能部。乐谱制作装置20的功能部的至少一部分也可以通过电子电路等硬件来实现。此外，乐谱制作装置20也可以组入乐谱雕版(music engraving)软件或数字音频工作站(DAW)。

接受部21接受包含由多个音符构成的音符串的输入音符令牌串。使用者能够通过操作操作部150来生成输入音符令牌串，并提供给接受部21。输入音符令牌串具有与图2的学习用音符令牌串A相同的结构。换句话说，输入音符令牌串除了具有音符串之外，还具有声部以及节拍构造。

推定部22使用存储于存储部140等的训练完毕模型M，根据输入音符令牌串推定包含用于制作乐谱的音符以及属性信息的乐谱令牌串。乐谱令牌串表示与由接受部21接受到的输入音符令牌串对应的令牌串，并基于音符串、声部以及节拍构造而推定。输入音符令牌串具有与学习用音符令牌串A相同的结构，由此乐谱令牌串具有与乐谱元素令牌串B相同的结构。

第一判定部23基于由推定部22推定出的乐谱令牌串来判定临时记号(accidental)。临时记号例如根据乐谱令牌串中的调号以及音高来判定。在后续的临时记号的判定中也可以还使用在先音符的临时记号。第二判定部24基于由推定部22推定出的乐谱令牌串来判定拍子符号。拍子符号例如根据乐谱令牌串中的各小节的拍数来判定。

生成部25根据由推定部22推定出的乐谱令牌串，生成表示记载有各音符以及属性信息的乐谱的乐谱信息。即，生成部25作为制作部发挥功能，根据乐谱令牌串以乐谱格式生成乐谱信息。乐谱信息也可以是MusicXML形式等的文本数据。在显示部160显示由生成部25生成的乐谱信息表示的图像乐谱。

图11是示出图像乐谱的一例的图。如图11所示，在图像乐谱中也可以还记载有由第一判定部23判定出的临时记号X。此外，在图像乐谱中也可以还记载有由第二判定部24判定出的拍子符号Y。这里，只要拍子不变更，则拍子符号Y也可以仅在乐谱的开头记载。

(6)训练处理以及乐谱制作处理

图12是示出由图10的训练装置10进行的训练处理的一例的流程图。图12的训练处理通过图1的CPU130执行训练程序来进行。首先，第二取得部12根据各训练数据D取得乐谱元素令牌串B(步骤S1)。第一取得部11根据在步骤S1中取得的乐谱元素令牌串B，取得与该乐谱元素令牌串B对应的学习用音符令牌串A(步骤S2)。

接下来，构建部13针对各训练数据D，进行以在步骤S1中取得的乐谱元素令牌串B作为输出令牌并以在步骤S2中取得的学习用音符令牌串A作为输入令牌的机器学习(步骤S3)。接着，构建部13判定是否执行了充分的机器学习(步骤S4)。在机器学习不充分的情况下，构建部13返回步骤S3。在改变参数的同时反复进行步骤S3、S4，直至执行充分的机器学习为止。机器学习的反复次数根据构建的训练完毕模型M应该满足的质量条件而变化。

在执行了充分的机器学习的情况下，构建部13将通过步骤S3的机器学习而学会的学习用音符令牌串A与乐谱元素令牌串B之间的输入输出关系作为训练完毕模型M而保存(步骤S5)。由此，训练处理结束。

图13是示出由图10的乐谱制作装置20进行的乐谱制作处理的一例的流程图。图13的乐谱制作处理通过图1的CPU130执行乐谱制作程序来进行。首先，接受部21接受输入音符令牌串(步骤S11)。接下来，推定部22使用在训练处理的步骤S5中保存的训练完毕模型M，根据在步骤S11中接受到的输入音符令牌串来推定乐谱令牌串(步骤S12)。

接着，第一判定部23基于在步骤S12中推定出的乐谱令牌串，判定临时记号(步骤S13)。此外，第二判定部24基于在步骤S12中推定出的乐谱令牌串，判定拍子符号(步骤S14)。步骤S13、S14既可以先执行任一个，也可以同时执行。

然后，生成部25基于在步骤S12中推定出的乐谱令牌串、在步骤S13中判定出的临时记号以及在步骤S14中判定出的拍子符号，生成乐谱信息(步骤S15)。也可以基于所生成的乐谱信息，使显示部160显示图像乐谱。由此，乐谱制作处理结束。

(7)实施方式的效果

如以上说明的那样，本实施方式所涉及的乐谱制作装置20具备：接受部21，接受由多个音符构成的音符串；以及推定部22，使用训练完毕模型M，推定用于制作乐谱的各音符以及属性信息。训练完毕模型M是学会了由多个参考音符构成的参考音符串、与用于制作乐谱的各参考音符以及参考属性信息之间的输入输出关系的机器学习模型。

根据该结构，使用训练完毕模型M，来推定与音符串对应的各音符以及属性信息，因此在乐谱中不仅能够记载音符，还能够记载属性信息。由此，能够制作实用的乐谱。

乐谱制作装置20也可以还具备生成部25，该生成部25生成表示记载有推定出的各音符以及属性信息的乐谱的乐谱信息。在这种情况下，使用者不需要根据各音符以及属性信息生成乐谱信息，因此，提高可用性。

即，本实施方式所涉及的乐谱制作装置20也可以具备：接受部21，接受包含音符、声部以及节拍的信息的演奏用的数据即输入音符令牌串；推定部22，使用训练完毕模型M，根据输入音符令牌串推定乐谱令牌串，其中，该训练完毕模型M进行了如下的学习，即，将图像乐谱变为包含音符描绘、属性以及小节的信息的乐谱元素令牌串，并根据乐谱元素令牌串制作学习用音符令牌串，以学习用音符令牌串作为输入并以乐谱令牌作为输出的学习；以及制作部，根据乐谱令牌串制作图像乐谱。

推定部22也可以推定调号作为属性信息。推定部22也可以推定音值的分割以及结合作为属性信息。推定部22也可以推定音部作为属性信息。推定部22也可以推定声部作为属性信息。乐谱制作装置20也可以还具备：第一判定部23，基于推定出的各音符以及属性信息来判定临时记号。乐谱制作装置20也可以还具备：第二判定部24，基于推定出的各音符以及属性信息来判定拍子符号。在这些情况下，能够制作更实用的乐谱。

本实施方式所涉及的训练装置10具备：第一取得部11，取得由多个参考音符构成的参考音符串；第二取得部12，取得用于制作乐谱的各参考音符以及参考属性信息；以及构建部13，构建学会了参考音符串、与各参考音符以及参考属性信息之间的输入输出关系的训练完毕模型M。根据该结构，能够容易地构建学会了参考音符串与各参考音符以及参考属性信息之间的输入输出关系的训练完毕模型M。

(8)其他实施方式

在上述实施方式中，学习用音符令牌串A包含声部以及节拍构造，但实施方式不限定于此。学习用音符令牌串A包含参考音符串即可，也可以不包含声部以及节拍构造。针对输入音符令牌串也同样。此外，乐谱元素令牌串B包含小节的信息，但实施方式不限定于此。乐谱元素令牌串B包含参考音符以及参考属性信息即可，也可以不包含小节的信息。针对乐谱令牌串也同样。

在上述实施方式中，乐谱制作装置20包含生成部25，但实施方式不限定于此。使用者能够基于由推定部22推定出的乐谱令牌串而制作乐谱。因此，乐谱制作装置20也可以不包含生成部25。

在上述实施方式中，乐谱制作装置20包含第一判定部23以及第二判定部24，但实施方式不限定于此。在也可以在乐谱中不记载临时记号的情况下，乐谱制作装置20也可以不包含第一判定部23。在也可以在乐谱中不记载拍子符号的情况下，乐谱制作装置20也可以不包含第二判定部24。

在上述实施方式中，使用者通过操作操作部150来生成输入音符令牌串并提供给接受部21，但实施方式不限定于此。图14是用于说明其他实施方式中的接受部21的动作的图。如图14的上部所示，使用者也可以将通过钢琴演奏等生成的波形数据提供给接受部21。

在这种情况下，如图14的下部所示，接受部21将被提供的波形数据转换为MIDI数据，根据转换后的MIDI数据取得输入音符令牌串。因此，接受部21以波形数据的形式接受输入音符令牌串。根据该结构，能够根据基于演奏的波形数据，生成记述该演奏的乐谱。

在上述实施方式中，接受部21也可以接受混合有右手的声部的令牌和左手的声部的令牌的输入音符令牌串。在这种情况下，也能够通过使用适当地训练过的训练完毕模型M，推定分离出右手的声部的令牌和左手的声部的令牌的乐谱令牌串。

Claims (12)

1.一种乐谱制作装置，具备：

接受部，接受由多个音符构成的音符串；以及

推定部，使用训练完毕模型，推定用于制作乐谱的各音符以及属性信息，

所述训练完毕模型是学会了由多个参考音符构成的参考音符串、与用于制作乐谱的各参考音符以及参考属性信息之间的输入输出关系的机器学习模型。

2.如权利要求1所述的乐谱制作装置，其中，

所述乐谱制作装置还具备：生成部，生成表示记载有推定出的所述各音符以及所述属性信息的乐谱的乐谱信息。

3.如权利要求1或2所述的乐谱制作装置，其中，

所述推定部推定调号作为所述属性信息。

4.如权利要求1～3中任一项所述的乐谱制作装置，其中，

所述推定部推定音值的分割以及结合作为所述属性信息。

5.如权利要求1～4中任一项所述的乐谱制作装置，其中，

所述推定部推定音部作为所述属性信息。

6.如权利要求1～5中任一项所述的乐谱制作装置，其中，

所述推定部推定声部作为所述属性信息。

7.如权利要求1～6中任一项所述的乐谱制作装置，其中，

所述乐谱制作装置还具备：第一判定部，基于推定出的所述各音符以及所述属性信息，判定临时记号。

8.如权利要求1～7中任一项所述的乐谱制作装置，其中，

所述乐谱制作装置还具备：第二判定部，基于推定出的所述各音符以及所述属性信息，判定拍子符号。

9.一种乐谱制作装置，具备：

接受部，接受包含音符、声部以及节拍的信息的演奏用的数据即输入音符令牌串；

推定部，使用训练完毕模型，根据所述输入音符令牌串推定乐谱令牌串，其中，所述训练完毕模型进行了如下的学习，即，将图像乐谱变为包含音符描绘、属性以及小节的信息的乐谱元素令牌串，并根据所述乐谱元素令牌串制作学习用音符令牌串，以所述学习用音符令牌串作为输入并以乐谱令牌作为输出的学习；以及

制作部，根据所述乐谱令牌串制作图像乐谱。

10.一种训练装置，具备：

第一取得部，取得由多个参考音符构成的参考音符串；

第二取得部，取得用于制作乐谱的各参考音符以及参考属性信息；以及

构建部，构建学会了所述参考音符串、与所述各参考音符以及所述参考属性信息之间的输入输出关系的训练完毕模型。

11.一种乐谱制作方法，通过计算机执行如下操作：

接受由多个音符构成的音符串；以及

使用训练完毕模型，推定用于制作乐谱的各音符以及属性信息，

所述训练完毕模型是学会了由多个参考音符构成的参考音符串、与用于制作乐谱的各参考音符以及参考属性信息之间的输入输出关系的机器学习模型。

12.一种训练方法，通过计算机执行如下操作：

取得由多个参考音符构成的参考音符串；

取得用于制作乐谱的各参考音符以及参考属性信息；以及

构建学会了所述参考音符串、与所述各参考音符以及所述参考属性信息之间的输入输出关系的训练完毕模型。