CN114333742A - 多轨伴奏生成方法、多轨伴奏生成模型的训练方法及装置 - Google Patents
多轨伴奏生成方法、多轨伴奏生成模型的训练方法及装置 Download PDFInfo
- Publication number
- CN114333742A CN114333742A CN202111615729.6A CN202111615729A CN114333742A CN 114333742 A CN114333742 A CN 114333742A CN 202111615729 A CN202111615729 A CN 202111615729A CN 114333742 A CN114333742 A CN 114333742A
- Authority
- CN
- China
- Prior art keywords
- accompaniment
- track
- measure
- music information
- music
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 239000013598 vector Substances 0.000 claims abstract description 63
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013500 data storage Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000003491 array Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本公开提供了一种多轨伴奏生成方法、多轨伴奏生成模型的训练方法及装置。多轨伴奏生成方法包括：获取待生成多轨伴奏对应的小节序列中每个小节的基准音乐信息；针对每个小节，将所述小节的基准音乐信息以及所述小节的前一小节对应的多个编码向量输入多个单轨伴奏生成网络中的编码器，得到各所述单轨伴奏生成网络中的编码器输出的编码向量；将每个所述单轨伴奏生成网络中的编码器输出的编码向量输入所述单轨伴奏生成网络中的解码器，得到针对所述小节的、与所述单轨伴奏生成网络对应的伴奏轨道的伴奏音乐信息；基于针对所述小节的各伴奏轨道的伴奏音乐信息，得到所述小节的多轨伴奏音乐；其中，每个所述单轨伴奏生成网络分别对应一个伴奏轨道。
Description
技术领域
本公开总体说来涉及电子技术领域，更具体地讲，涉及一种多轨伴奏生成方法、多轨伴奏生成模型的训练方法及装置。
背景技术
现有的音乐伴奏生成方式在单轨伴奏生成任务上已经比较成熟，但在多轨伴奏生成任务上还存在很大问题，生成的各单轨伴奏音乐单独听比较和谐，但如果将生成的各单轨伴奏音乐放到一起听就会非常不和谐。
发明内容
本公开的示例性实施例在于提供一种多轨伴奏生成方法、多轨伴奏生成模型的训练方法及装置，以至少解决上述相关技术中的问题，也可不解决任何上述问题。
根据本公开实施例的第一方面，提供一种多轨伴奏生成方法，包括：获取待生成多轨伴奏对应的小节序列中每个小节的基准音乐信息；针对每个小节，将所述小节的基准音乐信息以及所述小节的前一小节对应的多个编码向量输入多个单轨伴奏生成网络中的编码器，得到各所述单轨伴奏生成网络中的编码器输出的编码向量；将每个所述单轨伴奏生成网络中的编码器输出的编码向量输入所述单轨伴奏生成网络中的解码器，得到针对所述小节的、与所述单轨伴奏生成网络对应的伴奏轨道的伴奏音乐信息；基于针对所述小节的各伴奏轨道的伴奏音乐信息，得到所述小节的多轨伴奏音乐；其中，每个所述单轨伴奏生成网络对应一个伴奏轨道，不同所述单轨伴奏生成网络对应的伴奏轨道不同。
可选地，所述基准音乐信息包括和弦进行信息。
可选地，每个所述单轨伴奏生成网络基于变分自编码器结构被构建。
可选地，所述基准音乐信息和所述伴奏音乐信息为特定格式的矩阵，其中，所述特定格式的矩阵的长代表音乐的音高、宽代表音乐的时间跨度、数值代表音乐的强度。
可选地，所述基准音乐信息包括主旋律信息。
根据本公开实施例的第二方面，提供一种多轨伴奏生成模型的训练方法，包括：获取样本小节序列中每个样本小节的基准音乐信息、每个样本小节的多个伴奏轨道中每个伴奏轨道的参考伴奏音乐信息；针对每个样本小节，将所述样本小节的基准音乐信息以及所述样本小节的前一样本小节对应的多个编码向量输入多个单轨伴奏生成网络中的编码器，得到各所述单轨伴奏生成网络中的编码器输出的编码向量；将每个所述单轨伴奏生成网络中的编码器输出的编码向量输入所述单轨伴奏生成网络中的解码器，得到针对所述样本小节的、与所述单轨伴奏生成网络对应的伴奏轨道的预测伴奏音乐信息；基于所述样本小节序列中各样本小节的所述多个伴奏轨道的预测伴奏音乐信息及参考伴奏音乐信息，调整所述多个单轨伴奏生成网络中的编码器和解码器的参数，以对包括所述多个单轨伴奏生成网络的多轨伴奏生成模型进行训练；其中，每个所述单轨伴奏生成网络对应一个伴奏轨道，不同所述单轨伴奏生成网络对应的伴奏轨道不同。
可选地，所述基准音乐信息包括和弦进行信息。
可选地，每个所述单轨伴奏生成网络基于变分自编码器结构被构建。
可选地，所述基准音乐信息、所述预测伴奏音乐信息、所述参考伴奏音乐信息为特定格式的矩阵，其中，所述特定格式的矩阵的长代表音乐的音高、宽代表音乐的时间跨度、数值代表音乐的强度。
可选地，所述基准音乐信息包括主旋律信息。
根据本公开实施例的第三方面，提供一种多轨伴奏生成装置，包括：基准音乐获取单元，被配置为获取待生成多轨伴奏对应的小节序列中每个小节的基准音乐信息；编码向量获取单元，被配置为针对每个小节，将所述小节的基准音乐信息以及所述小节的前一小节对应的多个编码向量输入多个单轨伴奏生成网络中的编码器，得到各所述单轨伴奏生成网络中的编码器输出的编码向量；伴奏音乐获取单元，被配置为将每个所述单轨伴奏生成网络中的编码器输出的编码向量输入所述单轨伴奏生成网络中的解码器，得到针对所述小节的、与所述单轨伴奏生成网络对应的伴奏轨道的伴奏音乐信息；多轨伴奏音乐获取单元，被配置为基于针对所述小节的各伴奏轨道的伴奏音乐信息，得到所述小节的多轨伴奏音乐；其中，每个所述单轨伴奏生成网络对应一个伴奏轨道，不同所述单轨伴奏生成网络对应的伴奏轨道不同。
可选地，所述基准音乐信息包括和弦进行信息。
可选地，每个所述单轨伴奏生成网络基于变分自编码器结构被构建。
可选地，所述基准音乐信息和所述伴奏音乐信息为特定格式的矩阵，其中，所述特定格式的矩阵的长代表音乐的音高、宽代表音乐的时间跨度、数值代表音乐的强度。
可选地，所述基准音乐信息包括主旋律信息。
根据本公开实施例的第四方面，提供一种多轨伴奏生成模型的训练装置，包括：样本获取单元，被配置为获取样本小节序列中每个样本小节的基准音乐信息、每个样本小节的多个伴奏轨道中每个伴奏轨道的参考伴奏音乐信息；编码向量获取单元，被配置为针对每个样本小节，将所述样本小节的基准音乐信息以及所述样本小节的前一样本小节对应的多个编码向量输入多个单轨伴奏生成网络中的编码器，得到各所述单轨伴奏生成网络中的编码器输出的编码向量；伴奏音乐获取单元，被配置为将每个所述单轨伴奏生成网络中的编码器输出的编码向量输入所述单轨伴奏生成网络中的解码器，得到针对所述样本小节的、与所述单轨伴奏生成网络对应的伴奏轨道的预测伴奏音乐信息；训练单元，被配置为基于所述样本小节序列中各样本小节的所述多个伴奏轨道的预测伴奏音乐信息及参考伴奏音乐信息，调整所述多个单轨伴奏生成网络中的编码器和解码器的参数，以对包括所述多个单轨伴奏生成网络的多轨伴奏生成模型进行训练；其中，每个所述单轨伴奏生成网络对应一个伴奏轨道，不同所述单轨伴奏生成网络对应的伴奏轨道不同。
可选地，所述基准音乐信息包括和弦进行信息。
可选地，每个所述单轨伴奏生成网络基于变分自编码器结构被构建。
可选地，所述基准音乐信息、所述预测伴奏音乐信息、所述参考伴奏音乐信息为特定格式的矩阵，其中，所述特定格式的矩阵的长代表音乐的音高、宽代表音乐的时间跨度、数值代表音乐的强度。
可选地，所述基准音乐信息包括主旋律信息。
根据本公开实施例的第五方面，提供一种电子设备，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如上所述的多轨伴奏生成方法和/或如上所述的多轨伴奏生成模型的训练方法。
根据本公开实施例的第六方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行如上所述的多轨伴奏生成方法和/或如上所述的多轨伴奏生成模型的训练方法。
根据本公开实施例的第七方面，提供一种计算机程序产品，包括计算机指令，所述计算机指令被至少一个处理器执行时实现如上所述的多轨伴奏生成方法和/或如上所述的多轨伴奏生成模型的训练方法。
本公开的实施例提供的技术方案至少带来以下有益效果：在生成每轨伴奏音乐时同时考虑其它轨的信息以保证多轨伴奏之间的和谐性，从而生成的多轨伴奏音乐各轨之间较和谐。
此外，将和弦进行作为生成伴奏音乐的输入，更加符合人工伴奏音乐生成过程的同时相较单纯的音高输入具有更好的伴奏音乐生成效果，生成的伴奏音乐更加丰富悦耳。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1示出根据本公开示例性实施例的多轨伴奏生成方法的流程图；
图2示出根据本公开示例性实施例的多轨伴奏生成模型的结构的示例；
图3示出根据本公开示例性实施例的多轨伴奏生成模型的训练方法的流程图；
图4示出根据本公开示例性实施例的多轨伴奏生成装置的结构框图；
图5示出根据本公开示例性实施例的多轨伴奏生成模型的训练装置的结构框图；
图6示出根据本公开示例性实施例的电子设备的结构框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况：(1)包括A；(2)包括B；(3)包括A和B。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。
图1示出根据本公开示例性实施例的多轨伴奏生成方法的流程图。
作为示例，所述多轨伴奏生成模型可包括：多个单轨伴奏生成网络，每个单轨伴奏生成网络包括：编码器和解码器，每个单轨伴奏生成网络对应一个伴奏轨道，不同单轨伴奏生成网络对应的伴奏轨道不同。每个单轨伴奏生成网络用于生成所对应的伴奏轨道的伴奏音乐信息。
作为示例，一个伴奏轨道可为针对一种乐器的伴奏轨道。例如，乐器的类型可包括但不限于以下项之中的至少一项：钢琴、吉他、贝斯、鼓、以及弦乐。
作为示例，所述多轨伴奏生成模型可为深度学习模型。
作为示例，每个单轨伴奏生成网络可基于VAE变分自编码器结构被构建。
作为示例，所述图像特征匹配模型可使用结合图3描述的训练方法训练得到。
参照图1，在步骤S101，获取待生成多轨伴奏对应的小节序列中每个小节的基准音乐信息。这里的小节即音乐小节。
作为示例，每个小节的基准音乐信息可为该小节的用于生成伴奏音乐的基准音乐的多维矩阵表示。作为示例，用于生成伴奏音乐的基准音乐可为主旋律和/或和弦进行，相应地，基准音乐信息可包括：和弦进行信息和/或主旋律信息。
作为示例，所述基准音乐信息可为特定格式的矩阵，其中，所述特定格式的矩阵的长代表音乐的音高、宽代表音乐的时间跨度、数值代表音乐的强度。即，所述基准音乐信息可为piano roll格式。应该理解，基准音乐信息也可为其他格式，本公开对此不作限制。
在步骤S102，针对每个小节，将所述小节的基准音乐信息以及所述小节的前一小节对应的多个编码向量输入多个单轨伴奏生成网络中的编码器，得到各所述单轨伴奏生成网络中的编码器输出的编码向量。
换言之，各单轨伴奏生成网络中的编码器输出的编码向量共同构成当前小节对应的多个编码向量。
在步骤S103，将每个所述单轨伴奏生成网络中的编码器输出的编码向量输入所述单轨伴奏生成网络中的解码器，得到针对所述小节的、与所述单轨伴奏生成网络对应的伴奏轨道的伴奏音乐信息。
作为示例，所述伴奏音乐信息可为特定格式的矩阵，其中，所述特定格式的矩阵的长代表音乐的音高、宽代表音乐的时间跨度、数值代表音乐的强度。即，所述伴奏音乐信息可为piano roll格式。应该理解，伴奏音乐信息也可为其他格式，本公开对此不作限制。
作为示例，当小节序列包括M个小节，所述多轨伴奏生成模型包括N个单轨伴奏生成网络时，步骤S102可包括：针对所述M个小节中的第i个小节，将第i个小节的基准音乐信息、以及针对第i-1个小节得到的N个编码向量输入所述N个单轨伴奏生成网络中的编码器Encoder，得到所述N个单轨伴奏生成网络中的编码器输出的针对第i个小节的N个编码向量。
i的初始值为1。作为示例，当i＝1时，由于不存在第(i-1＝0)个小节，可将N个编码向量的初始值均设置为0，应该理解，也可根据实际情况和需求设置为其他初始值。
应该理解，所述N个单轨伴奏生成网络中的编码器各自输出的1个编码向量共同构成了针对第i个小节的N个编码向量(即，第i个小节对应的N个编码向量)；在针对第i+1个小节执行步骤S102时，所述N个单轨伴奏生成网络中的编码器输出的针对第i个小节的N个编码向量将会被输入到所述N个单轨伴奏生成网络中的编码器。
作为示例，可将第i个小节的基准音乐信息、以及针对第i-1个小节得到的N个编码向量进行拼接，并将拼接得到的向量分别输入所述N个单轨伴奏生成网络中的编码器。
相应地，作为示例，步骤S103可包括：将每个单轨伴奏生成网络中的编码器输出的针对第i个小节的编码向量输入该单轨伴奏生成网络中的解码器Decoder，得到针对第i个小节的与该单轨伴奏生成网络对应的伴奏轨道的伴奏音乐信息。
通过执行步骤S103，可得到针对第i个小节的N个伴奏轨道的伴奏音乐信息，即，所述N个单轨伴奏生成网络中的解码器各自输出的1轨伴奏音乐信息共同构成了针对第i个小节的N个伴奏轨道的伴奏音乐信息。
在步骤S103之后，可确定i是否等于M。
当确定i不等于M时，令i＝i+1，然后返回执行步骤S102。当确定i等于M时，即，已生成所有小节的N个伴奏轨道的伴奏音乐信息，循环停止。
在步骤S104，基于针对所述小节的各伴奏轨道的伴奏音乐信息，得到所述小节的多轨伴奏音乐。
具体地，可通过对每个小节的每个伴奏轨道的伴奏音乐信息进行转换，得到该个小节的该个伴奏轨道的伴奏音乐。例如，当伴奏音乐信息为piano roll格式时，可通过pypianoroll将伴奏音乐信息转回midi格式文件。
作为示例，可基于针对所述M个小节的N个伴奏轨道的伴奏音乐信息，得到所述M个小节的N轨伴奏音乐。
作为另一示例，可每次得到针对第i个小节的N个伴奏轨道的伴奏音乐信息之后，就基于针对第i个小节的N个伴奏轨道的伴奏音乐信息，得到针对第i个小节的N轨伴奏音乐。
图2示出根据本公开示例性实施例的多轨伴奏生成模型的结构的示例。
如图2所示，所述多轨伴奏生成模型包括5个单轨伴奏生成网络，每个单轨伴奏生成网络对应一个伴奏轨道，换言之，通过所述多轨伴奏生成模型能够生成5轨伴奏音乐。
单轨伴奏生成网络1包括Encoder1和Decoder1；单轨伴奏生成网络2包括Encoder2和Decoder2；单轨伴奏生成网络3包括Encoder3和Decoder3；单轨伴奏生成网络4包括Encoder4和Decoder4；单轨伴奏生成网络5包括Encoder5和Decoder5。
获取待生成多轨伴奏对应的小节序列的基准音乐信息Chord，每个Encoder的输入量x_i基于当前小节的基准音乐信息Chord_i和针对上一小节各个Encoder输出的编码向量h_(i-1)所构成的H_(i-1)而得到；每个Encoder的输出量为针对当前小节的编码向量h_i；每个Decoder的输入量为与其处于同一网络的Encoder输出的编码向量h_i；每个Decoder的输出量为当前小节的1个伴奏轨道的伴奏音乐信息y_i，针对当前小节各个Encoder输出的编码向量h1_i、h2_i、h3_i、h4_i、h5_i所构成的H_i用于下一小节的伴奏音乐信息生成。
图3示出根据本公开示例性实施例的多轨伴奏生成模型的训练方法的流程图。所述多轨伴奏生成模型包括：多个单轨伴奏生成网络，每个单轨伴奏生成网络包括：编码器和解码器，每个单轨伴奏生成网络对应一个伴奏轨道，不同单轨伴奏生成网络对应的伴奏轨道不同。每个单轨伴奏生成网络用于生成所对应的伴奏轨道的伴奏音乐信息。
作为示例，一个伴奏轨道可为针对一种乐器的伴奏轨道。例如，乐器的类型可包括但不限于以下项之中的至少一项：钢琴、吉他、贝斯、鼓、以及弦乐。
作为示例，所述多轨伴奏生成模型可为深度学习模型。
作为示例，每个单轨伴奏生成网络可基于VAE变分自编码器结构被构建。
参照图3，在步骤S201，获取样本小节序列中每个样本小节的基准音乐信息、每个样本小节的多个伴奏轨道中每个伴奏轨道的参考伴奏音乐信息。
作为示例，每个小节的基准音乐信息可为该小节的用于生成伴奏音乐的基准音乐的多维矩阵表示。作为示例，每个小节的每个伴奏轨道的参考伴奏音乐信息可为该小节的该轨乐器的真实演奏内容的多维矩阵表示。作为示例，用于生成伴奏音乐的基准音乐可为主旋律和/或和弦进行，相应地，基准音乐信息可包括：和弦进行信息和/或主旋律信息。
作为示例，所述基准音乐信息可为特定格式的矩阵，其中，所述特定格式的矩阵的长代表音乐的音高、宽代表音乐的时间跨度、数值代表音乐的强度。即，所述基准音乐信息可为piano roll格式。应该理解，基准音乐信息也可为其他格式，本公开对此不作限制。
作为示例，所述参考伴奏音乐信息可为特定格式的矩阵，其中，所述特定格式的矩阵的长代表音乐的音高、宽代表音乐的时间跨度、数值代表音乐的强度。即，所述参考伴奏音乐信息可为piano roll格式。应该理解，参考伴奏音乐信息也可为其他格式，本公开对此不作限制。
作为示例，可获取一首音乐的乐谱(存储格式可包括但不限于midi或pianoroll)，基于该乐谱分离出主旋律和伴奏。通过对伴奏中的每轨乐器的演奏内容进行分离，得到每轨乐器的演奏内容，并将每轨乐器的演奏内容的乐谱转为多维矩阵表示。从主旋律提取和弦，并将和弦的乐谱转为多维矩阵表示；和/或，将主旋律的乐谱转为多维矩阵表示。从而，基于该首音乐得到样本小节序列中每个小节的基准音乐信息、以及每个小节的多个伴奏轨道中每个伴奏轨道的参考伴奏音乐信息。
在步骤S202，针对每个样本小节，将所述样本小节的基准音乐信息以及所述样本小节的前一样本小节对应的多个编码向量输入多个单轨伴奏生成网络中的编码器，得到各所述单轨伴奏生成网络中的编码器输出的编码向量。
在步骤S203，将每个所述单轨伴奏生成网络中的编码器输出的编码向量输入所述单轨伴奏生成网络中的解码器，得到针对所述样本小节的、与所述单轨伴奏生成网络对应的伴奏轨道的预测伴奏音乐信息。
作为示例，所述预测伴奏音乐信息可为特定格式的矩阵，其中，所述特定格式的矩阵的长代表音乐的音高、宽代表音乐的时间跨度、数值代表音乐的强度。即，所述预测伴奏音乐信息可为piano roll格式。应该理解，预测伴奏音乐信息也可为其他格式，本公开对此不作限制。
在步骤S204，基于所述样本小节序列中各样本小节的所述多个伴奏轨道的预测伴奏音乐信息及参考伴奏音乐信息，调整所述多个单轨伴奏生成网络中的编码器和解码器的参数，以对包括所述多个单轨伴奏生成网络的多轨伴奏生成模型进行训练。
作为示例，可每基于预设数量的样本小节的所述多个伴奏轨道的预测伴奏音乐信息及参考伴奏音乐信息，确定所述多轨伴奏生成模型的损失函数；可通过根据所述损失函数调整所述多个单轨伴奏生成网络中的编码器和解码器的参数，对所述多轨伴奏生成模型进行训练。
作为示例，所述损失函数用于确定各个伴奏轨道的预测伴奏音乐信息与参考伴奏音乐信息之间的距离。例如，所述距离的度量方式可包括但不限于KL散度(Kullback-Leibler divergence)函数、均方误差MSE函数。
作为示例，所述预设数量可为大于0的整数。
应该理解，可使用多个样本小节序列对多轨伴奏生成模型进行训练。
图4示出根据本公开示例性实施例的多轨伴奏生成装置10的结构框图。多轨伴奏生成装置10基于多轨伴奏生成模型执行处理，所述多轨伴奏生成模型包括：多个单轨伴奏生成网络，每个单轨伴奏生成网络包括：编码器和解码器，每个单轨伴奏生成网络对应一个伴奏轨道，不同单轨伴奏生成网络对应的伴奏轨道不同。
参照图4，根据本公开示例性实施例的多轨伴奏生成装置10包括：基准音乐获取单元101、编码向量获取单元102、伴奏音乐获取单元103、多轨伴奏音乐获取单元104。
具体说来，基准音乐获取单元101被配置为获取待生成多轨伴奏对应的小节序列中每个小节的基准音乐信息。
编码向量获取单元102被配置为针对每个小节，将所述小节的基准音乐信息以及所述小节的前一小节对应的多个编码向量输入多个单轨伴奏生成网络中的编码器，得到各所述单轨伴奏生成网络中的编码器输出的编码向量。
伴奏音乐获取单元103被配置为将每个所述单轨伴奏生成网络中的编码器输出的编码向量输入所述单轨伴奏生成网络中的解码器，得到针对所述小节的、与所述单轨伴奏生成网络对应的伴奏轨道的伴奏音乐信息。
多轨伴奏音乐获取单元104被配置为基于针对所述小节的各伴奏轨道的伴奏音乐信息，得到所述小节的多轨伴奏音乐。
作为示例，所述基准音乐信息可包括和弦进行信息。
作为示例，每个所述单轨伴奏生成网络可基于变分自编码器结构被构建。
作为示例，所述基准音乐信息和所述伴奏音乐信息可为特定格式的矩阵，其中，所述特定格式的矩阵的长代表音乐的音高、宽代表音乐的时间跨度、数值代表音乐的强度。
作为示例，所述基准音乐信息可包括主旋律信息。
图5示出根据本公开示例性实施例的多轨伴奏生成模型的训练装置的结构框图。所述多轨伴奏生成模型包括：多个单轨伴奏生成网络，每个单轨伴奏生成网络包括：编码器和解码器，每个单轨伴奏生成网络对应一个伴奏轨道，不同单轨伴奏生成网络对应的伴奏轨道不同。
如图5所示，根据本公开示例性实施例的多轨伴奏生成模型的训练装置20包括：样本获取单元201、编码向量获取单元202、伴奏音乐获取单元203、训练单元204。
具体说来，样本获取单元201被配置为获取样本小节序列中每个样本小节的基准音乐信息、每个样本小节的多个伴奏轨道中每个伴奏轨道的参考伴奏音乐信息。
编码向量获取单元202被配置为针对每个样本小节，将所述样本小节的基准音乐信息以及所述样本小节的前一样本小节对应的多个编码向量输入多个单轨伴奏生成网络中的编码器，得到各所述单轨伴奏生成网络中的编码器输出的编码向量。
伴奏音乐获取单元203被配置为将每个所述单轨伴奏生成网络中的编码器输出的编码向量输入所述单轨伴奏生成网络中的解码器，得到针对所述样本小节的、与所述单轨伴奏生成网络对应的伴奏轨道的预测伴奏音乐信息。
训练单元204被配置为基于所述样本小节序列中各样本小节的所述多个伴奏轨道的预测伴奏音乐信息及参考伴奏音乐信息，调整所述多个单轨伴奏生成网络中的编码器和解码器的参数，以对包括所述多个单轨伴奏生成网络的多轨伴奏生成模型进行训练。
作为示例，所述基准音乐信息可包括和弦进行信息。
作为示例，每个所述单轨伴奏生成网络可基于变分自编码器结构被构建。
作为示例，所述基准音乐信息、所述预测伴奏音乐信息、所述参考伴奏音乐信息可为特定格式的矩阵，其中，所述特定格式的矩阵的长代表音乐的音高、宽代表音乐的时间跨度、数值代表音乐的强度。
作为示例，所述基准音乐信息可包括主旋律信息。
关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在相关方法的实施例中进行了详细描述，此处将不做详细阐述说明。
此外，应该理解，根据本公开示例性实施例的多轨伴奏生成装置10和多轨伴奏生成模型的训练装置20中的各个单元可被实现硬件组件和/或软件组件。本领域技术人员根据限定的各个单元所执行的处理，可以例如使用现场可编程门阵列(FPGA)或专用集成电路(ASIC)来实现各个单元。
图6示出根据本公开示例性实施例的电子设备的结构框图。参照图6，该电子设备30包括：至少一个存储器301和至少一个处理器302，所述至少一个存储器301中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器302执行时，执行如上述示例性实施例所述的多轨伴奏生成方法和/或多轨伴奏生成模型的训练方法。
作为示例，电子设备30可以是PC计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备30并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备30还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。
在电子设备30中，处理器302可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器302还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
处理器302可运行存储在存储器301中的指令或代码，其中，存储器301还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。
存储器301可与处理器302集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储器301可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器301和处理器302可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器302能够读取存储在存储器中的文件。
此外，电子设备30还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备30的所有组件可经由总线和/或网络而彼此连接。
根据本公开的示例性实施例，还可提供一种存储指令的计算机可读存储介质，其中，当指令被至少一个处理器运行时，促使至少一个处理器执行如上述示例性实施例所述的多轨伴奏生成方法和/或多轨伴奏生成模型的训练方法。这里的计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如，多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
根据本公开的示例性实施例，还可提供一种计算机程序产品，该计算机程序产品中的指令可由至少一个处理器执行以完成如上述示例性实施例所述的多轨伴奏生成方法和/或多轨伴奏生成模型的训练方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种多轨伴奏生成方法，其特征在于，包括：
获取待生成多轨伴奏对应的小节序列中每个小节的基准音乐信息；
针对每个小节，将所述小节的基准音乐信息以及所述小节的前一小节对应的多个编码向量输入多个单轨伴奏生成网络中的编码器，得到各所述单轨伴奏生成网络中的编码器输出的编码向量；
将每个所述单轨伴奏生成网络中的编码器输出的编码向量输入所述单轨伴奏生成网络中的解码器，得到针对所述小节的、与所述单轨伴奏生成网络对应的伴奏轨道的伴奏音乐信息；
基于针对所述小节的各伴奏轨道的伴奏音乐信息，得到所述小节的多轨伴奏音乐；
其中，每个所述单轨伴奏生成网络对应一个伴奏轨道，不同所述单轨伴奏生成网络对应的伴奏轨道不同。
2.根据权利要求1所述的多轨伴奏生成方法，其特征在于，所述基准音乐信息包括和弦进行信息。
3.根据权利要求1所述的多轨伴奏生成方法，其特征在于，每个所述单轨伴奏生成网络基于变分自编码器结构被构建。
4.根据权利要求1所述的多轨伴奏生成方法，其特征在于，所述基准音乐信息和所述伴奏音乐信息为特定格式的矩阵，其中，所述特定格式的矩阵的长代表音乐的音高、宽代表音乐的时间跨度、数值代表音乐的强度。
5.一种多轨伴奏生成模型的训练方法，其特征在于，包括：
获取样本小节序列中每个样本小节的基准音乐信息、每个样本小节的多个伴奏轨道中每个伴奏轨道的参考伴奏音乐信息；
针对每个样本小节，将所述样本小节的基准音乐信息以及所述样本小节的前一样本小节对应的多个编码向量输入多个单轨伴奏生成网络中的编码器，得到各所述单轨伴奏生成网络中的编码器输出的编码向量；
将每个所述单轨伴奏生成网络中的编码器输出的编码向量输入所述单轨伴奏生成网络中的解码器，得到针对所述样本小节的、与所述单轨伴奏生成网络对应的伴奏轨道的预测伴奏音乐信息；
基于所述样本小节序列中各样本小节的所述多个伴奏轨道的预测伴奏音乐信息及参考伴奏音乐信息，调整所述多个单轨伴奏生成网络中的编码器和解码器的参数，以对包括所述多个单轨伴奏生成网络的多轨伴奏生成模型进行训练；
其中，每个所述单轨伴奏生成网络对应一个伴奏轨道，不同所述单轨伴奏生成网络对应的伴奏轨道不同。
6.一种多轨伴奏生成装置，其特征在于，包括：
基准音乐获取单元，被配置为获取待生成多轨伴奏对应的小节序列中每个小节的基准音乐信息；
编码向量获取单元，被配置为针对每个小节，将所述小节的基准音乐信息以及所述小节的前一小节对应的多个编码向量输入多个单轨伴奏生成网络中的编码器，得到各所述单轨伴奏生成网络中的编码器输出的编码向量；
伴奏音乐获取单元，被配置为将每个所述单轨伴奏生成网络中的编码器输出的编码向量输入所述单轨伴奏生成网络中的解码器，得到针对所述小节的、与所述单轨伴奏生成网络对应的伴奏轨道的伴奏音乐信息；
多轨伴奏音乐获取单元，被配置为基于针对所述小节的各伴奏轨道的伴奏音乐信息，得到所述小节的多轨伴奏音乐；
其中，每个所述单轨伴奏生成网络对应一个伴奏轨道，不同所述单轨伴奏生成网络对应的伴奏轨道不同。
7.一种多轨伴奏生成模型的训练装置，其特征在于，包括：
样本获取单元，被配置为获取样本小节序列中每个样本小节的基准音乐信息、每个样本小节的多个伴奏轨道中每个伴奏轨道的参考伴奏音乐信息；
编码向量获取单元，被配置为针对每个样本小节，将所述样本小节的基准音乐信息以及所述样本小节的前一样本小节对应的多个编码向量输入多个单轨伴奏生成网络中的编码器，得到各所述单轨伴奏生成网络中的编码器输出的编码向量；
伴奏音乐获取单元，被配置为将每个所述单轨伴奏生成网络中的编码器输出的编码向量输入所述单轨伴奏生成网络中的解码器，得到针对所述样本小节的、与所述单轨伴奏生成网络对应的伴奏轨道的预测伴奏音乐信息；
训练单元，被配置为基于所述样本小节序列中各样本小节的所述多个伴奏轨道的预测伴奏音乐信息及参考伴奏音乐信息，调整所述多个单轨伴奏生成网络中的编码器和解码器的参数，以对包括所述多个单轨伴奏生成网络的多轨伴奏生成模型进行训练；
其中，每个所述单轨伴奏生成网络对应一个伴奏轨道，不同所述单轨伴奏生成网络对应的伴奏轨道不同。
8.一种电子设备，其特征在于，包括：
至少一个处理器；
至少一个存储计算机可执行指令的存储器，
其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1至4中任一项所述的多轨伴奏生成方法和/或如权利要求5所述的多轨伴奏生成模型的训练方法。
9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1至4中任一项所述的多轨伴奏生成方法和/或如权利要求5所述的多轨伴奏生成模型的训练方法。
10.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被至少一个处理器执行时实现如权利要求1至4中任一项所述的多轨伴奏生成方法和/或如权利要求5所述的多轨伴奏生成模型的训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111615729.6A CN114333742B (zh) | 2021-12-27 | 2021-12-27 | 多轨伴奏生成方法、多轨伴奏生成模型的训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111615729.6A CN114333742B (zh) | 2021-12-27 | 2021-12-27 | 多轨伴奏生成方法、多轨伴奏生成模型的训练方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114333742A true CN114333742A (zh) | 2022-04-12 |
| CN114333742B CN114333742B (zh) | 2024-07-05 |
Family
ID=81012353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111615729.6A Active CN114333742B (zh) | 2021-12-27 | 2021-12-27 | 多轨伴奏生成方法、多轨伴奏生成模型的训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114333742B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116189636A (zh) * | 2023-04-24 | 2023-05-30 | 深圳视感文化科技有限公司 | 基于电子乐器的伴奏生成方法、装置、设备及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS57205874A (en) * | 1981-06-11 | 1982-12-17 | Kimiyoshi Hiraki | Sound recording medium |
| JPH03198094A (ja) * | 1989-12-27 | 1991-08-29 | Yamaha Corp | 自動伴奏パターンデータ発生装置 |
| JPH0580766A (ja) * | 1991-09-25 | 1993-04-02 | Matsushita Electric Ind Co Ltd | 自動伴奏装置 |
| JPH08234783A (ja) * | 1994-10-26 | 1996-09-13 | Daewoo Electron Co Ltd | 映像歌謡再生システムでのオーディオ信号マルチプレクシング装置 |
| AU5446901A (en) * | 2001-07-19 | 2003-01-23 | Xiaoming Lan | A synchronisation system for flexible music phrassing and timing on accompaniment music CDs used for rehearsal and performance |
| KR100658869B1 (ko) * | 2005-12-21 | 2006-12-15 | 엘지전자 주식회사 | 음악생성장치 및 그 운용방법 |
| JP2007163618A (ja) * | 2005-12-12 | 2007-06-28 | Yamaha Corp | 伴奏表示装置及びプログラム |
| CN107301857A (zh) * | 2016-04-15 | 2017-10-27 | 青岛海青科创科技发展有限公司 | 一种给旋律自动配伴奏的方法及系统 |
| CN109166566A (zh) * | 2018-08-27 | 2019-01-08 | 北京奥曼特奇科技有限公司 | 一种用于音乐智能伴奏的方法及系统 |
| KR101942814B1 (ko) * | 2017-08-10 | 2019-01-29 | 주식회사 쿨잼컴퍼니 | 사용자 허밍 멜로디 기반 반주 제공 방법 및 이를 위한 장치 |
| WO2019105351A1 (zh) * | 2017-11-30 | 2019-06-06 | 广州酷狗计算机科技有限公司 | 确定k歌分值的方法和装置 |
| CN111653256A (zh) * | 2020-08-10 | 2020-09-11 | 浙江大学 | 一种基于编码-解码网络的音乐伴奏自动生成方法及其系统 |
| CN112435642A (zh) * | 2020-11-12 | 2021-03-02 | 浙江大学 | 一种基于深度神经网络的旋律midi伴奏生成方法 |
-
2021
- 2021-12-27 CN CN202111615729.6A patent/CN114333742B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS57205874A (en) * | 1981-06-11 | 1982-12-17 | Kimiyoshi Hiraki | Sound recording medium |
| JPH03198094A (ja) * | 1989-12-27 | 1991-08-29 | Yamaha Corp | 自動伴奏パターンデータ発生装置 |
| JPH0580766A (ja) * | 1991-09-25 | 1993-04-02 | Matsushita Electric Ind Co Ltd | 自動伴奏装置 |
| JPH08234783A (ja) * | 1994-10-26 | 1996-09-13 | Daewoo Electron Co Ltd | 映像歌謡再生システムでのオーディオ信号マルチプレクシング装置 |
| AU5446901A (en) * | 2001-07-19 | 2003-01-23 | Xiaoming Lan | A synchronisation system for flexible music phrassing and timing on accompaniment music CDs used for rehearsal and performance |
| JP2007163618A (ja) * | 2005-12-12 | 2007-06-28 | Yamaha Corp | 伴奏表示装置及びプログラム |
| KR100658869B1 (ko) * | 2005-12-21 | 2006-12-15 | 엘지전자 주식회사 | 음악생성장치 및 그 운용방법 |
| CN107301857A (zh) * | 2016-04-15 | 2017-10-27 | 青岛海青科创科技发展有限公司 | 一种给旋律自动配伴奏的方法及系统 |
| KR101942814B1 (ko) * | 2017-08-10 | 2019-01-29 | 주식회사 쿨잼컴퍼니 | 사용자 허밍 멜로디 기반 반주 제공 방법 및 이를 위한 장치 |
| WO2019105351A1 (zh) * | 2017-11-30 | 2019-06-06 | 广州酷狗计算机科技有限公司 | 确定k歌分值的方法和装置 |
| CN109166566A (zh) * | 2018-08-27 | 2019-01-08 | 北京奥曼特奇科技有限公司 | 一种用于音乐智能伴奏的方法及系统 |
| CN111653256A (zh) * | 2020-08-10 | 2020-09-11 | 浙江大学 | 一种基于编码-解码网络的音乐伴奏自动生成方法及其系统 |
| CN112435642A (zh) * | 2020-11-12 | 2021-03-02 | 浙江大学 | 一种基于深度神经网络的旋律midi伴奏生成方法 |
Non-Patent Citations (1)
| Title |
|---|
| 曹西征;牛靖雯;秦杰;孙志勇;: "面向抒情歌曲旋律的钢琴自动伴奏算法", 河南师范大学学报(自然科学版), no. 04, 26 July 2016 (2016-07-26) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116189636A (zh) * | 2023-04-24 | 2023-05-30 | 深圳视感文化科技有限公司 | 基于电子乐器的伴奏生成方法、装置、设备及存储介质 |
| CN116189636B (zh) * | 2023-04-24 | 2023-07-07 | 深圳视感文化科技有限公司 | 基于电子乐器的伴奏生成方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114333742B (zh) | 2024-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sturm et al. | Machine learning research that matters for music creation: A case study | |
| US9881596B2 (en) | System and method for analysis and creation of music | |
| Simon et al. | Learning a latent space of multitrack measures | |
| Hung et al. | Musical composition style transfer via disentangled timbre representations | |
| Jin et al. | A transformer generative adversarial network for multi‐track music generation | |
| CN112435642B (zh) | 一种基于深度神经网络的旋律midi伴奏生成方法 | |
| US10957293B2 (en) | Systems, devices, and methods for varying musical compositions | |
| CN111554255A (zh) | 基于循环神经网络的midi演奏风格自动转换系统 | |
| WO2019022118A1 (ja) | 情報処理方法 | |
| US12014708B2 (en) | Systems, devices, and methods for harmonic structure in digital representations of music | |
| Zixun et al. | Hierarchical recurrent neural networks for conditional melody generation with long-term structure | |
| CN114333742B (zh) | 多轨伴奏生成方法、多轨伴奏生成模型的训练方法及装置 | |
| Cífka et al. | Supervised symbolic music style translation using synthetic data | |
| Cancino-Chacón et al. | Partitura: A python package for symbolic music processing | |
| JP6392450B2 (ja) | マッチング装置、判定装置、これらの方法、プログラム及び記録媒体 | |
| Colombo et al. | Learning to generate music with BachProp | |
| EP4328900A1 (en) | Generative music from human audio | |
| Janssen et al. | Algorithmic Ability to Predict the Musical Future: Datasets and Evaluation. | |
| CN116486778A (zh) | 音频合成方法、计算机设备及存储介质、程序产品 | |
| Hewitt | Composition for computer musicians | |
| JP2019109357A (ja) | 音楽情報の特徴解析方法及びその装置 | |
| CN117649834A (zh) | 数据处理方法、装置、设备、程序产品及存储介质 | |
| CN116631359A (zh) | 乐曲的生成方法、装置、计算机可读介质及电子设备 | |
| CN113870818A (zh) | 歌曲和弦编配模型的训练方法、装置、介质和计算设备 | |
| Foscarin et al. | Cluster and Separate: a GNN Approach to Voice and Staff Prediction for Score Engraving |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |