CN115602139A - 一种基于两阶段生成模型的自动音乐生成方法及装置 - Google Patents

一种基于两阶段生成模型的自动音乐生成方法及装置 Download PDF

Info

Publication number
CN115602139A
CN115602139A CN202211208907.8A CN202211208907A CN115602139A CN 115602139 A CN115602139 A CN 115602139A CN 202211208907 A CN202211208907 A CN 202211208907A CN 115602139 A CN115602139 A CN 115602139A
Authority
CN
China
Prior art keywords
sequence
chord
network
note
music
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211208907.8A
Other languages
English (en)
Inventor
王恒
郝森
汪骁虎
张普
油梦楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Polytechnic University
Original Assignee
Wuhan Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Polytechnic University filed Critical Wuhan Polytechnic University
Priority to CN202211208907.8A priority Critical patent/CN115602139A/zh
Publication of CN115602139A publication Critical patent/CN115602139A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/005—Algorithms for electrophonic musical instruments or musical processing, e.g. for automatic composition or resource allocation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

本发明提供一种基于两阶段生成模型的自动音乐生成方法及装置，基于两阶段音乐生成模型实现自动音乐生成，所述两阶段音乐生成模型由集成网络和变换器网络组成，生成过程包括对数据集音乐序列进行处理，获得训练用的和弦序列和音符序列；使用所得和弦序列和音符序列分别训练集成网络和变换器网络；将初始和弦序列输入训练好的集成网络，将初始音符序列输入训练好的变换器网络，生成相应的和弦序列和音符序列，转化为音乐内容，得到相应输出文件。该发明实现了从midi序列自动生成音乐的过程，生成的音乐具有很好的可听性。

Description

一种基于两阶段生成模型的自动音乐生成方法及装置
技术领域
本发明涉及人工智能及深度学习技能领域，尤其涉及一种基于两阶段生成模型的自动音乐生成方法及装置。
背景技术
音乐一直以来是人类社会放松心情、陶冶情操的一种艺术方式，它已经深入到了人类生活的方方面面。自从90年代以来，人们便不断尝试使用计算机辅助创作音乐。近年来，随着深度学习时代的到来，越来越多的深度学习模型被应用到自动作曲领域，人工智能作曲迎来了蓬勃发展。深度学习模型可以通过数据集学习到数据的相关特征，在训练完成后可以自动完成各种任务。深度学习模型在如图像识别、语音处理、自然语言处理等领域上都达到了非常出色的表现。
近年来，循环神经网络(RNN)常常被用于自动作曲领域。它由输入层、隐含层和输出层组成。在循环神经网络中它前一刻的输出会和下一刻的输入关联，使网络可以基于当前信息和过去信息进行学习，非常适合用来处理时序信息。但是，当序列较长时循环神经网络易出现梯度爆炸问题，使其很难有效学习到相应特征。长短期记忆网络(LSTM)引入门控方式缓解了这种现象，但并没有解决这个问题。因此，使用循环神经网络和长短期记忆网络生成的音乐旋律往往不能建立长时间结构联系。最近，一种包含注意力机制的网络transformer 被用于自动作曲。在实际应用中表明，transformer能比RNN和LSTM更好的处理长序列问题。但传统transformer仅仅由注意力构成，在处理序列无法关注到时序关系。并且目前的模型在应用到自动作曲领域中往往忽略乐理知识对作曲内容的重要性，使生成的音乐与真实音乐相比在诸如和弦、节奏等方面有较大差距。
综上所述，如循环神经网络(RNN)、长短期记忆网络(LSTM)和变换器网络(Transformer) 等深度学习模型不断被用于自动音乐生成领域。但目前的模型生成的音乐旋律往往不能建立长时间结构联系，并且在和弦等乐理方面与真实音乐存在差距。
例如，已授权专利(CN109727590B)提供基于循环神经网络的音乐生成方法及装置，涉及深度学习技术领域，方法包括以下步骤：建立循环神经网络；将MIDI格式的第一音符序列进行预处理，得到训练数据集；通过训练数据集对循环神经网络进行训练，得到神经网络模型；通过神经网络模型及采样策略对输入的第二音符序列的各个音符事件进行计算、排序，输出第三音符序列；将第三音符序列解码转换为MIDI格式的音符序列文件；将音符序列文件转换为音频格式的输出文件。该发明通过神经网络模型生成音乐，借助深度神经网络强大的学习、表示能力，通过采样策略，快速有效的得到优质的旋律，便于用户生成原始的旋律，有效提高了音乐创作的效率。
但是，其缺陷是该发明使用循环神经网络进行音乐生成，循环神经网路在处理较长序列时存在梯度消失问题，不能有效学习较长序列的相应特征。因此，该发明进行音乐生成时，生成的音乐往往不具备长时间结构联系，这影响了生成音乐的动听性。
例如，已公开专利(CN113707112A)一种基于层标准化的递归跳跃连接深度学习音乐自动生成方法，由收集乐器数字接口数据、对训练集进行预处理、构建音乐自动生成网络、训练音乐自动生成网络、自动生成音乐文件步骤组成。本发明以Transformer-XL神经网络的结构作为基础，引入层标准化递归神经网络和多专家层，优化了整体神经网络性能，缓解了递归消失或爆炸的情况，增强神经网络的学习能力，使生成的音乐的质量更高，更贴近训练集的类型。
但是，其缺陷是该发明进行音乐生成时没有对和弦进行建模，单一的Transformer-XL很难捕获音乐中的和弦分布，不能有效生成和弦丰富的音乐内容，而且使用Transformer-XL作为神经网络的基础相比于本发明使用的Linear Transformer存在训练代价较大、训练较慢的问题。
发明内容
有鉴于此，本发明提出了一种基于两阶段生成模型的自动音乐生成方案，以生成能够捕获长时间结构联系和和弦丰富的音乐。
本发明提供的一种基于两阶段生成模型的自动音乐生成方法，基于两阶段音乐生成模型实现自动音乐生成，所述两阶段音乐生成模型由集成网络和变换器网络组成，生成过程包括以下步骤，
步骤1，对数据集音乐序列进行处理，获得训练用的和弦序列和音符序列；
步骤2，使用步骤1所得和弦序列和音符序列分别训练集成网络和变换器网络；
步骤3，将初始和弦序列输入训练好的集成网络，将初始音符序列输入训练好的变换器网络，生成相应的和弦序列和音符序列；
步骤4，将步骤3生成的和弦序列和音符序列转化为音乐内容，得到相应输出文件。
而且，所述训练用的和弦序列和音符序列由midi序列中提取，
和弦序列由Y表示如下，
Y＝[y1,y2…yn]
Figure BDA0003873826120000031
其中，i∈[1,n],yi表示第i个和弦，
Figure BDA0003873826120000032
表示第i个和弦的开始时间，
Figure BDA0003873826120000033
表示示第i个和弦的类型；音符序列由Z表示如下，
Z＝[z1,z2…zn]
Figure BDA0003873826120000034
其中，i∈[1,n],zi表示第i个音符，
Figure BDA0003873826120000035
表示第i个音符的开始时间，
Figure BDA0003873826120000038
表示第i个音符的持续时间，
Figure BDA0003873826120000036
表示第i个音符的音高，
Figure BDA0003873826120000037
表示第i个音符的弹奏力度。
而且，所述集成模型通过Adaptive Boosting算法集成卷积神经网络CNN、门控循环网络GRU和长短期记忆网络LSTM构建。
而且，所述变换器网络基于线性变换器构建。
另一方面，本发明还提供一种基于两阶段生成模型的自动音乐生成装置，用于实现如上所述的一种基于两阶段生成模型的自动音乐生成方法。
而且，用于基于两阶段音乐生成模型实现自动音乐生成，所述两阶段音乐生成模型由集成网络和变换器网络组成，包括以下模块，
第一模块，用于对数据集音乐序列进行处理，获得训练用的和弦序列和音符序列；
第二模块，用于使用第一模块所得和弦序列和音符序列分别训练集成网络和变换器网络；
第三模块，用于将初始序列分别输入训练好的集成网络和变换器网络，生成相应的和弦序列和音符序列；
第四模块，用于将第三模块生成的和弦序列和音符序列转化为音乐内容，得到相应输出文件。
或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于两阶段生成模型的自动音乐生成方法。
或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于两阶段生成模型的自动音乐生成方法。
和现有技术相比，本发明的优点在于：
1.本发明将和弦和音符分开提取生成更能捕获和弦在结构上的联系，提高了生成音乐的和弦丰富度。并且采用集成模型在提高准确度的同时增加了模型的泛化能力。
2.本发明使用线性变换器网络生成音符序列，对模型的多头注意力进行了改进，保证不同的头可以捕获到序列内各种范围的依赖关系；在模型的注意力模块前后添加了LSTM层，为模型带来了时序信息，使生成的音符在时间序列上联系更加紧密。
附图说明
图1为实施例的用于自动音乐生成的示例性方法的流程图。
图2为实施例的集成网络的示例性架构图。
图3为实施例的线性变换器(linear Transformer)的示例性架构图。
图4为实施例的基于两阶段生成模型的自动音乐生成装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的音乐智能生成方案涉及到一种两阶段音乐生成模型，具体涉及到一种集成网络和一种变换器网络，所诉集成网络由卷积神经网络、长短期记忆网络、门控循环网络构建。该发明的音乐生成过程包括：对数据集音乐序列进行处理，获得和弦序列和音符序列；使用和弦序列和音符序列分别训练集成网络和变换器网络；给定初始序列，输入训练好的集成网络和变换器网络以生成相应的和弦序列和音符序列；将生成的和弦序列和音符序列转化为音乐内容。该发明实现了从midi序列自动生成音乐的过程，生成的音乐具有很好的可听性。
参见图1，本发明实施例提供一种基于两阶段生成模型的自动音乐生成方法，包括以下步骤：
步骤101处，对midi格式的音乐数据集进行处理，获得和弦序列和音符序列；
和弦序列由Y表示，具体公式如下：
Y＝[y1,y2…yn] (1)
Figure BDA0003873826120000041
其中，i∈[1,n],yi表示第i个和弦，
Figure BDA0003873826120000042
表示第i个和弦的开始时间，时间单位为毫秒，
Figure BDA0003873826120000043
表示示第i个和弦的类型。
音符序列由Z表示，具体公式如下：
Z＝[z1,z2…zn] (3)
Figure BDA0003873826120000044
其中，i∈[1,n],zi表示第i个音符，
Figure BDA0003873826120000045
表示第i个音符的开始时间，
Figure BDA0003873826120000046
表示第i个音符的持续时间，时间单位为毫秒，
Figure BDA0003873826120000047
表示第i个音符的音高，
Figure BDA0003873826120000048
表示第i个音符的弹奏力度。
步骤102处，使用和弦序列训练集成网络，使用音符序列训练变换器网络；
步骤103处，将初始和弦序列输入训练好的集成网络，将初始音符序列输入训练好的变换器网络，生成相应的和弦序列和音符序列；
所述初始和弦序列为随机生成或用户选择的和弦序列片段，所述初始音符序列为随机生成或用户选择的音符序列片段。
步骤104处，将生成的和弦序列和音符序列转化为音乐内容，转换过程使用python中专门用于音乐处理的包Midtok完成。
集成网络通过集成多个较弱的学习器构建一个强学习器，在有很好的预测准确度的同时有很强的模型泛化能力。在一首音乐当中，通常和弦的数量会比音符数量少很多，因此训练中易因训练数据不足而造成过拟合。因此本实施例使用集成网络在保证预测准确度的同时减少过拟合现象。在本实施例中集成网络通过Adaptive Boosting算法集成卷积神经网络(CNN)、门控循环网络(GRU)和长短期记忆网络(LSTM)构建，构建过程采用顺序、级联结构，先训练卷积神经网络，其次训练门控循环网络，最后训练长短期记忆网络。后一个模型在前一个模型训练完成的基础上再进行训练，并通过相应的算法专门解决前一个模型无法解决的问题。将卷积神经网络、门控循环网络和长短期记忆网络分别命名为C1,C2,C3,具体训练过程如下：
1.初始化每个和弦序列的训练难度为1/n；即
Figure BDA0003873826120000051
其中， i∈(1，n)，n表示和弦序列的个数，wi代表第i个和弦序列的训练难度；
2.训练集成网络的子网络(Cj)，训练完成后计算学习错误率，分析哪些和弦序列易被学习，哪些和弦序列不易被学习，并减少前者的训练难度，增加后者的训练难度。即：
Figure BDA0003873826120000052
其中，j∈[1,3],εj表示第j个模型的学习错误率，δ()是一个函数，当条件成立时函数值为1，反之函数值为0，yi表示第i个和弦序列。
当和弦序列被正确学习时
Figure BDA0003873826120000053
当和弦序列被错误学习时
Figure BDA0003873826120000054
3.计算当前错误率，并根据错误率更新当前模型权重，计算公式如下：
Figure BDA0003873826120000055
其中，αj表示第j个模型的权重，εj表示第j个模型的错误率，可由式(5)计算。
4.重复步骤2和3，直到3个网络均训练完成，并保存3个模型权重。
训练完成后就可以得到模型的最终输出：
F＝α1f1+α2f2+α3f3 (9)
其中，α1、α2、α3代表各个模型的权重，f1、f2、f3分别代表各个模型的输出。
根据式(9)的计算就可以得到集成模型对和弦序列的预测值，将预测值最高的序列加入和弦序列中，然后再将新的和弦序列输入模型中，不断迭代，就可以不断更新得到完整的和弦序列。
图2示出了集成网络的示例性架构。
在本实施例中，集成模型共有三个模型构建，分别是卷积神经网络204、门控循环神经网络205、长短期记忆网络206。和弦序列201是从音乐数据集提取出的和弦序列，在卷积神经网络204完成训练后会根据和弦序列学习的难易程度更新和弦序列训练权重，难度更高的序列会被赋予更高的权重，从而得到和弦序列202，权重具体更新过程可由式(5)(6)(7) 计算。门控循环网络205在和弦序列202上序列训练，从而着重学习卷积神经网络204不易学习的和弦序列，训练完成后更新训练难度，从而得到和弦序列203，具体过程可由式(5)(6)(7)计算。长短期记忆网络206在和弦序列203上进行训练，着重解决卷积神经网络和门控循环网络不易学习的序列。训练完成后，保存各个模型的权重信息，权重计算过程可由式(9)计算。训练完成后当初始和弦序列被输入集成模型，模型就可以根据三个模型的加权求和得到和弦序列的预测值，从中取出预测概率最高的和弦序列加入到序列中，然后再将新的和弦序列输入模型中，如此不断迭代，更新就可以得到完整的和弦序列。
本实施例的变换器网络是基于线性变换器(Linear Transformer)构建的。原始变换器的计算代价随着序列长度的增加呈二次增长，这大大增加了训练长音符序列的难度。本实例中采用的线性变换器主要对原始变换器的注意力层进行了改进，线性变换器应用一个相似度函数将softmax计算过程映射到另一个维度，将计算复杂度从O(N2)降低到O(N)，其中N表示序列长度。该改进大大降低了变换器网络处理长序列时的训练成本，能较好的处理长音符序列。
对于原型变换器网络，设输入序列x∈RN×F,序列长度为N，特征维度为F。一个Transformer 是一个函数T：RN×F→RN×F，是通过L个变换器网络层T1(),…,TL()组成，如下：
Tl(x)＝fl(Al(x)+x) (10)
其中,l∈[1,L],函数fl()通常使用一个两层的前馈神经网络实现，函数Al()代表自注意力函数。
自注意力函数是每个位置计算所有其他位置的特征表示的加权平均值。形式上，输入序列x∈RN×F由3个矩阵WQ∈RF×D、WK∈RF×D、WV∈RF×M投影到相应的特征表示Q、K、V，其中，设D＝M＝512。自注意力函数Al(x)＝V′的计算过程如下：
Q＝xWQ (11)
K＝xWK (12)
V＝xWV (13)
Figure BDA0003873826120000071
Figure BDA0003873826120000072
其中，softmax()是归一化指数函数，其计算过程如式(15)，以矩阵Q的第i行Qi输入,其中Qi代表矩阵Q的第i行，Qj代表矩阵Q的第j行，e表示进行指数运算，N表示序列长度。
(14)式实现了一种特殊的自注意力函数，其相似度函数是Q和K点积的指数。假设矩阵的下标为i，将矩阵的第i行作为一个向量，则广义的自注意力函数可以表示为：
Figure BDA0003873826120000073
其中，Qi代表矩阵Q的第i行组成的向量，Kj代表矩阵K的第j行组成的向量，Vj代表矩阵V的第j行组成的向量，V′i代表矩阵V′的第i行组成的向量，N表示序列长度；如果将相似度函数
Figure BDA0003873826120000074
带入式(16)，则式(16)和式(14)等价。
实施例中的线性变换器的相似度函数采用的是一种核函数κ(x,y)＝φ(x)φ(y)T,
φ(x)计算方式如下：
φ(x)＝elu(x)+1 (17)
其中，elu()为指数线性单位激活函数，因此可以有如下定义：
Figure BDA0003873826120000075
利用矩阵乘法的结合律可以进一步简化为：
Figure BDA0003873826120000076
由式(14)可知原始变换器的计算代价为O(N2)，N表示序列长度。相比之下线性变换器的计算代价为O(N)，大大减少了训练代价，更适合处理长序列问题，特别是长音符序列。
实施例中的变换器基于上述的线性变换器构建的，线性变换器减小了模型训练代价，但其在多头处理和处理时序信息方面仍存在缺陷，本发明对其进行了改进，下面对他们进行详细介绍。
线性变换器采用了多头线性注意力，在单个注意力计算完成后需要将多个注意力连接起来，然后进行线性变换以得到最终的输出。假设有多头注意力有h个头，多头注意力计算过程可如下表示：
MultiHeadAttn(Q,K,V)＝Concat(head1,…,headH)Wo (20)
Figure BDA0003873826120000081
其中，MultiHeadAttn()表示多头注意力函数，Concat(head1,…,headH)表示将多个注意力的输出拼接在一起，headh表示单个注意力的输出，其计算方式采用(19)式中的线性注意力，
Figure BDA0003873826120000082
Wo均为可学习的参数。
多头注意力旨在利用多个头来使模型可以学习到不同表征子空间的信息，捕获序列内各种范围内的依赖关系，但普通的线性变换器没有相应的机制保证不同的注意力头学习不同的行为。本发明对线性变换器的多头注意力进行改进，使不同的注意力头学习到不同的特征信息。
首先，将Wo分为M块：
Figure BDA0003873826120000083
为使不同的注意力头可以学习到不同的特征，多头注意力层可以重新表示为：
Figure BDA0003873826120000084
传统变换器仅仅由注意力构成，在处理任务时往往不能获得序列的时序信息、先验知识。实施例中，在变换器的多头线性注意力层的前添加一个长短期记忆网络层(LSTM)，为模型带来了时序信息，使模型生成的音符序列更能捕获时间结构上的联系。LSTM层计算过程为现有的，在本发明中不再赘述。
将音符序列x输入到改进的线性变换器中，首先进行嵌入编码和位置编码，并将嵌入它们叠加起来，然后输入Transformer块中，其中先输入到LSTM层，经过LSTM层计算后输入到具有掩码的多头注意力层，计算完成后进行叠加和正则化操作，操作完成后输入前馈神经网络，然后再进行叠加和正则化操作，完成Transformer块的计算。具体计算过程如下：
X＝Emb(x)+PositionEng(x) (24)
S＝LSTM(X) (25)
Qlm,Klm,Vlm＝SWQ,SWK,SWV (26)
a＝Masked-LinearAttention(Qlm,Klm,Vlm) (27)
A＝MultiHeadAttn(a) (28)
o＝LayerNorm(Linear(A)+S) (29)
P＝Positionwise-Feed-Forward(o) (30)
O＝LayerNorm(Linear(P)+o) (31)
其中，LSTM()表示长短期记忆网络运算；Masked-LinearAttention()表示执行掩码 (mask)和线性注意力(LinearAttention)，由于Transform输入的是一段音符序列，在进行音乐生成时，不希望模型可以注意到当前音符后面的音符，因此用掩码遮盖当前音符后面的序列，对当前音符后面的序列赋予一个负无穷的值；LinearAttention()可由式(18)(19)计算，LayerNorm()表示正则化处理，Linear()表示线性变换；Positionwise-Feed-Forward ()表示前馈网络计算。
图3示出了线性变换器(linear Transformer)的示例性架构
音符序列可由输入层301输入到嵌入层302进行嵌入编码。在303处，可进行位置编码。完成位置编码和嵌入编码后，可以将302处的嵌入表示和303处的位置编码叠加输入到transformer块309处,302处的嵌入表示和303处的位置编码叠加可由式(24)计算。在Transformer块309内LSTM层304与具有掩码的多头线性注意力层305相连，其中LSTM 层304可由式(25)计算，具有掩码的多头线性注意力层305可由式(27)(28)计算；具有掩码的多头线性注意力层305与叠加/正则化层306相连，叠加/正则化层306可由式(29) 计算；叠加/正则化层306与前馈神经网络层307相连，前馈神经网络层307可由式(30)计算；前馈神经网络层307与叠加/正则化层308相连，叠加/正则化层308可由式(31)计算。 Transformer块309的输出会输入到线性层311中进行映射，然后输入到softmax层312中，最后在输出层313输出预测出的音符序列。
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
在一些可能的实施例中，提供一种基于两阶段生成模型的自动音乐生成装置，包括以下模块，
第一模块，用于对数据集音乐序列进行处理，获得训练用的和弦序列和音符序列；
第二模块，用于使用第二模块所得和弦序列和音符序列分别训练集成网络和变换器网络；
第三模块，用于将初始和弦序列输入训练好的集成网络，将初始音符序列输入训练好的变换器网络，生成相应的和弦序列和音符序列；
第四模块，用于将第三模块生成的和弦序列和音符序列转化为音乐内容，得到相应输出文件。
具体实施时，还可以采用其他的模块划分方式。如图4所示，本发明实施例提供了一种基于两阶段生成模型的自动音乐生成装置，包括：
输入模块401，用于输入数据集中的midi音乐。
和弦提取模块402，用于提取输入模块输入midi音乐中的和弦序列。
音符提取模块403，用于提取输入模块输入midi音乐中的音符序列。
训练模块404，通过所述和弦提取模块402提取的和弦序列训练集成网络，通过所述音符提取模块403提取的音符序列训练变换器网络。
生成模块405，通过训练好的集成网络生成和弦序列，通过训练好的变换器网络生成音符序列。
转换模块406，将生成模块生成的和弦序列和音符序列组合转化为midi音乐。
输出模块407，将转换模块的midi音乐输出。
在一些可能的实施例中，提供一种基于两阶段生成模型的自动音乐生成装置，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于两阶段生成模型的自动音乐生成方法。
在一些可能的实施例中，提供一种基于两阶段生成模型的自动音乐生成装置，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于两阶段生成模型的自动音乐生成方法。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的技术范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于两阶段生成模型的自动音乐生成方法，其特征在于：基于两阶段音乐生成模型实现自动音乐生成，所述两阶段音乐生成模型由集成网络和变换器网络组成，生成过程包括以下步骤，
步骤1，对midi格式的数据集音乐进行处理，获得训练用的和弦序列和音符序列；
步骤2，使用步骤1所得和弦序列训练集成网络，音符序列训练变换器网络；
步骤3，将初始和弦序列输入训练好的集成网络，将初始音符序列输入训练好的变换器网络，生成相应的和弦序列和音符序列；
步骤4，将步骤3生成的和弦序列和音符序列转化为音乐内容，得到相应输出文件。
2.根据权利要求1所述的基于两阶段生成模型的自动音乐生成方法，其特征在于：所述训练用的和弦序列和音符序列从midi格式音乐数据集中提取，
和弦序列由Y表示如下，
Y＝[y1,y2…yn]
Figure FDA0003873826110000011
其中，i∈[1,n],yi表示第i个和弦，
Figure FDA0003873826110000012
表示第i个和弦的开始时间，
Figure FDA0003873826110000013
表示示第i个和弦的类型；
音符序列由Z表示如下，
Z＝[z1,z2…zn]
Figure FDA0003873826110000014
其中，i∈[1,n],zi表示第i个音符，
Figure FDA0003873826110000015
表示第i个音符的开始时间，
Figure FDA0003873826110000016
表示第i个音符的持续时间，
Figure FDA0003873826110000017
表示第i个音符的音高，
Figure FDA0003873826110000018
表示第i个音符的弹奏力度。
3.根据权利要求1所述的基于两阶段生成模型的自动音乐生成方法，其特征在于：所述集成网络通过Adaptive Boosting算法集成卷积神经网络CNN、门控循环网络GRU和长短期记忆网络LSTM构建。
4.根据权利要求1所述的基于两阶段生成模型的自动音乐生成方法，其特征在于：所述变换器网络基于线性变换器构建。
5.一种基于两阶段生成模型的自动音乐生成装置，其特征在于：用于实现如权利要求1-4任一项所述的一种基于两阶段生成模型的自动音乐生成方法。
6.根据权利要求5所述基于两阶段生成模型的自动音乐生成装置，其特征在于：用于基于两阶段音乐生成模型实现自动音乐生成，所述两阶段音乐生成模型由集成网络和变换器网络组成，包括以下模块，
第一模块，用于对数据集音乐序列进行处理，获得训练用的和弦序列和音符序列；
第二模块，用于使用第一模块所得和弦序列和音符序列分别训练集成网络和变换器网络；
第三模块，用于将初始和弦序列和初始音符序列分别输入训练好的集成网络和变换器网络，生成相应的和弦序列和音符序列；
第四模块，用于将第三模块生成的和弦序列和音符序列转化为音乐内容，得到相应输出文件。
7.根据权利要求5所述基于两阶段生成模型的自动音乐生成装置，其特征在于：包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如权利要求1-4任一项所述的一种基于两阶段生成模型的自动音乐生成方法。
8.根据权利要求5所述基于两阶段生成模型的自动音乐生成装置，其特征在于：包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如权利要求1-4任一项所述的一种基于两阶段生成模型的自动音乐生成方法。
CN202211208907.8A 2022-09-30 2022-09-30 一种基于两阶段生成模型的自动音乐生成方法及装置 Pending CN115602139A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211208907.8A CN115602139A (zh) 2022-09-30 2022-09-30 一种基于两阶段生成模型的自动音乐生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211208907.8A CN115602139A (zh) 2022-09-30 2022-09-30 一种基于两阶段生成模型的自动音乐生成方法及装置

Publications (1)

Publication Number Publication Date
CN115602139A true CN115602139A (zh) 2023-01-13

Family

ID=84845456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211208907.8A Pending CN115602139A (zh) 2022-09-30 2022-09-30 一种基于两阶段生成模型的自动音乐生成方法及装置

Country Status (1)

Country Link
CN (1) CN115602139A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117217261A (zh) * 2023-11-08 2023-12-12 江苏云幕智造科技有限公司 一种基于和弦和歌词结构的吉他和弦生成模型的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117217261A (zh) * 2023-11-08 2023-12-12 江苏云幕智造科技有限公司 一种基于和弦和歌词结构的吉他和弦生成模型的方法
CN117217261B (zh) * 2023-11-08 2024-02-09 江苏云幕智造科技有限公司 一种基于和弦和歌词结构的吉他和弦生成模型的方法

Similar Documents

Publication Publication Date Title
Mozer Neural network music composition by prediction: Exploring the benefits of psychoacoustic constraints and multi-scale processing
CN110609891A (zh) 一种基于上下文感知图神经网络的视觉对话生成方法
CN110413785A (zh) 一种基于bert和特征融合的文本自动分类方法
CN109448683A (zh) 基于神经网络的音乐生成方法及装置
CN111274362B (zh) 一种基于transformer架构的对话生成方法
CN111400461B (zh) 智能客服问题匹配方法及装置
Mozer Connectionist music composition based on melodic, stylistic, and psychophysical constraints
CN112417894A (zh) 一种基于多任务学习的对话意图识别方法及识别系统
CN110334243A (zh) 基于多层时序池化的音频表示学习方法
CN115602139A (zh) 一种基于两阶段生成模型的自动音乐生成方法及装置
CN113704437A (zh) 一种融合多头注意力机制和相对位置编码的知识库问答方法
CN113707112B (zh) 基于层标准化的递归跳跃连接深度学习音乐自动生成方法
CN110297894B (zh) 一种基于辅助网络的智能对话生成方法
CN113609326B (zh) 基于外部知识和目标间关系的图像描述生成方法
CN111754962B (zh) 基于升降采样的民歌智能辅助作曲系统及方法
CN108470212B (zh) 一种能利用事件持续时间的高效lstm设计方法
CN114842819B (zh) 基于深度强化学习的单音轨midi音乐生成方法
CN116821294A (zh) 一种基于隐式知识反刍的问答推理方法和装置
CN117151095A (zh) 一种基于案情的处置预案生成方法
CN116863920A (zh) 基于双流自监督网络的语音识别方法、装置、设备及介质
CN116994573A (zh) 一种基于脉冲神经网络的端到端语音识别方法与系统
CN110782876A (zh) 一种用于语音情感计算的无监督主动学习方法
CN112818164B (zh) 音乐类型识别方法、装置、设备及存储介质
CN114840679A (zh) 一种基于乐理知识图谱推理的机器人智能导学方法及应用
CN114880527A (zh) 一种基于多预测任务的多模态知识图谱表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination