CN110211553B - 一种基于变邻域搜索与掩蔽效应的音乐生成方法 - Google Patents

Abstract

一种基于变邻域搜索与掩蔽效应的音乐生成方法，涉及音乐生成领域。本发明是为了解决现有的方法不能按照作曲者的突发灵感或者即兴发挥得到的音乐片段进行音乐生成的问题和生成的音乐可能是音符杂乱无章的音乐的问题。本发明通过对时域训练数据进行基于掩蔽效应的旋律提取，并映射到音符域与可视化。待训练的乐谱输入到模型中获得参数矩阵，并可与已有训练模型参数进行混合。在生成阶段基于变邻域搜索算法在满足门限前对乐谱进行反复迭代，并进行打分。最后可选择生成后续小节或生成伴奏与鼓点，几乎每一步都可以人为的对乐谱进行修改与标注，在减少可重复性工作的同时能够降低作曲的门槛。本发明主要用于音乐的生成。

Description

一种基于变邻域搜索与掩蔽效应的音乐生成方法

技术领域

本发明涉及音乐生成领域。

背景技术

音乐在日常生活中扮演着独特角色，人们利用音乐或释放压力、表达情感、寻求共鸣，或尽情享受音乐带来的美的体验。随着生活水平的不断提高，只要稍加练习，普通人也能演唱或弹奏出优美的旋律，但相比之下作曲的门槛显然更高。编写一首乐曲往往分为旋律、风格、速度、调性与结构、和声与乐器等部分，而且乐曲的各个部分不是完全正交，而是相互关联的，例如一首歌的旋律往往决定了它的风格，而风格又在一定程度上影响了速度；乐句往往是小节的重复或变体等。因此在过去作曲属于少数有天赋的人的工作，同时编写一首好的乐曲也得益于作曲家的丰富经验。

随着计算机技术的发展，研究人员试图从两个角度利用计算机帮助作曲：一方面，协助有经验的作曲家，完成一部分繁琐的可重复性工作，使其专注于创造性的艺术；另一方面，使普通人也能够从轻松谱写简单的乐曲开始，一步步培养人们作曲的能力与对音乐的兴趣，使人们更加了解谱曲背后的原理，从而为作曲领域提供更多可能。但是目前的音乐生成方法(如基于长短时记忆网络、递归神经网络或卷积神经网络的音乐生成方法)并不能按照作曲者的突发灵感或者即兴发挥得到的音乐片段进行音乐生成，而且生成的音乐完全是自动生成的，并不能够完全符合作曲者的意愿，甚至与作曲者的意愿相差非常大。而且现有的方法生成的音乐在表面逻辑上看可能是旋律紧凑，但是实际上其完全可能是音符杂乱无章的音乐。

发明内容

本发明为了解决现有音乐生成方法存在的上述问题，进而提出了一种一种基于变邻域搜索与掩蔽效应的音乐生成方法。

一种基于变邻域搜索与掩蔽效应的音乐生成方法，包括以下步骤：

步骤一、对常见的乐器的频域幅值与时域包络进行分析，将乐器分类为弦乐器、体乐器和混合乐器三种，通过根据需求确定音高、持续时间，并生成与现有乐器近似或全新音色的乐音；

步骤二、输入音乐训练阶段的音乐，输入的音乐x(t)以四个小节为单位，在后续的处理中对x(t)重新定位，音符起始位置位于t＝0处；

步骤三、对训练阶段的输入x(t)进行基于人耳掩蔽效应的旋律分析，将输入划分为小段进行傅立叶变换获得频谱，对频域幅值进行基频提取，对时域能量进行基于人耳掩蔽效应的音符切割，二者综合初步获得训练所需的音乐乐谱，并进行可视化展示，即数字化乐谱；

步骤四、对频谱进行模糊处理，在训练之前，对数字化乐谱进行人工的增删与标注，确定乐谱片段；

步骤五：对已确定的乐谱片段进行训练：求得音乐动态范围、节奏等基本参数，对乐谱以小节为单位进行折叠，求得折叠后的乐谱动态参数，求得参数矩阵；

步骤六：输入生成阶段的初始乐谱，初始乐谱为计算机生成随机乐谱，或手动输入数个音符，或通过一小段哼唱并进行旋律后的乐谱；将初始乐谱映射到音符域后获得迭代初值，即乐谱数组G₀(i),i＝1,...,64；

步骤七、音乐生成迭代：根据事先设定的变邻域搜索算法对乐谱进行生成，通过计算代价函数确定乐谱是否保留，并进行可视化显示，操作者通过试听决定部分音符是否保留，或对音符做切割处理；

随后重复对乐谱进行迭代，直至生成令人满意的乐谱；

步骤八、基于上一步生成的四个小节的乐谱进行后四个小节的迭代，或者基于四个小节的乐谱选择乐器模型，并添加其他音轨。

进一步地，所述步骤三的具体过程如下：

将输入划分为小段，分帧进行傅立叶变换获得频谱F_i(a,f)，根据乐理知识对频谱做带通截取；以四分音符为一拍，每小节有四拍，共四个小节以十六分音符为最小单位，最大音符数i_max＝4×4×(16/4)＝64，对频域幅值

进行基频提取获得旋律线f(i)，i＝1,...,64；对时域能量进行基于人耳掩蔽效应的音符切割a(i)＝1或a(i)＝0，a(i)为音符切割指示；a(i)＝0的位置令f(i)＝0，获得训练或生成所需的乐谱数组E(i)，在音符的起始位置E(i)＝f(i)，跟随位置E(i)＝1，空闲位置E(i)＝0，并映射到图表cell_50×64中，进行可视化展示，在图表中i表示列，n＝1,...,50表示行，图表cell_50×64的第一行为标记符号，若cell(1,i)＝'1'则被标记的音符在接下来的迭代中将被固定，余下49行依照十二平均率跨越C4到C8四个八度，每个八度内有C，C#，D，D#，E，F，F#，G，G#，A，A#，B共十二个音符，在音符的起始位置cell(n,i)＝'1'，在音符的持续位置cell(n,i)＝'0'，其余位置cell(n,i)＝”，即为空。

进一步地，所述步骤四对频谱进行模糊处理的过程采用余弦加权算法。

进一步地，所述步骤四的具体过程如下：

余弦加权算法为

其中w(j)＝1-cos(2π×j/(n′+1)),j＝[1,n′]，n′为该音符持续帧数；随后将频率映射到音符域N_i＝12×log₂(f(i)/440)+57并进行可视化处理；随后计算音乐片段的速度，表示方式为节拍每分钟，即bpm，bpm＝16/(L*1024/44100/60)，L为音符数组长度；

在训练之前，用户根据个人喜好进行人工的增删与标注，确定乐谱片段。

进一步地，所述步骤步骤五的具体过程包括以下步骤：

在求得音乐动态范围、节奏基本参数外，对乐谱以小节为单位进行两次折叠，得到16乘4的乐谱；求得折叠后的乐谱动态参数，设置参数矩阵为dataN_4×7，依次存储训练数目、基音base_N、动态范围dyna_N、音符速度speed_N、音符丰富度rich_N、二次折叠基音base_4N＝[base_4N，1；base_4N，2；base_4N，3；base_4N，4]、二次折叠动态dyna_4N＝[dyna_4N，1；dyna_4N，2；dyna_4N，3；dyna_4N，4]参数；二次折叠基音base_4N中的元素为二次折叠后形成的四列表示，即[base_4N，1；base_4N，2；base_4N，3；base_4N，4]，二次折叠动态dyna_4N中的元素为二次折叠后形成的四列表示，即[dyna_4N，1；dyna_4N，2；dyna_4N，3；dyna_4N，4]，对已确定的乐谱片段进行训练将逐步变更参数矩阵。

进一步地，所述步骤七的具体过程包括以下步骤：

音乐生成迭：根据事先设定的基于乐理知识的变邻域搜索算法对乐谱进行生成，选择变调、删减音符、忽略原有音符并增加新音符三种方式进行变邻域搜索；每次迭代首先随机生成搜索长度randL＝2^n″,n″＝0,1,2，搜索起始位置randP∈[1,64-randL+1]，搜索操作randO＝1,2,3，对应变调、删减和忽略原有音符并增加新音符，其中randL,randP共同表示邻域区间；

当任意待处理位置有cell(1,i)＝'1'则重新生成以上参数，随后依照训练好的参数矩阵dataN_4×7对音乐片段进行处理，并计算参数矩阵dataG_4×7，矩阵中各元素如下表所示：

通过预先设定好的计算代价函数矩阵dataC_4×7与参数矩阵dataG_4×7点乘求和，得到乐谱的打分；同时计算乐谱的变化程度，即参数矩阵dataG_4×7的变化；

若此次搜索的结果对应的打分超过得分门限，则再次重新生成randL,randP,randO并重复以上操作直到满足门限为止；

随后进行可视化显示，作曲者通过试听判断乐谱中动听的部分并进行音符的增删与标记cell(1,i)＝'1'，若cell(1,i)＝'1'则在接下来的迭代中将跳过被标记的音符，随后重复上述操作对乐谱进行迭代，计算机迭代与人工评价与处理交互进行，直至生成令人满意的乐谱数组G(i)。

进一步地，所述步骤八的具体过程包括以下步骤：

基于上一步生成的四个小节的乐谱Gⁿ(i)进行后四个小节Gⁿ⁺¹(i)的迭代；

或者，基于四个小节的乐谱选择步骤一中生成的乐器模型，并根据求得的二次折叠参数添加其他变化幅度较小的音轨compG(i)；随后为compG(i)在步骤一中选择合适的乐音，并根据需求调整声强；最后获得包含艺术感的音乐片段，并保存音乐。

有益效果：

利用本发明可以实现按照作曲者的突发灵感或者即兴发挥得到的音乐片段进行音乐生成；本发明还能够通过作曲者对乐谱进行随时调整，并迭代更新，不仅操作方便、实现过程简单，而且能够完全符合作曲者的意愿。而且生成的音乐能够满足在旋律紧凑的基础上保证音符富有逻辑，生成的音乐不仅符合作曲者的意愿，而且更加动听。这是现有的音乐生成方法都无法实现的。

附图说明

图1是本发明的基于变邻域搜索与掩蔽效应的音乐生成方法流程图；

图2是基于频域幅值与时域包络的乐音模拟算法流程图；

图3是基于人耳掩蔽效应的乐谱提取算法流程图；

图4是基于变邻域搜索的乐谱训练算法流程图；

图5是一次生成测试的乐谱可视化结果；

图6是上述乐谱添加模拟乐音后的时域波形图；

图7是上述乐谱添加模拟乐音、伴奏与鼓点后的时域波形图。

具体实施方式

具体实施方式一：图1是本发明的基于变邻域搜索与掩蔽效应的音乐生成方法流程图，本发明基于MATLAB开发GUI界面完成整个音乐训练与生成过程，但在乐音模拟过程中需要弹出界面绘制频谱图。

一种基于变邻域搜索与掩蔽效应的音乐生成方法，包括以下步骤：

步骤一、对常见的几种乐器的频域幅值与时域包络进行分析，将乐器分类为弦乐器、体乐器和混合乐器三种，通过根据需求确定音高、持续时间，并生成与现有乐器近似，或全新音色的乐音；

一种乐器的乐音一般由声源经过共振腔，再经过外部环境到达人耳。通过对常见乐器的试听与分析，并利用几种常见乐音模拟算法进行分析，将乐音模拟分为激励源S、频谱F(a,f)与时域包络A(b,t)三部分，其中若激励源为白噪声(对应体乐器)，频谱F(a,f)可用多个带通滤波器组表示；若激励源为弦振动(对应弦乐器)，频谱F(a,f)可与激励源加权混合表示。通过根据需求确定相关参数(音高、持续时间等)，并生成与现有乐器类似，或全新音色的乐音，生成流程如图2所示。其中一个简单的方法是通过手绘频率曲线对弦振动进行加权，再通过一个表示演奏方式(如弹弦、拉弦等)的时域包络即可模拟部分弦乐器(钢琴、双簧管等)。在一些实施例中设计一种通过跟踪鼠标拖动路线初步确定频率曲线，并根据不同频率的声波在自由声场中的衰减对曲线进行加权的弦乐音生成方法；通过高斯白噪声加一阶低通滤波器或二阶带通滤波器可模拟部分体乐器(如沙锤、军鼓等)。该过程的模型可用于接下来的乐音试听、旋律添加乐器、伴奏和鼓点等操作。

几种常见乐音模拟算法包括：基于物理模型的弦振动仿真，基于电声类比的共振腔模拟与基于二维数字波导的乐音合成等。其中基于物理模型的弦振动仿真中，可通过偏微分方程及其边界条件求解，偏微分方程为

式中t与x为时空坐标，y(x,t)表示振动偏移量，E为弹性模量，T₀为弦两端的标称张力，ρ表示材料密度，A为弦的横截面积，I为惯性矩，d₁为与时间相关的阻尼，d₃为与频率相关的阻尼。

步骤二、音乐训练阶段的输入，输入的音乐x(t)以四个小节为单位，可以是一段乐器的独奏，也可以是一段人声哼唱；在后续的处理中将对x(t)重新定位，音符起始位置位于t＝0处；

步骤三、对训练阶段的输入x(t)进行基于人耳掩蔽效应的旋律分析，将输入划分为小段进行傅立叶变换获得频谱，对频域幅值进行基频提取，对时域能量进行基于人耳掩蔽效应的音符切割，二者综合初步获得训练所需的音乐乐谱，并进行可视化展示，即数字化乐谱；

对训练阶段的输入x(t)进行基于人耳掩蔽效应(一个时频区间内一个高能量的乐音将掩盖低能量的乐音)的旋律分析的过程如图3所示，将输入划分为小段进行傅立叶变换(一些实施例中取2048点，重叠为1/2)获得频谱F_i(a,f)，根据乐理知识对频谱做带通截取(一些实施例中选择50-1000Hz范围寻找基频)以减少计算量。本实施方式规定以四分音符为一拍，每小节有四拍，共四个小节以十六分音符为最小单位，因此最大音符数i_max＝4×4×(16/4)＝64，对频域幅值

进行基频提取获得旋律线f(i)，i＝1,...,64，对时域能量进行基于人耳掩蔽效应的音符切割a(i)＝1或a(i)＝0，a(i)为音符切割指示；a(i)＝0的位置令f(i)＝0，获得训练或生成所需的乐谱数组E(i)，在音符的起始位置E(i)＝f(i)，跟随位置E(i)＝1，空闲位置E(i)＝0，并映射到图表cell_50×64中，进行可视化展示，如图5所示，在图表中i表示列，n＝1,...,50表示行，图表cell_50×64的第一行为标记符号，若cell(1,i)＝'1'则被标记的音符在接下来的迭代中将被固定，余下49行依照十二平均率跨越C4到C8四个八度(每个八度内有C，C#，D，D#，E，F，F#，G，G#，A，A#，B共十二个音符)，在音符的起始位置cell(n,i)＝'1'，在音符的持续位置cell(n,i)＝'0'，其余位置cell(n,i)＝”，即为空；这样定义的图表可以直观的表现乐谱的变化，同时通过人工标注，也可轻松解决无法分辨一个长时间持续的音是否是几个连续短促的音的问题。

步骤四、对频谱进行模糊处理，这样在训练之前，可对获得的片段进行试听，并根据个人喜好对数字化乐谱进行人工的增删与标注，主动锻炼人们的乐感与想象力；

对频谱进行模糊处理的过程采用余弦加权算法，帧内的余弦加权算法为

其中w(j)＝1-cos(2π×j/(n′+1)),j＝[1,n′]，n′为该音符持续帧数，随后将频率映射到音符域N_i＝12×log₂(f(i)/440)+57并进行可视化处理。随后将计算音乐片段的速度，表示方式为节拍每分钟(bpm)，bpm＝16/(L*1024/44100/60)，L为音符数组长度，bpm作为乐曲的重要参数将显示在界面上并可随时手动调整。这样在训练之前，用户可对获得的片段进行试听，并根据个人喜好进行人工的增删与标注，主动锻炼人们的乐感与想象力，在GUI界面中添加音符的试听，便于对音符的选择与校准，确定乐谱片段。

步骤五：对已确定的乐谱片段进行训练，在求得音乐动态范围、节奏等基本参数外，对乐谱以小节(64乘1)为单位进行两次折叠，得到16乘4的乐谱；求得折叠后的乐谱动态等参数，在更大的时域范围分析乐谱音符间的内在联系，设置参数矩阵为dataN_4×7，依次存储训练数目、基音base_N、动态范围dyna_N、音符速度speed_N、音符丰富度rich_N、二次折叠基音base_4N＝[base_4N，1；base_4N，2；base_4N，3；base_4N，4]、二次折叠动态dyna_4N＝[dyna_4N，1；dyna_4N，2；dyna_4N，3；dyna_4N，4]参数；二次折叠基音base_4N中的元素为二次折叠后形成的四列表示，即[base_4N，1；base_4N，2；base_4N，3；base_4N，4]，二次折叠动态dyna_4N中的元素为二次折叠后形成的四列表示，即[dyna_4N，1；dyna_4N，2；dyna_4N，3；dyna_4N，4]，对已确定的乐谱片段进行训练将逐步变更参数矩阵的部分值。

步骤六：生成阶段的输入可选择计算机根据先验知识生成随机乐谱，或手动输入数个音符(代表作曲最初的灵感)，或是通过一小段哼唱并进行旋律检测作为初始，映射到音符域后获得迭代初值，即乐谱数组G₀(i),i＝1,...,64。

步骤七：音乐生成迭代算法：根据事先设定的基于乐理知识的变邻域搜索算法对乐谱进行生成，如图4所示，本实施方式选择变调、删减音符、忽略原有音符并增加新音符三种方式进行变邻域搜索。每次迭代首先随机生成搜索长度randL＝2^n″,n″＝0,1,2、搜索起始位置randP∈[1,64-randL+1]，搜索操作randO＝1,2,3，对应变调、删减和忽略原有音符并增加新音符，其中randL,randP共同表示邻域区间。当任意待处理位置有cell(1,i)＝'1'则重新生成以上参数，随后依照训练好的参数矩阵dataN_4×7对音乐片段进行处理，并计算参数矩阵dataG_4×7，矩阵中各元素的定义如下表所示，可根据各元素的在乐理中的定义进行计算，如动态为音符差分的求和。

表1训练用乐谱参数

通过预先设定好的计算代价函数矩阵dataC_4×7(存储的是打分权值，如0.2等)与参数矩阵dataG_4×7点乘求和，得到乐谱的打分；同时计算乐谱的变化程度，即参数矩阵dataG_4×7的变化；动态越高说明音符更富于变化，代价函数得分越低说明与训练数据越接近。若此次搜索的结果对应的打分超过得分门限，则再次重新生成randL,randP,randO并重复以上操作直到满足门限为止。

随后如步骤三进行可视化显示，作曲者可通过试听判断乐谱中动听的部分并进行音符的增删与标记cell(1,i)＝'1'，若cell(1,i)＝'1'则在接下来的迭代中将跳过被标记的音符，随后重复步骤七对乐谱进行迭代，计算机迭代与人工评价与处理交互进行，直至生成令人满意的乐谱数组G(i)。

乐谱的得分并不能完全反映音乐片段是否动听，只能从一定程度上约束乐谱的生成规律。例如一个乐谱动态范围很大，可能是旋律紧凑动人，也可能是音符杂乱无章的排列。若要保证每次迭代的代价函数得分变低，结果往往是一个或一段音符持续时间的删减。经过多次测试后，设计了一个得分门限，虽然迭代后的乐谱可能代价函数得分变高，但如果在门限内则保留乐谱，即保证了乐谱不至于出现过多删减，同时也不会出现过于不和谐的音符。例如通过哼唱《致爱丽丝》的部分小节作为训练数据，以《小星星》的前7个音符作为输入，经过迭代与人工删改后生成的谱表如图5所示。图6是上述乐谱添加模拟乐音后的时域波形图，动态上升了18，速度不变，音符丰富度上升1，虽然代价函数得分上升了12.63％，但仍在设置的门限范围内。该音频已具备一定艺术性。图7是上述乐谱基于乐谱二次折叠参数添加模拟乐音、伴奏与鼓点后的时域波形图，该音频相较于上述音频更加悦耳动听。

步骤八：可基于上一步生成的四个小节的乐谱Gⁿ(i)进行后四个小节Gⁿ⁺¹(i)的迭代，也可基于四个小节的乐谱选择步骤一中生成的乐器模型，并根据求得的二次折叠参数添加其他变化幅度较小的音轨compG(i)，如伴奏与鼓点。随后为compG(i)在步骤一中选择合适的乐音，并根据需求调整声强。最后获得包含艺术感的音乐片段，并保存为wav格式的音乐。

针对传统的作曲过程，由于需要大量乐理知识与听音经验，普通的音乐爱好者很难参与其中。但是本发明克服了传统作曲门槛过高、可重复工作量大等缺点，以及难以获取大量乐器进行实时演奏的缺陷，本实施方式提供了一种基于变邻域搜索与掩蔽效应的音乐生成方法，即让普通的音乐爱好者也能参与到作曲中，同时基于本实施方式可以通过人机交互的方式实现，能够充分调动音乐爱好者，尤其是青少年对音乐的积极性，并使其投入其中。此外，基于频域幅值与时域包络的乐音模拟算法也克服了大量乐器难以获得的缺陷，反过来也可为乐器设计与校准提供指导。

本发明公开了一种基于变邻域搜索与掩蔽效应的音乐生成方法，本发明通过对时域训练数据进行基于掩蔽效应的旋律提取，并映射到音符域与可视化。待训练的乐谱输入到模型中获得参数矩阵，并可与已有训练模型参数进行混合。在生成阶段基于变邻域搜索算法在满足门限前对乐谱进行反复迭代，并进行打分。最后可选择生成后续小节或生成伴奏与鼓点，几乎每一步都可以人为的对乐谱进行修改与标注，在减少可重复性工作的同时能够降低作曲的门槛，充分调动操作者，尤其是青少年的积极性，发挥操作者的创造力。更为重要的是，利用本发明可以实现按照作曲者的突发灵感或者即兴发挥得到的音乐片段进行音乐生成；本发明还能够通过作曲者对乐谱进行随时调整，并迭代更新，不仅操作方便、实现过程简单，而且能够完全符合作曲者的意愿。而且生成的音乐能够满足在旋律紧凑的基础上保证音符富有逻辑，生成的音乐不仅符合作曲者的意愿，而且更加动听。这是现有的音乐生成方法都无法实现的。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于变邻域搜索与掩蔽效应的音乐生成方法，其特征在于，包括以下步骤：

步骤一、对常见的乐器的频域幅值与时域包络进行分析，将乐器分类为弦乐器、体乐器和混合乐器三种，通过根据需求确定音高、持续时间，并生成与现有乐器近似或全新音色的乐音；

步骤二、输入音乐训练阶段的音乐，输入的音乐x(t)以四个小节为单位，在后续的处理中对x(t)重新定位，音符起始位置位于t＝0处；

步骤三、对训练阶段的输入x(t)进行基于人耳掩蔽效应的旋律分析，将输入划分为小段进行傅立叶变换获得频谱，对频域幅值进行基频提取，对时域能量进行基于人耳掩蔽效应的音符切割，二者综合初步获得训练所需的音乐乐谱，并进行可视化展示，即数字化乐谱；

步骤四、对频谱进行模糊处理，在训练之前，对数字化乐谱进行人工的增删与标注，确定乐谱片段；

步骤五：对已确定的乐谱片段进行训练：求得音乐动态范围、节奏基本参数，对乐谱以小节为单位进行折叠，求得折叠后的乐谱动态参数，求得参数矩阵；具体过程包括以下步骤：

在求得音乐动态范围、节奏基本参数外，对乐谱以小节为单位进行两次折叠，得到16乘4的乐谱；求得折叠后的乐谱动态参数，设置参数矩阵为dataN_4×7，依次存储训练数目、基音base_N、动态范围dyna_N、音符速度speed_N、音符丰富度rich_N、二次折叠基音base_4N＝[base_4N，1；base_4N，2；base_4N，3；base_4N，4]、二次折叠动态dyna_4N＝[dyna_4N，1；dyna_4N，2；dyna_4N，3；dyna_4N，4]参数；二次折叠基音base_4N中的元素为二次折叠后形成的四列表示，即[base_4N，1；base_4N，2；base_4N，3；base_4N，4]，二次折叠动态dyna_4N中的元素为二次折叠后形成的四列表示，即[dyna_4N，1；dyna_4N，2；dyna_4N，3；dyna_4N，4]，对已确定的乐谱片段进行训练将逐步变更参数矩阵；

步骤六：输入生成阶段的初始乐谱，初始乐谱为计算机生成随机乐谱，或手动输入数个音符，或通过一小段哼唱并进行旋律后的乐谱；将初始乐谱映射到音符域后获得迭代初值，即乐谱数组G₀(i),i＝1,...,64；

步骤七、音乐生成迭代：根据事先设定的变邻域搜索算法对乐谱进行生成，通过计算代价函数确定乐谱是否保留，并进行可视化显示，操作者通过试听决定部分音符是否保留，或对音符做切割处理；具体过程包括以下步骤：

音乐生成迭代：根据事先设定的基于乐理知识的变邻域搜索算法对乐谱进行生成，选择变调、删减音符、忽略原有音符并增加新音符三种方式进行变邻域搜索；每次迭代首先随机生成搜索长度randL＝2n″,n″＝0,1,2，搜索起始位置randP∈[1,64-randL+1]，搜索操作randO＝1,2,3，对应变调、删减和忽略原有音符并增加新音符，其中randL,randP共同表示邻域区间；

当任意待处理位置有cell(1,i)＝'1'则重新生成以上参数，随后依照训练好的参数矩阵dataN_4×7对音乐片段进行处理，并计算参数矩阵dataG_4×7，矩阵中各元素如下表所示：

通过预先设定好的计算代价函数矩阵dataC_4×7与参数矩阵dataG_4×7点乘求和，得到乐谱的打分；同时计算乐谱的变化程度，即参数矩阵dataG_4×7的变化；

若此次搜索的结果对应的打分超过得分门限，则再次重新生成randL,randP,randO并重复以上操作直到满足门限为止；

随后进行可视化显示，作曲者通过试听判断乐谱中动听的部分并进行音符的增删与标记cell(1,i)＝'1'，若cell(1,i)＝'1'则在接下来的迭代中将跳过被标记的音符，随后重复上述操作对乐谱进行迭代，计算机迭代与人工评价与处理交互进行，直至生成令人满意的乐谱数组G(i)；

随后重复对乐谱进行迭代，直至生成令人满意的乐谱；

步骤八、基于上一步生成的四个小节的乐谱进行后四个小节的迭代，或者基于四个小节的乐谱选择乐器模型，并添加其他音轨。

2.根据权利要求1所述的一种基于变邻域搜索与掩蔽效应的音乐生成方法，其特征在于，所述步骤二中输入音乐的形式为一段乐器的独奏或一段人声哼唱。

3.根据权利要求1所述的一种基于变邻域搜索与掩蔽效应的音乐生成方法，其特征在于，所述步骤三的具体过程如下：

将输入划分为小段，分帧进行傅立叶变换获得频谱F_i(a,f)，根据乐理知识对频谱做带通截取；以四分音符为一拍，每小节有四拍，共四个小节以十六分音符为最小单位，最大音符数i_max＝4×4×(16/4)＝64，对频域幅值

进行基频提取获得旋律线f(i)，i＝1,...,64；对时域能量进行基于人耳掩蔽效应的音符切割a(i)＝1或a(i)＝0，a(i)为音符切割指示；a(i)＝0的位置令f(i)＝0，获得训练或生成所需的乐谱数组E(i)，在音符的起始位置E(i)＝f(i)，跟随位置E(i)＝1，空闲位置E(i)＝0，并映射到图表cell_50×64中，进行可视化展示，在图表中i表示列，n＝1,...,50表示行，图表cell_50×64的第一行为标记符号，若cell(1,i)＝'1'则被标记的音符在接下来的迭代中将被固定，余下49行依照十二平均率跨越C4到C8四个八度，每个八度内有C，C#，D，D#，E，F，F#，G，G#，A，A#，B共十二个音符，在音符的起始位置cell(n,i)＝'1'，在音符的持续位置cell(n,i)＝'0'，其余位置cell(n,i)＝”，即为空。

4.根据权利要求3所述的一种基于变邻域搜索与掩蔽效应的音乐生成方法，其特征在于，所述根据乐理知识对频谱做带通截取的过程中选择50-1000Hz范围寻找基频。

5.根据权利要求3所述的一种基于变邻域搜索与掩蔽效应的音乐生成方法，其特征在于，所述步骤四对频谱进行模糊处理的过程采用余弦加权算法。

6.根据权利要求5所述的一种基于变邻域搜索与掩蔽效应的音乐生成方法，其特征在于，所述步骤四的具体过程如下：

余弦加权算法为

其中w(j)＝1-cos(2π×j/(n′+1)),j＝[1,n′]，n′为该音符持续帧数；随后将频率映射到音符域N_i＝12×log₂(f(i)/440)+57并进行可视化处理；随后计算音乐片段的速度，表示方式为节拍每分钟，即bpm，bpm＝16/(L*1024/44100/60)，L为音符数组长度；

在训练之前，用户根据个人喜好进行人工的增删与标注，确定乐谱片段。

7.根据权利要求1所述的一种基于变邻域搜索与掩蔽效应的音乐生成方法，其特征在于，所述步骤八的具体过程包括以下步骤：

基于上一步生成的四个小节的乐谱Gⁿ(i)进行后四个小节Gⁿ⁺¹(i)的迭代；

或者，基于四个小节的乐谱选择步骤一中生成的乐器模型，并根据求得的二次折叠参数添加其他变化幅度较小的音轨compG(i)；随后为compG(i)在步骤一中选择合适的乐音，并根据需求调整声强；最后获得包含艺术感的音乐片段，并保存音乐。

Images