CN109829482B - 歌曲训练数据处理方法、装置及计算机可读存储介质 - Google Patents
歌曲训练数据处理方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109829482B CN109829482B CN201910008832.0A CN201910008832A CN109829482B CN 109829482 B CN109829482 B CN 109829482B CN 201910008832 A CN201910008832 A CN 201910008832A CN 109829482 B CN109829482 B CN 109829482B
- Authority
- CN
- China
- Prior art keywords
- song
- training data
- features
- training
- acoustic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 186
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000002372 labelling Methods 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 5
- 238000001228 spectrum Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000005381 potential energy Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000013550 semantic technology Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Abstract
本发明涉及语音语义技术领域，公开了一种歌曲训练数据处理方法，该方法包括：获取初始样本数据，所述初始样本数据包括每首歌的乐谱及每首歌的乐谱对应的清唱录音，对初始样本数据进行标注，得到训练数据，并基于所述训练数据，训练得到声学特征输出模型。之后，该方法对目标训练数据进行处理，将所述目标训练数据中每首歌曲的语言学特征和音乐特征作为所述训练后的声学特征输出模型的输入数据，并输出每首歌曲的声学特征，根据所述每首歌曲的声学特征及每首歌曲的音乐特征对每首歌曲进行音高转移。本发明还提出一种歌曲训练数据处理装置以及一种计算机可读存储介质。本发明实现了在不录制额外语料的情况下，提高训练样本数量。
Description
技术领域
本发明涉及语音语义技术领域，尤其涉及一种歌曲训练数据处理方法、装置及计算机可读存储介质。
背景技术
歌唱合成的概念一经推出，就一直广受人们的关注，其最终目标是让机器以堪比真人歌手的自然度唱出各种旋律的歌曲。参数合成是歌唱合成的主流技术之一，其技术核心是通过训练模型，让模型学习如何将歌词的语言特征和乐谱的音乐特征转化为歌唱的声学特征。因此，模型的训练是参数合成技术中至关重要的一步，而训练后模型的性能依赖于训练语料的质量。如果某些语境因素少或从未出现在训练语料中，那么模型将不能很好的学习到如何准确的合成这些因素。另外，在所有音乐因素中，音高是影响歌唱质量的主要原因之一，所以使语料均匀而全面的概括各个音高是训练数据时的一大要点，现有技术中需要录制很多训练样本，才能得到全面的概括各个音高的语料，不仅需要非常多的人力，物力和时间，而且音高分布参差不齐。
发明内容
本发明提供一种歌曲训练数据处理方法、装置及计算机可读存储介质，其主要目的在于实现在不录制额外语料的情况下，提高训练样本数量，得到音高分布均匀的训练样本。
为实现上述目的，本发明还提供一种歌曲训练数据处理方法，所述方法包括：
获取初始样本数据，所述初始样本数据包括每首歌的乐谱及每首歌的乐谱对应的清唱录音；
对初始样本数据进行标注，得到训练数据；
基于所述训练数据，训练得到声学特征输出模型；
获取目标训练数据；
提取所述目标训练数据中每首歌曲的语言学特征和音乐特征；
将所述目标训练数据中每首歌曲的语言学特征和音乐特征作为所述训练后的声学特征输出模型的输入数据，并输出每首歌曲的声学特征；
根据所述每首歌曲的声学特征及每首歌曲的音乐特征对每首歌曲进行音高转移。
可选地，所述初始样本数据包括各个音域的歌曲；其中音域指某人声或乐器所能达到的最低音至最高音的范围。
可选地，所述对初始样本数据进行标注，得到训练数据包括：
提取所述初始样本数据中每首歌曲的语言学特征和音乐特征，将每首歌曲的语言学特征和音乐特征作为训练声学特征输出模型的输入参数，其中所述语言学特征包括：歌词的发音、歌词的前后关联；所述音乐特征包括：乐谱的音调、拍号、各音符的音高、音符时长。
可选地，所述基于所述训练数据，训练得到声学特征输出模型包括：
在训练所述声学特征输出模型时，利用训练算法根据每首歌驱的语言学特征和音乐特征输出每首歌的声学特征，并将输出的每首歌的声学特征与每首歌曲的清唱录音进行对比，直至使所述声学特征输出模型能提取每首歌曲的声学特征，其中所述声学特征包括基频和梅尔频谱系数。
可选地，所述根据所述每首歌曲的声学特征及每首歌曲的音乐特征对每首歌曲进行音高转移包括以下过程：
将每个首歌曲的音乐特征中所有音符的音高进行调整包括：将每个首歌曲的音乐特征中所有音符的音高都调高或调低半音，其他所有的音乐特征保持不变；
将每个首歌曲的声学特征中在基频参数上增加或减去半音所对应的基频值，其他的声学特征保持不变。
为实现上述目的，本发明还提供一种歌曲训练数据处理装置，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的歌曲训练数据处理程序，所述歌曲训练数据处理程序被所述处理器执行时实现如下步骤：
获取初始样本数据，所述初始样本数据包括每首歌的乐谱及每首歌的乐谱对应的清唱录音；
对初始样本数据进行标注，得到训练数据；
基于所述训练数据，训练得到声学特征输出模型；
获取目标训练数据；
提取所述目标训练数据中每首歌曲的语言学特征和音乐特征；
将所述目标训练数据中每首歌曲的语言学特征和音乐特征作为所述训练后的声学特征输出模型的输入数据，并输出每首歌曲的声学特征；
根据所述每首歌曲的声学特征及每首歌曲的音乐特征对每首歌曲进行音高转移。
可选地，所述歌曲训练数据处理程序还可被所述处理器执行，实现如下步骤：
提取所述初始样本数据中每首歌曲的语言学特征和音乐特征，将每首歌曲的语言学特征和音乐特征作为训练声学特征输出模型的输入参数，其中所述语言学特征包括：歌词的发音、歌词的前后关联；所述音乐特征包括：乐谱的音调、拍号、各音符的音高、音符时长。
可选地，所述歌曲训练数据处理程序还可被所述处理器执行，实现如下步骤：
所述基于所述训练数据，训练得到声学特征输出模型包括：
在训练所述声学特征输出模型时，利用训练算法根据每首歌驱的语言学特征和音乐特征输出每首歌的声学特征，并将输出的每首歌的声学特征与每首歌曲的清唱录音进行对比，直至可以使所述声学特征输出模型能提取每首歌曲的声学特征，其中所述声学特征包括基频和梅尔频谱系数。
可选地，所述根据所述每首歌曲的声学特征及每首歌曲的音乐特征对每首歌曲进行音高转移包括以下过程：
将每个首歌曲的音乐特征中所有音符的音高进行调整包括：将每个首歌曲的音乐特征中所有音符的音高都调高或调低半音，其他所有的音乐特征保持不变；
将每个首歌曲的声学特征中在基频参数上增加或减去半音所对应的基频值，其他的声学特征保持不变。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有歌曲训练数据处理程序，所述歌曲训练数据处理程序可被一个或者多个处理器执行，以实现如上所述的歌曲训练数据处理方法的步骤。
本发明公开了一种歌曲训练数据处理方法，该方法包括：获取初始样本数据，所述初始样本数据包括每首歌的乐谱及每首歌的乐谱对应的清唱录音，对初始样本数据进行标注，得到训练数据，并基于所述训练数据，训练得到声学特征输出模型。并对目标训练数据进行处理，将所述目标训练数据中每首歌曲的语言学特征和音乐特征作为所述训练后的声学特征输出模型的输入数据，并输出每首歌曲的声学特征，根据所述每首歌曲的声学特征及每首歌曲的音乐特征对每首歌曲进行音高转移。本发明实现了在不录制额外语料的情况下，提高训练样本数量。
附图说明
图1为本发明一实施例提供的歌曲训练数据处理方法的流程示意图；
图2为本发明一实施例提供的歌曲训练数据处理装置的内部结构示意图；
图3为本发明一实施例提供的歌曲训练数据处理装置中歌曲训练数据处理程序的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种歌曲训练数据处理方法。参照图1所示，为本发明一实施例提供的歌曲训练数据处理方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，歌曲训练数据处理方法包括：
S10、获取初始样本数据，所述初始样本数据包括每首歌的乐谱及每首歌的乐谱对应的清唱录音。
优选地，所述初始样本数据包括各个音域的歌曲。其中音域指某人声或乐器所能达到的最低音至最高音的范围。各音区的特性音色在音乐表现中，有着重大的作用。高音区一般具有清脆、嘹亮、尖锐的特性；而低音区则往往给人以浑厚、厚重之感。因此，在初始样本数据中尽可能多的包含各个音域的歌曲，可以尽量获得各个音符的音高的数据，便于后续再训练模型时，使模式参数能平衡各个音高的数据分布。
S11、对初始样本数据进行标注，得到训练数据。
可选地，对初始样本数据进行标注，得到训练数据包括：
提取所述初始样本数据中每首歌曲的语言学特征和音乐特征，将每首歌曲的语言学特征和音乐特征作为训练声学特征输出模型的输入参数，其中所述语言学特征包括，但不限于：歌词的发音、歌词的前后关联。所述音乐特征包括，但不限于：乐谱的音调、拍号、各音符的音高、音符时长等等。
S12、基于所述训练数据，训练得到声学特征输出模型。
优选地，所述声学特征包括，但不限于：基频和梅尔频谱系数等。音高是通过基频参数体现的。
可选地，在训练所述声学特征输出模型时，利用训练算法所述声学特征输出模型会不停尝试根据每首歌的语言学特征和音乐特征输出每首歌的声学特征，并将输出的每首歌的声学特征与实际的每首歌的清唱录音进行对比，直至可以使模型有效的提取每首歌曲的声学特征。通过反复的训练，最终所述声学特征输出模型可以提取每首歌的声学特征。
所述声学特征输出模型属于所述深度卷积神经网络模型。所述深度卷积神经网络模型由1个输入层、20个卷积层、6个池化层、3个隐含层、1个分类层构成。所述深度卷积神经网络模型的模型架构如图3所示，其中，Conv a-b(例如，Conv 3-64)表示该层卷积核的维度为a×a，该层卷积核的个数为b；Maxpool2表示所述池化层的池化核的维度为2×2；FC-c(例如，FC-6)表示该隐含层(即：完全连接层)有c个输出节点；Soft-max表示该分类层使用Soft-max分类器对输入的音视频数据进行处理。
在本实施例中，所述声学特征输出模型的训练过程主要包括：
(1)获取第一预设数量(例如，50万组)的训练数据。
(2)将所述第一预设数量的训练数据依次输入所述声学特征输出模型，利用预设的训练算法训练所述声学特征输出模型，并利用第二预设数量的训练数据校验训练后的声学特征输出模型。
在本实施例中，利用第二预设数量的训练数据校验训练后的声学特征输出模型，若训练后的声学特征输出模型的识别准确率大于或等于预设阈值(例如，95％)，则训练完成，后续利用训练后的声学特征输出模型能从输入的混合音频中分离出于与图像中的乐器所对应的声音。
若训练后的声学特征输出模型的识别准确率小于预设阈值(例如，95％)，则发出提醒信息，提醒用户增加样本数量重新按照上述步骤(1)-(2)训练所述声学特征输出模型。整个训练过程中，不需要任何人工的标注，分类等监督，完全由模型自主监督完成，省去和很多人力和时间。
在本实施例中，声学特征输出模型训练的原理揭露如下：
所述声学特征输出模型的训练采用第三开源库(Convolutional Architecturefor Fast Feature Embedding，Caffe)自带的Cifar10数据分类任务的参数。Caffe是一个清晰、高效的深度学习框架的开源库，能够自主地从数据上学到有用的特征，特别是对于一些图像等。Cifar10是Caffe中一个数据库。
在本实施例中，所述预设的训练算法为自适应矩估计算法(adaptive momentestimation，Adam)。Adam算法是一种基于随机优化的算法，它在基于momentum(即学习势能，又称为“矩”)的随机梯度下降(Stochastic gradient descent，SGD)算法基础上做了改进。通过自适应地对momentum项进行估计，以加快达到模型训练的目标。
S13、获取目标训练数据。
在本实施例中，所述目标训练数据为用于训练模型的训练样本。可以从存储器中直接读取目标训练数据。
在一具体实现中，目标训练数据存储于云端中，可以从云端中下载目标训练数据。
S14、提取所述目标训练数据中每首歌曲的语言学特征和音乐特征。
在本实施例中，其中所述语言学特征包括，但不限于：歌词的发音、歌词的前后关联。所述音乐特征包括，但不限于：乐谱的音调、拍号、各音符的音高、音符时长等等。
S15、将所述目标训练数据中每首歌曲的语言学特征和音乐特征作为所述训练后的声学特征输出模型的输入数据，并输出每首歌曲的声学特征。
其中，所述训练后的声学特征输出模型采用上述实施例的方法进行训练。
S16、根据所述每首歌曲的声学特征及每首歌曲的音乐特征对每首歌曲进行音高转移。
优选地，所述根据所述每首歌曲的声学特征及每首歌曲的音乐特征对每首歌曲进行音高转移包括以下过程：
将每个首歌曲的音乐特征中所有音符的音高进行调整包括：将每个首歌曲的音乐特征中所有音符的音高都调高或调低半音，其他所有的音乐特征保持不变。
将每个首歌曲的声学特征中在基频参数上增加或减去半音所对应的基频值，其他的声学特征保持不变。
本发明获取初始样本数据，所述初始样本数据包括每首歌的乐谱及每首歌的乐谱对应的清唱录音，对初始样本数据进行标注，得到训练数据，并基于所述训练数据，训练得到声学特征输出模型。并对目标训练数据进行处理，将所述目标训练数据中每首歌曲的语言学特征和音乐特征作为所述训练后的声学特征输出模型的输入数据，并输出每首歌曲的声学特征，根据所述每首歌曲的声学特征及每首歌曲的音乐特征对每首歌曲进行音高转移。利用这种音高转移的方式，在不录制额外语料的情况下，数据量增加到了原来的三倍(原版，升半音和降半音)。在出现单个音高数据不足，但邻近的音高数据充足的问题时，该方法能有效且准确的补足了原本不足的音高数据，同时已经数据充足的音高不会被在过度扩充，有效的实现了数据在音高上的分布平均化。
本发明还提供一种歌曲训练数据处理装置。参照图2所示，为本发明一实施例提供的歌曲训练数据处理装置的内部结构示意图。
在本实施例中，歌曲训练数据处理装置1可以是个人电脑(Personal Computer，PC)，也可以是智能手机、平板电脑、便携计算机等终端设备。该歌曲训练数据处理装置1至少包括存储器11、处理器12，通信总线13，以及网络接口14。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是歌曲训练数据处理装置1的内部存储单元，例如该歌曲训练数据处理装置1的硬盘。存储器11在另一些实施例中也可以是歌曲训练数据处理装置1的外部存储设备，例如歌曲训练数据处理装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括歌曲训练数据处理装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于歌曲训练数据处理装置1的应用软件及各类数据，例如歌曲训练数据处理程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行歌曲训练数据处理程序01等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该装置1与其他电子设备之间建立通信连接。
可选地，该装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在歌曲训练数据处理装置1中处理的信息以及用于显示可视化的用户界面。
图2仅示出了具有组件11-14以及歌曲训练数据处理程序01的歌曲训练数据处理装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对歌曲训练数据处理装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在图3所示的装置1实施例中，存储器11中存储有歌曲训练数据处理程序01；处理器12执行存储器11中存储的歌曲训练数据处理程序01时实现如下步骤：
获取初始样本数据，所述初始样本数据包括每首歌的乐谱及每首歌的乐谱对应的清唱录音。
优选地，所述初始样本数据包括各个音域的歌曲。其中音域指某人声或乐器所能达到的最低音至最高音的范围。各音区的特性音色在音乐表现中，有着重大的作用。高音区一般具有清脆、嘹亮、尖锐的特性；而低音区则往往给人以浑厚、厚重之感。因此，在初始样本数据中尽可能多的包含各个音域的歌曲，可以尽量获得各个音符的音高的数据，便于后续再训练模型时，使模式参数能平衡各个音高的数据分布。
对初始样本数据进行标注，得到训练数据。
可选地，对初始样本数据进行标注，得到训练数据包括：
提取所述初始样本数据中每首歌曲的语言学特征和音乐特征，将每首歌曲的语言学特征和音乐特征作为训练声学特征输出模型的输入参数，其中所述语言学特征包括，但不限于：歌词的发音、歌词的前后关联。所述音乐特征包括，但不限于：乐谱的音调、拍号、各音符的音高、音符时长等等。
基于所述训练数据，训练得到声学特征输出模型。
优选地，所述声学特征包括，但不限于：基频和梅尔频谱系数等。音高是通过基频参数体现的。
可选地，在训练所述声学特征输出模型时，所述声学特征输出模型会不停尝试根据每首歌的语言学特征和音乐特征输出每首歌的声学特征，并将输出的每首歌的声学特征与实际的每首歌的清唱录音进行对比，直至可以使模型有效的提取每首歌曲的声学特征。通过反复的训练，最终所述声学特征输出模型可以提取每首歌的声学特征。
所述声学特征输出模型属于所述深度卷积神经网络模型。所述深度卷积神经网络模型由1个输入层、20个卷积层、6个池化层、3个隐含层、1个分类层构成。所述深度卷积神经网络模型的模型架构如图3所示，其中，Conv a-b(例如，Conv 3-64)表示该层卷积核的维度为a×a，该层卷积核的个数为b；Maxpool2表示所述池化层的池化核的维度为2×2；FC-c(例如，FC-6)表示该隐含层(即：完全连接层)有c个输出节点；Soft-max表示该分类层使用Soft-max分类器对输入的音视频数据进行处理。
在本实施例中，所述声学特征输出模型的训练过程主要包括：
(1)获取第一预设数量(例如，50万组)的训练数据。
(2)将所述第一预设数量的训练数据依次输入所述声学特征输出模型，利用预设的训练算法训练所述声学特征输出模型，并利用第二预设数量的训练数据校验训练后的声学特征输出模型。
在本实施例中，利用第二预设数量的训练数据校验训练后的声学特征输出模型，若训练后的声学特征输出模型的识别准确率大于或等于预设阈值(例如，95％)，则训练完成，后续利用训练后的声学特征输出模型能从输入的混合音频中分离出于与图像中的乐器所对应的声音。
若训练后的声学特征输出模型的识别准确率小于预设阈值(例如，95％)，则发出提醒信息，提醒用户增加样本数量重新按照上述步骤(1)-(2)训练所述声学特征输出模型。整个训练过程中，不需要任何人工的标注，分类等监督，完全由模型自主监督完成，省去和很多人力和时间。
在本实施例中，声学特征输出模型训练的原理揭露如下：
所述声学特征输出模型的训练采用第三开源库(Convolutional Architecturefor Fast Feature Embedding，Caffe)自带的Cifar10数据分类任务的参数。Caffe是一个清晰、高效的深度学习框架的开源库，能够自主地从数据上学到有用的特征，特别是对于一些图像等。Cifar10是Caffe中一个数据库。
在本实施例中，所述预设的训练算法为自适应矩估计算法(adaptive momentestimation，Adam)。Adam算法是一种基于随机优化的算法，它在基于momentum(即学习势能，又称为“矩”)的随机梯度下降(Stochastic gradient descent，SGD)算法基础上做了改进。通过自适应地对momentum项进行估计，以加快达到模型训练的目标。
获取目标训练数据。
提取所述目标训练数据中每首歌曲的语言学特征和音乐特征。
将所述目标训练数据中每首歌曲的语言学特征和音乐特征作为所述训练后的声学特征输出模型的输入数据，并输出每首歌曲的声学特征。
其中，所述训练后的声学特征输出模型采用上述实施例的方法进行训练。
根据所述每首歌曲的声学特征及每首歌曲的音乐特征对每首歌曲进行音高转移。
优选地，所述根据所述每首歌曲的声学特征及每首歌曲的音乐特征对每首歌曲进行音高转移包括以下过程：
将每个首歌曲的音乐特征中所有音符的音高进行调整包括：将每个首歌曲的音乐特征中所有音符的音高都调高或调低半音，其他所有的音乐特征保持不变。
将每个首歌曲的声学特征中在基频参数上增加或减去半音所对应的基频值，其他的声学特征保持不变。
可选地，在其他实施例中，歌曲训练数据处理程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述歌曲训练数据处理程序在歌曲训练数据处理装置中的执行过程。
例如，参照图3所示，为本发明歌曲训练数据处理装置一实施例中的歌曲训练数据处理程序的程序模块示意图，该实施例中，歌曲训练数据处理程序可以被分割为板块获取模块10、标注模块20、训练模块30、提取模块40，输出模块50、转移模块60，示例性地：
获取模块10用于：获取初始样本数据，所述初始样本数据包括每首歌的乐谱及每首歌的乐谱对应的清唱录音。
标注模块20用于：对初始样本数据进行标注，得到训练数据。
训练模块30用于：基于所述训练数据，训练得到声学特征输出模型。
提取模块40提取所述目标训练数据中每首歌曲的语言学特征和音乐特征；
输出模块50将所述目标训练数据中每首歌曲的语言学特征和音乐特征作为所述训练后的声学特征输出模型的输入数据，并输出每首歌曲的声学特征；
转移模块60根据所述每首歌曲的声学特征及每首歌曲的音乐特征对每首歌曲进行音高转移。
上述获取模块10、标注模块20、训练模块30、提取模块40、输出模块50及转移模块60等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有歌曲训练数据处理程序，所述歌曲训练数据处理程序可被一个或多个处理器执行，以实现如下操作：
获取初始样本数据，所述初始样本数据包括每首歌的乐谱及每首歌的乐谱对应的清唱录音；
对初始样本数据进行标注，得到训练数据；
基于所述训练数据，训练得到声学特征输出模型。
获取目标训练数据；
提取所述目标训练数据中每首歌曲的语言学特征和音乐特征；
将所述目标训练数据中每首歌曲的语言学特征和音乐特征作为所述训练后的声学特征输出模型的输入数据，并输出每首歌曲的声学特征；
根据所述每首歌曲的声学特征及每首歌曲的音乐特征对每首歌曲进行音高转移。
本发明计算机可读存储介质具体实施方式与上述歌曲训练数据处理装置和方法各实施例基本相同，在此不作累述。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (4)
1.一种歌曲训练数据处理方法，应用于电子装置，其特征在于，所述方法包括：
获取初始样本数据，所述初始样本数据包括每首歌的乐谱及每首歌的乐谱对应的清唱录音；
对初始样本数据进行标注，得到训练数据；
基于所述训练数据，训练得到声学特征输出模型；
获取目标训练数据；
提取所述目标训练数据中每首歌曲的语言学特征和音乐特征；
将所述目标训练数据中每首歌曲的语言学特征和音乐特征作为训练后的声学特征输出模型的输入数据，并输出每首歌曲的声学特征；
根据所述每首歌曲的声学特征及每首歌曲的音乐特征对每首歌曲进行音高转移；
其中，所述对初始样本数据进行标注，得到训练数据包括：提取所述初始样本数据中每首歌曲的语言学特征和音乐特征，将每首歌曲的语言学特征和音乐特征作为训练声学特征输出模型的输入参数，其中所述语言学特征包括：歌词的发音、歌词的前后关联；所述音乐特征包括：乐谱的音调、拍号、各音符的音高、音符时长；
所述基于所述训练数据，训练得到声学特征输出模型包括：在训练所述声学特征输出模型时，利用训练算法根据每首歌曲的语言学特征和音乐特征输出每首歌的声学特征，将输出的每首歌的声学特征与每首歌曲的清唱录音进行对比，直至使所述声学特征输出模型能提取每首歌曲的声学特征，其中所述声学特征包括基频和梅尔频谱系数；
所述根据所述每首歌曲的声学特征及每首歌曲的音乐特征对每首歌曲进行音高转移包括以下过程：将每首歌曲的音乐特征中所有音符的音高进行调整包括：将每首歌曲的音乐特征中所有音符的音高都调高或调低半音，其他所有的音乐特征保持不变；将每首歌曲的声学特征中在基频参数上增加或减去半音所对应的基频值，其他的声学特征保持不变。
2.如权利要求1所述的歌曲训练数据处理方法，其特征在于，所述初始样本数据包括各个音域的歌曲；其中音域指某人声或乐器所能达到的最低音至最高音的范围。
3.一种歌曲训练数据处理装置，用于实现如权利要求1至2中任一项所述的歌曲训练数据处理方法，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的歌曲训练数据处理程序，所述歌曲训练数据处理程序被所述处理器执行时实现如下步骤：
获取初始样本数据，所述初始样本数据包括每首歌的乐谱及每首歌的乐谱对应的清唱录音；
对初始样本数据进行标注，得到训练数据；
基于所述训练数据，训练得到声学特征输出模型；
获取目标训练数据；
提取所述目标训练数据中每首歌曲的语言学特征和音乐特征；
将所述目标训练数据中每首歌曲的语言学特征和音乐特征作为训练后的声学特征输出模型的输入数据，并输出每首歌曲的声学特征；
根据所述每首歌曲的声学特征及每首歌曲的音乐特征对每首歌曲进行音高转移。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有歌曲训练数据处理程序，所述歌曲训练数据处理程序可被一个或者多个处理器执行，以实现如权利要求1至2中任一项所述的歌曲训练数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910008832.0A CN109829482B (zh) | 2019-01-04 | 2019-01-04 | 歌曲训练数据处理方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910008832.0A CN109829482B (zh) | 2019-01-04 | 2019-01-04 | 歌曲训练数据处理方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109829482A CN109829482A (zh) | 2019-05-31 |
| CN109829482B true CN109829482B (zh) | 2023-10-27 |
Family
ID=66860092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910008832.0A Active CN109829482B (zh) | 2019-01-04 | 2019-01-04 | 歌曲训练数据处理方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109829482B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110738980A (zh) * | 2019-09-16 | 2020-01-31 | 平安科技（深圳）有限公司 | 歌声合成模型的训练方法、系统及歌声合成方法 |
| CN111862937A (zh) * | 2020-07-23 | 2020-10-30 | 平安科技（深圳）有限公司 | 歌声合成方法、装置及计算机可读存储介质 |
| CN112035699A (zh) * | 2020-08-27 | 2020-12-04 | 北京字节跳动网络技术有限公司 | 音乐合成方法、装置、设备和计算机可读介质 |
| CN112542155B (zh) * | 2020-11-27 | 2021-09-21 | 北京百度网讯科技有限公司 | 歌曲合成方法及模型训练方法、装置、设备与存储介质 |
| CN113436591B (zh) * | 2021-06-24 | 2023-11-17 | 广州酷狗计算机科技有限公司 | 音高信息生成方法、装置、计算机设备及存储介质 |
| CN113643720A (zh) * | 2021-08-06 | 2021-11-12 | 腾讯音乐娱乐科技（深圳）有限公司 | 歌曲的特征提取模型训练方法、歌曲识别方法及相关设备 |
| WO2024075634A1 (ja) * | 2022-10-04 | 2024-04-11 | ヤマハ株式会社 | 音波形の特性分布に係る表示方法 |
| CN116959393B (zh) * | 2023-09-18 | 2023-12-22 | 腾讯科技（深圳）有限公司 | 音乐生成模型的训练数据生成方法、装置、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003345400A (ja) * | 2002-05-27 | 2003-12-03 | Yamaha Corp | ピッチ変換装置、ピッチ変換方法及びプログラム |
| JP2013164609A (ja) * | 2013-04-15 | 2013-08-22 | Yamaha Corp | 歌唱合成用データベース生成装置、およびピッチカーブ生成装置 |
| CN108492817A (zh) * | 2018-02-11 | 2018-09-04 | 北京光年无限科技有限公司 | 一种基于虚拟偶像的歌曲数据处理方法及演唱交互系统 |
| CN108804474A (zh) * | 2017-05-05 | 2018-11-13 | 腾讯科技（上海）有限公司 | 歌曲的音频信号处理方法、音频相似度匹配方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180322854A1 (en) * | 2017-05-08 | 2018-11-08 | WaveAI Inc. | Automated Melody Generation for Songwriting |
-
2019
- 2019-01-04 CN CN201910008832.0A patent/CN109829482B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003345400A (ja) * | 2002-05-27 | 2003-12-03 | Yamaha Corp | ピッチ変換装置、ピッチ変換方法及びプログラム |
| JP2013164609A (ja) * | 2013-04-15 | 2013-08-22 | Yamaha Corp | 歌唱合成用データベース生成装置、およびピッチカーブ生成装置 |
| CN108804474A (zh) * | 2017-05-05 | 2018-11-13 | 腾讯科技（上海）有限公司 | 歌曲的音频信号处理方法、音频相似度匹配方法及装置 |
| CN108492817A (zh) * | 2018-02-11 | 2018-09-04 | 北京光年无限科技有限公司 | 一种基于虚拟偶像的歌曲数据处理方法及演唱交互系统 |
Non-Patent Citations (2)
| Title |
|---|
| 基于HMM的自动音符切分识别的研究;许洁萍 等;微计算机应用;第29卷(第05期);第52-55页 * |
| 基于遗传算法的旋律匹配模型研究;秦静 等;哈尔滨工程大学学报;第31卷(第02期);第249-256页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109829482A (zh) | 2019-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109829482B (zh) | 歌曲训练数据处理方法、装置及计算机可读存储介质 | |
| CN108305643B (zh) | 情感信息的确定方法和装置 | |
| Humphrey et al. | Moving beyond feature design: Deep architectures and automatic feature learning in music informatics. | |
| WO2021051577A1 (zh) | 语音情绪识别方法、装置、设备及存储介质 | |
| CN110211565A (zh) | 方言识别方法、装置及计算机可读存储介质 | |
| CN110047514B (zh) | 一种伴奏纯净度评估方法以及相关设备 | |
| EP3616190A1 (en) | Automatic song generation | |
| CN110136689B (zh) | 基于迁移学习的歌声合成方法、装置及存储介质 | |
| CN106295717B (zh) | 一种基于稀疏表示和机器学习的西洋乐器分类方法 | |
| CN110502610A (zh) | 基于文本语义相似度的智能语音签名方法、装置及介质 | |
| CN108764114B (zh) | 一种信号识别方法及其设备、存储介质、终端 | |
| Muthusamy et al. | Particle swarm optimization based feature enhancement and feature selection for improved emotion recognition in speech and glottal signals | |
| CN113327586A (zh) | 一种语音识别方法、装置、电子设备以及存储介质 | |
| Elnagar et al. | Predicting quranic audio clips reciters using classical machine learning algorithms: a comparative study | |
| KR101801250B1 (ko) | 음악에 적합한 테마를 자동으로 태깅하는 방법 및 시스템 | |
| JP4607660B2 (ja) | 楽曲検索装置および楽曲検索方法 | |
| JP6082657B2 (ja) | ポーズ付与モデル選択装置とポーズ付与装置とそれらの方法とプログラム | |
| CN115132170A (zh) | 语种分类方法、装置及计算机可读存储介质 | |
| WO2020162239A1 (ja) | パラ言語情報推定モデル学習装置、パラ言語情報推定装置、およびプログラム | |
| Shtern et al. | Transfer learning in neural networks: an experience report | |
| JP4607659B2 (ja) | 楽曲検索装置および楽曲検索方法 | |
| Vatolkin | Generalisation performance of western instrument recognition models in polyphonic mixtures with ethnic samples | |
| Kher | Music Composer Recognition from MIDI Representation using Deep Learning and N-gram Based Methods | |
| Kim | Automatic Music Transcription in the Deep Learning Era: Perspectives on Generative Neural Networks | |
| JP7363107B2 (ja) | 発想支援装置、発想支援システム及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |