CN106373580B - 基于人工智能的合成歌声的方法和装置 - Google Patents
基于人工智能的合成歌声的方法和装置 Download PDFInfo
- Publication number
- CN106373580B CN106373580B CN201610803453.7A CN201610803453A CN106373580B CN 106373580 B CN106373580 B CN 106373580B CN 201610803453 A CN201610803453 A CN 201610803453A CN 106373580 B CN106373580 B CN 106373580B
- Authority
- CN
- China
- Prior art keywords
- character
- fundamental frequency
- voice
- adjustment
- song
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 45
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 45
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 38
- 238000005266 casting Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims description 21
- 230000001755 vocal effect Effects 0.000 claims description 18
- 238000009499 grossing Methods 0.000 claims description 16
- 230000008676 import Effects 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000033764 rhythmic process Effects 0.000 abstract description 8
- 230000002194 synthesizing effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000006854 communication Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Toys (AREA)
Abstract
本申请公开了一种基于人工智能的合成歌声的方法和装置。所述方法的一具体实施方式包括：获取目标歌曲的歌词信息和乐谱信息；将所述歌词信息导入预设的语音播报模型，得到播报语音；基于所述乐谱信息，确定所述歌词信息中各字符的元音节的目标播放时长及所述目标歌曲中每个音符的基频；对于所述播报语音中的每个字符，调整该字符的元音节的时长至与目标播放时长相等，得到第一调整语音；根据所述目标歌曲中每个音符的基频，调整所述第一调整语音中每个字符的基频，得到合成的歌声。该实施方式降低了机器人唱歌的成本，并且上述合成的歌声的语音特征与机器人的语音特征相符，不存在人唱歌时的节奏、音高、气息不稳定的问题，提升了用户的听觉体验。
Description
技术领域
本申请涉及计算机技术领域，具体涉及人工智能技术领域，尤其涉及一种基于人工智能的合成歌声的方法和装置。
背景技术
人工智能(Artificial Intelligence，AI)是一门研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
近年来，随着机器学习和人工智能技术的发展，个人智能助理机器人逐渐进入人们的生活，旨在了解用户的喜好和习惯，与用户进行问题回答、提供娱乐方式等。目前，人们对个人智能助理机器人需求最多的是“给我唱首歌吧”，即通过点击操作使得个人智能助理机器人唱歌。
在目前的实现机器人唱歌的方法中，通常是雇佣歌唱者提前录制的声音，对得到的人的声音进行处理后进行播放。这种方法缺乏扩展性、成本较高，并且由于歌唱者提前录制的歌声，可能会存在歌声节奏、音高、气息不稳定的问题，降低了用户的听觉体验，不利于智能机器人的长期发展。
发明内容
本申请的目的在于提出一种基于人工智能的合成歌声的方法和装置，来解决以上背景技术部分提到的技术问题。
第一方面，本申请提供了一种基于人工智能的合成歌声的方法，所述方法包括：获取目标歌曲的歌词信息和乐谱信息；将所述歌词信息导入预设的语音播报模型，得到播报语音；基于所述乐谱信息，确定所述歌词信息中各字符的元音节的目标播放时长及所述目标歌曲中每个音符的基频；对于所述播报语音中的每个字符，调整该字符的元音节的时长至与目标播放时长相等，得到第一调整语音；根据所述目标歌曲中每个音符的基频，调整所述第一调整语音中每个字符的基频，得到合成的歌声。
在一些实施例中，所述根据所述目标歌曲中每个音符的基频，调整所述第一调整语音中每个字符的基频，包括：根据所述目标歌曲，确定所述歌词信息中每个字符与所述乐谱信息中各音符的对应关系；根据目标歌曲中每个小节内各音符的基频均值、所述对应关系，调整所述第一调整语音中各字符的基频，得到第二调整语音；根据所述目标歌曲中每个音符的基频、所述对应关系，对所述第二调整语音的每个字符的基频进行二次调整。
在一些实施例中，所述根据目标歌曲中每个小节内各音符的基频均值、所述对应关系，调整所述第一调整语音中各字符的基频，包括：将每个小节中各音符的基频的均值作为该小节的目标频率；根据每个小节内包括的音符以及所述对应关系，确定与各字符所属的小节；将所述第一调整语音中每个字符的基频调整至所属的小节的目标频率。
在一些实施例中，所述根据所述目标歌曲中每个音符的基频、所述对应关系，对所述第二调整语音的每个字符的基频进行二次调整，包括：根据所述目标歌曲中每个音符的基频、所述对应关系，确定所述目标歌曲中每个字符的基频；将所述第二调整语音中每个字符的基频调整至所述目标歌曲中每个字符的基频。
在一些实施例中，所述对于所述播报语音中的每个字符，调整该字符的元音的时长，包括：对所述播报语音中的各字符进行切割，得到字符语音序列；对所述字符语音序列中的每个字符的元音节和辅音节进行切割，得到音节语音序列；确定所述音节语音序列每个元音节的时长；调整所述音节语音序列中每个元音节的时长。
在一些实施例中，所述方法还包括：将基频调整后的语音转化为数字音频信号；将所述数字音频信号中当前时刻的未平滑处理的基频值、前一时刻经平滑处理后的基频值、前两个时刻的经平滑处理后的基频值进行加权叠加；将叠加值作为当前时刻平滑处理后的基频值。
第二方面，本申请提供了一种基于人工智能的合成歌声的装置，所述装置包括：获取单元，用于获取目标歌曲的歌词信息和乐谱信息；导入单元，用于将所述歌词信息导入预设的语音播报模型，得到播报语音；确定单元，用于基于所述乐谱信息，确定所述歌词信息中各字符的元音节的目标播放时长及所述目标歌曲中每个音符的基频；时长调整单元，用于对于所述播报语音中的每个字符，调整该字符的元音节的时长至与目标播放时长相等，得到第一调整语音；基频调整单元，用于根据所述目标歌曲中每个音符的基频，调整所述第一调整语音中每个字符的基频，得到合成的歌声。
在一些实施例中，所述基频调整单元包括：对应模块，用于根据所述目标歌曲，确定所述歌词信息中每个字符与所述乐谱信息中各音符的对应关系；第一调整模块，用于根据目标歌曲中每个小节内各音符的基频均值、所述对应关系，调整所述第一调整语音中各字符的基频，得到第二调整语音；第二调整模块，用于根据所述目标歌曲中每个音符的基频、所述对应关系，对所述第二调整语音的每个字符的基频进行二次调整。
在一些实施例中，所述第一调整模块进一步用于：将每个小节中各音符的基频的均值作为该小节的目标频率；根据每个小节内包括的音符以及所述对应关系，确定与各字符所属的小节；将所述第一调整语音中每个字符的基频调整至所属的小节的目标频率。
在一些实施例中，所述第二调整模块进一步用于：根据所述目标歌曲中每个音符的基频、所述对应关系，确定所述目标歌曲中每个字符的基频；将所述第二调整语音中每个字符的基频调整至所述目标歌曲中每个字符的基频。
在一些实施例中，所述时长调整单元包括：字符切割模块，用于对所述播报语音中的各字符进行切割，得到字符语音序列；音节切割模块，用于对所述字符语音序列中的每个字符的元音节和辅音节进行切割，得到音节语音序列；时长确定模块，用于确定所述音节语音序列每个元音节的时长；时长调整模块，用于调整所述音节语音序列中每个元音节的时长。
在一些实施例中，所述方法还包括平滑处理单元，用于：将基频调整后的语音转化为数字音频信号；将所述数字音频信号中当前时刻的未平滑处理的基频值、前一时刻经平滑处理后的基频值、前两个时刻的经平滑处理后的基频值进行加权叠加；将叠加值作为当前时刻平滑处理后的基频值。
本申请提供的基于人工智能的合成歌声的方法和装置，在获取目标歌曲的歌词信息和乐谱信息后，将目标歌曲的歌词信息导入预设的语音播报模型中，得到播报语音；然后基于乐谱信息，确定每个字符的元音节的目标播放时长以及每个音符的基频；将播报语音中每个元音的时长调整至目标播放时长；然后根据每个音符的基频，调整时长调整后的语音中每个字符的基频，最终得到合成的歌声。本申请的基于人工智能的合成歌声的方法和装置，不再需要对人的声音进行处理，降低了机器人唱歌的成本，并且上述合成的歌声的语音特征与机器人的语音特征相符，不存在人唱歌时的节奏、音高、气息不稳定的问题，提升了用户的听觉体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性系统架构图；
图2是根据本申请的基于人工智能的合成歌声的方法的一个实施例的流程图；
图3是根据本申请的基于人工智能的合成歌声的方法的一个应用场景的示意图；
图4是根据本申请的基于人工智能的合成歌声的方法调整第一调整语音的基频的一个实施例的流程图；
图5是根据本申请的基于人工智能的合成歌声的装置的一个实施例的结构示意图；
图6是适于用来实现本申请实施例的服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的基于人工智能的合成歌声的方法或基于人工智能的合成歌声的装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如智能语音控制应用、搜索类应用等。
终端设备101、102、103可以是具有显示屏并且支持智能机器人的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的智能机器人提供支持的后台服务器。后台服务器可以对接收到的对智能机器人的操作请求等数据进行分析等处理，并将处理结果(例如操作结果)反馈给终端设备。
需要说明的是，本申请实施例所提供的基于人工智能的合成歌声的方法一般由服务器105执行，相应地，基于人工智能的合成歌声的装置一般设置于服务器105中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的基于人工智能的合成歌声的方法的一个实施例的流程200。本实施例的基于人工智能的合成歌声的方法，包括以下步骤：
步骤201，获取目标歌曲的歌词信息和乐谱信息。
在本实施例中，基于人工智能的合成歌声的方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式从用户终端处接收用户对智能机器人的歌唱操作请求，然后服务器会获取目标歌曲的歌词信息和乐谱信息。上述目标歌曲可以是用户通过终端指定的歌曲，也可以是服务器在接收到上述歌唱操作请求时，从预置的曲库中随机选取的歌曲，还可以是服务器根据用户的行为和使用习惯从预置的曲库中选取的歌曲。歌词信息是目标歌曲的文字信息，可以是中文的、英文的、中英文混合的，上述歌词信息可以以.lrc、.txt文件等各种可实施的形式存在。乐谱信息是目标歌曲的曲调信息，可以包括音符、调号、拍号、音速、力度等信息。
需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
步骤202，将歌词信息导入预设的语音播报模型，得到播报语音。
本实施例中，服务器中可以预先设置一个语音播报模型，用于播报语音。上述语音播报模型可以由多个设置参数供调节，例如可以包括男声、女声、语速、音调、音量和音频码率等参数。服务器可以根据设置的智能机器人的定位形象来调节上述参数，例如服务器设定智能机器人是一个可爱的小朋友的形象，那么可以将上述参数进行一定的调整，使其音色与机器人小朋友的音色相似；服务器还可以将上述参数的设定以复选框的形式发送到用户所使用的终端上，供用户根据自身的喜好进行调节；服务器还可以预先设置多个与不同的形象对应的参数组合，并将对应的形象发送给用户所使用的终端供用户选择，例如服务器可以预存有与著名的动画形象、明星等对应的参数组合，在播报语音前，将上述形象发送给用户终端。服务器将上述歌词信息导入到上述预设的语音播报模型后，可以得到上述歌词的播报语音。
步骤203，基于乐谱信息，确定歌词信息中各字符的元音节的目标播放时长及目标歌曲中每个音符的基频。
本实施例中，服务器可以对目标歌曲进行分析，确定歌词信息中每个字符的播放时长，再分析每个字符的元音节和辅音节，确定每个元音节的目标播放时长。上述字符可以是一个汉字，也可以是一个英文单词。服务器根据乐谱信息可以确定每个音符的音高，从而确定每个音符的基频。
步骤204，对于播报语音中的每个字符，调整该字符的元音节的时长至与目标播放时长相等，得到第一调整语音。
本实施例中，在得到目标歌曲中每个元音节的目标播放时长后，可以将播报语音中每个字符的元音节的时长调整至上述目标播放时长。在具体实践中，服务器可通过安装时长调节应用来实现上述元音节时长的调整，例如使用Phase Vocoder(一种相位声码器，用于通过改变声音信号的相位信息，实现声音时域上的压缩或扩展)。在对播报语音进行时长调整后，改变了播报语音的节奏，得到第一调整语音，可以理解的是，第一调整语音的节奏与目标歌曲的节奏相等。
本实施例中，在调整播报音频的时长时，只调整元音节的时长符合人在歌唱时的习惯，因为人在唱歌曲中的长音的时候，会拉长元音节而不是辅音节，这样能够使得合成的歌声更准确。
在本实施例的一些可选的实现方式中，在调整播报语音中每个元音节的时长时，可以通过图2中未示出的以下步骤来实现：
对播报语音中的各字符进行切割，得到字符语音序列；对字符语音序列中的每个字符的元音节和辅音节进行切割，得到音节语音序列；确定音节语音序列每个元音节的时长；调整音节语音序列中每个元音节的时长。
在本实现方式中，可以首先对播报语音按歌词信息中的各字符进行切割，得到字符语音序列，字符语音序列中的每个元素都包括一个字符或者不包括字符(停顿部分)。然后在对字符语音序列中的每个字符中的元音节和辅音节进行切割，得到音节语音序列。确定音节语音序列中每个元音节的时长，然后根据目标歌曲中每个元音节的时长调整音节语音序列中每个元音节的时长，实现节奏的变化。
步骤205，根据目标歌曲中每个音符的基频，调整第一调整语音中每个字符的基频，得到合成的歌声。
本实施例中，服务器可以根据目标歌曲中每个音符的基频，调整第一调整语音中每个字符的基频，从而为播报语音赋上了与目标歌曲相同的曲调，得到了根据播报语音合成的歌声。可以理解的是，本实施例中得到的合成的歌声，是清唱的歌声，没有伴奏。
在本实施例的一些可选的实现方式中，由于歌声会因音调的突然转换而产生不自然的听感，另外，各音符的基频过于平坦也造成不自然的听感，因此上述方法还可以在得到合成的歌声后，将上述歌声转换为数字音频信号，并对得到的数字音频信号进行平滑处理。在平滑处理时，可通过如下公式对每一时刻的基频值进行处理：
y(k)＝a1x(k)+a2y(k-1)+a3y(k-2)；
其中，k为自然数，且k＞2，表示第k时刻；y(k)表示第k时刻经平滑处理后的语音的基频；x(k)表示第k时刻平滑处理前的语音的基频；y(k-1)表示第k-1时刻平滑处理后的语音的基频；y(k-2)表示第k-2时刻平滑处理后的语音的基频；a1、a2、a3分别为预设的平滑参数。
继续参见图3，图3是根据本实施例的基于人工智能的合成歌声的方法的应用场景的一个示意图。在图3的应用场景中，用户通过智能手机31打开智能机器人，并在对话框中输入“给我唱首歌吧”，显示界面如311所示。智能手机31通过网络(图中未示出)将此请求发送给为提供支持的后台服务器32。后台服务器32在接收到上述请求后，执行步骤321-步骤325：
步骤321，获取到目标歌曲《虫儿飞》的歌词信息和乐谱信息。
步骤322，将《虫儿飞》的歌词信息导入预设的语音播报模型，得到《虫儿飞》播报语音。
步骤323，调整《虫儿飞》播报语音中每个元音的时长。
步骤324，调整时长变化后的《虫儿飞》语音的基频。
步骤325，得到合成歌曲《虫儿飞》。
服务器32在得到合成歌曲《虫儿飞》后，将智能手机33返回此歌曲，智能手机33在接收到此歌曲后，首先在显示界面331上显示“唱就唱，听好了”消息，然后播放服务器32返回的合成歌曲《虫儿飞》。
本申请的上述实施例提供的基于人工智能的合成歌声的方法，在获取目标歌曲的歌词信息和乐谱信息后，将目标歌曲的歌词信息导入预设的语音播报模型中，得到播报语音；然后基于乐谱信息，确定每个字符的元音节的目标播放时长以及每个音符的基频；将播报语音中每个元音的时长调整至目标播放时长；然后根据每个音符的基频，调整时长调整后的语音中每个字符的基频，最终得到合成的歌声。本申请的基于人工智能的合成歌声的方法和装置，不再需要对人的声音进行处理，降低了机器人唱歌的成本，并且上述合成的歌声的语音特征与机器人的语音特征相符，不存在人唱歌时的节奏、音高、气息不稳定的问题，提升了用户的听觉体验。
图4示出了根据本申请的基于人工智能的合成歌声的方法的又一个实施例的流程图400。本实施例的基于人工智能的合成歌声的方法包括以下步骤：
步骤401，根据目标歌曲，确定歌词信息中每个字符与乐谱信息中各音符的对应关系。
一首歌曲中，每个字符对应的音符的个数可能不同，有的字符对应一个音符，有的字符对应多个字符。根据乐谱信息就可以确定上述对应关系。
步骤402，根据目标歌曲中每个小节内各音符的基频均值、上述对应关系，调整第一调整语音中各字符的基频，得到第二调整语音。
本实施例中，首先对第一调整语音中每个小节包括的字符的基频进行调整。这是由于，预设的语音播报模型播报的语音是具有声调的。例如，“黑黑的天空低垂，亮亮的繁星相随”中，声调包括一声(黑、的、天、空、低、星、相)、二声(垂、繁、随)以及四声(亮)。第一次基频调整的目的在于将上述语句中的声调剥离，即每个小节的字符的声调是相同的，那样更符合机器人说话的特点。
本步骤具体可以通过子步骤4021-4023来实现：
子步骤4021，将每个小节中各音符的基频的均值作为该小节的目标频率。
首先计算目标歌曲中每个小节中各音符的基频的平均值，并将此平均值作为该小节的目标频率。例如，一个小节中包括四个音符，对应的基频值分别为k1、k2、k3和k4，那么目标频率为(k1+k2+k3+k4)/4。
子步骤4022，根据每个小节内包括的音符以及上述对应关系，确定与各字符所属的小节。
根据每个小节内包括的音符数量，以及每个音符与字符的对应关系，可以确定每个字符所属的小节。
子步骤4023，将第一调整语音中每个字符的基频调整至所属的小节的目标频率。
将每个字符的基频调整至其所属的小节的目标频率，就将该小节的字符的声调剥离了。
步骤403，根据目标歌曲中每个音符的基频、上述对应关系，对第二调整语音的每个字符的基频进行二次调整。
在将字符的声调剥离后，可得到第二调整语音，但第二调整语音是没有旋律的，因此，需要将第二调整语音与目标歌曲的旋律进行合成。具体可通过子步骤4031-4032实现：
子步骤4031，根据目标歌曲中每个音符的基频、上述对应关系，确定目标歌曲中每个字符的基频。
根据每个音符的基频以及字符与音符的对应关系，可确定每个字符的基频。
子步骤4032，将第二调整语音中每个字符的基频调整至目标歌曲中每个字符的基频。
通过调整第二调整语音中每个字符的基频至与上述目标歌曲中每个字符的基频相同，实现了为第二调整语音赋予旋律的操作。
从图4中可以看出，与图2对应的实施例相比，本实施例中的基于人工智能的合成歌声的方法的流程400突出了基频调整的步骤。由此，本实施例描述的方案可以更贴合机器人唱歌的特点，并且得到的合成歌声中不包括伴奏，避免了更多的噪声。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种基于人工智能的合成歌声的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的基于人工智能的合成歌声的装置500包括：获取单元501、导入单元502、确定单元503、时长调整单元504及基频调整单元505。
其中，获取单元501，用于获取目标歌曲的歌词信息和乐谱信息。
导入单元502，用于将获取单元501获取的歌词信息导入预设的语音播报模型，得到播报语音。
确定单元503，用于基于获取单元501获取的乐谱信息，确定歌词信息中各字符的元音节的目标播放时长及目标歌曲中每个音符的基频。
时长调整单元504，用于对于导入单元502得到的播报语音中的每个字符，调整该字符的元音节的时长至与目标播放时长相等，得到第一调整语音。
在本实施例的一些可选的实现方式中，上述时长调整单元504可以进一步包括图5中未示出的字符切割模块、音节切割模块、时长确定模块以及时长调整模块。
其中，字符切割模块，用于对播报语音中的各字符进行切割，得到字符语音序列。
音节切割模块，用于对字符切割模块得到的字符语音序列中的每个字符的元音节和辅音节进行切割，得到音节语音序列。
时长确定模块，用于确定音节切割模块得到的音节语音序列每个元音节的时长。
时长调整模块，用于调整音节语音序列中每个元音节的时长。
基频调整单元505，用于根据目标歌曲中每个音符的基频，调整时长调整单元504得到的第一调整语音中每个字符的基频，得到合成的歌声。
在本实施例的一些可选的实现方式中，上述基频调整单元505可以进一步包括图5中未示出的对应模块、第一调整模块和第二调整模块。
对应模块，用于根据目标歌曲，确定歌词信息中每个字符与乐谱信息中各音符的对应关系。
第一调整模块，用于根据目标歌曲中每个小节内各音符的基频均值、上述对应关系，调整第一调整语音中各字符的基频，得到第二调整语音。
第二调整模块，用于根据目标歌曲中每个音符的基频、上述对应关系，对第一调整模块得到的第二调整语音的每个字符的基频进行二次调整。
在本实施例的一些可选的实现方式中，上述第一调整模块可以进一步用于：将每个小节中各音符的基频的均值作为该小节的目标频率；根据每个小节内包括的音符以及上述对应关系，确定与各字符所属的小节；将第一调整语音中每个字符的基频调整至所属的小节的目标频率。
在本实施例的一些可选的实现方式中，上述第二调整模块可以进一步用于：根据目标歌曲中每个音符的基频、上述对应关系，确定目标歌曲中每个字符的基频；将第二调整语音中每个字符的基频调整至目标歌曲中每个字符的基频。
在本实施例的一些可选的实现方式中，上述基于人工智能的合成歌声的装置500还可以进一步包括图5中未示出的平滑处理单元，用于：将基频调整后的语音转化为数字音频信号；将数字音频信号中当前时刻的未平滑处理的基频值、前一时刻经平滑处理后的基频值、前两个时刻的经平滑处理后的基频值进行加权叠加；将叠加值作为当前时刻平滑处理后的基频值。
本申请的上述实施例提供的基于人工智能的合成歌声的装置，在获取单元获取目标歌曲的歌词信息和乐谱信息后，导入单元将目标歌曲的歌词信息导入预设的语音播报模型中，得到播报语音；然后确定单元基于乐谱信息，确定每个字符的元音节的目标播放时长以及每个音符的基频；时长调整单元将播报语音中每个元音的时长调整至目标播放时长；然后基频调整单元根据每个音符的基频，调整时长调整后的语音中每个字符的基频，最终得到合成的歌声，不再需要对人的声音进行处理，降低了机器人唱歌的成本，并且上述合成的歌声的语音特征与机器人的语音特征相符，不存在人唱歌时的节奏、音高、气息不稳定的问题，提升了用户的听觉体验。
应当理解，基于人工智能的合成歌声的装置500中记载的单元501至单元505分别与参考图2中描述的方法中的各个步骤相对应。由此，上文针对基于人工智能的合成歌声的方法描述的操作和特征同样适用于装置500及其中包含的单元，在此不再赘述。装置500的相应单元可以与服务器中的单元相互配合以实现本申请实施例的方案。
在本申请的上述实施例中，第一调整语音以及第二调整语音仅仅是用于区分两个不同的调整语音；第一调整模块以及第二调整模块仅仅是用于区分两个不同的调整模块。本领域技术人员应当理解，其中的第一或第二并不构成对调整语音、调整模块的特殊限定。
下面参考图6，其示出了适于用来实现本申请实施例的或服务器的计算机系统600的结构示意图。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、导入单元、确定单元、时长调整单元及基频调整单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取目标歌曲的歌词信息和乐谱信息的单元”。
作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备：获取目标歌曲的歌词信息和乐谱信息；将所述歌词信息导入预设的语音播报模型，得到播报语音；基于所述乐谱信息，确定所述歌词信息中各字符的元音节的目标播放时长及所述目标歌曲中每个音符的基频；对于所述播报语音中的每个字符，调整该字符的元音节的时长至与目标播放时长相等，得到第一调整语音；根据所述目标歌曲中每个音符的基频，调整所述第一调整语音中每个字符的基频，得到合成的歌声。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (12)
1.一种基于人工智能的合成歌声的方法，其特征在于，所述方法包括：
获取目标歌曲的歌词信息和乐谱信息；
将所述歌词信息导入预设的语音播报模型，得到播报语音；
基于所述乐谱信息，确定所述歌词信息中各字符的元音节的目标播放时长及所述目标歌曲中每个音符的基频；
对于所述播报语音中的每个字符，调整该字符的元音节的时长至与目标播放时长相等，得到第一调整语音；
根据所述目标歌曲中每个音符的基频，调整所述第一调整语音中每个字符的基频，得到合成的歌声。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标歌曲中每个音符的基频，调整所述第一调整语音中每个字符的基频，包括：
根据所述目标歌曲，确定所述歌词信息中每个字符与所述乐谱信息中各音符的对应关系；
根据目标歌曲中每个小节内各音符的基频均值、所述对应关系，调整所述第一调整语音中各字符的基频，得到第二调整语音；
根据所述目标歌曲中每个音符的基频、所述对应关系，对所述第二调整语音的每个字符的基频进行二次调整。
3.根据权利要求2所述的方法，其特征在于，所述根据目标歌曲中每个小节内各音符的基频均值、所述对应关系，调整所述第一调整语音中各字符的基频，包括：
将每个小节中各音符的基频的均值作为该小节的目标频率；
根据每个小节内包括的音符以及所述对应关系，确定与各字符所属的小节；
将所述第一调整语音中每个字符的基频调整至所属的小节的目标频率。
4.根据权利要求2所述的方法，其特征在于，所述根据所述目标歌曲中每个音符的基频、所述对应关系，对所述第二调整语音的每个字符的基频进行二次调整，包括：
根据所述目标歌曲中每个音符的基频、所述对应关系，确定所述目标歌曲中每个字符的基频；
将所述第二调整语音中每个字符的基频调整至所述目标歌曲中每个字符的基频。
5.根据权利要求1所述的方法，其特征在于，所述对于所述播报语音中的每个字符，调整该字符的元音的时长，包括：
对所述播报语音中的各字符进行切割，得到字符语音序列；
对所述字符语音序列中的每个字符的元音节和辅音节进行切割，得到音节语音序列；
确定所述音节语音序列每个元音节的时长；
调整所述音节语音序列中每个元音节的时长。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将基频调整后的语音转化为数字音频信号；
将所述数字音频信号中当前时刻的未平滑处理的基频值、前一时刻经平滑处理后的基频值、前两个时刻的经平滑处理后的基频值进行加权叠加；
将叠加值作为当前时刻平滑处理后的基频值。
7.一种基于人工智能的合成歌声的装置，其特征在于，所述装置包括：
获取单元，用于获取目标歌曲的歌词信息和乐谱信息；
导入单元，用于将所述歌词信息导入预设的语音播报模型，得到播报语音；
确定单元，用于基于所述乐谱信息，确定所述歌词信息中各字符的元音节的目标播放时长及所述目标歌曲中每个音符的基频；
时长调整单元，用于对于所述播报语音中的每个字符，调整该字符的元音节的时长至与目标播放时长相等，得到第一调整语音；
基频调整单元，用于根据所述目标歌曲中每个音符的基频，调整所述第一调整语音中每个字符的基频，得到合成的歌声。
8.根据权利要求7所述的装置，其特征在于，所述基频调整单元包括：
对应模块，用于根据所述目标歌曲，确定所述歌词信息中每个字符与所述乐谱信息中各音符的对应关系；
第一调整模块，用于根据目标歌曲中每个小节内各音符的基频均值、所述对应关系，调整所述第一调整语音中各字符的基频，得到第二调整语音；
第二调整模块，用于根据所述目标歌曲中每个音符的基频、所述对应关系，对所述第二调整语音的每个字符的基频进行二次调整。
9.根据权利要求8所述的装置，其特征在于，所述第一调整模块进一步用于：
将每个小节中各音符的基频的均值作为该小节的目标频率；
根据每个小节内包括的音符以及所述对应关系，确定与各字符所属的小节；
将所述第一调整语音中每个字符的基频调整至所属的小节的目标频率。
10.根据权利要求8所述的装置，其特征在于，所述第二调整模块进一步用于：
根据所述目标歌曲中每个音符的基频、所述对应关系，确定所述目标歌曲中每个字符的基频；
将所述第二调整语音中每个字符的基频调整至所述目标歌曲中每个字符的基频。
11.根据权利要求7所述的装置，其特征在于，所述时长调整单元包括：
字符切割模块，用于对所述播报语音中的各字符进行切割，得到字符语音序列；
音节切割模块，用于对所述字符语音序列中的每个字符的元音节和辅音节进行切割，得到音节语音序列；
时长确定模块，用于确定所述音节语音序列每个元音节的时长；
时长调整模块，用于调整所述音节语音序列中每个元音节的时长。
12.根据权利要求7所述的装置，其特征在于，所述装置还包括平滑处理单元，用于：
将基频调整后的语音转化为数字音频信号；
将所述数字音频信号中当前时刻的未平滑处理的基频值、前一时刻经平滑处理后的基频值、前两个时刻的经平滑处理后的基频值进行加权叠加；
将叠加值作为当前时刻平滑处理后的基频值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610803453.7A CN106373580B (zh) | 2016-09-05 | 2016-09-05 | 基于人工智能的合成歌声的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610803453.7A CN106373580B (zh) | 2016-09-05 | 2016-09-05 | 基于人工智能的合成歌声的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106373580A CN106373580A (zh) | 2017-02-01 |
| CN106373580B true CN106373580B (zh) | 2019-10-15 |
Family
ID=57900029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610803453.7A Active CN106373580B (zh) | 2016-09-05 | 2016-09-05 | 基于人工智能的合成歌声的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106373580B (zh) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106898340B (zh) * | 2017-03-30 | 2021-05-28 | 腾讯音乐娱乐（深圳）有限公司 | 一种歌曲的合成方法及终端 |
| CN108806655B (zh) * | 2017-04-26 | 2022-01-07 | 微软技术许可有限责任公司 | 歌曲的自动生成 |
| CN108257609A (zh) * | 2017-12-05 | 2018-07-06 | 北京小唱科技有限公司 | 音频内容修正的方法及其智能装置 |
| CN108172210B (zh) * | 2018-02-01 | 2021-03-02 | 福州大学 | 一种基于歌声节奏的演唱和声生成方法 |
| JP6587008B1 (ja) * | 2018-04-16 | 2019-10-09 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
| CN109086026B (zh) * | 2018-07-17 | 2020-07-03 | 阿里巴巴集团控股有限公司 | 播报语音的确定方法、装置和设备 |
| TWI713958B (zh) * | 2018-12-22 | 2020-12-21 | 淇譽電子科技股份有限公司 | 自動詞曲創作系統及其方法 |
| CN109841202B (zh) * | 2019-01-04 | 2023-12-29 | 平安科技（深圳）有限公司 | 基于语音合成的节奏生成方法、装置及终端设备 |
| CN110164460A (zh) * | 2019-04-17 | 2019-08-23 | 平安科技（深圳）有限公司 | 歌唱合成方法和装置 |
| CN110148394B (zh) * | 2019-04-26 | 2024-03-01 | 平安科技（深圳）有限公司 | 歌声合成方法、装置、计算机设备及存储介质 |
| CN110570876B (zh) * | 2019-07-30 | 2024-03-15 | 平安科技（深圳）有限公司 | 歌声合成方法、装置、计算机设备和存储介质 |
| CN112489607A (zh) * | 2019-08-22 | 2021-03-12 | 北京峰趣互联网信息服务有限公司 | 录制歌曲的方法、装置、电子设备及可读存储介质 |
| CN110738980A (zh) * | 2019-09-16 | 2020-01-31 | 平安科技（深圳）有限公司 | 歌声合成模型的训练方法、系统及歌声合成方法 |
| CN111583900B (zh) * | 2020-04-27 | 2022-01-07 | 北京字节跳动网络技术有限公司 | 歌曲合成方法、装置、可读介质及电子设备 |
| CN111681637B (zh) * | 2020-04-28 | 2024-03-22 | 平安科技（深圳）有限公司 | 歌曲合成方法、装置、设备及存储介质 |
| CN111883104B (zh) * | 2020-07-08 | 2021-10-15 | 马上消费金融股份有限公司 | 语音切割方法、语音转换网络模型的训练方法及相关设备 |
| CN111862937A (zh) * | 2020-07-23 | 2020-10-30 | 平安科技（深圳）有限公司 | 歌声合成方法、装置及计算机可读存储介质 |
| CN114064964A (zh) * | 2020-07-30 | 2022-02-18 | 华为技术有限公司 | 文本的时间标注方法、装置、电子设备和可读存储介质 |
| CN112750420B (zh) * | 2020-12-23 | 2023-01-31 | 出门问问创新科技有限公司 | 一种歌声合成方法、装置及设备 |
| CN112699269A (zh) * | 2020-12-30 | 2021-04-23 | 北京达佳互联信息技术有限公司 | 歌词显示方法、装置、电子设备、计算机可读存储介质 |
| CN113053355B (zh) * | 2021-03-17 | 2024-09-24 | 平安科技（深圳）有限公司 | 佛乐的人声合成方法、装置、设备及存储介质 |
| CN113641851A (zh) * | 2021-08-11 | 2021-11-12 | 乐聚(深圳)机器人技术有限公司 | 乐谱预览方法、装置、终端设备及存储介质 |
| CN114360492B (zh) * | 2021-10-26 | 2024-07-05 | 腾讯科技（深圳）有限公司 | 音频合成方法、装置、计算机设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3499990A (en) * | 1967-09-07 | 1970-03-10 | Ibm | Speech analyzing system |
| CN1229194A (zh) * | 1997-11-28 | 1999-09-22 | 松下电器产业株式会社 | 基频特性曲线产生方法,基频特性曲线产生器,和程序记录介质 |
| CN1533120A (zh) * | 2003-03-21 | 2004-09-29 | ���Ͽع�����˾ | 音频装置 |
| CN101308652A (zh) * | 2008-07-17 | 2008-11-19 | 安徽科大讯飞信息科技股份有限公司 | 一种个性化歌唱语音的合成方法 |
| CN103035235A (zh) * | 2011-09-30 | 2013-04-10 | 西门子公司 | 一种将语音转换为旋律的方法和装置 |
| CN104391980A (zh) * | 2014-12-08 | 2015-03-04 | 百度在线网络技术（北京）有限公司 | 生成歌曲的方法和装置 |
| CN105788589A (zh) * | 2016-05-04 | 2016-07-20 | 腾讯科技（深圳）有限公司 | 一种音频数据的处理方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11249679A (ja) * | 1998-03-04 | 1999-09-17 | Ricoh Co Ltd | 音声合成装置 |
-
2016
- 2016-09-05 CN CN201610803453.7A patent/CN106373580B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3499990A (en) * | 1967-09-07 | 1970-03-10 | Ibm | Speech analyzing system |
| CN1229194A (zh) * | 1997-11-28 | 1999-09-22 | 松下电器产业株式会社 | 基频特性曲线产生方法,基频特性曲线产生器,和程序记录介质 |
| CN1533120A (zh) * | 2003-03-21 | 2004-09-29 | ���Ͽع�����˾ | 音频装置 |
| CN101308652A (zh) * | 2008-07-17 | 2008-11-19 | 安徽科大讯飞信息科技股份有限公司 | 一种个性化歌唱语音的合成方法 |
| CN103035235A (zh) * | 2011-09-30 | 2013-04-10 | 西门子公司 | 一种将语音转换为旋律的方法和装置 |
| CN104391980A (zh) * | 2014-12-08 | 2015-03-04 | 百度在线网络技术（北京）有限公司 | 生成歌曲的方法和装置 |
| CN105788589A (zh) * | 2016-05-04 | 2016-07-20 | 腾讯科技（深圳）有限公司 | 一种音频数据的处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106373580A (zh) | 2017-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106373580B (zh) | 基于人工智能的合成歌声的方法和装置 | |
| CN106898340B (zh) | 一种歌曲的合成方法及终端 | |
| CN111445892B (zh) | 歌曲生成方法、装置、可读介质及电子设备 | |
| CN111402843B (zh) | 说唱音乐生成方法、装置、可读介质及电子设备 | |
| CN106971703A (zh) | 一种基于hmm的歌曲合成方法及装置 | |
| EP3616190A1 (en) | Automatic song generation | |
| CN111445897B (zh) | 歌曲生成方法、装置、可读介质及电子设备 | |
| WO2018200268A1 (en) | Automatic song generation | |
| CN105957515B (zh) | 声音合成方法、声音合成装置和存储声音合成程序的介质 | |
| CN1675681A (zh) | 客户机－服务器语音定制 | |
| CN109754783A (zh) | 用于确定音频语句的边界的方法和装置 | |
| CN109346043B (zh) | 一种基于生成对抗网络的音乐生成方法及装置 | |
| CN101901598A (zh) | 一种哼唱合成方法和系统 | |
| CN109308901A (zh) | 歌唱者识别方法和装置 | |
| JP7497523B2 (ja) | カスタム音色歌声の合成方法、装置、電子機器及び記憶媒体 | |
| KR20210155520A (ko) | 복수의 가수의 가창음성 합성/변조 장치 및 방법 | |
| EP3770906B1 (en) | Sound processing method, sound processing device, and program | |
| CN107910005A (zh) | 交互文本的目标业务定位方法及装置 | |
| CN112383721B (zh) | 用于生成视频的方法、装置、设备和介质 | |
| CN111429881A (zh) | 声音复制方法、装置、可读介质及电子设备 | |
| CN112685000B (zh) | 音频处理方法、装置、计算机设备及存储介质 | |
| CN115273806A (zh) | 歌曲合成模型的训练方法和装置、歌曲合成方法和装置 | |
| US8219402B2 (en) | Asynchronous receipt of information from a user | |
| CN114333758A (zh) | 语音合成方法、装置、计算机设备、存储介质和产品 | |
| JP5049310B2 (ja) | 音声学習・合成システム及び音声学習・合成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |