CN112581933B - 语音合成模型获取方法、装置、电子设备及存储介质 - Google Patents
语音合成模型获取方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112581933B CN112581933B CN202011294266.3A CN202011294266A CN112581933B CN 112581933 B CN112581933 B CN 112581933B CN 202011294266 A CN202011294266 A CN 202011294266A CN 112581933 B CN112581933 B CN 112581933B
- Authority
- CN
- China
- Prior art keywords
- target speaker
- speaker
- training
- voice data
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 54
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 135
- 238000001228 spectrum Methods 0.000 claims description 30
- 230000003595 spectral effect Effects 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 11
- 238000013473 artificial intelligence Methods 0.000 abstract description 6
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000003058 natural language processing Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000037433 frameshift Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/04—Training, enrolment or model building
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本申请公开了语音合成模型获取方法、装置、电子设备及存储介质，涉及语音合成、深度学习及自然语言处理等人工智能领域，其中的方法可包括：根据各自对应的训练语音数据，分别获取目标发音人以及至少一个非目标发音人的音色特征；针对至少一个非目标发音人，进行以下处理：以目标发音人为调整目标，根据非目标发音人与目标发音人的音色特征的差异，对非目标发音人的训练语音数据进行调整；根据目标发音人的训练语音数据以及调整后的非目标发音人的训练语音数据，训练语音合成模型。应用本申请所述方案，可提升模型训练效果以及语音合成效果等。
Description
技术领域
本申请涉及人工智能技术领域，特别涉及语音合成、深度学习及自然语言处理领域，具体为语音合成模型获取方法、装置、电子设备及存储介质。
背景技术
随着技术的发展，语音合成使用场景越来越多，比如，在小说阅读的使用过程中，经常会出现不同语言尤其是中英文夹杂的情况。由于语音合成的发音人(说话人)往往只会一种语言，因此如何合成一个流畅、舒服的多语言语音，一直是语音合成领域的一个挑战。
目前，通常直接根据不同语言的发音人的训练语音数据训练得到一个多语言的语音合成模型，但由于不同发音人的音色等通常存在较大差异，因此采用这种方式往往模型训练难以收敛，即便训练完成，实际的语音合成效果也会比较差等。
发明内容
本申请提供了语音合成模型获取方法、装置、电子设备及存储介质。
一种语音合成模型获取方法，包括：
根据各自对应的训练语音数据，分别获取目标发音人以及至少一个非目标发音人的音色特征；
针对至少一个非目标发音人，进行以下处理：以所述目标发音人为调整目标，根据所述非目标发音人与所述目标发音人的音色特征的差异，对所述非目标发音人的训练语音数据进行调整；
利用所述目标发音人的训练语音数据以及调整后的所述非目标发音人的训练语音数据，训练语音合成模型。
一种语音合成模型获取装置，包括：获取模块、调整模块以及训练模块；
所述获取模块，用于根据各自对应的训练语音数据，分别获取目标发音人以及至少一个非目标发音人的音色特征；
所述调整模块，用于针对至少一个非目标发音人，进行以下处理：以所述目标发音人为调整目标，根据所述非目标发音人与所述目标发音人的音色特征的差异，对所述非目标发音人的训练语音数据进行调整；
所述训练模块，用于根据所述目标发音人的训练语音数据以及调整后的所述非目标发音人的训练语音数据，训练语音合成模型。
一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上所述的方法。
一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行如以上所述的方法。
一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如以上所述的方法。
上述申请中的一个实施例具有如下优点或有益效果：在进行模型训练之前，首先以目标发音人为调整目标，根据非目标发音人与目标发音人的音色特征之间的差异，对非目标发音人的训练语音数据进行调整，从而可使得非目标发音人的音色接近目标发音人的音色，进而再根据各发音人的训练语音数据进行语音合成模型的训练，从而提升了模型训练效果以及语音合成效果等。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请所述语音合成模型获取方法第一实施例的流程图；
图2为本申请所述某一发音人对应的平均幅度谱的示意图；
图3为本申请所述语音合成模型获取方法第二实施例的流程图；
图4为本申请所述语音合成模型获取装置40实施例的组成结构示意图；
图5为根据本申请实施例所述方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
另外，应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
图1为本申请所述语音合成模型获取方法第一实施例的流程图。如图1所示，包括以下具体实现方式。
在步骤101中，根据各自对应的训练语音数据，分别获取目标发音人以及至少一个非目标发音人的音色特征。
在步骤102中，针对至少一个非目标发音人，进行以下处理：以目标发音人为调整目标，根据非目标发音人与目标发音人的音色特征的差异，对非目标发音人的训练语音数据进行调整。
在步骤103中，根据目标发音人的训练语音数据以及调整后的非目标发音人的训练语音数据，训练语音合成模型。
上述方法实施例所述方案中，在进行模型训练之前，首先以目标发音人为调整目标，根据非目标发音人与目标发音人的音色特征之间的差异，对非目标发音人的训练语音数据进行调整，从而可使得非目标发音人的音色接近目标发音人的音色，进而再根据各发音人的训练语音数据进行语音合成模型的训练，从而提升了模型训练效果以及语音合成效果等。
优选地，上述语音合成模型为多语言的语音合成模型。目标发音人和非目标发音人分别对应于不同的语言，且不同的非目标发音人分别对应于不同的语言。
目标发音人的数量通常为一个，而非目标发音人的数量可以为一个，也可以为多个，具体数量可根据实际需要而定。比如，对于中英文夹杂的语音合成场景，目标发音人和非目标发音人均可为一个，分别对应于中文和英文两种不同的语言。
另外，将多个发音人中的哪个发音人作为目标发音人也可根据实际需要而定。比如，可将上述中文发音人作为目标发音人。
无论是目标发音人还是非目标发音人，均可进行以下处理：根据发音人的训练语音数据，获取发音人的音色特征。
训练语音数据可保存在语音数据库中，语音数据库可为预先构建的，其中可包括有多个不同发音人的训练语音数据，每个发音人可分别对应多条训练语音数据，训练语音数据可为预先录制的。
具体地，针对任一发音人，可分别获取发音人的频谱包络特征和/或基频特征，作为发音人的音色特征。也就是说，可以只获取发音人的频谱包络特征，也可以只获取发音人的基频特征，还可以同时获取发音人的频谱包络特征以及基频特征。优选地，可同时获取发音人的频谱包络特征以及基频特征。
语音的频谱包络会反映语音的音色。由于录制的语音中可能会存在一些静音，而静音部分的存在会影响包络统计的准确度，因此，在获取发音人的频谱包络特征之前，还可先去除发音人的训练语音数据中的静音部分，之后可根据去除静音部分后的训练语音数据，获取发音人的频谱包络特征。如可通过现有的语音检测技术检测出训练语音数据中的静音部分，并去除。通过去除训练语音数据中的静音部分，可提升获取到的频谱包络特征的准确性等。
针对任一发音人，获取其频谱包络特征的方式可包括：将发音人的各条训练语音数据分别进行分帧处理，并分别获取各帧语音数据对应的幅度谱，针对每个频点，分别获取各帧语音数据对应的幅度谱中该频点对应的幅度的均值，将该均值作为该频点对应的特征值。
如何对训练语音数据进行分帧处理不作限制。比如，帧长可为20毫秒，帧移可为10毫秒。针对每帧语音数据，可加汉宁窗，作傅里叶变换，从而得到对应的幅度谱。
对于任一频点，可分别获取到各幅度谱中该频点对应的幅度，并可计算获取到的各幅度的均值，进而可将计算出的均值作为该频点对应的特征值。按照同样的方式，可分别得到每个频点对应的特征值，从而得到平均幅度谱，即得到频谱包络特征。
图2为本申请所述某一发音人对应的平均幅度谱的示意图。如图2所示，发音人的语音能量通常主要集中在低频部分。
针对任一发音人，获取其基频特征的方式可包括：分别获取发音人的各条训练语音数据中的基频，计算获取到的各基频的均值，将该均值作为发音人的基频特征。
另一个反映发音人的音色的重要特征是基频，即基音频率。假设发音人对应10条训练语音数据，那么可分别获取各条训练语音数据中的基频，并计算获取到的各基频的均值，作为发音人的基频特征。
完成上述处理后，针对每个非目标发音人，可分别以目标发音人为调整目标，根据非目标发音人与目标发音人的音色特征的差异，对非目标发音人的训练语音数据进行调整。
具体地，若获取到的音色特征仅包括频谱包络特征，可根据非目标发音人与目标发音人的频谱包络特征的差异，对非目标发音人的训练语音数据进行频域均衡处理。若获取到的音色特征仅包括基频特征，可根据非目标发音人与目标发音人的基频特征的差异，对非目标发音人的训练语音数据进行基频调整。若获取到的音色特征同时包括频谱包络特征以及基频特征，可根据非目标发音人与目标发音人的频谱包络特征的差异，对非目标发音人的训练语音数据进行频域均衡处理，并可根据非目标发音人与目标发音人的基频特征的差异，对非目标发音人的训练语音数据进行基频调整。即对非目标发音人的训练语音数据进行预处理，使其尽量接近目标发音人。
优选地，针对任一非目标发音人，当需要对其进行频域均衡处理时，可针对每个频点，分别计算目标发音人的该频点对应的特征值X(f)与非目标发音人的该频点对应的特征值Y(f)的比值，从而得到该频点对应的特征比值H(f)＝X(f)/Y(f)，进而可针对非目标发音人的每帧语音数据，分别将对应的幅度谱中不同频点对应的幅度与频点对应的特征比值相乘。
比如，对于某一帧语音数据a，对于其对应的幅度谱中的频点b，可将频点b对应的幅度与频点b对应的特征比值相乘，按照同样的方式，可分别对语音数据a中的其它各频点进行处理，按照同样的方式，可分别对语音数据a之外的其它各帧语音数据进行处理等。
相应地，可得到经过处理后的非目标发音人的训练语音数据，处理后的语音的频谱包络特征会更接近目标发音人。
优选地，针对任一非目标发音人，当需要对其进行基频调整时，可计算非目标发音人与目标发音人的基频特征的差值的绝对值，并计算所述绝对值占非目标发音人的基频特征的百分比，进一步地，若确定非目标发音人的基频特征大于目标发音人的基频特征，则可将非目标发音人的各条训练语音数据中的基频按所述百分比进行下调，若确定非目标发音人的基频特征小于目标发音人的基频特征，则可将非目标发音人的各条训练语音数据中的基频按所述百分比进行上调。
比如，目标发音人的基频特征为120Hz，非目标发音人的基频特征为100Hz，那么可计算出所述百分比为：|120-100|/100＝20％，由于非目标发音人的基频特征小于目标发音人的基频特征，因此可将非目标发音人的各条训练语音数据中的基频上调20％。
再比如，目标发音人的基频特征为120Hz，非目标发音人的基频特征为150Hz，那么可计算出所述百分比为：|120-150|/150＝20％，由于非目标发音人的基频特征大于目标发音人的基频特征，因此可将非目标发音人的各条训练语音数据中的基频下调20％。
相应地，可得到经过处理后的非目标发音人的训练语音数据，处理后的语音的基频特征会更接近目标发音人。
之后，可根据目标发音人的训练语音数据以及调整后的非目标发音人的训练语音数据，训练语音合成模型，如训练多语言的语音合成模型。如何训练为现有技术。
可以看出，采用上述处理方式，在进行模型训练之前，首先以目标发音人为调整目标，根据频谱包络特征和/或基频特征对非目标发音人的训练语音数据进行调整，而频谱包络特征和基频特征均为反映发音人音色的重要特征，从而可使得非目标发音人的音色接近目标发音人的音色，进而再根据各发音人的训练语音数据进行语音合成模型的训练，从而提升了模型训练效果以及语音合成效果等。
基于上述介绍，图3为本申请所述语音合成模型获取方法第二实施例的流程图。假设本实施例中的发音人仅包括一个目标发音人和一个非目标发音人，并假设获取到的音色特征同时包括频谱包络特征以及基频特征。如图3所示，包括以下具体实现方式。
在步骤301中，分别去除目标发音人和非目标发音人的训练语音数据中的静音部分。
可通过现有的语音检测技术检测出训练语音数据中的静音部分，并去除。
步骤302中，根据去除静音部分后的训练语音数据，分别获取目标发音人和非目标发音人的频谱包络特征。
对于任一发音人，可将发音人的各条训练语音数据分别进行分帧处理，并可分别获取各帧语音数据对应的幅度谱，进而可针对每个频点，分别获取各帧语音数据对应的幅度谱中该频点对应的幅度的均值，将该均值作为该频点对应的特征值。
在步骤303中，分别获取目标发音人和非目标发音人的基频特征。
针对任一发音人，可分别获取发音人的各条训练语音数据中的基频，并可计算获取到的各基频的均值，将该均值作为发音人的基频特征。
在步骤304中，以目标发音人为调整目标，根据非目标发音人与目标发音人的频谱包络特征的差异，对非目标发音人的训练语音数据进行频域均衡处理，并根据非目标发音人与目标发音人的基频特征的差异，对非目标发音人的训练语音数据进行基频调整。
其中，在进行频域均衡处理时，可针对每个频点，分别计算目标发音人的该频点对应的特征值与非目标发音人的该频点对应的特征值的比值，得到该频点对应的特征比值，进而可针对非目标发音人的每帧语音数据，分别将对应的幅度谱中不同频点对应的幅度与频点对应的特征比值相乘。
在进行基频调整时，可计算非目标发音人与目标发音人的基频特征的差值的绝对值，并计算该绝对值占非目标发音人的基频特征的百分比，若确定非目标发音人的基频特征大于目标发音人的基频特征，则可将非目标发音人的各条训练语音数据中的基频按所述百分比进行下调，若确定非目标发音人的基频特征小于目标发音人的基频特征，则可将非目标发音人的各条训练语音数据中的基频按所述百分比进行上调。
在步骤305中，根据目标发音人的训练语音数据以及调整后的非目标发音人的训练语音数据，训练多语言的语音合成模型。
需要说明的是，对于前述的各方法实施例，为了简单描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。另外，某个实施例中没有详述的部分，可以参见其它实施例中的相关说明。
以上是关于方法实施例的介绍，以下通过装置实施例，对本申请所述方案进行进一步说明。
图4为本申请所述语音合成模型获取装置40实施例的组成结构示意图。如图4所示，包括：获取模块401、调整模块402以及训练模块403。
获取模块401，用于根据各自对应的训练语音数据，分别获取目标发音人以及至少一个非目标发音人的音色特征。
调整模块402，用于针对至少一个非目标发音人，进行以下处理：以目标发音人为调整目标，根据非目标发音人与目标发音人的音色特征的差异，对非目标发音人的训练语音数据进行调整。
训练模块403，用于根据目标发音人的训练语音数据以及调整后的非目标发音人的训练语音数据，训练语音合成模型。
优选地，语音合成模型为多语言的语音合成模型；目标发音人和非目标发音人分别对应于不同的语言，且不同的非目标发音人分别对应于不同的语言。
获取模块401可针对任一发音人，分别获取发音人的频谱包络特征和/或基频特征，作为获取到的音色特征。
相应地，若音色特征仅包括频谱包络特征，则调整模块402可根据非目标发音人与目标发音人的频谱包络特征的差异，对非目标发音人的训练语音数据进行频域均衡处理。若音色特征仅包括基频特征，则调整模块402可根据非目标发音人与目标发音人的基频特征的差异，对非目标发音人的训练语音数据进行基频调整。若音色特征同时包括频谱包络特征以及基频特征，则调整模块402可根据非目标发音人与目标发音人的频谱包络特征的差异，对非目标发音人的训练语音数据进行频域均衡处理，并可根据非目标发音人与目标发音人的基频特征的差异，对非目标发音人的训练语音数据进行基频调整。
另外，获取模块401还可针对任一发音人，去除发音人的训练语音数据中的静音部分，根据去除静音部分后的训练语音数据，获取发音人的频谱包络特征。
在获取频谱包络特征时，获取模块401可针对任一发音人，将发音人的各条训练语音数据分别进行分帧处理，并分别获取各帧语音数据对应的幅度谱，针对每个频点，分别获取各帧语音数据对应的幅度谱中该频点对应的幅度的均值，将该均值作为该频点对应的特征值。
相应地，调整模块402可针对任一非目标发音人，针对每个频点，分别计算目标发音人的该频点对应的特征值与非目标发音人的该频点对应的特征值的比值，得到该频点对应的特征比值，并针对非目标发音人的每帧语音数据，分别将对应的幅度谱中不同频点对应的幅度与频点对应的特征比值相乘。
另外，在获取基频特征时，获取模块401可针对任一发音人，分别获取发音人的各条训练语音数据中的基频，并可计算获取到的各基频的均值，将该均值作为发音人的基频特征。
相应地，调整模块402可针对任一非目标发音人，计算非目标发音人与目标发音人的基频特征的差值的绝对值，并计算该绝对值占非目标发音人的基频特征的百分比，若确定非目标发音人的基频特征大于目标发音人的基频特征，则可将非目标发音人的各条训练语音数据中的基频按所述百分比进行下调，若确定非目标发音人的基频特征小于目标发音人的基频特征，则可将非目标发音人的各条训练语音数据中的基频按所述百分比进行上调。
之后，训练模块403可根据目标发音人的训练语音数据以及调整后的非目标发音人的训练语音数据，训练语音合成模型，如多语言的语音合成模型。
图4所示装置实施例的具体工作流程请参照前述方法实施例中的相关说明，不再赘述。
总之，采用本申请装置实施例所述方案，在进行模型训练之前，首先以目标发音人为调整目标，根据非目标发音人与目标发音人的音色特征之间的差异，对非目标发音人的训练语音数据进行调整，从而可使得非目标发音人的音色接近目标发音人的音色，进而再根据各发音人的训练语音数据进行语音合成模型的训练，从而提升了模型训练效果以及语音合成效果等。
本申请所述方案可应用于人工智能领域，特别涉及语音合成、深度学习及自然语言处理等领域。
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术，人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术，人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图5所示，是根据本申请实施例所述方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示，该电子设备包括：一个或多个处理器Y01、存储器Y02，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器Y01为例。
存储器Y02即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的方法。
存储器Y02作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的方法对应的程序指令/模块。处理器Y01通过运行存储在存储器Y02中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
存储器Y02可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器Y02可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器Y02可选包括相对于处理器Y01远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、区块链网络、局域网、移动通信网及其组合。
电子设备还可以包括：输入装置Y03和输出装置Y04。处理器Y01、存储器Y02、输入装置Y03和输出装置Y04可以通过总线或者其他方式连接，图5中以通过总线连接为例。
输入装置Y03可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置Y04可以包括显示设备、辅助照明装置和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器、发光二极管显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用集成电路、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置)，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，阴极射线管或者液晶显示器监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网、广域网、区块链网络和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (15)
1.一种语音合成模型获取方法，包括：
根据各自对应的训练语音数据，分别获取目标发音人以及至少一个非目标发音人的音色特征；所述音色特征包括频谱包络特征；针对任一发音人，获取所述发音人的频谱包络特征包括：将所述发音人的各条训练语音数据分别进行分帧处理，分别获取各帧语音数据对应的幅度谱，针对每个频点，分别获取各帧语音数据对应的幅度谱中所述频点对应的幅度的均值，将所述均值作为所述频点对应的特征值；所述训练语音数据保存在预先构建的语音数据库中，所述语音数据库中包括不同发音人的训练语音数据；
针对至少一个非目标发音人，进行以下处理：以所述目标发音人为调整目标，根据所述非目标发音人与所述目标发音人的音色特征的差异，对所述非目标发音人的训练语音数据进行调整，包括：针对每个频点，分别计算所述目标发音人的所述频点对应的特征值与所述非目标发音人的所述频点对应的特征值的比值，得到所述频点对应的特征比值，针对所述非目标发音人的每帧语音数据，分别将对应的幅度谱中不同频点对应的幅度与频点对应的特征比值相乘；
根据所述目标发音人的训练语音数据以及调整后的所述非目标发音人的训练语音数据，训练语音合成模型。
2.根据权利要求1所述的方法，其中，
所述语音合成模型为多语言的语音合成模型；
所述目标发音人和所述非目标发音人分别对应于不同的语言，且不同的非目标发音人分别对应于不同的语言。
3.根据权利要求1所述的方法，其中，
所述音色特征还包括：基频特征；
所述以所述目标发音人为调整目标，根据所述非目标发音人与所述目标发音人的音色特征的差异，对所述非目标发音人的训练语音数据进行调整还包括：
根据所述非目标发音人与所述目标发音人的基频特征的差异，对所述非目标发音人的训练语音数据进行基频调整。
4.根据权利要求1所述的方法，还包括：
针对任一发音人，去除所述发音人的训练语音数据中的静音部分，根据去除所述静音部分后的训练语音数据，获取所述发音人的所述频谱包络特征。
5.根据权利要求3所述的方法，其中，针对任一发音人，获取所述发音人的基频特征包括：
分别获取所述发音人的各条训练语音数据中的基频；
计算获取到的各基频的均值，将所述均值作为所述发音人的基频特征。
6.根据权利要求5所述的方法，其中，所述根据所述非目标发音人与所述目标发音人的基频特征的差异，对所述非目标发音人的训练语音数据进行基频调整包括：
计算所述非目标发音人与所述目标发音人的基频特征的差值的绝对值；
计算所述绝对值占所述非目标发音人的基频特征的百分比；
若确定所述非目标发音人的基频特征大于所述目标发音人的基频特征，则将所述非目标发音人的各条训练语音数据中的基频按所述百分比进行下调，若确定所述非目标发音人的基频特征小于所述目标发音人的基频特征，则将所述非目标发音人的各条训练语音数据中的基频按所述百分比进行上调。
7.一种语音合成模型获取装置，包括：获取模块、调整模块以及训练模块；
所述获取模块，用于根据各自对应的训练语音数据，分别获取目标发音人以及至少一个非目标发音人的音色特征；所述音色特征包括频谱包络特征；针对任一发音人，获取所述发音人的频谱包络特征包括：将所述发音人的各条训练语音数据分别进行分帧处理，分别获取各帧语音数据对应的幅度谱，针对每个频点，分别获取各帧语音数据对应的幅度谱中所述频点对应的幅度的均值，将所述均值作为所述频点对应的特征值；所述训练语音数据保存在预先构建的语音数据库中，所述语音数据库中包括不同发音人的训练语音数据；
所述调整模块，用于针对至少一个非目标发音人，进行以下处理：以所述目标发音人为调整目标，根据所述非目标发音人与所述目标发音人的音色特征的差异，对所述非目标发音人的训练语音数据进行调整，包括：针对每个频点，分别计算所述目标发音人的所述频点对应的特征值与所述非目标发音人的所述频点对应的特征值的比值，得到所述频点对应的特征比值，针对所述非目标发音人的每帧语音数据，分别将对应的幅度谱中不同频点对应的幅度与频点对应的特征比值相乘；
所述训练模块，用于根据所述目标发音人的训练语音数据以及调整后的所述非目标发音人的训练语音数据，训练语音合成模型。
8.根据权利要求7所述的装置，其中，
所述语音合成模型为多语言的语音合成模型；
所述目标发音人和所述非目标发音人分别对应于不同的语言，且不同的非目标发音人分别对应于不同的语言。
9.根据权利要求7所述的装置，其中，
所述音色特征还包括：基频特征；
所述调整模块进一步用于，根据所述非目标发音人与所述目标发音人的基频特征的差异，对所述非目标发音人的训练语音数据进行基频调整。
10.根据权利要求7所述的装置，其中，
所述获取模块进一步用于，针对任一发音人，去除所述发音人的训练语音数据中的静音部分，根据去除所述静音部分后的训练语音数据，获取所述发音人的所述频谱包络特征。
11.根据权利要求9所述的装置，其中，
所述获取模块针对任一发音人，分别获取所述发音人的各条训练语音数据中的基频，并计算获取到的各基频的均值，将所述均值作为所述发音人的基频特征。
12.根据权利要求11所述的装置，其中，
所述调整模块针对任一非目标发音人，计算所述非目标发音人与所述目标发音人的基频特征的差值的绝对值，并计算所述绝对值占所述非目标发音人的基频特征的百分比，若确定所述非目标发音人的基频特征大于所述目标发音人的基频特征，则将所述非目标发音人的各条训练语音数据中的基频按所述百分比进行下调，若确定所述非目标发音人的基频特征小于所述目标发音人的基频特征，则将所述非目标发音人的各条训练语音数据中的基频按所述百分比进行上调。
13.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行权利要求1-6中任一项所述的方法。
15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011294266.3A CN112581933B (zh) | 2020-11-18 | 2020-11-18 | 语音合成模型获取方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011294266.3A CN112581933B (zh) | 2020-11-18 | 2020-11-18 | 语音合成模型获取方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112581933A CN112581933A (zh) | 2021-03-30 |
| CN112581933B true CN112581933B (zh) | 2022-05-03 |
Family
ID=75123097
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011294266.3A Active CN112581933B (zh) | 2020-11-18 | 2020-11-18 | 语音合成模型获取方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112581933B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113488020B (zh) * | 2021-07-02 | 2024-04-12 | 科大讯飞股份有限公司 | 语音合成方法和相关设备、装置、介质 |
| CN114822496B (zh) * | 2021-08-20 | 2024-09-20 | 美的集团(上海)有限公司 | 一种音色切换方法、装置、设备及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105845125A (zh) * | 2016-05-18 | 2016-08-10 | 百度在线网络技术（北京）有限公司 | 语音合成方法和语音合成装置 |
| CN110085255A (zh) * | 2019-03-27 | 2019-08-02 | 河海大学常州校区 | 语音转换基于深度内核学习高斯过程回归建模方法 |
| CN111192566A (zh) * | 2020-03-03 | 2020-05-22 | 云知声智能科技股份有限公司 | 英文语音合成方法及装置 |
| CN111292720A (zh) * | 2020-02-07 | 2020-06-16 | 北京字节跳动网络技术有限公司 | 语音合成方法、装置、计算机可读介质及电子设备 |
| CN111583944A (zh) * | 2019-01-30 | 2020-08-25 | 北京搜狗科技发展有限公司 | 变声方法及装置 |
| CN111667814A (zh) * | 2020-05-26 | 2020-09-15 | 北京声智科技有限公司 | 一种多语种的语音合成方法及装置 |
| CN111667812A (zh) * | 2020-05-29 | 2020-09-15 | 北京声智科技有限公司 | 一种语音合成方法、装置、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101805976B1 (ko) * | 2015-03-02 | 2017-12-07 | 한국전자통신연구원 | 음성 인식 장치 및 방법 |
-
2020
- 2020-11-18 CN CN202011294266.3A patent/CN112581933B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105845125A (zh) * | 2016-05-18 | 2016-08-10 | 百度在线网络技术（北京）有限公司 | 语音合成方法和语音合成装置 |
| CN111583944A (zh) * | 2019-01-30 | 2020-08-25 | 北京搜狗科技发展有限公司 | 变声方法及装置 |
| CN110085255A (zh) * | 2019-03-27 | 2019-08-02 | 河海大学常州校区 | 语音转换基于深度内核学习高斯过程回归建模方法 |
| CN111292720A (zh) * | 2020-02-07 | 2020-06-16 | 北京字节跳动网络技术有限公司 | 语音合成方法、装置、计算机可读介质及电子设备 |
| CN111192566A (zh) * | 2020-03-03 | 2020-05-22 | 云知声智能科技股份有限公司 | 英文语音合成方法及装置 |
| CN111667814A (zh) * | 2020-05-26 | 2020-09-15 | 北京声智科技有限公司 | 一种多语种的语音合成方法及装置 |
| CN111667812A (zh) * | 2020-05-29 | 2020-09-15 | 北京声智科技有限公司 | 一种语音合成方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112581933A (zh) | 2021-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112365876B (zh) | 语音合成模型的训练方法、装置、设备以及存储介质 | |
| CN110782883B (zh) | 一种模型训练方法、装置、电子设备及存储介质 | |
| CN111859994A (zh) | 机器翻译模型获取及文本翻译方法、装置及存储介质 | |
| CN112001180A (zh) | 多模态预训练模型获取方法、装置、电子设备及存储介质 | |
| CN111354370B (zh) | 一种唇形特征预测方法、装置和电子设备 | |
| CN112365877A (zh) | 语音合成方法、装置、电子设备和存储介质 | |
| CN112509552B (zh) | 语音合成方法、装置、电子设备和存储介质 | |
| CN111225236B (zh) | 生成视频封面的方法、装置、电子设备以及计算机可读存储介质 | |
| CN112599141A (zh) | 神经网络声码器训练方法、装置、电子设备及存储介质 | |
| CN112581933B (zh) | 语音合成模型获取方法、装置、电子设备及存储介质 | |
| CN112614478B (zh) | 音频训练数据处理方法、装置、设备以及存储介质 | |
| CN111144108A (zh) | 情感倾向性分析模型的建模方法、装置和电子设备 | |
| CN111709252B (zh) | 基于预训练的语义模型的模型改进方法及装置 | |
| CN111859997A (zh) | 机器翻译中的模型训练方法、装置、电子设备及存储介质 | |
| JP7214798B2 (ja) | 音声信号処理方法、音声信号処理装置、電子機器及び記憶媒体 | |
| KR20220064940A (ko) | 음성 생성 방법, 장치, 전자기기 및 저장매체 | |
| JP7267379B2 (ja) | 画像処理方法、事前トレーニングモデルのトレーニング方法、装置及び電子機器 | |
| EP3799036A1 (en) | Speech control method, speech control device, electronic device, and readable storage medium | |
| CN111127191A (zh) | 风险评估方法及装置 | |
| CN112270168A (zh) | 对白情感风格预测方法、装置、电子设备及存储介质 | |
| CN111666387A (zh) | 对话生成方法、装置、电子设备及存储介质 | |
| CN111862987A (zh) | 语音识别方法和装置 | |
| CN111177339A (zh) | 对话生成方法、装置、电子设备及存储介质 | |
| CN112201259A (zh) | 声源定位方法、装置、设备和计算机存储介质 | |
| CN112466328B (zh) | 呼吸音检测方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |