CN110599998B - 一种语音数据生成方法及装置 - Google Patents
一种语音数据生成方法及装置 Download PDFInfo
- Publication number
- CN110599998B CN110599998B CN201810513533.8A CN201810513533A CN110599998B CN 110599998 B CN110599998 B CN 110599998B CN 201810513533 A CN201810513533 A CN 201810513533A CN 110599998 B CN110599998 B CN 110599998B
- Authority
- CN
- China
- Prior art keywords
- voice
- data
- style
- speech
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 25
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 16
- 230000015654 memory Effects 0.000 claims description 25
- 238000003860 storage Methods 0.000 claims description 17
- 238000007621 cluster analysis Methods 0.000 claims description 7
- 230000033764 rhythmic process Effects 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
- G10L13/10—Prosody rules derived from text; Stress or intonation
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
Abstract
本申请实施方式公开了一种语音数据生成方法及装置。所述方法包括：确定文本数据对应的语音风格；利用语音风格模型组件确定所述语音风格对应的韵律特征参数，其中，所述语音风格模型组件利用多个语音样本数据的语音风格与所述语音样本数据的韵律特征参数之间的对应关系训练得到；基于所述韵律特征参数，对所述文本数据进行语音合成，生成具有所述语音风格的语音数据。利用本申请的技术方案，可以大大降低获取语音样本数据的成本，并且，较易实现多种类语音风格的韵律特征参数，从而实现在低成本的基础上获取种类丰富的语音风格。
Description
技术领域
本申请涉及智能语音处理技术领域，特别涉及一种语音数据生成方法处理方法及装置。
背景技术
近年来，随着在线音像市场的不断发展，语音合成技术已经不局限于将文字转换成能让人听懂的语音，而是逐渐向多语音风格的方向发展。典型的应用场景如在线儿童读物、在线小说、在线评书、在线新闻等等，其中，在线儿童读物的语音风格和在线小说的语音风格大不相同，而在线小说中又具有多种不同语音风格，如言情小说与武侠小说的语音风格又大不相同。
基于上述多语音风格的需求，语音合成开发方常用的做法是为每一种语音风格建立对应的语音库，并利用所述语音库训练得到对应的语音风格模型。例如，给儿童读物建立一个语音库、给言情小说建立一个语音库、给武侠小说建立一个语音库、给评书建立一个语音库。但是，制作语音库的成本非常高，需要获取发音人(比如明星林志玲、播音主持人赵忠祥)的声音授权、在录音棚录制大量语音数据、对语音数据做大量的精细标注等，另外，一般发音人具有固定的语音风格，因此，建立多种风格的语音库，则需要多个发音人的合作。以上问题导致一般的语音合成平台只有数量有限的几种代表性语音风格，缺乏丰富的语音风格，无法进一步地提高在线音频的质量。
因此，现有技术中亟需一种开发成本较低、语音风格丰富的语音合成技术。
发明内容
本申请实施方式的目的是提供一种语音数据生成方法及装置。可以大大降低获取语音样本数据的成本，并且，较易实现多种类语音风格的韵律特征参数，从而实现在低成本的基础上获取种类丰富的语音风格。
具体地，所述语音数据生成方法及装置是这样实现的：
一种语音数据生成方法，所述方法包括：
确定文本数据对应的语音风格；
利用语音风格模型组件确定所述语音风格对应的韵律特征参数，其中，所述语音风格模型组件利用多个语音样本数据的语音风格与所述语音样本数据的韵律特征参数之间的对应关系训练得到；
基于所述韵律特征参数，对所述文本数据进行语音合成，生成具有所述语音风格的语音数据。
一种语音数据生成装置，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：
确定文本数据对应的语音风格；
利用语音风格模型组件确定所述语音风格对应的韵律特征参数，其中，所述语音风格模型组件利用多个语音样本数据的语音风格与所述语音样本数据的韵律特征参数之间的对应关系训练得到；
基于所述韵律特征参数，对所述文本数据进行语音合成，生成具有所述语音风格的语音数据。
本申请提供的语音数据生成方法及装置，可以确定文本数据对应的语音风格，并利用语音风格模型组件确定所述语音风格对应的韵律特征参数，然后，基于所述韵律特征参数对所述文本数据进行语音合成，将所述文本数据转化成具有所述语音风格的语音数据。在本申请的实施例中，所述语音风格模型组件利用多个语音样本数据的语音风格与所述语音样本数据的韵律特征参数之间的对应关系训练得到。相对于现有技术中通过多个高品质的语音样本数据训练得到数量有限的语音风格模型，本申请实施例中，将不同语音风格对应的声学参数通过韵律特征参数与其他声学参数的合成实现，而韵律特征参数的训练过程不需要如现有技术中训练语音风格模型那样需要大量的高品质语音样本数据，本实施例中，在训练不同语音风格对应的韵律特征参数时，对语音样本数据的音质要求不高，这样，在获取语音样本数据的成本上可以大大降低，并且，较易实现多种类语音风格的韵律特征参数，从而实现在低成本的基础上获取种类丰富的语音风格。
附图说明
为了更清楚地说明本申请实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的语音数据生成应用场景的场景示意图；
图2是本申请提供的语音数据生成方法的一种实施例的方法流程图；
图3是本申请提供的语音数据生成装置的一种实施例的模块结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都应当属于本申请保护的范围。
基于类似于上文所述的技术需求，本申请提供一种语音数据处理方法，该方法可以基于语音合成技术，利用不同语音风格所对应的韵律特征参数与其他语音参数进行合成，生成多种语音风格。其中，所述语音风格对应的韵律特征参数可以利用语音数据进行机器学习得到，相对于现有技术而言，本申请进行机器学习所使用的语音数据可以不需要现有技术中建立语音库所使用的语音数据的高质量要求，这样，可以大大降低语音数据的采集成本，进而降低生成不同语音风格所对应的韵律特征参数的成本。
下面通过一个具体的应用场景说明本申请提供的实施例方法，如图1所示，在某经营在线读物的平台中，需要将一些书籍、文稿等转换成在线语音，但是，不同的书籍文稿具有不同的语音风格。比如，在本场景中，该平台需要将一本儿童读物《小王子》转换成富有童趣的在线语音数据。该平台在获取《小王子》的文稿之后，可以通过平台上的处理器对《小王子》文稿进行文本分析，以获取该文稿对应的语音风格，根据文本分析的结果，可以确定该文稿为儿童读物风格。当然，还可以直接指定该文稿为儿童读物风格，本申请对比不做限制。在获取到文稿的语音风格之后，可以将该语音风格输入至语音风格模型组件中，以获取儿童读物风格对应的韵律特征参数。如图1所示，所述语音风格模型组件根据多种语音风格的多个语音样本数据训练得到，具体地，将语音样本数据对应的语音风格作为所述语音风格模型组件的输入数据，将所述语音样本数据对应的韵律特征参数作为所述语音风格模型组件的输出数据，对所述语音风格模型组件不断训练，直至所述语音风格模型组件达到预设要求。这样，训练得到的语音风格模型组件可以确定多个种类的语音风格对应的韵律操参数。
通过所述语音风格模型组件获取儿童读物风格的韵律特征参数之后，可以将所述韵律特征参数与音色参数进行合成，生成合成参数。其中，所述音色参数可以为童音对应的音色参数。最后，可以利用所述合成参数对《小王子》文稿进行语音处理，生成《小王子》的在线语音数据。
下面结合附图对本申请所述的语音数据处理方法进行详细的说明。图2是本申请提供的语音数据处理方法的一种实施例的方法流程图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际中的语音数据处理过程中，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
具体的本申请提供的语音数据处理方法的一种实施例如图2所示，所述方法可以包括：
S201：确定文本数据对应的语音风格。
S203：利用语音风格模型组件确定所述语音风格对应的韵律特征参数，其中，所述语音风格模型组件利用多个语音样本数据与所述语音样本数据的韵律特征参数之间的对应关系训练得到。
S205：基于所述韵律特征参数，对所述文本数据进行语音合成，生成具有所述语音风格的语音数据。
本实施例中，所述文本数据包括各类报刊读物，例如新闻、资讯、儿童读物、小说(包括言情小说、武侠小说、修真小说等)、评书、相声、日志等等。如果需要将各类报刊读物转换成语音数据，供用户欣赏聆听，那么，不同种类的报刊读物需要具有符合其文本特征的语音风格。典型的，对于新闻咨询类对应的语音风格需要严谨客观，儿童读物对应的语音风格需要富有童趣，各类小说对应的语音风格需要与小说的类型相匹配。基于此，在将所述文本数据转化成语音数据之前，可以确定所述文本数据对应的语音风格。在一个实施例中，可以对所述文本数据进行聚类分析，以获取所述文本数据对应的语音风格。具体地，在聚类分析的过程中，可以分别获取多种语音风格的多个文本样本数据，例如，获取100个新闻咨询类的文本样本数据、200个儿童读物类的文本样本数据、200个言情小说类的文本样本数据等等。然后，可以将所述文本数据与所述多个文本样本数据进行聚类计算。由于相似语音风格的文本数据具有较高的相似性，因此，通过聚类计算可以从所述多种语音风格中确定出所述文本数据对应的语音风格。当然，在其他实施例中，还可以通过文本数据的所属类别、人工经验等方式获取所述文本数据对应的语音风格类型，本申请对此不做限制。
本实施例中，在确定所述文本数据对应的语音风格之后，可以利用语音风格模型组件确定所述语音风格对应的韵律特征参数。韵律特征属于语言的一种音系结构，与句法和语篇结构、信息结构等其他语言学结构密切相关。韵律特征可以分为三个主要方面：语调、时域分布和重音，具体可以通过超音段特征实现。超音段特征可以包括音高，强度以及时间特性，由音位或音位群负载。另外，韵律特征与语篇理解、情绪特征等具有紧密的关联关系，因此，将韵律特征参数作为语音风格的合成参数之一，可以很大程度地体现出文本数据对应的语音风格。
本实施例中，所述韵律特征参数可以包括基频、时长、音强等参数。其中，所述基频参数可以体现语音的语调特征，时长参数可以体现语音的时域分布特征，音强参数可以体现语音的重音特征。在本申请的一个实施例中，可以利用语音风格模型组件确定所述语音风格对应的韵律特征参数，其中，所述语音风格模型组件可以利用多个语音样本数据与所述语音样本数据的韵律特征参数之间的对应关系训练得到。
在对所述语音风格模型组件进行训练的过程中，可以获取多种语音风格的多个语音样本数据，并分别获取所述语音样本数据的韵律特征参数。其中，所述语音样本数据可以包括多种形式的语音数据，例如广播节目、电视节目的录音，真人语音录音，各类网站、应用中获取的录音等。在一个示例中，例如在获取儿童读物语音风格的语音样本数据过程中，可以从儿童电视节目中截取部分录音，从网站的动画节目中节目截取部分录音，还可以真人读一段儿童读物并录音。现有技术中建立语音风格模型的过程中，往往需要音质较高的语音样本数据，例如在录音棚录制的高音质语音样本数据。但是在本申请的实施例中，所述语音样本数据的音质参数可低于预设要求，其中，所述音质参数包括下述中的至少一种：声压、频率、频谱、失真度、频响、动态范围、信噪比、瞬态特性、立体声分离度。这样，在本申请中，由于可以从多种途径获取语音样本数据，因此，语音样本数据的获取成本相对于现有技术可以大大降低，从而为实现多种风格的语音风格提供数据基础。
本实施例中，在获取所述多种语音风格的多个语音样本数据之后，可以分别获取所述语音样本数据对应的韵律特征参数。所述韵律特征参数包括下述中的至少一种：基频、时长、音强。然后，可以对所述语音样本数据的语音风格与所述语音样本数据的韵律参数之间的对应关系进行学习。本申请中，学习方式可以包括构建机器学习模型，并利用所述对应关系对所述机器学习型进行训练，其中机器学习模型可以包括隐马尔科夫(HMM)模型、决策树(CART)模型、各种强化学习模型、深度学习模型、神经网络学习模型(CNN、RNN)等。
在一个具体的实施例中，可以构建语音风格模型组件，所述语音风格模型组件中设置有模型参数。其中，所述语音风格模型组件可以包括上述机器学习模型中的任何一种。本实施例中，可以将所述语音样本数据的语音风格作为所述语音风格模型组件的输入数据，将所述语音样本数据的所述韵律特征参数作为所述语音风格模型的输出数据，通过不断调整所述语音风格模型的模型参数，优化所述语音风格模型，使得所述语音风格模型组件达到预设要求，所述预设要求例如包括所述模型组件的准确率达到预设要求等。
在确定所述文本数据对应的语音风格的韵律特征参数之后，可以基于所述韵律特征参数，对所述文本数据进行语音合成，将所述文本数据转换成具有所述语音风格的语音数据。在本实施例中，可以将所述韵律特征参数与其他声学参数进行合成，在本方案中，可以将所述韵律特征参数与预设音色参数进行合成，以生成需要的合成参数。音色参数是指声音在频率上表现的特征，例如男声、女声、童声等在音色上具有显著的差异。所述音色参数可以包括至少一中音色对应的音色参数，典型地，例如男声、女声、童声。在获取所述音色参数的过程中，可以利用具有高音质的语音样本数据进行机器学习得到，所述语音样本数据例如包括在录音棚录制得到的语音数据。由于音色参数的数量有限，因此训练得到所述音色参数所需的高音质语音样本数据的数量也相对有限，不需要耗费太多的成本。当然，还可以通过其他方式获取所述音色参数，例如从已有的数据源中获取，或者从其他专业的语音合成技术公司获取等，本申请对此不做限制。
本申请中，在将所述韵律特征参数与所述预设音色参数进行合成的过程中，可以采用LPC(线性预测编码)、PSOLA(基音同步叠加)、LMA(对数幅值近似)等语音合成技术。当然，在其他实施例中，还可以将所述韵律特征参数与其他声学参数进行合成，所述声学参数包括下述中的至少一种：音调参数、音品参数、频谱参数、功率参数、声压参数等等。
本申请提供的语音数据生成方法，可以确定文本数据对应的语音风格，并利用语音风格模型组件确定所述语音风格对应的韵律特征参数，然后，基于所述韵律特征参数对所述文本数据进行语音合成，将所述文本数据转化成具有所述语音风格的语音数据。在本申请的实施例中，所述语音风格模型组件利用多个语音样本数据的语音风格与所述语音样本数据的韵律特征参数之间的对应关系训练得到。相对于现有技术中通过多个高品质的语音样本数据训练得到数量有限的语音风格模型，本申请实施例中，将不同语音风格对应的声学参数通过韵律特征参数与其他声学参数的合成实现，而韵律特征参数的训练过程不需要如现有技术中训练语音风格模型那样需要大量的高品质语音样本数据，本实施例中，在训练不同语音风格对应的韵律特征参数时，对语音样本数据的音质要求不高，这样，在获取语音样本数据的成本上可以大大降低，并且，较易实现多种类语音风格的韵律特征参数，从而实现在低成本的基础上获取种类丰富的语音风格。
如图3所示，本申请另一方面还提供一种语音数据生成装置，图3是本申请提供的语音数据处理装置的一种实施例的模块结构示意图，所述装置包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时可以实现：
确定文本数据对应的语音风格；
利用语音风格模型组件确定所述语音风格对应的韵律特征参数，其中，所述语音风格模型组件利用多个语音样本数据的语音风格与所述语音样本数据的韵律特征参数之间的对应关系训练得到；
基于所述韵律特征参数，对所述文本数据进行语音合成，生成具有所述语音风格的语音数据。
可选的，在本申请的一个实施例中，所述语音风格模型组件可以被设置为按照下述方式获取：
获取多种语音风格的多个语音样本数据；
分别确定所述语音样本数据的韵律特征参数；
构建语音风格模型组件，所述语音风格模型组件中设置有模型参数；
利用所述语音样本数据的语音风格以及所述韵律特征参数之间的对应关系对所述语音风格模型组件进行训练，调整所述模型参数，直至所述语音风格模型组件达到预设要求。
可选的，在本申请的一个实施例中，所述语音样本数据的音质参数可低于预设要求。
可选的，在本申请的一个实施例中，所述处理器在实现步骤基于所述韵律特征参数，对所述文本数据进行语音合成，生成具有所述语音风格的语音数据时可以包括：
获取预设音色参数；
将所述韵律特征参数与预设音色参数进行合成；
基于合成的所述韵律特征参数和所述预设音色参数，将所述文本数据转换成具有所述语音风格的语音数据。
可选的，在本申请的一个实施例中，所述处理器在实现步骤确定文本数据对应的语音风格时可以包括：
对所述文本数据进行聚类分析，确定所述文本数据对应的语音风格。
可选的，在本申请的一个实施例中，所述处理器在实现步骤对所述文本数据进行聚类分析，确定所述文本数据对应的语音风格时可以包括：
分别获取多种语音风格的多个文本样本数据；
将所述文本数据与所述多个文本样本数据进行聚类计算；
根据聚类计算的结果从所述多种语音风格中确定出所述文本数据对应的语音风格。
可选的，在本申请的一个实施例中，所述韵律特征参数可以包括下述中的至少一种：基频、时长、音强。
本申请另一方面还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现上述任一实施例所述方法的步骤。
所述计算机可读存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。本实施例所述的计算机可读存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (13)
1.一种语音数据生成方法，其特征在于，所述方法包括：
确定文本数据对应的语音风格；
利用语音风格模型组件确定所述语音风格对应的韵律特征参数，其中，所述语音风格模型组件按照下述方式获得：获取多种语音风格的多个语音样本数据，确定语音样本数据的韵律特征参数，利用语音样本数据的语音风格和韵律特征参数之间的对应关系，对语音风格模型组件进行训练，调整语音风格模型组件的模型参数；
基于所述韵律特征参数，对所述文本数据进行语音合成，生成具有所述语音风格的语音数据。
2.根据权利要求1所述的方法，其特征在于，所述语音样本数据的音质参数可低于预设要求。
3.根据权利要求1所述的方法，其特征在于，所述基于所述韵律特征参数，对所述文本数据进行语音合成，生成具有所述语音风格的语音数据包括：
获取预设音色参数；
将所述韵律特征参数与预设音色参数进行合成；
基于合成的所述韵律特征参数和所述预设音色参数，将所述文本数据转换成具有所述语音风格的语音数据。
4.根据权利要求1所述的方法，其特征在于，所述确定文本数据对应的语音风格包括：
对所述文本数据进行聚类分析，确定所述文本数据对应的语音风格。
5.根据权利要求4所述的方法，其特征在于，所述对所述文本数据进行聚类分析，确定所述文本数据对应的语音风格包括：
分别获取多种语音风格的多个文本样本数据；
将所述文本数据与所述多个文本样本数据进行聚类计算；
根据聚类计算的结果从所述多种语音风格中确定出所述文本数据对应的语音风格。
6.根据权利要求1所述的方法，其特征在于，所述韵律特征参数包括下述中的至少一种：基频、时长、音强。
7.一种语音数据生成装置，其特征在于，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：
确定文本数据对应的语音风格；
利用语音风格模型组件确定所述语音风格对应的韵律特征参数，其中，所述语音风格模型组件按照下述方式获得：获取多种语音风格的多个语音样本数据，确定语音样本数据的韵律特征参数，利用语音样本数据的语音风格和韵律特征参数之间的对应关系，对语音风格模型组件进行训练，调整语音风格模型组件的模型参数；
基于所述韵律特征参数，对所述文本数据进行语音合成，生成具有所述语音风格的语音数据。
8.根据权利要求7所述的装置，其特征在于，所述语音样本数据的音质参数可低于预设要求。
9.根据权利要求7所述的装置，其特征在于，所述处理器在实现步骤基于所述韵律特征参数，对所述文本数据进行语音合成，生成具有所述语音风格的语音数据时包括：
获取预设音色参数；
将所述韵律特征参数与预设音色参数进行合成；
基于合成的所述韵律特征参数和所述预设音色参数，将所述文本数据转换成具有所述语音风格的语音数据。
10.根据权利要求7所述的装置，其特征在于，所述处理器在实现步骤确定文本数据对应的语音风格时包括：
对所述文本数据进行聚类分析，确定所述文本数据对应的语音风格。
11.根据权利要求10所述的装置，其特征在于，所述处理器在实现步骤对所述文本数据进行聚类分析，确定所述文本数据对应的语音风格时包括：
分别获取多种语音风格的多个文本样本数据；
将所述文本数据与所述多个文本样本数据进行聚类计算；
根据聚类计算的结果从所述多种语音风格中确定出所述文本数据对应的语音风格。
12.根据权利要求7所述的装置，其特征在于，所述韵律特征参数包括下述中的至少一种：基频、时长、音强。
13.一种计算机可读存储介质，其特征在于，其上存储有计算机指令，所述指令被执行时实现权利要求1至6中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810513533.8A CN110599998B (zh) | 2018-05-25 | 2018-05-25 | 一种语音数据生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810513533.8A CN110599998B (zh) | 2018-05-25 | 2018-05-25 | 一种语音数据生成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110599998A CN110599998A (zh) | 2019-12-20 |
| CN110599998B true CN110599998B (zh) | 2023-08-18 |
Family
ID=68848580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810513533.8A Active CN110599998B (zh) | 2018-05-25 | 2018-05-25 | 一种语音数据生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110599998B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112365880B (zh) * | 2020-11-05 | 2024-03-26 | 北京百度网讯科技有限公司 | 语音合成方法、装置、电子设备及存储介质 |
| CN112365881A (zh) * | 2020-11-11 | 2021-02-12 | 北京百度网讯科技有限公司 | 语音合成方法及对应模型的训练方法、装置、设备与介质 |
| CN112365874B (zh) * | 2020-11-17 | 2021-10-26 | 北京百度网讯科技有限公司 | 语音合成模型的属性注册、装置、电子设备与介质 |
| CN112365877A (zh) * | 2020-11-27 | 2021-02-12 | 北京百度网讯科技有限公司 | 语音合成方法、装置、电子设备和存储介质 |
| CN112509552B (zh) * | 2020-11-27 | 2023-09-26 | 北京百度网讯科技有限公司 | 语音合成方法、装置、电子设备和存储介质 |
| CN113539236B (zh) * | 2021-07-13 | 2024-03-15 | 网易（杭州）网络有限公司 | 一种语音合成方法和装置 |
| CN114005428A (zh) * | 2021-12-31 | 2022-02-01 | 科大讯飞股份有限公司 | 语音合成方法、装置、电子设备、存储介质和程序产品 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103578462A (zh) * | 2012-07-18 | 2014-02-12 | 株式会社东芝 | 语音处理系统 |
| CN105304080A (zh) * | 2015-09-22 | 2016-02-03 | 科大讯飞股份有限公司 | 语音合成装置及方法 |
| CN106652995A (zh) * | 2016-12-31 | 2017-05-10 | 深圳市优必选科技有限公司 | 文本语音播报方法及系统 |
| CN107705783A (zh) * | 2017-11-27 | 2018-02-16 | 北京搜狗科技发展有限公司 | 一种语音合成方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8374873B2 (en) * | 2008-08-12 | 2013-02-12 | Morphism, Llc | Training and applying prosody models |
| US9570065B2 (en) * | 2014-09-29 | 2017-02-14 | Nuance Communications, Inc. | Systems and methods for multi-style speech synthesis |
-
2018
- 2018-05-25 CN CN201810513533.8A patent/CN110599998B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103578462A (zh) * | 2012-07-18 | 2014-02-12 | 株式会社东芝 | 语音处理系统 |
| CN105304080A (zh) * | 2015-09-22 | 2016-02-03 | 科大讯飞股份有限公司 | 语音合成装置及方法 |
| CN106652995A (zh) * | 2016-12-31 | 2017-05-10 | 深圳市优必选科技有限公司 | 文本语音播报方法及系统 |
| CN107705783A (zh) * | 2017-11-27 | 2018-02-16 | 北京搜狗科技发展有限公司 | 一种语音合成方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110599998A (zh) | 2019-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599998B (zh) | 一种语音数据生成方法及装置 | |
| US11514888B2 (en) | Two-level speech prosody transfer | |
| KR20220004737A (ko) | 다국어 음성 합성 및 언어간 음성 복제 | |
| WO2019245916A1 (en) | Method and system for parametric speech synthesis | |
| Tihelka et al. | Current state of text-to-speech system ARTIC: a decade of research on the field of speech technologies | |
| CN111161695B (zh) | 歌曲生成方法和装置 | |
| GB2603776A (en) | Methods and systems for modifying speech generated by a text-to-speech synthesiser | |
| Sivaprasad et al. | Emotional prosody control for speech generation | |
| Panda et al. | An efficient model for text-to-speech synthesis in Indian languages | |
| CN113314096A (zh) | 语音合成方法、装置、设备和存储介质 | |
| Chen et al. | Polyglot speech synthesis based on cross-lingual frame selection using auditory and articulatory features | |
| KR20190088126A (ko) | 인공 지능 기반 외국어 음성 합성 방법 및 장치 | |
| Stan et al. | Generating the Voice of the Interactive Virtual Assistant | |
| WO2023197206A1 (en) | Personalized and dynamic text to speech voice cloning using incompletely trained text to speech models | |
| Wang et al. | MSM-VC: high-fidelity source style transfer for non-parallel voice conversion by multi-scale style modeling | |
| CN112489646B (zh) | 语音识别方法及其装置 | |
| KR102277205B1 (ko) | 오디오 변환 장치 및 방법 | |
| Kiran Reddy et al. | DNN-based cross-lingual voice conversion using Bottleneck Features | |
| Kamble et al. | Audio Visual Speech Synthesis and Speech Recognition for Hindi Language | |
| Kim et al. | SC VALL-E: Style-Controllable Zero-Shot Text to Speech Synthesizer | |
| Ronanki | Prosody generation for text-to-speech synthesis | |
| Xiao et al. | Speech intelligibility enhancement by non-parallel speech style conversion using CWT and iMetricGAN based CycleGAN | |
| CN112530399A (zh) | 一种语音数据的扩充方法、系统、电子设备及存储介质 | |
| US20190019497A1 (en) | Expressive control of text-to-speech content | |
| CN113223513A (zh) | 语音转换方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |