CN106601228A - 基于人工智能韵律预测的样本标注方法及装置 - Google Patents

Abstract

本发明提出一种基于人工智能韵律预测的样本标注方法及装置，其中，方法包括：获取与第一样本音频文件对应的未标注韵律的第一文本序列；获取第一文本序列中每个字的文本特征和发音时长；应用预先训练的韵律标注模型对第一文本序列中每个字的文本特征和发音时长，获取第一文本序列中每个字的输出标记；根据第一文本序列中每个字的输出标记对第一文本序列进行韵律层级标注。由此，降低了文本的标注成本，提高了文本的标注效率和准确性，并能够提供更多的韵律层级标注所需的训练样本，提高韵律标注模型性能，使得语音合成效果更加自然。

Description

基于人工智能韵律预测的样本标注方法及装置

技术领域

本发明涉及语音合成技术领域，尤其涉及一种基于人工智能韵律预测的样本标注方法及装置。

背景技术

人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语音识别、图像识别、自然语言处理和专家系统等。

目前，语音合成技术，即将文本转换为语音播放给用户在自然流畅度上与真人播报存在很大差距。韵律层级标注的准确性是影响自然流畅度的关键因素，决定最终的语音合成效果以及听者对合成语音的感知。

相关技术中，韵律层级标注通常是使用机器学习方法进行监督学习得到预测模型。监督学习，即通过已有的训练样本去训练得到一个最优模型，接着利用最优模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现韵律层级标注。

由此，上述韵律层级标注方式是通过监督学习方法进行训练的，模型训练需要大量的已标注的文本作为训练样本，目前获取标注文本的方法通常是由专业的文本标注人员通过听取由专业人员录制的音库中的音频文件，根据发音人在音频中的停顿情况，从而在对应的文本中标注上相应的韵律停顿等级。

然而，上述标注方式对于海量音频文件来说，文本的标注成本高、容易出错且效率低下，以及新录制的音频文件无法及时的应用在韵律标注模型训练中，从而不能够提供更多的训练样本，降低韵律标注模型性能，导致语音合成效果差。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种基于人工智能韵律预测的样本标注方法，该方法降低了文本的标注成本，提高了文本的标注效率和准确性，并能够提供更多的韵律层级标注所需的训练样本，提高韵律标注模型性能，使得语音合成效果更加自然。

本发明的第二个目的在于提出一种基于人工智能韵律预测的样本标注方法装置。

本发明的第三个目的在于提出另一种基于人工智能韵律预测的样本标注方法装置。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

本发明的第五个目的在于提出一种计算机程序产品。

为达上述目的，本发明第一方面实施例提出了一种基于人工智能韵律预测的样本标注方法，包括：获取与第一样本音频文件对应的未标注韵律的第一文本序列；获取所述第一文本序列中每个字的文本特征和发音时长；应用预先训练的韵律标注模型对所述第一文本序列中每个字的文本特征和发音时长进行处理，获取所述第一文本序列中每个字的输出标记；根据所述第一文本序列中每个字的输出标记对所述第一文本序列进行韵律层级标注。

本发明实施例的基于人工智能韵律预测的样本标注方法，通过获取与第一样本音频文件对应的未标注韵律的第一文本序列以及获取第一文本序列中每个字的文本特征和发音时长，然后应用预先训练的韵律标注模型对第一文本序列中每个字的文本特征和发音时长，获取第一文本序列中每个字的输出标记，最后根据第一文本序列中每个字的输出标记对第一文本序列进行韵律层级标注。由此，降低了文本的标注成本，提高了文本的标注效率和准确性，并能够提供更多的韵律层级标注所需的训练样本，提高韵律标注模型性能，使得语音合成效果更加自然。

另外，根据本发明上述实施例的基于人工智能韵律预测的样本标注方法还可以具有如下附加的技术特征：

在本发明的一个实施例中，在所述应用预先训练的韵律标注模型对所述每个字的文本特征和发音时长特征进行处理之前，还包括：获取与第二样本音频文件对应的已标注韵律的第二文本序列；获取所述第二文本序列中每个字的文本特征和发音时长；将所述第二文本序列中每个字的文本特征和发音时长作为输入特征，将所述已标注韵律的第二文本序列的标注结果作为输出标记，通过误差最小化的策略训练所述韵律标注模型中的参数；根据所述韵律标注模型中的参数建立所述韵律标注模型。

在本发明的一个实施例中，所述韵律标注模型包括：深度神经网络和双向长短时记忆网络。

在本发明的一个实施例中，所述每个字的文本特征，包括：字向量编码、对应分词的词性、或者，对应分词的位置。

在本发明的一个实施例中，当所述文本特征为字向量编码，获取所述第一文本序列中每个字的字向量编码，包括：通过大数据语料库训练获取单字库，以及与所述单子库中的每个字对应的字向量表示；查询所述单字库获取与所述第一文本序列中每个字对应的匹配字，并将与所述匹配字对应的字向量表示作为所述第一文本序列中每个字的字向量编码。

在本发明的一个实施例中，获取所述第一文本序列中每个字的发音时长，包括：将所述第一样本音频文件按照固定时长分帧，并获取每一帧对应的音子状态；将每一帧对应的音子状态对齐到音子，进而对所述第一样本音频文件进行解码，获取每个字及静音段在所述第一样本音频文件对应的发音帧数；根据所述发音帧数和所述固定时长获取所述第一文本序列中每个字的发音时长。

为达上述目的，本发明第二方面实施例提出了一种基于人工智能韵律预测的样本标注装置，包括：第一获取模块，用于获取与第一样本音频文件对应的未标注韵律的第一文本序列；第二获取模块，用于获取所述第一文本序列中每个字的文本特征；第三获取模块，用于获取所述第一文本序列中每个字的发音时长；第一处理模块，用于应用预先训练的韵律标注模型对所述第一文本序列中每个字的文本特征和发音时长进行处理，获取所述第一文本序列中每个字的输出标记；标注模块，用于根据所述第一文本序列中每个字的输出标记对所述第一文本序列进行韵律层级标注。

本发明实施例的基于人工智能韵律预测的样本标注装置，通过获取与第一样本音频文件对应的未标注韵律的第一文本序列以及获取第一文本序列中每个字的文本特征和发音时长，然后应用预先训练的韵律标注模型对第一文本序列中每个字的文本特征和发音时长，获取第一文本序列中每个字的输出标记，最后根据第一文本序列中每个字的输出标记对第一文本序列进行韵律层级标注。由此，降低了文本的标注成本，提高了文本的标注效率和准确性，并能够提供更多的韵律层级标注所需的训练样本，提高韵律标注模型性能，使得语音合成效果更加自然。

另外，根据本发明上述实施例的基于人工智能韵律预测的样本标注装置还可以具有如下附加的技术特征：

在本发明的一个实施例中，所述的装置，其特征在于，还包括：第四获取模块，用于获取与第二样本音频文件对应的已标注韵律的第二文本序列；第五获取模块，用于获取所述第二文本序列中每个字的文本特征和发音时长；第二处理模块，用于将所述第二文本序列中每个字的文本特征和发音时长作为输入特征，将所述已标注韵律的第二文本序列的标注结果作为输出标记，通过误差最小化的策略训练所述韵律标注模型中的参数；建立模块，用于根据所述韵律标注模型中的参数建立所述韵律标注模型。

在本发明的一个实施例中，所述韵律标注模型包括：深度神经网络和双向长短时记忆网络。

在本发明的一个实施例中，所述每个字的文本特征，包括：字向量编码、对应分词的词性、或者，对应分词的位置。

在本发明的一个实施例中，当所述文本特征为字向量编码，所述第二获取模块用于：通过大数据语料库训练获取单字库，以及与所述单子库中的每个字对应的字向量表示；查询所述单字库获取与所述第一文本序列中每个字对应的匹配字，并将与所述匹配字对应的字向量表示作为所述第一文本序列中每个字的字向量编码。

在本发明的一个实施例中，所述第三获取模块用于：将所述第一样本音频文件按照固定时长分帧，并获取每一帧对应的音子状态；将每一帧对应的音子状态对齐到音子，进而对所述第一样本音频文件进行解码，获取每个字及静音段在所述第一样本音频文件对应的发音帧数；根据所述发音帧数和所述固定时长获取所述第一文本序列中每个字的发音时长。

为达上述目的，本发明第三方面实施例提出了另一种基于人工智能韵律预测的样本标注装置，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为：获取与第一样本音频文件对应的未标注韵律的第一文本序列；获取所述第一文本序列中每个字的文本特征和发音时长；应用预先训练的韵律标注模型对所述第一文本序列中每个字的文本特征和发音时长，获取所述第一文本序列中每个字的输出标记；根据所述第一文本序列中每个字的输出标记对所述第一文本序列进行韵律层级标注。

为了实现上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由服务器端的处理器被执行时，使得服务器端能够执行一种基于人工智能韵律预测的样本标注装置方法，所述方法包括：获取与第一样本音频文件对应的未标注韵律的第一文本序列；获取所述第一文本序列中每个字的文本特征和发音时长；应用预先训练的韵律标注模型对所述第一文本序列中每个字的文本特征和发音时长，获取所述第一文本序列中每个字的输出标记；根据所述第一文本序列中每个字的输出标记对所述第一文本序列进行韵律层级标注。

为了实现上述目的，本发明第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行一种基于人工智能韵律预测的样本标注装置方法，所述方法包括：获取与第一样本音频文件对应的未标注韵律的第一文本序列；获取所述第一文本序列中每个字的文本特征和发音时长；应用预先训练的韵律标注模型对所述第一文本序列中每个字的文本特征和发音时长，获取所述第一文本序列中每个字的输出标记；根据所述第一文本序列中每个字的输出标记对所述第一文本序列进行韵律层级标注。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例提供的韵律层级结构示意图；

图2为本发明实施例提供的一种基于人工智能韵律预测的样本标注方法的流程示意图；

图3为本发明实施例提供的训练韵律标注模型的流程示意图；

图4为本发明实施例提供的另一种基于人工智能韵律预测的样本标注方法的流程示意图；

图5为本发明实施例提供的基于深度神经网络和双向长短时记忆网络的韵律层级标注的结构示意图；

图6为本发明实施例提供的双向长短时记忆网络基本原理的结构示意图；

图7为本发明实施例提供的一种基于人工智能韵律预测的样本标注装置的结构示意图；

图8为本实施例提供的另一种基于人工智能韵律预测的样本标注装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的基于人工智能韵律预测的样本标注方法及装置。

通常，直接预测韵律停顿的时间长度非常困难。因此传统韵律预测方法利用人类发音停顿的特点，根据停顿的时间长度，将韵律分为不同的韵律层级，从而将韵律预测问题转换为分类问题。韵律层级结构通常包括韵律词、韵律短语、语调短语等。为了本领域人员更加清楚韵律等级结构，下面结合图1具体描述如下：

图1为本发明实施例提供的韵律层级结构示意图。

如图1所示，以文本序列为“那时新旧思想的碰撞可谓激烈”为例标出的韵律等级结构示意图。其中，PW、PPH和IPH分别表示韵律层级结构中的韵律词、韵律短语和语调短语。从图1可以看到，韵律层级结构具有一定的包含关系，即韵律词<韵律短语<语调短语。韵律层级标注则是对文本中各个单词的韵律层级进行分类。

本发明实施例提出一种基于人工智能韵律预测的样本标注方法，通过使用已有标注的文本来训练韵律标注模型，并对未标注文本进行标注，从而获得该文本对应的韵律层级标注结果，提高文本标注的效率，节省时间及人力成本。具体如下：

图2为本发明实施例提供的一种基于人工智能韵律预测的样本标注方法的流程示意图。

如图2所示，该基于人工智能韵律预测的样本标注方法包括以下步骤：

步骤110，获取与第一样本音频文件对应的未标注韵律的第一文本序列。

步骤120，获取第一文本序列中每个字的文本特征和发音时长。

具体地，每一音频文件都有其对应的文本序列，可以从音库中选取第一样本音频文件，或者是直接录制第一样本音频文件等，并获取第一样本音频文件对应的第一文本序列。

其中，第一文本序列是未标注韵律的，由此可以对第一文本序列进行韵律层级标注。

首先，获取第一文本序列中每个字的文本特征和发音时长。

其中，每个字的文本特征的类型有很多种，比如可以是字向量编码、对应分词的词性、或者，对应分词的位置中的一种或者多种。

步骤130，应用预先训练的韵律标注模型对第一文本序列中每个字的文本特征和发音时长，获取第一文本序列中每个字的输出标记。

步骤140，根据第一文本序列中每个字的输出标记对第一文本序列进行韵律层级标注。

具体地，首先需要训练韵律标注模型，其中，韵律标注模型的类型有很多种，可以是深度神经网络、卷积神经网络和双向长短时记忆网络等一种或者多种。

其中，训练韵律标注模型的方式有很多种，可以根据实际应用需要进行选择。比如通过已标注韵律的第二文本序列作为训练样本，具体训练过程结合图3描述如下：

图3为本发明实施例提供的训练韵律标注模型的流程示意图。

如图3所示，该训练韵律标注模型包括以下步骤：

步骤210，获取与第二样本音频文件对应的已标注韵律的第二文本序列。

步骤220，获取第二文本序列中每个字的文本特征和发音时长。

需要说明的是，第二样本音频文件及其对应的已标注韵律的第二文本序列。还有第二文本序列中每个字的文本特征和发音时长的具体描述可以参见步骤110-步骤120对于第一样本音频文件及其对应的已标注韵律的第一文本序列。还有第一文本序列中每个字的文本特征和发音时长的具体描述，此处不再详述。

步骤230，将第二文本序列中每个字的文本特征和发音时长作为输入特征，将已标注韵律的第二文本序列的标注结果作为输出标记，通过误差最小化的策略训练所述韵律标注模型中的参数。

步骤240，根据韵律标注模型中的参数建立韵律标注模型。

具体地，将第二文本序列中每个字的文本特征(比如是字向量编码、对应分词的词性和对应分词的位置三种)以及发音时长作为输入特征得到已标注韵律的第二文本序列的标注结果作为输出标记。

进一步地，为了提高韵律层级标注的准确性，通过误差最小化的策略训练韵律标注模型中的参数，以根据韵律标注模型中的参数建立韵律标注模型。

进一步地，应用上述预先训练的韵律标注模型对第一文本序列中每个字的文本特征和发音时长进行处理，获取第一文本序列中每个字的输出标记。

可以理解的是，输入不同的每个字的文本特征和发音时长获取到的每个字的输出标记不同。举例说明如下：

第一种示例，应用预先训练的韵律标注模型对每个字的对应分词的词性和发音时长进行处理，作为一个示例，韵律等级为三层，分别为韵律词、韵律短语和语调短语，得到输出标记包括四个维度，第一维度为韵律词，第二维度为韵律短语，第三维度为语调短语以及第四维度为不停顿。由此，输出标记为(A1，B1，C1，D1)。

第二种示例，应用预先训练的韵律标注模型对每个字的字向量编码、对应分词的词性、对应分词的位置和发音时长进行处理，作为一个示例，韵律等级为三层，分别为韵律词、韵律短语和语调短语，得到输出标记包括四个维度，第一维度为韵律词，第二维度为韵律短语，第三维度为语调短语以及第四维度为不停顿。由此，输出标记为(A2，B2，C2，D2)。

进一步地，根据输入标记对第一文本序列进行韵律层级标注。比如，第一文本序列中的一个字对应的输出标记(0.2，0.7，0.1,0)，对这个字进行韵律词和韵律短语标注。

可以理解的是，根据图1中对于韵律层级结构的描述，在对于一个字进行韵律词标注时，其只有韵律词层级，当其输出标记概率最高为语调短语时，对一个字进行韵律词、韵律短语和语调短语标注。其中，韵律词<韵律短语<语调短语。

可以理解，通过上述方式可以将第一文本序列中的每个字进行韵律层级标注。

综上所述，本发明实施例的基于人工智能韵律预测的样本标注方法，通过获取与第一样本音频文件对应的未标注韵律的第一文本序列以及获取第一文本序列中每个字的文本特征和发音时长，然后应用预先训练的韵律标注模型对第一文本序列中每个字的文本特征和发音时长，获取第一文本序列中每个字的输出标记，最后根据第一文本序列中每个字的输出标记对第一文本序列进行韵律层级标注。由此，降低了文本的标注成本，提高了文本的标注效率和准确性，并能够提供更多的韵律层级标注所需的训练样本，提高韵律标注模型性能，使得语音合成效果更加自然。

为了更加清楚说明上一实施例，本实施例以深度神经网络(DNN)和双向长短时记忆网络(Bi-LSTM)作为韵律标注模型为例进行说明。

图4为本发明实施例提供的另一种基于人工智能韵律预测的样本标注方法的流程示意图。

如图4所示，该基于人工智能韵律预测的样本标注方法包括以下步骤：

步骤310，获取与第一样本音频文件对应的未标注韵律的第一文本序列。

需要说明的是，步骤S310的描述与上述步骤S110相对应，因此对的步骤S310的描述参考上述步骤S110的描述，在此不再赘述。

步骤320，通过大数据语料库训练获取单字库，以及与单子库中的每个字对应的字向量表示。

步骤330，查询单字库获取与第一文本序列中每个字对应的匹配字，并将与匹配字对应的字向量表示作为第一文本序列中每个字的字向量编码。

具体地，为了增强字面的泛化能力，可以通过大数据语料库训练获取单字库以及与单子库中的每个字对应的字向量表示。即单子库中的每个字都有其对应的字向量A，通过字向量A可以知道这个字以及这个字与其它字的关系。

进一步地，在单字库中查询获取与第一文本序列中每个字对应的匹配字，将匹配字对应的字向量表示作为第一文本序列中每个字的字向量编码。

需要说明的是，预先训练的韵律标注模型过程中将字向量编码作为输入特征，能够进一步提升韵律标注模型的性能。

步骤340，将第一样本音频文件按照固定时长分帧，并获取每一帧对应的音子状态。

步骤350，将每一帧对应的音子状态对齐到音子，进而对第一样本音频文件进行解码，获取每个字及静音段在第一样本音频文件对应的发音帧数。

步骤360，根据发音帧数和固定时长获取第一文本序列中每个字的发音时长。

具体地，通过语音识别的声学对齐结果，以及通过语音识别模型获取发音时长。

首先，将第一样本音频文件按照固定时长分帧(比如10ms分为一帧)，接着对每一帧抽取语音识别模型需要的特征，并通过已有的语音识别模型，获取每一帧对应的音子状态。需要说明的是，相邻的帧可能会对应到相同的音子状态。

进一步地，通过音字状态跳转的规则，将每一帧对应的音子状态对齐到音子(比如将三个连续不同状态对应的一个中文音字)，进而对第一样本音频文件进行解码，可以得到每个字及静音段在第一样本音频文件对应的发音帧数。其中，如果字为汉字则是双音子。

进一步地，根据发音帧数和固定时长获取第一文本序列中每个字的发音时长。

可以理解的是，韵律停顿与发音时长有非常强的相关性，因此发音时长可以比较好的指导韵律层级标注，并且发音时长与发音人的停顿有良好的一致性。

步骤370，应用预先训练的深度神经网络和双向长短时记忆网络对第一文本序列中每个字的字向量编码和发音时长进行处理，获取第一文本序列中每个字的输出标记。

步骤380，根据第一文本序列中每个字的输出标记对第一文本序列进行韵律层级标注。

具体地，图5为本发明实施例提供的基于深度神经网络和双向长短时记忆网络的韵律层级标注的结构示意图。

如图5所示，应用预先训练的深度神经网络(DNN)和双向长短时记忆网络(Bi-LSTM)对第一文本序列中每个字的字向量编码和发音时长(输入特征)进行处理，可以获取第一文本序列中每个字的输出标记。

其中，还可以将第一文本序列中每个字的对应分词的词性和对应分词的位置添加到输入特征中。

具体地，Bi-LSTM韵律标注模型使用LSTM作为其核心建模单元，通过LSTM结构中的状态结构缓存历史的状态信息，并且通过输入门、遗忘门以及输出门对历史状态进行维护，从而实现了长距离历史信息的有效缓存。由于LSTM结构能够维护长距离的历史信息，因此特别适合韵律标注中的长距离韵律建模。为了同时引入标注文本的上下文信息，可以使用双向LSTM结构对韵律标注模型进行构建。

具体地，预先训练的深度神经网络和双向长短时记忆网络，以已标注韵律的第二文本序列作为训练样本，首先获取与第二样本音频文件对应的已标注韵律的第二文本序列以及获取第二文本序列中每个字的文本特征和发音时长，然后将第二文本序列中每个字的文本特征(比如是字向量编码、对应分词的词性和对应分词的位置三种)以及发音时长作为输入特征得到已标注韵律的第二文本序列的标注结果作为输出标记。

进一步地，为了提高韵律层级标注的准确性，通过误差最小化的策略训练深度神经网络和双向长短时记忆网络中的参数，以根据深度神经网络和双向长短时记忆网络中的参数建立韵律标注模型。

图6为本发明实施例提供的双向长短时记忆网络基本原理的结构示意图。

如图6所示，给定的输入序列x＝(x₁,…,x_T)，其中T表示文本序列的长度。对于任意时刻的输入x_t，双向长短时记忆网络通过下列公式对结构中的各个单元进行计算：

i_t＝σ(W_ixx_t+W_imm_t-1+W_icc_t-1+b_i) (1)

f_t＝σ(W_fxx_t+W_fmm_t-1+W_fcc_t-1+b_f) (2)

o_t＝σ(W_oxx_t+W_omm_t-1+W_occ_t-1+b_o) (4)

其中，W表示权重矩阵，b表示偏置向量。i、f、o、c、m分别表示输入门、遗忘门、输出门、状态单元以及LSTM结构的输出。表示向量按元素的乘积。σ为sigmoid函数，其计算公式如下：

g和h表示状态单元的输入和输出激活函数，一般为tanh函数：

具体地，第一文本序列x＝(x₁,…,x_T)，x_t的字向量编码和发音时长作为输入特征，首先经过深度神经网络进行处理，接着经过双向长短时记忆网络中的各个单元进行计算输出标记。

进一步地，根据第一文本序列中每个字的输出标记对第一文本序列进行韵律层级标注。

综上所述，本发明实施例的基于人工智能韵律预测的样本标注方法，通过语音识别对音频文件解码得到的音频中每个字的发音时长，以及字向量编码，接着通过韵律标注模型模拟人工标注所关心的上下文特征，直接从音频文件中得到对应文本的韵律层级标注结果，大大节省了韵律标注的人工成本和时间，提高了文本标注的效率，为以后的韵律预测任务提供了大量准确的韵律标注数据，提高了后续韵律预测的模型性能。

为了实现上述实施例，本发明还提出一种基于人工智能韵律预测的样本标注装置。

图7为本发明实施例提供的一种人工智能基于韵律预测的样本标注装置的结构示意图。

如图7所示，该基于人工智能韵律预测的样本标注装置包括：第一获取模块71、第二获取模块72、第三获取模块73、第一处理模块74和标注模块75。

其中，第一获取模块71用于获取与第一样本音频文件对应的未标注韵律的第一文本序列。

第二获取模块72用于获取第一文本序列中每个字的文本特征。

第三获取模块73用于获取第一文本序列中每个字的发音时长。

第一处理模块74用于应用预先训练的韵律标注模型对第一文本序列中每个字的文本特征和发音时长进行处理，获取第一文本序列中每个字的输出标记。

标注模块75用于根据第一文本序列中每个字的输出标记对第一文本序列进行韵律层级标注。

需要说明的是，前述对基于人工智能韵律预测的样本标注方法实施例的解释说明也适用于本实施例的基于人工智能韵律预测的样本标注装置，此处不再赘述。

综上所述，本发明实施例的基于人工智能韵律预测的样本标注装置，通过获取与第一样本音频文件对应的未标注韵律的第一文本序列以及获取第一文本序列中每个字的文本特征和发音时长，然后应用预先训练的韵律标注模型对第一文本序列中每个字的文本特征和发音时长，获取第一文本序列中每个字的输出标记，最后根据第一文本序列中每个字的输出标记对第一文本序列进行韵律层级标注。由此，降低了文本的标注成本，提高了文本的标注效率和准确性，并能够提供更多的韵律层级标注所需的训练样本，提高韵律标注模型性能，使得语音合成效果更加自然。

为了清楚说明上一实施例，本实施例提供了另一种基于人工智能韵律预测的样本标注装置。

图8为本实施例提供的另一种基于人工智能韵律预测的样本标注装置的结构示意图。

如图8所示，在上一实施例的基础上，该装置还包括：第四获取模块76、第五获取模块77、第二处理模块78和建立模块79。

其中，第四获取模块76用于获取与第二样本音频文件对应的已标注韵律的第二文本序列。

第五获取模块77用于获取第二文本序列中每个字的文本特征和发音时长。

第二处理模块78用于将第二文本序列中每个字的文本特征和发音时长作为输入特征，将已标注韵律的第二文本序列的标注结果作为输出标记，通过误差最小化的策略训练韵律标注模型中的参数。

建立模块79用于根据韵律标注模型中的参数建立韵律标注模型。

其中，在本发明实施例的一种可能的实现方式中，韵律标注模型包括：深度神经网络和双向长短时记忆网络。

其中，在本发明实施例的一种可能的实现方式中，每个字的文本特征，包括：字向量编码、对应分词的词性、或者，对应分词的位置。

其中，在本发明实施例的一种可能的实现方式中，当文本特征为字向量编码，第二获取模块72用于通过大数据语料库训练获取单字库，以及与单子库中的每个字对应的字向量表示；查询单字库获取与所述第一文本序列中每个字对应的匹配字，并将与匹配字对应的字向量表示作为第一文本序列中每个字的字向量编码。

其中，在本发明实施例的一种可能的实现方式中，第三获取模块73用于将第一样本音频文件按照固定时长分帧，并获取每一帧对应的音子状态；将每一帧对应的音子状态对齐到音子，进而对第一样本音频文件进行解码，获取每个字及静音段在第一样本音频文件对应的发音帧数；根据发音帧数和固定时长获取第一文本序列中每个字的发音时长。

需要说明的是，前述对基于人工智能韵律预测的样本标注方法实施例的解释说明也适用于本实施例的基于人工智能韵律预测的样本标注装置，此处不再赘述。

综上所述，本发明实施例的基于人工智能韵律预测的样本标注装置，通过语音识别对音频文件解码得到的音频中每个字的发音时长，以及字向量编码，接着通过韵律标注模型模拟人工标注所关心的上下文特征，直接从音频文件中得到对应文本的韵律层级标注结果，大大节省了韵律标注的人工成本和时间，提高了文本标注的效率，为以后的韵律预测任务提供了大量准确的韵律标注数据，提高了后续韵律预测的模型性能。

为了实现上述实施例，本发明还提出另一种基于人工智能韵律预测的样本标注装置，包括：处理器，以及用于存储所述处理器可执行指令的存储器。

其中，处理器被配置为：获取与第一样本音频文件对应的未标注韵律的第一文本序列；获取第一文本序列中每个字的文本特征和发音时长；应用预先训练的韵律标注模型对第一文本序列中每个字的文本特征和发音时长，获取第一文本序列中每个字的输出标记；根据第一文本序列中每个字的输出标记对第一文本序列进行韵律层级标注。

为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，当所述存储介质中的指令由服务器端的处理器被执行时，使得服务器端能够执行一种基于人工智能韵律预测的样本标注方法，所述方法包括：获取与第一样本音频文件对应的未标注韵律的第一文本序列；获取第一文本序列中每个字的文本特征和发音时长；应用预先训练的韵律标注模型对第一文本序列中每个字的文本特征和发音时长，获取第一文本序列中每个字的输出标记；根据第一文本序列中每个字的输出标记对第一文本序列进行韵律层级标注。

为了实现上述实施例，本发明还提出一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行一种基于人工智能韵律预测的样本标注，所述方法包括：获取与第一样本音频文件对应的未标注韵律的第一文本序列；获取第一文本序列中每个字的文本特征和发音时长；应用预先训练的韵律标注模型对第一文本序列中每个字的文本特征和发音时长，获取第一文本序列中每个字的输出标记；根据第一文本序列中每个字的输出标记对第一文本序列进行韵律层级标注。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种基于人工智能韵律预测的样本标注方法，其特征在于，包括以下步骤：

获取与第一样本音频文件对应的未标注韵律的第一文本序列；

获取所述第一文本序列中每个字的文本特征和发音时长；

应用预先训练的韵律标注模型对所述第一文本序列中每个字的文本特征和发音时长进行处理，获取所述第一文本序列中每个字的输出标记；

根据所述第一文本序列中每个字的输出标记对所述第一文本序列进行韵律层级标注。

2.如权利要求1所述的方法，其特征在于，在所述应用预先训练的韵律标注模型对所述每个字的文本特征和发音时长进行处理之前，还包括：

获取与第二样本音频文件对应的已标注韵律的第二文本序列；

获取所述第二文本序列中每个字的文本特征和发音时长；

将所述第二文本序列中每个字的文本特征和发音时长作为输入特征，将所述已标注韵律的第二文本序列的标注结果作为输出标记，通过误差最小化的策略训练所述韵律标注模型中的参数；

根据所述韵律标注模型中的参数建立所述韵律标注模型。

3.如权利要求1所述的方法，其特征在于，所述韵律标注模型包括：

深度神经网络和双向长短时记忆网络。

4.如权利要求1所述的方法，其特征在于，所述每个字的文本特征，包括：

字向量编码、对应分词的词性、或者，对应分词的位置。

5.如权利要求4所述的方法，其特征在于，当所述文本特征为字向量编码，获取所述第一文本序列中每个字的字向量编码，包括：

通过大数据语料库训练获取单字库，以及与所述单子库中的每个字对应的字向量表示；

查询所述单字库获取与所述第一文本序列中每个字对应的匹配字，并将与所述匹配字对应的字向量表示作为所述第一文本序列中每个字的字向量编码。

6.如权利要求1-5任一所述的方法，其特征在于，获取所述第一文本序列中每个字的发音时长，包括：

将所述第一样本音频文件按照固定时长分帧，并获取每一帧对应的音子状态；

将每一帧对应的音子状态对齐到音子，进而对所述第一样本音频文件进行解码，获取每个字及静音段在所述第一样本音频文件对应的发音帧数；

根据所述发音帧数和所述固定时长获取所述第一文本序列中每个字的发音时长。

7.一种基于人工智能韵律预测的样本标注装置，其特征在于，包括：

第一获取模块，用于获取与第一样本音频文件对应的未标注韵律的第一文本序列；

第二获取模块，用于获取所述第一文本序列中每个字的文本特征；

第三获取模块，用于获取所述第一文本序列中每个字的发音时长；

第一处理模块，用于应用预先训练的韵律标注模型对所述第一文本序列中每个字的文本特征和发音时长进行处理，获取所述第一文本序列中每个字的输出标记；

标注模块，用于根据所述第一文本序列中每个字的输出标记对所述第一文本序列进行韵律层级标注。

8.如权利要求7所述的装置，其特征在于，还包括：

第四获取模块，用于获取与第二样本音频文件对应的已标注韵律的第二文本序列；

第五获取模块，用于获取所述第二文本序列中每个字的文本特征和发音时长；

第二处理模块，用于将所述第二文本序列中每个字的文本特征和发音时长作为输入特征，将所述已标注韵律的第二文本序列的标注结果作为输出标记，通过误差最小化的策略训练所述韵律标注模型中的参数；

建立模块，用于根据所述韵律标注模型中的参数建立所述韵律标注模型。

9.如权利要求7所述的装置，其特征在于，所述韵律标注模型包括：

深度神经网络和双向长短时记忆网络。

10.如权利要求7所述的装置，其特征在于，所述每个字的文本特征，包括：

字向量编码、对应分词的词性、或者，对应分词的位置。

11.如权利要求10所述的装置，其特征在于，当所述文本特征为字向量编码，所述第二获取模块用于：

通过大数据语料库训练获取单字库，以及与所述单子库中的每个字对应的字向量表示；

查询所述单字库获取与所述第一文本序列中每个字对应的匹配字，并将与所述匹配字对应的字向量表示作为所述第一文本序列中每个字的字向量编码。

12.如权利要求7-11任一所述的装置，其特征在于，所述第三获取模块用于：

将所述第一样本音频文件按照固定时长分帧，并获取每一帧对应的音子状态；

将每一帧对应的音子状态对齐到音子，进而对所述第一样本音频文件进行解码，获取每个字及静音段在所述第一样本音频文件对应的发音帧数；

根据所述发音帧数和所述固定时长获取所述第一文本序列中每个字的发音时长。