CN113658581A - 声学模型的训练、语音处理方法、装置、设备及存储介质 - Google Patents
声学模型的训练、语音处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113658581A CN113658581A CN202110946708.6A CN202110946708A CN113658581A CN 113658581 A CN113658581 A CN 113658581A CN 202110946708 A CN202110946708 A CN 202110946708A CN 113658581 A CN113658581 A CN 113658581A
- Authority
- CN
- China
- Prior art keywords
- voice
- sample
- segment
- speech
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 238000012549 training Methods 0.000 title claims abstract description 68
- 238000012545 processing Methods 0.000 title claims abstract description 53
- 238000003672 processing method Methods 0.000 title abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 33
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 25
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 25
- 239000012634 fragment Substances 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 14
- 238000009499 grossing Methods 0.000 claims description 8
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 206010002953 Aphonia Diseases 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 241001672694 Citrus reticulata Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
- G10L13/047—Architecture of speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本公开提供了声学模型的训练、语音处理方法、装置、设备及存储介质，涉及人工智能中的深度学习和语音技术领域。具体实现方案为：获取样本文本和所述样本文本对应的样本语音，所述样本语音中包括多个语音片段，所述样本语音为目标用户的语音；根据所述样本语音，确定所述样本语音中语音片段的语音质量；通过待处理的声学模型对所述样本文本进行语音合成处理得到预测语音；根据所述样本语音、所述预测语音、以及所述样本语音中语音片段的语音质量，更新所述声学模型的模型参数，所述声学模型为所述目标用户对应的声学模型。通过上述过程，保证了训练后的声学模型的语音合成质量较高。
Description
技术领域
本公开涉及人工智能中的深度学习和语音技术领域，尤其涉及一种声学模型的训练、语音处理方法、装置、设备及存储介质。
背景技术
随着人工智能技术的发展，越来越多的终端设备支持个性化语音定制功能。通过个性化语音定制，使得终端设备可以按照用户的声音特征进行语音播报，提升用户语音交互的体验。
通常，个性化语音定制的实现方式为：终端设备引导用户朗读多个样本文本，在用户朗读过程中，通过语音采集装置进行语音录制，得到多个样本文本各自对应的样本语音。利用这些样本文本以及样本语音对初始声学模型进行训练，得到训练后的声学模型。训练后的声学模型即为该用户对应的声学模型，能够按照该用户的声音特征进行语音合成。进而，当终端设备需要进行语音播报时，将待播报的第一文本输入至该用户对应的声学模型，该声学模型根据第一文本和用户的声音特征合成得到第一语音。进而，终端设备对第一语音进行播报，从而用户听到个性化的语音播报。
然而，当用户录制的语音质量较低(例如，存在哑音、颤音、含混不清的情况)时，上述方式训练得到的声学模型会使得语音合成质量较差。
发明内容
本公开提供了一种声学模型的训练、语音处理方法、装置、设备及存储介质。
根据本公开的第一方面，提供了一种声学模型的训练方法，包括：
获取样本文本和所述样本文本对应的样本语音，所述样本语音中包括多个语音片段，所述样本语音为目标用户的语音；
根据所述样本语音，确定所述样本语音中语音片段的语音质量；
通过待处理的声学模型对所述样本文本进行语音合成处理得到预测语音；
根据所述样本语音、所述预测语音、以及所述样本语音中语音片段的语音质量，更新所述声学模型的模型参数，所述声学模型为所述目标用户对应的声学模型。
根据本公开的第二方面，提供了一种语音处理方法，包括：
获取待处理的目标文本；
通过目标用户对应的声学模型对所述目标文本进行处理，得到所述目标用户对应的目标语音，所述声学模型为根据第一方面所述的方法训练得到的；
播放所述目标语音。
根据本公开的第三方面，提供了一种声学模型的训练装置，包括：
获取模块，用于获取样本文本和所述样本文本对应的样本语音，所述样本语音中包括多个语音片段，所述样本语音为目标用户的语音；
确定模块，用于根据所述样本语音，确定所述样本语音中语音片段的语音质量；
处理模块，用于通过待处理的声学模型对所述样本文本进行语音合成处理得到预测语音；
更新模块，用于根据所述样本语音、所述预测语音、以及所述样本语音中语音片段的语音质量，更新所述声学模型的模型参数，所述声学模型为所述目标用户对应的声学模型。
根据本公开的第四方面，提供了一种语音处理装置，包括：
获取模块，用于获取待处理的目标文本；
处理模块，用于通过目标用户对应的声学模型对所述目标文本进行处理，得到所述目标用户对应的目标语音，所述声学模型为根据第三方面所述的装置训练得到的；
播放模块，用于播放所述目标语音。
根据本公开的第五方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法，或者，执行第二方面所述的方法。
根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面所述的方法，或者，根据第二方面所述的方法。
根据本公开的第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法，或者，执行第二方面所述的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1为本公开实施例提供的一种系统架构的示意图；
图2为一种终端设备的用户界面的示意图；
图3为本公开实施例提供的一种声学模型的训练方法的流程示意图；
图4为本公开实施例提供的一个样本语音的示意图；
图5为本公开实施例提供的另一种声学模型的训练方法的流程示意图；
图6为本公开实施例提供的另一个样本语音的示意图；
图7为本公开实施例提供的语音片段的语音质量的确定方法的流程示意图；
图8为本公开实施例提供的声学模型的训练过程的示意图；
图9为本公开实施例提供的各语音片段的语音质量的确定过程示意图；
图10为本公开实施例提供的一种语音处理方法的流程示意图；
图11为本公开实施例提供的一种声学模型的训练装置的结构示意图；
图12为本公开实施例提供的一种语音处理装置的结构示意图；
图13为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
为了便于理解，首先对本公开实施例涉及的系统架构和应用场景进行介绍。
图1为本公开实施例提供的一种系统架构的示意图。如图1所示，该系统架构包括：终端设备和服务器。终端设备为具有语音交互功能的任意电子设备，包括但不限于：智能手机、平板电脑、笔记本电脑、智能音箱、智能家具、智能穿戴设备、智能车载设备等。服务器为提供计算服务、数据处理服务的电子设备。服务器可以为云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
终端设备向用户提供个性化语音定制功能。参见图1，个性化语音定制的过程通常为：终端设备引导用户朗读多个样本文本，在用户朗读过程中，通过语音采集装置进行语音录制，得到多个样本文本各自对应的样本语音。终端设备将上述多个样本文本及其各自对应的样本语音发送至服务端，以便存储至训练数据集中。服务器利用这些样本文本以及样本语音对初始声学模型进行训练，得到训练后的声学模型。训练后的声学模型即为该用户对应的声学模型，能够按照该用户的声音特征进行语音合成。
继续参见图1，服务器将训练后的声学模型发送至终端设备。终端设备需要进行语音播报时，将待播报的第一文本输入至该用户对应的声学模型，该声学模型按照用户的声音特征对第一文本进行语音合成得到第一语音。进而，终端设备通过语音播放装置播放第一语音，从而用户听到个性化的语音播报。
需要说明的是，图1所示的系统架构仅为一种可能的示例，并不作为限定。一些可能的应用场景中，当终端设备的处理能力较高时，上述声学模型的训练过程也可以由终端设备执行。
在上述过程中，由于声学模型是利用用户录制的样本语音训练得到的，因此，用户录制的样本语音的质量会对声学模型的语音合成质量产生影响。实际应用中，用户录制的样本语音中不可避免的存在哑音、颤音、含混不清等情况。当用户录制的语音质量较低时，上述方式训练得到的声学模型的语音合成质量较差。
一些相关技术中，可以通过对用户的录制过程进行约束，来保证用户录制的为高质量样本语音。图2为一种终端设备的用户界面的示意图。如图2所示，在用户录制之前，可以在终端设备的用户界面中显示录制注意事项。例如：要求用户在特别安静的环境下进行录制；要求用户用普通话朗读，保持平稳且吐字清楚；要求用户录制时与手机保持10cm的距离；要求用户录制时，点击录音按钮后停顿1秒后再朗读；要求用户语速切勿过快或过慢；等等。
另一些相关技术中，当检测到用户的录制环境或者录制的语音质量不满足要求时，要求用户重新录制。例如，检测到录制环境中的噪声较大时，要求用户更换录制环境。又例如，检测到用户说话不连贯时，要求用户重新录制。
上述相关技术中，对用户提出了较为严苛的语音录制要求，相当于将成本转嫁到用户端，使得用户进行个性化语音定制的难度加大，降低用户体验。
本公开实施例提供一种声学模型的训练、语音处理方法、装置、设备及存储介质，应用于人工智能中的深度学习和语音技术领域，无需对用户录制过程进行过多约束，即使在用户录制语音质量较差的情况下，依然保证声学模型的语音合成质量。
下面以具体地实施例对本公开的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图3为本公开实施例提供的一种声学模型的训练方法的流程示意图。本实施例的方法可以由服务器或者终端设备执行。如图3所示，本实施例的方法，包括：
S301：获取样本文本和所述样本文本对应的样本语音，所述样本语音中包括多个语音片段，所述样本语音为目标用户的语音。
本实施例中，样本文本和样本语音具有对应关系。样本文本与其对应的样本语音组成一组训练样本，用于对待训练的声学模型进行训练。
举例而言，终端设备可以引导用户朗读样本文本，并在用户朗读过程中录制得到样本语音。参见图2所示的示例，在终端设备的“录音棚”界面中，显示样本文本“夏天要走了，秋天要来了”。当检测到用户点击“录制”按钮时，终端设备中的语音采集装置开始对用户的语音进行采集，从而得到样本语音。当本实施例中服务器执行时，终端设备将样本文本与其对应的样本语音发送至服务器，从而服务器获取到样本文本及其对应的样本语音。
S302：根据所述样本语音，确定所述样本语音中语音片段的语音质量。
本实施例中，样本语音中包括多个语音片段。其中，语音片段可以是指按照预设时长对样本语音进行分片得到语音片段。
图4为本公开实施例提供的一个样本语音的示意图。如图4所示，假设样本语音的持续时长为1s，以10ms为间隔对样本语音进行分片，样本语音可以包括100个语音片段。其中，1-10ms为语音片段1，11-20ms为语音片段2，21-30ms为语音片段3，以此类推。
每个语音片段的语音质量指示该语音片段与预设录音要求之间的相符程度。当相符程度越高时，语音质量越高，当相符程度越低时，语音质量越低。当一个语音片段的语音质量高于或等于预设质量时，该语音片段可用于训练声学模型。当一个语音片段的语音质量低于预设质量时，该语音片段不用于训练声学模型。
可选的，每个语音片段的语音质量为第一质量或者第二质量。第一质量高于第二质量。当一个语音片段中存在哑音、颤音、或者含混不清等脏数据时，该语音片段的语音质量为第二质量，否则，该语音片段的语音质量为第一质量。
示例性的，每个语音片段的语音质量可以采用0-1二值表示，1表示高质量，0表示低质量。例如，当一个语音片段中存在哑音、颤音、含糊不清等脏数据时，该语音片段的语音质量可以为0；当一个语音片段中不存在哑音、颤音、含糊不清等脏数据时，该语音片段的语音质量可以为1。
需要说明的是，S302中，可以根据样本语音，确定出样本语音包括的多个语音片段中的全部语音片段的语音质量；或者，根据样本语音，确定出样本语音包括的多个语音片段中部分语音片段的语音质量。
S303：通过待处理的声学模型对所述样本文本进行语音合成处理得到预测语音。
具体而言，将样本文本输入声学模型，声学模型对样本文本进行语音合成处理，得到预测语音。能够理解的，本实施例中声学模型对样本文本进行语音合成处理的过程可以采用现有技术实现，本实施例对此不作详述。
S304：根据所述样本语音、所述预测语音、以及所述样本语音中语音片段的语音质量，更新所述声学模型的模型参数，所述声学模型为所述目标用户对应的声学模型。
本实施例与现有声学模型的训练过程的不同之处在于，在根据样本语音和预测语音对声学模型的模型参数进行更新时，还要参考样本语音中语音片段的语音质量。需要说明的是，可以参考样本语音中的全部语音片段的语音质量，还可以参考样本语音中部分语音片段的语音质量。
举例而言，可以根据语音片段的语音质量为每个语音片段设置权重系数。一个语音片段的语音质量越高，则该语音片段的权重系数越高，一个语音片段的语音质量越低，则该语音片段的权重系数越低。这样，在模型训练过程中，可以按照语音片段的权重系数进行学习，实现对语音质量高的语音片段进行重点学习，对语音质量低的语音片段不重点学习或者不学习。
需要说明的是，本实施例描述的声学模型的训练方法，是以一组训练样本(一组训练样本中包括样本文本及其对应的样本语音)的训练过程为例进行说明的。实际应用中，对声学模型的训练过程需要使用多组训练样本，因此，本实施例的训练方法可以循环执行多次。
本实施例提供的声学模型的训练方法，由于在声学模型的训练过程中，参考了语音片段的语音质量，因此，即使在用户录制的样本语音的质量不高(例如存在哑音、颤音、含糊不清等)的情况下，也可以通过对样本语音中的语音质量较高的语音片段进行重点学习，避免受到语音质量较低的语音片段的影响，从而保证训练后的声学模型的语音合成质量较高。进一步的，使得对用户录制过程的要求无需过于严格，降低用户录制难度，提升用户体验。
在上述实施例的基础上，下面结合一个具体的实施例对本公开提供的技术方案进行更详细的描述。
图5为本公开实施例提供的另一种声学模型的训练方法的流程示意图。如图5所示，本实施例的方法包括：
S501：获取样本文本和所述样本文本对应的样本语音，所述样本语音中包括多个语音片段，所述样本语音为目标用户的语音。
S502：根据所述样本语音，确定所述样本语音中语音片段的语音质量。
本实施例中，S501和S502的具体实现方式与S301和S302类似，此处不作赘述。
S503：对所述样本语音中语音片段的语音质量进行平滑处理，得到平滑后的语音片段的语音质量。
需要说明的是，平滑处理的方式可以有多种，例如，可以采用均值滤波等方法，本实施例对此不作限定。
应理解的是，本实施例中的S503为可选步骤。通过对语音片段的语音质量进行平滑处理，使得相邻语音片段的语音质量能够平滑过渡，避免后续语音合成过程中产生异常噪声。
S504：通过待处理的声学模型对所述样本文本进行语音合成处理得到预测语音。
S505：根据所述平滑后的语音片段的语音质量，在所述样本语音中确定出部分语音，所述部分语音对应的语音片段的语音质量高于或者等于预设质量。
本实施例中，部分语音包括样本语音中的语音质量高于或者等于预设质量的至少一个语音片段。上述至少一个语音片段可以是连续的，也可以是不连续的。
可选的，当每个样本语音的语音质量为第一质量或者第二质量时，部分语音包括样本语音中的语音质量为第一质量的至少一个语音片段。举例而言，图6为本公开实施例提供的另一个样本语音的示意图。如图6所示，假设样本语音被划分为100个语音片段，其中，语音片段2和语音片段4的语音质量为第二质量(即存在脏数据)，其余语音片段的语音质量为第一质量(即不存在脏数据)，则将样本语音中除语音片段2和语音片段4之外的其余部分称为部分语音。
S506：根据所述部分语音和所述预测语音，更新所述声学模型的模型参数。
一种可能的实现方式中，可以采用如下方式更新声学模型的模型参数：根据所述部分语音对应的第一声学特征和所述预测语音对应的第二声学特征，确定损失函数；根据所述损失函数，更新所述声学模型的模型参数。
可选的，所述部分语音对应的第一声学特征可以为所述部分语音的梅尔(Mel)谱特征。所述预测语音对应的第二声学特征可以为所述预测语音的梅尔谱特征。
S507：判断模型参数更新后的声学模型是否收敛。
若是，则执行S508。
若否，则返回执行S501，重复执行本实施例的声学模型的训练方法，直至模型参数更新后的声学模型收敛时，将模型参数更新后的声学模型确定为训练完成的声学模型。
S508：将模型参数更新后的声学模型确定为训练完成的声学模型。
本实施例中，在利用样本文本及其对应的样本语音对声学模型进行训练过程中，考虑了样本语音中语音片段的语音质量，若某个语音片段对应的语音质量较差，则不对该语音片段进行学习，若某个语音片段对应的语音质量较佳，则对该语音片段进行学习。这样，训练后的声学模型其实是根据语音质量较高的语音片段学习得到的，因此，能够保证训练后的声学模型的语音合成质量。
上述实施例描述了利用样本语音中语音片段的语音质量对声学模型进行训练的过程。下面结合一个具体的实施例介绍如何确定样本中的语音片段的语音质量。本实施例可以作为上述实施例中S302或S502的一种实现方式。
图7为本公开实施例提供的语音片段的语音质量的确定方法的流程示意图。如图7所示，本实施例的方法包括：
S701：根据所述样本语音，确定所述样本语音中语音片段的第一指示信息，每个语音片段的第一指示信息用于指示所述语音片段中存在语音或者不存在语音。
其中，本实施例中的“存在语音”可以是指存在用户说话的声音。例如，用户在说话过程中可能存在停顿，该停顿对应的语音片段中不存在语音。
具体而言，可以通过对样本语音中的语音片段进行语音检测处理，确定出每个语音片段中是否存在语音，从而得到该语音片段的第一指示信息。例如，若一个语音片段中存在语音，则该语音片段的第一指示信息为1。若一个语音片段中不存在语音，则该语音片段的第一指示信息为0。
S702：根据所述样本语音，确定所述样本语音中语音片段的第二指示信息，每个语音片段的第二指示信息用于指示所述语音片段中的数据为有效数据或者无效数据。
本实施例中，有效语音是指满足预设录音要求的数据，无效数据是指不满足预设录音要求的数据。例如，哑音、颤音、含糊不清等脏数据为无效数据。
一般的声音都是由发音体发出的一系列频率、振幅各不相同的振动复合而成的。这些振动中有一个频率最低的振动，由它发出的音就是基音(fundamental tone)。当某个语音片段为哑音、颤音、含糊不清的脏数据时，该语音片段对应的基音频率较低。因此，本实施例中，可以利用基音频率，确定出每个语音片段中的数据为有效数据或者无效数据。
一种可能的实现方式中，可以采用如下方式确定语音片段的第二指示信息：
(1)根据所述样本语音，确定所述样本语音中语音片段对应的基音频率。
(2)根据所述样本语音中语音片段对应的基音频率，确定基音频率范围。
一种可能的实现方式中，按照基音频率从大到小的顺序，对所述样本语音的多个语音片段进行排序；根据排序后的前M个语音片段对应的基音频率，确定四分位数间距，所述M为大于1的整数；确定所述基音频率范围的最小值为所述四分位数间距与第一系数的乘积，以及确定所述基音频率范围的最大值为所述四分位数间距与第二系数的乘积，所述第二系数大于所述第一系数。
其中，第一系数和第二系数可以根据经验确定。举例而言，假设确定出的四分位数间距为IQR，第一系数可以为-1.5，第二系数可以为1.5，这样确定出的基音频率范围为[-1.5*IQR，1.5*IQR]。
一个示例中，M的取值可以为预设固定值。例如，M＝50。另一个示例中，M的取值也可以根据样本语音所包括的语音片段的数量和预设比例(例如预设比例可以为3/4)动态确定。例如，假设样本语音所包括的语音片段的数量为100，则M的取值可以为100*3/4＝75。
上述实现方式中，在确定基音频率范围时，参考的是基音频率较大的前M个语音片段的基音频率，相当于将样本语音中的脏数据排除，使得基音频率范围可用于准确识别语音片段中的数据为有效数据或者无效数据。
(3)针对所述样本语音中每个语音片段，根据所述语音片段对应的基音频率和所述基音频率范围，确定所述语音片段的第二指示信息。
示例性的，若所述语音片段对应的基音频率在所述基音频率范围内，则确定所述第二指示信息指示所述语音片段的数据为有效数据；若所述语音片段对应的基音频率不在所述基音频率范围内，则确定所述第二指示信息指示所述语音片段中的数据为无效数据。
S703：针对所述样本语音中的每个语音片段，根据所述第一指示信息和所述第二指示信息，确定所述语音片段的语音质量。
假设每个语音片段的语音质量为第一质量或者第二质量时，可以采用如下方式确定每个语音片段的语音质量：
若所述第一指示信息指示所述语音片段中存在语音，且所述第二指示信息指示所述语音片段中的数据为有效数据，则确定所述语音片段的语音质量为第一质量；或者，
若所述第一指示信息指示所述语音片段中存在语音，且所述第二指示信息指示所述语音片段中的数据为无效数据，则确定所述语音片段的语音质量为第二质量；或者，
若所述第一指示信息指示所述语音片段中不存在语音，则确定所述语音片段的语音质量为第一质量。
本实施例中，通过根据第一指示信息和第二指示信息确定语音片段的语音质量，保证了确定出的语音质量的准确性。
在上述任意实施例的基础上，下面结合一个具体的示例，对声学模型的训练过程进行举例说明。
图8为本公开实施例提供的声学模型的训练过程的示意图。如图8所示，训练数据中包括样本文本及其对应的样本语音。样本语音中包括多个语音片段。根据样本语音可以确定语音片段的第一指示信息和第二指示信息，并根据上述第一指示信息和第二指示信息可以确定出语音片段的语音质量。对语音片段的语音质量进行平滑处理，得到平滑后的语音片段的语音质量。其中，确定语音片段的语音质量的具体过程可以参考图7所示实施例。
继续参见图8，根据样本语音可以得到样本语音对应的Mel特征。利用样本文本、样本语音对应的Mel特征、平滑后的语音片段的语音质量对待训练的声学模型进行训练，直至声学模型收敛，得到训练后的声学模型。其中，对声学模型的具体训练过程可以参见图3或者图5所示实施例。
作为一个示例，图9为本公开实施例提供的各语音片段的语音质量的确定过程示意图。图9中分别出了样本语音的声谱图、各语音片段的第一指示信息、各语音片段的语音质量、以及平滑后的各语音片段的语音质量。
参见图9，各语音片段的第一指示信息为离散0-1数据，0表示语音片段中不存在语音，1表示语音片段中存在语音。各语音片段的语音质量为0-1离散数据，0表示语音片段中存在语音且语音片段中的数据为无效数据。1表示语音片段中存在语音且语音片段中的数据为有效数据，或者，语音片段中不存在语音。平滑后的各语音片段的语音质量使得边界值的过渡更为平滑，能够避免语音合成中产生异常噪声。
上述各实施例描述了声学模型的训练过程。在上述任意实施例的基础上，本公开实施例还提供一种利用上述训练后的声学模型进行语音合成处理的方法。下面结合图10进行介绍。
图10为本公开实施例提供的一种语音处理方法的流程示意图。本实施例的方法可以由终端设备执行。如图10所示，本实施例的方法包括：
S1001：获取待处理的目标文本。
其中，目标文本为终端设备待进行语音播放的文本。
S1002：通过目标用户对应的声学模型对所述目标文本进行处理，得到所述目标用户对应的目标语音。
本实施例中，目标用户的声学模型可以是采用上述任意实施例中的训练方法训练得到的。目标语音为符合目标用户的声音特征的语音。
S1003：播放所述目标语音。
由于在声学模型的训练过程中，参考了语音片段的语音质量，即使在用户录制的样本语音的质量不高(例如存在哑音、颤音、含糊不清等)的情况下，也可以通过对样本语音中的语音质量较高的语音片段进行重点学习，避免受到语音质量较低的语音片段的影响，因此，保证了训练后的声学模型的质量。本实施例中利用上述声学模型进行语音合成，保证了语音合成质量较高。
图11为本公开实施例提供的一种声学模型的训练装置的结构示意图。该装置可以为软件和/或硬件的形式。如图11所示，本实施例提供的声学模型的训练装置1100，包括：获取模块1101、确定模块1102、处理模块1103和更新模块1104。
其中，获取模块1101，用于获取样本文本和所述样本文本对应的样本语音，所述样本语音中包括多个语音片段，所述样本语音为目标用户的语音；
确定模块1102，用于根据所述样本语音，确定所述样本语音中语音片段的语音质量；
处理模块1103，用于通过待处理的声学模型对所述样本文本进行语音合成处理得到预测语音；
更新模块1104，用于根据所述样本语音、所述预测语音、以及所述样本语音中语音片段的语音质量，更新所述声学模型的模型参数，所述声学模型为所述目标用户对应的声学模型。
一种可能的实现方式中，所述确定模块1102包括：
第一确定单元，用于根据所述样本语音，确定所述样本语音中语音片段的第一指示信息，每个语音片段的第一指示信息用于指示所述语音片段中存在语音或者不存在语音；
第二确定单元，用于根据所述样本语音，确定所述样本语音中语音片段的第二指示信息，每个语音片段的第二指示信息用于指示所述语音片段中的数据为有效数据或者无效数据；
第三确定单元，用于针对所述样本语音中的每个语音片段，根据所述第一指示信息和所述第二指示信息，确定所述语音片段的语音质量。
一种可能的实现方式中，所述第二确定单元包括：
第一确定子单元，用于根据所述样本语音，分别确定所述样本语音中每个语音片段对应的基音频率；
第二确定子单元，用于根据所述样本语音中语音片段对应的基音频率，确定基音频率范围；
第三确定子单元，用于针对所述样本语音中每个语音片段，根据所述语音片段对应的基音频率和所述基音频率范围，确定所述语音片段的第二指示信息。
一种可能的实现方式中，所述第二确定子单元具体用于：
按照基音频率从大到小的顺序，对所述样本语音的多个语音片段进行排序；
根据排序后的前M个语音片段对应的基音频率，确定四分位数间距，所述M为大于1的整数；
确定所述基音频率范围的最小值为所述四分位数间距与第一系数的乘积，以及确定所述基音频率范围的最大值为所述四分位数间距与第二系数的乘积，所述第二系数大于所述第一系数。
一种可能的实现方式中，所述第三确定子单元具体用于：
若所述语音片段对应的基音频率在所述基音频率范围内，则确定所述第二指示信息指示所述语音片段中的数据为有效数据；或者，
若所述语音片段对应的基音频率不在所述基音频率范围内，则确定所述第二指示信息指示所述语音片段中的数据为无效数据。
一种可能的实现方式中，每个语音片段的语音质量为第一质量或者第二质量，所述第一质量高于所述第二质量；所述第三确定单元具体用于：
若所述第一指示信息指示所述语音片段中存在语音，且所述第二指示信息指示所述语音片段中的数据为有效数据，则确定所述语音片段的语音质量为第一质量；或者，
若所述第一指示信息指示所述语音片段中存在语音，且所述第二指示信息指示所述语音片段中的数据为无效数据，则确定所述语音片段的语音质量为第二质量；或者，
若所述第一指示信息指示所述语音片段中不存在语音，则确定所述语音片段的语音质量为第一质量。
一种可能的实现方式中，所述更新模块1104包括：
第四确定单元，用于根据所述样本语音中语音片段的语音质量，在所述样本语音中确定出部分语音，所述部分语音对应的语音片段的语音质量高于或者等于预设质量；
更新单元，用于根据所述部分语音和所述预测语音，更新所述声学模型的模型参数。
一种可能的实现方式中，所述更新单元包括：
第四确定子单元，用于根据所述部分语音对应的第一声学特征和所述预测语音对应的第二声学特征，确定损失函数；
更新子单元，用于根据所述损失函数，更新所述声学模型的模型参数。
一种可能的实现方式中，所述确定模块1102还用于：对所述样本语音中语音片段的语音质量进行平滑处理，得到平滑后的语音片段的语音质量；
所述第四确定单元具体用于：根据所述平滑后的语音片段的语音质量，在所述样本语音中确定出所述部分语音。
一种可能的实现方式中，所述更新模块1104还用于：
判断模型参数更新后的声学模型是否收敛；
若是，则将模型参数更新后的声学模型确定为训练完成的声学模型；
若否，则重复对所述声学模型进行训练，直至模型参数更新后的声学模型收敛时，将模型参数更新后的声学模型确定为训练完成的声学模型。
本实施例提供的声学模型的训练装置，可用于执行上述任一方法实施例提供的声学模型的训练方法，其实现原理和技术效果类似，此处不作赘述。
图12为本公开实施例提供的一种语音处理装置的结构示意图。该装置可以为软件和/或硬件的形式。如图12所示，本实施例提供的语音处理装置1200，包括：获取模块1201、处理模块1202和播放模块1203。
其中，获取模块1201，用于获取待处理的目标文本；
处理模块1202，用于通过目标用户对应的声学模型对所述目标文本进行处理，得到所述目标用户对应的目标语音，所述声学模型为根据上述实施例提供的声学模型的训练装置训练得到的；
播放模块1203，用于播放所述目标语音。
本实施例提供的语音处理装置，可用于执行上述任一方法实施例提供的语音处理方法，其实现原理和技术效果类似，此处不作赘述。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
图13示出了可以用来实施本公开的实施例的示例电子设备1300的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图13所示，设备1300包括计算单元1301，其可以根据存储在只读存储器(ROM)1302中的计算机程序或者从存储单元1308加载到随机访问存储器(RAM)1303中的计算机程序，来执行各种适当的动作和处理。在RAM 1303中，还可存储设备1300操作所需的各种程序和数据。计算单元1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入/输出(I/O)接口1305也连接至总线1304。
设备1300中的多个部件连接至I/O接口1305，包括：输入单元1306，例如键盘、鼠标等；输出单元1307，例如各种类型的显示器、扬声器等；存储单元1308，例如磁盘、光盘等；以及通信单元1309，例如网卡、调制解调器、无线通信收发机等。通信单元1309允许设备1300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1301的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1301执行上文所描述的各个方法和处理，例如声学模型的训练方法或者语音处理方法。例如，在一些实施例中，声学模型的训练方法或者语音处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1308。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1302和/或通信单元1309而被载入和/或安装到设备1300上。当计算机程序加载到RAM 1303并由计算单元1301执行时，可以执行上文描述的声学模型的训练方法或者语音处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元1301可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行声学模型的训练方法或者语音处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (25)
1.一种声学模型的训练方法，包括：
获取样本文本和所述样本文本对应的样本语音，所述样本语音中包括多个语音片段，所述样本语音为目标用户的语音；
根据所述样本语音，确定所述样本语音中语音片段的语音质量；
通过待处理的声学模型对所述样本文本进行语音合成处理得到预测语音；
根据所述样本语音、所述预测语音、以及所述样本语音中语音片段的语音质量，更新所述声学模型的模型参数，所述声学模型为所述目标用户对应的声学模型。
2.根据权利要求1所述的方法，其中，所述根据所述样本语音，确定所述样本语音中语音片段的语音质量，包括：
根据所述样本语音，确定所述样本语音中语音片段的第一指示信息，每个语音片段的第一指示信息用于指示所述语音片段中存在语音或者不存在语音；
根据所述样本语音，确定所述样本语音中语音片段的第二指示信息，每个语音片段的第二指示信息用于指示所述语音片段中的数据为有效数据或者无效数据；
针对所述样本语音中的每个语音片段，根据所述第一指示信息和所述第二指示信息，确定所述语音片段的语音质量。
3.根据权利要求2所述的方法，其中，所述根据所述样本语音，确定所述样本语音中语音片段的第二指示信息，包括：
根据所述样本语音，确定所述样本语音中语音片段对应的基音频率；
根据所述样本语音中语音片段对应的基音频率，确定基音频率范围；
针对所述样本语音中每个语音片段，根据所述语音片段对应的基音频率和所述基音频率范围，确定所述语音片段的第二指示信息。
4.根据权利要求3所述的方法，其中，所述根据所述样本语音中语音片段对应的基音频率，确定基音频率范围，包括：
按照基音频率从大到小的顺序，对所述样本语音的多个语音片段进行排序；
根据排序后的前M个语音片段对应的基音频率，确定四分位数间距，所述M为大于1的整数；
确定所述基音频率范围的最小值为所述四分位数间距与第一系数的乘积，以及确定所述基音频率范围的最大值为所述四分位数间距与第二系数的乘积，所述第二系数大于所述第一系数。
5.根据权利要求3或4所述的方法，其中，所述根据所述语音片段对应的基音频率和所述基音频率范围，确定所述语音片段的第二指示信息，包括：
若所述语音片段对应的基音频率在所述基音频率范围内，则确定所述第二指示信息指示所述语音片段中的数据为有效数据；或者，
若所述语音片段对应的基音频率不在所述基音频率范围内，则确定所述第二指示信息指示所述语音片段中的数据为无效数据。
6.根据权利要求2至5任一项所述的方法，其中，每个语音片段的语音质量为第一质量或者第二质量，所述第一质量高于所述第二质量；所述根据所述第一指示信息和所述第二指示信息，确定所述语音片段的语音质量，包括：
若所述第一指示信息指示所述语音片段中存在语音，且所述第二指示信息指示所述语音片段中的数据为有效数据，则确定所述语音片段的语音质量为第一质量；或者，
若所述第一指示信息指示所述语音片段中存在语音，且所述第二指示信息指示所述语音片段中的数据为无效数据，则确定所述语音片段的语音质量为第二质量；或者，
若所述第一指示信息指示所述语音片段中不存在语音，则确定所述语音片段的语音质量为第一质量。
7.根据权利要求1至6任一项所述的方法，其中，所述根据所述样本语音、所述预测语音、以及所述样本语音中语音片段的语音质量，更新所述声学模型的模型参数，包括：
根据所述样本语音中语音片段的语音质量，在所述样本语音中确定出部分语音，所述部分语音对应的语音片段的语音质量高于或者等于预设质量；
根据所述部分语音和所述预测语音，更新所述声学模型的模型参数。
8.根据权利要求7所述的方法，其中，所述根据所述部分语音和所述预测语音，更新所述声学模型的模型参数，包括：
根据所述部分语音对应的第一声学特征和所述预测语音对应的第二声学特征，确定损失函数；
根据所述损失函数，更新所述声学模型的模型参数。
9.根据权利要求7或8所述的方法，所述根据所述样本语音，确定所述样本语音中语音片段的语音质量之后，还包括：
对所述样本语音中语音片段的语音质量进行平滑处理，得到平滑后的语音片段的语音质量；
根据所述样本语音中语音片段的语音质量，在所述样本语音中确定出部分语音，包括：
根据所述平滑后的语音片段的语音质量，在所述样本语音中确定出所述部分语音。
10.根据权利要求1至9任一项所述的方法，所述根据所述样本语音、所述预测语音、以及所述样本语音中语音片段的语音质量，更新所述声学模型的模型参数之后，还包括：
判断模型参数更新后的声学模型是否收敛；
若是，则将模型参数更新后的声学模型确定为训练完成的声学模型；
若否，则重复执行所述声学模型的训练方法，直至模型参数更新后的声学模型收敛时，将模型参数更新后的声学模型确定为训练完成的声学模型。
11.一种语音处理方法，包括：
获取待处理的目标文本；
通过目标用户对应的声学模型对所述目标文本进行处理，得到所述目标用户对应的目标语音，所述声学模型为根据权利要求1至10任一项所述的方法训练得到的；
播放所述目标语音。
12.一种声学模型的训练装置，包括：
获取模块，用于获取样本文本和所述样本文本对应的样本语音，所述样本语音中包括多个语音片段，所述样本语音为目标用户的语音；
确定模块，用于根据所述样本语音，确定所述样本语音中语音片段的语音质量；
处理模块，用于通过待处理的声学模型对所述样本文本进行语音合成处理得到预测语音；
更新模块，用于根据所述样本语音、所述预测语音、以及所述样本语音中语音片段的语音质量，更新所述声学模型的模型参数，所述声学模型为所述目标用户对应的声学模型。
13.根据权利要求12所述的装置，其中，所述确定模块包括：
第一确定单元，用于根据所述样本语音，确定所述样本语音中语音片段的第一指示信息，每个语音片段的第一指示信息用于指示所述语音片段中存在语音或者不存在语音；
第二确定单元，用于根据所述样本语音，确定所述样本语音中语音片段的第二指示信息，每个语音片段的第二指示信息用于指示所述语音片段中的数据为有效数据或者无效数据；
第三确定单元，用于针对所述样本语音中的每个语音片段，根据所述第一指示信息和所述第二指示信息，确定所述语音片段的语音质量。
14.根据权利要求13所述的装置，其中，所述第二确定单元包括：
第一确定子单元，用于根据所述样本语音，确定所述样本语音中语音片段对应的基音频率；
第二确定子单元，用于根据所述样本语音中语音片段对应的基音频率，确定基音频率范围；
第三确定子单元，用于针对所述样本语音中每个语音片段，根据所述语音片段对应的基音频率和所述基音频率范围，确定所述语音片段的第二指示信息。
15.根据权利要求14所述的装置，其中，所述第二确定子单元具体用于：
按照基音频率从大到小的顺序，对所述样本语音的多个语音片段进行排序；
根据排序后的前M个语音片段对应的基音频率，确定四分位数间距，所述M为大于1的整数；
确定所述基音频率范围的最小值为所述四分位数间距与第一系数的乘积，以及确定所述基音频率范围的最大值为所述四分位数间距与第二系数的乘积，所述第二系数大于所述第一系数。
16.根据权利要求14或15所述的装置，其中，所述第三确定子单元具体用于：
若所述语音片段对应的基音频率在所述基音频率范围内，则确定所述第二指示信息指示所述语音片段中的数据为有效数据；或者，
若所述语音片段对应的基音频率不在所述基音频率范围内，则确定所述第二指示信息指示所述语音片段中的数据为无效数据。
17.根据权利要求13至16任一项所述的装置，其中，每个语音片段的语音质量为第一质量或者第二质量，所述第一质量高于所述第二质量；所述第三确定单元具体用于：
若所述第一指示信息指示所述语音片段中存在语音，且所述第二指示信息指示所述语音片段中的数据为有效数据，则确定所述语音片段的语音质量为第一质量；或者，
若所述第一指示信息指示所述语音片段中存在语音，且所述第二指示信息指示所述语音片段中的数据为无效数据，则确定所述语音片段的语音质量为第二质量；或者，
若所述第一指示信息指示所述语音片段中不存在语音，则确定所述语音片段的语音质量为第一质量。
18.根据权利要求12至17任一项所述的装置，其中，所述更新模块包括：
第四确定单元，用于根据所述样本语音中语音片段的语音质量，在所述样本语音中确定出部分语音，所述部分语音对应的语音片段的语音质量高于或者等于预设质量；
更新单元，用于根据所述部分语音和所述预测语音，更新所述声学模型的模型参数。
19.根据权利要求18所述的装置，其中，所述更新单元包括：
第四确定子单元，用于根据所述部分语音对应的第一声学特征和所述预测语音对应的第二声学特征，确定损失函数；
更新子单元，用于根据所述损失函数，更新所述声学模型的模型参数。
20.根据权利要求18或19所述的装置，所述确定模块还用于：对所述样本语音中语音片段的语音质量进行平滑处理，得到平滑后的语音片段的语音质量；
所述第四确定单元具体用于：根据所述平滑后的语音片段的语音质量，在所述样本语音中确定出所述部分语音。
21.根据权利要求12至20任一项所述的装置，所述更新模块还用于：
判断模型参数更新后的声学模型是否收敛；
若是，则将模型参数更新后的声学模型确定为训练完成的声学模型；
若否，则重复对所述声学模型进行训练，直至模型参数更新后的声学模型收敛时，将模型参数更新后的声学模型确定为训练完成的声学模型。
22.一种语音处理装置，包括：
获取模块，用于获取待处理的目标文本；
处理模块，用于通过目标用户对应的声学模型对所述目标文本进行处理，得到所述目标用户对应的目标语音，所述声学模型为根据权利要求12至21任一项所述的装置训练得到的；
播放模块，用于播放所述目标语音。
23.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至10中任一项所述的方法，或者，执行权利要求11所述的方法。
24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至10中任一项所述的方法，或者，根据权利要求11所述的方法。
25.一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现权利要求1至10中任一项所述方法的步骤，或者，实现权利要求11中所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110946708.6A CN113658581B (zh) | 2021-08-18 | 2021-08-18 | 声学模型的训练、语音处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110946708.6A CN113658581B (zh) | 2021-08-18 | 2021-08-18 | 声学模型的训练、语音处理方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113658581A true CN113658581A (zh) | 2021-11-16 |
| CN113658581B CN113658581B (zh) | 2024-03-01 |
Family
ID=78480757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110946708.6A Active CN113658581B (zh) | 2021-08-18 | 2021-08-18 | 声学模型的训练、语音处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113658581B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117953855A (zh) * | 2024-03-26 | 2024-04-30 | 粤港澳大湾区数字经济研究院(福田) | 语音合成模型的训练方法、语音合成方法及设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107240395A (zh) * | 2017-06-16 | 2017-10-10 | 百度在线网络技术（北京）有限公司 | 一种声学模型训练方法和装置、计算机设备、存储介质 |
| US9865253B1 (en) * | 2013-09-03 | 2018-01-09 | VoiceCipher, Inc. | Synthetic speech discrimination systems and methods |
| CN109791774A (zh) * | 2017-06-23 | 2019-05-21 | 富士通株式会社 | 声音评价程序、声音评价方法以及声音评价装置 |
| CN110473525A (zh) * | 2019-09-16 | 2019-11-19 | 百度在线网络技术（北京）有限公司 | 获取语音训练样本的方法和装置 |
| CN112133277A (zh) * | 2020-11-20 | 2020-12-25 | 北京猿力未来科技有限公司 | 样本生成方法及装置 |
| CN112489637A (zh) * | 2020-11-03 | 2021-03-12 | 北京百度网讯科技有限公司 | 语音识别方法和装置 |
| CN112614478A (zh) * | 2020-11-24 | 2021-04-06 | 北京百度网讯科技有限公司 | 音频训练数据处理方法、装置、设备以及存储介质 |
| WO2021096040A1 (ko) * | 2019-11-15 | 2021-05-20 | 주식회사 셀바스에이아이 | 음성 트레이닝 데이터 선별 방법 및 이를 이용하는 장치 |
-
2021
- 2021-08-18 CN CN202110946708.6A patent/CN113658581B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9865253B1 (en) * | 2013-09-03 | 2018-01-09 | VoiceCipher, Inc. | Synthetic speech discrimination systems and methods |
| CN107240395A (zh) * | 2017-06-16 | 2017-10-10 | 百度在线网络技术（北京）有限公司 | 一种声学模型训练方法和装置、计算机设备、存储介质 |
| CN109791774A (zh) * | 2017-06-23 | 2019-05-21 | 富士通株式会社 | 声音评价程序、声音评价方法以及声音评价装置 |
| CN110473525A (zh) * | 2019-09-16 | 2019-11-19 | 百度在线网络技术（北京）有限公司 | 获取语音训练样本的方法和装置 |
| WO2021096040A1 (ko) * | 2019-11-15 | 2021-05-20 | 주식회사 셀바스에이아이 | 음성 트레이닝 데이터 선별 방법 및 이를 이용하는 장치 |
| CN112489637A (zh) * | 2020-11-03 | 2021-03-12 | 北京百度网讯科技有限公司 | 语音识别方法和装置 |
| CN112133277A (zh) * | 2020-11-20 | 2020-12-25 | 北京猿力未来科技有限公司 | 样本生成方法及装置 |
| CN112614478A (zh) * | 2020-11-24 | 2021-04-06 | 北京百度网讯科技有限公司 | 音频训练数据处理方法、装置、设备以及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 张昕然;查诚;宋鹏;陶华伟;赵力;: "听觉注意模型的语谱图语音情感识别方法", 信号处理, no. 09 * |
| 钟顺明;况鹏;庄豪爽;冯韩德;王剑莹;张涵;: "基于PNCC与基频的鲁棒电话语音性别检测方案", 华南师范大学学报(自然科学版), no. 06 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117953855A (zh) * | 2024-03-26 | 2024-04-30 | 粤港澳大湾区数字经济研究院(福田) | 语音合成模型的训练方法、语音合成方法及设备 |
| CN117953855B (zh) * | 2024-03-26 | 2024-06-18 | 粤港澳大湾区数字经济研究院(福田) | 语音合成模型的训练方法、语音合成方法及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113658581B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6393730B2 (ja) | 音声識別方法および装置 | |
| JP6099556B2 (ja) | 音声識別方法および装置 | |
| JP6306528B2 (ja) | 音響モデル学習支援装置、音響モデル学習支援方法 | |
| CN109545193B (zh) | 用于生成模型的方法和装置 | |
| CN107680584B (zh) | 用于切分音频的方法和装置 | |
| CN110688518A (zh) | 节奏点的确定方法、装置、设备及存储介质 | |
| US20120053937A1 (en) | Generalizing text content summary from speech content | |
| CN114596870A (zh) | 实时音频处理方法和装置、计算机存储介质、电子设备 | |
| CN113658581B (zh) | 声学模型的训练、语音处理方法、装置、设备及存储介质 | |
| CN113658586A (zh) | 语音识别模型的训练方法、语音交互方法及装置 | |
| US10650803B2 (en) | Mapping between speech signal and transcript | |
| CN113053362A (zh) | 语音识别的方法、装置、设备和计算机可读介质 | |
| CN115240696B (zh) | 一种语音识别方法及可读存储介质 | |
| CN114399992B (zh) | 语音指令响应方法、装置及存储介质 | |
| CN113838450B (zh) | 音频合成及相应的模型训练方法、装置、设备及存储介质 | |
| CN113689866A (zh) | 一种语音转换模型的训练方法、装置、电子设备及介质 | |
| CN113689844B (zh) | 语音合成模型的确定方法、装置、设备和存储介质 | |
| JP6867939B2 (ja) | 計算機、言語解析方法、及びプログラム | |
| CN112289298A (zh) | 合成语音的处理方法、装置、存储介质以及电子设备 | |
| CN111179966A (zh) | 一种语音分析的方法、装置、电子设备和存储介质 | |
| CN113763921B (zh) | 用于纠正文本的方法和装置 | |
| CN114203204B (zh) | 尾点检测方法、装置、设备和存储介质 | |
| CN113448533B (zh) | 提醒音频的生成方法、装置、电子设备和存储介质 | |
| CN113808594B (zh) | 编码节点处理方法、装置、计算机设备及存储介质 | |
| CN113689867B (zh) | 一种语音转换模型的训练方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |