CN111048109A - 声学特征的确定方法、装置、计算机设备及存储介质 - Google Patents

声学特征的确定方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111048109A
CN111048109A CN201911358968.0A CN201911358968A CN111048109A CN 111048109 A CN111048109 A CN 111048109A CN 201911358968 A CN201911358968 A CN 201911358968A CN 111048109 A CN111048109 A CN 111048109A
Authority
CN
China
Prior art keywords
fundamental frequency
information
voice data
frequency distribution
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911358968.0A
Other languages
English (en)
Inventor
孙洪文
肖纯智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Kugou Computer Technology Co Ltd
Original Assignee
Guangzhou Kugou Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kugou Computer Technology Co Ltd filed Critical Guangzhou Kugou Computer Technology Co Ltd
Priority to CN201911358968.0A priority Critical patent/CN111048109A/zh
Publication of CN111048109A publication Critical patent/CN111048109A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
    • G10L21/013—Adapting to target pitch
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
    • G10L21/013—Adapting to target pitch
    • G10L2021/0135—Voice conversion or morphing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种声学特征的确定方法、装置、计算机设备及存储介质，属于音色转换技术领域。该方法包括：提取第一语音数据的音素信息和基频信息，获取第一语音数据的第一基频分布信息，基于基频信息、第一基频分布信息及第二语音数据的第二基频分布信息，将基频信息映射至第二基频分布信息所在域，得到目标基频分布信息，将音素信息与目标基频分布信息输入目标声学模型，输出第二音色的声学特征。本申请将第一音色的基频信息映射到第二音色的基频分布所在域后，输入目标声学模型，使目标声学模型的输入更符合第二音色的分布，减小了第一音色的基频分布与第二音色的基频分布之间的差异，降低了合成异常的可能性，提高了声学特征的质量和稳定性。

Description

声学特征的确定方法、装置、计算机设备及存储介质
技术领域
本申请涉及音色转换技术领域，特别涉及一种声学特征的确定方法、装置、计算机设备及存储介质。
背景技术
随着深度学习的发展，音色转换领域有了新的进展。音色转换是对语音数据的音色进行转换，使得所得到的语音数据从原说话人的音色转换为目标说话人的音色。音色转换过程中，需要根据原说话人的语音数据中无关音色的内容信息，合成目标说话人的声学特征，并通过合成后的声学特征进行语音重建，以得到目标说话人的语音数据，此时，该处理得到的语音数据与处理前的语音数据具有相同的语音内容，但是音色不同，通过上述过程可以获知，声学特征的确定过程是音色转换技术的研究重点。
相关技术中，在进行声学特征的确定时，可以通过语音识别系统提取得到原说话人的语音数据中的音素信息和基频信息，将音素信息和基频信息作为无关音色的内容信息，直接输入声学模型，可以合成目标说话人的声学特征。
然而，由于原说话人的基频分布与目标说话人的基频分布可能差异过大，会导致合成异常，如将女声转换为男声时，女声音高，男声音低，合成的声学特征质量不好，稳定性不高，从而在后续经过语音重建所得到的语音数据会存在颤音。
发明内容
本申请实施例提供了一种声学特征的确定方法、装置、计算机设备及存储介质，能够解决相关技术中合成的声学特征质量不好，稳定性不高的问题。所述技术方案如下：
一方面，提供了一种声学特征的确定方法，所述方法包括：
提取第一语音数据的音素信息和基频信息，所述第一语音数据为第一音色的语音数据；
基于所述基频信息，获取所述第一语音数据的第一基频分布信息；
基于所述基频信息、所述第一语音数据的第一基频分布信息以及第二语音数据的第二基频分布信息，将所述基频信息映射至所述第二语音数据的第二基频分布信息所在域，得到所述第一语音数据的目标基频分布信息，所述第二语音数据为第二音色的语音数据；
将所述音素信息与所述第一语音数据的目标基频分布信息输入目标声学模型，输出所述第二音色的声学特征。
在一种可能实现方式中，所述基于所述基频信息，获取所述第一语音数据的第一基频分布信息，包括：
对所述基频信息进行均值方差归一化处理，得到所述第一语音数据的第一基频分布信息。
在一种可能实现方式中，所述对所述基频信息进行均值方差归一化处理，得到所述第一语音数据的第一基频分布信息，包括：
基于所述基频信息，确定所述第一语音数据在对数域的基频分布均值和基频分布方差，将所述基频分布均值和所述基频分布方差作为所述第一语音数据的第一基频分布信息。
在一种可能实现方式中，所述基于所述基频信息、所述第一语音数据的第一基频分布信息以及第二语音数据的第二基频分布信息，将所述基频信息映射至所述第二语音数据的第二基频分布信息所在域，得到所述第一语音数据的目标基频分布信息之前，所述方法还包括：
获取所述第二音色的第二语音数据；
基于所述第二音色的第二语音数据，确定所述第二语音数据的基频信息；
对所述第二语音数据的基频信息，进行均值方差归一化处理，得到所述第二语音数据的第二基频分布信息。
在一种可能实现方式中，所述基于所述基频信息、所述第一语音数据的第一基频分布信息以及第二语音数据的第二基频分布信息，将所述基频信息映射至所述第二语音数据的第二基频分布信息所在域，得到所述第一语音数据的目标基频分布信息，包括：
基于所述基频信息、所述第一语音数据的第一基频分布信息与所述第二语音数据的第二基频分布信息，利用下述公式计算所述第一语音数据的目标基频分布信息：
Figure BDA0002336678410000031
式中：log_f0为所述第一语音数据的目标基频分布信息，f0s为所述基频信息，μs为所述第一语音数据的基频分布均值，σs为所述第一语音数据的基频分布方差，μr为所述第二语音数据的基频分布均值，σr为所述第二语音数据的基频分布方差。
在一种可能实现方式中，所述将所述音素信息与所述第一语音数据的目标基频分布信息输入目标声学模型之前，所述方法还包括：
提取样本原语音数据中的音素信息和基频信息，以及样本目标语音数据的样本声学特征，所述样本原语音数据和所述样本目标语音数据具有相同的语音内容；
基于所述样本原语音数据中的音素信息、所述基频信息和所述样本目标语音数据的样本声学特征进行模型训练，得到所述目标声学模型。
在一种可能实现方式中，所述基于所述样本原语音数据中的音素信息、所述基频信息和所述样本目标语音数据的样本声学特征进行模型训练，得到所述目标声学模型，包括：
在一次迭代过程中，将样本原语音数据中的音素信息与基频信息，输入初始模型，得到本次迭代过程的声学特征训练结果；
基于本次迭代过程的声学特征训练结果与样本声学特征，对模型参数进行调整，直到训练满足目标条件，则将满足目标条件的迭代过程所对应的模型获取为目标声学模型。
一方面，提供了一种声学特征的确定装置，所述装置包括：
提取模块，用于提取第一语音数据的音素信息和基频信息，所述第一语音数据为第一音色的语音数据；
获取模块，用于基于所述基频信息，获取所述第一语音数据的第一基频分布信息；
映射模块，用于基于所述基频信息、所述第一语音数据的第一基频分布信息以及第二语音数据的第二基频分布信息，将所述基频信息映射至所述第二语音数据的第二基频分布信息所在域，得到所述第一语音数据的目标基频分布信息，所述第二语音数据为第二音色的语音数据；
输出模块，用于将所述音素信息与所述第一语音数据的目标基频分布信息输入目标声学模型，输出所述第二音色的声学特征。
在一种可能实现方式中，所述获取模块，用于：
对所述基频信息进行均值方差归一化处理，得到所述第一语音数据的第一基频分布信息。
在一种可能实现方式中，所述获取模块，用于：
基于所述基频信息，确定所述第一语音数据在对数域的基频分布均值和基频分布方差，将所述基频分布均值和所述基频分布方差作为所述第一语音数据的第一基频分布信息。
在一种可能实现方式中，所述获取模块，还用于：
获取所述第二音色的第二语音数据；
基于所述第二音色的第二语音数据，确定所述第二语音数据的基频信息；
对所述第二语音数据的基频信息，进行均值方差归一化处理，得到所述第二语音数据的第二基频分布信息。
在一种可能实现方式中，所述映射模块，用于：
基于所述基频信息、所述第一语音数据的第一基频分布信息与所述第二语音数据的第二基频分布信息，利用下述公式计算所述第一语音数据的目标基频分布信息：
Figure BDA0002336678410000041
式中：log_f0为所述第一语音数据的目标基频分布信息，f0s为所述基频信息，μs为所述第一语音数据的基频分布均值，σs为所述第一语音数据的基频分布方差，μr为所述第二语音数据的基频分布均值，σr为所述第二语音数据的基频分布方差。
在一种可能实现方式中，所述装置还包括训练模块，用于：
提取样本原语音数据中的音素信息和基频信息，以及样本目标语音数据的样本声学特征，所述样本原语音数据和所述样本目标语音数据具有相同的语音内容；
基于所述样本原语音数据中的音素信息、所述基频信息和所述样本目标语音数据的样本声学特征进行模型训练，得到所述目标声学模型。
在一种可能实现方式中，所述训练模块，用于：
在一次迭代过程中，将所述样本原语音数据中的音素信息与所述基频信息，输入初始模型，得到本次迭代过程的声学特征训练结果；
基于所述本次迭代过程的声学特征训练结果与所述样本声学特征，对模型参数进行调整，直到训练满足目标条件，则将满足目标条件的迭代过程所对应的模型获取为所述目标声学模型。
一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述的声学特征的确定方法所执行的操作。
一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述的声学特征的确定方法所执行的操作。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过提取第一语音数据的音素信息和基频信息，根据该基频信息确定第一语音数据的第一基频分布信息，根据基频信息、第一基频分布信息以及第二语音数据的第二基频分布信息，将基频信息映射至第二语音数据的第二基频分布信息所在域，得到第一语音数据的目标基频分布信息，将音素信息与目标基频分布信息输入目标声学模型，输出第二音色的声学特征。本申请将第一音色的基频信息映射到第二音色的基频分布所在域后，再输入目标声学模型，使得目标声学模型的输入更加符合第二音色的分布，减小了第一音色的基频分布与第二音色的基频分布之间的差异，降低了合成异常的可能性，提高了声学特征的质量和稳定性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种声学特征的确定方法的实施环境的示意图；
图2是本申请实施例提供的一种声学特征的确定方法的流程图；
图3是本申请实施例提供的一种声学特征的确定方法的流程图；
图4是本申请实施例提供的一种声学特征的确定装置的结构示意图；
图5是本申请实施例提供的一种终端的结构示意图；
图6是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
图1是本申请实施例提供的一种声学特征的确定方法的实施环境的示意图。参见图1，该实施环境包括：终端101、声音采集部件102和服务器103，终端101可以运行有具有语音处理功能的应用程序，如音色转换应用程序。终端101具有通信功能，可以接入互联网，终端101可以是手机、平板电脑、台式计算机、笔记本电脑等。声音采集部件102可以为内置麦克风、内置录音机等，声音采集部件102可以设置在终端101的内部。服务器103可以是上述应用程序的后台服务器，服务器103可以与终端101建立通信。
在本申请实施例中，声学特征的确定过程可以只由终端101执行。如声音采集部件102采集到第一音色的第一语音数据后，可以提供终端101所需的第一语音数据，终端101即可获取到第一语音数据，并采用本申请实施例提供的方法，得到音色转换后的第二音色的声学特征，再进行后续语音重建得到第二音色的目标语音数据。
或者，声学特征的确定过程还可以由终端101和服务器103共同执行。如终端101接收到音色转换需求之后，可以向服务器103发送音色转换请求，服务器103采用本申请实施例提供的方法，可以得到音色转换后的第二音色的声学特征。通过上述过程可以得知声音采集过程可以由终端101执行，确定第二音色的声学特征的过程可以由服务器103执行，进而语音重建得到第二音色的目标语音数据后，服务器103向终端101返回音色转换结果，该音色转换结果为第二音色的目标语音数据。
本申请实施例中以音色转换应用程序为例进行说明，用户操作终端启动音色转换应用程序，登录用户账号，则音色转换应用程序的界面则显示开启变声标签、本地录音标签及设置标签等。若用户想要进行变声，可以点击界面下方的开启变声标签，则界面跳转到音效变声界面，音效变声界面中显示开始录音标签，用户可以点击开始录音标签，同时界面上显示结束标签和正在录音标签，用户开始讲话，终端内置麦克风可以采集到用户声音。用户录音结束后点击结束标签，则界面下方弹出多种音色类型标签，如女声、男声、萝莉、大叔、惊悚等。用户可以点击想要转换的音色标签，如点击大叔标签，终端向服务器发送大叔音色转换请求，服务器调取大叔音色信息，并根据用户讲话内容和大叔音色信息合成新的语音，并向终端发送语音合成指令，终端则发出大叔音色的一段语音，该段语音的语音内容与用户讲话内容相同，音色不同。用户可以将喜欢的音色类型收藏或下载到本地，当用户账号处于离线状态，若用户想要进行变声，可以进行上述录音操作，再点击本地音色类型中的音色标签，则终端可以发出与用户点击的音色标签对应音色的一段语音。
图2是本申请实施例提供的一种声学特征的确定方法的流程图。上述终端和服务器可以均以计算机设备来指代，该实施例仅以计算机设备为执行主体进行说明，参见图2，该实施例包括：
在步骤201中，计算机设备提取第一语音数据的音素信息和基频信息。
在步骤202中，计算机设备基于基频信息，获取第一语音数据的第一基频分布信息。
在步骤203中，计算机设备基于基频信息、第一语音数据的第一基频分布信息以及第二语音数据的第二基频分布信息，将基频信息映射至第二语音数据的第二基频分布信息所在域，得到第一语音数据的目标基频分布信息。
在步骤204中，计算机设备将音素信息与第一语音数据的目标基频分布信息输入目标声学模型，输出第二音色的声学特征。
在一种可能实现方式中，基于基频信息，获取第一语音数据的第一基频分布信息，包括：
对基频信息进行均值方差归一化处理，得到第一语音数据的第一基频分布信息。
在一种可能实现方式中，对基频信息进行均值方差归一化处理，得到第一语音数据的第一基频分布信息，包括：
基于基频信息，确定第一语音数据在对数域的基频分布均值和基频分布方差，将基频分布均值和基频分布方差作为第一语音数据的第一基频分布信息。
在一种可能实现方式中，基于基频信息、第一语音数据的第一基频分布信息以及第二语音数据的第二基频分布信息，将基频信息映射至第二语音数据的第二基频分布信息所在域，得到第一语音数据的目标基频分布信息之前，方法还包括：
获取第二音色的第二语音数据；
基于第二音色的第二语音数据，确定第二语音数据的基频信息；
对第二语音数据的基频信息，进行均值方差归一化处理，得到第二语音数据的第二基频分布信息。
在一种可能实现方式中，基于基频信息、第一语音数据的第一基频分布信息以及第二语音数据的第二基频分布信息，将基频信息映射至第二语音数据的第二基频分布信息所在域，得到第一语音数据的目标基频分布信息，包括：
基于基频信息、第一语音数据的第一基频分布信息与第二语音数据的第二基频分布信息，利用下述公式计算第一语音数据的目标基频分布信息：
Figure BDA0002336678410000081
式中：log_f0为第一语音数据的目标基频分布信息，f0s为基频信息，μs为第一语音数据的基频分布均值，σs为第一语音数据的基频分布方差，μr为第二语音数据的基频分布均值，σr为第二语音数据的基频分布方差。
在一种可能实现方式中，将音素信息与第一语音数据的目标基频分布信息输入目标声学模型之前，方法还包括：
提取样本原语音数据中的音素信息和基频信息，以及样本目标语音数据的样本声学特征，样本原语音数据和样本目标语音数据具有相同的语音内容；
基于样本原语音数据中的音素信息、基频信息和样本目标语音数据的样本声学特征进行模型训练，得到目标声学模型。
通过提取第一语音数据的音素信息和基频信息，根据该基频信息确定第一语音数据的第一基频分布信息，根据基频信息、第一基频分布信息以及第二语音数据的第二基频分布信息，将基频信息映射至第二语音数据的第二基频分布信息所在域，得到第一语音数据的目标基频分布信息，将音素信息与目标基频分布信息输入目标声学模型，输出第二音色的声学特征。本申请利用均值方差归一化的方法，将第一音色的基频信息映射到第二音色的基频分布所在域，再输入目标声学模型，使得目标声学模型的输入更加符合第二音色的分布，增强了目标声学模型的输入内容，减小了第一音色的基频分布与第二音色的基频分布之间的差异，降低了合成异常的可能性，提高了声学特征的质量和稳定性。
图3是本申请实施例提供的一种声学特征的确定方法的流程图。上述终端和服务器可以均以计算机设备来指代，该实施例仅以计算机设备为执行主体进行说明，参见图3，该实施例包括：
在步骤301中，计算机设备提取第一语音数据的音素信息和基频信息，其中，第一语音数据为第一音色的语音数据。
在本申请实施例中，第一音色用于指代想要进行音色转换的原说话人的音色。音素信息为第一语音数据中语音内容的音素信息，例如光电容积脉搏波(Photoplethysmography，简称PPG)，PPG信息携带有人体生理特征信号，如心率、呼吸率、血氧饱和度等，易受运动的干扰，PPG信息会因为人的语言活动而引入干扰，本申请实施例中，PPG信息用于表示语音数据中的音素信息。音素为构成音节的最小语音单位或最小语音片段，如语音内容“早上好”，由三个音节组成，可以分成“z，a，o，s，h，a，n，g，h，a，o”八个音素。基频信息(f0信息)为第一语音数据中的多个基频的信息，基频是指语音脉冲的频率。在一种可能实现方式中，上述计算机设备提取音素信息的过程包括：计算机设备获取到第一音色的第一语音数据后，将第一语音数据输入语音识别系统，使用窗函数对第一语音数据分帧，若干帧语音数据对应一个音素，可以得到每个音素出现的概率，将每个音素出现的概率作为第一语音数据的音素信息。上述计算机设备提取基频信息的过程包括：在第一语音数据的波形中，统计重复波形出现的次数，可以检测到多个基音及其频率，将该多个基音及其频率作为第一语音数据的基频信息。其中，基音与语音数据的波形中重复波形出现的次数相关。
例如，计算机设备通过ASR(Auto Speech Recognition Tool，语音识别工具)系统，进行语音识别，可以提取到第一语音数据的音素信息。计算机设备可以使用过零率法检测得到基频信息，统计单位时间内第一语音数据的波形通过零点的次数，可以检测到多个基音及其频率，从而检测得到第一语音数据的基频信息。
在一种可能实现方式中，在上述提取音素信息和基频信息之前，计算机设备还可以对原始语音数据进行降噪处理，也即是，计算机设备上的语音处理应用程序可以具有降噪功能，对原始语音数据进行降噪，将降噪后得到的语音数据作为第一音色的第一语音数据，从而可以去除第一音色的原始语音数据中所包含的杂音。
在一种可能实现方式中，在上述提取音素信息和基频信息之前，计算机设备还可以对原始语音数据进行人声检测，以确定原始语音数据中人声开始的时间，并将原始语音数据从人声开始的时间进行截取，得到第一语音数据，从而可以避免录制时的一些操作失误所造成的数据冗余，降低后续提取过程的数据处理量，提高数据处理效率。
在一种可能实现方式中，第一音色的第一语音数据可以为原说话人现场发出的语音，如当原说话人想要进行音色转换时，由声音采集设备现场采集原说话人的语音数据，再进行后续音色转换操作。在另一种可能实现方式中，第一音色的第一语音数据可以为原说话人的历史语音数据，如当原说话人想要将声音采集设备历史记录中的某一段语音数据进行音色转换时，可以利用声音采集设备历史记录中的原说话人的语音数据，进行后续音色转换操作。
在步骤302中，计算机设备基于基频信息，获取第一语音数据的第一基频分布信息。
其中，第一基频分布信息为第一语音数据的基频信息的分布信息。
在一种可能实现方式中，计算机设备获取到第一语音数据的基频信息后，对基频信息进行均值方差归一化处理，可以得到第一语音数据的第一基频分布信息。
在一种可能实现方式中，第一基频分布信息可以为第一语音数据的基频信息在对数域的分布，计算机设备进行均值方差归一化处理得到第一基频分布信息的过程可以为：基于基频信息，确定第一语音数据在对数域的基频分布均值和基频分布方差，将基频分布均值和基频分布方差作为第一语音数据的第一基频分布信息。
具体地，第一语音数据的基频信息中可以包括多个基频，如一句话中可以提取出1000个基频。进行均值方差归一化处理前，需要统计基频信息中的多个基频，只对基频不为0的情况进行统计。
根据第一语音数据的多个基频、基频的数目和公式(1)，可以确定第一语音数据在对数域的基频分布均值。
Figure BDA0002336678410000111
式中，μs为第一语音数据的基频分布均值，N为基频的数目，f0i为第一语音数据的第i个基频，log(f0i)为第一语音数据的第i个基频的对数域表示。
根据第一语音数据的多个基频、基频的数目、第一语音数据的基频分布均值和公式(2)，可以确定第一语音数据在对数域的基频分布方差。
Figure BDA0002336678410000112
式中，σs为第一语音数据的基频分布方差，N为基频的数目，f0i为第一语音数据的第i个基频，μs为第一语音数据的基频分布均值，log(f0i)为第一语音数据的第i个基频的对数域表示。计算得到第一语音数据的基频分布均值和基频分布方差后，可以将该基频分布均值和该基频分布方差作为第一语音数据的第一基频分布信息。
在步骤303中，计算机设备基于第二音色的第二语音数据，确定第二语音数据的基频信息。
其中，第二音色用于指代音色转换中的目标说话人的音色，第二语音数据为第二音色的语音数据。
在一种可能实现方式中，第二语音数据可以为第二音色的历史语音数据，计算机设备可以获取第二音色的历史语音数据，在历史语音数据的波形中，统计重复波形出现的次数，可以检测到多个基音及其频率，将该多个基音及其频率作为历史语音数据的基频信息，也即是，第二语音数据的基频信息。在另一种可能实现方式中，第二语音数据也可以为第二音色的当前语音数据，如目标说话人现场说一段语音。
例如，计算机设备可以使用过零率法检测基频，通过统计单位时间内历史语音数据的波形通过零点的次数，检测得到历史语音数据的基频信息，将该基频信息作为第二语音数据的基频信息。
在一种可能实现方式中，计算机设备可以获取第二音色的一段历史语音数据，提取得到该历史语音数据中的基频信息，即第二语音数据的基频信息。在另一种可能实现方式中，计算机设备可以获取第二音色的多段历史语音数据，分别提取得到多段历史语音数据中的基频信息，将多段历史语音数据中的基频信息取平均得到的结果作为第二语音数据的基频信息。
在步骤304中，计算机设备基于第二语音数据的基频信息，获取第二语音数据的第二基频分布信息。
在一种可能实现方式中，计算机设备获取到第二语音数据的基频信息后，对第二语音数据的基频信息，进行均值方差归一化处理，可以得到第二语音数据的第二基频分布信息。
具体地，第二基频分布信息可以为第二语音数据的基频信息在对数域的分布，第二语音数据的基频信息中可以包括多个基频。根据第二语音数据的多个基频、基频的数目和公式(3)，可以确定第二语音数据在对数域的基频分布均值。
Figure BDA0002336678410000121
式中，μr为第二语音数据的基频分布均值，N为基频的数目，fi为第二语音数据的第i个基频，log(fi)为第二语音数据的第i个基频的对数域表示。
根据第二语音数据的多个基频、基频的数目、第二语音数据的基频分布均值和公式(4)，可以确定第二语音数据在对数域的基频分布方差。
Figure BDA0002336678410000122
式中，σr为第二语音数据的基频分布方差，N为基频的数目，fi为第二语音数据的第i个基频，μr为第二语音数据的基频分布均值。计算得到第二语音数据的基频分布均值和基频分布方差后，可以将该基频分布均值和该基频分布方差作为第二语音数据的第二基频分布信息。
在步骤302和步骤304中，计算机设备在分别获取到第一语音数据的基频信息以及第二语音数据的基频信息后，均以先计算得到基频的对数域表示后，再进行均值方差归一化处理为例进行说明，在一些可能实现方式中，还可以采取其他处理方式，例如，在另一种可能实现方式中，计算机设备也可以直接按照基频的频率值进行均值方差归一化处理；在另一种可能实现方式中，计算机设备也可以按照基频的midi(Musical InstrumentDigital Interface，乐器数字标准)值进行均值方差归一化处理。其中，midi值为表征语音参数的一段代码，语音参数可以为音高、动态、节奏等。
需要说明的是，步骤303和步骤304可以在本申请实施例的处理过程之前进行，也即是，计算机设备可以提前获取第二语音数据的历史语音数据，确定第二语音数据的基频信息，并确定第二语音数据的基频分布信息。当想要将音色转换为第二音色时，可以直接使用第二音色的第二语音数据的基频分布信息，来进行后续操作。或者，步骤303和步骤304也可以在本申请实施例的处理过程中进行，如上述步骤所示。本申请实施例对此不作限定。
在步骤305中，计算机设备基于基频信息、第一语音数据的第一基频分布信息以及第二语音数据的第二基频分布信息，将基频信息映射至第二语音数据的第二基频分布信息所在域，得到第一语音数据的目标基频分布信息。
其中，目标基频分布信息为第一语音数据的基频信息在第二语音数据的基频所在域上的分布信息。
在一种可能实现方式中，计算机设备计算得到第一语音数据的第一基频分布信息和第二语音数据的第二基频分布信息后，可以根据基频信息、第一基频分布信息与第二基频分布信息，将第一语音数据的基频信息映射至第二语音数据的第二基频分布信息所在域，得到第一语音数据的目标基频分布信息。
在一种可能实现方式中，将第一语音数据的基频信息映射至第二语音数据的第二基频分布信息所在域的过程可以为：基于第一语音数据的基频信息、第一语音数据的第一基频分布信息、第二语音数据的第二基频分布信息和公式(5)，可以计算得到第一语音数据的目标基频分布信息。
Figure BDA0002336678410000131
式中，log_f0为第一语音数据的目标基频分布信息，f0s为第一语音数据的基频信息，μs为第一语音数据的基频分布均值，σs为第一语音数据的基频分布方差，μr为第二语音数据的基频分布均值，σr为第二语音数据的基频分布方差。
在步骤306中，计算机设备将第一语音数据的音素信息与目标基频分布信息输入目标声学模型，输出第二音色的声学特征。
在一种可能实现方式中，计算机设备获取到目标声学模型后，将第一语音数据的音素信息与第一语音数据的目标基频分布信息作为目标声学模型的输入，根据模型准则(6)，可以得到第二音色的声学特征。
feats＝B[log_f0,ppg] (6)
式中，feats为第二音色的声学特征，B为目标声学模型，log_f0为第一语音数据的目标基频分布信息，ppg为第一语音数据的音素信息。
上述目标声学模型可以事先通过训练得到。在一种可能实现方式中，计算机设备可以获取到第一音色的历史语音数据，以及第二音色的历史语音数据，将第一音色的历史语音数据作为样本原语音数据，将第二音色的历史语音数据作为样本目标语音数据。通过语音识别系统，可以提取得到样本原语音数据中的音素信息和基频信息，通过声码器可以提取得到样本目标语音数据的声学特征，将该声学特征作为样本声学特征。基于样本原语音数据中的音素信息、基频信息和样本目标语音数据的声学特征进行模型训练，得到目标声学模型。
其中，样本原语音数据可以为任一音色的历史语音数据，如任一说话人的历史语音数据。样本目标语音数据为与第二音色相对应的历史语音数据，如目标说话人的历史语音数据，该样本原语音数据和该样本目标语音数据具有相同的语音内容。也即是，任一说话人和目标说话人说相同语音内容的两段语音。目标声学模型是模型训练后得到的声学模型，声学模型为语音合成模型。
在一种可能实现方式中，根据样本原语音数据中的音素信息、基频信息和样本目标语音数据的声学特征进行模型训练的过程可以为：在第一次迭代过程中，将样本原语音数据中的音素信息与基频信息，输入初始模型，得到第一次迭代过程的声学特征训练结果。基于第一次迭代过程的声学特征训练结果与样本声学特征，对初始模型中的模型参数进行调整。将第一次迭代调整后的模型参数作为第二次迭代的模型参数，再进行第二次迭代。重复多次上述迭代过程，在第N次过程中，以第N-1次迭代调整后的模型参数作为新的模型参数，进行模型训练，直到训练满足目标条件，则将满足目标条件的迭代过程所对应的模型获取为目标声学模型。其中，N为正整数，且N大于1。
具体地，在一次迭代过程中，根据样本原语音数据中的音素信息、基频信息、初始模型和模型训练准则(7)，可以得到初始模型生成的声学特征，将该声学特征作为声学特征训练结果。
featsg＝A[log(f0),ppg] (7)
式中，featsg为初始模型的声学特征训练结果，A为初始模型，f0为样本原语音数据中的基频信息，log(f0)为样本原语音数据中的基频信息的对数域表示，ppg为样本原语音数据中的音素信息，将样本原语音数据中的音素信息、基频信息的对数域表示作为初始模型的输入，输入初始模型，可以得到初始模型的声学特征训练结果。得到初始模型的声学特征训练结果后，根据声学特征训练结果、样本声学特征和模型训练准则(8)，可以得到初始模型的损失值。
loss＝L2[featsg,featsr] (8)
其中，loss为初始模型的损失值，featsg为初始模型的声学特征训练结果，featsr为样本声学特征。根据得到的损失值对初始模型中的模型参数进行调整，直到训练满足目标条件，则将满足目标条件的迭代过程所对应的模型获取为目标声学模型。
训练满足的目标条件可以为初始模型的训练迭代次数达到目标次数，技术人员可以预先设定训练迭代次数。或者，训练满足的目标条件可以为损失值满足目标阈值条件，如损失值小于0.00001。本申请实施例对此不做限定。
根据上述步骤301至步骤306，可以得到第二音色的声学特征，该声学特征可以为一段编码，将第二音色的声学特征通过语音合成系统进行语音重建，可以得到第二音色的目标语音数据。如通过声码器对第二音色的声学特征进行编译码，可以得到第二音色的目标语音数据。第二音色的目标语音数据与第一语音数据具有相同的语音内容，以及不同的音色。
本申请实施例提供的技术方案，通过提取第一语音数据的音素信息和基频信息，根据该基频信息确定第一语音数据的第一基频分布信息，根据基频信息、第一基频分布信息以及第二语音数据的第二基频分布信息，将基频信息映射至第二语音数据的第二基频分布信息所在域，得到第一语音数据的目标基频分布信息，将音素信息与目标基频分布信息输入目标声学模型，输出第二音色的声学特征。本申请利用均值方差归一化的方法，将第一音色的基频信息映射到第二音色的基频分布所在域，再输入目标声学模型，使得目标声学模型的输入更加符合第二音色的分布，增强了目标声学模型的输入内容，减小了第一音色的基频分布与第二音色的基频分布之间的差异，降低了合成异常的可能性，提高了声学特征的质量和稳定性。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
图4是本申请实施例提供的一种声学特征的确定装置的结构示意图，参见图4，该装置包括：
提取模块401，用于提取第一语音数据的音素信息和基频信息，第一语音数据为第一音色的语音数据；
获取模块402，用于基于基频信息，获取第一语音数据的第一基频分布信息；
映射模块403，用于基于基频信息、第一语音数据的第一基频分布信息以及第二语音数据的第二基频分布信息，将基频信息映射至第二语音数据的第二基频分布信息所在域，得到第一语音数据的目标基频分布信息，第二语音数据为第二音色的语音数据；
输出模块404，用于将音素信息与第一语音数据的目标基频分布信息输入目标声学模型，输出第二音色的声学特征。
在一种可能实现方式中，获取模块402，用于：
对基频信息进行均值方差归一化处理，得到第一语音数据的第一基频分布信息。
在一种可能实现方式中，获取模块402，用于：
基于基频信息，确定第一语音数据在对数域的基频分布均值和基频分布方差，将基频分布均值和基频分布方差作为第一语音数据的第一基频分布信息。
在一种可能实现方式中，获取模块402，还用于：
获取第二音色的第二语音数据；
基于第二音色的第二语音数据，确定第二语音数据的基频信息；
对第二语音数据的基频信息，进行均值方差归一化处理，得到第二语音数据的第二基频分布信息。
在一种可能实现方式中，映射模块403，用于：
基于基频信息、第一语音数据的第一基频分布信息与第二语音数据的第二基频分布信息，利用下述公式计算第一语音数据的目标基频分布信息：
Figure BDA0002336678410000161
式中：log_f0为第一语音数据的目标基频分布信息，f0s为基频信息，μs为第一语音数据的基频分布均值，σs为第一语音数据的基频分布方差，μr为第二语音数据的基频分布均值，σr为第二语音数据的基频分布方差。
在一种可能实现方式中，该装置还包括训练模块，用于：
提取样本原语音数据中的音素信息和基频信息，以及样本目标语音数据的样本声学特征，样本原语音数据和样本目标语音数据具有相同的语音内容；
基于样本原语音数据中的音素信息、基频信息和样本目标语音数据的样本声学特征进行模型训练，得到目标声学模型。
在一种可能实现方式中，训练模块，用于：
在一次迭代过程中，将样本原语音数据中的音素信息与基频信息，输入初始模型，得到本次迭代过程的声学特征训练结果；
基于本次迭代过程的声学特征训练结果与样本声学特征，对模型参数进行调整，直到训练满足目标条件，则将满足目标条件的迭代过程所对应的模型获取为目标声学模型。
通过提取第一语音数据的音素信息和基频信息，根据该基频信息确定第一语音数据的第一基频分布信息，根据基频信息、第一基频分布信息以及第二语音数据的第二基频分布信息，将基频信息映射至第二语音数据的第二基频分布信息所在域，得到第一语音数据的目标基频分布信息，将音素信息与目标基频分布信息输入目标声学模型，输出第二音色的声学特征。本申请利用均值方差归一化的方法，将第一音色的基频信息映射到第二音色的基频分布所在域，再输入目标声学模型，使得目标声学模型的输入更加符合第二音色的分布，增强了目标声学模型的输入内容，减小了第一音色的基频分布与第二音色的基频分布之间的差异，降低了合成异常的可能性，提高了声学特征的质量和稳定性。
需要说明的是：上述实施例提供的声学特征的确定装置在确定声学特征时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的声学特征的确定装置与声学特征的确定方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请实施例提供的计算机设备，可以提供为一种终端，图5是本申请实施例提供的一种终端的结构示意图。该终端500可以是：智能手机、平板电脑、MP3播放器(MovingPicture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端500包括有：处理器501和存储器502。
处理器501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的声学特征的确定方法。
在一些实施例中，终端500还可选包括有：外围设备接口503和至少一个外围设备。处理器501、存储器502和外围设备接口503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口503相连。具体地，外围设备包括：射频电路504、触摸显示屏505、摄像头506、音频电路507、定位组件508和电源509中的至少一种。
外围设备接口503可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器501和存储器502。在一些实施例中，处理器501、存储器502和外围设备接口503被集成在同一芯片或电路板上；在一些其他实施例中，处理器501、存储器502和外围设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路504用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路504包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路504还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏505用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时，显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时，显示屏505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏505可以为一个，设置终端500的前面板；在另一些实施例中，显示屏505可以为至少两个，分别设置在终端500的不同表面或呈折叠设计；在再一些实施例中，显示屏505可以是柔性显示屏，设置在终端500的弯曲表面上或折叠面上。甚至，显示屏505还可以设置成非矩形的不规则图形，也即异形屏。显示屏505可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件506用于采集图像或视频。可选地，摄像头组件506包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器501进行处理，或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路507还可以包括耳机插孔。
定位组件508用于定位终端500的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件508可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源509用于为终端500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于：加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。
加速度传感器511可以检测以终端500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号，控制触摸显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器512可以检测终端500的机体方向及转动角度，陀螺仪传感器512可以与加速度传感器511协同采集用户对终端500的3D动作。处理器501根据陀螺仪传感器512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器513可以设置在终端500的侧边框和/或触摸显示屏505的下层。当压力传感器513设置在终端500的侧边框时，可以检测用户对终端500的握持信号，由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在触摸显示屏505的下层时，由处理器501根据用户对触摸显示屏505的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器514用于采集用户的指纹，由处理器501根据指纹传感器514采集到的指纹识别用户的身份，或者，由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置终端500的正面、背面或侧面。当终端500上设置有物理按键或厂商Logo时，指纹传感器514可以与物理按键或厂商Logo集成在一起。
光学传感器515用于采集环境光强度。在一个实施例中，处理器501可以根据光学传感器515采集的环境光强度，控制触摸显示屏505的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏505的显示亮度；当环境光强度较低时，调低触摸显示屏505的显示亮度。在另一个实施例中，处理器501还可以根据光学传感器515采集的环境光强度，动态调整摄像头组件506的拍摄参数。
接近传感器516，也称距离传感器，通常设置在终端500的前面板。接近传感器516用于采集用户与终端500的正面之间的距离。在一个实施例中，当接近传感器516检测到用户与终端500的正面之间的距离逐渐变小时，由处理器501控制触摸显示屏505从亮屏状态切换为息屏状态；当接近传感器516检测到用户与终端500的正面之间的距离逐渐变大时，由处理器501控制触摸显示屏505从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图5中示出的结构并不构成对终端500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本申请实施例提供的计算机设备，可以提供为一种服务器，图6是本申请实施例提供的一种服务器的结构示意图，该服务器600可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(central processing units，CPU)601和一个或多个的存储器602，其中，所述一个或多个存储器602中存储有至少一条指令，所述至少一条指令由所述一个或多个处理器601加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器600还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器600还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端/服务器中的处理器执行以完成上述实施例中声学特征的确定方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种声学特征的确定方法，其特征在于，所述方法包括：
提取第一语音数据的音素信息和基频信息，所述第一语音数据为第一音色的语音数据；
基于所述基频信息，获取所述第一语音数据的第一基频分布信息；
基于所述基频信息、所述第一语音数据的第一基频分布信息以及第二语音数据的第二基频分布信息，将所述基频信息映射至所述第二语音数据的第二基频分布信息所在域，得到所述第一语音数据的目标基频分布信息，所述第二语音数据为第二音色的语音数据；
将所述音素信息与所述第一语音数据的目标基频分布信息输入目标声学模型，输出所述第二音色的声学特征。
2.根据权利要求1所述的方法，其特征在于，所述基于所述基频信息，获取所述第一语音数据的第一基频分布信息，包括：
对所述基频信息进行均值方差归一化处理，得到所述第一语音数据的第一基频分布信息。
3.根据权利要求2所述的方法，其特征在于，所述对所述基频信息进行均值方差归一化处理，得到所述第一语音数据的第一基频分布信息，包括：
基于所述基频信息，确定所述第一语音数据在对数域的基频分布均值和基频分布方差，将所述基频分布均值和所述基频分布方差作为所述第一语音数据的第一基频分布信息。
4.根据权利要求2所述的方法，其特征在于，所述基于所述基频信息、所述第一语音数据的第一基频分布信息以及第二语音数据的第二基频分布信息，将所述基频信息映射至所述第二语音数据的第二基频分布信息所在域，得到所述第一语音数据的目标基频分布信息之前，所述方法还包括：
获取所述第二音色的第二语音数据；
基于所述第二音色的第二语音数据，确定所述第二语音数据的基频信息；
对所述第二语音数据的基频信息，进行均值方差归一化处理，得到所述第二语音数据的第二基频分布信息。
5.根据权利要求1所述的方法，其特征在于，所述基于所述基频信息、所述第一语音数据的第一基频分布信息以及第二语音数据的第二基频分布信息，将所述基频信息映射至所述第二语音数据的第二基频分布信息所在域，得到所述第一语音数据的目标基频分布信息，包括：
基于所述基频信息、所述第一语音数据的第一基频分布信息与所述第二语音数据的第二基频分布信息，利用下述公式计算所述第一语音数据的目标基频分布信息：
Figure FDA0002336678400000021
式中：log_f0为所述第一语音数据的目标基频分布信息，f0s为所述基频信息，μs为所述第一语音数据的基频分布均值，σs为所述第一语音数据的基频分布方差，μr为所述第二语音数据的基频分布均值，σr为所述第二语音数据的基频分布方差。
6.根据权利要求1所述的方法，其特征在于，所述将所述音素信息与所述第一语音数据的目标基频分布信息输入目标声学模型之前，所述方法还包括：
提取样本原语音数据中的音素信息和基频信息，以及样本目标语音数据的样本声学特征，所述样本原语音数据和所述样本目标语音数据具有相同的语音内容；
基于所述样本原语音数据中的音素信息、所述基频信息和所述样本目标语音数据的样本声学特征进行模型训练，得到所述目标声学模型。
7.根据权利要求6所述的方法，其特征在于，所述基于所述样本原语音数据中的音素信息、所述基频信息和所述样本目标语音数据的声学特征进行模型训练，得到所述目标声学模型，包括：
在一次迭代过程中，将所述样本原语音数据中的音素信息与所述基频信息，输入初始模型，得到本次迭代过程的声学特征训练结果；
基于所述本次迭代过程的声学特征训练结果与所述样本声学特征，对模型参数进行调整，直到训练满足目标条件，则将满足目标条件的迭代过程所对应的模型获取为所述目标声学模型。
8.一种声学特征的确定装置，其特征在于，所述装置包括：
提取模块，用于提取第一语音数据的音素信息和基频信息，所述第一语音数据为第一音色的语音数据；
获取模块，用于基于所述基频信息，获取所述第一语音数据的第一基频分布信息；
映射模块，用于基于所述基频信息、所述第一语音数据的第一基频分布信息以及第二语音数据的第二基频分布信息，将所述基频信息映射至所述第二语音数据的第二基频分布信息所在域，得到所述第一语音数据的目标基频分布信息，所述第二语音数据为第二音色的语音数据；
输出模块，用于将所述音素信息与所述第一语音数据的目标基频分布信息输入目标声学模型，输出所述第二音色的声学特征。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至权利要求7任一项所述的声学特征的确定方法所执行的操作。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至权利要求7任一项所述的声学特征的确定方法所执行的操作。
CN201911358968.0A 2019-12-25 2019-12-25 声学特征的确定方法、装置、计算机设备及存储介质 Pending CN111048109A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911358968.0A CN111048109A (zh) 2019-12-25 2019-12-25 声学特征的确定方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911358968.0A CN111048109A (zh) 2019-12-25 2019-12-25 声学特征的确定方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN111048109A true CN111048109A (zh) 2020-04-21

Family

ID=70239703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911358968.0A Pending CN111048109A (zh) 2019-12-25 2019-12-25 声学特征的确定方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111048109A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639224A (zh) * 2020-05-28 2020-09-08 广东小天才科技有限公司 一种口语练习内容的获取方法及电子设备
CN112466275A (zh) * 2020-11-30 2021-03-09 北京百度网讯科技有限公司 语音转换及相应的模型训练方法、装置、设备及存储介质
CN113327577A (zh) * 2021-06-07 2021-08-31 北京百度网讯科技有限公司 语音合成方法、装置和电子设备
CN114299964A (zh) * 2021-12-23 2022-04-08 北京达佳互联信息技术有限公司 声线识别模型的训练方法和装置、声线识别方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504741A (zh) * 2016-09-18 2017-03-15 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于深度神经网络音素信息的语音转换方法
CN106656274A (zh) * 2016-11-30 2017-05-10 武汉船舶通信研究所 一种语音传输系统
CN107507619A (zh) * 2017-09-11 2017-12-22 厦门美图之家科技有限公司 语音转换方法、装置、电子设备及可读存储介质
CN107622652A (zh) * 2016-07-15 2018-01-23 青岛海尔智能技术研发有限公司 家电系统的语音控制方法与家电控制系统
CN107705802A (zh) * 2017-09-11 2018-02-16 厦门美图之家科技有限公司 语音转换方法、装置、电子设备及可读存储介质
CN110223705A (zh) * 2019-06-12 2019-09-10 腾讯科技（深圳）有限公司 语音转换方法、装置、设备及可读存储介质
CN110428843A (zh) * 2019-03-11 2019-11-08 杭州雄迈信息技术有限公司 一种语音性别识别深度学习方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622652A (zh) * 2016-07-15 2018-01-23 青岛海尔智能技术研发有限公司 家电系统的语音控制方法与家电控制系统
CN106504741A (zh) * 2016-09-18 2017-03-15 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于深度神经网络音素信息的语音转换方法
CN106656274A (zh) * 2016-11-30 2017-05-10 武汉船舶通信研究所 一种语音传输系统
CN107507619A (zh) * 2017-09-11 2017-12-22 厦门美图之家科技有限公司 语音转换方法、装置、电子设备及可读存储介质
CN107705802A (zh) * 2017-09-11 2018-02-16 厦门美图之家科技有限公司 语音转换方法、装置、电子设备及可读存储介质
CN110428843A (zh) * 2019-03-11 2019-11-08 杭州雄迈信息技术有限公司 一种语音性别识别深度学习方法
CN110223705A (zh) * 2019-06-12 2019-09-10 腾讯科技（深圳）有限公司 语音转换方法、装置、设备及可读存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639224A (zh) * 2020-05-28 2020-09-08 广东小天才科技有限公司 一种口语练习内容的获取方法及电子设备
CN112466275A (zh) * 2020-11-30 2021-03-09 北京百度网讯科技有限公司 语音转换及相应的模型训练方法、装置、设备及存储介质
CN112466275B (zh) * 2020-11-30 2023-09-22 北京百度网讯科技有限公司 语音转换及相应的模型训练方法、装置、设备及存储介质
CN113327577A (zh) * 2021-06-07 2021-08-31 北京百度网讯科技有限公司 语音合成方法、装置和电子设备
CN113327577B (zh) * 2021-06-07 2024-01-16 北京百度网讯科技有限公司 语音合成方法、装置和电子设备
CN114299964A (zh) * 2021-12-23 2022-04-08 北京达佳互联信息技术有限公司 声线识别模型的训练方法和装置、声线识别方法和装置

Similar Documents

Publication Publication Date Title
CN108615526B (zh) 语音信号中关键词的检测方法、装置、终端及存储介质
CN110933330A (zh) 视频配音方法、装置、计算机设备及计算机可读存储介质
CN110556127B (zh) 语音识别结果的检测方法、装置、设备及介质
CN109994127B (zh) 音频检测方法、装置、电子设备及存储介质
CN110688082B (zh) 确定音量的调节比例信息的方法、装置、设备及存储介质
CN110956971B (zh) 音频处理方法、装置、终端及存储介质
CN111048109A (zh) 声学特征的确定方法、装置、计算机设备及存储介质
CN110322760B (zh) 语音数据生成方法、装置、终端及存储介质
CN109147757B (zh) 歌声合成方法及装置
CN108335703B (zh) 确定音频数据的重音位置的方法和装置
CN110931048B (zh) 语音端点检测方法、装置、计算机设备及存储介质
CN109003621B (zh) 一种音频处理方法、装置及存储介质
CN109243479B (zh) 音频信号处理方法、装置、电子设备及存储介质
WO2022111168A1 (zh) 视频的分类方法和装置
CN111445901A (zh) 音频数据获取方法、装置、电子设备及存储介质
CN109192223B (zh) 音频对齐的方法和装置
CN110992927A (zh) 音频生成方法、装置、计算机可读存储介质及计算设备
CN111370025A (zh) 音频识别方法、装置及计算机存储介质
CN109065068B (zh) 音频处理方法、装置及存储介质
CN111276122A (zh) 音频生成方法及装置、存储介质
CN111223475B (zh) 语音数据生成方法、装置、电子设备及存储介质
CN108053832B (zh) 音频信号处理方法、装置、电子设备及存储介质
CN111081277B (zh) 音频测评的方法、装置、设备及存储介质
CN110600034B (zh) 歌声生成方法、装置、设备及存储介质
CN110867194B (zh) 音频的评分方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200421

RJ01 Rejection of invention patent application after publication