CN111145723A - 转换音频的方法、装置、设备以及存储介质 - Google Patents

转换音频的方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN111145723A
CN111145723A CN201911416854.7A CN201911416854A CN111145723A CN 111145723 A CN111145723 A CN 111145723A CN 201911416854 A CN201911416854 A CN 201911416854A CN 111145723 A CN111145723 A CN 111145723A
Authority
CN
China
Prior art keywords
audio
sub
pitch value
fused
value corresponding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911416854.7A
Other languages
English (en)
Other versions
CN111145723B (zh
Inventor
劳振锋
肖纯智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Kugou Computer Technology Co Ltd
Original Assignee
Guangzhou Kugou Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kugou Computer Technology Co Ltd filed Critical Guangzhou Kugou Computer Technology Co Ltd
Priority to CN201911416854.7A priority Critical patent/CN111145723B/zh
Publication of CN111145723A publication Critical patent/CN111145723A/zh
Application granted granted Critical
Publication of CN111145723B publication Critical patent/CN111145723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033Voice editing, e.g. manipulating the voice of the synthesiser
    • G10L13/0335Pitch control

Abstract

本申请公开了一种转换音频的方法、装置、设备以及存储介质,属于计算机技术领域。所述方法包括:获取第一字符单元对应的第一音频和第二字符单元对应的第二音频;在第一音频的末端部分确定第一子音频,在第二音频的前端部分确定第二子音频;基于第一子音频和第二子音频,生成融合音频;基于融合音频、第一音频除去第一子音频的部分、以及第二音频除去第一子音频的部分,生成第一字符单元和第二字符单元对应的转换音频。本申请将两个字符单元音频的相邻位置进行融合处理,可以使相邻处的音高值过度的自然一些,减小突变杂音,从而提高了转换音频的质量。

Description

转换音频的方法、装置、设备以及存储介质
技术领域
本申请涉及计算机技术领域,特别涉及一种转换音频的方法、装置、设备以及存储介质。
背景技术
随着语音技术的发展,越来越多的用户想要将文字消息转换为语音消息。或者,用户想要将用户声音的语音消息转换其他人声音的语音消息,其中,要先将为用户声音的语音消息转换为文字消息,再将文字消息转换为其他人声音的语音消息。上述过程都涉及到了将文字消息转换成语音消息的过程,即文字转换的过程。
在现有技术中,当服务器获取到终端发送的文字消息时,服务器根据文字消息中的文字,在服务器的文字语音库中查找每个文字对应的音频,并将每个文字对应的音频按照文字消息中每个文字的排列顺序进行排序,最终,服务器获取转换音频,将转换音频发送给终端。终端在接收到转换音频之后,可以向用户展示转换音频,在用户点击播放按钮之后,播放转换音频。
在实现本申请的过程中,发明人发现现有技术至少存在以下问题:
根据上述方法获得的音频,可能由于相邻两个文字相邻处的音高值相差较大,造成相邻两个文字之间存在突变杂音,影响转换音频的质量。
发明内容
为了解决相关技术中存在的技术问题,本实施例提供了一种转换音频的方法、装置、设备以及存储介质。所述转换音频的方法、装置、设备以及存储介质的技术方案如下:
第一方面,提供了一种转换音频的方法,所述方法包括:
获取第一字符单元对应的第一音频和第二字符单元对应的第二音频,其中,所述第一字符单元和所述第二字符单元是在待识别字符串中相邻的字符单元,且所述第一字符单元位于所述第二字符单元之前;
在所述第一音频的末端部分确定第一子音频,在所述第二音频的前端部分确定第二子音频;
基于所述第一子音频和所述第二子音频,生成融合音频,其中,所述融合音频中的音频帧的数目等于所述第一子音频中的音频帧的数目与所述第二子音频中的音频帧的数目之和;
基于所述融合音频、所述第一音频除去所述第一子音频的部分、以及所述第二音频除去所述第一子音频的部分,生成所述第一字符单元和所述第二字符单元对应的转换音频。
可选的,所述基于所述第一子音频和所述第二子音频,生成融合音频,包括:
基于所述第一子音频中的每个音频帧对应的音高值,确定所述融合音频中的每个音频帧对应的第一参考音高值,基于所述第二子音频中的每个音频帧对应的音高值,确定所述融合音频中的每个音频帧对应的第二参考音高值;
根据所述融合音频中的每个音频帧对应的第一参考音高值和所述第二参考音高值,确定所述融合音频中的每个音频帧对应的音高值;
基于所述第一子音频、所述第二子音频以及所述融合音频中的每个音频帧对应的音高值,生成所述融合音频。
可选的,所述基于所述第一子音频中的每个音频帧对应的音高值,确定所述融合音频中的每个音频帧对应的第一参考音高值,基于所述第二子音频中的每个音频帧对应的音高值,确定所述融合音频中的每个音频帧对应的第二参考音高值,包括:
对于所述融合音频上的第i个音频帧,如果[(i-1)*m/(m+n)]+1大于m,则基于所述第一子音频中的第m个音频帧对应的音高值,确定所述融合音频上的第i个音频帧对应的第一参考音高值,如果[(i-1)*m/(m+n)]+1小于或者等于m,则基于所述第一子音频中的第[(i-1)*m/(m+n)]+1个音频帧对应的音高值,确定所述融合音频上的第i个音频帧对应的第一参考音高值,进而确定所述融合音频中的每个音频帧对应的第一参考音高值,其中,[(i-1)*m/(m+n)]为对(i-1)*m/(m+n)进行取整;
对于所述融合音频上的第j个音频帧,如果[(j-1)*n/(m+n)]+1大于n,则基于所述第二子音频中的第n个音频帧对应的音高值,确定所述融合音频上的第j个音频帧对应的第二参考音高值,如果[(j-1)*n/(m+n)]+1小于或者等于n,则基于所述第二子音频中的第[(j-1)*n/(m+n)]+1个音频帧对应的音高值,确定所述融合音频上的第j个音频帧对应的第二参考音高值,进而确定所述融合音频中的每个音频帧对应的第二参考音高值,其中,m为所述第一子音频中的音频帧的数目,n为所述第二子音频中的音频帧的数目,[(j-1)*n/(m+n)]为对(j-1)*n/(m+n)进行取整。
可选的,所述基于所述第一子音频中的每个音频帧对应的音高值,确定所述融合音频中的每个音频帧对应的第一参考音高值,基于所述第二子音频中的每个音频帧对应的音高值,确定所述融合音频中的每个音频帧对应的第二参考音高值,包括:
对于所述融合音频上的第i个音频帧,如果[(i-1)*m/(m+n)]+1大于或者等于m,则基于所述第一子音频中的第m个音频帧对应的音高值,确定所述融合音频上的第i个音频帧对应的第一参考音高值,如果[(i-1)*m/(m+n)]+1小于m,则根据公式C=(1-((i-1)*m/(m+n)-[(i-1)*m/(m+n)]))*A+((i-1)*m/(m+n)-[(i-1)*m/(m+n)])*B,得到所述融合音频中的第i个音频帧对应的第一参考音高值,进而确定所述融合音频中的每个音频帧对应的第一参考音高值,其中,A表示为所述第一子音频中的第[(i-1)*m/(m+n)]+1个音频帧对应的音高值,B表示为所述第一子音频中的第[(i-1)*m/(m+n)]+2个音频帧对应的音高值,C表示为所述融合音频中的第i个音频帧对应的第一参考音高值,m为所述第一子音频中的音频帧的数目,n为所述第二子音频中的音频帧的数目,[(i-1)*m/(m+n)]为对(i-1)*m/(m+n)进行取整;
对于所述融合音频上的第j个音频帧,如果[(j-1)*n/(m+n)]+1大于或者等于n,则基于所述第二子音频中的第n个音频帧对应的音高值,确定所述融合音频上的第j个音频帧对应的第二参考音高值,如果[(j-1)*n/(m+n)]+1小于n,则根据公式D=(1-((j-1)*n/(m+n)-[(j-1)*n/(m+n)]))*E+((j-1)*n/(m+n)-[(j-1)*n/(m+n)])*F,得到所述融合音频中的第j个音频帧对应的第二参考音高值,进而确定所述融合音频中的每个音频帧对应的第二参考音高值,其中,E表示为所述第二子音频中的第[(j-1)*n/(m+n)]+1个音频帧对应的音高值,F表示为所述第二子音频中的第[(j-1)*n/(m+n)]+2个音频帧对应的音高值,D表示为所述融合音频中的第j个音频帧对应的第二参考音高值,[(j-1)*n/(m+n)]为对(j-1)*n/(m+n)进行取整。
可选的,所述根据所述融合音频中的每个音频帧对应的第一参考音高值和所述第二参考音高值,确定所述融合音频中的每个音频帧对应的音高值,包括:
根据公式y(x)=(1-(x/(m+n)))*c1(x)+(x/(m+n))*c2(x),确定所述融合音频中的第x个音频帧对应的音高值,进而确定所述融合音频中的每个音频帧对应的音高值,其中,y(x)表示为所述融合音频中的第x个音频帧对应的音高值,c1(x)表示为所述融合音频中的第x个音频帧对应的第一参考音高值,c2(x)表示为所述融合音频中的第x个音频帧对应的第二参考音高值。
可选的,所述基于所述第一子音频、所述第二子音频以及所述融合音频中的每个音频帧对应的音高值,生成所述融合音频,包括:
基于所述第一子音频的频谱包络、非周期特征和所述第二子音频的频谱包络、非周期特征以及所述融合音频中的每个音频帧的音高值,生成所述融合音频。
第二方面,提供了一种转换音频的装置,所述装置,被配置为:
获取模块,被配置为获取第一字符单元对应的第一音频和第二字符单元对应的第二音频,其中,所述第一字符单元和所述第二字符单元是在待识别字符串中相邻的字符单元,且所述第一字符单元位于所述第二字符单元之前;
确定模块,被配置为在所述第一音频的末端部分确定第一子音频,在所述第二音频的前端部分确定第二子音频;
第一生成模块,被配置为基于所述第一子音频和所述第二子音频,生成融合音频,其中,所述融合音频中的音频帧的数目等于所述第一子音频中的音频帧的数目与所述第二子音频中的音频帧的数目之和;
第二生成模块,被配置为基于所述融合音频、所述第一音频除去所述第一子音频的部分、以及所述第二音频除去所述第一子音频的部分,生成所述第一字符单元和所述第二字符单元对应的转换音频。
可选的,所述第一生成模块,被配置为:
基于所述第一子音频中的每个音频帧对应的音高值,确定所述融合音频中的每个音频帧对应的第一参考音高值,基于所述第二子音频中的每个音频帧对应的音高值,确定所述融合音频中的每个音频帧对应的第二参考音高值;
根据所述融合音频中的每个音频帧对应的第一参考音高值和所述第二参考音高值,确定所述融合音频中的每个音频帧对应的音高值;
基于所述第一子音频、所述第二子音频以及所述融合音频中的每个音频帧对应的音高值,生成所述融合音频。
可选的,所述第一生成模块,被配置为:
对于所述融合音频上的第i个音频帧,如果[(i-1)*m/(m+n)]+1大于m,则基于所述第一子音频中的第m个音频帧对应的音高值,确定所述融合音频上的第i个音频帧对应的第一参考音高值,如果[(i-1)*m/(m+n)]+1小于或者等于m,则基于所述第一子音频中的第[(i-1)*m/(m+n)]+1个音频帧对应的音高值,确定所述融合音频上的第i个音频帧对应的第一参考音高值,进而确定所述融合音频中的每个音频帧对应的第一参考音高值,其中,[(i-1)*m/(m+n)]为对(i-1)*m/(m+n)进行取整;
对于所述融合音频上的第j个音频帧,如果[(j-1)*n/(m+n)]+1大于n,则基于所述第二子音频中的第n个音频帧对应的音高值,确定所述融合音频上的第j个音频帧对应的第二参考音高值,如果[(j-1)*n/(m+n)]+1小于或者等于n,则基于所述第二子音频中的第[(j-1)*n/(m+n)]+1个音频帧对应的音高值,确定所述融合音频上的第j个音频帧对应的第二参考音高值,进而确定所述融合音频中的每个音频帧对应的第二参考音高值,其中,m为所述第一子音频中的音频帧的数目,n为所述第二子音频中的音频帧的数目,[(j-1)*n/(m+n)]为对(j-1)*n/(m+n)进行取整。
可选的,所述第一生成模块,被配置为:
对于所述融合音频上的第i个音频帧,如果[(i-1)*m/(m+n)]+1大于或者等于m,则基于所述第一子音频中的第m个音频帧对应的音高值,确定所述融合音频上的第i个音频帧对应的第一参考音高值,如果[(i-1)*m/(m+n)]+1小于m,则根据公式C=(1-((i-1)*m/(m+n)-[(i-1)*m/(m+n)]))*A+((i-1)*m/(m+n)-[(i-1)*m/(m+n)])*B,得到所述融合音频中的第i个音频帧对应的第一参考音高值,进而确定所述融合音频中的每个音频帧对应的第一参考音高值,其中,A表示为所述第一子音频中的第[(i-1)*m/(m+n)]+1个音频帧对应的音高值,B表示为所述第一子音频中的第[(i-1)*m/(m+n)]+2个音频帧对应的音高值,C表示为所述融合音频中的第i个音频帧对应的第一参考音高值,m为所述第一子音频中的音频帧的数目,n为所述第二子音频中的音频帧的数目,[(i-1)*m/(m+n)]为对(i-1)*m/(m+n)进行取整;
对于所述融合音频上的第j个音频帧,如果[(j-1)*n/(m+n)]+1大于或者等于n,则基于所述第二子音频中的第n个音频帧对应的音高值,确定所述融合音频上的第j个音频帧对应的第二参考音高值,如果[(j-1)*n/(m+n)]+1小于n,则根据公式D=(1-((j-1)*n/(m+n)-[(j-1)*n/(m+n)]))*E+((j-1)*n/(m+n)-[(j-1)*n/(m+n)])*F,得到所述融合音频中的第j个音频帧对应的第二参考音高值,进而确定所述融合音频中的每个音频帧对应的第二参考音高值,其中,E表示为所述第二子音频中的第[(j-1)*n/(m+n)]+1个音频帧对应的音高值,F表示为所述第二子音频中的第[(j-1)*n/(m+n)]+2个音频帧对应的音高值,D表示为所述融合音频中的第j个音频帧对应的第二参考音高值,[(j-1)*n/(m+n)]为对(j-1)*n/(m+n)进行取整。
可选的,所述第一生成模块,被配置为:
根据公式y(x)=(1-(x/(m+n)))*c1(x)+(x/(m+n))*c2(x),确定所述融合音频中的第x个音频帧对应的音高值,进而确定所述融合音频中的每个音频帧对应的音高值,其中,y(x)表示为所述融合音频中的第x个音频帧对应的音高值,c1(x)表示为所述融合音频中的第x个音频帧对应的第一参考音高值,c2(x)表示为所述融合音频中的第x个音频帧对应的第二参考音高值。
可选的,所述第一生成模块,被配置为:
基于所述第一子音频的频谱包络、非周期特征和所述第二子音频的频谱包络、非周期特征以及所述融合音频中的每个音频帧的音高值,生成所述融合音频。
第三方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如第一方面所述的转换音频的方法所执行的操作。
第四方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如第一方面所述的转换音频的方法所执行的操作。
本申请实施例提供的技术方案带来的有益效果是:
通过在第一字符单元对应的第一音频的末端部分确定第一子音频,在第二字符单元对应的第一音频的前端部分确定第二子音频,并根据第一子音频和第二子音频,生成融合音频。然后,根据融合音频、第一音频除去第一子音频的部分、以及第二音频除去第一子音频的部分,从而生成第一字符单元和第二字符单元对应的转换音频,在该转换音频中,由于将两个字符单元音频的相邻位置进行融合处理,可以使音高值过度的自然一些,减小突变杂音,从而可以提高了转换音频的质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图;
图2是本申请实施例提供的一种转换音频的方法流程图;
图3是本申请实施例提供的一种转换音频的示意图;
图4是本申请实施例提供的一种转换音频的示意图;
图5是本申请实施例提供的一种转换音频的示意图;
图6是本申请实施例提供的一种转换音频的装置结构示意图;
图7是本申请实施例提供的一种终端结构示意图;
图8是本申请实施例提供的一种服务器结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本实施例中提供的转换音频的方法可以应用在终端中,也可以在服务器中执行。该终端可以是手机、平板电脑、笔记本电脑等移动终端,也可以是台式计算机等固定终端。该服务器可以是一个单独的服务器也可以是一个服务器组,如果是单独的服务器,该服务器可以负责下述方案中的所有处理,如果是服务器组,服务器组中的不同服务器分别可以负责下述方案中的不同处理,具体的处理分配情况可以由技术人员根据实际需求任意设置,此处不再赘述。
当本实施例在终端上执行时,当用户在终端上输入待识别的文字时,终端确定待识别的文字中的每一个字符,根据这些文字在文字语音库中查找这些文字分别对应的音频,并在获取到这些文字分别对应的音频之后,并确定出相邻的文字之间的融合音频,进而生成待识别文字对应的转换音频。需要说明的是,终端可以预先安装文字语音库。
当本实施例在服务器上执行时,如图1所示,当用户在终端上输入待识别的文字时,终端将待识别的文字发送给服务器。服务器根据这些文字在文字语音库中查找这些文字分别对应的音频,并在获取到这些文字分别对应的音频之后,并确定出相邻的文字之间的融合音频,进而生成待识别文字对应的转换音频,并将转换音频发送给终端。
本申请实施例提供的方法,可以应用在音频转换平台,如音频转换应用程序、音频转换网站等,具体的用于将用户需要识别的文字,转换成音频,进而用户可以通过播放音频来读取到文字中的信息。
图2是本申请实施例提供的一种转换音频的方法的流程图。参见图2,以在服务器中执行为例,本实施例包括:
201、服务器获取第一字符单元对应的第一音频和所述第二字符单元对应的第二音频。
其中,字符单元可以是汉字,也可以是字母,更可以是其他国家的文字,更可以是词语,此处不做限定。待识别字符串可以是需要转换成音频的字符串,待识别字符串有至少两个字符单元组成。第一字符单元和第二字符单元是在待识别字符串中任意相邻的两个字符单元,且第一字符单元位于第二字符单元之前。
在实施中,当用户在终端上输入待识别字符串,终端获取到待识别字符串,并向服务器发送携带有待识别字符串的音频转换请求。在服务器接收到终端发送的音频转换请求之后,服务器获得待识别的字符串,并根据待识别字符串中的每一个字符单元,在文字语音库中查找每个字符单元对应的音频,确定出每个字符单元对应的音频。在服务器中确定出每个字符单元对应的音频后,确定出在待识别字符串中相邻的两个字符单元分别对应的音频,也就确定出第一字符单元对应的第一音频和第二字符单元对应的第二音频。如,服务器获得待识别的字符串“人类命运共同体”,并识别在该字符串中的字符单元分别为“人”、“类”、“命”、“运”、“共”、“同”和“体”,在文字语音库中查找这些字符单元分别对应的音频。
需要说明的是,第一字符单元和第二字符单元可以是在待识别字符串中通过两两划分出的两个相邻的字符单元,也可以是在待识别字符串中,从第一个字符开始依次向后拼接的两个相邻的两个字符单元。
可选的,在服务器获得待识别的字符串时,服务器识别待识别的字符串是否存在词语,若在该字符串中存在至少一个词语,可以在文字语音库中查找至少一个词语对应的音频和其他字符单元对应的音频,其中一个词语可以认为成一个字符单元。如,服务器获得待识别的字符串“人类命运共同体”,并识别在该字符串中的词语分别为“人类”、“命运”和“共同体”,在文字语音库中查找“人类”、“命运”和“共同体”分别对应的音频。
202、服务器在第一音频的末端部分确定第一子音频,在第二音频的前端部分确定第二子音频。
在一种实现方式中,在服务器分别确定出第一字符单元对应的第一音频和第二字符单元对应的第二音频后,服务器根据第一音频的音频数据和第二音频的音频数据,分别确定出第一音频的时长和第二音频的时长。服务器根据第一音频的时长和第二音频的时长,确定出第一子音频的时长和第二子音频的时长。服务器根据第一子音频的时长和第二子音频的时长,在第一音频的末端部分确定第一子音频,在第二音频的前端部分确定第二子音频。
例如,服务器确定出第一音频的时长为8秒,第二音频的时长为6秒,若服务器需要将第一音频的一半时长作为第一子音频的时长,将第二音频的一半时长作为第二子音频的时长,此时,服务器可以确定出第一子音频的时长为4秒,第二子音频的时长为3秒。服务器将第一音频后4秒对应的音频作为第一子音频,将第二子音频的后3秒作为第二子音频。
需要说明的是,当字符串中的字符单元同时拼接时,需要将小于第一音频的一半时长作为第一子音频的时长,将小于第二音频的一半时长作为第二子音频的时长。当字符串中的字符单元依次拼接时,此时,第一子音频的时长并不需要小于第一音频的一半时长,第二子音频的时长并不需要小于第二音频的一半时长。例如,如果要获得“1234”的转换音频,先将“1”对应的音频与“2”对应的音频进行拼接,再将“12”对应的音频与“3”对应的音频进行拼接。
在另一种实现方式中,在服务器分别确定出第一字符单元对应的第一音频和第二字符单元对应的第二音频后,服务器根据第一音频的音频数据和第二音频的音频数据,分别确定出第一音频中的音频帧的数目和第二音频中的音频帧的数目。服务器根据第一音频中的音频帧的数目和第二音频中的音频帧的数目,确定出第一子音频中的音频帧的数目和第二子音频中的音频帧的数目。服务器根据第一子音频中的音频帧的数目和第二子音频中的音频帧的数目,在第一音频的末端部分确定第一子音频,在第二音频的前端部分确定第二子音频。
例如,服务器确定出第一音频中的音频帧的数目为8,第二音频中的音频帧的数目为6。若服务器需要将第一音频中的后一半音频帧作为第一子音频的音频帧,将第二音频中的前一半音频帧作为第二子音频的音频帧,此时,服务器将第一音频中的后4帧作为第一子音频,将第二子音频的前3帧作为第二子音频。
需要说明的是,服务器也可以将第一音频中的后第一数量的音频帧作为第一子音频的音频帧,将第二音频中的前第二数量的音频帧作为第二子音频的音频帧,第一数量小于第一音频中的音频帧的数目的一半,第二数量小于第二音频中的音频帧的数目的一半。
203、基于第一子音频和第二子音频,服务器生成融合音频。
其中,融合音频是融合有第一子音频和第二子音频中的音高值的特点,并可以代替第一子音频和第二子音频的音频,融合音频中的音频帧的数目等于第一子音频中的音频帧的数目与第二子音频中的音频帧的数目之和,或者,融合音频的时长等于第一子音频的时长与第二子音频的时长之和。
在实施中,在服务器确定出第一子音频和第二子音频之后,将第一子音频中的音频帧的数目与第二子音频中的音频帧的数目相加,确定融合音频中的音频帧的数目,并根据第一子音频和第二子音频,生成融合音频。或者,将第一子音频中的时长与第二子音频中的时长相加,确定融合音频的时长,根据第一子音频和第二子音频,生成融合音频。
可选的,基于第一子音频的每个音频帧对应的音高值,确定融合音频中的每个音频帧对应的第一参考音高值。基于第二子音频的每个音频帧对应的音高值,确定融合音频中的每个音频帧对应的第二参考音高值。根据融合音频中的每个音频帧对应的第一参考音高值和第二参考音高值,确定融合音频中的每个音频帧的音高值。基于第一子音频、第二子音频以及融合音频中的每个音频帧的音高值,生成融合音频。
其中,在整个音频中,基音是每个音频帧中最低频率发出的声音,而基音的频率可以称为基频,决定每个音频帧的音高,因此,此处音高值可以指的是每一音频帧的基频。
在实施中,服务器根据第一子音频中的音频数据,计算出第一子音频的每个音频帧对应的音高值,并根据第一子音频的每个音频帧对应的音高值,确定出融合音频中的每个音频帧对应的第一参考音高值。服务器根据第二子音频中的音频数据,计算出第二子音频的每个音频帧对应的音高值,并根据第二子音频的每个音频帧对应的音高值,确定出融合音频中的每个音频帧对应的第二参考音高值。服务器根据融合音频中的每个音频帧对应的第一参考音高值和第二参考音高值,确定融合音频中的每个音频帧的音高值。服务器根据第一子音频、第二子音频以及融合音频中的每个音频帧的音高值,生成融合音频。
可选的,对于融合音频上的第i个音频帧,如果[(i-1)*m/(m+n)]+1大于m,则基于第一子音频中的第m个音频帧对应的音高值,确定融合音频上的第i个音频帧对应的第一参考音高值,如果[(i-1)*m/(m+n)]+1小于或者等于m,则基于第一子音频中的第[(i-1)*m/(m+n)]+1个音频帧对应的音高值,确定融合音频上的第i个音频帧对应的第一参考音高值,进而确定融合音频中的每个音频帧对应的第一参考音高值,其中,[(i-1)*m/(m+n)]为对(i-1)*m/(m+n)进行取整;
对于融合音频上的第j个音频帧,如果[(j-1)*n/(m+n)]+1大于n,则基于第二子音频中的第n个音频帧对应的音高值,确定融合音频上的第j个音频帧对应的第二参考音高值,如果[(j-1)*n/(m+n)]+1小于或者等于n,则基于第二子音频中的第[(j-1)*n/(m+n)]+1个音频帧对应的音高值,确定融合音频上的第j个音频帧对应的第二参考音高值,进而确定融合音频中的每个音频帧对应的第二参考音高值,其中,m为第一子音频中的音频帧的数目,n为第二子音频中的音频帧的数目,[(j-1)*n/(m+n)]为对(j-1)*n/(m+n)进行取整。
需要说明的是,将不超过某一数值的最大整数,作为该数值取整之后的数值,即,上述取整为向下取整。例如,对1.4进行取整为1,即[1.4]=1,对2.6进行取整为2,即[2.6]=2。
在实施中,将第一子音频中的第[(i-1)*m/(m+n)]+1个音频帧对应的音高值,作为融合音频上的第i个音频帧对应的第一参考音高值,进而得到融合音频中的每个音频帧对应的第一参考音高值。将第二子音频中的第[(j-1)*n/(m+n)]+1个音频帧对应的音高值,作为融合音频上的第j个音频帧对应的第二参考音高值,进而得到融合音频中的每个音频帧对应的第二参考音高值。
例如,如图3所示,第一子音频中有3个音频帧,分别是音频帧1、音频帧2和音频帧3。融合音频中有5个音频帧,分别是音频帧1、音频帧2、音频帧3、音频帧4和音频帧5。若要确定融合音频中的音频帧1对应的第一参考音高值,则需要确定第一子音频中第[(1-1)*3/5]+1个音频帧对应的音高值,即第一子音频中的音频帧1对应的音高值作为融合音频中的音频帧1对应的第一参考音高值。若要确定融合音频中的音频帧2对应的第一参考音高值,则需要确定第一子音频中第[(2-1)*3/5]+1个音频帧对应的音高值,即第一子音频中的音频帧1对应的音高值作为融合音频中的音频帧2对应的第一参考音高值。若要确定融合音频中的音频帧3对应的第一参考音高值,则需要确定第一子音频中第[(3-1)*3/5]+1个音频帧对应的音高值,即第一子音频中的音频帧2对应的音高值作为融合音频中的音频帧3对应的第一参考音高值。第二子音频中有2个音频帧,分别是音频帧1和音频帧2。若要确定融合音频中的音频帧1对应的第二参考音高值,则需要确定第二子音频中第[(1-1)*2/5]+1个音频帧对应的音高值,即第二子音频中的音频帧1对应的音高值作为融合音频中的音频帧1对应的第二参考音高值。若要确定融合音频中的音频帧2对应的第二参考音高值,则需要确定第二子音频中第[(2-1)*2/5]+1个音频帧对应的音高值,即第二子音频中的音频帧1对应的音高值作为融合音频中的音频帧2对应的第二参考音高值。若要确定融合音频中的音频帧3对应的第二参考音高值,则需要确定第二子音频中第[(3-1)*2/5]+1个音频帧对应的音高值,即第二子音频中的音频帧1对应的音高值作为融合音频中的音频帧3对应的第二参考音高值。若要确定融合音频中的音频帧4对应的第二参考音高值,则需要确定第二子音频中第[(4-1)*2/5]+1个音频帧对应的音高值,即第二子音频中的音频帧2对应的音高值作为融合音频中的音频帧3对应的第二参考音高值。
可选的,对于融合音频上的第i个音频帧,如果[(i-1)*m/(m+n)]+1大于或者等于m,则基于第一子音频中的第m个音频帧对应的音高值,确定融合音频上的第i个音频帧对应的第一参考音高值,如果[(i-1)*m/(m+n)]+1小于m,则根据公式C=(1-((i-1)*m/(m+n)-[(i-1)*m/(m+n)]))*A+((i-1)*m/(m+n)-[(i-1)*m/(m+n)])*B,得到融合音频中的第i个音频帧对应的第一参考音高值,进而确定融合音频中的每个音频帧对应的第一参考音高值,其中,A表示为第一子音频中的第[(i-1)*m/(m+n)]+1个音频帧对应的音高值,B表示为第一子音频中的第[(i-1)*m/(m+n)]+2个音频帧对应的音高值,C表示为融合音频中的第i个音频帧对应的第一参考音高值,m为第一子音频中的音频帧的数目,n为第二子音频中的音频帧的数目,[(i-1)*m/(m+n)]为对(i-1)*m/(m+n)进行取整;
对于融合音频上的第j个音频帧,如果[(j-1)*n/(m+n)]+1大于或者等于n,则基于第二子音频中的第n个音频帧对应的音高值,确定融合音频上的第j个音频帧对应的第二参考音高值,如果[(j-1)*n/(m+n)]+1小于n,则根据公式D=(1-((j-1)*n/(m+n)-[(j-1)*n/(m+n)]))*E+((j-1)*n/(m+n)-[(j-1)*n/(m+n)])*F,得到融合音频中的第j个音频帧对应的第二参考音高值,进而确定融合音频中的每个音频帧对应的第二参考音高值,其中,E表示为第二子音频中的第[(j-1)*n/(m+n)]+1个音频帧对应的音高值,F表示为第二子音频中的第[(j-1)*n/(m+n)]+2个音频帧对应的音高值,D表示为融合音频中的第j个音频帧对应的第二参考音高值,[(j-1)*n/(m+n)]为对(j-1)*n/(m+n)进行取整。
上述公式在计算融合音频中每个音频帧的参考音高值时,考虑到了原音频中的每个音频帧之间的关系,使得计算出的音高值更加的准确。
可选的,根据公式y(x)=(1-(x/(m+n)))*c1(x)+(x/(m+n))*c2(x),确定所述融合音频的第x个音频帧对应的音高值,其中,y(x)表示为所述融合音频中的第x个音频帧对应的音高值,c1(x)表示为所述融合音频中的第x个音频帧对应的第一参考音高值,c2(x)表示为所述融合音频中的第x个音频帧对应的第二参考音高值,m为所述第一子音频中的音频帧的数目,n为所述第二子音频中的音频帧的数目。
需要说明的是,将第一子音频中远离末端的最后的音频帧作为第1个音频帧,将第二音频中远离前端的最后的音频帧作为第m+n个音频帧,按照这样的顺序,来确定出融合音频的第x个音频帧。
可选的,基于所述第一子音频的频谱包络、非周期特征和所述第二子音频的频谱包络、非周期特征以及所述融合音频中的每个音频帧的音高值,生成所述融合音频。
需要说明的是,合成语音所必须三个参数分别是频谱包络、非周期特征以及音高值,其中,频谱包络和非周期特征可以影响合成语音的音色,而音高值影响合成语音的声调的高低。在上述步骤中,服务器已经计算出了融合音频中的每一音频帧对应的音高值,只需确定出融合音频中的每一音频帧的频谱包络和非周期特征,便可以生成融合音频。
在实施中,将第一子音频中远离末端的最后一个音频帧作为第一个音频帧,将第二音频中远离前端的最后一个音频帧作为第m+n个音频帧。服务器确定第一子音频中的每个音频帧的频谱包络和非周期特征,将第一子音频中的每个音频帧的频谱包络和非周期特征,作为融合音频中的相应的每个音频帧的频谱包络和非周期特征,如,服务器将第一子音频中的第一个音频帧的频谱包络和非周期特征,作为融合音频中的第一个音频帧的频谱包络和非周期特征,将第一子音频中的第m个音频帧的频谱包络和非周期特征,作为融合音频中的第m个音频帧的频谱包络和非周期特征。服务器确定第二子音频中的每个音频帧的频谱包络和非周期特征,将第二子音频中的每个音频帧的频谱包络和非周期特征,作为融合音频中的相应的每个音频帧的频谱包络和非周期特征,如,将第二子音频中的第一个音频帧的频谱包络和非周期特征,作为融合音频中的第m+1个音频帧的频谱包络和非周期特征,将第二子音频中的第m+n个音频帧的频谱包络和非周期特征,作为融合音频中的第m+n个音频帧的频谱包络和非周期特征。在服务器确定出融合音频中的每一音频帧的频谱包络和非周期特征,便生成融合音频。
204、基于所述融合音频、第一音频除去第一子音频的部分、以及第二音频除去第一子音频的部分,生成所述第一字符单元和所述第二字符单元对应的转换音频。
需要说明的是,融合音频已经包含了第一子音频中的频谱包络和非周期特征和第二子音频中的频谱包络和非周期特征,所以,在生成转换音频时,需要将第一音频中的第一子音频除去和第二音频中的第一子音频除去。
在实施中,将融合音频、第一音频除去第一子音频的部分、以及第二音频除去第一子音频的部分进行拼接,生成第一字符单元和第二字符单元对应的转换音频。
在一种实现方式中,如图4所示,在服务器分别确定出“人类”、“命运”和“共同体”分别对应的音频,分别确定出“人类”、“命运”和“共同体”分别对应的音频中的子音频,并根据这些子音频确定出“人类”和“命运”连接处的融合音频,以及“命运”和“共同体”连接处的融合音频,将“人类”对应音频除去子音频的部分、“人类”和“命运”连接处的融合音频、“命运”对应音频除去子音频的部分、“命运”和“共同体”连接处的融合音频以及“共同体”对应音频除去子音频的部分进行连接,生成“人类命运共同体”的转换音频。
需要说明的是,按照上述的连接方式,由于“命运”不仅要和“人类”相连,还要和“共同体”相连,此时需要在“命运”对应的音频中确定出两个子音频,当两个子音频分别占“命运”对应的音频中的一半音频时,此时,在上述连接过程,就不再存在“命运”对应音频除去子音频的部分。
在一种实现方式中,如图5所示,服务器确定出“人类命运共同体”中每一字符单元对应的音频,进而确定出每个字符单元对应子音频,并确定出“人”和“类”之间的融合音频,并将“人”对应音频除去子音频的部分,融合音频,以及“类”对应音频除去子音频的部分,依次进行连接,生成“人类”的转换音频。在按照上述方式连接“命”,生成“人类命”的转换音频,进而生成“人类命运共同体”的转换音频。
当然,服务器也可以每两个字符单元进行一次划分,在确定出每两个字符单元对应的转换音频之后,再将每个转换音频进行连接,进而获得最终的转换音频。
本申请通过在第一字符单元的末端部分确定第一子音频,在第二字符单元的前端部分确定第二子音频,并根据第一子音频和第二子音频,生成融合音频。然后,根据融合音频、第一音频除去第一子音频的部分、以及第二音频除去第一子音频的部分,从而生成第一字符单元和第二字符单元对应的转换音频,在该转换音频中,由于与两个字符单元音频的相邻位置进行融合处理,可以使音高值过度的自然一些,减小突变杂音,从而提高了转换音频的质量。
基于相同的技术构思,本申请实施例还提供了一种装置,如图6所示,该装置包括:
获取模块601,被配置为获取第一字符单元对应的第一音频和第二字符单元对应的第二音频,其中,所述第一字符单元和所述第二字符单元是在待识别字符串中相邻的字符单元,且所述第一字符单元位于所述第二字符单元之前;
确定模块602,被配置为在所述第一音频的末端部分确定第一子音频,在所述第二音频的前端部分确定第二子音频;
第一生成模块603,被配置为基于所述第一子音频和所述第二子音频,生成融合音频,其中,所述融合音频中的音频帧的数目等于所述第一子音频中的音频帧的数目与所述第二子音频中的音频帧的数目之和;
第二生成模块604,被配置为基于所述融合音频、所述第一音频除去所述第一子音频的部分、以及所述第二音频除去所述第一子音频的部分,生成所述第一字符单元和所述第二字符单元对应的转换音频。
可选的,所述第一生成模块603,被配置为:
基于所述第一子音频中的每个音频帧对应的音高值,确定所述融合音频中的每个音频帧对应的第一参考音高值,基于所述第二子音频中的每个音频帧对应的音高值,确定所述融合音频中的每个音频帧对应的第二参考音高值;
根据所述融合音频中的每个音频帧对应的第一参考音高值和所述第二参考音高值,确定所述融合音频中的每个音频帧对应的音高值;
基于所述第一子音频、所述第二子音频以及所述融合音频中的每个音频帧对应的音高值,生成所述融合音频。
可选的,所述第一生成模块603,被配置为:
对于所述融合音频上的第i个音频帧,如果[(i-1)*m/(m+n)]+1大于m,则基于所述第一子音频中的第m个音频帧对应的音高值,确定所述融合音频上的第i个音频帧对应的第一参考音高值,如果[(i-1)*m/(m+n)]+1小于或者等于m,则基于所述第一子音频中的第[(i-1)*m/(m+n)]+1个音频帧对应的音高值,确定所述融合音频上的第i个音频帧对应的第一参考音高值,进而确定所述融合音频中的每个音频帧对应的第一参考音高值,其中,[(i-1)*m/(m+n)]为对(i-1)*m/(m+n)进行取整;
对于所述融合音频上的第j个音频帧,如果[(j-1)*n/(m+n)]+1大于n,则基于所述第二子音频中的第n个音频帧对应的音高值,确定所述融合音频上的第j个音频帧对应的第二参考音高值,如果[(j-1)*n/(m+n)]+1小于或者等于n,则基于所述第二子音频中的第[(j-1)*n/(m+n)]+1个音频帧对应的音高值,确定所述融合音频上的第j个音频帧对应的第二参考音高值,进而确定所述融合音频中的每个音频帧对应的第二参考音高值,其中,m为所述第一子音频中的音频帧的数目,n为所述第二子音频中的音频帧的数目,[(j-1)*n/(m+n)]为对(j-1)*n/(m+n)进行取整。
可选的,所述第一生成模块603,被配置为:
对于所述融合音频上的第i个音频帧,如果[(i-1)*m/(m+n)]+1大于或者等于m,则基于所述第一子音频中的第m个音频帧对应的音高值,确定所述融合音频上的第i个音频帧对应的第一参考音高值,如果[(i-1)*m/(m+n)]+1小于m,则根据公式C=(1-((i-1)*m/(m+n)-[(i-1)*m/(m+n)]))*A+((i-1)*m/(m+n)-[(i-1)*m/(m+n)])*B,得到所述融合音频中的第i个音频帧对应的第一参考音高值,进而确定所述融合音频中的每个音频帧对应的第一参考音高值,其中,A表示为所述第一子音频中的第[(i-1)*m/(m+n)]+1个音频帧对应的音高值,B表示为所述第一子音频中的第[(i-1)*m/(m+n)]+2个音频帧对应的音高值,C表示为所述融合音频中的第i个音频帧对应的第一参考音高值,m为所述第一子音频中的音频帧的数目,n为所述第二子音频中的音频帧的数目,[(i-1)*m/(m+n)]为对(i-1)*m/(m+n)进行取整;
对于所述融合音频上的第j个音频帧,如果[(j-1)*n/(m+n)]+1大于或者等于n,则基于所述第二子音频中的第n个音频帧对应的音高值,确定所述融合音频上的第j个音频帧对应的第二参考音高值,如果[(j-1)*n/(m+n)]+1小于n,则根据公式D=(1-((j-1)*n/(m+n)-[(j-1)*n/(m+n)]))*E+((j-1)*n/(m+n)-[(j-1)*n/(m+n)])*F,得到所述融合音频中的第j个音频帧对应的第二参考音高值,进而确定所述融合音频中的每个音频帧对应的第二参考音高值,其中,E表示为所述第二子音频中的第[(j-1)*n/(m+n)]+1个音频帧对应的音高值,F表示为所述第二子音频中的第[(j-1)*n/(m+n)]+2个音频帧对应的音高值,D表示为所述融合音频中的第j个音频帧对应的第二参考音高值,[(j-1)*n/(m+n)]为对(j-1)*n/(m+n)进行取整。
可选的,所述第一生成模块603,被配置为:
根据公式y(x)=(1-(x/(m+n)))*c1(x)+(x/(m+n))*c2(x),确定所述融合音频中的第x个音频帧对应的音高值,进而确定所述融合音频中的每个音频帧对应的音高值,其中,y(x)表示为所述融合音频中的第x个音频帧对应的音高值,c1(x)表示为所述融合音频中的第x个音频帧对应的第一参考音高值,c2(x)表示为所述融合音频中的第x个音频帧对应的第二参考音高值。
可选的,所述第一生成模块603,被配置为:
基于所述第一子音频的频谱包络、非周期特征和所述第二子音频的频谱包络、非周期特征以及所述融合音频中的每个音频帧的音高值,生成所述融合音频。
需要说明的是:上述实施例提供的转换音频业务的装置在转换音频时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的转换音频的装置与转换音频的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图7示出了本申请一个示例性实施例提供的终端700的结构框图。该终端700可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端700还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端700包括有:处理器701和存储器702。
处理器701可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器701可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器701还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器702可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器701所执行以实现本申请方法实施例提供的转换音频的方法。
在一些实施例中,终端700还可选包括有:外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地,外围设备包括:射频电路704、触摸显示屏705、摄像头707、音频电路707、定位组件708和电源709中的至少一种。
外围设备接口703可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中,处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上;在一些其他实施例中,处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路704用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路704包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路704还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏705用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时,显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时,显示屏705还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏705可以为一个,设置终端700的前面板;在另一些实施例中,显示屏705可以为至少两个,分别设置在终端700的不同表面或呈折叠设计;在再一些实施例中,显示屏705可以是柔性显示屏,设置在终端700的弯曲表面上或折叠面上。甚至,显示屏705还可以设置成非矩形的不规则图形,也即异形屏。显示屏705可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件706用于采集图像或视频。可选地,摄像头组件706包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器701进行处理,或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路707还可以包括耳机插孔。
定位组件708用于定位终端700的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件708可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源709用于为终端700中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于:加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。
加速度传感器711可以检测以终端700建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器711可以用于检测重力加速度在三个坐标轴上的分量。处理器701可以根据加速度传感器711采集的重力加速度信号,控制触摸显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器712可以检测终端700的机体方向及转动角度,陀螺仪传感器712可以与加速度传感器711协同采集用户对终端700的3D动作。处理器701根据陀螺仪传感器712采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器713可以设置在终端700的侧边框和/或触摸显示屏705的下层。当压力传感器713设置在终端700的侧边框时,可以检测用户对终端700的握持信号,由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在触摸显示屏705的下层时,由处理器701根据用户对触摸显示屏705的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器714用于采集用户的指纹,由处理器701根据指纹传感器714采集到的指纹识别用户的身份,或者,由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器701授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器714可以被设置终端700的正面、背面或侧面。当终端700上设置有物理按键或厂商Logo时,指纹传感器714可以与物理按键或厂商Logo集成在一起。
光学传感器715用于采集环境光强度。在一个实施例中,处理器701可以根据光学传感器715采集的环境光强度,控制触摸显示屏705的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏705的显示亮度;当环境光强度较低时,调低触摸显示屏705的显示亮度。在另一个实施例中,处理器701还可以根据光学传感器715采集的环境光强度,动态调整摄像头组件706的拍摄参数。
接近传感器716,也称距离传感器,通常设置在终端700的前面板。接近传感器716用于采集用户与终端700的正面之间的距离。在一个实施例中,当接近传感器716检测到用户与终端700的正面之间的距离逐渐变小时,由处理器701控制触摸显示屏705从亮屏状态切换为息屏状态;当接近传感器716检测到用户与终端700的正面之间的距离逐渐变大时,由处理器701控制触摸显示屏705从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图7中示出的结构并不构成对终端700的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图8是本申请实施例提供的一种服务器的结构示意图,该服务器800可以包括一个或一个以上处理器(centra l process i ng units,CPU)801和一个或一个以上的存储器802,其中,所述存储器802中存储有至少一条指令,所述至少一条指令由所述处理器801加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括指令的存储器,上述指令可由终端/服务器中的处理器执行以完成上述实施例中转换音频的方法。例如,所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种转换音频的方法,其特征在于,所述方法包括:
获取第一字符单元对应的第一音频和第二字符单元对应的第二音频,其中,所述第一字符单元和所述第二字符单元是在待识别字符串中相邻的字符单元,且所述第一字符单元位于所述第二字符单元之前;
在所述第一音频的末端部分确定第一子音频,在所述第二音频的前端部分确定第二子音频;
基于所述第一子音频和所述第二子音频,生成融合音频,其中,所述融合音频中的音频帧的数目等于所述第一子音频中的音频帧的数目与所述第二子音频中的音频帧的数目之和;
基于所述融合音频、所述第一音频除去所述第一子音频的部分、以及所述第二音频除去所述第一子音频的部分,生成所述第一字符单元和所述第二字符单元对应的转换音频。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一子音频和所述第二子音频,生成融合音频,包括:
基于所述第一子音频中的每个音频帧对应的音高值,确定所述融合音频中的每个音频帧对应的第一参考音高值,基于所述第二子音频中的每个音频帧对应的音高值,确定所述融合音频中的每个音频帧对应的第二参考音高值;
根据所述融合音频中的每个音频帧对应的第一参考音高值和所述第二参考音高值,确定所述融合音频中的每个音频帧对应的音高值;
基于所述第一子音频、所述第二子音频以及所述融合音频中的每个音频帧对应的音高值,生成所述融合音频。
3.根据权利要求2所述的方法,其特征在于,所述基于所述第一子音频中的每个音频帧对应的音高值,确定所述融合音频中的每个音频帧对应的第一参考音高值,基于所述第二子音频中的每个音频帧对应的音高值,确定所述融合音频中的每个音频帧对应的第二参考音高值,包括:
对于所述融合音频上的第i个音频帧,如果[(i-1)*m/(m+n)]+1大于m,则基于所述第一子音频中的第m个音频帧对应的音高值,确定所述融合音频上的第i个音频帧对应的第一参考音高值,如果[(i-1)*m/(m+n)]+1小于或者等于m,则基于所述第一子音频中的第[(i-1)*m/(m+n)]+1个音频帧对应的音高值,确定所述融合音频上的第i个音频帧对应的第一参考音高值,进而确定所述融合音频中的每个音频帧对应的第一参考音高值,其中,[(i-1)*m/(m+n)]为对(i-1)*m/(m+n)进行取整;
对于所述融合音频上的第j个音频帧,如果[(j-1)*n/(m+n)]+1大于n,则基于所述第二子音频中的第n个音频帧对应的音高值,确定所述融合音频上的第j个音频帧对应的第二参考音高值,如果[(j-1)*n/(m+n)]+1小于或者等于n,则基于所述第二子音频中的第[(j-1)*n/(m+n)]+1个音频帧对应的音高值,确定所述融合音频上的第j个音频帧对应的第二参考音高值,进而确定所述融合音频中的每个音频帧对应的第二参考音高值,其中,m为所述第一子音频中的音频帧的数目,n为所述第二子音频中的音频帧的数目,[(j-1)*n/(m+n)]为对(j-1)*n/(m+n)进行取整。
4.根据权利要求2所述的方法,其特征在于,所述基于所述第一子音频中的每个音频帧对应的音高值,确定所述融合音频中的每个音频帧对应的第一参考音高值,基于所述第二子音频中的每个音频帧对应的音高值,确定所述融合音频中的每个音频帧对应的第二参考音高值,包括:
对于所述融合音频上的第i个音频帧,如果[(i-1)*m/(m+n)]+1大于或者等于m,则基于所述第一子音频中的第m个音频帧对应的音高值,确定所述融合音频上的第i个音频帧对应的第一参考音高值,如果[(i-1)*m/(m+n)]+1小于m,则根据公式C=(1-((i-1)*m/(m+n)-[(i-1)*m/(m+n)]))*A+((i-1)*m/(m+n)-[(i-1)*m/(m+n)])*B,得到所述融合音频中的第i个音频帧对应的第一参考音高值,进而确定所述融合音频中的每个音频帧对应的第一参考音高值,其中,A表示为所述第一子音频中的第[(i-1)*m/(m+n)]+1个音频帧对应的音高值,B表示为所述第一子音频中的第[(i-1)*m/(m+n)]+2个音频帧对应的音高值,C表示为所述融合音频中的第i个音频帧对应的第一参考音高值,m为所述第一子音频中的音频帧的数目,n为所述第二子音频中的音频帧的数目,[(i-1)*m/(m+n)]为对(i-1)*m/(m+n)进行取整;
对于所述融合音频上的第j个音频帧,如果[(j-1)*n/(m+n)]+1大于或者等于n,则基于所述第二子音频中的第n个音频帧对应的音高值,确定所述融合音频上的第j个音频帧对应的第二参考音高值,如果[(j-1)*n/(m+n)]+1小于n,则根据公式D=(1-((j-1)*n/(m+n)-[(j-1)*n/(m+n)]))*E+((j-1)*n/(m+n)-[(j-1)*n/(m+n)])*F,得到所述融合音频中的第j个音频帧对应的第二参考音高值,进而确定所述融合音频中的每个音频帧对应的第二参考音高值,其中,E表示为所述第二子音频中的第[(j-1)*n/(m+n)]+1个音频帧对应的音高值,F表示为所述第二子音频中的第[(j-1)*n/(m+n)]+2个音频帧对应的音高值,D表示为所述融合音频中的第j个音频帧对应的第二参考音高值,[(j-1)*n/(m+n)]为对(j-1)*n/(m+n)进行取整。
5.根据权利要求3或4所述的方法,其特征在于,所述根据所述融合音频中的每个音频帧对应的第一参考音高值和所述第二参考音高值,确定所述融合音频中的每个音频帧对应的音高值,包括:
根据公式y(x)=(1-(x/(m+n)))*c1(x)+(x/(m+n))*c2(x),确定所述融合音频中的第x个音频帧对应的音高值,进而确定所述融合音频中的每个音频帧对应的音高值,其中,y(x)表示为所述融合音频中的第x个音频帧对应的音高值,c1(x)表示为所述融合音频中的第x个音频帧对应的第一参考音高值,c2(x)表示为所述融合音频中的第x个音频帧对应的第二参考音高值。
6.根据权利要求2所述的方法,其特征在于,所述基于所述第一子音频、所述第二子音频以及所述融合音频中的每个音频帧对应的音高值,生成所述融合音频,包括:
基于所述第一子音频的频谱包络、非周期特征和所述第二子音频的频谱包络、非周期特征以及所述融合音频中的每个音频帧的音高值,生成所述融合音频。
7.一种转换音频的装置,其特征在于,所述装置,被配置为:
获取模块,被配置为获取第一字符单元对应的第一音频和第二字符单元对应的第二音频,其中,所述第一字符单元和所述第二字符单元是在待识别字符串中相邻的字符单元,且所述第一字符单元位于所述第二字符单元之前;
确定模块,被配置为在所述第一音频的末端部分确定第一子音频,在所述第二音频的前端部分确定第二子音频;
第一生成模块,被配置为基于所述第一子音频和所述第二子音频,生成融合音频,其中,所述融合音频中的音频帧的数目等于所述第一子音频中的音频帧的数目与所述第二子音频中的音频帧的数目之和;
第二生成模块,被配置为基于所述融合音频、所述第一音频除去所述第一子音频的部分、以及所述第二音频除去所述第一子音频的部分,生成所述第一字符单元和所述第二字符单元对应的转换音频。
8.根据权利要求7所述的装置,其特征在于,所述第一生成模块,被配置为:
基于所述第一子音频中的每个音频帧对应的音高值,确定所述融合音频中的每个音频帧对应的第一参考音高值,基于所述第二子音频中的每个音频帧对应的音高值,确定所述融合音频中的每个音频帧对应的第二参考音高值;
根据所述融合音频中的每个音频帧对应的第一参考音高值和所述第二参考音高值,确定所述融合音频中的每个音频帧对应的音高值;
基于所述第一子音频、所述第二子音频以及所述融合音频中的每个音频帧对应的音高值,生成所述融合音频。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如权利要求1至权利要求6任一项所述的转换音频的方法所执行的操作。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如权利要求1至权利要求6任一项所述的转换音频的方法所执行的操作。
CN201911416854.7A 2019-12-31 2019-12-31 转换音频的方法、装置、设备以及存储介质 Active CN111145723B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911416854.7A CN111145723B (zh) 2019-12-31 2019-12-31 转换音频的方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911416854.7A CN111145723B (zh) 2019-12-31 2019-12-31 转换音频的方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN111145723A true CN111145723A (zh) 2020-05-12
CN111145723B CN111145723B (zh) 2023-11-17

Family

ID=70522767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911416854.7A Active CN111145723B (zh) 2019-12-31 2019-12-31 转换音频的方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN111145723B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409801A (zh) * 2021-08-05 2021-09-17 云从科技集团股份有限公司 用于实时音频流播放的噪音处理方法、系统、介质和装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19837661A1 (de) * 1998-08-19 2000-02-24 Christoph Buskies Verfahren und Vorrichtung zur koartikulationsgerechten Konkatenation von Audiosegmenten sowie Vorrichtungen zur Bereitstellung koartikulationsgerecht konkatenierter Audiodaten
CN1257271A (zh) * 1998-12-02 2000-06-21 松下电器产业株式会社 用于中文语音合成的连音处理装置
US6873952B1 (en) * 2000-08-11 2005-03-29 Tellme Networks, Inc. Coarticulated concatenated speech
US7047194B1 (en) * 1998-08-19 2006-05-16 Christoph Buskies Method and device for co-articulated concatenation of audio segments
US20110213476A1 (en) * 2010-03-01 2011-09-01 Gunnar Eisenberg Method and Device for Processing Audio Data, Corresponding Computer Program, and Corresponding Computer-Readable Storage Medium
CN104081453A (zh) * 2011-07-25 2014-10-01 索拉公司 用于声学变换的系统和方法
CN104934030A (zh) * 2014-03-17 2015-09-23 陈成钧 用音节上的多项式表示音高轮廓的数据库及韵律产生方法
CN106297765A (zh) * 2015-06-04 2017-01-04 科大讯飞股份有限公司 语音合成方法及系统
CN107945786A (zh) * 2017-11-27 2018-04-20 北京百度网讯科技有限公司 语音合成方法和装置
CN109389968A (zh) * 2018-09-30 2019-02-26 平安科技(深圳)有限公司 基于双音节混搭的波形拼接方法、装置、设备及存储介质
CN109599090A (zh) * 2018-10-29 2019-04-09 阿里巴巴集团控股有限公司 一种语音合成的方法、装置及设备
CN110047462A (zh) * 2019-01-31 2019-07-23 北京捷通华声科技股份有限公司 一种语音合成方法、装置和电子设备
CN110600034A (zh) * 2019-09-12 2019-12-20 广州酷狗计算机科技有限公司 歌声生成方法、装置、设备及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19837661A1 (de) * 1998-08-19 2000-02-24 Christoph Buskies Verfahren und Vorrichtung zur koartikulationsgerechten Konkatenation von Audiosegmenten sowie Vorrichtungen zur Bereitstellung koartikulationsgerecht konkatenierter Audiodaten
US7047194B1 (en) * 1998-08-19 2006-05-16 Christoph Buskies Method and device for co-articulated concatenation of audio segments
CN1257271A (zh) * 1998-12-02 2000-06-21 松下电器产业株式会社 用于中文语音合成的连音处理装置
US6873952B1 (en) * 2000-08-11 2005-03-29 Tellme Networks, Inc. Coarticulated concatenated speech
US20110213476A1 (en) * 2010-03-01 2011-09-01 Gunnar Eisenberg Method and Device for Processing Audio Data, Corresponding Computer Program, and Corresponding Computer-Readable Storage Medium
CN104081453A (zh) * 2011-07-25 2014-10-01 索拉公司 用于声学变换的系统和方法
CN104934030A (zh) * 2014-03-17 2015-09-23 陈成钧 用音节上的多项式表示音高轮廓的数据库及韵律产生方法
CN106297765A (zh) * 2015-06-04 2017-01-04 科大讯飞股份有限公司 语音合成方法及系统
CN107945786A (zh) * 2017-11-27 2018-04-20 北京百度网讯科技有限公司 语音合成方法和装置
CN109389968A (zh) * 2018-09-30 2019-02-26 平安科技(深圳)有限公司 基于双音节混搭的波形拼接方法、装置、设备及存储介质
CN109599090A (zh) * 2018-10-29 2019-04-09 阿里巴巴集团控股有限公司 一种语音合成的方法、装置及设备
CN110047462A (zh) * 2019-01-31 2019-07-23 北京捷通华声科技股份有限公司 一种语音合成方法、装置和电子设备
CN110600034A (zh) * 2019-09-12 2019-12-20 广州酷狗计算机科技有限公司 歌声生成方法、装置、设备及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
M. KARTHIKADEVI 等: "The development of syllable based text to speech system for Tamil language", 《IEEE》 *
M. KARTHIKADEVI 等: "The development of syllable based text to speech system for Tamil language", 《IEEE》, 12 April 2014 (2014-04-12), pages 1 - 5 *
冯婷婷: "基于神经网络的音乐音频自动合成的研究与实现", 《中国优秀博硕士学位论文全文数据库》 *
冯婷婷: "基于神经网络的音乐音频自动合成的研究与实现", 《中国优秀博硕士学位论文全文数据库》, 15 January 2019 (2019-01-15), pages 22 - 24 *
汪成为 等: "《灵境 虚拟现实 技术的理论、实现及应用》", 30 September 1996, pages: 343 - 347 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409801A (zh) * 2021-08-05 2021-09-17 云从科技集团股份有限公司 用于实时音频流播放的噪音处理方法、系统、介质和装置
CN113409801B (zh) * 2021-08-05 2024-03-19 云从科技集团股份有限公司 用于实时音频流播放的噪音处理方法、系统、介质和装置

Also Published As

Publication number Publication date
CN111145723B (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
CN109147757B (zh) 歌声合成方法及装置
CN110688082B (zh) 确定音量的调节比例信息的方法、装置、设备及存储介质
CN110769313B (zh) 视频处理方法及装置、存储介质
CN111445901B (zh) 音频数据获取方法、装置、电子设备及存储介质
CN111048111B (zh) 检测音频的节奏点的方法、装置、设备及可读存储介质
CN109192223B (zh) 音频对齐的方法和装置
CN111061405B (zh) 录制歌曲音频的方法、装置、设备及存储介质
CN109102811B (zh) 音频指纹的生成方法、装置及存储介质
CN111276122A (zh) 音频生成方法及装置、存储介质
CN111092991B (zh) 歌词显示方法及装置、计算机存储介质
CN115766490A (zh) 校准数据的获取方法、校准数据的存储方法、装置及设备
CN111613213A (zh) 音频分类的方法、装置、设备以及存储介质
CN111081277A (zh) 音频测评的方法、装置、设备及存储介质
CN111048109A (zh) 声学特征的确定方法、装置、计算机设备及存储介质
CN109036463B (zh) 获取歌曲的难度信息的方法、装置及存储介质
CN111128115B (zh) 信息验证方法、装置、电子设备及存储介质
CN112118482A (zh) 音频文件的播放方法、装置、终端及存储介质
CN109107163B (zh) 模拟按键检测方法、装置、计算机设备及存储介质
CN111354378A (zh) 语音端点检测方法、装置、设备及计算机存储介质
CN111145723B (zh) 转换音频的方法、装置、设备以及存储介质
CN111063372B (zh) 确定音高特征的方法、装置、设备及存储介质
CN113963707A (zh) 音频处理方法、装置、设备和存储介质
CN113268234A (zh) 页面生成方法、装置、终端和存储介质
CN108347672B (zh) 播放音频的方法、装置及存储介质
CN111916105A (zh) 语音信号处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant