CN115273808A - 声音处理方法、存储介质及电子设备 - Google Patents

Abstract

本发明提供一种声音处理方法、存储介质及电子设备，所述声音处理方法包括以下步骤：获取音频流；所述音频流由待播报文本内容合成；利用预先生成的变声器模型对所述音频流进行变声处理，生成变声的音频流；所述变声器模型是指对预设音频流进行变声参数设置后生成的过滤器模型；播放所述变声的音频流。本发明通过将多种可调整参数开放给用户，可以使用户调整各参数后生成不同音效的发音人，能够根据个人喜好随意变化，实现与期望发音人相似的效果。

Description

声音处理方法、存储介质及电子设备

技术领域

本发明属于声音处理的技术领域，涉及一种处理方法，特别是涉及一种声音处理方法、存储介质及电子设备。

背景技术

在车载领域现有的TTS(Text To Speech，从文本到语音)技术中，功能较为单一，基本都是基于单一发音人的声学模型进行声音的合成，用户可以操作的方式仅仅是从几个固定发音人中选择其中一个进行应用，且所有用户应用的固定发音人均从几个固定发音人中进行选择，所以用户之间所应用的发音人相似度较高。

随着用户对于个性化发音人需求的不断加强，目前现有的技术方案是通过训练不同的发音人或者寻找合适的声优或合适配音演员进行声音模型训练的方式创建发音人模型。然而，现有技术的方案需要原型发音人录入大量的语料训练，并且经过较长时间的调校、优化才能达到可用的效果，因而时间周期很长，成本也非常高。

因此，如何提供一种声音处理方法、存储介质及电子设备，以解决现有技术无法以低成本的方式使用户在短时间内即可获取定制化变声音效等缺陷，成为本领域技术人员亟待解决的技术问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种声音处理方法、存储介质及电子设备，其优势在于，能够以低成本的方式使用户在短时间内即可获取定制化变声音效。

本发明的另一目的在于提供一种声音处理方法、存储介质及电子设备，其优势在于，通过将多种可调整参数开放给用户，可以使用户调整各参数后生成不同音效的发音人，能够根据个人喜好随意变化，实现与期望发音人相似的效果。

本发明的另一目的在于提供一种声音处理方法、存储介质及电子设备，其优势在于，通过变声器模型对合成的音频流进行再加工，获取与用户期望一致的变声效果。

本发明的另一目的在于提供一种声音处理方法、存储介质及电子设备，其优势在于，通过不同的电子设备执行所述声音处理方法，提升了用户使用手机、车机等电子设备的体验。

本发明的另一目的在于提供一种声音处理方法、存储介质及电子设备，其优势在于，使得用户可以在音效变换和风格变换上进行灵活设置，便于生成自定义的发音人进行语音播报。

本发明的另一目的在于提供一种声音处理方法、存储介质及电子设备，其优势在于，向用户提供多种丰富的预先设定的变声器模型，在发音人的选择上给用户更多的选择空间，降低与他人所使用发音人发生重复的概率。

为实现上述目的及其他相关目的，本发明一方面提供一种声音处理方法，所述声音处理方法包括以下步骤：获取音频流；所述音频流由待播报文本内容合成；利用预先生成的变声器模型对所述音频流进行变声处理，生成变声的音频流；所述变声器模型是指对预设音频流进行变声参数设置后生成的过滤器模型；播放所述变声的音频流。

为实现上述目的及其他相关目的，本发明另一方面提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的声音处理方法。

为实现上述目的及其他相关目的，本发明最后一方面提供一种电子设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行所述的声音处理方法。

附图说明

图1显示为本发明的声音处理方法于一实施例中的原理流程图。

图2显示为本发明的声音处理方法于一实施例中的模型生成流程图。

图3显示为本发明的声音处理方法于一实施例中的变换指令示意图。

图4显示为本发明的声音处理方法于一实施例中的模型选择流程图。

图5显示为本发明的声音处理方法于一实施例中的变声应用原理图。

图6显示为本发明的电子设备于一实施例中的结构连接示意图。

元件标号说明

6 电子设备

61 处理器

62 存储器

S10～S13 步骤

S21～S24 步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明所述的声音处理方法、存储介质及电子设备通过将多种可调整参数开放给用户，可以使用户调整各参数后生成不同音效的发音人，能够根据个人喜好随意变化，实现与期望发音人相似的效果。

以下将结合图1至图6详细阐述本实施例的一种声音处理方法、存储介质及电子设备的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本实施例的声音处理方法、存储介质及电子设备。

请参阅图1，显示为本发明的声音处理方法于一实施例中的原理流程图。如图1所示，所述声音处理方法具体包括以下几个步骤：

S11，获取音频流；所述音频流由待播报文本内容合成。

于一实施例中，通过所述变声器引擎拦截文本转语音(TTS)系统中的音频流。

具体地，TTS播放的应用，即TTS播放器拦截基础TTS发音人合成的音频流。例如，基础TTS发音人可以是导航、闹钟或其他播报应用中所用的固定人员的声音。其中，固定人员可以是现有的某明星或其它具有辨识度的人员声音。

S12，利用预先生成的变声器模型对所述音频流进行变声处理，生成变声的音频流；所述变声器模型是指对预设音频流进行变声参数设置后生成的过滤器模型。由此，本发明可以通过变声器模型对合成的音频流进行再加工，获取与用户期望一致的变声效果。

于一实施例中，S12包括以下步骤：调用与所述变声器模型对应的API(Application Programming Interface，应用程序编程接口)，对所述音频流进行变声处理；其中，所述应用程序编程接口用于提供所述文本转语音(TTS)系统与所述变声器引擎之间的通信通道。

具体地，变声器模型对外(即对TTS播放器)进行封装，并向外部提供变声API，调用变声API接口，使得合成的音频流经过变声器模型后进行再加工。

请参阅图2，显示为本发明的声音处理方法于一实施例中的模型生成流程图。如图2所示，变声器模型的生成包括以下步骤：

S21，对所述预设音频流进行特征提取，生成关键特征。

具体地，所述关键特征包括发音频率点、振幅、语速和语调以及其他有利于辨识所述预设音频流发音人的特征因素。

S22，显示一参数调整界面。

具体地，向用户呈现参数调整界面，公开更多可调整的参数，使得用户可以获得更多的参数调整权限。由此，本发明可以通过将多种可调整参数开放给用户，可以使用户调整各参数后生成不同音效的发音人，能够根据个人喜好随意变化，实现与期望发音人相似的效果。

S23，响应于所述参数调整界面上的调整指令，对所述关键特征进行参数变换，其中，参数变换包括：音效变换和风格变换。由此，本发明使得用户可以在音效变换和风格变换上进行灵活设置，便于生成自定义的发音人进行语音播报。

具体地，在参数调整界面上分别呈现与音量、音调、语速以及频点对应的调整区，调整区的实现方式可以是数值输入类调整区、滑块控件上下或左右移动区。所述参数调整界面还包括试听选项，在各参数调整后，用户点击“试听”选项，即可播放当前参数对应的音频效果。

请参阅图3，显示为本发明的声音处理方法于一实施例中的变换指令示意图。如图3所示，呈现了不同方式变换中所对应的指令。

于一实施例中，所述调整指令包括音量调整指令、音调调整指令、语速调整指令和频点移动指令。所述音效变换至少包括以下步骤之一：

(1)响应于所述参数调整界面上生成的音量调整指令，修改所述预设音频流的音量特征。

具体地，在参数调整界面上设有音量调整的滑块和滑动条，当滑块在滑动条中左移时，表示音量变小，当滑块在滑动条中右移时，表示音量增大。例如，用户拖动滑块右移，则音量调整指令具体为音量增大。

(2)响应于所述参数调整界面上生成的音调调整指令，修改所述预设音频流的音调特征。

具体地，在参数调整界面上设有音调调整的滑块和滑动条，当滑块在滑动条中左移时，表示音调变低，当滑块在滑动条中右移时，表示音调变高。例如，用户拖动滑块右移，则音音调调整指令具体为音调变高。

(3)响应于所述参数调整界面上生成的语速调整指令，修改所述预设音频流的语速特征。

具体地，在参数调整界面上设有语速调整的滑块和滑动条，当滑块在滑动条中左移时，表示语速变慢，当滑块在滑动条中右移时，表示语速变快。例如，用户拖动滑块右移，则语速调整指令具体为语速变快。

(4)响应于所述参数调整界面上生成的频点移动指令，对所述预设音频流进行频点移动。

具体地，在参数调整界面上设有频点移动的滑块和滑动条，当滑块在滑动条中左移时，表示频率变小，当滑块在滑动条中右移时，表示频率变大。例如，用户拖动滑块右移，则频点移动指令具体为频率变大。

于一实施例中，所述调整指令包括频点调整指令。所述风格变换包括以下步骤：

(1)响应于所述参数调整界面上生成的风格选择指令，确定基础风格。

具体地，基础风格可以是爵士风格、乡村风格、重低音或环绕效果等在EQ(Equalisation，均衡器)中可以设置出的效果。

(2)呈现与所述基础风格相对应的所述预设音频流的频点数据。

具体地，确定基础风格为爵士风格，呈现与爵士风格对应的特征发音频点以及向用户呈现出EQ在均衡调节中封装于后台的参数，例如默认的爵士风格的某特征发音点频率是400Hz。

(3)根据所述频点调整指令调整所述频点数据，生成自定义风格。

具体地，根据用户需求，需要将特征发音点频率的数值强化，由此，频点调整指令为将400Hz转换为450Hz。由此，用户可以灵活地在音频流特定的频点上作强化，在另一些频点上作弱化，并结合音量、音调等调节达到预期的变换风格。

于一实施例中，所述参数调整界面中呈现调整引导信息，所述调整引导信息用于针对用户所需要的期望声音提供调整方向的建议信息。

具体地，对于没有声音变换基础的用户，在进行参数调整时可能会漫无目的或短时间内难以找到参数调整方向，由此，一方面，参数调整界面呈现类别划分，例如，男士、女士、儿童，进一步还会有沙哑、温柔等选项，使得用户经过多个选项确定一个大分类下对应的基本参数，用户在所呈现的基本参数上进行再调整。另一方面，参数调整界面呈现浮动窗，例如，用户在将音调滑块左移时，浮动窗口弹出文字提示“音调变低”，用户在将某一频点的频率值变大时，浮动窗口弹出文字提示“偏向重低音”。

S24，根据参数变换的结果确定所述预设音频流的转换方式，将所述转换方式作为所述变声器模型。

具体地，所述变声器模型就是针对发音人特点的属性进行转换变化相关的计算公式，即数学模型。主要是针对后续所拦截的音频流的音量、音调、语速及发音频点等参数进行修正；该数学模型作为这些参数的具体的转换方式的模板。

S13，播放所述变声的音频流。

请参阅图4，显示为本发明的声音处理方法于一实施例中的模型选择流程图。如图4所示，所述变声器模型可以有多个，作为候选变声器模型供用户选择。多个变声器模型可以是用户利用终端由云端服务器中预先下载的变声器模型，也可以是用户自己经过参数调整生成并存储的多个变声器模型。例如，用户通过参数调整，合成思念的家人声音。由此，所述声音处理方法还包括以下步骤：

S10，由多个候选变声器模型中确定需利用的变声器模型。由此，本发明向用户提供多种丰富的预先设定的变声器模型，在发音人的选择上给用户更多的选择空间，降低与他人所使用发音人发生重复的概率。

于一实施例中，S10包括以下步骤：

(1)获取用户针对多个候选变声器模型的选择指令；所述多个候选变声器模型是预先生成的分别与多个期望声音匹配的变声器模型。

(2)根据所述选择指令确定需利用的变声器模型。

于一实施例中，在S12步骤之前，所述声音处理方法还包括以下步骤：初始化变声器引擎；利用所述变声器引擎加载所述变声器模型。

具体地，初始化变声器引擎是指加载基础配置项，主要是针对基础TTS特性的修正，与之对应的具体初始化的参数主要包括基础发音人的发音的频点数据、语速、音调，音量等；后期变声处理中，发音的频点数据、语速、音调，音量需要与变声器模型进行叠加计算。

具体地，加载是指当用户已经明确使用某一种变声器模型后，后续的音频都会经过该变声器模型对基础发音人的发音的频点数据、语速、音调，音量等关键参数进行转换，鉴于经常使用，所以读取到计算内存中以便提升效率。

请参阅图5，显示为本发明的声音处理方法于一实施例中的变声应用原理图。如图5所示，智能车载端具有TTS功能，可以提供TTS服务，以具体实例呈现了变声器模型从生成到应用的整个过程。

如图5所示，用户在所用终端登入参数调整界面，设置音调改变参数，设置发音变速参数，进而设置附加音效，确定发音人的风格，在各参数设置完毕之后，保存变声器模型参数，至此，变声器模型生成，等待调用。

如图5所示，智能车载端TTS服务开始启动，向基础TTS模型提供需要播报的内容，基础TTS模型合成基础播报音频，智能车载端TTS服务由基础TTS模型中获取合成的基础播报音频流，并发送至变衡器引擎。首先，初始化变声器引擎，并加载用户选定的变声器模型，利用变声器模型对基础播报音频流进行变声处理，生成变声后的音频流，并将变声后的音频流发送至智能车载端TTS服务，最后通过车载端的扬声器播放声音。

由此，本发明结合变声器原理，在终端的基础TTS音质的基础上，对合成的音频流通过重采样(即拦截音频流)、变调、变速等音频信号处理技术，快速调整发音效果，创建个性化的发音人模型，并且可以随时调整发音效果。与此同时，还可以在达到与商业发音人相似发音效果的同时，规避昂贵的TTS音效训练成本。

本发明所述的声音处理方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。

本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述声音处理方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的计算机可读存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的计算机存储介质。

请参阅图6，显示为本发明的电子设备于一实施例中的结构连接示意图。如图6所示，本实施例提供一种电子设备6，具体包括：处理器61及存储器62；所述存储器62用于存储计算机程序，所述处理器61用于执行所述声音处理方法的各个步骤。

上述的处理器61可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Alication SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable GateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

上述的存储器62可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

于实际应用中，所述电子设备可以是包括存储器、存储控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、显示屏、其他输出或控制设备，以及外部端口等所有或部分组件的具备TTS能力的计算机；所述计算机包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal Digital Assistant，简称PDA)等个人电脑，所述电子设备还可以是车机端或是智能眼镜、智能手表或其他可穿戴设备。在另一些实施方式中，所述电子设备还可以是服务器，所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以是由分布的或集中的服务器集群构成的云服务器，本实施例不作限定。由此，本发明可以通过不同的电子设备执行所述声音处理方法，提升了用户使用手机、车机等电子设备的体验。

于一实施例中，所述电子设备为车载智能终端，所述声音处理方法可以应用在车载智能终端上的条件为：车载智能终端需要包含TTS能力，车载智能终端需要有基础TTS发音人。

综上所述，本发明所述声音处理方法、存储介质及电子设备能够以低成本的方式使用户在短时间内即可获取定制化变声音效。通过将多种可调整参数开放给用户，可以使用户调整各参数后生成不同音效的发音人，能够根据个人喜好随意变化，实现与期望发音人相似的效果。通过变声器模型对合成的音频流进行再加工，获取与用户期望一致的变声效果。通过不同的电子设备执行所述声音处理方法，提升了用户使用手机、车机等电子设备的体验。使得用户可以在音效变换和风格变换上进行灵活设置，便于生成自定义的发音人进行语音播报。向用户提供多种丰富的预先设定的变声器模型，在发音人的选择上给用户更多的选择空间，降低与他人所使用发音人发生重复的概率。本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (11)

1.一种声音处理方法，其特征在于，所述声音处理方法包括以下步骤：

获取音频流；所述音频流由待播报文本内容合成；

利用预先生成的变声器模型对所述音频流进行变声处理，生成变声的音频流；所述变声器模型是指对预设音频流进行变声参数设置后生成的过滤器模型；

播放所述变声的音频流。

2.根据权利要求1所述的声音处理方法，所述变声器模型的生成，包括以下步骤：

对所述预设音频流进行特征提取，生成关键特征；

显示一参数调整界面；

响应于所述参数调整界面上的调整指令，对所述关键特征进行参数变换，其中，参数变换包括：音效变换和风格变换；

根据参数变换的结果确定所述预设音频流的转换方式，将所述转换方式作为所述变声器模型。

3.根据权利要求2所述的声音处理方法，所述参数调整界面中呈现调整引导信息，所述调整引导信息用于针对用户所需要的期望声音提供调整方向的建议信息。

4.根据权利要求2所述的声音处理方法，所述调整指令包括音量调整指令、音调调整指令、语速调整指令和频点移动指令；所述音效变换至少包括以下步骤之一：

响应于所述参数调整界面上生成的音量调整指令，修改所述预设音频流的音量特征；

响应于所述参数调整界面上生成的音调调整指令，修改所述预设音频流的音调特征；

响应于所述参数调整界面上生成的语速调整指令，修改所述预设音频流的语速特征；

响应于所述参数调整界面上生成的频点移动指令，对所述预设音频流进行频点移动。

5.根据权利要求2所述的声音处理方法，所述调整指令包括频点调整指令；所述风格变换包括以下步骤：

响应于所述参数调整界面上生成的风格选择指令，确定基础风格；

呈现与所述基础风格相对应的所述预设音频流的频点数据；

根据所述频点调整指令调整所述频点数据，生成自定义风格。

6.根据权利要求1所述的声音处理方法，在所述利用预先生成的变声器模型对所述音频流进行变声处理的步骤之前，所述声音处理方法还包括以下步骤：

初始化变声器引擎；

利用所述变声器引擎加载所述变声器模型。

7.根据权利要求6所述的声音处理方法，所述获取音频流，包括以下步骤：

通过所述变声器引擎拦截文本转语音系统中的音频流。

8.根据权利要求7所述的声音处理方法，所述利用预先生成的变声器模型对所述音频流进行变声处理，生成变声的音频流，包括以下步骤：

调用与所述变声器模型对应的应用程序编程接口，对所述音频流进行变声处理；其中，所述应用程序编程接口用于提供所述文本转语音系统与所述变声器引擎之间的通信通道。

9.根据权利要求1所述的声音处理方法，在所述获取音频流的步骤之前，所述声音处理方法还包括以下步骤：

获取用户针对多个候选变声器模型的选择指令；所述多个候选变声器模型是预先生成的分别与多个期望声音匹配的变声器模型；

根据所述选择指令确定需利用的变声器模型。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9中任一项所述的声音处理方法。

11.一种电子设备，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行如权利要求1至9中任一项所述的声音处理方法。

Images