CN115985330A - 一种音频编解码的系统和方法 - Google Patents

Abstract

本发明公开了一种音频编解码的系统，包括：编码模块、解码模块；所述编码模块，用于将音频进行编码，将编码后字符存储在隐藏空间，生成隐变量；将所述隐变量传输到所述解码模块；所述解码模块，用于接受所述编码模块传输的所述隐变量；将所述隐变量转化为实际语音输出。本发明还公开了一种音频编解码方法。解决了现有技术存在的需要传输的音频过大传输速度耗时长、解码得到的音频质量差的技术缺陷，进而达到可以实现编码速度快、时间损耗小、解码的还原度高、可以无损地将音频还原输出的技术效果。

Description

一种音频编解码的系统和方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种音频编解码的系统和方法。

背景技术

近年来，随着人工智能，数字人，元宇宙的发展，用户对于高清数字通讯的需求也越来越迫切，在2G、3G时代，电话机器人多采用将音频按照8k采样率进行压缩以实现语音传输，但是随着用户对高清语音的追求，基于8k采样率的语音传输方案已经不能满足人们通话需求，其会损失音频质量，令用户无法体验高清语音方案，或在体验过程中的用户体验不佳。

相关技术中，实现语音传输的音频编解码系统通常包括以下几种方式：基于信号过程利用opus等系统，虽然该系统支持16k采样率的语音传输方案，但在实际运用过程中仍会有损音质；或者，基于自回归网络的wavernn编码系统，虽然该系统效果相较于纯数字信号过程有所提升，但其最高也仅支持16k采样率的语音传输。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：由于高清音频容量比较大，传输起来对带宽和流量消耗都是非常大的；上述相关技术中的方式均无法满足高清音频的传输，无论在传输效率还是传输质量上均不理想。

发明内容

有鉴于此，本发明实施例提供一种音频编解码的系统和方法，能够达到可以实现编码速度快、时间损耗小、解码的还原度高、可以无损地将音频还原输出的技术效果。

为实现上述目的，根据本发明实施例的一个方面，提供了一种音频编解码的系统，包括：编码模块、解码模块；

所述编码模块，用于将音频进行编码，将编码后字符存储在隐藏空间，生成隐变量；将所述隐变量传输到所述解码模块；

所述解码模块，用于接受所述编码模块传输的所述隐变量；将所述隐变量转化为实际语音输出。

可选地，所述编码模块至少包括一个下采样模块；

所述解码模块至少包括一个上采样模块。

可选地，所述下采样模块包括：卷积块；

所述卷积块，根据预设子频带数对所述音频进行降维。

可选地，所述卷积块，还用于根据预设采样率，确定所述音频对应的采样音频；

根据所述采样音频对所述存储空间进行压缩，生成压缩音频。

可选地，所述下采样模块还包括：第一残差块；

所述第一残差块用于防止梯度消失，保留音频对应的信息。

可选地，所述上采样模块包括：反卷积块；

所述反卷积块，根据预设子频带数对所述隐变量进行还原。

可选地，所述上采样模块还包括：第二残差块；

所述第二残差块用于防止梯度消失，保留音频对应的信息。

可选地，还包括：判别器；

所述判别器用于对所述编码器和所述解码器进行对抗训练；

所述判别器包括：卷积层、下采样层、残差层和判别特征模块。

可选地，还包括：训练模块；

所述训练模块用于对所述判别器、所述编码模块和所述解码模块进行训练，直至所述判别器、所述编码模块和所述解码模块收敛。

根据本发明实施例的再一个方面，提供了一种音频编解码的方法，包括：

对音频进行编码，将编码后字符存储在隐藏空间，生成隐变量；

将所述隐变量传输到所述解码模块；

所述解码模块，用于接受所述编码模块传输的所述隐变量；将所述隐变量转化为实际语音输出。

根据本发明实施例的另一个方面，提供了一种音频编解码的电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明提供的音频编解码的方法。

根据本发明实施例的还一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明提供的音频编解码的方法。

上述发明中的一个实施例具有如下优点或有益效果：

本发明通过在编码模块利用神经网络生成隐变量(也就是编码特征)并通过解码模块还原音频的技术手段，避免了现有技术存在的需要传输的音频过大传输速度耗时长、解码得到的音频质量差的技术缺陷，进而达到可以实现编码速度快、时间损耗小、解码的还原度高、可以无损地将音频还原输出的技术效果。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的一种音频编解码的系统主要模块的示意图；

图2为编码模块的结构示意图；

图3为解码模块的结构示意图；

图4是根据本发明实施例的一种音频编解码的方法的主要流程的示意图；

图5是本发明实施例可以应用于其中的示例性系统架构图；

图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的一种音频编解码的系统主要模块的示意图。

如图1所示，一种音频编解码的系统100，包括：编码模块101、解码模块102；

所述编码模块(codec)，用于将音频进行编码，将编码后字符存储在隐藏空间，生成隐变量；将所述隐变量传输到所述解码模块。编码模块负责将高清音频编码为低维度信息，缩小高清信号大小。

所述解码模块(decodec)，用于接受所述编码模块传输的所述隐变量；将所述隐变量转化为实际语音输出。解码模块一般设置在客户端，将编码器编码的特征进行还原。

本发明通常用于不同客户端之间的音频传输，现有技术一般采用客户端A向客户端B传输高清音频，而本发明由客户端A执行音频编5码，由客户端B执行音频解码进而实现音频的传输。

本发明所采用的音频编解码系统，是基于神经网络模型实现的对音频的编码与解码。通过该系统将音频进行编码，可编码到容量很低的隐空间中生成隐变量，对隐变量进行传输。使得在很短的时间段内即可完成音频对应隐变量的传输。等到传输完成，再利用深度学习网0络，在解码模块中将隐变量变换为实际语音输出，以此解决传输上的难题。

本发明通过在编码模块利用神经网络生成隐变量(也就是编码特征)并通过解码模块还原音频的技术手段，避免了现有技术存在的需5要传输的音频过大传输速度耗时长、传输得到的音频质量差的技术缺陷，进而达到可以实现编码速度快、时间损耗小、解码的还原度高、可以无损地将音频还原输出的技术效果。

可选地，所述编码模块至少包括一个下采样模块；

0所述解码模块至少包括一个上采样模块。

可选地，所述下采样模块包括：卷积块；

所述卷积块，根据预设子频带数对所述音频进行降维。实际上可以利用PQMF算法根据据预设子频带数对所述音频进行降维。

本发明中，音频编码器由一系列的下采样模块构成。具体而言，通过残差网络组成下采样模块。另外，为了高效编解码和后面流式化考虑，采用卷积作为下采样模块的基础。为了提高速度，可以利用PQMF算法(Pseudo-QuadratureMirrorFilters，主要是利用信号变换，将原信0号分解为不同的子频带信号，也可以将频带子信号还原为原信号)，首先将音频进行降维。例如原来音频的长度为T，子频带分解数可以设置为N，使得音频长度降低到原来的N倍(N＝2，4，6，8，…)，实践中利用N＝4或者N＝8都可以取得很好效果。

每一下采样模块是由卷积块和残差块组成。其中，卷积块可以设置为N倍步长，会导致原来的音频缩小为1/N。

在具体实施例中，采用3-4个下采样模块，每个下采样模块根据不同的压缩比来选择。最后有一层卷积层将特征进行编码，编码成需要维度，实验中我们采用的压缩比为64。其中，图2为编码模块的结构示意图。

可选地，所述卷积块，还用于根据预设采样率，确定所述音频对应的采样音频；

根据所述采样音频对所述存储空间进行压缩，生成压缩音频。

可选地，所述下采样模块还包括：第一残差块；

所述第一残差块用于防止梯度消失，保留音频对应的信息。

可选地，所述上采样模块包括：反卷积块；

所述反卷积块，利用PQMF算法根据预设子频带数对所述隐变量进行还原。其中，图3为解码模块的结构示意图。

解码模块是编码模块的逆过程。和编码模块的结构与原理对称，解码模块由一系列上采样模块构成，上采样模块有反卷积块和残差块构成，最后通过PQMF算法将编码特征还原为音频输出。

可选地，所述上采样模块还包括：第二残差块；

所述第二残差块用于防止梯度消失，保留音频对应的信息。

实际上，在进行编解码之前还包括采用对抗训练完成对编码模块和解码模块的训练。在本发明具体实施例中，引入判别器作为对抗训练的模块。因此，音频编解码系统还可以还包括：判别器。判别器用于对所述编码器和所述解码器进行对抗训练。所述判别器可以包括：卷积层、下采样层、残差层和判别特征模块。

在本发明可选实施例中，可以采用对抗训练的思路完成模型训练。

在训练样本上，我们使用10w条高清语料左右训练语料(只需要音频文件可以不需要文本)来训练模型，高清语料的总时长大概可以设置为150h。实际训练过程中，

包括如下步骤：

S1、首先将音频的特征变换为float32；

S2、然后输入到编码模块中，由编码器将其编码得到编码特征；

S3、然后由解码模块还原为音频，将得到的输出结果；

S4、并将输出结果输入至判别器中进行对抗训练。

在本发明具体实施例中，判别器由时域判别器子模块和频域判别器子模块组成。无论是时域判别器子模块，也可以是频域判别器子模块均可以包括：卷积层、下采样层、残差层和判别特征模块。

可选地，还包括：训练模块；

所述训练模块用于对所述判别器、所述编码模块和所述解码模块进行训练，直至所述判别器、所述编码模块和所述解码模块收敛。

在对抗网络进行训练过程中，是对上述音频编解码系统与判别器进行交互训练。具体过程如下：

预设第一输出结果为：训练音频通过编码解码后的输出结果；第二输出结果为：生成器输出的结果输入到判别器后得到的输出结果。

当所述训练模块用于训练所述编解码器时，根据所述训练音频和所述第一输出结果进行频域特征转化，并将所述转频域特征转化后结果的均方误差作为编解码器第一损失；将所述第二输出结果与1的均方误差作为编解码器第二损失；结合所述编解码器第一损失和所述编解码器第二损失，生成解码器损失数据；根据所述解码器损失数据，更新所述编解码器的参数。

可选地，当所述训练模块用于训练所述判别器时，根据所述第一输出结果与1的均方误差，生成判别器第一损失；根据所述第二输出结果与0的均方误差，生成判别器第二损失；结合所述判别器第一损失和所述判别器第二损失，生成判别器损失数据；根据所述判别器损失数据，更新所述判别器的参数。(上述1即数字1，在对抗网络中表示为真的意思；0即数字0，表示为假的意思)

在本发明可选实施例中通过训练交替运行，训练一次音频编解码系统，接着训练一次判别器直至模型收敛，进而可以有效提高音频编解码系统的传输音频的精度，从而提高音频压缩传输过程真实度的技术效果。

图4是根据本发明实施例的一种音频编解码的方法的主要流程的示意图，如图4所示，

根据本发明实施例的再一个方面，提供了一种音频编解码的方法，包括：

步骤S401、对音频进行编码，将编码后字符存储在隐藏空间，生成隐变量；

步骤S402、将所述隐变量传输到所述解码模块；

步骤S403、所述解码模块接受所述编码模块传输的所述隐变量；将所述隐变量转化为实际语音输出。

下面以一具体实施例说明音频编解码的方法

在实际传输音频过程中，首先，客户端A通过编码模块将音频进行编码，编码特征为Z。然后将Z通过网络传输的目标客户端B，在客户端B上将Z通过解码器对其解码使用。

以1s音频为例，我们这里指的高清音频是48k采样率，1s就有48000个点，每个点是float321s音频就有48000*4个字节192KB，在上采样模块进行三阶压缩(里面的数字表示下采样的倍数)(5，5，3，PQMF选择8，则压缩后就有48000/(8*5*5*3)*64＝80*64个样本点，占用空间20kB左右相当于原来1/10，所以可以达到提高传输效率的技术手段。同理，如果利用四阶压缩(5，5，6，2)PQMF选择8，则占用空间只有5kB左右。

本发明的音频编解码系统/方法，主要有两个优势：

1)编码速度快，一般10s音频只需要10-20ms，且基本没有时间损失。

2)解码的还原度高，且解码模块可以无损地将音频特征还原为高清音质输出。

另外，本发明采用对抗训练的方式训练音频解码系统，可以使得训练音频解码系统得到更好的效果。基于上述改进，不仅使得音频编解码系统在进行音频传输的效率与效果上显著改善，并且令模型的训练成本也显著下降，并且模型的大小较于相关技术中的同类系统也得到有效的控制。

图5示出了可以应用本发明实施例的音频编解码的方法或音频编解码的装置5的示例性系统架构500。

如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的音频编解码的方法一般由服务器505执行，相应地，音频编解码的装置一般设置于服务器505中。

应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图6，其示出了适于用来实现本发明实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM603中，还存储有系统600操作所需的各种程序和数据。CPU601、ROM602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：

对音频进行编码，将编码后字符存储在隐藏空间，生成隐变量；

将所述隐变量传输到所述解码模块；

所述解码模块，用于接受所述编码模块传输的所述隐变量；将所述隐变量转化为实际语音输出。

根据本发明实施例的技术方案，可以达到如下技术效果：

本发明通过在编码模块利用神经网络生成隐变量(也就是编码特征)并通过解码模块还原音频的技术手段，避免了现有技术存在的需要传输的音频过大传输速度耗时长、解码得到的音频质量差的技术缺陷，进而达到可以实现编码速度快、时间损耗小、解码的还原度高、可以无损地将音频还原输出的技术效果。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (12)

1.一种音频编解码的系统，其特征在于，包括：编码模块、解码模块；

所述编码模块，用于将音频进行编码，将编码后字符存储在隐藏空间，生成隐变量；将所述隐变量传输到所述解码模块；

所述解码模块，用于接受所述编码模块传输的所述隐变量；将所述隐变量转化为实际语音输出。

2.根据权利要求1所述的系统，其特征在于，所述编码模块至少包括一个下采样模块；

所述解码模块至少包括一个上采样模块。

3.根据权利要求2所述的系统，其特征在于，所述下采样模块包括：卷积块；

所述卷积块，根据预设子频带数对所述音频进行降维。

4.根据权利要求3所述的系统，其特征在于，所述卷积块，还用于根据预设采样率，确定所述音频对应的采样音频；

根据所述采样音频对所述存储空间进行压缩，生成压缩音频。

5.根据权利要求3所述的系统，其特征在于，所述下采样模块还包括：第一残差块；

所述第一残差块用于防止梯度消失，保留音频对应的信息。

6.根据权利要求2所述的系统，其特征在于，所述上采样模块包括：反卷积块；

所述反卷积块，根据预设子频带数对所述隐变量进行还原。

7.根据权利要求6所述的系统，其特征在于，所述上采样模块还包括：第二残差块；

所述第二残差块用于防止梯度消失，保留音频对应的信息。

8.根据权利要求1-7中任一所述的系统，其特征在于，还包括：判别器；

所述判别器用于对所述编码器和所述解码器进行对抗训练；

所述判别器包括：卷积层、下采样层、残差层和判别特征模块。

9.根据权利要求8中任一所述的系统，其特征在于，还包括：训练模块；

所述训练模块用于对所述判别器、所述编码模块和所述解码模块进行训练，直至所述判别器、所述编码模块和所述解码模块收敛。

10.一种音频编解码的方法，其特征在于，包括：

对音频进行编码，将编码后字符存储在隐藏空间，生成隐变量；

将所述隐变量传输到所述解码模块；

所述解码模块接受所述编码模块传输的所述隐变量；

将所述隐变量转化为实际语音输出。

11.一种音频编解码的电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求10所述的方法。

12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求10所述的方法。

Images