CN116011556A - 一种训练音频编解码器的系统和方法 - Google Patents

Abstract

本发明公开了一种训练音频编解码器的系统，包括：编解码器、判别器和训练模块；所述编解码器，用于将训练音频进行特征变换，生成音频数据；将所述音频数据进行编码，生成编码特征；对所述编码特征进行解码，得到第一输出结果；将所述第一输出结果输入至判别器；所述判别器，用于将所述第一输出结果作为输入；输出第二输出结果；训练模块，用于根据所述第一输出结果、所述第二输出结果和所述训练音频，对所述判别器和所述编解码器进行训练，直至所述判别器和所述编解码器收敛。本发明还提供一种训练音频编解码器的方法，可以达到提高训练得到编解码器编码过程和解码过程准确性、降低训练所需要算力的技术效果。

Description

一种训练音频编解码器的系统和方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种训练音频编解码器的系统和方法。

背景技术

现有技术中，音频数据通常按照8k采样率进行压缩以实现语音传输。随着用户对高清语音的高要求越来越，而基于8k采样率的语音传输方案由于音频质量损失较大，已经越来越不能满足人们通话需求，用户无法体验高清语音方案，或在体验过程中的用户体验不佳。

虽然现有技术提出了在音频编解码系统传输之前，基于神经网络模型训练编码与解码系统的方案。但是，这些训练方法一般较为复杂，需要消耗较大算力，且生成的神经网络模型对再语音传输的过程中有较大音损。

发明内容

有鉴于此，本发明实施例提供一种新的训练音频编解码器的系统和方法，能够达到在训练编解码器过程中，提高训练准确性、降低训练所需算力的技术效果。

为实现上述目的，根据本发明实施例的一个方面，提供了一种训练音频编解码器的系统，包括：编解码器、判别器和训练模块；

所述编解码器，用于将训练音频进行特征变换，生成音频数据；将所述音频数据进行编码，生成编码特征；对所述编码特征进行解码，得到第一输出结果；将所述第一输出结果输入至判别器；

所述判别器，用于将所述第一输出结果作为输入；输出第二输出结果；

训练模块，用于根据所述第一输出结果、所述第二输出结果和所述训练音频，对所述判别器和所述编解码器进行训练，直至所述判别器和所述编解码器收敛。

可选地，将所述音频数据进行编码，生成编码特征之前，包括：

确定用于分解音频数据的子频带分解数；

根据所述子频带分解数，对所述音频数据进行降维分解，生成子频带分解数对应段音频数据。

可选地，所述判别器包括：时域判别器子模块和频域判别器子模块。

可选地，所述时域判别器子模块包括：第一卷积层、第一下采样层、第一残差层和第一判别特征模块；

将所述第一输出结果输入至所述第一卷积层进行卷积处理，将卷积处理的结果输入至所述第一下采样层；

所述第一下采样层接受所述卷积处理的结果，并将所述卷积处理结果进行预设特征变换，将所述预设特征变换的结果输入至所述第一残差层；

所述第一残差层接受所述预设特征变换的结果，并将输出至所述第一判别特征模块；

所述第一判别特征模块对所述残差层的输出进行判别，生成第二输出结果。

可选地，所述频域判别器子模块包括：第二卷积层、第二下采样层、第二残差层和第二判别特征模块；

将所述第一输出结果对应的频域特征输入至所述第二卷积层进行卷积处理，将卷积处理的结果输入至所述第二下采样层；

所述第二下采样层接受所述卷积处理的结果，并将所述卷积处理结果进行预设特征变换，将所述预设特征变换的结果输入至所述第二残差层；

所述第二残差层接受所述预设特征变换的结果，并将输出至所述第二判别特征模块；

所述第二判别特征模块对所述残差层的输出进行判别，生成第二5输出结果。

可选地，训练所述编解码器与训练所述判别器交替进行或同时进行。

0可选地，当所述训练模块用于训练所述编解码器时，

根据所述训练音频和所述第一输出结果进行频域特征转化，并将所述转频域特征转化后结果的均方误差作为编解码器第一损失；

将所述第二输出结果与1的均方误差作为编解码器第二损失；

结合所述编解码器第一损失和所述编解码器第二损失，生成解码5器损失数据；

根据所述解码器损失数据，更新所述编解码器的参数。

可选地，当所述训练模块用于训练所述判别器时，

根据所述第一输出结果与1的均方误差，生成判别器第一损失；0根据所述第二输出结果与0的均方误差，生成判别器第二损失；

结合所述判别器第一损失和所述判别器第二损失，生成判别器损失数据；

根据所述判别器损失数据，更新所述判别器的参数。

5根据本发明实施例的再一个方面，提供了一种训练音频编解码器的方法，包括：

将训练音频进行特征变换，生成音频数据；

将所述音频数据进行编码，生成编码特征；

对所述编码特征进行解码，得到第一输出结果；将所述第一输出0结果输入至判别器；

将所述第一输出结果作为所述判别器的输入，输出第二输出结果；

根据所述第一输出结果、所述第二输出结果和所述训练音频，进行训练。

根据本发明实施例的另一个方面，提供了一种训练音频编解码器的电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明提供的训练音频编解码器的方法。

根据本发明实施例的还一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明提供的训练音频编解码器的方法。

上述发明中的一个实施例具有如下优点或有益效果：

本发明通过对编解码器和判别器训练，解决了现有技术存在的训练编码与解码系统的方法较为复杂、消耗较大算力、且生成的神经网络模型对语音传输的过程中有较大音损的技术缺陷，进而训练编解码器达到提高编解码过程准确性、降低训练所需算力的技术效果。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的训练音频编解码器的系统的主要模块的示意图；

图2是根据本发明实施例的训练音频编解码器的方法的主要流程的示意图；

图3是本发明实施例可以应用于其中的示例性系统架构图；

图4是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的训练音频编解码器的系统的主要模块的示意图。

如图1所示，提供了一种训练音频编解码器的系统100，包括：编解码器101、判别器102和训练模块103。

所述编解码器101，用于在音频编码部分(codec)将训练音频进行特征变换，生成音频数据；将所述音频数据进行编码，生成编码特征；在音频解码部分(decodec)，对所述编码特征进行解码，得到第一输出结果；将所述第一输出结果输入至判别器。在此训练过程中，将音频进行编码和解码的操作实际上是为了模拟在该编解码器的工作情况。通过将训练音频在编解码器中进行编码后解码的操作，可以获取编解码器的工作情况，进而实现确定解码后音频与原音频部分的误差。

所述判别器102，用于将所述第一输出结果作为输入；输出第二输出结果。判别器的作用是判别编解码器生成的数据相对于原始训练音频的真假。也就是判别原始训练数据与第一输出结果之间是否一致；若不一致，则判别结果为False/0；若一致，则判别结果为True/1。也就是说，通过判别结果为0/1即可得出编解码器的解码部分输出的音频相似与否；当判别结果靠近0，则说明编解码器的编解码过程与原始音频差距较大。当判别结果靠近1，则说明编解码器的编解码过程与原始音频差距较小。

训练模块103，用于根据所述第一输出结果、所述第二输出结果和所述训练音频，对判别器和所述编解码器进行训练，直至判别器和编码器收敛。实际上该训练模块包含两个功能，分别对判别器进行训练和对编解码器进行训练。其中，判别器是辅助训练编解码器的，通过对判别器和编解码器的交替训练实现判别器和编码器的收敛。

本发明通过对编解码器和判别器的训练的技术手段，解决了现有技术存在的基于神经网络模型训练编码与解码系统的方法一般较为复杂、需要消耗较大算力、且生成的神经网络模型对再语音传输的过程中有较大音损的技术缺陷，进而达到提高训练得到编解码器编码过程和解码过程准确性、降低训练所需要算力的技术效果。

可选地，将所述音频数据进行编码，生成编码特征之前，包括：

确定用于分解音频数据的子频带分解数；

根据所述子频带分解数，对所述音频数据进行降维分解，生成子频带分解数对应段音频数据。

对音频进行降维分解也是编解码器对音频处理的其中一个步骤，其目的为将原本的音频分解为多个段，进而方便对各段音频进行编码传输，缩短传输的速度。例如，音频长度为T，可以利用N子频带分解数，使得音频长度降低到原来的N倍。在实际应用中，N的取值可以是偶数，例如N为2、4、6、8等。

可选地，所述判别器包括：时域判别器子模块和频域判别器子模块。

可选地，所述时域判别器子模块包括：第一卷积层、第一下采样层、第一残差层和第一判别特征模块；

将所述第一输出结果输入至所述第一卷积层进行卷积处理，将卷积处理的结果输入至所述第一下采样层；

所述第一下采样层接受所述卷积处理的结果，并将所述卷积处理结果进行预设特征变换，将所述预设特征变换的结果输入至所述第一残差层；

所述第一残差层接受所述预设特征变换的结果，并将输出至所述第一判别特征模块；

所述第一判别特征模块对所述残差层的输出进行判别，生成第二输出结果。

可选地，所述频域判别器子模块包括：第二卷积层、第二下采样层、第二残差层和第二判别特征模块；

将所述第一输出结果对应的频域特征输入至所述第二卷积层进行卷积处理，将卷积处理的结果输入至所述第二下采样层；

所述第二下采样层接受所述卷积处理的结果，并将所述卷积处理结果进行预设特征变换，将所述预设特征变换的结果输入至所述第二残差层；

所述第二残差层接受所述预设特征变换的结果，并将输出至所述第二判别特征模块；

所述第二判别特征模块对所述残差层的输出进行判别，生成第二输出结果。

可选地，训练所述编解码器与训练所述判别器交替进行或同时进行。

在实际运用中，可以训练交替训练所述编解码器与训练所述判别器，训练一次音频编解码系统，接着训练一次判别器直至模型收敛，可以有效提高音频编解码系统的生成精度，从而提高音频压缩过程的效果。

可选地，当所述训练模块用于训练所述编解码器时，

根据所述训练音频和所述第一输出结果进行频域特征转化，并将所述转频域特征转化后结果的均方误差作为编解码器第一损失；

将所述第二输出结果与1的均方误差作为编解码器第二损失；

结合所述编解码器第一损失和所述编解码器第二损失，生成解码器损失数据；

根据所述解码器损失数据，更新所述编解码器的参数。

可选地，当所述训练模块用于训练所述判别器时，

根据所述第一输出结果与1的均方误差，生成判别器第一损失；

根据所述第二输出结果与0的均方误差，生成判别器第二损失；

结合所述判别器第一损失和所述判别器第二损失，生成判别器损失数据；

根据所述判别器损失数据，更新所述判别器的参数。

上述1即数字1，在对抗网络中表示为真的意思。0即数字0，表示为假的意思。

在完成训练后的音频编解码器则无需训练模型的参与，即可进行编解码操作的过程。

具体地，完成训练的音频编解码的系统包括：编码模块、解码模块；

编码模块(codec)，用于将音频进行编码，将编码后字符存储在隐藏空间，生成隐变量；将所述隐变量传输到所述解码模块。编码模块负责将高清音频编码为低维度信息，缩小高清信号大小。

解码模块(decodec)，用于接受所述编码模块传输的所述隐变量；将所述隐变量转化为实际语音输出。解码模块一般设置在客户端，将编码器编码的特征进行还原。

本发明所述的音频编解码系统，是基于神经网络模型实现的对音频的编码与解码。通过该系统将音频进行编码，可编码到容量很低的隐空间中生成隐变量，对隐变量进行传输。使得在很短的时间段内即可完成音频对应隐变量的传输。等到传输完成，再利用深度学习网络，在解码模块中将隐变量变换为实际语音输出，以此解决传输上的难题。

另外，在编码模块利用神经网络生成隐变量(也就是编码特征)

并通过解码模块还原音频的技术手段，避免了现有技术存在的需要传输的音频过大传输速度耗时长、传输得到的音频质量差的技术缺陷，5进而达到可以实现编码速度快、时间损耗小、解码的还原度高、可以无损地将音频还原输出的技术效果。

其中，所述编码模块至少包括一个下采样模块；

所述解码模块至少包括一个上采样模块。

可选地，下采样模块包括：卷积块；

卷积块，根据预设子频带数对所述音频进行降维。实际上可以利用PQMF算法根据据预设子频带数对所述音频进行降维。

5本发明中，音频编码器由一系列的下采样模块构成。具体而言，

通过残差网络组成下采样模块。另外，为了高效编解码和后面流式化考虑，采用卷积作为下采样模块的基础。为了提高速度，可以利用PQMF算法(Pseudo-QuadratureMirrorFilters，主要是利用信号变换，将原信号分解为不同的子频带信号，也可以将频带子信号还原为原信号)，0首先将音频进行降维。例如原来音频的长度为T，子频带分解数可以设置为N，使得音频长度降低到原来的N倍(N＝2，4，6，8，…)，实践中利用N＝4或者N＝8都可以取得很好效果。

每一下采样模块是由卷积块和残差块组成。其中，卷积块可以设置为N倍步长，会导致原来的音频缩小为1/N。

5在具体实施例中，采用3-4个下采样模块，每个下采样模块根据不同的压缩比来选择。最后有一层卷积层将特征进行编码，编码成需要维度，实验中我们采用的压缩比为64。其中，图2为编码模块的结构示意图。

0可选地，所述卷积块，还用于根据预设采样率，确定所述音频对应的采样音频；

根据所述采样音频对所述存储空间进行压缩，生成压缩音频。

可选地，所述下采样模块还包括：第一残差块；

所述第一残差块用于防止梯度消失，保留音频对应的信息。

可选地，所述上采样模块包括：反卷积块；

所述反卷积块，利用PQMF算法根据预设子频带数对所述隐变量进行还原。

解码模块是编码模块的逆过程。和编码模块的结构与原理对称，解码模块由一系列上采样模块构成，上采样模块有反卷积块和残差块构成，最后通过PQMF算法将编码特征还原为音频输出。

可选地，所述上采样模块还包括：第二残差块；

所述第二残差块用于防止梯度消失，保留音频对应的信息。

根据本发明实施例的再一个方面，提供了一种所述完成训练的系统进行音频编解码所对应的方法，包括：

对音频进行编码，将编码后字符存储在隐藏空间，生成隐变量；

将所述隐变量传输到所述解码模块；

所述解码模块接受所述编码模块传输的所述隐变量；将所述隐变量转化为实际语音输出。

下面以一具体实施例说明音频编解码的方法：

在实际传输音频过程中，首先，客户端A通过编码模块将音频进行编码，编码特征为Z。然后将Z通过网络传输的目标客户端B，在客户端B上将Z通过解码器对其解码使用。

以1s音频为例，我们这里指的高清音频是48k采样率，1s就有48000个点，每个点是float321s音频就有48000*4个字节192KB，在上采样模块进行三阶压缩(里面的数字表示下采样的倍数)(5，5，3，PQMF选择8，则压缩后就有48000/(8*5*5*3)*64＝80*64个样本点，占用空间20kB左右相当于原来1/10，所以可以达到提高传输效率的技术手段。同理，如果利用四阶压缩(5，5，6，2)PQMF选择8，则占用空间只有5kB左右。

本发明的音频编解码系统/方法，主要有两个优势：

1)编码速度快，一般10s音频只需要10-20ms，且基本没有时间损失。

2)解码的还原度高，且解码模块可以无损地将音频特征还原为高清音质输出。

另外，本发明采用对抗训练的方式训练音频解码系统，可以使得训练音频解码系统得到更好的效果。基于上述改进，不仅使得音频编解码系统在进行音频传输的效率与效果上显著改善，并且令模型的训练成本也显著下降，并且模型的大小较于相关技术中的同类系统也得到有效的控制。

根据本发明实施例的再一个方面，提供了一种训练音频编解码器的方法。图2是根据本发明实施例的训练音频编解码器的方法的主要流程的示意图。

如图2所示，一种训练音频编解码器的方法，包括：

步骤S201、将训练音频进行特征变换，生成音频数据；

步骤S202、将所述音频数据进行编码，生成编码特征；

步骤S203、对所述编码特征进行解码，得到第一输出结果；将所述第一输出结果输入至判别器；

步骤S204、将所述第一输出结果作为所述判别器的输入，输出第二输出结果；

步骤S205、根据所述第一输出结果、所述第二输出结果和所述训练音频，进行训练。

图3示出了可以应用本发明实施例的训练音频编解码器的方法或训练音频编解码器的装置的示例性系统架构300。

如图3所示，系统架构300可以包括终端设备301、302、303，网络304和服务器305。网络304用以在终端设备301、302、303和服务器305之间提供通信链路的介质。网络304可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备301、302、303通过网络304与服务器305交互，以接收或发送消息等。终端设备301、302、303上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备301、302、303可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器305可以是提供各种服务的服务器，例如对用户利用终端设备301、302、303所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的训练音频编解码器的方法一般由服务器305执行，相应地，训练音频编解码器的装置一般设置于服务器305中。

应该理解，图3中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图4，其示出了适于用来实现本发明实施例的终端设备的计算机系统400的结构示意图。图4示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，计算机系统400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM403中，还存储有系统400操作所需的各种程序和数据。CPU401、ROM402以及RAM403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：

将训练音频进行特征变换，生成音频数据；

将所述音频数据进行编码，生成编码特征；

对所述编码特征进行解码，得到第一输出结果；将所述第一输出结果输入至判别器；

将所述第一输出结果作为所述判别器的输入，输出第二输出结果；

根据所述第一输出结果、所述第二输出结果和所述训练音频，进行训练。

根据本发明实施例的技术方案，可以达到如下技术效果：

本发明通过对编解码器和判别器的训练的技术手段，解决了现有技术存在的训练基于神经网络模型实现的编码与解码系统的方法一般较为复杂、需要消耗较大算力、且生成的神经网络模型对再语音传输的过程中有较大音损的技术缺陷，进而达到提高训练得到编解码器编码过程和解码过程准确性、降低训练所需要算力的技术效果。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (11)

1.一种训练音频编解码器的系统，其特征在于，包括：编解码器、判别器和训练模块；

所述编解码器，用于将训练音频进行特征变换，生成音频数据；将所述音频数据进行编码，生成编码特征；对所述编码特征进行解码，得到第一输出结果；将所述第一输出结果输入至判别器；

所述判别器，用于将所述第一输出结果作为输入；输出第二输出结果；

训练模块，用于根据所述第一输出结果、所述第二输出结果和所述训练音频，对所述判别器和所述编解码器进行训练，直至所述判别器和所述编解码器收敛。

2.根据权利要求1所述的系统，其特征在于，将所述音频数据进行编码，生成编码特征之前，包括：

确定用于分解音频数据的子频带分解数；

根据所述子频带分解数，对所述音频数据进行降维分解，生成子频带分解数对应段音频数据。

3.根据权利要求1所述的系统，其特征在于，所述判别器包括：时域判别器子模块和频域判别器子模块。

4.根据权利要求3所述的系统，其特征在于，所述时域判别器子模块包括：第一卷积层、第一下采样层、第一残差层和第一判别特征模块；

将所述第一输出结果输入至所述第一卷积层进行卷积处理，将卷积处理的结果输入至所述第一下采样层；

所述第一下采样层接受所述卷积处理的结果，并将所述卷积处理结果进行预设特征变换，将所述预设特征变换的结果输入至所述第一残差层；

所述第一残差层接受所述预设特征变换的结果，并将输出至所述第一判别特征模块；

所述第一判别特征模块对所述残差层的输出进行判别，生成第二输出结果。

5.根据权利要求1所述的系统，其特征在于，所述频域判别器子模块包括：第二卷积层、第二下采样层、第二残差层和第二判别特征模块；

将所述第一输出结果对应的频域特征输入至所述第二卷积层进行卷积处理，将卷积处理的结果输入至所述第二下采样层；

所述第二下采样层接受所述卷积处理的结果，并将所述卷积处理结果进行预设特征变换，将所述预设特征变换的结果输入至所述第二残差层；

所述第二残差层接受所述预设特征变换的结果，并将输出至所述第二判别特征模块；

所述第二判别特征模块对所述残差层的输出进行判别，生成第二输出结果。

6.根据权利要求1所述的系统，其特征在于，训练所述编解码器与训练所述判别器交替进行或同时进行。

7.根据权利要求1所述的系统，其特征在于，当所述训练模块用于训练所述编解码器时，

根据所述训练音频和所述第一输出结果进行频域特征转化，并将所述转频域特征转化后结果的均方误差作为编解码器第一损失；

将所述第二输出结果与1的均方误差作为编解码器第二损失；

结合所述编解码器第一损失和所述编解码器第二损失，生成解码器损失数据；

根据所述解码器损失数据，更新所述编解码器的参数。

8.根据权利要求1所述的系统，其特征在于，当所述训练模块用于训练所述判别器时，

根据所述第一输出结果与1的均方误差，生成判别器第一损失；

根据所述第二输出结果与0的均方误差，生成判别器第二损失；

结合所述判别器第一损失和所述判别器第二损失，生成判别器损失数据；

根据所述判别器损失数据，更新所述判别器的参数。

9.一种训练音频编解码器的方法，其特征在于，包括：

将训练音频进行特征变换，生成音频数据；

将所述音频数据进行编码，生成编码特征；

对所述编码特征进行解码，得到第一输出结果；将所述第一输出结果输入至判别器；

将所述第一输出结果作为所述判别器的输入，输出第二输出结果；

根据所述第一输出结果、所述第二输出结果和所述训练音频，进行训练。

10.一种训练音频编解码器的电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求9所述的方法。

11.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求9所述的方法。

Images