CN109872730B - 音频数据的失真补偿方法、模型建立方法和音频输出设备 - Google Patents
音频数据的失真补偿方法、模型建立方法和音频输出设备 Download PDFInfo
- Publication number
- CN109872730B CN109872730B CN201910193296.6A CN201910193296A CN109872730B CN 109872730 B CN109872730 B CN 109872730B CN 201910193296 A CN201910193296 A CN 201910193296A CN 109872730 B CN109872730 B CN 109872730B
- Authority
- CN
- China
- Prior art keywords
- audio data
- audio
- data segment
- neural network
- distortion compensation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Amplifiers (AREA)
Abstract
本发明公开了一种音频数据的失真补偿方法、模型建立方法和音频输出设备，其中，音频数据的失真补偿模型建立方法，包括：将获取到的原始音频数据段输入到第一神经网络训练，得到反向失真音频数据段并输入到音频仿真模型中；获取音频仿真模型根据反向失真音频数据段输出的补偿后的音频数据段；计算原始音频数据段与对应的补偿后的音频数据段的第一偏差；基于第一偏差利用反向传播算法更新第一神经网络的权重系数，直至更新后的第一神经网络满足第一预设条件，并将最终更新的第一神经网络作为失真补偿模型。本发明有助于音频输出设备播放出来的音频得到足够的失真补偿，较高保真地还原原始音频的特征。
Description
技术领域
本发明涉及数据处理技术，特别涉及一种音频数据的失真补偿方法、模型建立方法和音频输出设备。
背景技术
播放器是播放音频的重要设备，随着技术的进步，人们对音质的要求也越来越高。传统技术中有通过人工智能的方式解决音频失真问题的方案，但是大部分补偿度较低，精度不高，未能很好的应用于播放器中。
发明内容
本发明的目的在于针对传统技术中的不足，提供一种音频数据的失真补偿方法、模型建立方法以及音频输出设备。
在一个实施例中，本发明提供了一种从计算机设备角度实施的音频数据的失真补偿模型建立方法，包括：
将获取到的原始音频数据段输入到第一神经网络训练，得到反向失真音频数据段并输入到音频仿真模型中；音频仿真模型用于模拟音频输出设备的功放电路播放出的实际音频数据；
获取音频仿真模型根据反向失真音频数据段输出的补偿后的音频数据段；
计算原始音频数据段与对应的补偿后的音频数据段的第一偏差；
基于第一偏差利用反向传播算法更新第一神经网络的权重系数，直至更新后的第一神经网络满足第一预设条件，并将最终更新的第一神经网络作为失真补偿模型。
在一个具体的实施例中，音频仿真模型通过如下方式得到：
将原始音频数据段输入到第二神经网络训练，得到模拟音频数据段；
计算模拟音频数据段和获取到的对应的实际音频数据段的第二偏差；
基于第二偏差利用反向传播算法更新第二神经网络的权重系数，直至更新后的第二神经网络满足第二预设条件，并将最终更新的第二神经网络作为音频仿真模型。
在一个具体的实施例中，第一预设条件为第一损失函数的目标值小于或等于第一阈值；第一损失函数的目标值基于以下公式得到：
其中，a表示第一损失函数的目标值；N表示原始音频数据段中的原始音频数据的总个数；zi表示补偿后的音频数据段中的第i个数据；xi表示原始音频数据段中第i个原始音频数据。
在一个具体的实施例中，第二预设条件为第二损失函数的目标值小于或等于第二阈值；第二损失函数的目标值基于以下公式得到：
其中，b表示第二损失函数的目标值；M表示实际音频数据段中实际音频数据的总个数；wi表示模拟音频数据中的第i个数据；yi表示实际音频数据段中的第i个实际音频数据。
在一个具体的实施例中，“将获取到的原始音频数据段输入到第一神经网络训练，得到反向失真音频数据段并输入到音频仿真模型中”之前还包括：
获取原始音频文件、以及功放电路播放出的与原始音频文件对应的实际音频文件；
将原始音频文件和实际音频文件根据预设时间间隔进行分段，得到各原始音频数据段、以及与原始音频数据段对应的实际音频数据段。
在一个实施例中，本发明实施例还提供了一种从音频输出设备角度实施的音频数据的失真补偿方法，包括：
获取解码后的待补偿的音频文件；将待补偿的音频文件输入至失真补偿模型，得到补偿后的音频数据；失真补偿模型通过音频数据的失真补偿模型建立方法得到；
将补偿后的音频数据输出至功放电路进行播放；功放电路为训练失真补偿模型对应的音频仿真模型所模拟的音频输出设备的功放电路。
在一个实施例中，本发明实施例还提供了一种从计算机设备角度实施的音频数据的失真补偿模型建立装置，包括：
反向失真音频数据获取模块，用于将获取到的原始音频数据段输入到第一神经网络训练，得到反向失真音频数据段并输入到音频仿真模型中；音频仿真模型用于模拟音频输出设备的功放电路播放出的实际音频数据；
补偿数据获取模块，用于获取音频仿真模型根据反向失真音频数据段输出的补偿后的音频数据段；
第一计算模块，用于计算原始音频数据段与对应的补偿后的音频数据段的第一偏差；
第一更新模块，用于基于第一偏差利用反向传播算法更新第一神经网络的权重系数，直至更新后的第一神经网络满足第一预设条件，并将最终更新的第一神经网络作为失真补偿模型。
在一个具体的实施例中，还包括：
模拟数据获取模块，用于将原始音频数据段输入到第二神经网络训练，得到模拟音频数据段；
第二计算模块，用于计算模拟音频数据段和获取到的对应的实际音频数据段的第二偏差；
第二更新模块，用于基于第二偏差利用反向传播算法更新第二神经网络的权重系数，直至更新后的第二神经网络满足第二预设条件，并将最终更新的第二神经网络作为音频仿真模型。
在一个实施例中，本发明还提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时实现音频数据的失真补偿模型建立方法。
在一个实施例中，本发明还提供了一种音频输出设备，包括主控制芯片以及连接主控制芯片的功放电路；
主控制芯片用于执行音频数据的失真补偿方法。
上述技术方案中的一个技术方案具有如下优点和有益效果：
本发明的音频数据的失真补偿方法、模型建立方法以及音频输出设备，将原始音频数据段输入到第一神经网络训练，得到反向失真音频数据并输入到音频仿真模型中，进而获取音频仿真模型根据输出的失真补偿音频数据段。通过计算原始音频数据段与对应的补偿后的音频数据段的偏差，利用反向传播算法建立失真补偿模型。本发明各实施例可实现在音频仿真模型的基础上增加第一神经网络进行叠加训练，通过音频仿真模型模拟音频输出设备的功放电路播放出的实际音频数据，从而建立出失真补偿模型，使得失真补偿模型输出的数据能够补偿音频仿真模型输出数据的失真。进而，本发明的音频数据的失真补偿方法、模型建立方法以及播放器，可实现高效率且高精度地建立失真补偿模型，能够应用于音频输出设备，有助于音频输出设备播放出来的音频得到足够的失真补偿，较高保真地还原原始音频的特征。
附图说明
图1为本发明的一个实施方式提供的从计算机设备角度实施的音频数据的失真补偿模型建立方法流程示意图；
图2为本发明的一个实施方式提供的从计算机设备角度实施的音频数据的失真补偿模型建立方法中音频仿真模型建立的流程示意图；
图3为本发明的一个实施方式提供的从计算机设备角度实施的音频数据的失真模型建立方法的具体流程示意图；
图4为本发明的一个实施方式提供的从音频输出设备角度实施的音频数据的失真补偿方法的流程示意图；
图5为本发明的一个实施方式提供的从计算机设备角度实施的音频数据的失真补偿模型建立装置的结构示意图；
图6为本发明的一个实施方式提供的从计算机设备角度实施的音频数据的失真补偿模型建立装置的又一结构示意图；
图7为本发明的一个实施方式提供的计算机设备结构示意图；
图8为本发明的一个实施方式提供的音频输出设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图结合实施例，对本发明进一步详细说明。
参见图1，在一个实施例中，本发明提供了一种从计算机设备角度实施的音频数据的失真补偿模型建立方法，包括：
步骤S110：将获取到的原始音频数据段输入到第一神经网络训练，得到反向失真音频数据段并输入到音频仿真模型中；音频仿真模型用于模拟音频输出设备的功放电路播放出的实际音频数据。
音频输出设备在播放出音频前先将数字音频进行解码，因此在播放出音频前解码后的音频文件可以认为是没有失真的，可将解码后的音频文件作为原始音频文件输入到计算机设备中，并对原始音频文件分段，得到各原始音频数据段，进而可提高训练效率，防止数据冗余。较优地，可以将原始音频文件分割为原始音频帧作为原始音频数据段。其中，音频输出设备可以为外放播放器或者耳机。第一神经网络可为循环神经网络、卷积神经网络以及深度神经网络中的任一种。
在实际播放中，解码后的音频会先经过音频输出设备的功放电路后输出。因此，在训练第一神经网络时，使用音频仿真模型模拟该功放电路，保持音频仿真模型的权重系数等参数不变，只调整第一神经网络的参数，便于有效得到反向失真音频数据经过音频仿真模型后数据，省去了搭建硬件功放电路的麻烦，提高了训练的效率。
步骤S120：获取音频仿真模型根据反向失真音频数据段输出的补偿后的音频数据段。
音频仿真模型可根据音频输出设备的种类以及型号规格的功放电路的失真特性训练得到。相当于经过音频仿真模型的音频数据像经过音频输出播放设备一样存在失真，如线性失真或非线性失真。反向失真音频数据段用于补偿消除原始音频数据段经过音频仿真模型引起的多余的调制产物或者畸变。
步骤S130：计算原始音频数据段与对应的补偿后的音频数据段的第一偏差。
第一偏差可以为原始音频数据段的电信号量与补偿后的音频数据段的电信号量的差值，其中，电信号量可以为模拟信号量，如音频电流或音频电压。原始音频数据段与对应的补偿后的音频数据段之间的差距越小则第一偏差越小。
步骤S140：基于第一偏差利用反向传播算法更新第一神经网络的权重系数，直至更新后的第一神经网络满足第一预设条件，并将最终更新的第一神经网络作为失真补偿模型。
第一神经网络包括输入层、隐藏层以及输出层，第一神经网络在未达到第一预设条件之前，利用反向传播算法从输出层、隐藏层到输入层的顺序更新以调整各节点的权重系数，直至第一神经网络达到第一预设条件。进一步地，第一神经网络是否达到第一预设条件，以预设的第一损失函数的目标值来确定，将第一偏差作为损失函数的参数计算该损失函数的目标值，即计算结果，并将该结果反馈给第一神经网络。
较优地，原始音频数据段包含多个原始音频数据，补偿后的音频数据段包含多个补偿后的音频数据。第一神经网络根据原始音频数据经过训练后输出反向失真音频数据，并将反向失真音频数据输入到音频仿真模型后输出对应的补偿后的音频数据，第一偏差包含各原始音频数据与对应的补偿后的音频数据的偏差。该预设的第一损失函数可以为该各偏差的平方和。较优地，在对第一神经网络的权重系数进行更新时，可以采用随机梯度下降法，经过多轮迭代最终使得第一神经网络达到第一预设条件，当第一神经网络满足第一预设条件时，则认为第一神经网络达到最优，进而将最终更新的第一神经网络作为失真补偿模型。其中，第一预设条件为该预设的第一损失函数的目标值达到预设值。
本发明实施例从计算机设备角度实施的音频数据的失真补偿模型建立方法，将原始音频数据段输入到第一神经网络训练，得到反向失真音频数据并输入到音频仿真模型中，进而获取音频仿真模型根据输出的失真补偿音频数据段。通过计算原始音频数据段与对应的补偿后的音频数据段的偏差，利用反向传播算法建立失真补偿模型。本发明实施例可实现在音频仿真模型的基础上增加第一神经网络进行叠加训练，通过音频仿真模型模拟音频输出设备的功放电路播放出的实际音频数据，从而建立出失真补偿模型，使得失真补偿模型输出的数据能够补偿音频仿真模型输出数据的失真。进而，本发明的音频数据的失真补偿方法、模型建立方法以及播放器，可实现高效率且高精度地建立失真补偿模型，能够应用于音频输出设备，有助于音频输出设备播放出来的音频得到足够的失真补偿，较高保真地还原原始音频的特征。
参见图2，在一个具体的实施例中，音频仿真模型通过如下方式得到：
步骤S210：将原始音频数据段输入到第二神经网络训练，得到模拟音频数据段。
第二神经网络可以为循环神经网络、卷积神经网络以及深度神经网络中的任一种。模拟音频数据用于表示音频输出设备播放出的音频。训练第二神经网络，以使第二神经网络输出的模拟音频数据段接近于音频输出设备的功放电路播放出的音频。
步骤S220：计算模拟音频数据段和获取到的对应的实际音频数据段的第二偏差。
将原始音频文件经过音频输出设备播放出来，计算机设备通过预先收录该播放出来的实际音频形成实际音频文件。进一步地，将实际音频文件按照对应的原始音频数据段等同的时间段进行分段，得到各实际音频数据段，进而可提高训练效率，防止数据冗余，较优地，可将实际音频文件分割为实际音频数据帧作为实际音频数据段。
第二偏差可以为模拟音频数据段的电信号量与对应的实际音频数据段的电信号量的差值，其中，电信号量可以为模拟信号量，如音频电流或音频电压。模拟音频数据段与实际音频数据段之间的差距越小则第二偏差越小。
步骤S230：基于第二偏差利用反向传播算法更新第二神经网络的权重系数，直至更新后的第二神经网络满足第二预设条件，并将最终更新的第二神经网络作为音频仿真模型。
第二神经网络包括输入层、隐藏层以及输出层，第二神经网络在未达到第二预设条件之前，利用反向传播算法从输出层、隐藏层到输入层的顺序更新以调整各节点的权重系数，直至第二神经网络达到第二预设条件。进一步地，第二神经网络是否达到第二预设条件，以预设的第二损失函数的目标值来确定，将第二偏差作为第二损失函数的参数计算该第二损失函数的目标值，即计算结果，并将该结果反馈给第二神经网络。
较优地，实际音频数据段包含多个实际音频数据，模拟音频数据段包含多个原始音频数据，各原始音频数据经过第二神经网络后输出对应的模拟音频数据。第二偏差包含各模拟音频数据与对应的实际音频数据的偏差。该预设的损失函数可以为各偏差的平方和。较优地，在对第二神经网络的权重系数进行更新时，可以采用随机梯度下降法，经过多伦迭代最终使得第二神经网络达到第二预设条件，当第二神经网络满足第二预设条件时，则认为第二神经网络达到最优，并将最终更新的第二神经网络作为音频仿真模型。其中，第二预设条件为该预设的第二损失函数的目标值到的预设值。
本发明实施例从计算机设备角度实施的音频数据的失真补偿模型建立方法，可根据选定音频输出设备功放电路的失真特性，获取第二神经网络并向该第二神经网络输入原始音频数据段进行训练。从而基于第二神经网络输出的模拟音频数据段与实际音频数据段的第二偏差，并利用反向传播算法更新第二神经网络的权重系数，使得第二神经网络满足第二预设条件，进而输出的模拟音频数据接近选定的音频输出设备功放电路所播放出来的实际音频数据。本发明实施例能够训练出模拟音频输出设备功放电路的音频仿真模型，有助于提高对失真补偿模型训练的精度和效率，以使得原始音频数据段经过失真补偿模型后得到反向失真音频段，反向失真音频数据段输入到本发明实施例的音频仿真模型后，能够补偿失真的作用以输出补偿后的音频数据段。
在一个具体的实施例中，第一预设条件为第一损失函数的目标值小于或等于第一阈值；第一损失函数的目标值基于以下公式得到：
其中，a表示第一损失函数的目标值；N表示原始音频数据段中的原始音频数据的总个数；zi表示补偿后的音频数据段中的第i个数据；xi表示原始音频数据段中第i个原始音频数据。
第一损失函数的目标值为确定第一神经网络是否达到第一预设条件的数据。在训练第一神经网络时，为提高训练效率以及防止数据冗余，将原始音频文件分割为各原始音频数据段，每次训练向第一神经网络输入一段原始音频数据段。因此，原始音频数据段中包含各原始音频数据。较优地，各原始音频数据段为原始音频帧，N取值48000。对应的，原始音频数据段经过第一神经网络以及音频仿真模型后对应输出补偿后的音频数据段，该补偿后的音频数据段包含各补偿后的音频数据，原始音频数据与补偿后的音频数据在时间点上为一一对应的关系。
本发明实施例从计算机设备角度实施的音频数据的失真补偿方法，通过音频仿真模型输出的补偿后的音频数据段与原始音频数据段的总误差建立第一损失函数，并利用反向传播算法更新第一神经网络的权重系数。进一步地，由于原始音频数据段包含多个原始音频数据，通过第一神经网络以及音频仿真模型后对应地输出多个补偿后的音频数据。相当于采样点越多则计算第一损失函数的目标值越准确，从而反向调整更新第一神经网络中各节点的权重系数的精度越高，最终得到的失真补偿模型输出的反向失真音频数据能够更加有效地对音频仿真模型输出的音频进行失真补偿。本发明实施例有助于使得将最终训练完成的失真补偿模型应用到音频输出设备，进而针对该设备的功放电路的失真特性，对功放电路输出的音频进行有效的失真补偿。
在一个具体的实施例中，第二预设条件为第二损失函数的目标值小于或等于第二阈值；第二损失函数的目标值基于以下公式得到：
其中，b表示第二损失函数的目标值；M表示实际音频数据段中实际音频数据的总个数；wi表示模拟音频数据中的第i个数据；yi表示实际音频数据段中的第i个实际音频数据。
第二损失函数的目标值为确定第二神经网络是否达到第二预设条件的数据。在训练第二神经网络时，为提高训练效率以及防止数据冗余，获取原始音频文件在音频输出设备播放出的对应的实际音频文件，并将实际音频文件按照与原始音频数据段相同的时间间隔分割为对应的实际音频数据段，从而将原始音频数据段与实际音频数据段作为训练第二神经网络的监督数据，在每次训练时，向第二神经网络输入一段原始音频数据段。实际音频数据段包含多个实际音频数据，原始音频数据段包含多个原始音频数据，各原始音频数据经过第二神经网络后分别输出对应的模拟音频数据，相当于，基于同一原始音频文件的实际音频数据与模拟音频数据在时间点上为一一对应的关系。
本发明实施例从计算机设备角度实施的音频数据的失真补偿方法，通过第二神经网络输出的模拟音频数据段与对应的实际音频数据段的总误差建立第二损失函数，并利用反向传播算法更新第二神经网络的权重系数。进一步地，由于模拟音频数据段包含多个模拟音频数据，对应的实际音频数据段包含多个实际音频数据。相当于采样点越多则计算第二损失函数的目标值越准确，从而反向调整更新第二神经网络中各节点的权重系数的精度越高，最终得到的音频仿真模型输出的模拟音频数据更加接近于实际的音频输出设备的功放电路所播放出来的音频数据。本发明实施例有助于提高训练失真补偿模型的效率以及精度，同时有助于使得将最终训练完成的失真补偿模型应用到音频输出设备，进而针对该设备的功放电路的失真特性，对功放电路输出的音频进行有效的失真补偿。
在一个具体的实施例中，“将获取到的原始音频数据段输入到第一神经网络训练，得到反向失真音频数据段并输入到音频仿真模型中”之前还包括：
步骤S2：获取原始音频文件、以及功放电路播放出的与原始音频文件对应的实际音频文件。
功放电路为相应设备型号规格的音频输出设备的功放电路，因为不同的型号规格的音频输出设备的功放电路的失真特性不同。
步骤S4：将原始音频文件和实际音频文件根据预设时间间隔进行分段，得到各原始音频数据段、以及与原始音频数据段对应的实际音频数据段。
为提高训练效率防止数据冗余，可将原始音频文件、以及该原始音频文件对应的实际音频文件根据预设时间间隔进行分段。
本发明实施例从计算机设备角度实施的音频数据的失真补偿方法，将原始音频文件、以及对应的实际音频文件分段，从而可防止训练时产生的数据冗余，提高训练效率。
参见图3，作为一优选的实施例，本发明实施例的音频数据的失真补偿模型的建立方法，具体为下步骤：
步骤S310：获取原始音频文件以及神经网络A。
步骤S320：计算机设备采集该音频输出设备根据原始音频文件输出的实际音频文件。
具体而言，选定音频输出设备的规格型号，并将该音频输出设备的输出端连接到计算机设备的声卡线路，以使计算机设备采集到实际音频文件。
步骤S340：将原始音频文件以及实际音频文件根据预设时间间隔分割为各原始音频数据段以及实际音频数据段。
步骤S350：根据原始音频数据段和实际音频数据段对神经网络A进行训练，生成音频仿真模型。
在训练过程中使得神经网络A对原始音频数据段的处理特性接近于音频输出设备功放电路的失真特性，以使得最终的神经网络A成为音频仿真模型，模拟选定的音频输出设备功放电路输出的实际音频。
步骤S360：在音频仿真模型的基础上叠加神经网络B，形成新的神经网络AB。
步骤S370：保持音频仿真模型的参数不变，根据原始音频数据段对神经网络B进行训练，将最终训练完成的神经网络B作为失真补偿模型。
神经网络B根据原始音频数据段生成反向失真音频数据段，并将该失真音频数据段输入至音频仿真模型，从而音频仿真模型输出补偿后的音频数据段。进一步地，通过计算补偿后的音频数据段与原始音频数据段的偏差，并根据预设的损失函数的目标值和利用反向传播算法，对神经网络B进行迭代训练最终得到失真补偿模型。其中，定义该预设的损失函数为原始音频数据段中各原始音频数据，与补偿后的音频数据段中对应的音频数据的差的平方和。
步骤S380：将训练完成的失真补偿模型加载至音频输出设备的主控制芯片。
本发明实施例从计算机设备角度实施的音频数据的失真补偿模型的建立方法，能够高效训练出失真补偿模型，补偿精度高。进一地，使得音频输出设备能够在输出音频前通过该失真补偿模型，进一步减小输出音频的失真。
应该理解的是，虽然图1至3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1至3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
参见图4，本发明实施例还提供了一种从音频输出设备角度实施的音频数据的失真补偿方法，包括：
步骤S410：获取解码后的待补偿的音频文件；将待补偿的音频文件输入至失真补偿模型，得到补偿后的音频数据；失真补偿模型通过音频数据的失真补偿模型建立方法得到。
失真补偿模型通过上述各实施例所述的音频数据的失真补偿模型建立方法得到后，将失真补偿模型提取并加载到对应的音频输出设备的主控制芯片中。该对应的音频输出设备为其功放电路的失真特性与在训练失真补偿模型时叠加的音频仿真模型所模拟的失真特性相同的设备。
步骤S420：将补偿后的音频数据输出至功放电路进行播放；功放电路为训练失真补偿模型对应的音频仿真模型所模拟的音频输出设备的功放电路。
加载了失真补偿模型的音频输出设备的功放电路，对应训练该失真补偿模型对应的音频仿真模型所模拟的音频输出设备的功放电路，因此该功放电路的失真特性与该音频仿真模型的失真特性相同。进而，补偿后的音频数据经过该音频输出设备的功放电路播放后可减小失真。
本发明实施例从音频输出设备角度实施的音频数据的失真补偿方法，音频输出设备获取解码后的待补偿的音频文件并将其输入至失真补偿模型，进而将失真补偿模型输出的补偿后的音频数据输出至功放电路播放。本发明实施例基于上述实施例所述的音频数据的失真补偿模型的建立方法得到的失真补偿模型实现音频数据的失真补偿，使得音频输出设备播放出来的音频得到足够的失真补偿，较高保真地还原原始音频的特征。
应该理解的是，虽然图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
参见图5，在一个实施例中，本发明实施例还提供了一种从计算机设备角度实施的音频数据的失真补偿模型建立装置，包括：
反向失真音频数据获取模块510，用于将获取到的原始音频数据段输入到第一神经网络训练，得到反向失真音频数据段并输入到音频仿真模型中；音频仿真模型用于模拟音频输出设备的功放电路播放出的实际音频数据。
补偿数据获取模块520，用于获取音频仿真模型根据反向失真音频数据段输出的补偿后的音频数据段。
第一计算模块530，用于计算原始音频数据段与对应的补偿后的音频数据段的第一偏差。
第一更新模块540，用于基于第一偏差利用反向传播算法更新第一神经网络的权重系数，直至更新后的第一神经网络满足第一预设条件，并将最终更新的第一神经网络作为失真补偿模型。
本发明实施例从计算机设备角度实施的音频数据的失真补偿模型建立装置，将原始音频数据段输入到第一神经网络训练，得到反向失真音频数据并输入到音频仿真模型中，进而获取音频仿真模型根据输出的失真补偿音频数据段。通过计算原始音频数据段与对应的补偿后的音频数据段的偏差，利用反向传播算法建立失真补偿模型。本发明实施例可实现在音频仿真模型的基础上增加第一神经网络进行叠加训练，通过音频仿真模型模拟音频输出设备的功放电路播放出的实际音频数据，从而建立出失真补偿模型，使得失真补偿模型输出的数据能够补偿音频仿真模型输出数据的失真。进而，本发明的音频数据的失真补偿方法、模型建立方法以及播放器，可实现高效率且高精度地建立失真补偿模型，能够应用于音频输出设备，有助于音频输出设备播放出来的音频得到足够的失真补偿，较高保真地还原原始音频的特征。
在一个具体的实施例中，还包括：
模拟数据获取模块，用于将原始音频数据段输入到第二神经网络训练，得到模拟音频数据段；
第二计算模块，用于计算模拟音频数据段和获取到的对应的实际音频数据段的第二偏差；
第二更新模块，用于基于第二偏差利用反向传播算法更新第二神经网络的权重系数，直至更新后的第二神经网络满足第二预设条件，并将最终更新的第二神经网络作为音频仿真模型。
本发明实施例从计算机设备角度实施的音频数据的失真补偿模型建立装置，可根据选定音频输出设备功放电路的失真特性，获取第二神经网络并向该第二神经网络输入原始音频数据段进行训练。从而基于第二神经网络输出的模拟音频数据段与实际音频数据段的第二偏差，并利用反向传播算法更新第二神经网络的权重系数，使得第二神经网络满足第二预设条件，进而输出的模拟音频数据接近选定的音频输出设备功放电路所播放出来的实际音频数据。本发明实施例能够训练出模拟音频输出设备功放电路的音频仿真模型，有助于提高对失真补偿模型训练的精度和效率，以使得原始音频数据段经过失真补偿模型后得到反向失真音频段，反向失真音频数据段输入到本发明实施例的音频仿真模型后，能够补偿失真的作用以输出补偿后的音频数据段。
在一个具体的实施例中，还包括：
音频文件获取模块，用于获取原始音频文件、以及功放电路播放出的与原始音频文件对应的实际音频文件。
分割模块，用于将原始音频文件和实际音频文件根据预设时间间隔进行分段，得到各原始音频数据段、以及与原始音频数据段对应的实际音频数据段。
本发明实施例从计算机设备角度实施的音频数据的失真补偿装置，将原始音频文件、以及对应的实际音频文件分段，从而可防止训练时产生的数据冗余，提高训练效率。
关于从计算机设备角度实施的音频数据的失真补偿模型建立装置的具体限定可以参见上文中对于从计算机设备角度实施的音频数据的失真补偿模型建立方法的限定，在此不再赘述。上述从计算机设备角度实施的音频数据的失真补偿模型建立装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
参见图6，在一个实施例中，本发明实施例还提供了一种从音频输出设备角度实施的音频数据的失真补偿装置，包括：
解码音频文件获取模610，用于获取解码后的待补偿的音频文件。
失真补偿模块620，用于将待补偿的音频文件输入至失真补偿模型，得到补偿后的音频数据；失真补偿模型通过音频数据的失真补偿模型建立方法得到。
播放模块630，用于将补偿后的音频数据输出至功放电路进行播放；功放电路为训练失真补偿模型对应的音频仿真模型所模拟的音频输出设备的功放电路。
本发明实施例从音频输出设备角度实施的音频数据的失真补偿装置，音频输出设备获取解码后的待补偿的音频文件并将其输入至失真补偿模型，进而将失真补偿模型输出的补偿后的音频数据输出至功放电路播放。本发明实施例基于上述各实施例所述的音频数据的失真补偿模型的建立方法得到的失真补偿模型实现音频数据的失真补偿，使得音频输出设备播放出来的音频得到足够的失真补偿，较高保真地还原原始音频的特征。
关于从音频输出设备角度实施的音频数据的失真补偿装置的具体限定可以参见上文中对于从音频输出设备角度实施的音频数据的失真补偿方法的限定，在此不再赘述。上述从音频输出设备角度实施的音频数据的失真补偿装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
参见图7，在一个实施例中，本发明还提供了中计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时实现音频数据的失真补偿模型建立方法。
进一步地，如图7所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种音频数据的失真补偿模型建立方法。该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
参见图8，在一个实施例中，本发明实施例还提供了一种音频输出设备，包括主控制芯片810以及连接主控制芯片810的功放电路820；
主控制芯片810用于执行音频数据的失真补偿方法。
本发明实施的音频输出设备，其主控制芯片内嵌上述实施例所述的音频数据的失真补偿模型建立方法得到失真补偿模型，可将获取到的解密后的待补偿的音频文件输入到失真补偿模型中，使得功放电路输出的音频减小失真，从而高保真地还原原始音频的特征。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (7)
1.一种音频数据的失真补偿模型建立方法，其特征在于，包括：
将获取到的原始音频数据段输入到第一神经网络训练，得到反向失真音频数据段并输入到音频仿真模型中；所述音频仿真模型用于模拟音频输出设备的功放电路播放出的实际音频数据；
获取所述音频仿真模型根据所述反向失真音频数据段输出的补偿后的音频数据段；
计算所述原始音频数据段与对应的所述补偿后的音频数据段的第一偏差；
基于所述第一偏差利用反向传播算法更新所述第一神经网络的权重系数，直至更新后的所述第一神经网络满足第一预设条件，并将最终更新的所述第一神经网络作为失真补偿模型；
所述音频仿真模型通过如下方式得到：
将所述原始音频数据段输入到第二神经网络训练，得到模拟音频数据段；
计算所述模拟音频数据段和获取到的对应的实际音频数据段的第二偏差；
基于所述第二偏差利用所述反向传播算法更新所述第二神经网络的权重系数，直至更新后的所述第二神经网络满足第二预设条件，并将最终更新的所述第二神经网络作为所述音频仿真模型；
所述第一预设条件为第一损失函数的目标值小于或等于第一阈值；所述第一损失函数的目标值基于以下公式得到：
其中，
表示所述第一损失函数的目标值；N表示所述原始音频数据段中的原始音频数据的总个数；z i 表示所述补偿后的音频数据段中的第i个数据；x i 表示所述原始音频数据段中第i个原始音频数据。
2.根据权利要求1所述的音频数据的失真补偿模型建立方法，其特征在于，所述第二预设条件为第二损失函数的目标值小于或等于第二阈值；所述第二损失函数的目标值基于以下公式得到：
其中，b表示所述第二损失函数的目标值；M表示所述实际音频数据段中实际音频数据的总个数；w i 表示所述模拟音频数据段中的第i个数据；y i 表示所述实际音频数据段中的第i个实际音频数据。
3.根据权利要求1所述的音频数据的失真补偿模型建立方法，其特征在于，所述“将获取到的原始音频数据段输入到第一神经网络训练，得到反向失真音频数据段并输入到音频仿真模型中”之前还包括：
获取原始音频文件、以及所述功放电路播放出的与所述原始音频文件对应的实际音频文件；
将所述原始音频文件和所述实际音频文件根据预设时间间隔进行分段，得到各所述原始音频数据段、以及与所述原始音频数据段对应的实际音频数据段。
4.一种音频数据的失真补偿方法，其特征在于，包括：
获取解码后的待补偿的音频文件；将所述待补偿的音频文件输入至所述失真补偿模型，得到补偿后的音频数据；所述失真补偿模型通过权利要求1至3任意一项所述的音频数据的失真补偿模型建立方法得到；
将所述补偿后的音频数据输出至功放电路进行播放；所述功放电路为训练所述失真补偿模型对应的音频仿真模型所模拟的音频输出设备的功放电路。
5.一种音频数据的失真补偿模型建立装置，其特征在于，包括：
反向失真音频数据获取模块，用于将获取到的原始音频数据段输入到第一神经网络训练，得到反向失真音频数据段并输入到音频仿真模型中；所述音频仿真模型用于模拟音频输出设备的功放电路播放出的实际音频数据；
补偿数据获取模块，用于获取所述音频仿真模型根据所述反向失真音频数据段输出的补偿后的音频数据段；
第一计算模块，用于计算所述原始音频数据段与对应的所述补偿后的音频数据段的第一偏差；
第一更新模块，用于基于所述第一偏差利用反向传播算法更新所述第一神经网络的权重系数，直至更新后的所述第一神经网络满足第一预设条件，并将最终更新的所述第一神经网络作为失真补偿模型；
模拟数据获取模块，用于将所述原始音频数据段输入到第二神经网络训练，得到模拟音频数据段；
第二计算模块，用于计算所述模拟音频数据段和获取到的对应的实际音频数据段的第二偏差；
第二更新模块，用于基于所述第二偏差利用所述反向传播算法更新所述第二神经网络的权重系数，直至更新后的所述第二神经网络满足第二预设条件，并将最终更新的所述第二神经网络作为所述音频仿真模型；
所述第一预设条件为第一损失函数的目标值小于或等于第一阈值；所述第一损失函数的目标值基于以下公式得到：
其中，
表示所述第一损失函数的目标值；N表示所述原始音频数据段中的原始音频数据的总个数；z i 表示所述补偿后的音频数据段中的第i个数据；x i 表示所述原始音频数据段中第i个原始音频数据。
6.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现权利要求1至3任意一项所述的音频数据的失真补偿模型建立方法。
7.一种音频输出设备，其特征在于，包括主控制芯片以及连接所述主控制芯片的功放电路；
所述主控制芯片用于执行权利要求4所述的音频数据的失真补偿方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910193296.6A CN109872730B (zh) | 2019-03-14 | 2019-03-14 | 音频数据的失真补偿方法、模型建立方法和音频输出设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910193296.6A CN109872730B (zh) | 2019-03-14 | 2019-03-14 | 音频数据的失真补偿方法、模型建立方法和音频输出设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109872730A CN109872730A (zh) | 2019-06-11 |
| CN109872730B true CN109872730B (zh) | 2021-01-12 |
Family
ID=66920473
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910193296.6A Active CN109872730B (zh) | 2019-03-14 | 2019-03-14 | 音频数据的失真补偿方法、模型建立方法和音频输出设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109872730B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110995909B (zh) * | 2019-11-20 | 2021-03-30 | 维沃移动通信有限公司 | 一种声音补偿方法及装置 |
| CN111739545B (zh) * | 2020-06-24 | 2023-01-24 | 腾讯音乐娱乐科技（深圳）有限公司 | 音频处理方法、装置及存储介质 |
| CN112735454A (zh) * | 2020-12-30 | 2021-04-30 | 北京大米科技有限公司 | 音频处理方法、装置、电子设备和可读存储介质 |
| CN113208489A (zh) * | 2021-04-14 | 2021-08-06 | 徐元林 | 一种建筑清洁工程的吸附式清洗装置 |
| CN114900779B (zh) * | 2022-04-12 | 2023-06-06 | 东莞市晨新电子科技有限公司 | 音频补偿方法、系统和电子设备 |
| CN115831147B (zh) * | 2022-10-20 | 2024-02-02 | 广州优谷信息技术有限公司 | 基于音频补偿的朗读检测方法、系统、装置及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106683663A (zh) * | 2015-11-06 | 2017-05-17 | 三星电子株式会社 | 神经网络训练设备和方法以及语音识别设备和方法 |
| CN107358966A (zh) * | 2017-06-27 | 2017-11-17 | 北京理工大学 | 基于深度学习语音增强的无参考语音质量客观评估方法 |
| CN108024179A (zh) * | 2016-10-31 | 2018-05-11 | 哈曼国际工业有限公司 | 使用递归神经网络的扬声器自适应校正 |
| CN108805259A (zh) * | 2018-05-23 | 2018-11-13 | 北京达佳互联信息技术有限公司 | 神经网络模型训练方法、装置、存储介质及终端设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2797035B2 (ja) * | 1991-01-31 | 1998-09-17 | 日本ビクター株式会社 | ニューラルネットによる波形処理装置及びその設計方法 |
| CN109147808B (zh) * | 2018-07-13 | 2022-10-21 | 南京工程学院 | 一种言语增强助听方法 |
-
2019
- 2019-03-14 CN CN201910193296.6A patent/CN109872730B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106683663A (zh) * | 2015-11-06 | 2017-05-17 | 三星电子株式会社 | 神经网络训练设备和方法以及语音识别设备和方法 |
| CN108024179A (zh) * | 2016-10-31 | 2018-05-11 | 哈曼国际工业有限公司 | 使用递归神经网络的扬声器自适应校正 |
| CN107358966A (zh) * | 2017-06-27 | 2017-11-17 | 北京理工大学 | 基于深度学习语音增强的无参考语音质量客观评估方法 |
| CN108805259A (zh) * | 2018-05-23 | 2018-11-13 | 北京达佳互联信息技术有限公司 | 神经网络模型训练方法、装置、存储介质及终端设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109872730A (zh) | 2019-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109872730B (zh) | 音频数据的失真补偿方法、模型建立方法和音频输出设备 | |
| Liang et al. | An iterative BP-CNN architecture for channel decoding | |
| CN109791626B (zh) | 神经网络权重编码方法、计算装置及硬件系统 | |
| CN108885787B (zh) | 训练图像修复模型的方法、图像修复方法、装置、介质及设备 | |
| US10181320B2 (en) | Computer-implemented method and apparatus for generating grapheme-to-phoneme model | |
| DE102015112463A1 (de) | Digitale Vorverzerrung und Nachverzerrung basierend auf segmentweiser stückweiser Polynomnäherung | |
| TWI664853B (zh) | 視訊壓縮感測重建方法及裝置 | |
| CN110414565B (zh) | 一种用于功率放大器的基于Group Lasso的神经网络裁剪方法 | |
| US10950225B2 (en) | Acoustic model learning apparatus, method of the same and program | |
| CN113726823B (zh) | 一种防御方法、装置、电子设备及存储介质 | |
| Estébanez et al. | Constructive role of noise for high-quality replication of chaotic attractor dynamics using a hardware-based reservoir computer | |
| US20160328501A1 (en) | Automatic AMP Matching | |
| CN109426859B (zh) | 神经网络训练系统、方法和计算机可读存储介质 | |
| US20220343163A1 (en) | Learning system, learning device, and learning method | |
| Colak et al. | On the fly image denoising using patch ordering | |
| CN113160079A (zh) | 人像修复模型的训练方法、人像修复方法和装置 | |
| CN109688497B (zh) | 声音播放装置、方法及非暂态存储介质 | |
| KR102391452B1 (ko) | 신경망에 복수의 태스크를 순차 학습시키는 방법 | |
| CN113411140B (zh) | 信道自适应通道特性学习方法及其模拟器、卫星导航系统 | |
| CN108055045A (zh) | 一种新型ldpc码译码器的结构 | |
| CN114049539A (zh) | 基于去相关二值网络的协同目标识别方法、系统及装置 | |
| CN109800859B (zh) | 一种神经网络批归一化的优化方法及装置 | |
| CN112700788A (zh) | 回声消除中回声路径的建模方法、装置、设备及存储介质 | |
| CN112184592A (zh) | 一种图像修复方法、装置、设备及计算机可读存储介质 | |
| JP2021047481A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |