CN110491400B - 一种基于深度自编码器的语音信号重建方法 - Google Patents

一种基于深度自编码器的语音信号重建方法 Download PDF

Info

Publication number
CN110491400B
CN110491400B CN201910775558.XA CN201910775558A CN110491400B CN 110491400 B CN110491400 B CN 110491400B CN 201910775558 A CN201910775558 A CN 201910775558A CN 110491400 B CN110491400 B CN 110491400B
Authority
CN
China
Prior art keywords
encoder
depth
data
neural network
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910775558.XA
Other languages
English (en)
Other versions
CN110491400A (zh
Inventor
吴建锋
秦会斌
秦宏帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shuren University
Original Assignee
Zhejiang Shuren University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shuren University filed Critical Zhejiang Shuren University
Priority to CN201910775558.XA priority Critical patent/CN110491400B/zh
Publication of CN110491400A publication Critical patent/CN110491400A/zh
Application granted granted Critical
Publication of CN110491400B publication Critical patent/CN110491400B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G10L19/035—Scalar quantisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种基于深度自编码器的语音信号重建方法，包括以下步骤：步骤S101：获取编码数据并将其输入解码单元；步骤S102：解码单元通过深度解码器神经网络对编码数据进行处理并输出解码数据；步骤S103：对解码数据进行反归一化；步骤S104：对经步骤S103处理后的数据进行离散傅里叶逆变换；步骤S105：对经步骤S104处理后的数据通过叠接相加得到重建的语音信号；其中，编码数据通过以下步骤得到：步骤S201：对原始语音信号进行分帧；步骤S202：对分帧后的数据进行离散傅里叶变换；步骤S203：对步骤S202处理的数据进行归一化；步骤S204：将经归一化的数据输入编码单元；步骤S205：编码单元通过深度编码器神经网络对经步骤S203归一化的数据进行处理得到编码数据。

Description

一种基于深度自编码器的语音信号重建方法
技术领域
本发明涉及语音信号处理技术领域，尤其涉及一种基于深度自编码器的语音信号重建方法。
背景技术
在语音信号传输技术中，编码端的语音编码技术以及解码端的语音信号重建是关键技术。现有技术中，语音编码通常采用基于码本的矢量量化技术，也即，在编码端和解码端都存储预先训练好的码本，语音编码和解码就是根据码本查找索引或者根据索引获取码子的过程。然而当适量的维度较高或者码本较大时，传统的矢量量化技术将无法进行。比如，对100维的数据进行20bit的量化，需要1048576个100维的码本，这种码本的训练几乎无法进行。通常采用分裂矢量量化或者多级矢量量化减少运算量，但这破坏了数据各维度之间的相关性，从而增加了量化误差。
随着深度神经网络的兴起，有众多学者研究将深度自编码器(Deep Auto-Encoder，DAE)应用于语音功率谱的量化编码，并取得优于传统矢量量化技术的效果。该方法直接将编码层的输出量化为0或1，从而实现编码层的二值化，然而编码层的输出分布在训练过程中是不确定的，当编码层的输出近似为0-1分布时，能够实现较好的量化效果，但当编码层的输出不是0-1分布时，就会导致很大的量化误差。因此，需要一种方法保证编码层的输出近似为0-1分布以提升量化性能。
故，针对现有技术的缺陷，实有必要提出一种技术方案以解决现有技术存在的技术问题。
发明内容
有鉴于此，确有必要提供一种基于深度自编码器的语音信号重建方法，能够使编码层的输出近似于0-1布尔分布，从而能够减少量化误差，提高重建语音信号的质量。
为了解决现有技术存在的技术问题，本发明的技术方案如下：
一种基于深度自编码器的语音信号重建方法，包括以下步骤：
步骤S101：获取编码数据并将其输入解码单元；
步骤S102：解码单元通过深度解码器神经网络对编码数据进行处理并输出解码数据；
步骤S103：对解码数据进行反归一化；
步骤S104：对经步骤S103处理后的数据进行离散傅里叶逆变换；
步骤S105：对经步骤S104处理后的数据通过叠接相加得到重建的语音信号；
其中，所述编码数据通过以下步骤得到：
步骤S201：对原始语音信号进行分帧；
步骤S202：对分帧后的数据进行离散傅里叶变换；
步骤S203：对步骤S202处理的数据进行归一化；
步骤S204：将经归一化的数据输入编码单元；
步骤S205：编码单元通过深度编码器神经网络对经步骤S203归一化的数据进行处理得到编码数据；
深度编码器神经网络和深度解码器神经网络采用级联多个自编码器形成深度自编码器结构，深度自编码器结构通过以下步骤训练：
步骤301：获取训练数据，训练数据为语音信号经步骤201至步骤204预处理得到；
步骤302：将训练数据输入深度自编码器神经网络并使其输出误差最小化以获得优化参数；
其中，优化参数通过最小化下式(1)得到：
Figure BDA0002174920530000031
其中，n表示训练数据样本的个数，θ＝{W,b}和θ′＝{WT,b′}分别表示编码器和解码器的参数矩阵，θ*和θ′*表示优化后的参数矩阵；x(i)为自编码器的输入，z(i)＝f′θ′(fθ(x(i)))为自编码器输出，L(x,z)为损失函数，采用如下公式(2)；
L(x,z)＝E(x,z)+αP(x) (2)
式(2)中，P(x)为惩罚项，α为惩罚项权重，E(x,z)采用如下公式(3)：
Figure BDA0002174920530000032
N为向量维度，k为维度下标；
步骤S303：得到优化后的深度自编码器神经网络并分别作为深度编码器神经网络和深度解码器神经网络，其中，fθ(x)表示深度编码器神经网络的映射函数，表征输入向量x到编码层表示向量y＝fθ(x)之间的非线性映射关系，输出y作为编码数据；f′θ′(y)表示深度解码器神经网络的映射函数，表征编码层表示向量y到重建向量z＝f′θ′(y)之间的非线性映射关系，输出z作为解码数据。
作为进一步的改进方案，深度自编码器结构还采用以下步骤训练：
步骤S401：采用训练数据训练第一个自编码器；
步骤S402：然后将第一个自编码器的输出训练第二个自编码器，并依此逐层训练每一个自编码器；
步骤S403：完成所有自编码器训练后，展开级联成深度自编码器结构，并使用误差反向传播算法进行调优使其输入和输出误差最小化。
作为进一步的改进方案，惩罚项P(x)采用高斯函数G(x)，其中，G(x)的参数为：均值μ＝0.5，方差σ2＝0.25。
作为进一步的改进方案，惩罚项P(x)采用负平方函数S(x)＝-(x-a)2+b，其中参数a＝b＝0.5。
作为进一步的改进方案，所述深度编码器神经网络采用多帧联合量化编码，所述深度解码器神经网络采用多帧联合量化解码。
作为进一步的改进方案，所述深度编码器神经网络采用8帧联合量化编码，所述深度解码器神经网络采用8帧联合量化解码。
作为进一步的改进方案，自编码器的个数为4。
作为进一步的改进方案，编码层的节点数量为288、144、72、36或18。
作为进一步的改进方案，惩罚项权重α为0.3。
作为进一步的改进方案，所述深度编码器神经网络输入层节点为968。
与现有技术相比较，本发明通过在损失函数中加入表征随机性的惩罚项，从而使经训练得到的深度自编码器神经网络的编码层输出近似于0-1布尔分布，经实验验证，重建后的信号在对数谱误差(LSD)、分段信噪比(SegSNR)和感知语音质量评分(PESQ)等语音评价参量都有大幅度的优化。
附图说明
图1为本发明中基于深度自编码器的语音信号重建方法的流程框图。
图2为本发明中编码数据的流程框图。
图3为本发明中自编码器的原理框图。
图4为本发明中深度自编码器的训练流程图。
图5为本发明中深度自编码器预训练和调优的训练流程。
图6为高斯函数和负平方函数的示意图。
图7为高斯函数和负平方函数导数的示意图。
图8为本发明中基于深度自编码器的语音信号重建系统的原理框图。
图9为本发明中语音幅度谱量化重建的原理框图。
如下具体实施例将结合上述附图进一步说明本发明。
具体实施方式
以下将结合附图对本发明提供的技术方案作进一步说明。
参见图1，所示为本发明提供的基于深度自编码器的语音信号重建方法的流程框图，包括以下步骤：
步骤S101：获取编码数据并将其输入解码单元；
步骤S102：解码单元通过深度解码器神经网络对编码数据进行处理并输出解码数据；
步骤S103：对解码数据进行反归一化；
步骤S104：对经步骤S103处理后的数据进行离散傅里叶逆变换；
步骤S105：对经步骤S104处理后的数据通过叠接相加得到重建的语音信号；
参见图2，所示为本发明中语音信号编码的流程框图，编码数据通过以下步骤得到：
步骤S201：对原始语音信号进行分帧；
步骤S202：对分帧后的数据进行离散傅里叶变换；
步骤S203：对步骤S202处理的数据进行归一化；
步骤S204：将经归一化的数据输入编码单元；
步骤S205：编码单元通过深度编码器神经网络对经步骤S203归一化的数据进行处理得到编码数据；
参见图3，所示为自编码器的结构框图，包括深度编码器神经网络和深度解码器神经网络两个非线性函数的组合。本发明中，深度编码器神经网络和深度解码器神经网络采用级联多个自编码器形成深度自编码器结构，通过训练深度自编码器神经网络得到两个深度神经网络分别作为深度编码器神经网络和深度解码器神经网络。
参见图4所示为深度自编码器的训练流程图，深度自编码器通过以下步骤训练：
步骤301：获取训练数据，训练数据为语音信号经步骤201至步骤204预处理得到；
步骤302：将训练数据输入深度自编码器神经网络并使其输出误差最小化以获得优化参数；
其中，优化参数通过最小化下式(1)得到：
Figure BDA0002174920530000061
其中，n表示训练数据样本的个数，θ＝{W,b}和θ′＝{WT,b′}分别表示编码器和解码器的参数矩阵，θ*和θ′*表示优化后的参数矩阵；x(i)为自编码器的输入，z(i)＝f′θ′(fθ(x(i)))为自编码器输出，L(x,z)为损失函数，采用如下公式(2)；
L(x,z)＝E(x,z)+αP(x) (2)
式(2)中，P(x)为惩罚项，α为惩罚项权重，E(x,z)采用如下公式(3)：
Figure BDA0002174920530000071
N为向量维度，k为维度下标；
步骤S303：得到优化后的深度自编码器神经网络并分别作为深度编码器神经网络和深度解码器神经网络，其中，fθ(x)表示深度编码器神经网络的映射函数，表征输入向量x到编码层表示向量y＝fθ(x)之间的非线性映射关系，输出y作为编码数据；f′θ′(y)表示深度解码器神经网络的映射函数，表征编码层表示向量y到重建向量z＝f′θ′(y)之间的非线性映射关系，输出z作为解码数据。
采用上述技术方案，本发明通过在损失函数中加入表征随机性的惩罚项，从而使经训练得到的深度自编码器神经网络的编码层输出近似于0-1布尔分布。这是因为解码器网络对编码层的输出非常敏感，编码层的输出非常微小的变化就会导致解码器输出不同，而自编码器优化的目标是输出尽可能重构输入向量，故，解码器的输出是相对确定。当本发明在损失函数中加入表征随机性的惩罚项，神经网络训练过程为了适应这种随机性，编码层输出会趋于0-1布尔分布，因为只有布尔分布下编码层输出受随机性影响最小，以确保解码器输出稳定。
在一种优选的实施方式，深度自编码器结构包括预训练和调优，参见图5所示，具体采用以下步骤训练：
步骤S401：采用训练数据训练第一个自编码器；
步骤S402：然后将第一个自编码器的输出训练第二个自编码器，并依此逐层训练每一个自编码器；
步骤S403：完成所有自编码器训练后，展开级联成深度自编码器结构，并使用误差反向传播算法进行调优使其输入和输出误差最小化，其中，在调优中执行步骤S302的优化步骤。
采用上述技术方案，通过无监督学习的方式，逐层训练自编码器，从而降低了神经网络的训练难度。
上述技术方案中，理论上，惩罚项P(x)可以为任何帽状函数，比如高斯函数G(x)或者负平方函数S(x)，参见图6，所示为的高斯函数G(x)或者负平方函数S(x)函数曲线，其中，G(x)的参数为：均值μ＝0.5，方差σ2＝0.25。负平方函数采用S(x)＝-(x-a)2+b，其参数a＝b＝0.5。由此可知，当输入x在均值0.5附近时，惩罚项P(x)输出值更大，而当输入x在0或1附近时，惩罚项P(x)输出也趋近于0，通过在训练中对非0-1分布给予更大的惩罚值，从而使编码层的输出更接近于0-1布尔分布
参见图7，所示为其导数G′(x)和S′(x)的曲线示意图，G′(x)为由方差σ2决定的曲线，方差越大，越接近直线。而S′(x)为直线。因此，采用负平方函数S(x)能够降低计算量。本发明采用负平方函数S(x)作为惩罚项进行实验对比。
采用本发明上述方法，可以实现一种基于深度自编码器的语音信号重建系统，参见图8，所示为基于深度自编码器的语音信号重建系统的原理框图，包括编码装置、解码装置和神经网络训练模块，其中，编码装置用于对输入语音信号进行编码并输出编码数据；解码装置用于获取编码数据并对其进行解码重建输出重建的语音信号。
编码装置进一步包括，分帧单元、DFT单元、归一化单元和编码单元，其中，分帧单元用于对语音信号在时域进行分帧；DFT单元用于对分帧后的数据进行离散傅里叶变换得到频域数据，比如转换为语音幅度谱或者对数功率谱；归一化单元用于对频域数据进行归一化以便于深度神经网络处理；编码单元用于获取预先训练好的深度编码器神经网络并通过深度编码器神经网络对经归一化的数据进行处理得到编码数据。
解码装置进一步包括解码单元、反归一化单元、IDFT单元和叠接相加单元，其中，解码单元用于获取预先训练好的深度解码器神经网络和编码数据并通过深度解码器神经网络对编码数据进行处理并输出解码数据；反归一化单元用于对解码数据反归一化；IDFT单元用于对反归一化后的数据进行离散傅里叶逆变换以恢复时域信号；叠接相加单元用于对时域信号进行叠接相加得到重建的语音信号。叠接相加单元、IDFT单元、反归一化单元分别是分帧单元、DFT单元、归一化单元的逆过程，这些都是现有技术语音信号处理常用的技术手段。
本发明采用深度自编码器结构，通过神经网络训练模块训练后分别获取深度编码器神经网络和深度解码器神经网络。神经网络训练模块用于通过训练数据对深度自编码器进行神经网络训练，得到深度编码器神经网络和深度解码器神经网络，分别输出给编码单元和解码单元中。具体训练过程参见上述步骤301至步骤303以及步骤401至403。
上述技术方案中，本发明采用了一种新的训练方法训练深度自编码器，从而使得到深度自编码器神经网络的编码层输出近似于0-1布尔分布，从而能够减少量化误差，提高重建语音信号的质量。深度自编码器神经网络的训练方法参见上述步骤301至步骤303以及步骤401至403。
以下通过实验验证本发明的技术效果。参见图9，所示为本发明语音幅度谱量化重建的原理框图，原始语音信号在时域进行分帧并通过离散傅里叶变化变换到频域，然后再对对数功率谱进行归一化后输入到预先训练好的深度编码器神经网络；然后通过预先训练好的深度解码器神经网络解码得到重建的对数功率谱，并通过反归一化和傅里叶反变换得到时域信号，再通过重叠相加合成出重建的语音信号。
具体采用TIMIT数据库对深度神经网络进行训练和测试。其中，采用训练集中大约30小时的语音数据作为训练数据；测试集中大约30分钟的语音分别作为验证数据和测试数据。所有语音数据采样频率是8kHz，采用汉明窗进行分帧，帧长为240点，帧移为120点(50％重叠)，通过短时傅里叶分析计算每一帧的DFT。因此，每一帧提取121维对数功率谱(因为频谱的对称性)用于深度自编码器的训练。通过本发明上述步骤对深度自编码器进行训练。
在一种优选实施方式中，将数据集中每100个样本分为一个小批量(mini-batches)，在预训练中，每个栈式自编码器的训练轮次为20，第一个自编码器的学习率为0.002，其他自编码器的学习率为0.05；在调优训练，初始学习率为0.002，当两轮之间的误差下降低于0.05％时，学习率以0.9的系数递减。动量参量初始化为0.5，并在15轮以后增加到0.9；当连续轮次之间的验证误差下降到0.01％以下，则调优训练结束。
深度自编码器可以采用多帧联合量化的方式进行训练，在一种优选实施方式中，采用8帧语音谱构建输入向量，由此，输入向量的维度为968(121*8)。
在一种优选实施方式中，深度自编码器的结构为968-2000-1000-500-288-500-1000-2000-968,采用4级对称结构，其中，编码层的节点数量为288。
为了验证深度自编码器的输出性能，本发明采用对数谱距离(log-spectraldistortion，LSD,单位为dB)评价编码误差，采用分段信噪比(segmental signal to noiseratio,SegSNR,单位为dB)和感知语音质量评分(perceptual evaluation of speechquality,PESQ)评价重建后的语音质量。具体参见下表1所示。
表1本发明与现有技术性能指标对比
Figure BDA0002174920530000111
上表1中，惩罚项权重为0.3，该值是通过交叉校验实验得到；“None”表示采用传统方式训练深度神经网络，“Binary”表示在测试中将编码层的输出通过阈值‘0.5’量化为‘0’或‘1’，“Real”表示编码层直接以浮点实数输出。由表1的实验结果显示，采用本发明的技术方案，极大改进了二值化编码的性能。与现有技术相比，LSD从29.03dB下降到15.99dB，SegSNR从-9.03dB上升到-8.23dB，PESQ从1.16上升到1.80。表1中还给出了编码层输出为浮点实数的测试数据，表1显示在编码层输出为浮点实数时，本发明的性能相对现有技术反而下降，这是因为本发明的目的是降低“二值化”编码误差，在实际语音编码数据的传输都是采用二值化编码，因此，而浮点实数的编码误差并不是我们所关心的。
为了进一步验证本发明的技术效果，在语音幅度谱量化实验时，我们训练深度自编码器神经网络使其编码层的节点数量更少。深度自编码器的结构为968-2000-1000-500-xxx-500-1000-2000-968,其中，xxx为编码层的节点数量，为288、144、72、36或18。也就是说，将968维度的浮点输入向量分别矢量量化为288、144、72、36或18维二值向量。同样，我们利用本发明的技术方案降低二值化编码误差，实验数据参见表2所示，采用发明的技术方案能够显著提高编码性能。由表2可以看出，随着编码位数的下降，编码误差逐渐增加，当编码层节点从288下降到18时，LSD从5.91dB增加到8.92dB，SegSNR从6.44dB下降到2.9dB，PESQ从3.17下降到2.09。同样，从表2可以看出，采用本发明的技术方案，能够将，968维度的语音谱能用18位二进制编码量化表示并且重建语音的PESQ评分能够达到2.09。虽然重建后语音存在很多干扰，大体上还是可以听懂的。而采用传统VQ量化技术，是不可能将968维向量压缩为18位编码。
表2本发明不同数量编码层的实验结果
Figure BDA0002174920530000121
综上所述，采用本发明的技术方案，能够极大改进编码性能，编码误差显著下降；同时，能够将968维度的语音谱用18位编码量化，并且重建语音还能大致可听懂。
需要指出的是，本发明提及的编码器和解码器可以理解为编码器神经网络和解码器神经网络；自编码器是现有技术常用的一种深度神经网络结构。
以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于深度自编码器的语音信号重建方法，其特征在于，包括以下步骤：
步骤S101：获取编码数据并将其输入解码单元；
步骤S102：解码单元通过深度解码器神经网络对编码数据进行处理并输出解码数据；
步骤S103：对解码数据进行反归一化；
步骤S104：对经步骤S103处理后的数据进行离散傅里叶逆变换；
步骤S105：对经步骤S104处理后的数据通过叠接相加得到重建的语音信号；
其中，所述编码数据通过以下步骤得到：
步骤S201：对原始语音信号进行分帧；
步骤S202：对分帧后的数据进行离散傅里叶变换；
步骤S203：对步骤S202处理的数据进行归一化；
步骤S204：将经归一化的数据输入编码单元；
步骤S205：编码单元通过深度编码器神经网络对经步骤S203归一化的数据进行处理得到编码数据；
深度编码器神经网络和深度解码器神经网络采用级联多个自编码器形成深度自编码器结构，深度自编码器结构通过以下步骤训练：
步骤301：获取训练数据，训练数据为语音信号经步骤201至步骤204预处理得到；
步骤302：将训练数据输入深度自编码器神经网络并使其输出误差最小化以获得优化参数；
其中，优化参数通过最小化下式(1)得到：
Figure FDA0002174920520000011
其中，n表示训练数据样本的个数，θ＝{W,b}和θ′＝{WT,b′}分别表示编码器和解码器的参数矩阵，θ*和θ′*表示优化后的参数矩阵；x(i)为自编码器的输入，z(i)＝f′θ(fθ(x(i)))为自编码器输出，L(x,z)为损失函数，采用如下公式(2)；
L(x,z)＝E(x,z)+αP(x)(2)
式(2)中，P(x)为惩罚项，α为惩罚项权重，E(x,z)采用如下公式(3)：
Figure FDA0002174920520000021
N为向量维度，k为维度下标；
步骤S303：得到优化后的深度自编码器神经网络并分别作为深度编码器神经网络和深度解码器神经网络，其中，fθ(x)表示深度编码器神经网络的映射函数，表征输入向量x到编码层表示向量y＝fθ(x)之间的非线性映射关系，输出y作为编码数据；f′θ(y)表示深度解码器神经网络的映射函数，表征编码层表示向量y到重建向量z＝f′θ(y)之间的非线性映射关系，输出z作为解码数据。
2.根据权利要求1所述的基于深度自编码器的语音信号重建方法，其特征在于，深度自编码器结构还采用以下步骤训练：
步骤S401：采用训练数据训练第一个自编码器；
步骤S402：然后通过第一个自编码器的输出训练第二个自编码器，并依此逐层训练每一个自编码器；
步骤S403：完成所有自编码器训练后，展开级联成深度自编码器结构，并使用误差反向传播算法进行调优使其输入和输出误差最小化。
3.根据权利要求1或2所述的基于深度自编码器的语音信号重建方法，其特征在于，惩罚项P(x)采用高斯函数G(x)，其中，G(x)的参数为：均值μ＝0.5，方差σ2＝0.25。
4.根据权利要求1或2所述的基于深度自编码器的语音信号重建方法，其特征在于，惩罚项P(x)采用负平方函数S(x)＝-(x-a)2+b，其中参数a＝b＝0.5。
5.根据权利要求1或2所述的基于深度自编码器的语音信号重建方法，其特征在于，深度编码器神经网络采用多帧联合量化编码，深度解码器神经网络采用多帧联合量化解码。
6.根据权利要求5所述的基于深度自编码器的语音信号重建方法，其特征在于，深度编码器神经网络采用8帧联合量化编码，深度解码器神经网络采用8帧联合量化解码。
7.根据权利要求1或2所述的基于深度自编码器的语音信号重建方法，其特征在于，自编码器的个数为4。
8.根据权利要求1或2所述的基于深度自编码器的语音信号重建方法，其特征在于，编码层的节点数量为288、144、72、36或18。
9.根据权利要求1或2所述的基于深度自编码器的语音信号重建方法，其特征在于，惩罚项权重α为0.3。
10.根据权利要求6所述的基于深度自编码器的语音信号重建方法，其特征在于，所述深度编码器神经网络输入层节点为968。
CN201910775558.XA 2019-08-21 2019-08-21 一种基于深度自编码器的语音信号重建方法 Active CN110491400B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910775558.XA CN110491400B (zh) 2019-08-21 2019-08-21 一种基于深度自编码器的语音信号重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910775558.XA CN110491400B (zh) 2019-08-21 2019-08-21 一种基于深度自编码器的语音信号重建方法

Publications (2)

Publication Number Publication Date
CN110491400A CN110491400A (zh) 2019-11-22
CN110491400B true CN110491400B (zh) 2021-05-28

Family

ID=68552677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910775558.XA Active CN110491400B (zh) 2019-08-21 2019-08-21 一种基于深度自编码器的语音信号重建方法

Country Status (1)

Country Link
CN (1) CN110491400B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110942782A (zh) * 2019-12-10 2020-03-31 北京搜狗科技发展有限公司 一种语音压缩、解压缩方法、装置和电子设备
CN111243608A (zh) * 2020-01-17 2020-06-05 中国人民解放军国防科技大学 一种基于深度自编码机低速率语音编码方法
CN111476137B (zh) * 2020-04-01 2023-08-01 北京埃德尔黛威新技术有限公司 一种新型管道渗漏预警在线相关定位数据压缩方法和设备
CN113642709B (zh) * 2021-08-16 2023-11-10 扬州大学 一种基于自编码器的数据重建方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203624A (zh) * 2016-06-23 2016-12-07 上海交通大学 基于深度神经网络的矢量量化系统及方法
CN106782511A (zh) * 2016-12-22 2017-05-31 太原理工大学 修正线性深度自编码网络语音识别方法
CN107545903A (zh) * 2017-07-19 2018-01-05 南京邮电大学 一种基于深度学习的语音转换方法
CN107610692A (zh) * 2017-09-22 2018-01-19 杭州电子科技大学 基于神经网络堆叠自编码器多特征融合的声音识别方法
CN108831443A (zh) * 2018-06-25 2018-11-16 华中师范大学 一种基于堆叠自编码网络的移动录音设备源识别方法
CN108921343A (zh) * 2018-06-26 2018-11-30 浙江工业大学 基于堆栈自编码器-支持向量回归的交通流量预测方法
CN109346084A (zh) * 2018-09-19 2019-02-15 湖北工业大学 基于深度堆栈自编码网络的说话人识别方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8484022B1 (en) * 2012-07-27 2013-07-09 Google Inc. Adaptive auto-encoders
CN105023580B (zh) * 2015-06-25 2018-11-13 中国人民解放军理工大学 基于可分离深度自动编码技术的无监督噪声估计和语音增强方法
US10249289B2 (en) * 2017-03-14 2019-04-02 Google Llc Text-to-speech synthesis using an autoencoder
JP2019078864A (ja) * 2017-10-24 2019-05-23 日本電信電話株式会社 楽音強調装置、畳み込みオートエンコーダ学習装置、楽音強調方法、プログラム
CN107967920A (zh) * 2017-11-23 2018-04-27 哈尔滨理工大学 一种改进的自编码神经网络语音增强算法
US10380997B1 (en) * 2018-07-27 2019-08-13 Deepgram, Inc. Deep learning internal state index-based search and classification
CN109346063B (zh) * 2018-10-12 2022-10-14 电子科技大学 一种语音数据增强方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203624A (zh) * 2016-06-23 2016-12-07 上海交通大学 基于深度神经网络的矢量量化系统及方法
CN106782511A (zh) * 2016-12-22 2017-05-31 太原理工大学 修正线性深度自编码网络语音识别方法
CN107545903A (zh) * 2017-07-19 2018-01-05 南京邮电大学 一种基于深度学习的语音转换方法
CN107610692A (zh) * 2017-09-22 2018-01-19 杭州电子科技大学 基于神经网络堆叠自编码器多特征融合的声音识别方法
CN108831443A (zh) * 2018-06-25 2018-11-16 华中师范大学 一种基于堆叠自编码网络的移动录音设备源识别方法
CN108921343A (zh) * 2018-06-26 2018-11-30 浙江工业大学 基于堆栈自编码器-支持向量回归的交通流量预测方法
CN109346084A (zh) * 2018-09-19 2019-02-15 湖北工业大学 基于深度堆栈自编码网络的说话人识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"vector quantization of high-dimensional speech spectra using deep neural network";Jianfeng Wu;《IEICE transactions on information and systems》;20190702;摘要，正文第1-4页 *

Also Published As

Publication number Publication date
CN110491400A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN110491400B (zh) 一种基于深度自编码器的语音信号重建方法
CN110473557B (zh) 一种基于深度自编码器的语音信号编解码方法
CN1327405C (zh) 分布式语音识别系统中语音识别的方法和设备
RU2464649C1 (ru) Способ обработки звукового сигнала
US11594236B2 (en) Audio encoding/decoding based on an efficient representation of auto-regressive coefficients
RU2530926C2 (ru) Изменение формы шума округления для основанных на целочисленном преобразовании кодирования и декодирования аудио и видеосигнала
Haneche et al. Compressed sensing-speech coding scheme for mobile communications
Casebeer et al. Enhancing into the codec: Noise robust speech coding with vector-quantized autoencoders
US20050114123A1 (en) Speech processing system and method
US20230186927A1 (en) Compressing audio waveforms using neural networks and vector quantizers
CN116153320A (zh) 语音信号联合降噪压缩方法和系统
CN103854655A (zh) 一种低码率语音编码器以及解码器
Lee et al. KLT-based adaptive entropy-constrained quantization with universal arithmetic coding
CN117292694B (zh) 基于时不变编码的少令牌神经语音编解码方法和系统
CN101315771A (zh) 说话人识别中不同语音编码影响的补偿方法
Han et al. An improved ADPCM decoder by adaptively controlled quantization interval centroids
Szabó et al. Human voice signal synthesis and coding
Nandkumar et al. Robust speech mode based LSF vector quantization for low bit rate coders
CN117544603A (zh) 一种语音通信系统及方法
JP7011309B2 (ja) 符号化装置、符号化方法およびプログラム
Srikotr et al. Predictive vector quantized variational autoencoder for spectral envelope quantization
Tseng et al. Quantization for adapted GMM-based speaker verification
CN117616498A (zh) 使用神经网络和向量量化器压缩音频波形
CN114400012A (zh) 一种极低速率高质量语音编解码方法及装置
EP3629327A1 (en) Apparatus and method for noise shaping using subspace projections for low-rate coding of speech and audio

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210511

Address after: 312028 No. 2016 Jiangxia Road, Yang Xun Qiao, Keqiao District, Shaoxing, Zhejiang.

Applicant after: ZHEJIANG SHUREN College (ZHEJIANG SHUREN University)

Address before: Room 137, middle building, No.2 building, Hangzhou University of Electronic Science and technology college students entrepreneurship Park, Xiasha Higher Education Park, Hangzhou City, Zhejiang Province, 310018

Applicant before: HANGZHOU PIONEER ELECTRONIC TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant