CN110136731A - 空洞因果卷积生成对抗网络端到端骨导语音盲增强方法 - Google Patents
空洞因果卷积生成对抗网络端到端骨导语音盲增强方法 Download PDFInfo
- Publication number
- CN110136731A CN110136731A CN201910400246.0A CN201910400246A CN110136731A CN 110136731 A CN110136731 A CN 110136731A CN 201910400246 A CN201910400246 A CN 201910400246A CN 110136731 A CN110136731 A CN 110136731A
- Authority
- CN
- China
- Prior art keywords
- network
- bone conduction
- convolution
- data
- confrontation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 75
- 230000000694 effects Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 56
- 230000002708 enhancing effect Effects 0.000 claims abstract description 39
- 239000000284 extract Substances 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 27
- 238000012360 testing method Methods 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 16
- 239000004568 cement Substances 0.000 claims description 15
- 230000005236 sound signal Effects 0.000 claims description 14
- 230000007480 spreading Effects 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000009977 dual effect Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000006399 behavior Effects 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 210000000697 sensory organ Anatomy 0.000 abstract description 2
- 239000004615 ingredient Substances 0.000 abstract 1
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 18
- 238000001228 spectrum Methods 0.000 description 6
- 238000000354 decomposition reaction Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000003014 reinforcing effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 230000005534 acoustic noise Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明涉及人工智能、医疗康复器械领域，为为提出端到端骨导语音增强方法，解决骨导语音高频成分缺失，听觉感观不佳及强噪声背景下的通讯等问题，本发明，空洞因果卷积生成对抗网络端到端骨导语音盲增强方法，以骨导原始音频采样点作为输入数据，纯净气导原始音频作为训练的输出目标，将骨导语音输入训练好的空洞因果卷积生成对抗增强网络，所述空洞因果卷积生成对抗网络包括生成器和判别器，生成器采用空洞因果卷积，输出增强后的样本；判别器则是输入原始音频数据和生成器生成好的增强后语音样本，利用判别器中的卷积层提取深层次非线性特征，从而进行样本的深层相似性判断。本发明主要应用于骨导语音增强设备的设计制造场合。
Description
技术领域
本发明涉及人工智能领域，尤其涉及一种用于端到端语音增强模型的训练方法及系统。具体涉及空洞因果卷积生成对抗网络端到端骨导语音盲增强方法。
背景技术
骨传导麦克风(Bone Conducted Microphone，BCM)和传统气传导麦克风(AirConducted Microphone，ACM)传播声音的方式不同的是，BCM采集的声音并不是通过空气传播，而是通过高灵敏的振动传感器采集人体骨头或组织的振动，然后再转换为音频信号。它的优点在于从声源处就屏蔽了噪声，从源头上阻止环境杂音在通讯系统两端的传递，因此即使在强噪声环境下通讯，有用信号也可以清晰的传递。虽然骨导(AC，Air Conduction)语音不会引入以空气为媒介的声学噪声的干扰，但高灵敏的骨传导传感器会在使用中带入非声学的串扰，像奔跑，骑行等过程，就会引入摩擦噪声和风燥，这些都影响通话质量。并且研究表明语音经过人体(相当于低通滤波器)传到骨传导传感器，不仅在时域上的幅度衰减严重，甚至在频域上基本没有高频信号，语音听起来比较沉闷，不够清晰，听觉感受不是很舒适。
单通道骨传导语音增强方法主要分为三大类：基于统计模型的语音增强算法、基于谱减法的语音增强算法和基于子空间的的语音增强算法。
基于统计模型的语音增强算法的原理是根据给定的带噪语音信号参数测量值，计算出与纯净语音信号相关的估计值，根据这个估计值构建滤波模型，从而得到对带噪语音的增强。1979年，Lim和Oppenhein提出了经典的维纳滤波语音增强算法，同一时期还有Paliwal在语音增强算法中使用了卡尔曼滤波技术。Ephraim将隐马尔可夫模型引入到语音增强中并和Malah提出了基于最小均方误差(MMSE)的短时幅值谱估计的语音增强算法，这些语音增强算法均达到了很好的对带噪语音信号的增强效果。
基于谱减法的语音增强算法是Boll等人改进了由Schroeder提出的传统谱减法形成的经典谱减法，该算法是基于噪声的频谱是平稳的或变化缓慢。其原理是用带噪声语音信号的频谱减去噪声信号的频谱，从而得到纯净语音信号的频谱。该算法能抑制一定成度的背景噪声信号，但只能对含稳态噪声的带噪语音信号有明显的增强效果。随后，出现了很多改良版的谱减法语音增强算法，如基于功率谱的谱减法、非线性谱减法和其他的一些方法。谱减法的缺点是残留噪声较大、引入不必要的音乐噪声，但是谱减法原理简单，容易实现，在实际中应用非常广泛且用与语音增强领域的入门算法。
基于子空间的语音增强算法的原理是基于线性代数理论的，在欧式几何中，纯净语音信号与噪声信号可能局限于带噪语音信号的不同子空间中，因此，如果找到一种办法将带噪语音信号的向量空间分解成两个子空间，其中一个子空间主要包括纯净语音信号，另一个子空间主要包括噪声语音信号，这样就可以得到估计的纯净语音信号所处的子空间。主要用到的方法是特征值分解(Eigen Value Decomposition，EVD)和奇异值分解(Singular Value Decomposition，SVD)。近年来，稀疏表示或稀疏编码在语音增强领域受到了极大的关注，稀疏表示或稀疏分解是新兴的数字信号处理方法，稀疏表示是从一个过完备矩阵空间中选择少量原子以线性组合的形式来表示一个信号的全部或大部分信息，可以应用非负矩阵分解(Non-negative Matrix Factorization，NMF)获得最稀疏的线性组合。
发明内容
为克服现有技术的不足，本发明旨在提出一种基于空洞因果卷积生成对抗网络的端到端骨导语音增强算法，所提出的系统以端到端(即波形输入和波形输出)的方式进行语音增强，通过训练获取最佳网络模型参数，再利用训练好的模型增强骨导语音，解决骨导语音高频成分缺失，听觉感观不佳及强噪声背景下的通讯等问题。为此，本发明采取的技术方案是，空洞因果卷积生成对抗网络端到端骨导语音盲增强方法，以骨导原始音频采样点作为输入数据，纯净气导BC(Bone Conduction)原始音频作为训练的输出目标，构建并训练空洞因果卷积生成对抗增强网络；然后将骨导语音输入训练好的空洞因果卷积生成对抗增强网络，由该网络输出增强后的音频波形；所述空洞因果卷积生成对抗网络包括生成器和判别器，生成器采用空洞因果卷积，对网络的输入数据进行深层意义的特征提取和特征变换，输出增强后的样本；判别器则是输入原始音频数据和生成器生成好的增强后语音样本，利用判别器中的卷积层提取深层次非线性特征，从而进行样本的深层相似性判断。
构建并训练空洞因果卷积生成对抗增强网络具体步骤是，将纯净语音样本和骨导语音样本输入判别器，对判别器进行真实数据判断训练；生成器以骨导原始语音采样点作为生成器训练输入数据，生成器生成增强后的语音样本，将生成器生成的增强样本和原始骨导语音样本作为判别器输入，进行增强数据判断，将判别误差反馈给生成器，生成器通过训练减小误差，提高增强语音质量。判别器和生成器进行反复对抗训练，最后得到最优骨导语音增强网络模型，并存储模型参数。
还包括数据预处理步骤：将骨导原始语音采样点和纯净气导语音采样点进行切片，根据生成对抗网络深度确定适当的数据输入与输出的因果关系，形成网络训练样本，进行骨导语音采样点数据序列到纯净语音采样点数据序列的对齐操作；在训练阶段，由于标定真实数据x的所有时间步骤都是己知的，因此所有时间步骤的条件概率预测并行进行；在推断阶段，预测结果是串行的：每一个预测出的样本都被传回网络用于预测下一个样本。
具体步骤细化如下：
步骤一：获取骨导和气导语音数据以生成训练集和测试集，对气导和骨导原始语音信号进行分段处理，并进行数据预处理以满足网络输入需求，具体地，将训练集和测试集的语音数据统一转化为.wav形式的音频文件存储，然后将音频分段成输入样本长度和输出样本长度序列，每500毫秒提取大约1秒语音滑动窗口的波形块；测试时，在测试的整个过程中滑动窗口，没有重叠，并在流的末尾将结果连在一起；在训练和测试中，对所有输入样本应用系数为0.95的高频预加重滤波器，在测试过程中，输出也相应地进行去加重处理；L滤波器函数定义如下：
H(z)＝1-αz-1
步骤二：对数据进行mu-low压缩编码，将原本softmax(分类函数)层的65536个概率输出量化到256个可能值，并将一维音频数据样本进行独热One_Hot编码，编码后变换为256维音频数据，mu_low编码和解码函数如下：
其中μ＝255，x是输入信号，y是经过编码的输出信号，sgn(x)是sign函数，编码函数自变量范围是-1到1；
步骤三：生成对抗网络的对抗训练：定义生成对抗网络GAN的网络结构，生成器G采用全卷积网络结构，没有全连接层，采用残差跳步连接，作为语音增强框架；判别器则是用于分类的卷积神经网络CNN，用于指导改进生成器模型；生成器模型由强化学习的策略梯度进行训练，其中，奖励值由判别器反馈值提供，通过时间查分学习反馈中间每步训练所生成数据概率的对应奖励，判别器通过真实数据和生成数据进行训练；
步骤四：测试集输入训练好的生成模型G中进行骨导语音增强，再将输出进行One_Hot解码和mu_law解码，最后把增强音频片段进行合成原始音频流。
生成器G网络结构为全卷积结构，是由一个3层的卷积网络、30块的空洞卷积网络结构组成，空洞卷积结构包含两层空洞卷积、一层残差卷积和一层跳步卷积，空洞卷积层使用门控激活函数进行非线性变换，最后两层卷积网络层之间使用ReLU校正线性单元，门控激活函数公式定义为：z＝tanh(Wf，k*x)⊙σ(Wg，k*x)，其中，*代表卷积操作，⊙表示元素相乘操作，σ()是sigmoid函数，k代表第几层卷积，f和k表示两层卷积层，W则是对应卷积层的滤波器参数。
将骨导语音样本送入生成模型G中进行语音增强，信号首先经过一层普通卷积层，然后进入空洞卷积块进行信号的非线性特征提取和变换，扩张率设置为成倍数增加，第一层卷积层的扩张率为1，第二层卷积层的扩张率为2，以此类推，直到扩张率的极限再重复循环；训练时，网络使用残差和跳步连接，残差跳步卷积使用1×1滤波器，卷积通道数设置为32和256；经空洞卷积后的输出通过两层滤波器宽度为1的卷积层，使用ReLU激活函数，最后经过softmax层，输出带One_Hot编码和mu-law编码形式的音频信号；将生成模型G输出的256维音频信号One_Hot解码变成一维音频信号，然后通过mu-law编码的解码函数得到最终生成的增强骨导音频。
判别模型D是一个二分类卷积神经网络，判别器D中每层卷积层使用参数为0.3的Leaky-ReLU非线性激活函数，在结构上，D是由22个一维跨卷积层组成，滤波器宽度为31，步长为n＝2，每层滤波器的数量增加，这样深度就会随着宽度变窄而变大，每层样品×特征图的尺寸为16384×1，8192×16，4096×32，2048×32，1024×64，512×64，256×128，128×128，64×256，32×256，16×512和8×1024，网络D的卷积结构适合卷积分类网络的卷积拓扑。
对抗生成网络的训练损失函数定义如下：
其中E(*)表示分布函数的期望值，Pdata(x)代表着真实样本的分布，Pdata(z)是定义在低维度的噪声分布，通过参数为θg的G映射到高纬的数据空间得到Pg＝G(z，θg)，以此达到最大化D的判别能力，最小化G和真实数据集的数据分布。
本发明的特点及有益效果是：
1、本发明以一种新的方法实现了语音增强，不同于传统的基于谱估计算法和深度神经网络算法，本文采用一种端到端的语音增强算法，输入原始语音信号，输出增强语音信号，利用对抗方式生成增强语音信号，保留原始语音信号时域上的相位细节信息。通过实验表明，该方法不仅可行，并可以有效替代传统流行方法，得到更好的增强性能。
2、生成对抗网络模型中的生成器模型采用空洞因果卷积，扩张卷积在保持参数个数不变的情况下增大了卷积核的感受野，同时它可以保证输出的特征映射的大小不变。使用空洞卷积使感受野增大了几个数量级，同时不会显著增加计算成本。与正常卷积相比，空洞卷积有效地使网络可以执行粗粒度的卷积操作。由于使用因果卷积的模型中没有循环连接，通常训练起来比RNN更快。
3、原始音频通常保存为16位整数序列，对每个时间步骤的所有可能值，softmax层将需要输出65536个概率，为了更容易处理，对数据进行了mu-low编码，将softmax层的输出量化到256个可能值，和简单的线性量化相比，这个非线性量化处理可以对数据进行更好的重构，特别是对于语音数据，这样重构后的信号听起来非常接近原始信号。
4、生成网络模型使用门控激活单元作为激活函数，对于音频信号建模，这个非线性操作显著优于ReLU激活函数。并且网络使用残差跳步连接，将输出表述为输入和输入的一个非线性变换的线性叠加，以加速收敛，改善梯度消失使梯度下降能在更深的模型中传播。
附图说明：
图1基于生成对抗网络的端到端骨导语音增强结构图。
图2生成器模型图。
图3判别器模型图。
图4空洞因果卷积示例图。
具体实施方式
实现本发明目的的技术解决方案为：一种用于端到端语音增强的基于空洞因果卷积生成对抗网络结构，与现有的仅处理幅度谱(例如对数功率谱(LPS))的大多数增强方法不同，它直接以骨导原始音频采样点作为输入数据，纯净气导原始音频作为训练的输出目标，构建并训练空洞因果卷积生成对抗增强网络。
所述空洞因果卷积生成对抗网络包括生成器和判别器，生成器采用空洞因果卷积，对网络的输入数据进行深层意义的特征提取和特征变换，输出增强后的样本；判别器则是输入原始音频数据和生成器生成好的增强后语音样本，利用判别器中的卷积层提取深层次非线性特征，从而进行样本的深层相似性判断。训练方法主要包含如下步骤：
数据预处理：训练时采用了因果卷积，因果卷积确保了模型输出不会违反数据的顺序：模型在t时刻输出的预测p(xt+1)|x1，...，xt不会依赖任何一个未来时刻的数据xt+1，xt+2，...，xT。对图像来说，因果卷积是一个遮蔽卷积，可以在使用前通过构建一个遮蔽张量与卷积核进行点乘来实现。对于音频这样的一维数据来说实现起来更简单，将正常卷积的输出偏移几个时间步骤即可。具体的将骨导原始语音采样点和纯净气导语音采样点进行切片，根据生成对抗网络深度确定适当的数据输入与输出的因果关系，形成网络训练样本，进行骨导语音采样点数据序列到纯净语音采样点数据序列的对齐操作。在训练阶段，由于标定真实数据x的所有时间步骤都是已知的，因此所有时间步骤的条件概率预测可以并行进行。在推断阶段，预测结果是串行的：每一个预测出的样本都被传回网络用于预测下一个样本。
生成对抗网络的对抗训练：将纯净语音样本和骨导语音样本输入判别器，对判别器进行真实数据判断训练；生成器以骨导原始语音采样点作为生成器训练输入数据，生成器生成增强后的语音样本，将生成器生成的增强样本和原始骨导语音样本作为判别器输入，进行增强数据判断，将判别误差反馈给生成器，生成器通过训练减小误差，提高增强语音质量。判别器和生成器进行反复对抗训练，最后得到最优骨导语音增强网络模型，并存储模型参数。
其中，生成模型D采用空洞卷积(也称为扩大卷积)，是卷积核在比自身大的数据上进行卷积时跳步的卷积方法。这与通过用零补边使卷积核扩大的效果是一样的，但是这样效率更高。与正常卷积相比，扩大卷积有效地使网络可以执行粗粒度的卷积操作。这与下采样或者跳步卷积类似，只是这里的输出保持与输入同样大小。堆叠式扩大卷积使得网络只通过少数几层便拥有了非常大的感受野，同时保留了输入分辨率和计算效率。扩大系数每层都翻倍直到上限，然后重复循环，如：1，2，4，...，512，1，2，4，...，512，1，2，4，...，512。这种配置其背后的直觉有两个，首先随着深度增加，扩大因子的指数增长可以使感受野呈指数级增大。例如每一组1，2，4，...，512这样的卷积模块都拥有1024大小的感受野，可视为与1x1024卷积对等的更高效的(非线性)判别式卷积操作。其次，将多组这样的卷积模块堆叠起来会进一步增大模型容量和感受野大小。
骨导语音增强：利用训练完成的最优生成对抗网络中的生成网络模型对骨导语音进行增强，输入骨导语音，直接输出增强后的音频波形。
下面结合附图来描述本发明实施的基于空洞因果卷积生成对抗网络的端到端骨导语音增强方法。该方法包含以下步骤：
步骤一：获取骨导和气导语音数据以生成训练集和测试集，对气导和骨导原始语音信号进行分段处理，并进行数据预处理以满足网络输入需求。
具体地，可将训练集和测试集的语音数据统一转化为.wav形式的音频文件存储，然后使用python将音频分段成输入样本长度和输出样本长度序列，每500毫秒(50％重叠)提取大约1秒语音(16384个样本)滑动窗口的波形块。测试中，我们基本上在测试的整个过程中滑动窗口，没有重叠，并在流的末尾将结果连在一起。在训练和测试中，我们对所有输入样本(在测试过程中，输出也相应地进行去加重处理)应用了系数为0.95的高频预加重滤波器。L滤波器函数定义如下：
H(z)＝1-αz-1
步骤二：对数据进行了mu-low(一种常用编码压缩算法)压缩编码，将原本softmax层的65536个概率输出量化到256个可能值，并将一维的音频数据样本进行One_Hot编码，编码后变换为256维音频数据，mu_low编码和解码函数如下：
其中μ＝255，x是输入信号，y是经过编码的输出信号，sgn(x)是sign函数。需要注意，编码函数自变量范围是-1到1。
步骤三：生成对抗网络的对抗训练：定义生成对抗网络GAN的网络结构，生成器G如图2所示采用全卷积网络结构，没有全连接层，采用了残差跳步连接，作为语音增强框架。判别器则是用于分类的CNN网络，用于指导改进生成器模型。生成器模型由强化学习的策略梯度进行训练，其中，奖励值由判别器反馈值提供，通过时间查分学习反馈中间每步训练所生成数据概率的对应奖励。判别器通过真实数据和生成数据进行训练。具体训练如下：
网络的训练样本由两部分组成，如图1所示，第一部分是判别模型D的输入为骨导语音信号和纯净语音信号组成的真实语音数据样本，输出标记为1，第二部分判别模型D的输入为骨导语音信号和生成模型G生成的增强语音信号组成的增强语音数据样本，输出是假样本并标记为0。训练时，我们设置训练模型学习率为0.0002，批尺寸(batch-size)为400，训练周期为200次。
如图2所示，生成模型G网络结构为全卷积结构，是由一个3层的卷积网络、30块的空洞卷积网络结构组成，空洞卷积结构包含两层空洞卷积、一层残差卷积和一层跳步卷积，空洞卷积层使用门控激活函数进行非线性变换，最后两层卷积网络层之间使用ReLU校正线性单元。门控激活函数公式定义为：z＝tanh(Wf，k*x)⊙σ(Wg，k*x)，其中，*代表卷积操作，⊙表示元素相乘操作，σ()是sigmoid函数，k代表第几层卷积，f和k表示两层卷积层，W则是对应卷积层的滤波器参数。
将骨导语音样本送入生成模型G中进行语音增强，信号首先经过一层普通卷积层，然后进入空洞卷积块进行信号的非线性特征提取和变换。扩张率设置为成倍数增加，第一层卷积层的扩张率为1，第二层卷积层的扩张率为2，以此类推，直到扩张率的极限再重复循环。训练时，网络使用残差和跳步连接，残差跳步卷积使用1×1滤波器，卷积通道数设置为32和256。经空洞卷积后的输出通过两层滤波器宽度为1的卷积层，使用ReLU激活函数，最后经过softmax层，输出带One_Hot编码和mu-law编码形式的音频信号。将生成模型G输出的256维音频信号One_Hot解码变成一维音频信号，然后通过mu-law编码的解码函数得到最终生成的增强骨导音频。
判别模型D是一个二分类卷积神经网络。判别器D中每层卷积层使用参数为0.3的Leaky-ReLU非线性激活函数，在结构上，D是由22个一维跨卷积层组成，滤波器宽度为31，步长为n＝2。每层滤波器的数量增加，这样深度就会随着宽度(信号在时间上的持续时间)变窄而变大。每层样品×特征图的尺寸为16384×1，8192×16，4096×32，2048×32，1024×64，512×64，256×128，128×128，64×256，32×256，16×512和8×1024。网络D的卷积结构适合卷积分类网络的卷积拓扑。
判别模型D的最后一层全连接层使用一维卷积层代替减少了最终分类神经元所需的参数数量，这与所有具有线性行为的隐藏激活完全相关。这意味着我们将完全连接组件中所需参数的数量从8×1024＝8192减少到8。
将生成模型G生成的预测干净音频送入判别模型D，再将真实语音样本X送入判别模型D，训练判别模型神经网络，判别模型对生成模型产生的预测干净音频判定为虚假数据给予低分(接近0)，对真实干净音频样本X判定为真实数据给予高分(接近1)，以此学习真实数据和预测数据的分布，使判别模型分辨出说话者的声音通过语音增强系统所生成的预测音频是否符合真实音频的分布。
网络训练损失函数定义如下：
其中E(*)表示分布函数的期望值，Pdata(x)代表着真实样本的分布，Pdata(z)是定义在低维度的噪声分布，通过参数为θg的G映射到高纬的数据空间得到Pg＝G(z，θg)，以此达到最大化D的判别能力，最小化G和真实数据集的数据分布。
步骤四：测试集输入训练好的生成模型G中进行骨导语音增强，再将输出进行One_Hot解码和mu_law解码，最后把增强音频片段进行合成原始音频流。
本发明使用生成对抗性框架实现了一种端到端的骨导语音增强方法。该模型作为一种完全卷积的网络结构，使增强波形块的运算速度更快。模型直接在波形层次上工作，将因果滤波器和膨胀的卷积函数结合起来，使它们的接收场随深度呈指数增长，这对于模拟音频信号中的长时相依性是很重要的。结果表明，该方法达到了良好的骨导语音增强效果，增强后的语音高频信号得到了有效恢复，尤其在平均主观测试中有着特别好效果，是一种有效的替代现有方法的方法。
Claims (8)
1.一种空洞因果卷积生成对抗网络端到端骨导语音盲增强方法，其特征是，以骨导原始音频采样点作为输入数据，纯净气导BC(Bone Conduction)原始音频作为训练的输出目标，构建并训练空洞因果卷积生成对抗增强网络；然后将骨导语音输入训练好的空洞因果卷积生成对抗增强网络，由该网络输出增强后的音频波形；所述空洞因果卷积生成对抗网络包括生成器和判别器，生成器采用空洞因果卷积，对网络的输入数据进行深层意义的特征提取和特征变换，输出增强后的样本；判别器则是输入原始音频数据和生成器生成好的增强后语音样本，利用判别器中的卷积层提取深层次非线性特征，从而进行样本的深层相似性判断。
2.如权利要求1所述的空洞因果卷积生成对抗网络端到端骨导语音盲增强方法，其特征是，构建并训练空洞因果卷积生成对抗增强网络具体步骤是，将纯净语音样本和骨导语音样本输入判别器，对判别器进行真实数据判断训练；生成器以骨导原始语音采样点作为生成器训练输入数据，生成器生成增强后的语音样本，将生成器生成的增强样本和原始骨导语音样本作为判别器输入，进行增强数据判断，将判别误差反馈给生成器，生成器通过训练减小误差，提高增强语音质量。判别器和生成器进行反复对抗训练，最后得到最优骨导语音增强网络模型，并存储模型参数。
3.如权利要求1所述的空洞因果卷积生成对抗网络端到端骨导语音盲增强方法，其特征是，还包括数据预处理步骤：将骨导原始语音采样点和纯净气导语音采样点进行切片，根据生成对抗网络深度确定适当的数据输入与输出的因果关系，形成网络训练样本，进行骨导语音采样点数据序列到纯净语音采样点数据序列的对齐操作；在训练阶段，由于标定真实数据x的所有时间步骤都是已知的，因此所有时间步骤的条件概率预测并行进行；在推断阶段，预测结果是串行的：每一个预测出的样本都被传回网络用于预测下一个样本。
4.如权利要求1所述的空洞因果卷积生成对抗网络端到端骨导语音盲增强方法，其特征是，具体步骤细化如下：
步骤一：获取骨导和气导语音数据以生成训练集和测试集，对气导和骨导原始语音信号进行分段处理，并进行数据预处理以满足网络输入需求，具体地，将训练集和测试集的语音数据统一转化为.wav形式的音频文件存储，然后将音频分段成输入样本长度和输出样本长度序列，每500毫秒提取大约1秒语音滑动窗口的波形块；测试时，在测试的整个过程中滑动窗口，没有重叠，并在流的末尾将结果连在一起；在训练和测试中，对所有输入样本应用系数为0.95的高频预加重滤波器，在测试过程中，输出也相应地进行去加重处理；L滤波器函数定义如下：
H(z)＝1-αz-1
步骤二：对数据进行mu-low压缩编码，将原本分类函数softmax层的65536个概率输出量化到256个可能值，并将一维音频数据样本进行独热One_Hot编码，编码后变换为256维音频数据，mu_low编码和解码函数如下：
其中μ＝255，x是输入信号，y是经过编码的输出信号，sgn(x)是sign函数，编码函数自变量范围是-1到1；
步骤三：生成对抗网络的对抗训练：定义生成对抗网络GAN的网络结构，生成器G采用全卷积网络结构，没有全连接层，采用残差跳步连接，作为语音增强框架；判别器则是用于分类的卷积神经网络CNN，用于指导改进生成器模型；生成器模型由强化学习的策略梯度进行训练，其中，奖励值由判别器反馈值提供，通过时间查分学习反馈中间每步训练所生成数据概率的对应奖励，判别器通过真实数据和生成数据进行训练；
步骤四：测试集输入训练好的生成模型G中进行骨导语音增强，再将输出进行One_Hot解码和mu_law解码，最后把增强音频片段进行合成原始音频流。
5.如权利要求1所述的空洞因果卷积生成对抗网络端到端骨导语音盲增强方法，其特征是，生成器G网络结构为全卷积结构，是由一个3层的卷积网络、30块的空洞卷积网络结构组成，空洞卷积结构包含两层空洞卷积、一层残差卷积和一层跳步卷积，空洞卷积层使用门控激活函数进行非线性变换，最后两层卷积网络层之间使用ReLU校正线性单元，门控激活函数公式定义为：z＝tanh(Wf,k*x)⊙σ(Wg,k*x)，其中，*代表卷积操作，⊙表示元素相乘操作，σ()是sigmoid函数，k代表第几层卷积，f和k表示两层卷积层，W则是对应卷积层的滤波器参数。
6.如权利要求1所述的空洞因果卷积生成对抗网络端到端骨导语音盲增强方法，其特征是，将骨导语音样本送入生成模型G中进行语音增强，信号首先经过一层普通卷积层，然后进入空洞卷积块进行信号的非线性特征提取和变换，扩张率设置为成倍数增加，第一层卷积层的扩张率为1，第二层卷积层的扩张率为2，以此类推，直到扩张率的极限再重复循环；训练时，网络使用残差和跳步连接，残差跳步卷积使用1×1滤波器,卷积通道数设置为32和256；经空洞卷积后的输出通过两层滤波器宽度为1的卷积层，使用ReLU激活函数，最后经过softmax层，输出带One_Hot编码和mu-law编码形式的音频信号；将生成模型G输出的256维音频信号One_Hot解码变成一维音频信号，然后通过mu-law编码的解码函数得到最终生成的增强骨导音频。
7.如权利要求1所述的空洞因果卷积生成对抗网络端到端骨导语音盲增强方法，其特征是，判别模型D是一个二分类卷积神经网络，判别器D中每层卷积层使用参数为0.3的Leaky-ReLU非线性激活函数，在结构上，D是由22个一维跨卷积层组成，滤波器宽度为31，步长为n＝2，每层滤波器的数量增加，这样深度就会随着宽度变窄而变大，每层样品×特征图的尺寸为16384×1，8192×16，4096×32，2048×32，1024×64，512×64，256×128，128×128，64×256，32×256，16×512和8×1024，网络D的卷积结构适合卷积分类网络的卷积拓扑。
8.如权利要求1所述的空洞因果卷积生成对抗网络端到端骨导语音盲增强方法，其特征是，对抗生成网络的训练损失函数定义如下：
其中E(*)表示分布函数的期望值，Pdata(x)代表着真实样本的分布，Pdata(z)是定义在低维度的噪声分布，通过参数为θg的G映射到高纬的数据空间得到Pg＝G(z,θg)，以此达到最大化D的判别能力，最小化G和真实数据集的数据分布。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910400246.0A CN110136731B (zh) | 2019-05-13 | 2019-05-13 | 空洞因果卷积生成对抗网络端到端骨导语音盲增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910400246.0A CN110136731B (zh) | 2019-05-13 | 2019-05-13 | 空洞因果卷积生成对抗网络端到端骨导语音盲增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110136731A true CN110136731A (zh) | 2019-08-16 |
| CN110136731B CN110136731B (zh) | 2021-12-24 |
Family
ID=67573923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910400246.0A Active CN110136731B (zh) | 2019-05-13 | 2019-05-13 | 空洞因果卷积生成对抗网络端到端骨导语音盲增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110136731B (zh) |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110600015A (zh) * | 2019-09-18 | 2019-12-20 | 北京声智科技有限公司 | 一种语音的密集分类方法及相关装置 |
| CN110751957A (zh) * | 2019-09-25 | 2020-02-04 | 电子科技大学 | 一种使用堆叠多尺度模块的语音增强方法 |
| CN110853663A (zh) * | 2019-10-12 | 2020-02-28 | 平安科技（深圳）有限公司 | 基于人工智能的语音增强方法、服务器及存储介质 |
| CN111477247A (zh) * | 2020-04-01 | 2020-07-31 | 宁波大学 | 基于gan的语音对抗样本生成方法 |
| CN111524530A (zh) * | 2020-04-23 | 2020-08-11 | 广州清音智能科技有限公司 | 一种基于膨胀因果卷积的语音降噪方法 |
| CN111613200A (zh) * | 2020-05-26 | 2020-09-01 | 辽宁工程技术大学 | 一种基于强化学习的降噪方法 |
| CN111612703A (zh) * | 2020-04-22 | 2020-09-01 | 杭州电子科技大学 | 一种基于生成对抗网络的图像盲去模糊方法 |
| CN111833893A (zh) * | 2020-06-16 | 2020-10-27 | 杭州云嘉云计算有限公司 | 一种基于人工智能的语音增强方法 |
| CN112328588A (zh) * | 2020-11-27 | 2021-02-05 | 哈尔滨工程大学 | 一种工业故障诊断非平衡时序数据扩充方法 |
| CN112418305A (zh) * | 2020-11-19 | 2021-02-26 | 北京紫光展锐通信技术有限公司 | 一种训练样本的生成方法、装置、计算机设备和存储介质 |
| CN112581970A (zh) * | 2019-09-12 | 2021-03-30 | 深圳市韶音科技有限公司 | 用于音频信号生成的系统和方法 |
| CN112599145A (zh) * | 2020-12-07 | 2021-04-02 | 天津大学 | 基于生成对抗网络的骨传导语音增强方法 |
| CN112786064A (zh) * | 2020-12-30 | 2021-05-11 | 西北工业大学 | 一种端到端的骨气导语音联合增强方法 |
| CN112885363A (zh) * | 2019-11-29 | 2021-06-01 | 北京三星通信技术研究有限公司 | 语音发送方法和装置以及语音接收方法和装置、电子设备 |
| CN112908300A (zh) * | 2021-01-16 | 2021-06-04 | 西安电子科技大学 | 一种语音对抗样本检测方法、系统、存储介质及应用 |
| WO2021114181A1 (en) * | 2019-12-12 | 2021-06-17 | Shenzhen Voxtech Co., Ltd. | Systems and methods for noise control |
| CN113066476A (zh) * | 2019-12-13 | 2021-07-02 | 科大讯飞股份有限公司 | 合成语音处理方法及相关装置 |
| CN113096673A (zh) * | 2021-03-30 | 2021-07-09 | 山东省计算中心（国家超级计算济南中心） | 基于生成对抗网络的语音处理方法及系统 |
| CN113299300A (zh) * | 2021-05-18 | 2021-08-24 | 广州大学 | 一种语音增强方法、装置及存储介质 |
| CN114283829A (zh) * | 2021-12-13 | 2022-04-05 | 电子科技大学 | 一种基于动态门控卷积循环网络的语音增强方法 |
| CN114493781A (zh) * | 2022-01-25 | 2022-05-13 | 工银科技有限公司 | 用户行为预测方法、装置、电子设备及存储介质 |
| CN114548221A (zh) * | 2022-01-17 | 2022-05-27 | 苏州大学 | 小样本不均衡语音数据库的生成式数据增强方法及系统 |
| CN115050379A (zh) * | 2022-04-24 | 2022-09-13 | 华侨大学 | 一种基于fhgan的高保真语音增强模型及其应用 |
| CN115910027A (zh) * | 2023-03-08 | 2023-04-04 | 深圳市九天睿芯科技有限公司 | 一种辅助发声方法及装置 |
| CN116368563A (zh) * | 2020-10-15 | 2023-06-30 | 杜比国际公司 | 使用深度生成网络的实时数据包丢失隐藏 |
| CN116458894A (zh) * | 2023-04-21 | 2023-07-21 | 山东省人工智能研究院 | 基于复合型生成对抗网络的心电信号增强与分类方法 |
| US11902759B2 (en) | 2019-09-12 | 2024-02-13 | Shenzhen Shokz Co., Ltd. | Systems and methods for audio signal generation |
| CN113066476B (zh) * | 2019-12-13 | 2024-05-31 | 科大讯飞股份有限公司 | 合成语音处理方法及相关装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107871142A (zh) * | 2017-11-14 | 2018-04-03 | 华南理工大学 | 一种基于深度卷积对抗网络模型的空洞卷积方法 |
| US20180322891A1 (en) * | 2016-09-06 | 2018-11-08 | Deepmind Technologies Limited | Generating audio using neural networks |
| CN108877832A (zh) * | 2018-05-29 | 2018-11-23 | 东华大学 | 一种基于gan的音频音质还原系统 |
| CN108986834A (zh) * | 2018-08-22 | 2018-12-11 | 中国人民解放军陆军工程大学 | 基于编解码器架构与递归神经网络的骨导语音盲增强方法 |
| CN109065021A (zh) * | 2018-10-18 | 2018-12-21 | 江苏师范大学 | 基于条件深度卷积生成对抗网络的端到端方言辨识方法 |
| CN109524020A (zh) * | 2018-11-20 | 2019-03-26 | 上海海事大学 | 一种语音增强处理方法 |
-
2019
- 2019-05-13 CN CN201910400246.0A patent/CN110136731B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180322891A1 (en) * | 2016-09-06 | 2018-11-08 | Deepmind Technologies Limited | Generating audio using neural networks |
| CN107871142A (zh) * | 2017-11-14 | 2018-04-03 | 华南理工大学 | 一种基于深度卷积对抗网络模型的空洞卷积方法 |
| CN108877832A (zh) * | 2018-05-29 | 2018-11-23 | 东华大学 | 一种基于gan的音频音质还原系统 |
| CN108986834A (zh) * | 2018-08-22 | 2018-12-11 | 中国人民解放军陆军工程大学 | 基于编解码器架构与递归神经网络的骨导语音盲增强方法 |
| CN109065021A (zh) * | 2018-10-18 | 2018-12-21 | 江苏师范大学 | 基于条件深度卷积生成对抗网络的端到端方言辨识方法 |
| CN109524020A (zh) * | 2018-11-20 | 2019-03-26 | 上海海事大学 | 一种语音增强处理方法 |
Cited By (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11902759B2 (en) | 2019-09-12 | 2024-02-13 | Shenzhen Shokz Co., Ltd. | Systems and methods for audio signal generation |
| CN112581970A (zh) * | 2019-09-12 | 2021-03-30 | 深圳市韶音科技有限公司 | 用于音频信号生成的系统和方法 |
| CN110600015A (zh) * | 2019-09-18 | 2019-12-20 | 北京声智科技有限公司 | 一种语音的密集分类方法及相关装置 |
| CN110751957A (zh) * | 2019-09-25 | 2020-02-04 | 电子科技大学 | 一种使用堆叠多尺度模块的语音增强方法 |
| CN110751957B (zh) * | 2019-09-25 | 2020-10-27 | 电子科技大学 | 一种使用堆叠多尺度模块的语音增强方法 |
| CN110853663A (zh) * | 2019-10-12 | 2020-02-28 | 平安科技（深圳）有限公司 | 基于人工智能的语音增强方法、服务器及存储介质 |
| CN110853663B (zh) * | 2019-10-12 | 2023-04-28 | 平安科技（深圳）有限公司 | 基于人工智能的语音增强方法、服务器及存储介质 |
| WO2021068338A1 (zh) * | 2019-10-12 | 2021-04-15 | 平安科技（深圳）有限公司 | 基于人工智能的语音增强方法、服务器及存储介质 |
| CN112885363A (zh) * | 2019-11-29 | 2021-06-01 | 北京三星通信技术研究有限公司 | 语音发送方法和装置以及语音接收方法和装置、电子设备 |
| US11830469B2 (en) | 2019-12-12 | 2023-11-28 | Shenzhen Shokz Co., Ltd. | Systems and methods for noise control |
| WO2021114181A1 (en) * | 2019-12-12 | 2021-06-17 | Shenzhen Voxtech Co., Ltd. | Systems and methods for noise control |
| US11315540B2 (en) | 2019-12-12 | 2022-04-26 | Shenzhen Shokz Co., Ltd. | Systems and methods for noise control |
| CN113066476A (zh) * | 2019-12-13 | 2021-07-02 | 科大讯飞股份有限公司 | 合成语音处理方法及相关装置 |
| CN113066476B (zh) * | 2019-12-13 | 2024-05-31 | 科大讯飞股份有限公司 | 合成语音处理方法及相关装置 |
| CN111477247B (zh) * | 2020-04-01 | 2023-08-11 | 宁波大学 | 基于gan的语音对抗样本生成方法 |
| CN111477247A (zh) * | 2020-04-01 | 2020-07-31 | 宁波大学 | 基于gan的语音对抗样本生成方法 |
| CN111612703A (zh) * | 2020-04-22 | 2020-09-01 | 杭州电子科技大学 | 一种基于生成对抗网络的图像盲去模糊方法 |
| CN111524530A (zh) * | 2020-04-23 | 2020-08-11 | 广州清音智能科技有限公司 | 一种基于膨胀因果卷积的语音降噪方法 |
| CN111613200A (zh) * | 2020-05-26 | 2020-09-01 | 辽宁工程技术大学 | 一种基于强化学习的降噪方法 |
| CN111613200B (zh) * | 2020-05-26 | 2022-08-02 | 辽宁工程技术大学 | 一种基于强化学习的降噪方法 |
| CN111833893A (zh) * | 2020-06-16 | 2020-10-27 | 杭州云嘉云计算有限公司 | 一种基于人工智能的语音增强方法 |
| CN116368563A (zh) * | 2020-10-15 | 2023-06-30 | 杜比国际公司 | 使用深度生成网络的实时数据包丢失隐藏 |
| CN112418305A (zh) * | 2020-11-19 | 2021-02-26 | 北京紫光展锐通信技术有限公司 | 一种训练样本的生成方法、装置、计算机设备和存储介质 |
| CN112328588A (zh) * | 2020-11-27 | 2021-02-05 | 哈尔滨工程大学 | 一种工业故障诊断非平衡时序数据扩充方法 |
| CN112328588B (zh) * | 2020-11-27 | 2022-07-15 | 哈尔滨工程大学 | 一种工业故障诊断非平衡时序数据扩充方法 |
| CN112599145A (zh) * | 2020-12-07 | 2021-04-02 | 天津大学 | 基于生成对抗网络的骨传导语音增强方法 |
| CN112786064A (zh) * | 2020-12-30 | 2021-05-11 | 西北工业大学 | 一种端到端的骨气导语音联合增强方法 |
| CN112786064B (zh) * | 2020-12-30 | 2023-09-08 | 西北工业大学 | 一种端到端的骨气导语音联合增强方法 |
| CN112908300A (zh) * | 2021-01-16 | 2021-06-04 | 西安电子科技大学 | 一种语音对抗样本检测方法、系统、存储介质及应用 |
| CN112908300B (zh) * | 2021-01-16 | 2024-05-17 | 西安电子科技大学 | 一种语音对抗样本检测方法、系统、存储介质及应用 |
| CN113096673B (zh) * | 2021-03-30 | 2022-09-30 | 山东省计算中心（国家超级计算济南中心） | 基于生成对抗网络的语音处理方法及系统 |
| CN113096673A (zh) * | 2021-03-30 | 2021-07-09 | 山东省计算中心（国家超级计算济南中心） | 基于生成对抗网络的语音处理方法及系统 |
| CN113299300A (zh) * | 2021-05-18 | 2021-08-24 | 广州大学 | 一种语音增强方法、装置及存储介质 |
| CN113299300B (zh) * | 2021-05-18 | 2023-09-26 | 广州大学 | 一种语音增强方法、装置及存储介质 |
| CN114283829B (zh) * | 2021-12-13 | 2023-06-16 | 电子科技大学 | 一种基于动态门控卷积循环网络的语音增强方法 |
| CN114283829A (zh) * | 2021-12-13 | 2022-04-05 | 电子科技大学 | 一种基于动态门控卷积循环网络的语音增强方法 |
| CN114548221A (zh) * | 2022-01-17 | 2022-05-27 | 苏州大学 | 小样本不均衡语音数据库的生成式数据增强方法及系统 |
| CN114493781A (zh) * | 2022-01-25 | 2022-05-13 | 工银科技有限公司 | 用户行为预测方法、装置、电子设备及存储介质 |
| CN115050379A (zh) * | 2022-04-24 | 2022-09-13 | 华侨大学 | 一种基于fhgan的高保真语音增强模型及其应用 |
| CN115910027A (zh) * | 2023-03-08 | 2023-04-04 | 深圳市九天睿芯科技有限公司 | 一种辅助发声方法及装置 |
| CN116458894A (zh) * | 2023-04-21 | 2023-07-21 | 山东省人工智能研究院 | 基于复合型生成对抗网络的心电信号增强与分类方法 |
| CN116458894B (zh) * | 2023-04-21 | 2024-01-26 | 山东省人工智能研究院 | 基于复合型生成对抗网络的心电信号增强与分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110136731B (zh) | 2021-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110136731A (zh) | 空洞因果卷积生成对抗网络端到端骨导语音盲增强方法 | |
| JP7337953B2 (ja) | 音声認識方法及び装置、ニューラルネットワークの訓練方法及び装置、並びにコンピュータープログラム | |
| CN107680611B (zh) | 基于卷积神经网络的单通道声音分离方法 | |
| CN111583954B (zh) | 一种说话人无关单通道语音分离方法 | |
| CN106816158B (zh) | 一种语音质量评估方法、装置及设备 | |
| CN105488466B (zh) | 一种深层神经网络和水声目标声纹特征提取方法 | |
| Yu et al. | Speech enhancement based on denoising autoencoder with multi-branched encoders | |
| CN106782511A (zh) | 修正线性深度自编码网络语音识别方法 | |
| CN108962229B (zh) | 一种基于单通道、无监督式的目标说话人语音提取方法 | |
| CN111179905A (zh) | 一种快速配音生成方法及装置 | |
| CN110060657B (zh) | 基于sn的多对多说话人转换方法 | |
| CN111899757B (zh) | 针对目标说话人提取的单通道语音分离方法及系统 | |
| CN108877832A (zh) | 一种基于gan的音频音质还原系统 | |
| CN114141238A (zh) | 一种融合Transformer和U-net网络的语音增强方法 | |
| CN107967920A (zh) | 一种改进的自编码神经网络语音增强算法 | |
| CN110456332A (zh) | 一种基于自动编码器的水声信号增强方法 | |
| CN115602152B (zh) | 一种基于多阶段注意力网络的语音增强方法 | |
| CN110349588A (zh) | 一种基于词嵌入的lstm网络声纹识别方法 | |
| CN115762536A (zh) | 一种基于桥接Transformer的小样本优化鸟声识别方法 | |
| Wu et al. | Increasing compactness of deep learning based speech enhancement models with parameter pruning and quantization techniques | |
| CN112633175A (zh) | 复杂环境下基于多尺度卷积神经网络单音符实时识别算法 | |
| CN111724806B (zh) | 一种基于深度神经网络的双视角单通道语音分离方法 | |
| KR20230109630A (ko) | 오디오 신호 생성 및 오디오 생성기 훈련을 위한 방법 및 오디오 생성기 | |
| Zöhrer et al. | Representation learning for single-channel source separation and bandwidth extension | |
| Du et al. | A joint framework of denoising autoencoder and generative vocoder for monaural speech enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |