CN113314148A - 基于原始波形的轻量级神经网络生成语音鉴别方法和系统 - Google Patents

基于原始波形的轻量级神经网络生成语音鉴别方法和系统 Download PDF

Info

Publication number
CN113314148A
CN113314148A CN202110866648.7A CN202110866648A CN113314148A CN 113314148 A CN113314148 A CN 113314148A CN 202110866648 A CN202110866648 A CN 202110866648A CN 113314148 A CN113314148 A CN 113314148A
Authority
CN
China
Prior art keywords
module
layer
original
network
frame sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110866648.7A
Other languages
English (en)
Other versions
CN113314148B (zh
Inventor
陶建华
马浩鑫
易江燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202110866648.7A priority Critical patent/CN113314148B/zh
Publication of CN113314148A publication Critical patent/CN113314148A/zh
Application granted granted Critical
Publication of CN113314148B publication Critical patent/CN113314148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明提供基于原始波形的轻量级神经网络生成语音鉴别方法和系统，包括：按固定采样率对音频文件进行采样，得到所述音频文件的原始波形点，再将所述原始波形点切分为原始音频帧，得到原始音频帧序列；第一层为固定的一维卷积层，所述一维卷积层之后为常规模块和降维模块相互堆叠的结构，再之后是平均池化层，所述平均池化层之后为全连接层来构建搜索网络；将所述原始音频帧序列输入搜索网络，分别搜索常规模块和降维模块中每个神经元之间的最优操作连接，得到最优模型结构；应用所述原始音频帧序列训练搜索到的所述最优模型结构，得到训练好的搜索网络。

Description

基于原始波形的轻量级神经网络生成语音鉴别方法和系统
技术领域
本发明涉及生成语音鉴别领域，具体涉及基于原始波形的轻量级神经网络生成语音鉴别方法和系统。
背景技术
生成语音检测为对输入的语音判检测是否为生成语音，输出证伪二分类检测结果。目前的检测方案主要是基于两方面的改进：更具区分度的声学特征和更有效的分类器，尽管近年来端到端结构的模型不再区分特征提取模块与分类器，且端到端网络在语音识别、语音合成等领域越发成熟，但是在生成语音鉴别领域的主流研究还是采用特征提取与分类器架构。在分类器层面，大部分研究均为选择某种神经网络进行二分类训练，如残差神经网络,轻量级卷积神经网络等，只关注对于语音真伪的判别。
目前已有使用搜索网络搜索方法生成语音检测模型的研究，但是输入该网络的特征为手工设计的LFCC特征，会损失掉音频原有的一些其他特征属性，对未知语音的检测的泛化性不够，网络的检测生成语音的性能并没有明显优于现有的使用已有的神经网络的性能。
从原始音频入手做端到端的生成语音检测的研究又面临着网络的参数量较大，存在较多冗余结构。
公开号为CN110148425A公开了一种基于完整局部二进制模式的伪装语音检测方法，包括：对真实语音库和相应的伪装语音库中所有语音进行变量Q变换，得到所有真实语音和伪装语音的语谱图；分别将各语谱图转换为相应的灰度图像，并采用完整局部二进制模式处理，生成相应的纹理特征；将所有的纹理特征作为训练支持向量机的训练集，训练得到支持向量机；将待识别语音输入至支持向量机，以进行伪装语音的识别。
公开号为CN113077814A公开了一种基于深度密集网络的语音变形检测方法，其特征在于先构建基于卷积神经网络的深度密集学习网络结构，而后使用小批迭代随机梯度下降对所述网络结构的交叉熵误差进行训练，最后将待测语音的时频特征输入到已经训练好的深度密集网络结构中，网络结构中softmax层通过伪装因子来判断待测语音的真伪并识别出伪装语音对应使用的伪装工具，从而输出检测结果。
现有技术缺点
1. 当前检测方案大多基于“特征提取+分类器”框架，特征提取与分类任务是割裂的；
2. 手工设计特征困难，提取到的特征对于未知的生成不一定是最优的；
3. 当前网络存在冗余特征，可以利用网络结构搜索的方法进行剪枝，搜索出一个轻量级的网络模型。
发明内容
有鉴于此，本发明第一方面提供一种基于原始波形的轻量级神经网络生成语音鉴别方法，所述方法包括：
读取输入音频：按固定采样率对音频文件进行采样，得到所述音频文件的原始波形点，再将所述原始波形点切分为原始音频帧，得到原始音频帧序列；
构建搜索网络：网络第一层为固定的一维卷积层特征提取层，所述一维卷积层之后为常规模块和降维模块相互堆叠的结构，再之后是平均池化层，所述平均池化层之后为全连接层；
搜索最优模型结构：将所述原始音频帧序列输入搜索网络，分别搜索常规模块和降维模块中每个神经元节点之间的最优操作连接，得到最优模型结构；
模型训练：应用所述原始音频帧序列训练搜索到的所述最优模型结构，得到训练好的搜索网络；
模型预测：应用读取输入音频方法将测试数据转化为测试音频帧序列，再将所述测试音频帧序列输入到所述训练好的搜索网络，得到真伪二分类结果。
优选的，所述固定采样率为16000；所述原始音频帧的长度为48000。
优选的，所述一维卷积特征提取层的具体设计包括：一组可训练的有限冲激响应滤波器。
优选的，所述可训练的有限冲激响应滤波器具体包括：一个带通滤波器，频域表示为：
Figure 961512DEST_PATH_IMAGE001
其中f 1和f 2是可学习的参数，代表带通滤波器的低、高截止频率，f为频域变量；
上式经过逆傅里叶变换，最终得到滤波器g的时域可实现表示：
Figure 125777DEST_PATH_IMAGE002
。
优选的，所述可训练的有限冲激响应滤波器还包括：
在g[n,f 1,f 2 ]中额外加入窗函数，得到加窗后的滤波器：
Figure DEST_PATH_IMAGE003
其中，w[n]的为汉明窗，具体形式为：
Figure 819932DEST_PATH_IMAGE004
。
优选的，所述常规模块中包括7个神经元节点，相邻神经元节点中的可供候选操作有6种，具体为：
3*3的深度可分卷积、5*5的深度可分卷积、3*3最大池化、3*3平均池化，直接连接和空操作。
优选的，所述降维模块中相邻神经元节点中的可供候选操作有6种，具体为：
3*3的深度可分卷积、5*5的深度可分卷积、3*3最大池化、3*3平均池化，直接连接和空操作；
降维模块与常规模块的不同在于，降维模块输出的特征维度为其输入特征维度的一半，而常规模块输出的特征维度与其输入特征维度保持一致。
优选的，搜索常规模块和降维模块中每个神经元节点之间的最优操作连接过程中，对于不同操作的权重系数使用Adam优化器，对于各个操作的具体参数使用SGD优化器。
本发明第二方面提供一种基于原始波形的轻量级神经网络生成语音鉴别
系统，包括：
读取输入音频模块、搜索网络、搜索最优模型结构模块和模型训练模块；
所述读取输入音频模块：按固定采样率对音频文件进行采样，得到所述音频文件的原始波形点，再将所述原始波形点切分为原始音频帧，得到原始音频帧序列；
所述搜索网络：网络第一层为固定的一维卷积特征提取层，所述一维卷积层之后为常规模块和降维模块相互堆叠的结构，再之后是平均池化层，所述平均池化层之后为全连接层；
搜索最优模型结构模块：将所述原始音频帧序列输入所述搜索网络，分别搜索常规模块和降维模块中每个神经元节点之间的最优操作连接，得到最优模型结构；
模型训练模块：应用所述原始音频帧序列训练搜索到的所述最优模型结构，得到训练好的搜索网络；
将测试数据输入读取输入音频模块，得到测试音频帧序列，再将所述测试音频帧序列输入到所述训练好的搜索网络，得到真伪二分类结果。
优选的，所述最优模型结构包括：网络第一层为一维卷积层，所述一维卷积层之后为2个常规模块，然后是1个降维模块，最后是全连接层。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
将原始波形输入神经网络进行网络训练，输入简单，只需输入原始音频即可得到判别结果，不需要基于先验知识的复杂预处理和特征选择，避免手工设计特征时导致的原始信息丢失，此外可以将特征提取和分类器融为一起，整体协同优化。
使用网络结构搜索搜出有效的结构，获得轻量级模型。
附图说明
图1为本发明实施例提供的基于原始波形的轻量级神经网络生成语音鉴别方法的流程图；
图2为本发明实施例提供的基于原始波形的轻量级神经网络生成语音鉴别系统的示意图；
图3为本发明实施例提供的网络结构搜索过程示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
实施例1：
如图1所示，本申请实施例提供一种基于原始波形的轻量级神经网络生成语音鉴别方法，包括：
读取输入音频：按采样率16000对音频文件进行采样，得到所述音频文件的原始波形点，再将所述原始波形点切分为原始音频帧，所述原始音频帧的长度为48000，得到原始音频帧序列；
构建搜索网络：网络第一层为固定的一维卷积层1d-conv，所述一维卷积层1d-conv之后为normal cell-常规模块和reduction cell-降维模块相互堆叠的结构，再之后是平均池化层，所述平均池化层之后为全连接层；
所述一维卷积层的具体设计为：一组可训练的有限冲激响应滤波器，在标准的CNN中，长度为L的滤波器的所有的L个元素都是从数据中学习的；具体包括：一个带通滤波器，可以被描述成两个低通滤波器的结果的差分,其频域表示为：
Figure DEST_PATH_IMAGE005
其中f 1和f 2是可学习的参数，代表带通滤波器的低、高截止频率，f为频域变量；
上式经过逆傅里叶变换，最终得到滤波器g的时域可实现表示：
Figure 236001DEST_PATH_IMAGE006
；
其中sinc函数的定义为：
Figure 676210DEST_PATH_IMAGE007
为了减少减弱频谱泄露效应，在g[n,f 1,f 2 ]中额外加入窗函数，得到加窗后的滤波器：
Figure 168633DEST_PATH_IMAGE003
其中，w[n]的为汉明窗，具体形式为：
Figure 631975DEST_PATH_IMAGE008
；
其中，不同滤波器距离呈线性分布，即不同滤波器的初始中心在全部频域上是等间距的；
1d-conv-一维卷积层参数设置为：
滤波器为g w[n,f 1,f 2 ]，卷积核大小128，步长为48，填充长度为，输入通道数为1，输出通道数为60.
搜索最优模型结构：将所述原始音频帧序列输入搜索网络，分别搜索常规模块和降维模块中每个神经元节点之间的最优操作连接，得到最优模型结构；
采用网络结构搜索方法，输入网络原始音频，网络采用基于梯度下降的方法搜索网络子结构（常规模块和降维模块），基于梯度下降的网络结构搜索原理为：
在一个cell-模块中，第n个神经元节点与前面的所有n-1个节点相连。我们希望选择出每两个神经元节点间的最优操作，在所有的候选操作中，包含“空操作”，以表示两个神经元节点之间没有连接的情况，除此之外还有常见的卷积、池化等操作。核心思想是对每两个神经元节点之间的每一个候选操作，都赋予一个结构权重，然后采用交叉梯度下降的方法，交叉优化网络权重和结构权重的值；
对于每两个神经元节点间的每一个候选操作，都对其设置一个结构权重，对于第i个神经元节点和第j个神经元节点的操作o，我们记其结构权重为ɑ，那么在训练时，每两个神经元节点之间的操作都是所有候选操作的加权和；
这一步的意义是把选择最优候选操作这一离散的问题松弛成了求解最优结构权重这一连续的问题，这样就可以通过梯度下降的方法来求解问题；
利用网络结构搜索的方法，可以搜出类似如图3的模块结构；
所述常规模块中相邻神经元节点中的可供候选操作有6种，具体为：
3*3的深度可分卷积、5*5的深度可分卷积、3*3最大池化、3*3平均池化，直接连接和空操作；
通过赋予每个操作一个结构权重，每个神经元节点的值等于其前一个神经元节点进行候选操作后的加权和，然后采用两部交叉梯度下降的方法，分别优化网络权重和结构权重的值，训练结束后，选择结构权重值最大的操作作为最优操作。
所述降维模块中相邻神经元节点中的可供候选操作有6种，具体为：
3*3的深度可分卷积、5*5的深度可分卷积、3*3最大池化、3*3平均池化，直接连接和空操作；
降维模块与常规模块的不同在于，降维模块输出的特征维度为其输入特征维度的一半，而常规模块输出的特征维度与其输入特征维度保持一致。
通过赋予每个操作一个结构权重，每个神经元节点的值等于其前一个神经元节点进行候选操作后的加权和，然后采用两部交叉梯度下降的方法，分别优化网络权重和结构权重的值，训练结束后，选择结构权重值最大的操作作为最优操作。
搜索常规模块和降维模块中每个神经元节点之间的最优操作连接过程中，卷积核的初始通道数设为16，对于不同操作的权重系数使用Adam自适应矩估计优化器，初始学习率设置为0.0001，betas为[0.5,0.999]，衰减率为0.001；对于各个操作的具体参数使用随机梯度下降优化器，初始学习率设为0.01，动量为0.9, 衰减率为0.0003,训练直到模型收敛；
第一层仍为在搜索阶段使用的一维卷积层，滤波器为g w[n,f 1,f 2 ], 卷积核大小为128，步长为48，填充为0，然后是2个常规模块，之后接接1个降维模块，最后是全连接层；
模型训练：应用所述原始音频帧序列训练搜索到的所述最优模型结构，得到训练好的搜索网络；
在ASVspoof2019LA数据集上训练，训练搜索网络时，选择自适应矩估计优化器，初始学习率设置为0.001，训练50轮，最终搜得的模型参数大小为0.133M；
模型预测：应用读取输入音频方法将测试数据转化为测试音频帧序列，再将所述测试音频帧序列输入到所述训练好的搜索网络，得到真伪二分类结果，测试集的eer为：5.19。
实施例2：
如图2所示，根据上述方法，本申请还提供了一种基于原始波形的轻量级神经网络生成语音系统，所述系统包括：
读取输入音频模块、搜索网络、搜索最优模型结构模块和模型训练模块；
所述读取输入音频模块：按固定采样率对音频文件进行采样，得到所述音频文件的原始波形点，再将所述原始波形点切分为原始音频帧，得到原始音频帧序列；
所述搜索网络：网络第一层为固定的一维卷积层，所述一维卷积层之后为常规模块和降维模块相互堆叠的结构，再之后是平均池化层，所述平均池化层之后为全连接层；
搜索最优模型结构模块：将所述原始音频帧序列输入所述搜索网络，分别搜索常规模块和降维模块中每个神经元节点之间的最优操作连接，得到最优模型结构；所述最优模型结构包括：网络第一层为一维卷积层，所述一维卷积层之后为2个常规模块，然后是1个降维模块，最后是全连接层；
模型训练模块：应用所述原始音频帧序列训练搜索到的所述最优模型结构，得到训练好的搜索网络；
将测试数据输入读取输入音频模块，得到测试音频帧序列，再将所述测试音频帧序列输入到所述训练好的搜索网络，得到真伪二分类结果。
本发明另一方面还提供一种存储介质，用于执行或存储上述方法。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA（现场可编程门阵列）或ASIC（专用集成电路）来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理（PDA）、移动音频或视频播放器、游戏操纵台、全球定位系统（GPS）接收机、或例如通用串行总线（USB）闪存驱动器的便携式存储设备，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备（例如EPROM、EEPROM和闪存设备）、磁盘（例如内部硬盘或可移动盘）、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.基于原始波形的轻量级神经网络生成语音鉴别方法，其特征在于，所述方法包括：
读取输入音频：按固定采样率对音频文件进行采样，得到所述音频文件的原始波形点，再将所述原始波形点切分为原始音频帧，得到原始音频帧序列；
构建搜索网络：网络第一层为固定的一维卷积层，所述一维卷积层之后为常规模块和降维模块相互堆叠的结构，再之后是平均池化层，所述平均池化层之后为全连接层；
搜索最优模型结构：将所述原始音频帧序列输入搜索网络，分别搜索常规模块和降维模块中每个神经元之间的最优操作连接，得到最优模型结构；
模型训练：应用所述原始音频帧序列训练搜索到的所述最优模型结构，得到训练好的搜索网络；
模型预测：应用读取输入音频方法将测试数据转化为测试音频帧序列，再将所述测试音频帧序列输入到所述训练好的搜索网络，得到真伪二分类结果。
2.根据权利要求1所述的基于原始波形的轻量级神经网络生成语音鉴别方法，其特征在于，所述固定采样率为16000；所述原始音频帧的长度为48000。
3.根据权利要求1所述的基于原始波形的轻量级神经网络生成语音鉴别方法，其特征在于，所述一维卷积层的具体设计包括：一组可训练的有限冲激响应滤波器。
4.根据权利要求3所述的基于原始波形的轻量级神经网络生成语音鉴别方法，其特征在于，所述可训练的有限冲激响应滤波器具体包括：一个带通滤波器，频域表示为：
Figure 281470DEST_PATH_IMAGE001
其中f 1和f 2是可学习的参数，代表带通滤波器的低、高截止频率，f为频域变量；
上式经过逆傅里叶变换，最终得到滤波器g的时域可实现表示：
Figure 432091DEST_PATH_IMAGE002
。
5.根据权利要求4所述的基于原始波形的轻量级神经网络生成语音鉴别方法，其特征在于，所述可训练的有限冲激响应滤波器还包括：
在g[n,f 1,f 2 ]中额外加入窗函数，得到加窗后的滤波器：
Figure 983158DEST_PATH_IMAGE003
其中，w[n]的为汉明窗，具体形式为：
Figure 454591DEST_PATH_IMAGE004
。
6.根据权利要求1所述的基于原始波形的轻量级神经网络生成语音鉴别方法，其特征在于，所述常规模块中包括7个神经元节点，相邻神经元节点中的可供候选操作有6种，具体为：
3*3的深度可分卷积、5*5的深度可分卷积、3*3最大池化、3*3平均池化，直接连接和空操作。
7.根据权利要求6所述的基于原始波形的轻量级神经网络生成语音鉴别方法，其特征在于，所述降维模块中相邻神经元节点中的可供候选操作有6种，具体为：
3*3的深度可分卷积、5*5的深度可分卷积、3*3最大池化、3*3平均池化，直接连接和空操作；
降维模块与常规模块的不同在于，降维模块输出的特征维度为其输入特征维度的一半，而常规模块输出的特征维度与其输入特征维度保持一致。
8.根据权利要求7所述的基于原始波形的轻量级神经网络生成语音鉴别方法，其特征在于，搜索常规模块和降维模块中每个神经元节点之间的最优操作连接过程中，对于不同操作的权重系数使用自适应矩估计优化器，对于各个操作的具体参数使用随机梯度下降优化器。
9.基于原始波形的轻量级神经网络生成语音系统，其特征在于，所述系统包括：
读取输入音频模块、搜索网络、搜索最优模型结构模块和模型训练模块；
所述读取输入音频模块：按固定采样率对音频文件进行采样，得到所述音频文件的原始波形点，再将所述原始波形点切分为原始音频帧，得到原始音频帧序列；
所述搜索网络：网络第一层为固定的一维卷积层特征提取层，所述一维卷积层之后为常规模块和降维模块相互堆叠的结构，再之后是平均池化层，所述平均池化层之后为全连接层；
搜索最优模型结构模块：将所述原始音频帧序列输入所述搜索网络，分别搜索常规模块和降维模块中每个神经元节点之间的最优操作连接，得到最优模型结构；
模型训练模块：应用所述原始音频帧序列训练搜索到的所述最优模型结构，得到训练好的搜索网络；
将测试数据输入读取输入音频模块，得到测试音频帧序列，再将所述测试音频帧序列输入到所述训练好的搜索网络，得到真伪二分类结果。
10.根据权利要求9所述的基于原始波形的轻量级神经网络生成语音系统，其特征在于，所述最优模型结构包括：网络第一层为一维卷积层特征提取层，所述一维卷积层之后为2个常规模块，然后是1个降维模块，最后是全连接层。
CN202110866648.7A 2021-07-29 2021-07-29 基于原始波形的轻量级神经网络生成语音鉴别方法和系统 Active CN113314148B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110866648.7A CN113314148B (zh) 2021-07-29 2021-07-29 基于原始波形的轻量级神经网络生成语音鉴别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110866648.7A CN113314148B (zh) 2021-07-29 2021-07-29 基于原始波形的轻量级神经网络生成语音鉴别方法和系统

Publications (2)

Publication Number Publication Date
CN113314148A true CN113314148A (zh) 2021-08-27
CN113314148B CN113314148B (zh) 2021-11-09

Family

ID=77382369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110866648.7A Active CN113314148B (zh) 2021-07-29 2021-07-29 基于原始波形的轻量级神经网络生成语音鉴别方法和系统

Country Status (1)

Country Link
CN (1) CN113314148B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115083421A (zh) * 2022-07-21 2022-09-20 中国科学院自动化研究所 自动寻参的语音鉴别模型的构建方法及装置
CN115273881A (zh) * 2022-07-13 2022-11-01 广州伏羲智能科技有限公司 一种可学习参数的声谱图生成的方法及其系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104464724A (zh) * 2014-12-08 2015-03-25 南京邮电大学 一种针对刻意伪装语音的说话人识别方法
CN106875007A (zh) * 2017-01-25 2017-06-20 上海交通大学 用于语音欺骗检测的基于卷积长短期记忆端对端深度神经网络
CN108806698A (zh) * 2018-03-15 2018-11-13 中山大学 一种基于卷积神经网络的伪装语音识别方法
CN109087634A (zh) * 2018-10-30 2018-12-25 四川长虹电器股份有限公司 一种基于音频分类的音质设置方法
CN109754812A (zh) * 2019-01-30 2019-05-14 华南理工大学 一种基于卷积神经网络的防录音攻击检测的声纹认证方法
CN110148425A (zh) * 2019-05-14 2019-08-20 杭州电子科技大学 一种基于完整局部二进制模式的伪装语音检测方法
CN110491391A (zh) * 2019-07-02 2019-11-22 厦门大学 一种基于深度神经网络的欺骗语音检测方法
CN110689885A (zh) * 2019-09-18 2020-01-14 平安科技（深圳）有限公司 机器合成语音识别方法、装置、存储介质及电子设备
CN110782877A (zh) * 2019-11-19 2020-02-11 合肥工业大学 基于Fisher混合特征和神经网络的语音鉴别方法和系统
US20200321009A1 (en) * 2017-03-03 2020-10-08 Pindrop Security, Inc. Method and apparatus for detecting spoofing conditions
CN112133282A (zh) * 2020-10-26 2020-12-25 厦门大学 轻量级多说话人语音合成系统及电子设备
CN112270931A (zh) * 2020-10-22 2021-01-26 江西师范大学 一种基于孪生卷积神经网络进行欺骗性语音检测的方法
CN112712809A (zh) * 2021-03-29 2021-04-27 北京远鉴信息技术有限公司 一种语音检测方法、装置、电子设备及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104464724A (zh) * 2014-12-08 2015-03-25 南京邮电大学 一种针对刻意伪装语音的说话人识别方法
CN106875007A (zh) * 2017-01-25 2017-06-20 上海交通大学 用于语音欺骗检测的基于卷积长短期记忆端对端深度神经网络
US20200321009A1 (en) * 2017-03-03 2020-10-08 Pindrop Security, Inc. Method and apparatus for detecting spoofing conditions
CN108806698A (zh) * 2018-03-15 2018-11-13 中山大学 一种基于卷积神经网络的伪装语音识别方法
CN109087634A (zh) * 2018-10-30 2018-12-25 四川长虹电器股份有限公司 一种基于音频分类的音质设置方法
CN109754812A (zh) * 2019-01-30 2019-05-14 华南理工大学 一种基于卷积神经网络的防录音攻击检测的声纹认证方法
CN110148425A (zh) * 2019-05-14 2019-08-20 杭州电子科技大学 一种基于完整局部二进制模式的伪装语音检测方法
CN110491391A (zh) * 2019-07-02 2019-11-22 厦门大学 一种基于深度神经网络的欺骗语音检测方法
CN110689885A (zh) * 2019-09-18 2020-01-14 平安科技（深圳）有限公司 机器合成语音识别方法、装置、存储介质及电子设备
CN110782877A (zh) * 2019-11-19 2020-02-11 合肥工业大学 基于Fisher混合特征和神经网络的语音鉴别方法和系统
CN112270931A (zh) * 2020-10-22 2021-01-26 江西师范大学 一种基于孪生卷积神经网络进行欺骗性语音检测的方法
CN112133282A (zh) * 2020-10-26 2020-12-25 厦门大学 轻量级多说话人语音合成系统及电子设备
CN112712809A (zh) * 2021-03-29 2021-04-27 北京远鉴信息技术有限公司 一种语音检测方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GALINA LAVRENTYEVA ET AL.: "Audio replay attack detection with deep learning frameworks", 《INTERSPEECH 2017》 *
陶建华等: "语音伪造与鉴伪的发展与挑战", 《信息安全学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115273881A (zh) * 2022-07-13 2022-11-01 广州伏羲智能科技有限公司 一种可学习参数的声谱图生成的方法及其系统
CN115083421A (zh) * 2022-07-21 2022-09-20 中国科学院自动化研究所 自动寻参的语音鉴别模型的构建方法及装置
CN115083421B (zh) * 2022-07-21 2022-11-15 中国科学院自动化研究所 自动寻参的语音鉴别模型的构建方法及装置

Also Published As

Publication number Publication date
CN113314148B (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
CN110245608B (zh) 一种基于半张量积神经网络的水下目标识别方法
KR102213013B1 (ko) 신경망을 이용한 주파수 기반 오디오 분석
CN113314148B (zh) 基于原始波形的轻量级神经网络生成语音鉴别方法和系统
Mo et al. Neural architecture search for keyword spotting
CN111444967B (zh) 生成对抗网络的训练方法、生成方法、装置、设备及介质
CN110414554A (zh) 一种基于多模型改进的Stacking集成学习鱼类识别方法
CN109949824B (zh) 基于N-DenseNet和高维mfcc特征的城市声音事件分类方法
CN111357051B (zh) 语音情感识别方法、智能装置和计算机可读存储介质
CN103548076A (zh) 利用音频信号来识别内容的装置和方法
CN109378014A (zh) 一种基于卷积神经网络的移动设备源识别方法及系统
CN110502659B (zh) 图像特征提取及网络的训练方法、装置和设备
CN113763966B (zh) 一种端到端的文本无关声纹识别方法及系统
CN109145107B (zh) 基于卷积神经网络的主题提取方法、装置、介质和设备
CN113488060A (zh) 一种基于变分信息瓶颈的声纹识别方法及系统
CN112183582A (zh) 一种多特征融合的水下目标识别方法
CN113241092A (zh) 基于双注意力机制和多阶段混合卷积网络声源分离方法
Colonna et al. Feature subset selection for automatically classifying anuran calls using sensor networks
CN116467416A (zh) 一种基于图神经网络的多模态对话情感识别方法及系统
CN116304818A (zh) 一种基于Transformer地震信号分类识别方法
CN111755024B (zh) 一种基于迁移学习的暴恐音频检测方法
CN117272138B (zh) 一种基于参考道数据约束与深度学习的地磁数据去噪方法及系统
CN112735466A (zh) 一种音频检测方法及装置
CN112348188A (zh) 模型生成方法及装置、电子设备和存储介质
CN114167500A (zh) 基于卷积神经网络的邻炮干扰分离方法及装置
Tang et al. Acoustic modeling with densely connected residual network for multichannel speech recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant