CN110992934A - 面向语音识别系统黑盒攻击模型的防御方法及防御装置 - Google Patents

面向语音识别系统黑盒攻击模型的防御方法及防御装置 Download PDF

Info

Publication number
CN110992934A
CN110992934A CN201911031043.5A CN201911031043A CN110992934A CN 110992934 A CN110992934 A CN 110992934A CN 201911031043 A CN201911031043 A CN 201911031043A CN 110992934 A CN110992934 A CN 110992934A
Authority
CN
China
Prior art keywords
sample
model
countermeasure
recognition system
voice recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911031043.5A
Other languages
English (en)
Other versions
CN110992934B (zh
Inventor
陈晋音
叶林辉
杨奕涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201911031043.5A priority Critical patent/CN110992934B/zh
Publication of CN110992934A publication Critical patent/CN110992934A/zh
Application granted granted Critical
Publication of CN110992934B publication Critical patent/CN110992934B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/002—Countermeasures against attacks on cryptographic mechanisms
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G10L2015/0635—Training updating or merging of old and new templates; Mean values; Weighting

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种针对语音识别系统黑盒攻击模型的防御方法以及防御装置。该防御方法利用对原始音频添加模拟环境噪声，模拟现实场景下的语音输入情况，随机添加噪声后形成初代对抗样本，通过遗传算法和梯度估计对对抗样本进行优化，获得精确对抗样本，然后将原始音频文件和对抗样本混合，作为对抗训练的训练数据集，对模型进行在训练，提高了模型对对抗样本的识别准确率，从而提高了模型对于对抗攻击的鲁棒性。

Description

面向语音识别系统黑盒攻击模型的防御方法及防御装置
技术领域
本发明属于深度学习安全技术领域，具体涉及一种面向语音识别系统黑盒攻击模型的防御方法及防御装置。
背景技术
随着技术的发展，现代的语音识别技术的目标转变为教会机器准确识别听到的语音，并按照语音的内容正确的执行指令。语音识别技术简化了人与机器之间的通信，省略了中间键盘控制和手写的步骤，它使得人们在进行语音控制的同时，手或眼也能进行其他操作。这些优点使得自动语音识别系统在从国防、医疗到智能驾驶等各个领域得到了广泛的应用。例如在国防领域，自动语音识别系统通过语音命令提供选定的驾驶舱控制，避免飞行员因选定的人工任务而分心。在医疗领域，人们利用语音识别技术帮助有显著发声障碍的患者的语言表达。在智能家居领域，基于语音的界面早已广泛应用于家庭自动化，人们可以通过语音识别技术实现家电的唤醒及控制。
近些年来，深度学习的应用给语音识别系统带来更简单的训练步骤，更高的识别正确率的同时，也给系统的安全性带来了潜在的风险。最近的研究表明深度神经网络容易受到对输入数据进行细微扰动形式的对抗攻击。这种做法会导致模型输出不正确的预测结果。这就会造成一些严重的事故。例如，语音识别系统作为自动驾驶技术的重要组成部分，如果深度语音识别系统被外加的细微扰动所攻击，汽车可能会错误的识别乘客的指令，这给自动驾驶系统带来了极大的安全隐患。若一个语音命令被错误的识别并执行，极有可能引发交通事故，造成人员的伤亡和交通的瘫痪。
目前在攻防方面，大部分的研究集中在图像领域，对于语音识别的攻防少有人研究。浙江大学的纪守领，杜天宇等人的针对白盒场景的对抗音频生成方法及系统的专利，提出了在白盒场景下，利用粒子群优化算法模块寻找最佳噪音，生成对抗样本的方法。但是，在现实生活的应用中，模型的参数结构通常是无法获取的，黑盒情况下的精确对抗样本的生成要比白盒情况下困难很多。
发明内容
为了提高语音识别系统的防御能力和识别精度，本发明提供了一种面向语音识别系统黑盒攻击模型的防御方法及防御装置。
为实现上述发明目的，本发明提供了一种面向语音识别系统黑盒攻击模型的防御方法，包括以下步骤：
(1)获取原始音频文件，利用基于深度学习的语音识别模型对原始音频文件进行筛选，获得能够被正确识别的音频文件，作为原始样本，在原始样本中添加模拟环境噪声后，复制原始样本到设定种群数量；
(2)在步骤(1)的基础上，对原始样本添加随机噪声以进行变异形成初代对抗样本；
(3)以对抗样本的解码短语与目标短语的相似度作为评价函数的选择依据，当相似度小于0.5时，以CTC损失函数作为评价函数，当相似度大于0.5时，以CTC损失函数和对抗样本的解码短语和目标短语的Levenshtein距离作为评价函数，利用遗传算法对对抗样本进行优化迭代，直至Levenshtein距离小于2为止获得接近目标短语的对抗样本；
(4)当Levenshtein距离小于2时，利用梯度估计的方法替换遗传算法对对抗样本进行优化，获得精确对抗样本；
(5)利用原始样本和精确对抗样本对所述语音识别模型重训练进行优化，获得能够防御对抗攻击的语音识别模型。
(6)利用能够防御对抗攻击的语音识别模型对待识别音频文件进行识别，以防御对待识别音频文件的对抗攻击。
还提供了一种语音识别系统黑盒物理攻击模型的防御装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机处理器执行计算机程序时实现上述针对语音识别系统黑盒物理攻击模型的防御方法。
与现有技术相比，本发明具有的有益效果为：
针对可能存在的语音识别系统的黑盒攻击，本发明采用音频处理方法对原始音频进行环境模拟变化获得初步对抗样本，利用遗传算法，设置评价函数，Levenshtein距离等步骤生成精确对抗样本，将其对语音识别模型进行重训练，进而提高语音识别模型的识别精度。实现对黑盒攻击的防御。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是本发明面向语音识别系统的黑盒攻击模型的防御方法的流程框图；
图2是利用精确对抗样本对语音识别模型进行优化训练的过程图。
具体实施方式
本发明的核心是提供一种针对面向语音识别系统黑盒攻击模型的御方法及防御装置，以提高语音识别系统黑盒攻击模型产生的对抗样本的防御能力。
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
下面对本发明提供的一种针对语音识别系统黑盒攻击模型的防御方法实施例进行介绍，参见图1和图2，具体包括以下步骤：
S101，获取原始音频文件，利用基于深度学习的语音识别模型对原始音频文件进行筛选，获得能够被正确识别的音频文件，作为原始样本，并在原始样本中添加模拟环境噪声。
本实施例中，获取的原始音频文件来自于公共语音数据集，谷歌语音命令数据集，GTZAN数据集。具体地，从3个数据集上获取原始音频文件，该原始音频文件作为原始样本。
对于公共语音数据集，从中随机挑选100个原始样本进行生成对抗样本；对于谷歌语音命令数据集，从中随机挑选10个指令，在每个指令中随机挑选10条作为原始样本；对于GTZAN数据集，同样从每个风格的音乐样本中随机挑选10条，截取为3秒长度的音乐样本作为原始样本。该些原始样本作为训练样本，训练的目标短语设置为公共语音数据集类标中词长度小于4的短语。
本实施例中，具体采用DeepSpeech作为基于深度学习的语音识别模型，该语音识别模型是训练好的，能够对音频进行正确识别。
为了使音频文件跟贴近真实使用环境，还需要在干净音频文件中添加环境噪声，本实施中，环境噪声来自于环境模拟，经试验探究采用高斯白噪声来模拟环境噪声。将加过外界环境噪声的样本输入到语音识别模型中得到每个样本的评分。设样本为x，环境噪声为δ'，则每个样本的初始得分F(x)由下列公式得出：
F(x)＝l(x+δ'),δ'～N(0,σ2)
其中，l(·)是CTC损失函数。
S102，将添加环境噪声的音频文件复制到设定种群数量，并在对音频文件添加随机噪声以进行变异形成初代对抗样本，通过遗传算法优化对抗样本，从而获得接近目标短语的对抗样本。
具体地，攻击模型选择DeepSpeech，种群大小设为100，精英数量设为10，最大迭代次数设为3000。仅依靠输入和输出对扰动进行迭代优化。
设生成的对抗样本为x'，C(·)为攻击模型，t为目标短语，即判断对抗样本优劣的标签，则对抗样本的解码短语与目标短语的相似度R(x')为：
Figure BDA0002250152930000051
其中，Levenshtein(C(x'),t)为对抗样本的解码短语C(x')和目标短语的Levenshtein距离，len(t)为目标短语t的长度。解码短语C(x')为攻击模型C(·)对的对抗样本x'的预测输出。
相似度R(x')是评价函数的选择依据，在初始阶段，Levenshtein距离很大，相似度R(x')很小，即相似度R(x')小于0.5，将CTC loss函数lctc(x')作为评价函数F1(·)。当相似度R(x')大于0.5后，将Levenshtein距离引入评价函数，此时评价函数F2(·)表示为：
F2(x')＝(1-a)·lctc(x')+a·Levenshtein(C(x'),t)
其中，a为权重系数。
在迭代优化过程中，按照上述评价函数获得对抗样本的评价函数评分，根据得分情况从种群中选择评分最高的m(举例可以为10)条样本作为精英群体。然后，根据评价函数评分，从精英群体中挑选k(举例可以为100)次，组成父辈1，再挑选k(举例可以为100)次组成父辈2。通过从父辈1和父辈2中各取一半的数据来生成子代，m和k为自然数。
在获得子代后，根据动量更新来更新突变的概率，突变的概率在每次迭代中都会根据以下指数加权的移动平均值的更新公式而调整大小：
Figure BDA0002250152930000061
其中，pold表示种群原来的突变率，pnew表示种群新的突变率，currScore表示当前种群的得分，preScore表示上一代种群的得分。β和γ是相关系数，β值越大，新的突变率pnew越接近pold；γ越大，pnew变化的范围越大。
再根据动量更新的突变概率，给子代添加随机噪声，然后进入下一轮迭代，直至Levenshtein距离小于2为止获得接近目标短语的对抗样本。
S103，当Levenshtein距离小于2时，利用梯度估计的方法替换遗传算法对对抗样本进行优化，获得精确对抗样本。
当对抗样本接近目标短语时，遗传算法的大范围交叉变异会错过最优解，只需要在几个关键区域进行扰动就可以获得正确解码。在设置时，当Levenshtein距离小于2时，用梯度估计的方法替换遗传算法进行优化。梯度估计的方法如下：
Figure BDA0002250152930000062
其中，xi是输入样本x的第i位采样点，δi是扰动δ的第i位采样点，i∈[1，n]，FDx(C(x),δ)表示C(x)对噪声δ求导，
Figure BDA0002250152930000071
表示求得的导数，C(x)为样本x输入至模型C中的预测输出，在使用梯度估计方法时，每一代只随机采样100个采样点位置进行扰动，由此获得了精确的对抗样本。
S104，在获得大量的精确对抗样本之后，将识别错误的对抗样本的类标更改正确后，将精确对抗样本和原始样本形成新训练样本集，利用新训练样本集重新训练语音识别模型，获得能够防御对抗攻击的语音识别模型。
S105，利用能够防御对抗攻击的语音识别模型对待识别音频文件进行识别，以防御对待识别音频文件的对抗攻击。
本发明还提供了一种语音识别系统黑盒物理攻击模型的防御装置的实施例，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机处理器执行计算机程序时实现上述针对语音识别系统黑盒物理攻击模型的防御方法。
由于该防御装置中以及计算机存储器存储的计算机程序主要用于实现上述的一种面向语音识别系统黑盒攻击模型的防御方法，因此其作用于上述防御方法的作用相对应，此处不再赘述。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种面向语音识别系统黑盒攻击模型的防御方法，包括以下步骤：
(1)获取原始音频文件，利用基于深度学习的语音识别模型对原始音频文件进行筛选，获得能够被正确识别的音频文件，作为原始样本，在原始样本中添加模拟环境噪声后，复制原始样本到设定种群数量；
(2)在步骤(1)的基础上，对原始样本添加随机噪声以进行变异形成初代对抗样本；
(3)以对抗样本的解码短语与目标短语的相似度作为评价函数的选择依据，当相似度小于0.5时，以CTC损失函数作为评价函数，当相似度大于0.5时，以CTC损失函数和对抗样本的解码短语和目标短语的Levenshtein距离作为评价函数，利用遗传算法对对抗样本进行优化迭代，直至Levenshtein距离小于2为止获得接近目标短语的对抗样本；
(4)当Levenshtein距离小于2时，利用梯度估计的方法替换遗传算法对对抗样本进行优化，获得精确对抗样本；
(5)利用原始样本和精确对抗样本对所述语音识别模型重训练进行优化，获得能够防御对抗攻击的语音识别模型。
(6)利用能够防御对抗攻击的语音识别模型对待识别音频文件进行识别，以防御对待识别音频文件的对抗攻击。
2.如权利要求1所述的面向语音识别系统黑盒攻击模型的防御方法，其特征在于，以DeepSpeech作为基于深度学习的语音识别模型。
3.如权利要求1所述的面向语音识别系统黑盒攻击模型的防御方法，其特征在于，在干净音频文件中添加模拟环境噪声为高斯白噪声。
4.如权利要求1所述的面向语音识别系统黑盒攻击模型的防御方法，其特征在于，步骤(3)中，对抗样本的解码短语与目标短语的相似度R(x')为：
Figure FDA0002250152920000021
其中，Levenshtein(C(x'),t)为对抗样本的解码短语C(x')和目标短语的Levenshtein距离，len(t)为目标短语t的长度。
5.如权利要求4所述的面向语音识别系统黑盒攻击模型的防御方法，其特征在于，步骤(4)的具体过程为：
相似度R(x')小于0.5，将CTC loss函数lctc(x')作为评价函数F1(·)。当相似度R(x')大于0.5后，将Levenshtein距离引入评价函数，此时评价函数F2(·)表示为：
F2(x')＝(1-a)·lctc(x')+a·Levenshtein(C(x'),t)
其中，a为权重系数；
按照评价函数获得对抗样本的评价函数评分，根据得分情况从种群中选择评分最高的m条样本作为精英群体；然后，根据评价函数评分，从精英群体中挑选k次，组成父辈1，再挑选k次组成父辈2；通过从父辈1和父辈2中各取一半的数据来生成子代，m和k为自然数；
在获得子代后，根据动量更新来更新突变的概率，突变的概率在每次迭代中都会根据以下指数加权的移动平均值的更新公式而调整大小：
Figure FDA0002250152920000022
其中，pold表示种群原来的突变率，pnew表示种群新的突变率，currScore表示当前种群的得分，preScore表示上一代种群的得分。β和γ是相关系数，β值越大，新的突变率pnew越接近pold；γ越大，pnew变化的范围越大。
再根据动量更新的突变概率，给子代添加随机噪声，然后进入下一轮迭代，直至Levenshtein距离小于2为止获得接近目标短语的对抗样本。
6.如权利要求1所述的面向语音识别系统黑盒攻击模型的防御方法，其特征在于，步骤(4)中，梯度估计的方法如下：
Figure FDA0002250152920000031
其中，xi是输入样本x的第i位采样点，δi是扰动δ的第i位采样点，i∈[1，n]，FDx(C(x),δ)表示C(x)对噪声δ求导，
Figure FDA0002250152920000032
表示求得的导数，C(x)为样本x输入至模型C中的预测输出，在使用梯度估计方法时，每一代只随机采样100个采样点位置进行扰动，由此获得了精确的对抗样本。
7.一种语音识别系统黑盒物理攻击模型的防御装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机处理器执行计算机程序时实现权利要求1～6任一项所述的针对语音识别系统黑盒物理攻击模型的防御方法。
CN201911031043.5A 2019-10-28 2019-10-28 面向语音识别系统黑盒攻击模型的防御方法及防御装置 Active CN110992934B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911031043.5A CN110992934B (zh) 2019-10-28 2019-10-28 面向语音识别系统黑盒攻击模型的防御方法及防御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911031043.5A CN110992934B (zh) 2019-10-28 2019-10-28 面向语音识别系统黑盒攻击模型的防御方法及防御装置

Publications (2)

Publication Number Publication Date
CN110992934A true CN110992934A (zh) 2020-04-10
CN110992934B CN110992934B (zh) 2022-04-26

Family

ID=70082638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911031043.5A Active CN110992934B (zh) 2019-10-28 2019-10-28 面向语音识别系统黑盒攻击模型的防御方法及防御装置

Country Status (1)

Country Link
CN (1) CN110992934B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110767216A (zh) * 2019-09-10 2020-02-07 浙江工业大学 一种基于pso算法的语音识别攻击防御方法
CN111710327A (zh) * 2020-06-12 2020-09-25 百度在线网络技术（北京）有限公司 用于模型训练和声音数据处理的方法、装置、设备和介质
CN111738274A (zh) * 2020-05-08 2020-10-02 华南理工大学 基于局部光滑投影的抗对抗攻击相机源识别方法
CN111785274A (zh) * 2020-06-28 2020-10-16 宁波大学 一种针对语音识别系统的黑盒对抗样本攻击方法
CN111797975A (zh) * 2020-06-24 2020-10-20 武汉大学 一种基于微生物遗传算法的黑盒对抗样本生成方法
CN113113023A (zh) * 2021-04-16 2021-07-13 中国人民解放军陆军工程大学 面向自动声纹识别系统的黑盒定向对抗攻击方法及系统
US20210241780A1 (en) * 2020-01-31 2021-08-05 Nuance Communications, Inc. Method And System For Speech Enhancement
CN113345420A (zh) * 2021-06-07 2021-09-03 河海大学 基于萤火虫算法与梯度评估的对抗音频生成方法及系统
CN113610141A (zh) * 2021-08-02 2021-11-05 清华大学 自动驾驶多传感器融合感知模型的鲁棒性测试方法及系统
CN113935913A (zh) * 2021-10-08 2022-01-14 北京计算机技术及应用研究所 一种具有视觉感知隐蔽性的黑盒图像对抗样本生成方法
CN114241268A (zh) * 2021-12-21 2022-03-25 支付宝(杭州)信息技术有限公司 一种模型的训练方法、装置及设备
CN114584337A (zh) * 2021-12-16 2022-06-03 南京理工大学 一种基于遗传算法的语音攻击伪造方法
CN114639375A (zh) * 2022-05-09 2022-06-17 杭州海康威视数字技术股份有限公司 基于音频切片调节的智能语音识别安全防御方法及装置
CN114661940A (zh) * 2022-01-28 2022-06-24 宁波大学 一种适用于黑盒攻击下快速获取语音对抗样本的方法
CN115001769A (zh) * 2022-05-25 2022-09-02 中电长城网际系统应用有限公司 抗重标识攻击能力评估方法、装置、计算机设备及介质
CN115225309A (zh) * 2022-05-19 2022-10-21 宁波大学 一种基于变速变调的语音对抗样本防御方法
WO2022262494A1 (en) * 2021-06-18 2022-12-22 International Business Machines Corporation Prohibiting voice attacks

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190074028A1 (en) * 2017-09-01 2019-03-07 Newton Howard Real-time vocal features extraction for automated emotional or mental state assessment
CN109599109A (zh) * 2018-12-26 2019-04-09 浙江大学 针对白盒场景的对抗音频生成方法及系统
CN109840287A (zh) * 2019-01-31 2019-06-04 中科人工智能创新技术研究院(青岛)有限公司 一种基于神经网络的跨模态信息检索方法和装置
CN110379418A (zh) * 2019-06-28 2019-10-25 西安交通大学 一种语音对抗样本生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190074028A1 (en) * 2017-09-01 2019-03-07 Newton Howard Real-time vocal features extraction for automated emotional or mental state assessment
CN109599109A (zh) * 2018-12-26 2019-04-09 浙江大学 针对白盒场景的对抗音频生成方法及系统
CN109840287A (zh) * 2019-01-31 2019-06-04 中科人工智能创新技术研究院(青岛)有限公司 一种基于神经网络的跨模态信息检索方法和装置
CN110379418A (zh) * 2019-06-28 2019-10-25 西安交通大学 一种语音对抗样本生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ROHAN TAORI等: "Targeted Adversarial Examples", 《2019 IEEE SECURITY AND PRIVACY WORKSHOPS (SPW)》 *
黄晓辉等: "基于循环神经网络的藏语语音识别声学模型", 《中文信息学报》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110767216A (zh) * 2019-09-10 2020-02-07 浙江工业大学 一种基于pso算法的语音识别攻击防御方法
US20210241780A1 (en) * 2020-01-31 2021-08-05 Nuance Communications, Inc. Method And System For Speech Enhancement
US11657828B2 (en) * 2020-01-31 2023-05-23 Nuance Communications, Inc. Method and system for speech enhancement
CN111738274B (zh) * 2020-05-08 2022-04-22 华南理工大学 基于局部光滑投影的抗对抗攻击相机源识别方法
CN111738274A (zh) * 2020-05-08 2020-10-02 华南理工大学 基于局部光滑投影的抗对抗攻击相机源识别方法
CN111710327A (zh) * 2020-06-12 2020-09-25 百度在线网络技术（北京）有限公司 用于模型训练和声音数据处理的方法、装置、设备和介质
CN111797975A (zh) * 2020-06-24 2020-10-20 武汉大学 一种基于微生物遗传算法的黑盒对抗样本生成方法
CN111797975B (zh) * 2020-06-24 2022-02-15 武汉大学 一种基于微生物遗传算法的黑盒对抗样本生成方法
CN111785274A (zh) * 2020-06-28 2020-10-16 宁波大学 一种针对语音识别系统的黑盒对抗样本攻击方法
CN111785274B (zh) * 2020-06-28 2023-12-05 宁波大学 一种针对语音识别系统的黑盒对抗样本生成方法
CN113113023A (zh) * 2021-04-16 2021-07-13 中国人民解放军陆军工程大学 面向自动声纹识别系统的黑盒定向对抗攻击方法及系统
CN113113023B (zh) * 2021-04-16 2023-09-26 中国人民解放军陆军工程大学 面向自动声纹识别系统的黑盒定向对抗攻击方法及系统
CN113345420A (zh) * 2021-06-07 2021-09-03 河海大学 基于萤火虫算法与梯度评估的对抗音频生成方法及系统
US11856024B2 (en) 2021-06-18 2023-12-26 International Business Machines Corporation Prohibiting voice attacks
WO2022262494A1 (en) * 2021-06-18 2022-12-22 International Business Machines Corporation Prohibiting voice attacks
CN113610141B (zh) * 2021-08-02 2022-03-11 清华大学 自动驾驶多传感器融合感知模型的鲁棒性测试方法及系统
CN113610141A (zh) * 2021-08-02 2021-11-05 清华大学 自动驾驶多传感器融合感知模型的鲁棒性测试方法及系统
CN113935913A (zh) * 2021-10-08 2022-01-14 北京计算机技术及应用研究所 一种具有视觉感知隐蔽性的黑盒图像对抗样本生成方法
CN114584337A (zh) * 2021-12-16 2022-06-03 南京理工大学 一种基于遗传算法的语音攻击伪造方法
CN114241268A (zh) * 2021-12-21 2022-03-25 支付宝(杭州)信息技术有限公司 一种模型的训练方法、装置及设备
CN114661940A (zh) * 2022-01-28 2022-06-24 宁波大学 一种适用于黑盒攻击下快速获取语音对抗样本的方法
CN114661940B (zh) * 2022-01-28 2023-08-08 宁波大学 一种适用于黑盒攻击下快速获取语音对抗样本的方法
CN114639375A (zh) * 2022-05-09 2022-06-17 杭州海康威视数字技术股份有限公司 基于音频切片调节的智能语音识别安全防御方法及装置
CN114639375B (zh) * 2022-05-09 2022-08-23 杭州海康威视数字技术股份有限公司 基于音频切片调节的智能语音识别安全防御方法及装置
CN115225309A (zh) * 2022-05-19 2022-10-21 宁波大学 一种基于变速变调的语音对抗样本防御方法
CN115225309B (zh) * 2022-05-19 2023-06-13 宁波大学 一种基于变速变调的语音对抗样本防御方法
CN115001769A (zh) * 2022-05-25 2022-09-02 中电长城网际系统应用有限公司 抗重标识攻击能力评估方法、装置、计算机设备及介质
CN115001769B (zh) * 2022-05-25 2024-01-02 中电长城网际系统应用有限公司 抗重标识攻击能力评估方法、装置、计算机设备及介质

Also Published As

Publication number Publication date
CN110992934B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
CN110992934B (zh) 面向语音识别系统黑盒攻击模型的防御方法及防御装置
CN111767405B (zh) 文本分类模型的训练方法、装置、设备及存储介质
JP7378659B2 (ja) 敵対的攻撃を検出するためのシステムおよび方法
CN108875807B (zh) 一种基于多注意力多尺度的图像描述方法
Sønderby et al. Ladder variational autoencoders
CN110110062B (zh) 机器智能问答方法、装置与电子设备
CN111627429B (zh) 一种基于CycleGAN的语音识别模型的防御方法及装置
CN110379418B (zh) 一种语音对抗样本生成方法
CN110362814B (zh) 一种基于改进损失函数的命名实体识别方法及装置
CN111563144A (zh) 基于语句前后关系预测的用户意图识别方法及装置
CN113362822B (zh) 一种具有听觉隐蔽性的黑盒语音对抗样本生成方法
CN115658954B (zh) 一种基于提示学习的跨模态检索对抗防御方法
CN114398855A (zh) 基于融合预训练的文本抽取方法、系统及介质
CN112507337A (zh) 基于语义分析的恶意JavaScript代码检测模型的实现方法
US11322151B2 (en) Method, apparatus, and medium for processing speech signal
CN115994224A (zh) 基于预训练语言模型的钓鱼url检测方法及系统
CN114861637A (zh) 拼写纠错模型生成方法和装置、拼写纠错方法和装置
JP6634635B2 (ja) 識別装置、ロボットおよび識別方法
CN114860938A (zh) 一种语句意图识别方法和电子设备
CN111462734B (zh) 语义槽填充模型训练方法及系统
CN112906820A (zh) 基于遗传算法的对抗卷积神经网络句子相似度计算方法
CN111862963A (zh) 语音唤醒方法、装置和设备
CN114358019A (zh) 意图预测模型的训练方法及系统
CN114584337A (zh) 一种基于遗传算法的语音攻击伪造方法
CN114357166A (zh) 一种基于深度学习的文本分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant