CN116052662A

CN116052662A - 一种基于听不见的通用对抗命令攻击方法及系统

Info

Publication number: CN116052662A
Application number: CN202310068075.2A
Authority: CN
Inventors: 李向阳; 孙海峰
Original assignee: University of Science and Technology of China USTC
Current assignee: University of Science and Technology of China USTC
Priority date: 2023-02-06
Filing date: 2023-02-06
Publication date: 2023-05-02

Abstract

本发明涉及一种基于听不见的通用对抗命令攻击方法及系统，包括两个阶段；第一阶段为通用的对抗性命令UAC生成过程，利用无数据依赖方法构造通用对抗命令；所述命令是强鲁棒性的特征命令，能够防止其它命令的干扰，使得语音识别模型只执行听不见的攻击命令；第二阶段为听不见的通用的对抗性命令IUAC生成过程，将第一阶段得到的通用的对抗性命令调制成为听不见的通用的对抗性命令IUAC，即听不见的攻击命令。本发明具有无数据依赖构造以及听不见的优点，可以隐蔽的对抗攻击智能语音识别系统。

Description

一种基于听不见的通用对抗命令攻击方法及系统

技术领域

本发明涉及一种基于听不见的通用对抗命令攻击方法及系统，属于智能语音识别技术领域。

背景技术

随着智能时代深度学习的发展，智能语音系统已经被广泛用于物联网设备中。目前很多智能语音系统需要有声纹认证，如果攻击者可以提前获取用户的声纹信息，他们可以主动激活用户设备。但是这种假设是较强的，如果攻击者无法提前获取用户声纹，现有方法攻击将会变得十分困难。因此研究智能语音系统的安全性就显得很重要。攻击者是否可以在不事先获取用户声纹数据的情况下，而在激活状态下攻击智能语音系统。如果可能，攻击者可以发起攻击，欺骗智能语音系统执行攻击者的目标命令，即使这是他/她第一次见到受害者。近年来，对智能语音系统安全问题的研究越来越多。这些攻击可以分为两类：使用信号的直接攻击和使用对抗样本的间接攻击。使用信号的直接攻击主要有两种类型。一种是可听见的，如重放攻击。然而，这些攻击还不够隐蔽。第二种类型是听不见的，他们的攻击是隐蔽的；然而，他们是需要提前获取用户声纹信息的。对于利用对抗样本的间接攻击，人类一般无法注意到增加的对抗性扰动。然而，大多数通用的对抗性攻击都是依赖于用户数据样本的，而且易受环境噪音的干扰。在攻击场景中，攻击者希望在用户使用智能语音系统时发出一个听不到的通用对抗命令，即使与用户命令混合在一起，仍然可以使得智能语音系统执行攻击者的命令。通常情况下，攻击者没有用户的命令数据，因此攻击者需要设计一种不依赖数据的方法来构造通用的攻击命令。由于攻击者无法提前获取用户命令，如何保证攻击命令可以对抗任意用户命令也是一个挑战。此外攻击应该足够隐蔽和健壮，能够不被发现并且可以抵抗环境噪声。

因此,现有技术无法利用数据样本无关的方法对智能语音识别系统进行听不见的对抗攻击。

发明内容

本发明技术解决问题：克服现有技术的依赖数据的不足，提供一种基于听不见的通用对抗命令攻击方法及系统，具有无数据依赖构造以及听不见的优点，可以隐蔽的对抗攻击智能语音识别系统。

第一方面，本发明提供一种基于听不见的通用对抗命令攻击方法，实现如下：包括两个阶段；

第一阶段为通用的对抗性命令UAC生成过程，利用无数据依赖方法构造通用对抗命令；所述命令是强鲁棒性的特征命令，能够防止其它命令的干扰，使得语音识别模型只执行攻击命令；

第二阶段为听不见的通用的对抗性命令IUAC生成过程，将第一阶段得到的通用的对抗性命令调制成为听不见的通用的对抗性命令IUAC，即听不见的攻击命令；

所述第一阶段为通用的对抗性命令UAC生成过程，实现如下：

(11)利用无数据依赖方法构造训练集；

具体实现如下：

利用语音合成技术合成含有语义信息的数据，使用循环替换方法对含有语义信息的数据进行处理，生成满足各向异性特征训练集；

(12)从目标域中寻找初始通用的对抗性命令，以加速收敛；

(13)基于给出神经网络模型、训练集和初始通用的对抗性命令，利用损失函数去寻找UAC，所述损失函数设计如下：

其中，L指的是CTC-Loss，f是神经网络模型，t是目标短语，τ_t是目标域中一个初始点，α是超参数，τ是自变量，s_ij是训练集，N是目标短语对应的音频长度；n是语音合成数据的个数；

最后通过优化损失函数直到收敛，得到最终通用的对抗性命令UACδ＝τ+τ_t。

进一步，所述CTC-Loss函数如下：

其中，f(x)代表给定神经网络模型f(.)一个输入x得到的输出结果的概率，t是目标短语，y是神经网络模型的一个输出结果，Pr()指的得到这个输出结果y的概率；

reduce是一个对语音识别模型直接得到的输出进行后处理的函数，用来修正输出结果，它满足以下两个规则：(1)如果两个相同的字符连接在一起，只需要保留一个；(2)如果两个相同的字符之间有特殊的符号“-”，则不能合并两个相同的字符。例如，如果t＝abb，则reduce(aaa-bb-bb)＝abb，reduce(aa-bbb-bb)＝abb，则aaa-bb-bb和aa-bbb-bb都是t的对齐。

进一步，所述步骤(12)中，为了加快训练UAC的收敛速度，利用目标域中的一个初始点τ_t加速找到UAC，满足：

τ_t∈Γ_t＝{x|C(f(x))＝t}

Γ_t是目标域，f(·)神经网络模型，C(·)为解码过程。

进一步，所述步骤(11)中，处理方法采用构造替换矩阵集进行处理；

对每个数据进行循环替换，定义M＝{m₁,…m_i}为替换矩阵集，替换矩阵m_i满足以下条件：

第二方面，本发明提供一种基于听不见的通用对抗命令攻击系统，包括通用的对抗性命令UAC生成模块和听不见的通用的对抗性命令IUAC生成模块；

通用的对抗性命令UAC生成模块，利用无数据依赖方法构造通用对抗命令；所述命令是强鲁棒性的特征命令，能够防止其它命令的干扰，使得语音识别模型只执行听不见的攻击命令；

听不见的通用的对抗性命令IUAC生成模块，将得到的通用的对抗性命令调制成为听不见的通用的对抗性命令IUAC，即听不见的攻击命令；

所述通用的对抗性命令UAC生成模块，实现如下：

(11)利用无数据依赖方法构造训练集；

具体实现如下：

(12)从目标域中寻找初始通用的对抗性命令，以加速收敛；

其中，L指的是CTC-Loss，t是目标短语，τ_t是目标域中一个初始点，α是超参数，τ是自变量，s_ij是训练集，N是目标短语对应的音频长度，n是语音合成数据的个数；

最后通过优化损失函数直到收敛，得到最终通用的对抗性命令UACδ＝τ+τ_t。δ表示攻击命令。

本发明与现有技术相比的优点在于：

(1)本发明提出了一种无数据依赖方法来生成通用对抗命令(UAC)。使用语义填充和循环替换方法构造训练数据来代替用户的语音数据。本方法可以构造方向满足各向异性的特征数据，然后通过设计一个带有CTC-Loss的损失函数来约束通用对抗命令，即使在收到其它命令干扰的时候仍然可以使得模型将两个叠加的命令识别成目标短语，这里相当于构造的各向异性的特征数据叠加到UAC上之后会形成一个以UAC为中心点的球面，这里损失函数就是限制整个球面在目标决策空间内部，方法创新是寻找一个给定模型的目标决策空间的中心点。此外为了加快训练UAC的收敛速度，可以利用目标域中的一个初始点来加速找到UAC。本方法可以扩展到其它深度模型上去寻找一个强鲁棒的输入(即目标决策空间的中心点，这是本方法首次提出的概念)。

(2)本发明可以达到较高的攻击成功率，平均超过96％。对于真实数据集，平均字符错误率(CER)为0.018，UAC攻击效果达到基线的35.85×，并且拥有更强的鲁棒性。

(3)IUAC算法收敛效果更快速，一方面可以节省训练开销，另一方面可以提高攻击精度。

附图说明

图1为本发明攻击系统的组成框图；

图2为本发明方法的实现流程图；

图3为麦克风的架构图；

图4为无数据依赖的UAC生成示意图；

图5为IUAC生成及经过麦克风示意图；

图6为攻击效果对比图；左边的图横坐标重叠度表示的是用户命令与攻击命令的重叠比例，纵坐标是错词率；右边的图横坐标为平均信噪比，纵坐标是平均错词率；

图7为不同攻击命令效果对比表；

图8为收敛效果对比图。

具体实施方式

下面结合附图及实施例对本发明进行详细说明。

如图1所示，为本发明攻击系统的组成框图；攻击者先利用无数据依赖的方法生成UAC,然后将生成的UAC调制成IUAC，然后当用户对智能语音识别系统发出命令的时候，攻击者发出提前构造好的IUAC攻击命令，经过麦克风智能语音识别系统可接收到重叠的命令，最终的识别结果是攻击者命令。

如图2，第一阶段为通用的对抗性命令(UAC)生成模块，实现的功能是生成一个强鲁棒性的特征命令，可以防止其它命令的干扰，使得语音识别模型只执行攻击者的命令。此模块进来的是一个攻击者想要的执行命令，经过特征鲁棒性处理，然后送到IUAC生成模块。

第二阶段为听不见的通用的对抗性命令(IUAC)生成模块，实现的功能是将通用的对抗性命令转变成听不见的攻击命令。此模块进来的是通用的对抗性命令，经过高频载波的调制从而变成听不见的命令。

所述UAC生成模块实现过程：

攻击的智能语音系统使用DeepSpeech作为语音识别模型，它是一个语音到文本的系统。该模型是一个具有CTC-Loss的端到端基于rnn的自动语音识别(ASR)模型，能够灵活计算损失并进行梯度下降。将此语音识别模型定义为函数f(·)，D为用户命令集(测试集)。设Y＝{a,…,z,空格,-}。音频输入x_i可以表示为多个帧(即x_i＝[r₁,…,r_di])。f(·)是输入音频的每一帧映射到Y的概率分布，即

其中d_i＝|x_i|，m＝|Y|。C(·)为解码过程，C(f(x))表示语音识别模型识别输入音频x的最终结果。

作为攻击者，在实际中很难获取用户的命令数据，因此需要利用无数据依赖的方法构造一个通用对抗命令

如果通用对抗性命令可以被听到，则需要将通用对抗性命令转换为一个听不到的通用对抗性命令。在攻击场景中，很难获取用户的命令

的内容和确切的发出时间。所以需要考虑重叠的长度和位置，定义O(x_i,δ,l_i)来表示它。O(x_i,δ,l_i)表示用户命令x_i与攻击命令δ之间的重叠，重叠的起始点为,l_i。需要解决的第一个问题是设计一个通用对抗命令δ，它满足以下等式：

这相当于找到一个攻击命令δ，这样对于任意l_i和x_i，

指的是用户的命令集，有O(x_i,δ,l_i)∈Γ_t＝{x|C(f(x))＝t}，Γ_t是目标短语t的目标域。C(f(x))用于将向量f(x)解码为一个短语。解码方式主要有贪心解码和波束搜索解码两种。对于贪婪解码搜索有：

其中，reduce满足以下两个规则：(1)如果两个相同的字符连接在一起，只需要保留一个，不能合并两个相同的字符；(2)如果它们之间有特殊的符号“-”。例如，如果t＝abb，则reduce(aaa-bb-bb)＝abb，reduce(aa-bbb-bb)＝abb，则aaa-bb-bb和aa-bbb-bb都是t的对齐。此外，得到一个模型输出结果y的概率为:

在实际应用中假设无法获得用户的命令集D，因此需要设计一种无数据方法生成的通用对抗命令δ。由于决策空间是复杂的高维空间，为了便于理解，这里仅以二维空间为例。定义S＝{s₁,s₂,s₃,s₄}为合成音频数据。s₁、s₂、s₃和s₄是在决策空间中具有不同方向和长度特征的音频。图4显示了寻找通用对抗命令的主要思想。

如图4所示，为无数据依赖(数据无关)的UAC生成示意图；将初始的攻击命令移到决策中心点；最终找到了一个通用对抗命令δ，以它为中心，半径R的圆球包含在目标域中，使得混合指令的识别结果都在目标域内。定义r为集合D中最长特征的长度，R为决策空间中集合S中最小特征的长度，需要R>r，从而S生成的通用对抗命令在与D中的命令重叠时仍能保持在目标域中。经验假设r是可控的，所以只需要控制R足够大即可。但如果R太大，又很难收敛，因此在实验中可以将R视为可变参数。产生δ是通过减少

的损失，其中τ_t∈Γ_t，τ为优化的自变量，L是CTC-Loss，CTC-Loss是训练序列到序列神经网络的损失函数。给定一个输入音频

和它的目标短语t，其中

为帧域，d表示音频的帧长。定义y＝(y₁，…，y_d)，y_i∈Y为t对f(x)的对齐，即reduce(y)＝t。

定义CTC-Loss如下：

最终找到了一个通用对抗命令δ，以它为中心，半径R的圆球包含在目标域中，使得混合指令的语音识别结果都在目标域内。所以有如下目标：

其中，ε→0。

满足以下两个条件可以找到各向异性特征集S：

1)音频数据需要包含语义信息。

2)两对合成语音数据的语义应该尽可能不同。

首先使用语音合成技术来合成包含不同语义信息的数据，每个数据本身应该包含尽可能多的不同字符。例如，s₁＝abcd,s₂＝efgh,s₃＝ijkl,s₄＝mnop。现在得到数据集

然后对每个数据进行循环替换，定义M＝{m₁,…m_i}为圆形替换矩阵集，其中m_i满足以下条件：

所以优化如下目标：

其中，s_ij＝s_i*m_j。最终得到UAC:δ＝τ+τ_t。

接下来需要利用IUAC生成模块使得通用对抗命令δ变的不可听见。

所述IUAC生成模块实现过程：

如图5所示，在得到UACδ，再经过高频载波的调制将UACδ调制成IUAC，当IUAC被智能语音系统麦克风接收后将会变成命令δ′≈δ，即经过麦克风后可还原成UAC输入到语音识别模型中。

其中，f_c是载波频率，T是时间，本发明选择f_c＝23000Hz，n₁＝n₂＝1。

如图3所示，为麦克风的架构图；智能语音系统的接收麦克风有四个组成部分，先由换能器将声音信号转换成电信号，然后由放大器放大，再由低通滤波器过滤高频声音信号；最后信号被模数转换器(ADC)重新采样。放大器应该被构造成线性的，但在现实世界中它有非线性现象。假设输入语音信号为S_in，输出语音信号为S_out，则S_in与S_out的关系表示为：

利用接收设备麦克风的非线性特征，通用的对抗性命令UAC可经过高频载波的调制变成听不见的命令。其中，G_i指的是是麦克风非线性系数。

如图6所示，为攻击效果对比；图中错词率表示CER，两个字符串之间的编辑距离(Editdistance)是将一个字符串转换为另一个字符串(通过插入、删除和替换)所需的最小处理次数。给定两个字符串str1和str2，字符错误率CER(str1,str2)由字符串str1和str2之间的归一化编辑距离定义，即：

其中，length(str2)表示字符串str2的长度。

信噪比NSR定义如下：给定一个音频信号signal1和一个噪声信号signal2，用NSR(signal1,signal2)量化信噪比的相对大小，定义为：

p指的是范数，取p＝2。

左边的图横坐标表示的是用户命令与攻击命令的重叠度，纵坐标是错词率。UAC攻击的错词率均匀集中在底部，DolphinAttack直接用原始命令攻击的错词率与重叠度呈正相关，UAC的攻击效果明显比原始命令攻击效果好。右边的图横坐标为平均信噪比，纵坐标是平均错词率，可以看出随着攻击信号越大UAC比原始命令攻击效果越好。

如图7所示，为不同攻击命令效果对比的结果；分别根据三个不同的目标短语构造了三个UAC(UAC1，UAC2，UAC3)，可以看出在相同信噪比下，本发明的UAC攻击成功率以及平均错词率均好于基线(原始命令一C1，原始命令二C2，原始命令三C3)。并可以看出我们的方法对不同命令通用，适用于构造任何一个命令。

图8为收敛效果对比图；横坐标为训练轮数，纵坐标为训练损失。其中对比方法一是Li等人在CCS’20提出来的方法，利用伪装的自然音进行对抗攻击，对比方法二表示通用对抗扰动的方法，对比方法三表示没有约束的通用对抗扰动的方法，可以看出本发明方法收敛速度优于现有方法以及有更小的损失，并且可以大大提高攻击精度。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims

1.一种基于听不见的通用对抗命令攻击方法，其特征在于，实现如下：包括两个阶段；

第一阶段为通用的对抗性命令即UAC生成过程，利用无数据依赖方法构造通用对抗命令；所述命令是强鲁棒性的特征命令，能够防止其它命令的干扰，使得语音识别模型只执行攻击命令；

第二阶段为听不见的通用的对抗性命令即IUAC生成过程，将第一阶段得到的通用的对抗性命令调制成为听不见的通用的对抗性命令IUAC，即听不见的攻击命令；

所述第一阶段中的UAC生成过程，实现如下：

(11)利用无数据依赖方法构造训练集；

具体实现如下：

(12)从目标域中寻找初始通用的对抗性命令，以加速收敛；

其中，L指的是CTC-Loss，f是神经网络模型，t是目标短语，τ_t是目标域中一个初始点，α是超参数，τ是自变量，s_ij是训练集，i,j是下标，代表不同训练数据，N是目标短语对应的音频长度，n是语音合成数据的个数；

最后通过优化损失函数直到收敛，得到最终通用的对抗性命令UAC。

2.根据权利要求1所述的基于听不见的通用对抗命令攻击方法，其特征在于：所述CTC-Loss函数如下：

reduce是一个对语音识别模型得到的输出结果进行后处理的函数，用来修正输出结果，它满足以下两个规则：(1)如果两个相同的字符连接在一起，只需要保留一个；(2)如果两个相同的字符之间有特殊的符号“-”，则不能合并这两个相同的字符。

3.根据权利要求1所述的基于听不见的通用对抗命令攻击方法，其特征在于：所述步骤(12)中，为了加快训练UAC的收敛速度，利用目标域中的一个初始点τ_t加速找到UAC，满足：

τ_t∈Γ_t＝{x|C(f(x))＝t}

Γ_t是目标域，f(·)神经网络模型，C(·)为解码过程。

4.根据权利要求1所述的基于听不见的通用对抗命令攻击方法，其特征在于：所述步骤(11)中，处理方法采用构造替换矩阵集进行处理；

5.一种基于听不见的通用对抗命令攻击系统，其特征在于：包括通用的对抗性命令UAC生成模块和听不见的通用的对抗性命令IUAC生成模块；

通用的对抗性命令UAC生成模块，利用无数据依赖方法构造通用对抗命令；所述命令是强鲁棒性的特征命令，能够防止其它命令的干扰，使得语音识别模型只执行攻击命令；

所述通用的对抗性命令UAC生成模块，实现如下：

(11)利用无数据依赖方法构造训练集；

具体实现如下：

(12)从目标域中寻找初始通用的对抗性命令，以加速收敛；

最后通过优化损失函数直到收敛，得到最终通用的对抗性命令。