CN109525607B - 对抗攻击检测方法、装置及电子设备 - Google Patents

Abstract

本发明提供一种对抗攻击检测方法、装置及电子设备。方法包括：获取第一音频数据，以及从第一音频数据中获取预设时段的音频片段作为第二音频数据；将第一音频数据与第二音频数据分别输入音频识别模型，得到与第一音频数据对应的第一特征集，以及与第二音频数据对应的第二特征集，第一特征集包括与第一音频数据中的各音频片段对应的第一子特征，第二特征集包括至少一个与第二音频数据同音且与第二音频数据对应的第二特征；根据第一特征集中的第一子特征及第二特征集中的第二特征，确定第一音频数据是否为对抗样本，能够改善现有技术中因无法识别音频数据为对抗样本而使得攻击者通过对抗样本扰乱音频识别模型正常输出的技术问题。

Description

对抗攻击检测方法、装置及电子设备

技术领域

本发明涉及音频数据处理技术领域，具体而言，涉及一种对抗攻击检测方法、装置及电子设备。

背景技术

在语音识别系统中，具有将语音信号转录为音素这一功能的声学模型，依靠其深度神经网络的编解码能力，系统的语音识别率得到了很大的提升，甚至已达到人类可接受的水平。语音作为人工智能产品的主要入口，可以简单方便地执行特定指令或者控制相关设备，语音识别系统在智能手机、智能家居、智能车载等方面有广泛的应用，未来将会深入到人类生活和工作的各个环节当中。在现有技术中，这种趋势的发展存在一些风险，比如恶意者可能会利用系统的某一漏洞，在用户无察觉的情况下攻击语音识别系统，即攻击者通过对输入进行不可察觉的细微扰动，可以使深度神经网络以较高的置信度输出任意想要的分类。

发明内容

本发明提供一种对抗攻击检测方法、装置及电子设备。

为了实现上述目的，本发明实施例所提供的技术方案如下所示：

第一方面，本发明实施例提供一种对抗攻击检测方法，所述方法包括：

获取第一音频数据，以及从所述第一音频数据中获取预设时段的音频片段作为第二音频数据；

将所述第一音频数据与所述第二音频数据分别输入音频识别模型，得到与所述第一音频数据对应的第一特征集，以及与所述第二音频数据对应的第二特征集，所述第一特征集包括与所述第一音频数据中的各音频片段对应的第一子特征，所述第二特征集包括至少一个与所述第二音频数据同音且与所述第二音频数据对应的第二特征；

根据所述第一特征集中的第一子特征及所述第二特征集中的第二特征，确定所述第一音频数据是否为对抗样本。在本实施例提供的方法中，通过从第一音频数据中截取一个音频片段进行识别，然后将得到的特征与第一音频数据识别得到的特征进行比对，通过两特征之间的相似度来确定第一音频数据是否为对抗样本，有助于提高音频识别模型的安全性，避免因音频识别模型被对抗样本训练后输出异常的结果，从而改善现有技术中因无法识别音频数据为对抗样本而使得攻击者通过对抗样本扰乱音频识别模型正常输出的技术问题。

结合第一方面，在一些可选的实施方式中，根据所述第一特征集中的第一子特征及所述第二特征集中的第二特征，确定所述第一音频数据是否为对抗样本，包括：

根据所述第二特征的长度，从所述第一特征集中确定出至少一个与所述长度相同的第一特征，所述第一特征包括一个第一子特征或呈连续的至少两个第一子特征；

判断所述第一特征集与所述第二特征集中是否存在相似度大于或等于预设阈值的第一目标特征及第二目标特征；

当存在相似度大于或等于预设阈值的所述第一目标特征及所述第二目标特征时，确定表征所述第一音频数据不是对抗样本的第一检测结果；

当不存在相似度大于或等于所述预设阈值的所述第一目标特征及所述第二目标特征时，确定表征所述第一音频数据是对抗样本的第二检测结果。在本实施例提供的方法中，通过是否存在相似度大于或等于预设阈值的第一目标特征及第二目标特征来确定出第一音频数据是否为对抗样本，将音频识别得到的特征数字化，有助于快速确定出检测结果。

结合第一方面，在一些可选的实施方式中，在判断所述第一特征集与所述第二特征集中是否存在相似度大于或等于预设阈值的第一目标特征及第二目标特征之前，所述方法还包括：

针对所述第二特征集中的每个所述第二特征，从所述第一特征集中遍历所述第一特征，并确定所述第一特征与所述第二特征的所述相似度。在本实施例提供的方法中，通过遍历的方式来进行识别比对，能够提高特征识别比对的覆盖度，避免因部分特征没有被检测到而影响实际的检查结果，有助于提高检测结果的准确性。

结合第一方面，在一些可选的实施方式中，所述第一特征包括与所述第一音频数据中的音频片段对应的第一文本，所述第二特征包括与所述第二音频数据对应的第二文本；确定所述第一特征与所述第二特征的所述相似度，包括：

从所述第一文本与所述第二文本中确定出相同的字符；

根据所述相同的字符的字节长度与所述第一文本的总字节长度确定出所述相似度；或者

根据所述相同的字符的字节长度与所述第二文本的总字节长度确定出所述相似度。在本实施例提供的方法中，通过将音频转换为文本，利用第一文本与第二文本之间的相似度来确定第一音频数据是否为对抗样本，有助于快速地确定出第一音频数据是否为对抗样本的检测结果。

结合第一方面，在一些可选的实施方式中，从所述第一音频数据中获取预设时段的音频片段作为第二音频数据，包括：

从所述第一音频数据中获取多个不同的所述预设时段中的每个时段对应的音频片段，其中，所述每个时段对应的音频片段为一个所述第二音频数据。

结合第一方面，在一些可选的实施方式中，所述方法还包括：当不存在相似度大于或等于所述预设阈值的所述第一特征及所述第二特征时，发出表征所述第一音频数据是对抗样本的告警提示。在本实施例提供的方法中，通过在确定出第一音频数据是对抗样本时发出告警提示，有助于用户及时进行防护处理，以提高系统的安全性。

第二方面，本发明实施例还提供一种对抗攻击检测装置，所述装置包括：

获取单元，用于获取第一音频数据，以及从所述第一音频数据中获取预设时段的音频片段作为第二音频数据；

输入处理单元，用于将所述第一音频数据与所述第二音频数据分别输入音频识别模型，得到与所述第一音频数据对应的第一特征集，以及与所述第二音频数据对应的第二特征集，所述第一特征集包括与所述第一音频数据中的各音频片段对应的第一子特征，所述第二特征集包括至少一个与所述第二音频数据同音且与所述第二音频数据对应的第二特征；

检测确定单元，用于根据所述第一特征集中的第一子特征及所述第二特征集中的第二特征，确定所述第一音频数据是否为对抗样本。

结合第二方面，在一些可选的实施方式中，所述检测确定单元还用于：

根据所述第二特征的长度，从所述第一特征集中确定出至少一个与所述长度相同的第一特征，所述第一特征包括一个第一子特征或呈连续的至少两个第一子特征；

判断所述第一特征集与所述第二特征集中是否存在相似度大于或等于预设阈值的第一目标特征及第二目标特征；

当存在相似度大于或等于预设阈值的所述第一目标特征及所述第二目标特征时，确定表征所述第一音频数据不是对抗样本的第一检测结果；

当不存在相似度大于或等于所述预设阈值的所述第一目标特征及所述第二目标特征时，确定表征所述第一音频数据是对抗样本的第二检测结果。

第三方面，本发明实施例还提供一种电子设备，包括相互耦合的存储模块、处理模块、通信模块，所述存储模块内存储计算机程序，当所述计算机程序被所述处理模块执行时，使得所述电子设备执行上述的方法。

第四方面，本发明实施例还提供一种计算机可读存储介质，所述可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述的方法。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举本发明实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的用户终端与电子设备连接的示意图。

图2为本发明实施例提供的电子设备的方框示意图。

图3为本发明实施例提供的对抗攻击检测方法的流程示意图。

图4为本发明实施例提供的对抗攻击检测装置的方框示意图。

图标：10-电子设备；11-处理模块；12-通信模块；13-存储模块；20-用户终端；100-对抗攻击检测装置；110-获取单元；120-输入处理单元；130-检测确定单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

在语音识别系统中，具有将语音信号转录为音素这一功能的声学模型，依靠其深度神经网络的编解码能力，系统的语音识别率得到了很大的提升，甚至已达到人类可接受的水平。语音作为人工智能产品的主要入口，可以简单方便地执行特定指令或者控制相关设备，语音识别系统在智能手机、智能家居、智能车载等方面有广泛的应用，未来将会深入到人类生活和工作的各个环节当中。在现有技术中，这种趋势的发展存在一些风险，比如恶意者可能会利用系统的某一漏洞，在用户无察觉的情况下攻击语音识别系统，即攻击者通过对输入进行不可察觉的细微扰动，可以使深度神经网络以较高的置信度输出任意想要的分类。

鉴于上述问题，本申请发明人经过长期研究探索，提出以下实施例以解决上述问题。下面结合附图，对本发明实施例作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参照图1，本发明实施例提供的电子设备10可以通过网络与用户终端20建立通信连接，以进行数据交互。该电子设备10能够识别音频数据或语音数据是否为对抗样本，从而提高系统的安全性。

电子设备10可以是，但不限于服务器、个人电脑等。用户终端20可以是，但不限于，智能手机、个人电脑(personal computer，PC)、平板电脑、个人数字助理(personaldigital assistant，PDA)、移动上网设备(mobile Internet device，MID)等。在一些可选的实施方式中，电子设备10可以作为用户终端20。网络可以是，但不限于，有线网络或无线网络。

请参照图2，在本实施例中，电子设备10可以包括处理模块11、通信模块12、存储模块13以及对抗攻击检测装置100，处理模块11、通信模块12、存储模块13以及对抗攻击检测装置100各个元件之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

处理模块11可以是一种集成电路芯片，具有信号的处理能力。上述处理模块11可以是通用处理器。例如，该处理器可以是中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。

通信模块12用于通过网络建立电子设备10与用户终端20之间的通信连接，并通过网络收发数据。

存储模块13可以是，但不限于，随机存取存储器，只读存储器，可编程只读存储器，可擦除可编程只读存储器，电可擦除可编程只读存储器等。在本实施例中，存储模块13可以用于存储音频识别模型、音频数据等。当然，存储模块13还可以用于存储程序，处理模块11在接收到执行指令后，执行该程序。

进一步地，对抗攻击检测装置100包括至少一个可以软件或固件(firmware)的形式存储于存储模块13中或固化在电子设备10操作系统(operating system，OS)中的软件功能模块。处理模块11用于执行存储模块13中存储的可执行模块，例如对抗攻击检测装置100所包括的软件功能模块及计算机程序等。

可以理解的是，图2所示的结构仅为电子设备10的一种结构示意图，电子设备10还可以包括比图2所示更多或更少的组件。图2中所示的各组件可以采用硬件、软件或其组合实现。

请参照图3，本发明实施例提供的对抗攻击检测方法可以应用于上述的电子设备10，由该电子设备10执行或实现对抗攻击检测方法的各步骤，能够检测出音频数据是否为对抗样本，从而有助于提高音频识别模型的安全性。

在本实施例中，对抗攻击检测方法可以包括以下步骤：

步骤S210，获取第一音频数据，以及从第一音频数据中获取预设时段的音频片段作为第二音频数据；

步骤S220，将第一音频数据与第二音频数据分别输入音频识别模型，得到与第一音频数据对应的第一特征集，以及与第二音频数据对应的第二特征集，第一特征集包括与第一音频数据中的各音频片段对应的第一子特征，第二特征集包括至少一个与第二音频数据同音且与第二音频数据对应的第二特征；

步骤S230，根据第一特征集中的第一子特征及第二特征集中的第二特征，确定第一音频数据是否为对抗样本。

下面将对图3中所示的对抗攻击检测方法的各步骤进行详细阐述：

步骤S210，获取第一音频数据，以及从第一音频数据中获取预设时段的音频片段作为第二音频数据。

在本实施例中，电子设备10可以从用户终端20获取到第一音频数据，也可以直接采集用户实时发出的语音作为第一音频数据。通常来讲，第一音频数据为完整的语音数据。比如，第一音频数据可以为完整语句或语段所对应的语音数据，其中，语段可以包括多个语句。当然，第一音频数据也可以为原始音频中的一段语音片段。其中，原始音频可以为完整语段所对应的语音数据。

例如，电子设备10为服务器，用户终端20为智能手机。用户通过智能手机可以采集用户自身发出的语音，然后将语音发送至服务器，以使服务器获取到语音，以将该语音作为第一音频数据。

又例如，电子设备10为个人电脑，用户可以通过个人电脑采集用户自身发出的语音，然后将语音作为第一音频数据进行后续处理，比如从第一音频数据中截取一段音频片段作为第二音频数据。

在本实施例中，电子设备10可以从第一音频数据中截取预设时段或预设时长的音频片段作为第二音频数据。用户可以根据需求，从第一音频数据中截取到第二音频数据。其中，该预设时长或预设时段通常小于第一音频数据的总时长，预设时段或预设时长可以根据实际情况而设置，这里不作具体限定。

作为一种可选的实施方式，步骤S210可以包括：从第一音频数据中获取多个不同的预设时段中的每个时段对应的音频片段，其中，每个时段对应的音频片段为一个第二音频数据。

在本实施例中，用户(比如为设计人员或开发人员)可以根据实际情况设置从第一音频数据中获取第二音频数据的方式。例如，假设第一音频数据的总时长为20秒，预设时长为5秒，那么可以将第一音频数据划分为4个不同时段的音频片段，分别对应为第一音频数据中的0-5秒的片段，5-10秒的片段，10-15秒的片段，15-20秒的片段，这四个音频片段可以分别作为第二音频数据。

当然在其他实施方式中，可以通过调整预设时长来变更第二音频数据。例如，在上述的例子中，第一音频数据的总时长为20秒，用户可以设置预设时长可以为3秒、4秒等，时长较长的第二音频数据中可以包括时长较短的第二音频数据。具体地，比如，预设时长可以为3秒时，第二音频数据为第一音频数据中的0-3秒的音频片段；预设时长可以为4秒时，第二音频数据为第一音频数据中的0-4秒的音频片段。

可理解地，用户可以根据实际情况设置电子设备10从第一音频数据中截取第二音频数据的方式。也就是说，电子设备10可以对第一音频数据进行多种截断操作，以得到出具有不同局部序列的音频片段，然后将得到的每个音频片段作为一个第二音频数据。

步骤S220，将第一音频数据与第二音频数据分别输入音频识别模型，得到与第一音频数据对应的第一特征集，以及与第二音频数据对应的第二特征集，第一特征集包括与第一音频数据中的各音频片段对应的第一子特征，第二特征集包括至少一个与第二音频数据同音且与第二音频数据对应的第二特征。

在本实施例中，电子设备10预先存储有音频识别模型。音频识别模型为基于机器学习(比如深度神经网络、循环神经网络)的用于进行语音识别的模型，能够将语音转换为文本或音素。

可理解地，音频识别模型具有对输入语音进行分类，或者将输入语音转录为音素或文本的功能。音频识别模型既可以独立地成为语音识别系统，也可与音素字典、语音模型相结合组成语音识别系统(此时，音频识别模型可以被称为声学模型)。音频识别模型包括但不限于，基于传统隐马尔科夫模型(DNN-HMM)，以及基于CTC-Loss或者Attention的深度学习模型。

其中，音素，是语音中的最小的单位，依据音节里的发音动作来分析，一个动作构成一个音素。音素分为元音、辅音两大类。如汉语音节ā(啊)只有一个音素，ài(爱)有两个音素，dāi(呆)有三个音素等。

在本实施例中，特征集中包括的子特征可以为文本文字。例如，子特征可以为汉语中的字词，或者为英语中的单词。例如，若第一特征集为第一音频数据对应的文本，那么第一子特征便为文本中的字或单词。

若第二特征集为文本，那么第二特征集中的第二特征便为与第二音频数据同音的字词所确定的各类文本。

通常来讲，与第二音频数据同音的字词的情况种类较多，可以设置筛选策略，以减少无用的文本。例如，可以通过相邻字是否能够构成词，连续的字词之间是否能够构成句子等进行筛选，电子设备10可以保留相邻字能够构成词，连续的字词之间能够构成句子的文本，而删除其他文本，以提高所识别出语音实际对应的文本的概率。

可理解地，通过将确定出的同音的字或单词作为第二音频数据对应的特征集，能够避免因音频片段的时长较短而将与音频片段中实际所表征的文字的同音文字作为识别的唯一结果。即，通过增加识别出的同音字或词的数量，能够扩大音频识别模型得到该第二音频数据实际所表征的文字的概率，从而有助于提高检测结果的准确性。

第一音频数据与第二音频数据可以先后输入到同一个音频识别模型中进行识别，也可以输入到两个独立的音频识别模型中进行识别，这对音频数据输入到音频识别模型的方式不作具体限定。

步骤S230，根据第一特征集中的第一子特征及第二特征集中的第二特征，确定第一音频数据是否为对抗样本。

在本实施例中，电子设备10可以通过第一特征集中的第一子特征与第二特征之间的相似度或差异度来确定出第一音频数据是否为对抗样本。通常来讲，相似度越低或差异度越大，第一音频特征为对抗样本的概率越大；相似度越高或差异度越小，第一音频特征为对抗样本的概率越小。

作为一种可选地的实施方式，步骤S230可以包括：根据第二特征的长度，从第一特征集中确定出至少一个与长度相同的第一特征，第一特征包括一个第一子特征或呈连续的至少两个第一子特征；判断第一特征集与第二特征集中是否存在相似度大于或等于预设阈值的第一目标特征及第二目标特征；当存在相似度大于或等于预设阈值的第一目标特征及第二目标特征时，确定表征第一音频数据不是对抗样本的第一检测结果；当不存在相似度大于或等于预设阈值的第一目标特征及第二目标特征时，确定表征第一音频数据是对抗样本的第二检测结果。

在本实施例中，特征的长度可以理解为特征的字节大小。例如，若特征为汉语的文字或英语的单词，那么特征的长度便为文字的字数或字节大小。其中，预设阈值可以根据实际情况进行设置，这里不作具体限定。

可理解地，在进行特征比对时，若第二音频数据通过音频识别模型识别得到一组或多组汉字，每组汉字中对应位置的汉字的读音相同(比如，每组汉字的第N个字的读音相同；如，每组汉字的第1个字的读音相同，N为大于0的整数)；第一音频数据通过音频识别模型识别得到一组且包括10个汉字。对于第一音频数据而言，这10个汉字便为第一特征集，每个汉字便为一个第一子特征。对于第二音频数据而言，一组的5个汉字便为第二特征集中的一个第二特征，每个汉字便为一个第二子特征。

在进行特征比对时，从第二特征集中选出的一组5个汉字便为第二目标特征，从第一特征集(指上述例子中的10个汉字)中选出的连续的5个汉字便为第一目标特征，然后通过比对第一目标特征与第二目标特征之间的相似度，来确定第一音频数据是否为对抗攻击。

作为一种可选的实施方式，在判断第一特征集与第二特征集中是否存在相似度大于或等于预设阈值的第一目标特征及第二目标特征的步骤之前，方法还可以包括：针对第二特征集中的每个第二特征，从第一特征集中遍历第一特征，并确定第一特征与第二特征的相似度。

继续以上述的汉字的例子为例，对于每组的5个汉字(即第二特征)，可以依次与10个汉字(即，第一特征集)中任意一组连续的5个汉字进行比对，且与10个汉字中连续的5个汉字的进行排列组合得到的所有情况分别进行比对。其排列组合可理解为，10个汉字中，将第N个至第N+4个汉字之间的所有汉字(包括第N个及第N+4个汉字)作为一组第一目标特征。例如，可以将第1个至第5个汉字之间的所有汉字(共5个汉字，包括第1个及第5个汉字)作为一组第一目标特征，然后将该第一目标特征与第二目标特征进行比对，直至遍历完所有情况才结束流程，或者在确定出第一音频数据为对抗样本时结束流程。

作为一种可选的实施方式，第一特征包括与第一音频数据中的音频片段对应的第一文本，第二特征包括与第二音频数据对应的第二文本。确定第一特征与第二特征的相似度的步骤，可以包括：从第一文本与第二文本中确定出相同的字符；根据相同字符的字节长度与第一文本的总字节长度确定出相似度；或者根据相同字符的字节长度与第二文本的总字节长度确定出相似度。

可理解地，通过将音频转换为文本，利用第一文本与第二文本之间的相似度来确定第一音频数据是否为对抗样本，有助于快速地确定出第一音频数据是否为对抗样本的检测结果。

作为一种可选的实施方式，方法还可以包括：当不存在相似度大于或等于预设阈值的第一特征及第二特征时，发出表征第一音频数据是对抗样本的告警提示。

在本实施例中，当电子设备10确定出第一音频数据为对抗样本时，电子设备10便发出告警提示，或者，电子设备10向用户终端20发送告警提示，以使用户通过电子设备10或用户终端20接收到该告警提示，有助于用户及时进行防护处理，以提高音频识别模型的安全性，避免音频识别模型被对抗样本干扰，而使得音频识别模型在后续的识别过程中无法正确输出相应的结果。

其中，告警提示的方式可以是通过语音、闪光、文本消息等方式进行提示，比如，告警时可以向用户发送短信、拨打网络电话等，这里对提示的方式不作具体限定。

下面举例对对抗攻击检测方法的流程进行阐述：

例如，第一音频数据为“Hi,Siri.Turn on flight mode.”对应的语音，第二音频数据为从第一音频数据中截取的“Hi,Siri.Turn”对应的语音片段(或称为音频片段)。假设通过上述的音频识别模型识别出第一音频数据为正确的文本，即，得到的文本为“Hi,Siri.Turn on flight mode.”。

若第二音频数据得到的文本仅为“Hi,Siri.Turn”，那么可以用“Hi,Siri.Turn”(长度为10)遍历“Hi,Siri.Turn on flight mode.”(长度为22)，用字符正确率(即相似度)来评估得到一个表征正确率的数组[100％,90％,80％,70％,60％,...,0％,0％]。其中，数组中100％便为“Hi,Siri.Turn”与“Hi,Siri.Turn on flight mode.”中的“Siri.Turn on”比对得到的正确率。90％指“Hi,Siri.Turn”与“Hi,Siri.Turn on flight mode.”中的“Hi,Siri.Turn”。若预设阈值为100％，此时，便可以确定为针对该“Hi,Siri.Turn”对应的语音片段的校验合格，也就是指第一音频数据不是对抗样本。

若第二音频数据得到的文本仅为“hey,sary.tone”，那么可以用“hey,sary.tone”(长度为10)遍历“Hi,Siri.Turn on flight mode.”(长度为22)，用字符正确率(即相似度)来评估得到一个表征正确率的数组[45％,45％,45％,37％,37％,...,0％,0％]。其中，数组中的第一个45％便为“hey,sary.tone”与“Hi,Siri.Turn on flight mode.”中的“Siri.Turn on”比对得到的正确率。若预设阈值为90％，此时，便可以确定为针对该“Hi,Siri.Turn”对应的语音片段的校验不合格，也就是指第一音频数据是对抗样本。

需要说明的是，特征比对的度量参数包括不但限于字符错误率、词语错误率、编辑距离、最长相同前缀、余弦相似性、欧氏距离、海明距离、Dice距离、杰卡德系数以及AUC曲线等，可以根据实际情况进行设置，这里不作具体限定。

请参照图4，本发明实施例还提供一种对抗攻击检测装置100，可以应用于上述的电子设备10，用于执行或实现上述对抗攻击检测方法的各步骤，能够检测出音频数据是否为对抗样本，有助于提高系统的安全性。对抗攻击检测装置100需要单次或多次调用识别系统进行预测，可以将对抗攻击检测装置100作为一种后端模块集成于语音识别系统当中。例如，对抗攻击检测装置100可以附加在语音识别系统解码和执行输出指令步骤之前。其中，该对抗攻击检测装置100可以包括获取单元110、输入处理单元120及检测确定单元130。

获取单元110，用于获取第一音频数据，以及从第一音频数据中获取预设时段的音频片段作为第二音频数据。

可选地，获取单元110还用于从第一音频数据中获取多个不同的预设时段中的每个时段对应的音频片段，其中，每个时段对应的音频片段为一个第二音频数据。

输入处理单元120，用于将第一音频数据与第二音频数据分别输入音频识别模型，得到与第一音频数据对应的第一特征集，以及与第二音频数据对应的第二特征集，第一特征集包括与第一音频数据中的各音频片段对应的第一子特征，第二特征集包括至少一个与第二音频数据同音且与第二音频数据对应的第二特征；

检测确定单元130，用于根据第一特征集中的第一子特征及第二特征集中的第二特征，确定第一音频数据是否为对抗样本。

可选地，检测确定单元130还用于：根据第二特征的长度，从第一特征集中确定出至少一个与长度相同的第一特征，第一特征包括一个第一子特征或呈连续的至少两个第一子特征；判断第一特征集与第二特征集中是否存在相似度大于或等于预设阈值的第一目标特征及第二目标特征；当存在相似度大于或等于预设阈值的第一目标特征及第二目标特征时，确定表征第一音频数据不是对抗样本的第一检测结果；当不存在相似度大于或等于预设阈值的第一目标特征及第二目标特征时，确定表征第一音频数据是对抗样本的第二检测结果。

可选地，对抗攻击检测装置100还可以包括相似度确定单元。检测确定单元130在判断第一特征集与第二特征集中是否存在相似度大于或等于预设阈值的第一目标特征及第二目标特征之前，相似度确定单元用于针对第二特征集中的每个第二特征，从第一特征集中遍历第一特征，并确定第一特征与第二特征的相似度。

可选地，第一特征包括与第一音频数据中的音频片段对应的第一文本，第二特征包括与第二音频数据对应的第二文本。相似度确定单元还用于：从第一文本与第二文本中确定出相同的字符；根据相同字符的字节长度与第一文本的总字节长度确定出相似度；或者根据相同字符的字节长度与第二文本的总字节长度确定出相似度。

可选地，对抗攻击检测装置100还可以包括告警单元。当不存在相似度大于或等于预设阈值的第一特征及第二特征时，告警单元用于发出表征第一音频数据是对抗样本的告警提示。

需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的对抗攻击检测装置100的工作过程，可以参考前述方法中的各步骤对应过程，在此不再过多赘述。

本发明实施例还提供一种计算机可读存储介质。可读存储介质中存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行如上述实施例中所述的对抗攻击检测方法。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施场景所述的方法。

综上所述，本发明提供一种对抗攻击检测方法、装置及电子设备。方法包括：获取第一音频数据，以及从第一音频数据中获取预设时段的音频片段作为第二音频数据；将第一音频数据与第二音频数据分别输入音频识别模型，得到与第一音频数据对应的第一特征集，以及与第二音频数据对应的第二特征集，第一特征集包括与第一音频数据中的各音频片段对应的第一子特征，第二特征集包括至少一个与第二音频数据同音且与第二音频数据对应的第二特征；根据第一特征集中的第一子特征及第二特征集中的第二特征，确定第一音频数据是否为对抗样本。本方案中，通过从第一音频数据中截取一个音频片段进行识别，然后将得到的特征与第一音频数据识别得到的特征进行比对，通过两特征之间的相似度来确定第一音频数据是否为对抗样本，有助于提高音频识别模型的安全性，避免因音频识别模型被对抗样本训练后输出异常的结果，从而改善现有技术中因无法识别音频数据为对抗样本而使得攻击者通过对抗样本扰乱音频识别模型正常输出的技术问题。

在本发明所提供的实施例中，应该理解到，所揭露的装置、系统和方法，也可以通过其它的方式实现。以上所描述的装置、系统和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种对抗攻击检测方法，其特征在于，所述方法包括：

获取第一音频数据，以及从所述第一音频数据中获取预设时段的音频片段作为第二音频数据；

将所述第一音频数据与所述第二音频数据分别输入音频识别模型，得到与所述第一音频数据对应的第一特征集，以及与所述第二音频数据对应的第二特征集，所述第一特征集包括与所述第一音频数据中的各音频片段对应的第一子特征，所述第二特征集包括至少一个与所述第二音频数据同音且与所述第二音频数据对应的第二特征；

针对所述第二特征集中的每个所述第二特征，从所述第一特征集中遍历所述第一特征，并确定所述第一特征与所述第二特征的相似度；

根据所述第一特征集中的第一子特征及所述第二特征集中的第二特征，确定所述第一音频数据是否为对抗样本，包括：

根据所述第二特征的长度，从所述第一特征集中确定出至少一个与所述长度相同的第一特征，所述第一特征包括一个第一子特征或呈连续的至少两个第一子特征；

判断所述第一特征集与所述第二特征集中是否存在相似度大于或等于预设阈值的第一目标特征及第二目标特征；

当存在相似度大于或等于预设阈值的所述第一目标特征及所述第二目标特征时，确定表征所述第一音频数据不是对抗样本的第一检测结果；

当不存在相似度大于或等于所述预设阈值的所述第一目标特征及所述第二目标特征时，确定表征所述第一音频数据是对抗样本的第二检测结果。

2.根据权利要求1所述的方法，其特征在于，所述第一特征包括与所述第一音频数据中的音频片段对应的第一文本，所述第二特征包括与所述第二音频数据对应的第二文本；确定所述第一特征与所述第二特征的所述相似度，包括：

从所述第一文本与所述第二文本中确定出相同的字符；

根据所述相同的字符的字节长度与所述第一文本的总字节长度确定出所述相似度；或者

根据所述相同的字符的字节长度与所述第二文本的总字节长度确定出所述相似度。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：当不存在相似度大于或等于所述预设阈值的所述第一特征及所述第二特征时，发出表征所述第一音频数据是对抗样本的告警提示。

4.根据权利要求1所述的方法，其特征在于，从所述第一音频数据中获取预设时段的音频片段作为第二音频数据，包括：

从所述第一音频数据中获取多个不同的所述预设时段中的每个时段对应的音频片段，其中，所述每个时段对应的音频片段为一个所述第二音频数据。

5.一种对抗攻击检测装置，其特征在于，所述装置包括：

获取单元，用于获取第一音频数据，以及从所述第一音频数据中获取预设时段的音频片段作为第二音频数据；

输入处理单元，用于将所述第一音频数据与所述第二音频数据分别输入音频识别模型，得到与所述第一音频数据对应的第一特征集，以及与所述第二音频数据对应的第二特征集，所述第一特征集包括与所述第一音频数据中的各音频片段对应的第一子特征，所述第二特征集包括至少一个与所述第二音频数据同音且与所述第二音频数据对应的第二特征；

检测确定单元，用于根据所述第一特征集中的第一子特征及所述第二特征集中的第二特征，确定所述第一音频数据是否为对抗样本；所述检测确定单元还用于：

根据所述第二特征的长度，从所述第一特征集中确定出至少一个与所述长度相同的第一特征，所述第一特征包括一个第一子特征或呈连续的至少两个第一子特征；

判断所述第一特征集与所述第二特征集中是否存在相似度大于或等于预设阈值的第一目标特征及第二目标特征；

当存在相似度大于或等于预设阈值的所述第一目标特征及所述第二目标特征时，确定表征所述第一音频数据不是对抗样本的第一检测结果；

当不存在相似度大于或等于所述预设阈值的所述第一目标特征及所述第二目标特征时，确定表征所述第一音频数据是对抗样本的第二检测结果。

6.一种电子设备，其特征在于，包括相互耦合的存储模块、处理模块、通信模块，所述存储模块内存储计算机程序，当所述计算机程序被所述处理模块执行时，使得所述电子设备执行如权利要求1-4中任一项所述的方法。

7.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1-4中任意一项所述的方法。

Images