CN114363509B - 一种基于声波触发的可触发对抗补丁生成方法 - Google Patents

Abstract

本发明公开了一种基于声波触发的可触发对抗补丁生成方法，该方法利用现有机器视觉系统中惯性传感器和深度学习算法的脆弱性，使用声波构造适用于物理世界的模糊噪声，创新性地提出利用该模糊噪声触发当前场景中存在的可触发对抗补丁，从而欺骗机器视觉系统。相比于现有基于数字域的图像对抗补丁构造方法，本发明方法构造的声波可触发对抗补丁在真实物理世界中具有更强的实时操纵性；相比于现有基于物理域的纯模糊图像对抗样本构造方法，本发明方法借助对抗补丁极大降低了对于模糊噪声的操纵要求，具有更强的通用性和可行性。

Description

一种基于声波触发的可触发对抗补丁生成方法

技术领域

本发明属于人工智能领域，涉及一种基于声波触发的可触发对抗补丁生成方法。

背景技术

随着人工智能技术的不断发展，机器视觉在现代智能系统中广泛应用，如智能机器人，自动驾驶汽车等。机器视觉利用摄像头拍摄智能系统周围环境信息，并使用深度学习算法对图像中包含的物体进行检测和识别，从而达到感知环境的目的。由于机器视觉的感知结果通常作为智能系统后续决策的信息来源，机器视觉感知结果的安全性至关重要。

近些年来，针对图像对抗样本的研究日益增多。图像对抗样本指的是可以干扰机器视觉感知结果的样本，研究图像对抗样本对保障机器系统以及智能系统的安全性具有重要指导意义。当前，针对图像对抗样本的研究主要集中于数字域，即直接修改数字图像的像素值来构造图像对抗样本，其在物理域的实现形式主要以补丁为主，具有通用性的对抗效果。尽管该方法构造的图像对抗补丁通常具有较好的对抗效果，但在实际系统中存在无法实时控制、隐蔽性差、无法选择目标对象(机器视觉系统)的局限性。而单纯使用声波注入的模糊噪声构建的对抗样本只针对单独一帧有效，在实际情况下，难以实现该要求。因此，本发明提出一种基于声波触发的可触发对抗补丁生成方法，该种方法兼具两者之长，具有较好的实用性和隐蔽性，为图像对抗样本的构造提供了新的思路，为机器学习安全分析与防护提供了新的指导。

发明内容

本发明提供一种基于声波触发的可触发对抗补丁生成方法，该方法利用防抖相机中的惯性传感器对声波的共振效果，声波影响机器视觉系统中的惯性传感器和深度学习算法，引起图像防抖模块错误补偿，造成图像模糊，在不获取传感器的具体读数的情况下，通过优化方法提取局部线性模糊，并以该模糊为触发器，构造通用性的可触发对抗补丁，从而产生对抗效果。

本发明采用以下技术方案实现：

一种基于声波触发的可触发对抗补丁生成方法，包括以下步骤：

1)对防抖相机的惯性传感器进行声波信号扫频，通过观察相机画面来判断是否达到传感器的共振频率，画面模糊时对应的频率为传感器的共振频率。该步骤具体包括以下三个步骤：

(1)使用信号发生器驱动超声波扬声器，发出指定频率的声波信号，声波信号指向防抖相机的惯性传感器所在位置；

(2)不断调整发出声波信号的频率，同时人眼观察画面是否出现抖动；

(3)在观察到抖动后记录下当前频段作为备选频段，在找到所有可产生抖动的频段后，选择抖动程度最强的一个频段，从中挑选一个频率作为确定的共振频率。

2)针对步骤1)获取到的共振频率，调整适当的信号幅度，使相机拍摄的画面出现模糊噪声，并记录该信号幅度；

3)根据静止的清晰图像与步骤2)中拍摄到的模糊图像，获取当前画面某一局部的点扩散函数，进而提取点扩散函数的线性特征，最终获得一组线性模糊参数。该步骤具体包括以下三个步骤：

(1)保持在相同画面下，获取声波注入前的清晰图像以及声波注入后的模糊图像；

(2)根据对抗补丁实际布置位置，选择其对应的图像位置，从步骤(1)中所述的清晰图像和模糊图像中分别截取对应的图像块，使用梯度下降方法，优化出对应的点扩散函数；

待优化的点扩散函数可以表示为：

B(i,j)＝ω*X(i,j)

其中，X为原始图像，B为模糊后图像，(i,j)为像素点坐标，ω代表点扩散函数，模糊后图像是点扩散函数和原始图像的卷积结果。

(3)提取步骤(2)中获得的点扩散函数的线性特征，包括x轴与y轴的模糊程度，所述线性特征也可以用极坐标形式表示，即模糊的强弱与方向。

4)利用步骤3)获取的线性模糊参数，使用以互补损失函数为优化目标的对抗补丁生成方法，生成一个可触发的对抗补丁，并将其打印张贴到现实环境中。该步骤具体包括以下步骤：

(1)使用步骤3)中得到的线性模糊参数构造正向模糊触发器，使用静止状态下的线性模糊参数构造负向模糊触发器；

触发器参数包括x轴和y轴的模糊程度，根据这两个参数可以生成对应的线性模糊，本发明中使用一组空间变换网络来实现其模糊过程，使用匀速直线运动建模线性模糊，将一个模糊图片的生成过程分解为一系列不同时间片下的平移图像的叠加：

其中，X为原始图像，B为模糊后图像，(i,j)为像素点坐标，(v_i,v_j)为模糊运动向量，t代表不同时间片，Sample代表图像的采样函数，γ代表伽马矫正系数。

(2)对(1)中所述的正向模糊触发器和负向模糊触发器分别使用正向对抗损失和负向对抗损失作为优化函数，两者构成互补损失函数；

在优化过程中，其损失函数具体可表示为：

其中，x,l,r分别代表背景图像、对抗补丁的摆放位置和用于增强鲁棒性的随机变换。那么，X,L,R表示相应的分布。

表示总损失的期望值，以统一的形式表示各类机器视觉系统的识别结果

其中θ表示目标视觉识别模型，y表示各类机器视觉系统的识别输出。x_pos和x_neg分别是触发后与触发前的对抗补丁。L_pos是正向损失，旨在使得目标机器视觉系统以尽可能高的置信度预测目标类别或物体，而负向损失L_neg旨在让目标机器视觉系统忽略补丁的存在，将其视为背景，以增强隐蔽性，超参数λ被用来平衡不同损失的权重系数。

(3)指定对抗补丁的尺寸与形状，并且设定对抗补丁所要实现的具体对抗效果，使用像素值随机初始化对抗补丁；

(4)以标准图像数据集中的图像作为优化过程中的背景，将待优化的对抗补丁随机放置到所述背景中，使用(2)中构造的互补损失函数进行对抗补丁优化，最终获得一个可触发对抗补丁；

(5)使用打印设备将步骤(4)中生成的可触发对抗补丁打印在纸制品上，摆放或张贴于目标相机可捕获的视野范围内。

采用可触发的对抗补丁生成图像对抗样本：使用步骤2)中相同的共振频率和信号幅度，通过声波的方式注入惯性传感器，使相机画面产生相同的模糊噪声，该模糊噪声将触发步骤4)中获得的对抗补丁，进而产生针对目标机器视觉系统的图像对抗样本。该步骤具体包括以下三个步骤：

(1)在注入信号前，可触发的对抗补丁已经被布置于相机画面中；

(2)使用步骤2)中确定的共振频率和信号幅度向惯性传感器发射声波信号，使相机画面产生与步骤2)中观察所得相同或相近的图像模糊噪声；

(3)在(2)所述的图像模糊噪声下，步骤(1)中布置的对抗补丁被触发，产生对抗效果，使得目标机器视觉系统出现识别错误。

本发明的有益效果是：

(1)本发明方法降低了对于物理世界中生成模糊噪声的要求，人眼可察觉程度的模糊即可作为触发器，并且对于模糊的方向没有要求。这给予了对抗样本生成极大的便利，解决了数字域求解结果与物理域实现条件的冲突。

(2)本发明方法生成的对抗补丁的通用性强，可同时适用于不同图像，并且具备抗信号噪声、抗视角倾斜、抗打印色差的鲁棒性，相比针对单张图像的对抗噪声，更具实际可行性。

(3)本发明方法生成的对抗补丁的隐蔽性强，在未被触发的情况下，对于其他机器视觉系统不会产生对抗效果，因而很难被他人发现，降低了布置对抗补丁的难度。

(4)本发明方法提出的对抗补丁，直接在摄像头部分注入模糊噪声，从而可以实现常见对抗补丁不具备的目标系统选择能力，具有更强的灵活性，为图像对抗样本的构造提供了新的思路，为机器学习安全分析与防护提供了新的指导。

(5)本发明方法构造的声波可触发对抗补丁，相比于现有基于数字域的图像对抗补丁构造方法，在真实物理世界中具有更强的实时操纵性；相比于现有基于物理域的纯模糊图像对抗样本构造方法，本发明方法借助对抗补丁极大降低了对于模糊噪声的操纵要求，具有更强的通用性和可行性。

(6)本发明方法新颖地提出了可触发对抗补丁的概念，打破了目前对抗补丁都是贴纸式、半永久的常规认知。本发明方法利用声波信号使防抖相机产生的模糊噪声，注意到了对抗补丁被模糊噪声触发前后的状态差异，构造出了一组互补的对抗损失函数，巧妙地利用对抗补丁训练的过程在对抗补丁中嵌入了一个特定的模糊触发器。

附图说明

图1是本发明方法的流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施此发明，下面结合附图及实施例对本发明作进一步的详细阐述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明实施例的方法流程，如图1所示。

本发明的基于声波触发的可触发对抗补丁生成方法，包括以下步骤：

1)使用信号发生装置驱动扬声器，使扬声器发出一定频率的声波信号，向防抖相机的惯性传感器注入该声波信号。相机应处于预览或拍摄模式，使用者可以看到所拍摄的画面。将信号发生装置设置为扫频模式，同时观察相机所拍摄画面的变化，当声波的频率抵达惯性传感器的共振频率时，画面会出现抖动现象，此时记录下该频段。在完成扫频阶段后，使用者应获取到一个或多个可以产生模糊的频段，通常会从造成画面模糊程度最强的频段中选择一个频率。

2)使用步骤1)中确定的频率发射声波信号，调整信号幅值，所造成的模糊噪声只需要人眼可察觉即可。保持同一画面下，拍摄两组图像，分别为声波注入前的清晰图像以及声波注入后的模糊图像，它们将用于模糊噪声的特征提取。

3)使用步骤2)中获取到的清晰-模糊图像对，根据补丁所要布置的位置，截取相同区域位置的图像块，这一步起到两个目的，一是缩小优化的计算量，二是对模糊噪声进行了局部线性化。使用梯度下降算法优化出模糊噪声所对应的点扩散函数，进一步地，提取点扩散函数的线性特征，包括x轴与y轴的模糊程度，所述线性特征也可以用极坐标形式表示，即模糊的强弱与方向。

4)使用步骤3)中得到的线性模糊参数构造正向模糊触发器，使用静止状态下的线性模糊参数构造负向模糊触发器，正向触发器代表在这一模糊下对抗补丁会被触发，负向触发器代表在这一模糊下对抗补丁不会被触发，这两者共同构成了可触发对抗补丁的实现目标。正向模糊触发器和负向模糊触发器分别使用正向对抗损失和负向对抗损失作为优化函数，正向损失旨在使得目标机器视觉系统以尽可能高的置信度预测目标类别或物体，负向损失旨在让目标机器视觉系统忽略补丁的存在，将其视为背景，以增强隐蔽性，两者构成互补损失函数。指定对抗补丁的尺寸与形状，并且设定对抗补丁所要实现的具体对抗效果，使用随机初始化对抗补丁。使用标准图像数据集(符合目标机器视觉系统的识别范畴)中的图像作为优化过程中的背景，随机放置待优化的对抗补丁，使用构造的互补损失函数进行对抗补丁优化，最终获得一个可触发对抗补丁。使用打印设备将生成的可触发对抗补丁打印在纸制品上，摆放或张贴于目标相机可捕获的视野范围内。

最后是可触发对抗补丁的实际使用步骤：

在注入信号前，可触发的对抗补丁已经被布置于画面中，此时的背景是任意挑选的，无需和步骤2)中保持一致，对抗补丁不被触发的情况下，不会影响目标机器视觉系统，保持功能上的隐蔽性。使用步骤2)中确定的共振频率和信号幅度向惯性传感器发射声波信号，使相机拍摄的图像产生与步骤2)中观察所得相同或相近的图像模糊噪声，步骤4)布置的对抗补丁被触发，产生对抗效果，即使得以相机拍摄的模糊图像作为输入的目标机器视觉系统出现对抗补丁设计时指定的识别错误。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以作出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应该以所附权利要求为准。

Claims (5)

1.一种基于声波触发的可触发对抗补丁生成方法，其特征在于，该方法包括以下步骤：

1)对防抖相机的惯性传感器进行声波信号扫频，通过观察相机画面得到传感器的共振频率；

2)针对步骤1)获取到的共振频率，调整信号幅度，使相机拍摄的画面出现模糊噪声，并记录该信号幅度；

3)根据静止的清晰图像与步骤2)中拍摄到的模糊图像，获取当前画面某一局部的点扩散函数，进而提取点扩散函数的线性特征，最终获得一组线性模糊参数；

4)利用步骤3)获取的线性模糊参数，使用以互补损失函数为优化目标的对抗补丁生成方法，生成一个可触发的对抗补丁；

所述步骤4)中，以互补损失函数为优化目标的对抗补丁生成方法，具体包括以下步骤：

(1)使用步骤3)中得到的线性模糊参数构造正向模糊触发器，使用静止状态下的线性模糊参数构造负向模糊触发器；

(2)对步骤(1)中所述的正向模糊触发器和负向模糊触发器分别使用正向对抗损失和负向对抗损失作为优化函数，两者共同构成互补损失函数；

(3)指定对抗补丁的尺寸与形状，并且设定对抗补丁所要实现的具体对抗效果，使用随机像素值初始化对抗补丁；

(4)以标准图像数据集中的图像作为优化过程中的背景，将待优化的对抗补丁随机放置到所述背景中，使用步骤(2)中的互补损失函数进行对抗补丁优化，最终获得一个可触发对抗补丁。

2.根据权利要求1所述的基于声波触发的可触发对抗补丁生成方法，其特征在于，步骤1)中，所述的声波信号扫频过程包括以下步骤：

(1)使用信号发生器驱动超声波扬声器发出声波信号，声波信号指向防抖相机的惯性传感器所在位置；

(2)不断调整发出声波信号的频率，同时人眼观察画面是否出现抖动；

(3)在观察到抖动后记录下当前频段作为备选频段，在找到所有可产生抖动的频段后，选择抖动程度最强的一个频段，从中挑选一个频率作为确定的共振频率。

3.根据权利要求1所述的基于声波触发的可触发对抗补丁生成方法，其特征在于，所述步骤3)具体包括以下步骤：

(1)保持在相同画面下，获取声波注入前的清晰图像以及声波注入后的模糊图像；

(2)根据对抗补丁实际布置位置，选择其对应的图像位置，从步骤(1)中所述的清晰图像和模糊图像中分别截取对应的图像块，使用梯度下降方法，优化出对应的点扩散函数；

(3)提取步骤(2)中获得的点扩散函数的线性特征，所述线性特征为：x轴与y轴的模糊程度，或者极坐标形式下模糊的强弱与方向。

4.根据权利要求1所述的基于声波触发的可触发对抗补丁生成方法，其特征在于，采用可触发的对抗补丁生成图像对抗样本，方法为：使用步骤2)中所述的共振频率和信号幅度，通过声波的方式注入惯性传感器，使相机画面产生相同的模糊噪声，该模糊噪声将触发步骤4)中获得的对抗补丁，进而产生针对目标机器视觉系统的图像对抗样本。

5.根据权利要求4所述的基于声波触发的可触发对抗补丁生成方法，其特征在于，所述采用可触发的对抗补丁生成图像对抗样本的方法，具体包括以下步骤：

(1)在注入信号前，可触发的对抗补丁已经被布置于相机画面中；

(2)使用步骤2)中确定的共振频率和信号幅度向惯性传感器发射声波信号，使相机画面产生与步骤2)中观察所得相同或相近的图像模糊噪声；

(3)在(2)所述的图像模糊噪声下，步骤(1)中布置的对抗补丁被触发，产生对抗效果，使得目标机器视觉系统出现识别错误。

Images