CN112333402B - 一种基于声波的图像对抗样本生成方法及系统 - Google Patents

一种基于声波的图像对抗样本生成方法及系统 Download PDF

Info

Publication number
CN112333402B
CN112333402B CN202011124293.6A CN202011124293A CN112333402B CN 112333402 B CN112333402 B CN 112333402B CN 202011124293 A CN202011124293 A CN 202011124293A CN 112333402 B CN112333402 B CN 112333402B
Authority
CN
China
Prior art keywords
image
sample
target object
countermeasure
false
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011124293.6A
Other languages
English (en)
Other versions
CN112333402A (zh
Inventor
冀晓宇
徐文渊
程雨诗
张月鹏
王凯
闫琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202011124293.6A priority Critical patent/CN112333402B/zh
Publication of CN112333402A publication Critical patent/CN112333402A/zh
Priority to PCT/CN2021/124791 priority patent/WO2022083599A1/zh
Application granted granted Critical
Publication of CN112333402B publication Critical patent/CN112333402B/zh
Priority to US17/702,662 priority patent/US20220215652A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7796—Active pattern-learning, e.g. online learning of image or video features based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time

Abstract

本发明公开了一种基于声波的图像对抗样本生成方法及系统，该方法利用现有机器视觉系统中惯性传感器和深度学习算法的脆弱性，创新性地提出使用声波构造适用于物理世界的图像对抗样本，从而欺骗机器视觉系统。相比于现有基于数字域的图像对抗样本构造方法，本发明方法构造的图像对抗样本在真实物理世界中具有更强的适用性；相比于现有基于物理域的图像对抗样本构造方法，本发明方法无需修改物体的外表或向摄像头中注入光线，具有更好的隐蔽性。

Description

一种基于声波的图像对抗样本生成方法及系统
技术领域
本发明属于人工智能领域，涉及一种基于声波的图像对抗样本生成方法及系统。
背景技术
随着人工智能技术的不断发展，机器视觉在现代智能系统中广泛应用，如智能机器人，自动驾驶汽车等。机器视觉利用摄像头拍摄智能系统周围环境信息，并使用深度学习算法对图像中包含的物体进行检测和识别，从而达到感知环境的目的。由于机器视觉的感知结果通常作为智能系统后续决策的信息来源，机器视觉感知结果的安全性至关重要。
近些年来，针对图像对抗样本的研究日益增多。图像对抗样本指的是可以干扰机器视觉感知结果的样本，研究图像对抗样本对保障机器系统以及智能系统的安全性具有重要指导意义。当前，针对图像对抗样本的研究主要集中于数字域，即直接修改数字图像的像素值来构造图像对抗样本。尽管该方法构造的图像对抗样本通常具有较好的对抗效果，但在实际系统中较难应用。此外，当前也存在基于物理域的图像对抗样本的构造方法，但通常需要修改目标物体的外表或向摄像头中注入光线，因此隐蔽性欠佳。本发明提出一种基于声波的图像对抗样本生成方法及系统，该种方法具有较好的实用性和隐蔽性，为图像对抗样本的构造提供了新的思路，为机器学习安全分析与防护提供了新的指导。
发明内容
本发明提供一种基于声波的图像对抗样本生成方法及系统，该方法使用声波影响机器视觉系统中的惯性传感器读数，引起图像防抖模块错误补偿，造成图像模糊，从而构造三种不同类型的图像对抗样本。
本发明的采用以下技术方案实现：
一种基于声波的图像对抗样本生成方法，包括以下步骤：
1)获取包含目标物体或目标场景的图片；
2)针对步骤1)获取的图片，使用声波对抗样本仿真模型，生成对目标机器视觉系统中深度学习算法具有对抗作用的仿真图像样本。该步骤具体包括以下三个步骤：
(1)虚假摄像头运动建模。现代机器视觉系统使用摄像头拍摄目标物体或场景，然后使用深度学习算法对图片进行处理，从而实现对周围环境的感知或目标检测等。为了提高感知和检测的准确率，现代机器视觉系统使用图像防抖进行补偿，从而降低由于摄像头抖动带来的图像模糊。由于图像防抖通常使用惯性传感器，即加速度计和陀螺仪，来估计摄像头的运动，且声波攻击可以对惯性传感器造成影响，使其读数改变，因此对于一个稳定的摄像头，声波攻击可以导致图像防抖进行错误补偿，从而反向导致图片模糊。假设由于声波攻击造成的虚假惯性传感器读数为Mf＝{ax，ay，az，ωr，ωp，ωy}，其中ax，ay，az分别为加速度计x，y，z轴的虚假加速度读数，ωr，ωp，ωy分别为陀螺仪roll，pitch，yaw轴的虚假角速度读数。假设图像防抖模块可以进行完全的补偿，此时，由于声波攻击导致的虚假摄像头运动为Mc＝{-ax，-ay，-az，-ωr，-ωp，-ωy}。本发明主要考虑从以上六个维度中的加速度计x，y，z轴和陀螺仪roll轴这四个维度来构建声波对抗样本仿真模型。
(2)像素运动建模。虚假摄像头运动将导致目标物体或场景的成像位置不同，从而导致输出图片中像素发生运动。
针对加速度计x轴维度，对于图片中任意像素点，虚假摄像头运动-ax将在成像过程中造成相反方向
Figure BDA0002733082400000021
的像素位移，其中f为摄像头焦距，u为目标物体或目标场景物距，T为摄像头曝光时间；
针对加速度计y轴维度，对于图片中任意像素点，虚假摄像头运动-ay将在成像过程中造成相反方向
Figure BDA0002733082400000022
的像素位移；
针对加速度计z轴维度，对于图片中的任意像素点，虚假摄像头运动-az将在成像过程中造成该像素点朝远离画面中心方向
Figure BDA0002733082400000023
的位移，其中ro为该像素点与画面中心的距离；
针对陀螺仪roll轴维度，对于图片中的任意像素点，虚假摄像头运动-ωr将在成像过程中造成该像素点朝相反方向ωrTrc的位移，其中rc为该像素点与角速度旋转中心的距离。
(3)图像模糊建模。成像过程中的像素运动将导致图像模糊。特别地，加速度计x轴和y轴维度的虚假摄像头运动，造成线性像素运动，导致线性图像模糊；加速度计z轴维度的虚假摄像头运动，造成径向像素运动，导致径向图像模糊；陀螺仪roll轴维度的虚假摄像头运动，造成旋转像素运动，导致旋转图像模糊。为上述模糊构建统一的图像模糊模型如下：
Figure BDA0002733082400000024
[i′(k),j′(k)]T＝[u(k),v(k)]T+[i,j]T
Figure BDA0002733082400000031
Figure BDA0002733082400000032
β＝ωrT
Figure BDA0002733082400000033
Figure BDA0002733082400000034
rc＝‖(i,j),(c0,c1)‖2
ro＝‖(i,j),(o0,o1)‖2
其中，X为原始图像，B为模糊后图像，(i,j)为像素点坐标，B(i,j)为模糊后图像中坐标为(i,j)的像素点，n为离散点数，(c0,c1)为图像中心坐标，(o0,o1)为旋转中心坐标。使用上述模型，可以获得在不同对抗参数下的仿真对抗图像样本。
3)使用对抗样本优化方法优化步骤2)生成的仿真图像样本，获得最优的对抗样本以及对应的对抗参数。该步骤主要包括以下两个模块：
(1)优化函数设计。针对不同类型的对抗图像样本，本发明设计不同的优化函数。本发明考虑三种具有不同效果的对抗图像样本。第一种为具有隐藏效果的对抗图像样本，该类样本可以使得深度学习算法无法识别目标物体；第二种为具有创造效果的对抗图像样本，该类样本可以在当前图像中创造一个可被深度学习算法检测的目标物体；第三种为具有改变效果的对抗图像样本，该类样本可以使得深度学习算法将目标物体检测为其他物体。
针对具有隐藏效果的对抗图像样本，其优化函数为：
Figure BDA0002733082400000035
s.t.|ax+ay+az|<ε1
|ωr|<ε2
其中，p为目标物体的编号，
Figure BDA0002733082400000036
为深度学习算法输出的目标物体区域检测置信度，
Figure BDA0002733082400000037
为深度学习算法输出的目标物体类别检测置信度，w1和w2为平衡对抗图像样本有效性和样本生成成本的权重值，ε1和ε2为声波对加速度计和陀螺仪读数影响的上限；
针对具有创造效果的对抗图像样本，其优化函数为：
Figure BDA0002733082400000041
s.t.|ax+ay+az|＜ε1
|ωr|＜ε2
其中，o为待创造的目标物体的编号，Co＝T为待创造的目标物体的类别，
Figure BDA0002733082400000042
为深度学习算法输出的待创造目标物体区域检测置信度，
Figure BDA0002733082400000043
为深度学习算法输出的待创造目标物体类别检测置信度，p为图像中已有物体的编号，m为图像中已有物体的数量，Uop为待创造物体O的区域与已有物体p的区域的交并比，w3和w4为平衡对抗图像样本有效性和样本生成成本的权重值，ε1和ε2为声波对加速度计和陀螺仪读数影响的上限；
针对具有改变效果的对抗图像样本，其优化函数为：
Figure BDA0002733082400000044
s.t.|ax+ay+az|＜ε1
|ωr|＜ε2
其中，p为目标物体的编号，
Figure BDA0002733082400000045
为深度学习算法输出的修改后的目标物体区域检测置信度，
Figure BDA0002733082400000046
为深度学习算法输出的修改后的目标物体类别检测置信度，Cp′＝T为修改后的目标物体的类别，Upp′为修改前目标物体p的区域与修改后目标物体p′的区域的交并比，w5和w6为平衡对抗图像样本有效性和样本生成成本的权重值，ε1和ε2为声波对加速度计和陀螺仪读数影响的上限。
(2)优化函数求解。针对上述优化函数，使用贝叶斯优化法求解最佳对抗参数。
4)使用惯性传感器读数注入方法，将上述得到的对抗参数，通过声波的方式注入到目标机器视觉系统的惯性传感器中，使其成为传感器读数，该读数将引起目标机器视觉系统中的图像防抖模块工作，在生成的真实图片中产生特定的模糊图案，从而生成物理世界中的图像对抗样本。所述的惯性传感器注入方法包括以下三个步骤：
(1)通过频率扫描，找到目标机器视觉系统中惯性传感器的共振频率；
(2)通过调整声波共振频率，在模电转换器中引入直流分量，稳定传感器输出；
(3)通过调幅调制，对传感器输出波形进行整形，使得传感器读数逼近对抗参数。
通过以上四个步骤，可以将针对目标对象的最优对抗参数，通过声波的方式注入到目标机器视觉系统的惯性传感器中，使其成为传感器读数，该读数将引起目标机器视觉系统中的图像防抖模块工作，在生成的真实图片中产生特定的模糊图案，从而生成物理世界中的图像对抗样本。
本发明还提供一种基于声波的图像对抗样本生成系统，该系统包括声波对抗仿真模块、对抗样本优化模块、传感器读数注入模块；
所述的声波对抗仿真模块用于虚假摄像头运动建模、像素运动建模和图像模糊建模；
所述的对抗样本优化模块用于优化函数设计和优化函数求解；
所述的传感器读数注入模块用于共振频率搜索、虚假读数稳定、虚假读数整形；
该系统采用上述方法实现基于声波的图像对抗样本的生成。
本发明的有益效果是：
本发明提出一种基于声波的图像对抗样本生成方法，相比于现有对抗样本构造方法，本发明方法具有较好的实用性和隐蔽性，为图像对抗样本的构造提供了新的思路，为机器学习安全分析与防护提供了新的指导。
附图说明
图1是本发明实施例的方法流程图。
具体实施方式
下面结合实施例和说明书附图对本发明做进一步说明。
本发明实施例的方法流程，如图1所示。
本发明的基于声波的图像对抗样本生成方法，包括以下步骤：
1)获取包含目标物体或目标场景的图片；
2)针对上述图片，使用声波对抗样本仿真模型，生成对目标机器视觉系统中深度学习算法具有对抗作用的仿真图像样本，具体包括以下三个步骤：
(1)虚假摄像头运动建模。现代机器视觉系统使用摄像头拍摄目标物体或场景，然后使用深度学习算法对图片进行处理，从而实现对周围环境的感知或目标检测等。为了提高感知和检测的准确率，现代机器视觉系统使用图像防抖进行补偿，从而降低由于摄像头抖动带来的图像模糊。由于图像防抖通常使用惯性传感器，即加速度计和陀螺仪，来估计摄像头的运动，且声波攻击可以对惯性传感器造成影响，使其读数改变，因此对于一个稳定的摄像头，声波攻击可以导致图像防抖进行错误补偿，从而反向导致图片模糊。假设由于声波攻击造成的虚假惯性传感器读数为Mf＝{ax,ay,az,ωr,ωp,ωy}，其中ax,ay,az分别为加速度计x,y,z轴的虚假加速度读数，ωr,ωp,ωy分别为陀螺仪roll,pitch,yaw轴的虚假角速度读数。假设图像防抖模块可以进行完全的补偿，此时，由于声波攻击导致的虚假摄像头运动为Mc＝{-ax，-ay，-az，-ωr，-ωp，-ωy}。本发明主要考虑从以上六个维度中的加速度计x，y，z轴和陀螺仪roll轴这四个维度来构建声波对抗样本仿真模型。
(2)像素运动建模。虚假摄像头运动将导致目标物体或场景的成像位置不同，从而导致输出图片中像素发生运动。
针对加速度计x轴维度，对于图片中任意像素点，虚假摄像头运动-ax将在成像过程中造成相反方向
Figure BDA0002733082400000061
的像素位移，其中f为摄像头焦距，u为目标物体或目标场景物距，T为摄像头曝光时间；
针对加速度计y轴维度，对于图片中任意像素点，虚假摄像头运动-ay将在成像过程中造成相反方向
Figure BDA0002733082400000062
的像素位移；
针对加速度计z轴维度，对于图片中的任意像素点，虚假摄像头运动-az将在成像过程中造成该像素点朝远离画面中心方向
Figure BDA0002733082400000063
的位移，其中ro为该像素点与画面中心的距离；
针对陀螺仪roll轴维度，对于图片中的任意像素点，虚假摄像头运动-ωr将在成像过程中造成该像素点朝相反方向ωrTrc的位移，其中rc为该像素点与角速度旋转中心的距离。
(3)图像模糊建模。成像过程中的像素运动将导致图像模糊。特别地，加速度计x轴和y轴维度的虚假摄像头运动，造成线性像素运动，导致线性图像模糊；加速度计z轴维度的虚假摄像头运动，造成径向像素运动，导致径向图像模糊；陀螺仪roll轴维度的虚假摄像头运动，造成旋转像素运动，导致旋转图像模糊。为上述模糊构建统一的图像模糊模型如下：
Figure BDA0002733082400000064
[i′(k)，j′(k)]T＝[u(k)，v(k)]T+[i，j]T
Figure BDA0002733082400000065
Figure BDA0002733082400000066
β＝ωrT
Figure BDA0002733082400000067
Figure BDA0002733082400000071
rc＝||(i，j)，(c0，c1)||2
ro＝||(i，j)，(o0，o1)||2
其中，X为原始图像，B为模糊后图像，(i.j)为像素点坐标，B(i.j)为模糊后图像中坐标为(i.j)的像素点，n为离散点数，(c0，c1)为图像中心坐标，(o0，o1)为旋转中心坐标。使用上述模型，可以获得在不同对抗参数下的仿真对抗图像样本。
3)使用对抗样本优化方法优化上述仿真图像样本，获得最优的对抗样本以及对应的对抗参数，主要包括以下两个步骤：
(1)优化函数设计。针对不同类型的对抗图像样本，本发明设计不同的优化函数。本发明考虑三种具有不同效果的对抗图像样本。第一种为具有隐藏效果的对抗图像样本，该类样本可以使得深度学习算法无法识别目标物体；第二种为具有创造效果的对抗图像样本，该类样本可以在当前图像中创造一个可被深度学习算法检测的目标物体；第三种为具有改变效果的对抗图像样本，该类样本可以使得深度学习算法将目标物体检测为其他物体。
针对具有隐藏效果的对抗图像样本，其优化函数为：
Figure BDA0002733082400000072
s.t.|ax+ay+az|＜ε1
|ωr|＜ε2
其中，p为目标物体的编号，
Figure BDA0002733082400000073
为深度学习算法输出的目标物体区域检测置信度，
Figure BDA0002733082400000074
为深度学习算法输出的目标物体类别检测置信度，w1和w2为平衡对抗图像样本有效性和样本生成成本的权重值，ε1和ε2为声波对加速度计和陀螺仪读数影响的上限；
针对具有创造效果的对抗图像样本，其优化函数为：
Figure BDA0002733082400000075
s.t.|ax+ay+az|＜ε1
|ωr|＜ε2
其中，o为待创造的目标物体的编号，Co＝T为待创造的目标物体的类别，
Figure BDA0002733082400000076
为深度学习算法输出的待创造目标物体区域检测置信度，
Figure BDA0002733082400000077
为深度学习算法输出的待创造目标物体类别检测置信度，p为图像中已有物体的编号，m为图像中已有物体的数量，Uop为待创造物体o的区域与已有物体p的区域的交并比，w3和w4为平衡对抗图像样本有效性和样本生成成本的权重值，ε1和ε2为声波对加速度计和陀螺仪读数影响的上限；
针对具有改变效果的对抗图像样本，其优化函数为：
Figure BDA0002733082400000081
s.t.|ax+ay+az|＜ε1
|ωr|＜ε2
其中，p为目标物体的编号，
Figure BDA0002733082400000082
为深度学习算法输出的修改后的目标物体区域检测置信度，
Figure BDA0002733082400000083
为深度学习算法输出的修改后的目标物体类别检测置信度，Cp′＝T为修改后的目标物体的类别，Upp′为修改前目标物体p的区域与修改后目标物体p′的区域的交并比，w5和w6为平衡对抗图像样本有效性和样本生成成本的权重值，ε1和ε2为声波对加速度计和陀螺仪读数影响的上限。
(2)优化函数求解。针对上述优化函数，使用贝叶斯优化法求解最佳对抗参数。
4)使用惯性传感器读数注入方法，将上述得到的对抗参数，通过声波的方式注入到目标机器视觉系统的惯性传感器中，使其成为传感器读数，该读数将引起目标机器视觉系统中的图像防抖模块工作，在生成的真实图片中产生特定的模糊图案，从而生成物理世界中的图像对抗样本。惯性传感器读数注入方法包括以下三个步骤：
(1)通过频率扫描，找到目标机器视觉系统中惯性传感器的共振频率；
(2)通过调整声波共振频率，在模电转换器中引入直流分量，稳定传感器输出；
(3)通过调幅调制，对传感器输出波形进行整形，使得传感器读数逼近对抗参数。
通过以上四个步骤，可以将针对目标对象的最优对抗参数，通过声波的方式注入到目标机器视觉系统的惯性传感器中，使其成为传感器读数，该读数将引起目标机器视觉系统中的图像防抖模块工作，在生成的真实图片中产生特定的模糊图案，从而生成物理世界中的图像对抗样本。

Claims (4)

1.一种基于声波的图像对抗样本生成方法，其特征在于，该方法包括以下步骤：
1)获取包含目标物体或目标场景的图片；
2)针对步骤1)获取的图片，使用声波对抗样本仿真模型，生成对目标机器视觉系统中深度学习算法具有对抗作用的仿真图像样本；
3)使用对抗样本优化方法优化步骤2)生成的仿真图像样本，获得最优的对抗样本以及对应的对抗参数；
4)使用惯性传感器读数注入方法，将上述得到的对抗参数，通过声波的方式注入到目标机器视觉系统的惯性传感器中，使其成为传感器读数，该读数将引起目标机器视觉系统中的图像防抖模块工作，在生成的真实图片中产生特定的模糊图案，从而生成物理世界中的图像对抗样本；
步骤2)中，所述的声波对抗样本仿真模型的构建包括以下步骤：
(1)虚假摄像头运动建模；假设由于声波攻击造成的虚假惯性传感器读数为Mf＝{ax，ay，az，ωr，ωp，ωy}，其中ax，ay，az分别为加速度计x，y，z轴的虚假加速度读数，ωr，ωp，ωy分别为陀螺仪roll，pitch，yaw轴的虚假角速度读数；假设图像防抖模块可以进行完全的补偿，此时，由于声波攻击导致的虚假摄像头运动为Mc＝{-αx，-ay，-αz，-ωr，-ωp，-ωy}；从以上六个维度中的加速度计x，y，z轴和陀螺仪roll轴这四个维度来构建声波对抗样本仿真模型；
(2)像素运动建模；虚假摄像头运动将导致目标物体或场景的成像位置不同，从而导致输出图片中像素发生运动；
针对加速度计x轴维度，对于图片中任意像素点，虚假摄像头运动-αx将在成像过程中造成相反方向
Figure FDA0003155335450000011
的像素位移，其中f为摄像头焦距，u为目标物体或目标场景物距，T为摄像头曝光时间；
针对加速度计y轴维度，对于图片中任意像素点，虚假摄像头运动-ay将在成像过程中造成相反方向
Figure FDA0003155335450000012
的像素位移；
针对加速度计z轴维度，对于图片中的任意像素点，虚假摄像头运动-αz将在成像过程中造成该像素点朝远离画面中心方向
Figure FDA0003155335450000013
的位移，其中ro为该像素点与画面中心的距离；
针对陀螺仪roll轴维度，对于图片中的任意像素点，虚假摄像头运动-ωr将在成像过程中造成该像素点朝相反方向ωrTrc的位移，其中rc为该像素点与角速度旋转中心的距离；
(3)图像模糊建模；成像过程中的像素运动将导致图像模糊，加速度计x轴和y轴维度的虚假摄像头运动，造成线性像素运动，导致线性图像模糊；加速度计z轴维度的虚假摄像头运动，造成径向像素运动，导致径向图像模糊；陀螺仪roll轴维度的虚假摄像头运动，造成旋转像素运动，导致旋转图像模糊；为上述模糊构建统一的图像模糊模型如下：
Figure FDA0003155335450000021
[i′(k)，j′(k)]T＝[w(k)，v(k)]T+[i，j]T
Figure FDA0003155335450000022
Figure FDA0003155335450000023
β＝ωrT
Figure FDA0003155335450000024
Figure FDA0003155335450000025
rc＝||(i，j)，(c0，c1)||2
ro＝||(i，j)，(o0，o1)||2
其中，X为原始图像，B为模糊后图像，(i，j)为像素点坐标，B(i，j)为模糊后图像中坐标为(i，j)的像素点，n为离散点数，(c0，c1)为图像中心坐标，(o0，o1)为旋转中心坐标；
使用上述模型，可以获得不同对抗参数下的仿真图像样本。
2.根据权利要求1所述的基于声波的图像对抗样本生成方法，其特征在于，步骤3)中，所述的使用对抗样本优化方法优化步骤2)生成的仿真图像样本包括以下步骤：
(1)优化函数设计，针对不同类型的对抗图像样本，设计不同的优化函数；考虑三种具有不同效果的对抗图像样本：第一种为具有隐藏效果的对抗图像样本，该类样本可以使得深度学习算法无法识别目标物体；第二种为具有创造效果的对抗图像样本，该类样本可以在当前图像中创造一个可被深度学习算法检测的目标物体；第三种为具有改变效果的对抗图像样本，该类样本可以使得深度学习算法将目标物体检测为其他物体；
针对具有隐藏效果的对抗图像样本，其优化函数为：
Figure FDA0003155335450000031
s.t.|ax+ay+az|＜ε1
|ωr|＜ε2
其中，p为目标物体的编号，
Figure FDA0003155335450000032
为深度学习算法输出的目标物体区域检测置信度，
Figure FDA0003155335450000033
为深度学习算法输出的目标物体类别检测置信度，w1和w2为平衡对抗图像样本有效性和样本生成成本的权重值，ε1和ε2为声波对加速度计和陀螺仪读数影响的上限；
针对具有创造效果的对抗图像样本，其优化函数为：
Figure FDA0003155335450000034
s.t.|ax+ay+az|＜ε1
|ωr|＜ε2
其中，o为待创造的目标物体的编号，Co＝T为待创造的目标物体的类别，
Figure FDA0003155335450000035
为深度学习算法输出的待创造目标物体区域检测置信度，
Figure FDA0003155335450000036
为深度学习算法输出的待创造目标物体类别检测置信度，p为图像中已有物体的编号，m为图像中已有物体的数量，Uop为待创造物体o的区域与已有物体p的区域的交并比，w3和w4为平衡对抗图像样本有效性和样本生成成本的权重值，ε1和ε2为声波对加速度计和陀螺仪读数影响的上限；
针对具有改变效果的对抗图像样本，其优化函数为：
Figure FDA0003155335450000037
s.t.|ax+ay+az|＜ε1
|ωr|＜ε2
其中，p为目标物体的编号，
Figure FDA0003155335450000038
为深度学习算法输出的修改后的目标物体区域检测置信度，
Figure FDA0003155335450000039
为深度学习算法输出的修改后的目标物体类别检测置信度，Cp′＝T为修改后的目标物体的类别，Upp′为修改前目标物体p的区域与修改后目标物体p′的区域的交并比，w5和w6为平衡对抗图像样本有效性和样本生成成本的权重值，ε1和ε2为声波对加速度计和陀螺仪读数影响的上限；
(2)优化函数求解，针对上述优化函数，使用贝叶斯优化法求解最佳对抗参数。
3.根据权利要求1所述的基于声波的图像对抗样本生成方法，其特征在于，步骤4)中，所述的惯性传感器注入方法包括以下步骤：
(1)通过频率扫描，找到目标机器视觉系统中惯性传感器的共振频率；
(2)通过调整声波共振频率，在模电转换器中引入直流分量，稳定传感器输出；
(3)通过调幅调制，对传感器输出波形进行整形，使得传感器读数逼近对抗参数。
4.一种基于声波的图像对抗样本生成系统，其特征在于，该系统包括声波对抗仿真模块、对抗样本优化模块、传感器读数注入模块；
所述的声波对抗仿真模块用于虚假摄像头运动建模、像素运动建模和图像模糊建模；
所述的对抗样本优化模块用于优化函数设计和优化函数求解；
所述的传感器读数注入模块用于共振频率搜索、虚假读数稳定、虚假读数整形；
该系统采用如权利要求1-3任一项所述的方法实现基于声波的图像对抗样本的生成。
CN202011124293.6A 2020-10-20 2020-10-20 一种基于声波的图像对抗样本生成方法及系统 Active CN112333402B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011124293.6A CN112333402B (zh) 2020-10-20 2020-10-20 一种基于声波的图像对抗样本生成方法及系统
PCT/CN2021/124791 WO2022083599A1 (zh) 2020-10-20 2021-10-19 基于声波的图像对抗样本生成方法及系统
US17/702,662 US20220215652A1 (en) 2020-10-20 2022-03-23 Method and system for generating image adversarial examples based on an acoustic wave

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011124293.6A CN112333402B (zh) 2020-10-20 2020-10-20 一种基于声波的图像对抗样本生成方法及系统

Publications (2)

Publication Number Publication Date
CN112333402A CN112333402A (zh) 2021-02-05
CN112333402B true CN112333402B (zh) 2021-10-22

Family

ID=74310708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011124293.6A Active CN112333402B (zh) 2020-10-20 2020-10-20 一种基于声波的图像对抗样本生成方法及系统

Country Status (3)

Country Link
US (1) US20220215652A1 (zh)
CN (1) CN112333402B (zh)
WO (1) WO2022083599A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022001241A1 (de) 2022-04-12 2023-10-12 Mercedes-Benz Group AG Verfahren zum Betrieb eines Fahrzeugs

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112333402B (zh) * 2020-10-20 2021-10-22 浙江大学 一种基于声波的图像对抗样本生成方法及系统
CN114363509B (zh) * 2021-12-07 2022-09-20 浙江大学 一种基于声波触发的可触发对抗补丁生成方法
DE102022001731B4 (de) 2022-05-17 2024-01-18 Mercedes-Benz Group AG Sensorvorrichtung mit einem optischen Sensor, einem Beschleunigungssensor und einem Resonator und Kraftfahrzeug mit einer solchen Sensorvorrichtung
CN115081643B (zh) * 2022-07-20 2022-11-08 北京瑞莱智慧科技有限公司 对抗样本生成方法、相关装置及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680292A (zh) * 2020-06-10 2020-09-18 北京计算机技术及应用研究所 一种基于高隐蔽性通用扰动的对抗样本生成方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017201409A1 (en) * 2016-05-20 2017-11-23 The Regents Of The University Of Michigan Protecting motion sensors from acoustic injection attack
CN109471112A (zh) * 2018-10-10 2019-03-15 浙江大学 一种可抗声波干扰的超声波测距传感器及其测距方法
US11609352B2 (en) * 2018-12-11 2023-03-21 ExxonMobil Technology and Engineering Company Machine learning-augmented geophysical inversion
CN109902709B (zh) * 2019-01-07 2020-12-08 浙江大学 一种基于对抗学习的工业控制系统恶意样本生成方法
CN111488895B (zh) * 2019-01-28 2024-01-30 北京达佳互联信息技术有限公司 对抗数据生成方法、装置、设备及存储介质
US20200272726A1 (en) * 2019-02-25 2020-08-27 Advanced Micro Devices, Inc. Method and apparatus for generating artificial intelligence resistant verification images
US11227215B2 (en) * 2019-03-08 2022-01-18 International Business Machines Corporation Quantifying vulnerabilities of deep learning computing systems to adversarial perturbations
CN109784424B (zh) * 2019-03-26 2021-02-09 腾讯科技（深圳）有限公司 一种图像分类模型训练的方法、图像处理的方法及装置
US10929719B2 (en) * 2019-03-28 2021-02-23 GM Global Technology Operations LLC Adversarial attack on black box object detection algorithm
CN110210573B (zh) * 2019-06-11 2023-01-06 腾讯科技（深圳）有限公司 对抗图像的生成方法、装置、终端及存储介质
CN110767216B (zh) * 2019-09-10 2021-12-07 浙江工业大学 一种基于pso算法的语音识别攻击防御方法
CN111143873A (zh) * 2019-12-13 2020-05-12 支付宝(杭州)信息技术有限公司 隐私数据处理方法、装置和终端设备
CN112333402B (zh) * 2020-10-20 2021-10-22 浙江大学 一种基于声波的图像对抗样本生成方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680292A (zh) * 2020-06-10 2020-09-18 北京计算机技术及应用研究所 一种基于高隐蔽性通用扰动的对抗样本生成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022001241A1 (de) 2022-04-12 2023-10-12 Mercedes-Benz Group AG Verfahren zum Betrieb eines Fahrzeugs

Also Published As

Publication number Publication date
WO2022083599A1 (zh) 2022-04-28
CN112333402A (zh) 2021-02-05
US20220215652A1 (en) 2022-07-07

Similar Documents

Publication Publication Date Title
CN112333402B (zh) 一种基于声波的图像对抗样本生成方法及系统
Lobo et al. Vision and inertial sensor cooperation using gravity as a vertical reference
Rambach et al. Learning to fuse: A deep learning approach to visual-inertial camera pose estimation
EP2214403B1 (en) Image processing device, photographing device, reproducing device, integrated circuit, and image processing method
CN106525074B (zh) 一种云台漂移的补偿方法、装置、云台和无人机
CN109029433A (zh) 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
US20230119687A1 (en) Multi-sensor handle controller hybrid tracking method and device
CN107223330A (zh) 一种深度信息获取方法、装置及图像采集设备
CN111353355B (zh) 动作追踪系统及方法
RU2002120799A (ru) Оценка пространственного положения наклоняющегося тела с использованием модифицированного кватернионного представления данных
CN105681674A (zh) 基于机械稳像和电子稳像的稳像方法及复合式稳像系统
CN109618103A (zh) 无人机图传视频的防抖方法及无人机
CN109255749A (zh) 自主和非自主平台中的地图构建优化
EP2851868A1 (en) 3D Reconstruction
CN112792821B (zh) 惯性辅助长曝光下的运动机器人视觉去模糊的方法及系统
CN110942470A (zh) 图像处理装置
CN114338994A (zh) 光学防抖方法、装置、电子设备和计算机可读存储介质
CN107942090B (zh) 一种基于模糊星图提取光流信息的航天器角速度估计方法
JP5214355B2 (ja) 車両走行軌跡観測システム、車両走行軌跡観測方法、およびそのプログラム
Rahman et al. Contour based reconstruction of underwater structures using sonar, visual, inertial, and depth sensor
Huttunen et al. A monocular camera gyroscope
CN110111390A (zh) 基于双目视觉光流跟踪的薄壁件全向振动测量方法及系统
Miyashita et al. 3D motion sensing of any object without prior knowledge
Baczyk et al. Visual simultaneous localisation and map-building supported by structured landmarks
US20220005225A1 (en) Systems and methods for calibrating imaging and spatial orientation sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant