CN115496973B - 一种基于分块域变换模拟技术的jpeg对抗样本生成方法 - Google Patents

一种基于分块域变换模拟技术的jpeg对抗样本生成方法 Download PDF

Info

Publication number
CN115496973B
CN115496973B CN202211440089.4A CN202211440089A CN115496973B CN 115496973 B CN115496973 B CN 115496973B CN 202211440089 A CN202211440089 A CN 202211440089A CN 115496973 B CN115496973 B CN 115496973B
Authority
CN
China
Prior art keywords
jpeg
block
noise
convolution
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211440089.4A
Other languages
English (en)
Other versions
CN115496973A (zh
Inventor
赵俊杰
吴俊凤
王金伟
戴跃伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202211440089.4A priority Critical patent/CN115496973B/zh
Publication of CN115496973A publication Critical patent/CN115496973A/zh
Application granted granted Critical
Publication of CN115496973B publication Critical patent/CN115496973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/648—Transmitting or storing the primary (additive or subtractive) colour signals; Compression thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开一种基于分块域变换模拟技术的JPEG对抗样本生成方法，所述对抗样本生成方法包括以下步骤：以分块域变换模拟技术为基础，利用卷积层构建JPEG解压缩模块、之后与原始卷积神经网络组合形成输入为JPEG流的新模型；获取该模型关于输入JPEG流的梯度信息；按照单步幅度构建对抗噪声；经过块间位置筛选和块内像素筛选步骤后确定对抗噪声嵌入位置，重复直至生成的JPEG流变为对抗样本。本发明JPEG对抗样本生成方法解决了数字图像对抗样本无法以有损压缩格式存储和传输的问题，通过以分块域变换模拟技术为基础构建JPEG解压缩模块，直接获取关于JPEG流的梯度信息，以广泛使用的JPEG图像格式生成对抗样本。

Description

一种基于分块域变换模拟技术的JPEG对抗样本生成方法
技术领域
本发明涉及数据图像处理技术领域，具体是一种基于分块域变换模拟技术的JPEG对抗样本生成方法。
背景技术
卷积神经网络的发展给图像分类、目标跟踪、语音识别等领域带来了革命性的技术变革。然而，由于卷积神经网络的使用门槛低，基于卷积神经网络的人工智能技术可实现全自动的无人识别-定位-狙击任务，给个人隐私和社会稳定带来了隐患。对抗样本可以在不影响人类视觉效果的前提下，引导卷积神经网络输出错误结果，这为非法使用的卷积神经网络提供了一种有效的抵御策略。
目前，对抗样本的生成方法主要专注于平衡对抗噪声的幅度和干扰效果。GoodFellow等人在发现对抗样本，并提出了可高效生成对抗样本的快速梯度符号法(Goodfellow, Ian J., Jonathon Shlens, and Christian Szegedy. "Explaining andharnessing adversarial examples." arXiv preprint arXiv:1412.6572 (2014))。目前为止，快速梯度符号法依然是速度最快的对抗样本生成方法之一。基本迭代法(Kurakin,Alexey, Ian J. Goodfellow, and Samy Bengio. "Adversarial examples in thephysical world." Artificial intelligence safety and security. Chapman andHall/CRC, 2018. 99-112)以快速梯度法为基础，分多个步骤实现添加对抗噪声，生成的对抗样本攻击成功率更高。相比于基本迭代法，投影梯度法(Madry, Aleksander, et al. "Towards deep learning models resistant to adversarial attacks." arXivpreprint arXiv:1706.06083 (2017))每次只添加极小的对抗噪声。为加快对抗样本的生成速度，投影梯度法在首次添加对抗噪声之前会在图像中添加一个随机噪声。投影梯度法是目前攻击强度最高的一阶攻击方法。Carlini等人分别使用L0、L2、L∞等范数距离限制每步添加噪声的幅度，从而提出了C&W方法(Carlini, Nicholas, and David Wagner. "Towards evaluating the robustness of neural networks." 2017 ieee symposium onsecurity and privacy (sp). Ieee, 2017)。C&W方法生成的对抗样本在对抗噪声幅度和攻击效果上均有着良好的表现。
上述的对抗样本生成方法都以生成无损的样本为目标。然而，对抗样本本身的对抗效果对于有损压缩是敏感的(Kurakin, Alexey, Ian J. Goodfellow, and SamyBengio. "Adversarial examples in the physical world." Artificial intelligencesafety and security. Chapman and Hall/CRC, 2018. 99-112)。为压缩节约存储资源及传输带宽，目前大多数的数字图像是有损压缩格式。而JPEG格式是一种常见的有损压缩图片格式。因此，提出一种基于分块域变换模拟技术的JPEG对抗样本生成方法。
发明内容
本发明的目的在于提供一种基于分块域变换模拟技术的JPEG对抗样本生成方法，解决了现有的对抗样本生成方法无法以有损压缩格式存储和传输的问题，通过以分块域变换模拟技术为基础构建JPEG解压缩模块，直接获取关于JPEG流的梯度信息，以广泛使用的JPEG图像格式生成了对抗样本。
本发明的目的可以通过以下技术方案实现：
一种基于分块域变换模拟技术的JPEG对抗样本生成方法，所述对抗样本生成方法包括以下步骤：
步骤一：以分块域变换模拟技术为基础，利用卷积层构建JPEG解压缩模块。
步骤二：将步骤一构建的JPEG解压缩模块与原始卷积神经网络组合形成输入为JPEG流的新模型。JPEG解压缩模块的输出为RGB图像，符合原始卷积神经网络的输入要求，JPEG图片能够在未解压缩状态下直接输入JPEG解压缩模块，再输入原始卷积神经网络。
步骤三：使用反向传播算法计算新模型关于输入的JPEG流的梯度信息，形成关于JPEG流的符号梯度。
步骤四：以JPEG图像8×8小块内梯度绝对值幅值的平均值为标准对块间梯度幅值进行排序，筛选待嵌入对抗噪声的小块。
步骤五：在每个已选定的小块内，按块内梯度幅值的大小排序，筛选绝对值最大的前n个像素点。
步骤六：在符号梯度的基础上乘以单步噪声幅值ε，依次与步骤四形成的块间掩膜和步骤五形成的块内掩膜做点乘运算，形成单步对抗噪声。
步骤七：将步骤六生成的单步对抗噪声用预设的最大噪声幅度E截断，并添加至输入的JPEG图片，生成新的样本。
步骤八：将步骤七生成的新样本重新输入新模型，检查是否是对抗样本，如果不是对抗样本，重复步骤三至步骤七，直至输出对抗样本。
进一步的，所述JPEG解压缩模块的构建方式包括：
（1）、构建域变换卷积层。
（2）、构建颜色变换卷积层。
（3）、依次组合乘法、域变换卷积层、取8位整数、颜色变换卷积层、取8位整数，形成JPEG解压缩模块。
进一步的，所述域变换卷积层的构建通过8×8的反离散余弦变换用矩阵乘法实现，如公式（1）所示：
Xb=Flatten(Xf)×Mt （1）
式中，Xb表示空间域的8×8图像块，Xf表示离散余弦域的图像块，Mt表示反离散余弦变换矩阵，Flatten表示摊平函数。
使用分块域变换技术实现反离散余弦变换，无偏置项的卷积层也是一种线性变换，通过搭建一个包括64个8×8尺寸卷积核、卷积步长为8的卷积层，使用Mt初始化该卷积核参数，并固定该卷积层参数，形成域变换卷积层ConvIDCT，使用ConvIDCT进行反离散余弦变换的过程如公式（2）所示：
Xb=ConvIDCT*Xf （2）
式中，*表示卷积运算。
进一步的，所述颜色变换卷积层的构建通过搭建一个包括3个1×1尺寸卷积核、卷积步长为1的卷积层，使用YCbCr到RGB颜色空间变换系数初始化该卷积核参数，并固定该卷积层参数，称为颜色变换卷积层，YCbCr到RGB颜色空间转换的方式如公式（3）所示：
Figure DEST_PATH_IMAGE001
（3）
其中，R、G、B、Y、Cb、Cr分别表示图像的R、G、B、Y、Cb、Cr颜色通道分量，由公式（3）中的系数组成的矩阵称为颜色空间变换矩阵。
进一步的，所述步骤四块间梯度幅值排序的具体步骤为：
（1）、对梯度值矩阵Mg取绝对值，得到|Mg|。
（2）、在每个8×8小块内，对|Mg|求和，得到∑|Mg|。
（3）、对∑|Mg|内的值从大到小进行排序，保存排序后的索引。
进一步的，所述筛选待嵌入小块的具体步骤为：
（1）初始化全为0的块间掩码矩阵Maskb。
（2）将∑|Mg|最大的前n个索引对应的Maskb小块内的值设置为1。
进一步的，所述步骤五块内梯度幅值排序的具体步骤包括：
（1）对梯度值矩阵Mg取绝对值，得到|Mg|。
（2）在|Mg|的每个8×8小块内进行从大到小的排序，保存排序后的索引序列。
块内筛选的具体步骤为：
（1）初始化全为0的块间掩码矩阵Maskp。
（2）将|Mg|每个8×8小块内最大的前n个索引对应的Maskp值设置为1。
进一步的，所述步骤六形成单步对抗噪声具体的计算步骤：
Noisead = ε·sign(Mg)·Maskb·Maskp
其中，Noisead表示单步对抗噪声，sign表示取符号函数，·表示矩阵中对应元素相乘，sign函数的运算方式如下式所示：
Figure 344189DEST_PATH_IMAGE002
其中，x表示输入，y表示输出。
进一步的，所述步骤八检查是否是对抗样本的条件包括：
1）、步骤七生成的新样本是对抗样本，输出对抗样本；
2）、步骤三至步骤七的重复次数达到预设的最大迭代次数S，输出生成失败；此情况需调整超参数重新执行本方案，以最终生成JPEG对抗样本。
本发明的有益效果：
1、本发明JPEG对抗样本生成方法只需预先设定单步噪声幅度ε、最大噪声幅度E、最大迭代次数S等超参数，整个生成过程无需手工参与；生成的对抗样本符合JPEG压缩标准，可使用常规JPEG解压缩工具（图片浏览工具）直接读取；两步嵌入位置的筛选及嵌入多部迭代、最终截断的策略保证了解压缩后图片的良好视觉质量；
2、本发明JPEG对抗样本生成方法以分块域变换模拟技术为基础构建了JPEG解压缩模块，将该模块与原始卷积神经网络组合，计算原始卷积神经网络关于JPEG流的梯度值，取符号后形成对抗噪声，块间筛选和块内筛选的步骤防止了单步添加噪声过大影响最终生成对抗样本的视觉质量；筛选后的对抗噪声乘以单步噪声添加至输入的JPEG样本，循环并最终生成JPEG对抗样本，解决了数字图像对抗样本无法以有损压缩格式存储和传输的问题。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明JPEG对抗样本生成方法流程图；
图2是本发明解压缩模块的结构示意图；
图3是本发明解压缩模块和ResNet18分类模型组合形成新模型的示意图；
图4是本发明块间筛选过程示意图；
图5是本发明生成JPEG对抗样本的生成成功率；
图6是本发明修改解压缩质量因子后的生成成功率曲线；
图7是本发明修改质量因子对解压缩后图像视觉质量的影响图；
图8是本发明不同质量因子下使用本方案生成JPEG对抗样本的平均峰值信噪比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
一种基于分块域变换模拟技术的JPEG对抗样本生成方法，如图1所示，对抗样本生成方法包括以下步骤：
步骤一：以分块域变换模拟技术为基础，利用卷积层构建JPEG解压缩模块
JPEG压缩、解压缩的过程是以8×8的图像块为单位进行的，对JPEG图像进行处理的基本单位为8×8的图像小块；JPEG解压缩的过程包括熵解码、反量化、反离散余弦变换、颜色空间逆变换、合并块等，其中熵解码的过程包括哈夫曼解码和zigzag解码，哈夫曼解码和zigzag解码均为无损解码，在本实施例中中不考虑，JPEG解压缩过程最主要的步骤是反离散余弦变换和颜色空间逆变换。
JPEG解压缩模块的构建方式包括：
（1）、构建域变换卷积层，通过搭建一个包括64个8×8尺寸卷积核、卷积步长为8的卷积层，使用8×8数据反傅里叶余弦变换的矩阵初始化该卷积核参数，并固定该卷积层参数，称为域变换卷积层。
反离散余弦变换是一种线性变换，8×8的反离散余弦变换用矩阵乘法实现，如公式（1）所示：
Xb=Flatten(Xf)×Mt （1）
式中，Xb表示空间域的8×8图像块，Xf表示离散余弦域的图像块，Mt表示反离散余弦变换矩阵，Flatten表示摊平函数，即将数据变形到一维向量，由公式（1）可知，使用矩阵乘法实现反离散余弦变换需要首先将图像按8×8的尺寸进行分块，并将每个小块内的数据进行摊平，从而进一步进行变换运算，这种方法生成的Xb是一维数据，需要再次形变为8×8的小块。
本实施例使用分块域变换技术实现反离散余弦变换，无偏置项的卷积层也是一种线性变换，通过搭建一个包括64个8×8尺寸卷积核、卷积步长为8的卷积层，使用Mt初始化该卷积核参数，并固定该卷积层参数，形成域变换卷积层ConvIDCT，使用ConvIDCT进行反离散余弦变换的过程如公式（2）所示：
Xb=ConvIDCT*Xf （2）
式中，*表示卷积运算；由公式（2）得到，使用域变换卷积层将图像块从离散余弦域变换到空间域只需要进行一步卷积运算，避免了数据摊平的过程，由于ConvIDCT的步长为8，卷积视野之间无相邻，卷积窗口的滑动替代了图像分块的过程。
（2）、构建颜色变换卷积层，通过搭建一个包括3个1×1尺寸卷积核、卷积步长为1的卷积层，使用YCbCr到RGB颜色空间变换系数初始化该卷积核参数，并固定该卷积层参数，称为颜色变换卷积层，YCbCr到RGB颜色空间转换的方式如公式（3）所示：
Figure DEST_PATH_IMAGE003
（3）
其中，R、G、B、Y、Cb、Cr分别表示图像的R、G、B、Y、Cb、Cr颜色通道分量，由公式（3）中的系数组成的矩阵称为颜色空间变换矩阵。
（3）、依次组合乘法、域变换卷积层、取8位整数、颜色变换卷积层、取8位整数，形成JPEG解压缩模块，组合的具体方式如图2所示。
步骤二：选取ResNet18分类模型作为原始的卷积神经网络，将构建的JPEG解压缩模块与原始卷积神经网络组合形成输入为JPEG流的新模型，JPEG解压缩模块与原始卷积神经网络组合方式如图3所示，图中conv表示卷积层，avg pool表示池化层，fc表示全连接层；卷积层中的第一个参数，例如3×3，表示卷积核尺寸；第二个参数，例如128，表示卷积层数量；第三个参数，例如/2，表示步长；全连接层中的参数表示神经元数量。
由于JPEG解压缩模块的输出为RGB图像，符合原始卷积神经网络的输入要求，JPEG图片可以在未解压缩状态下直接输入JPEG解压缩模块，再输入原始卷积神经网络。
步骤三：使用反向传播算法计算新模型（JPEG解压缩模块-原始卷积神经网络）关于输入的JPEG流的梯度信息，并取符号，形成关于JPEG流的符号梯度；
步骤四：以JPEG图像8×8小块内梯度绝对值幅值的平均值为标准对块间梯度幅值进行排序，筛选待嵌入对抗噪声的小块，并形成块筛选掩膜Maskb，如图4所示，图中掩膜中的1表示已选择的嵌入块，0表示未选择的嵌入块。
块间梯度幅值排序的具体步骤为：
（1）、对梯度值矩阵Mg取绝对值，得到|Mg|；
（2）、在每个8×8小块内，对|Mg|求和，得到∑|Mg|；
（3）、对∑|Mg|内的值从大到小进行排序，保存排序后的索引。
筛选待嵌入小块的具体步骤为：
（1）、初始化全为0的块间掩码矩阵Maskb；
（2）、将∑|Mg|最大的前n个索引对应的Maskb小块内的值设置为1。
这里只形成了关于每个小块的掩膜，形成最终的Maskb需要根据小块掩膜填充每个8×8的小块，例如，某个小块的掩码（掩膜中对应的值）为0，则在该小块内的每个像素点都填充0。
步骤五：在每个已选定的小块内，按块内梯度幅值的大小排序，筛选绝对值最大的前n个像素点，并形成块内掩膜Maskp。
块内梯度幅值排序的具体步骤包括
（1）、对梯度值矩阵Mg取绝对值，得到|Mg|；
（2）、在|Mg|的每个8×8小块内进行从大到小的排序，保存排序后的索引序列；
块内筛选的具体步骤为：
（1）、初始化全为0的块间掩码矩阵Maskp；
（2）、将|Mg|每个8×8小块内最大的前n个索引对应的Maskp值设置为1。
步骤六：在符号梯度的基础上乘以单步噪声幅值ε，并依次与步骤四形成的块间掩膜和步骤五形成的块内掩膜做点乘运算（对应位置元素相乘），形成单步对抗噪声，具体的计算步骤如公式（4）所示：
Noisead = ε·sign(Mg)·Maskb·Maskp （4）
其中，Noisead表示单步对抗噪声，sign表示取符号函数，·表示矩阵中对应元素相乘，sign函数的运算方式如公式（5）所示：
Figure 299507DEST_PATH_IMAGE002
（5）
其中，x表示输入，y表示输出。
步骤七：将步骤六生成的单步对抗噪声用预设的最大噪声幅度E截断，并添加至输入的JPEG图片，生成新的样本。
步骤八：将步骤七生成的新样本重新输入新模型（图3中组合形成的新模型），检查是否是对抗样本，如果不是对抗样本，重复步骤三至步骤七，直至达到以下两个条件之一：
1）、步骤七生成的新样本是对抗样本，输出对抗样本；
2）、步骤三至步骤七的重复次数达到预设的最大迭代次数S，输出生成失败；此情况需调整超参数重新执行本方案，以最终生成JPEG对抗样本。
如图5所示，图5为生成JPEG对抗样本的生成成功率，生成成功率随着原始输入JPEG图像的压缩质量因子的变大而递减，递减的趋势在质量因子超过90时趋于明显，质量因子超过94时，成功率低于90%。
为了提升较大质量因子情况下生成成功率，本实施例在质量因子超过92时对原JPEG图像的量化表进行修改，减小解压缩使用的质量因子，如图6所示。图6展示了解压缩质量因子减小后的生成成功率曲线，其中，原质量因子指的是不修改质量因子，原质量因子-1指的是修改后解压缩质量因子比原压缩质量因子小1，相较于不修改质量因子的曲线，原质量因子-2的曲先所表示的生成成功率明显提高，如图7所示，图7展示了修改质量因子对解压缩后图像视觉质量的影响，在压缩质量因子较大的情况下，解压缩质量因子减小2并不会大幅影响图像的视觉质量。
如图8所示，图8以峰值信噪比（PSNR）为标准展示了不同质量因子下使用本实施例生成10000个JPEG对抗样本的平均图像质量，在压缩质量因子超过88的情况下，PSNR值超过30dB。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (8)

1.一种基于分块域变换模拟技术的JPEG对抗样本生成方法，其特征在于，所述对抗样本生成方法包括以下步骤：
步骤一：以分块域变换模拟技术为基础，利用卷积层构建JPEG解压缩模块；
步骤二：将步骤一构建的JPEG解压缩模块与原始卷积神经网络组合形成输入为JPEG流的新模型；JPEG解压缩模块的输出为RGB图像，符合原始卷积神经网络的输入要求，JPEG图片能够在未解压缩状态下直接输入JPEG解压缩模块，再输入原始卷积神经网络；
步骤三：使用反向传播算法计算新模型关于输入的JPEG流的梯度信息，形成关于JPEG流的符号梯度；
步骤四：以JPEG图像8×8小块内梯度绝对值幅值的平均值为标准对块间梯度幅值进行排序，筛选待嵌入对抗噪声的小块；
步骤五：在每个已选定的小块内，按块内梯度幅值的大小排序，筛选绝对值最大的前n个像素点；
步骤六：在符号梯度的基础上乘以单步噪声幅值ε，依次与步骤四形成的块间掩膜和步骤五形成的块内掩膜做点乘运算，形成单步对抗噪声；
步骤七：将步骤六生成的单步对抗噪声用预设的最大噪声幅度E截断，并添加至输入的JPEG图片，生成新的样本；
步骤八：将步骤七生成的新样本重新输入新模型，检查是否是对抗样本，如果不是对抗样本，重复步骤三至步骤七，直至输出对抗样本。
2.根据权利要求1所述的一种基于分块域变换模拟技术的JPEG对抗样本生成方法，其特征在于，所述JPEG解压缩模块的构建方式包括：
（1）、构建域变换卷积层；
（2）、构建颜色变换卷积层；
（ 3 ） 、依次组合乘法、域变换卷积层、取8位整数、颜色变换卷积层、取8位整数，形成JPEG解压缩模块。
3.根据权利要求2所述的一种基于分块域变换模拟技术的JPEG对抗样本生成方法，其特征在于，所述域变换卷积层的构建通过8×8的反离散余弦变换用矩阵乘法实现，如公式（1）所示：
Xb=Flatten(Xf)×Mt （1）
式中，Xb表示空间域的8×8图像块，Xf表示离散余弦域的图像块，Mt表示反离散余弦变换矩阵，Flatten表示摊平函数；
使用分块域变换技术实现反离散余弦变换，无偏置项的卷积层也是一种线性变换，通过搭建一个包括64个8×8尺寸卷积核、卷积步长为8的卷积层，使用Mt初始化该卷积核参数，并固定该卷积层参数，形成域变换卷积层ConvIDCT，使用ConvIDCT进行反离散余弦变换的过程如公式（2）所示：
Xb=ConvIDCT*Xf （2）
式中，*表示卷积运算。
4.根据权利要求2所述的一种基于分块域变换模拟技术的JPEG对抗样本生成方法，其特征在于，所述颜色变换卷积层的构建通过搭建一个包括3个1×1尺寸卷积核、卷积步长为1的卷积层，使用YCbCr到RGB颜色空间变换系数初始化该卷积核参数，并固定该卷积层参数，称为颜色变换卷积层，YCbCr到RGB颜色空间转换的方式如公式（3）所示：
Figure 758123DEST_PATH_IMAGE001
（3）
其中，R、G、B、Y、Cb、Cr分别表示图像的R、G、B、Y、Cb、Cr颜色通道分量，由公式（3）中的系数组成的矩阵称为颜色空间变换矩阵。
5.根据权利要求1所述的一种基于分块域变换模拟技术的JPEG对抗样本生成方法，其特征在于，所述步骤四块间梯度幅值排序的具体步骤为：
1）对梯度值矩阵Mg取绝对值，得到|Mg|；
2）在每个8×8小块内，对|Mg|求和，得到∑|Mg|；
3）对∑|Mg|内的值从大到小进行排序，保存排序后的索引；
筛选待嵌入小块的具体步骤为：
1）初始化全为0的块间掩码矩阵Maskb；
2）将∑|Mg|最大的前n个索引对应的Maskb小块内的值设置为1。
6.根据权利要求1所述的一种基于分块域变换模拟技术的JPEG对抗样本生成方法，其特征在于，所述步骤五块内梯度幅值排序的具体步骤包括：
1）对梯度值矩阵Mg取绝对值，得到|Mg|；
2）在|Mg|的每个8×8小块内进行从大到小的排序，保存排序后的索引序列；
块内筛选的具体步骤为：
初始化全为0的块间掩码矩阵Maskp；
2）将|Mg|每个8×8小块内最大的前n个索引对应的Maskp值设置为1。
7.根据权利要求1所述的一种基于分块域变换模拟技术的JPEG对抗样本生成方法，其特征在于，所述步骤六形成单步对抗噪声具体的计算步骤：
Noisead= ε·sign(Mg)·Maskb·Maskp
其中，Noisead表示单步对抗噪声，sign表示取符号函数，·表示矩阵中对应元素相乘，sign函数的运算方式如下式所示：
Figure 622174DEST_PATH_IMAGE002
其中，x表示输入，y表示输出。
8.根据权利要求1所述的一种基于分块域变换模拟技术的JPEG对抗样本生成方法，其特征在于，所述步骤八检查是否是对抗样本的条件包括：
1）、步骤七生成的新样本是对抗样本，输出对抗样本；
2）、步骤三至步骤七的重复次数达到预设的最大迭代次数S，输出生成失败；此情况需调整超参数重新执行本方案，以最终生成JPEG对抗样本。
CN202211440089.4A 2022-11-17 2022-11-17 一种基于分块域变换模拟技术的jpeg对抗样本生成方法 Active CN115496973B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211440089.4A CN115496973B (zh) 2022-11-17 2022-11-17 一种基于分块域变换模拟技术的jpeg对抗样本生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211440089.4A CN115496973B (zh) 2022-11-17 2022-11-17 一种基于分块域变换模拟技术的jpeg对抗样本生成方法

Publications (2)

Publication Number Publication Date
CN115496973A CN115496973A (zh) 2022-12-20
CN115496973B true CN115496973B (zh) 2023-02-21

Family

ID=85116064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211440089.4A Active CN115496973B (zh) 2022-11-17 2022-11-17 一种基于分块域变换模拟技术的jpeg对抗样本生成方法

Country Status (1)

Country Link
CN (1) CN115496973B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113810693A (zh) * 2021-09-01 2021-12-17 上海交通大学 一种jpeg图像无损压缩和解压缩方法、系统与装置
CN115272044A (zh) * 2022-08-10 2022-11-01 大连大学 基于混合频域通道注意力的深度图像水印方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059796B (zh) * 2018-01-19 2021-09-21 杭州海康威视数字技术股份有限公司 卷积神经网络的生成方法及装置
CN115063492B (zh) * 2022-04-28 2023-08-08 宁波大学 一种抵抗jpeg压缩的对抗样本的生成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113810693A (zh) * 2021-09-01 2021-12-17 上海交通大学 一种jpeg图像无损压缩和解压缩方法、系统与装置
CN115272044A (zh) * 2022-08-10 2022-11-01 大连大学 基于混合频域通道注意力的深度图像水印方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Lightweight DCT-Like Domain Forensics Model for Adversarial Example";Junjie Zhao等;《Digital Forensics and Watermarking》;20201127;第265-278页 *

Also Published As

Publication number Publication date
CN115496973A (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
Toderici et al. Full resolution image compression with recurrent neural networks
Liu et al. Random walk graph Laplacian-based smoothness prior for soft decoding of JPEG images
CN113011581B (zh) 神经网络模型压缩方法、装置、电子设备及可读存储介质
US6885320B2 (en) Apparatus and method for selecting length of variable length coding bit stream using neural network
CN110602494A (zh) 基于深度学习的图像编码、解码系统及编码、解码方法
CN110298446B (zh) 面向嵌入式系统的深度神经网络压缩和加速方法及系统
CN117980914A (zh) 用于以有损方式对图像或视频进行编码、传输和解码的方法及数据处理系统
CN112560901A (zh) 一种基于图像预处理与对抗训练结合的防御对抗样本的方法
CN111247797A (zh) 用于图像编解码的方法和装置
Song et al. Compressed image restoration via artifacts-free PCA basis learning and adaptive sparse modeling
JP4717860B2 (ja) データ圧縮方法及び画像表示方法及び表示画像拡大方法
CN113747163A (zh) 基于上下文重组建模的图像编码、解码方法及压缩方法
CN115063492A (zh) 一种抵抗jpeg压缩的对抗样本的生成方法
CN117354523A (zh) 一种频域特征感知学习的图像编码、解码、压缩方法
CN115496973B (zh) 一种基于分块域变换模拟技术的jpeg对抗样本生成方法
AU2002366676A1 (en) Method, apparatus and software for lossy data compression and function estimation
Lai et al. An optimal L-filter for reducing blocking artifacts using genetic algorithms
JP2006270737A (ja) 復号化装置、分布推定方法、復号化方法及びこれらのプログラム
Yap et al. A computational reinforced learning scheme to blind image deconvolution
Gao et al. Mixed entropy model enhanced residual attention network for remote sensing image compression
CN114596223A (zh) 量化参数自适应的卷积神经网络环路滤波器及其构建方法
Veisi et al. A complexity-based approach in image compression using neural networks
KR102484999B1 (ko) 신경망 기반의 이미지 압축 방법 및 시스템
CN117459737B (zh) 一种图像预处理网络的训练方法和图像预处理方法
Yeo et al. Grayscale MRI image compression using feedforward neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant