CN113254958A - 一种基于对抗样本的图像局部信息隐藏方法 - Google Patents

一种基于对抗样本的图像局部信息隐藏方法 Download PDF

Info

Publication number
CN113254958A
CN113254958A CN202110528198.0A CN202110528198A CN113254958A CN 113254958 A CN113254958 A CN 113254958A CN 202110528198 A CN202110528198 A CN 202110528198A CN 113254958 A CN113254958 A CN 113254958A
Authority
CN
China
Prior art keywords
image
disturbance
deepfool
class
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110528198.0A
Other languages
English (en)
Other versions
CN113254958B (zh
Inventor
秦中元
崔家瑞
严昌龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202110528198.0A priority Critical patent/CN113254958B/zh
Publication of CN113254958A publication Critical patent/CN113254958A/zh
Application granted granted Critical
Publication of CN113254958B publication Critical patent/CN113254958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于对抗样本的图像局部信息隐藏方法，它包含如下主要步骤：将要信息隐藏的图像输入到深度学习分类网络中得到初始类别；再将该图像输入到目标检测网络中得到一组标签；使用RO‑DeepFool算法得到对抗扰动，同时根据代价最小化原则从其他物体类别的标签中选出一个作为扰动类别；将添加对抗扰动后的图像再次输入到深度学习分类网络中得到分类结果；判断该结果与RO‑DeepFool算法选出的扰动类别是否相同，如果不相同则再次使用RO‑DeepFool进行扰动处理，如果相同则添加对抗扰动后的图像即可实现信息隐藏。本发明可以使深度神经网络识别的图像初始类别错误地改变为图像中其他较不显著物体的类别，从而实现信息隐藏的效果。

Description

一种基于对抗样本的图像局部信息隐藏方法
技术领域
本发明属于网络空间安全领域，具体涉及一种基于对抗样本的图像局部信息隐藏方法。
背景技术
近年来，通过构建由大量神经元构成的深度学习网络，可以实现高效准确的物体识别，在日常生活的众多领域得到了广泛的应用。Y.Lecun等人提出LeNet-5用来进行手写字体的识别，通过构建卷积神经网络模型，利用卷积运算、池化、参数共享、反向传播等方法提取图像特征进行训练，节省了大量的计算成本，最后通过全连接层进行分类识别。AlexKrizhevsky对LeNet中的设计思想做了进一步的优化，提出AlexNet。AlexNet使用ReLU作为激活函数。为了避免模型在训练过程中出现过拟合的问题，在训练过程提出Dropout机制，随机忽略一些神经元中的数据。为了提高模型的泛化能力，提高了对模型改变较大的神经元的反馈效果，抑制影响较小的神经元的反馈。利用GPU的计算能力，提高了网络的整体性能。
深度神经网络尽管在众多应用中取得了巨大成功，但最近的研究发现深度神经网络容易受到设计良好的输入样本的攻击。这些样本可以轻易地欺骗性能良好的深度神经网络模型，而对人类来说很难察觉这些微小的改动。Szegedy等首先在图像分类问题上产生了较小的扰动，并以很高的概率欺骗了深度神经网络，这些错误分类的样本被称为对抗性样本。Goodfellow等人提出了一种称为快速梯度下降法(Fast Gradient Sign Method，FGSM)的算法来生成对抗性样本。Moosavi-Dezfooli等人提出了DeepFool攻击算法，DeepFool通常作为一种无定向攻击算法使用，相对FGSM而言，不用指定学习速率，算法本身可以计算出相对FGSM更小的扰动来达到攻击目的。
传统的保护图像中局部个人信息的方法是高斯模糊、马赛克、部分遮挡等，然而使用这些方法处理后的图像存在图像质量大幅降低的问题，并且对于基于深度神经网络的分类识别系统并没有效果。直接生成对抗样本也能够实现信息隐藏，但是通常会导致分类网络得到完全不同的识别结果。因此，本发明提出了一种新型的图像信息隐藏方法，采用我们自己提出的面向区域的DeepFool算法(Range Oriented DeepFool，RO-DeepFool)，使基于深度神经网络的分类识别系统无法识别局部个人信息，同时人眼几乎看不出对图像进行的细微修改。经本发明处理后图像中初始类别物体之外的物体仍能被分类网络正确分类，因此本发明的信息隐藏更不易被发现。
发明内容
发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于对抗样本的图像局部信息隐藏方法。本发明能够使基于深度神经网络的分类识别系统无法识别图像中的局部信息。
技术方案：本发明的一种基于对抗样本的图像局部信息隐藏方法，依次包括以下步骤：
(1)将要隐藏信息的图像输入到基于深度学习的分类网络中，得到的分类结果为图像的初始类别，一般为图像中的某一种物体的类别。
(2)将要隐藏信息的图像输入到目标检测网络YOLO v3中,对图像中的多个目标的类别进行识别，将图像中除初始类别外的其他类别物体的标签作为目标标签组。
(3)将要隐藏信息的图像和目标标签组输入到RO-DeepFool算法中，得到扰动类别和对抗扰动，该扰动类别为从其他物体类别的标签中根据代价最小化原则选出的。
(4)将添加对抗扰动后的图像再次输入到基于深度学习的分类网络中得到分类结果。
(5)判断该分类结果与扰动类别是否相同。如果不相同则重复(3)(4)(5)。如果相同即得到对抗样本。该对抗样本可以使得深度神经网络识别的图像类别变为图像中其他物体的类别，从而实现了对于图像信息的隐藏。
进一步的，所述步骤(3)中RO-DeepFool的具体步骤为：
(1)假设f是通用的二进制可微分类器f(x)＝wTx+b，其中w为模型权重，b为偏移量，经过f(x)后得到的输出为
Figure BDA0003067099170000021
在数据空间中使用x0表示原始数据位置，为了生成对抗样本就需要使x0跨越n个类别中任意一个决策平面。
计算数据点x0到最近的分类边界
Figure BDA0003067099170000031
的距离，那么存在
Figure BDA0003067099170000032
的关系。在RO-DeepFool算法计算出分类边界到数据点x0的距离后，从n个指定类别中选择距离最近的类作为第二阶段的对抗样本生成的目标类。
(2)如果想使其中某点x0的分类结果改为点x1的类别，一定要跨过对应类别的分割平面。显然最短的移动距离就是垂直分割平面进行移动，把距离记作r*(x1)，分类器为f，那么存在
Figure BDA0003067099170000033
的关系。RO-DeepFool算法在第二阶段使数据点向靠近x1方向移动，从而实现定向生成对抗样本的效果。
有益效果：本发明可以使深度神经网络识别的图像初始类别变为图像中其他物体的类别，实现图像局部信息隐藏的效果。相比马赛克、模糊、部分遮挡等传统的隐藏图像中局部信息的方法，本发明更隐蔽。添加到图像上的对抗扰动人眼难以察觉，保证了图像的可用性。直接生成对抗样本进行信息隐藏通常会导致分类网络识别结果完全错误，本发明处理后图像中初始类别物体之外的物体仍能被分类网络正确分类。
附图说明
图1为本发明的流程图。
图2为RO-DeepFool对抗样本生成算法的流程图。
图3为本发明的示例图。
具体实施方式
下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
本发明的一种基于对抗样本的图像局部信息隐藏方法，依次包括以下步骤：
(1)将要隐藏信息的图像输入到基于深度学习的分类网络中，得到的分类结果为图像的初始类别，一般为图像中的某一种物体的类别。
(2)将要隐藏信息的图像输入到目标检测网络YOLO v3中,对图像中的多个目标的类别进行识别，将图像中除初始类别外的其他物体的类别的标签作为目标标签组。
(3)将要隐藏信息的图像和目标标签组输入到RO-DeepFool算法中，得到扰动类别和对抗扰动。
(4)将添加对抗扰动后的图像再次输入到基于深度学习的分类网络中得到当前的类别标签。
(5)判断当前的类别与扰动类别是否相同。如果不相同重复(3)(4)(5)。如果相同即得到对抗样本。使深度神经网络识别的图像初始类别变为图像中其他物体的类别，实现了对于图像信息的隐藏。
实施例：
如图3所示，本实施例的一种基于对抗样本的图像局部信息隐藏方法，对于一幅办公桌场景图像进行处理，通过添加人眼难以察觉的扰动，使深度神经网络AlexNet识别的图像初始类别变为图像中其他物体的类别，实现了对于图像信息的隐藏。
处理步骤如下：
1、将要隐藏信息的图像输入到基于深度学习的分类网络AlexNet中，得到的分类结果为鼠标即初始类别。
2、将要隐藏信息的图像输入到目标检测网络YOLO v3中,对图像中的多个目标的类别进行识别，将图像中除初始类别外的猫、笔记本电脑、键盘和显示器的标签作为目标标签组。
3、将要隐藏信息的图像和目标标签组输入到RO-DeepFool算法中，计算扰动类别到目标标签组中各个类别决策边界的距离，选择距离最近的笔记本电脑作为扰动类别，并计算对抗扰动。
4、将添加对抗扰动后的图像再次输入到基于深度学习的分类网络AlexNet中得到当前的类别标签。
5、判断当前的类别标签是否为笔记本电脑。如果不是重复(3)(4)(5)。如果是则得到对抗样本。使深度神经网络AlexNet识别的图像类别由显示器变为笔记本电脑，实现了对于图像显示器信息的隐藏。
综上所述，本发明可以使深度神经网络识别的图像初始类别变为图像中其他物体的类别，实现图像局部信息隐藏的效果。相比马赛克、模糊、部分遮挡等传统的隐藏图像中局部信息的方法，本发明更隐蔽。添加到图像上的对抗扰动人眼难以察觉，保证了图像的可用性。

Claims (2)

1.一种基于对抗样本的图像局部信息隐藏方法，其特征在于，依次包括以下步骤：
(1)将要隐藏信息的图像输入到基于深度学习的分类网络中，得到的分类结果为图像的初始类别；
(2)将要隐藏信息的图像输入到目标检测网络YOLO v3中，对图像中的多个目标的类别进行识别，将图像中除初始类别外的其他类别物体的标签作为目标标签组；
(3)将要隐藏信息的图像和目标标签组输入到RO-DeepFool算法中，得到扰动类别和对抗扰动，该扰动类别为从其他物体类别的标签中根据代价最小化原则选出的；
(4)将添加对抗扰动后的图像再次输入到基于深度学习的分类网络中得到分类结果；
(5)判断该分类结果与扰动类别是否相同，如果不相同则重复(3)(4)(5)，如果相同即得到对抗样本。
2.根据权利要求1所述的一种基于对抗样本的图像局部信息隐藏方法，其特征在于，所述步骤(3)中RO-DeepFool的具体步骤为：
(1)假设f是通用的二进制可微分类器f(x)＝wTx+b，其中w为模型权重，b为偏移量，经过f(x)后得到的输出为
Figure FDA0003067099160000011
在数据空间中使用x0表示原始数据位置，为生成对抗样本需要使x0跨越n个类别中任意一个决策平面；计算数据点x0到最近的分类边界的距离
Figure FDA0003067099160000012
那么存在
Figure FDA0003067099160000013
的关系，在RO-DeepFool算法计算出分类边界到数据点x0的距离后，从n个指定类别中选择距离最近的类作为第二阶段的对抗样本生成的目标类；
(2)如果想使其中某点x0的分类结果改为点x1的类别，则要跨过对应类别的分割平面，最短的移动距离是垂直分割平面进行移动，把距离记作r*(x1)，分类器为f，那么存在
Figure FDA0003067099160000021
的关系，RO-DeepFool算法在第二阶段使数据点向靠近x1方向移动，从而实现定向生成对抗样本的效果。
CN202110528198.0A 2021-05-14 2021-05-14 一种基于对抗样本的图像局部信息隐藏方法 Active CN113254958B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110528198.0A CN113254958B (zh) 2021-05-14 2021-05-14 一种基于对抗样本的图像局部信息隐藏方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110528198.0A CN113254958B (zh) 2021-05-14 2021-05-14 一种基于对抗样本的图像局部信息隐藏方法

Publications (2)

Publication Number Publication Date
CN113254958A true CN113254958A (zh) 2021-08-13
CN113254958B CN113254958B (zh) 2024-05-07

Family

ID=77181922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110528198.0A Active CN113254958B (zh) 2021-05-14 2021-05-14 一种基于对抗样本的图像局部信息隐藏方法

Country Status (1)

Country Link
CN (1) CN113254958B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113938291A (zh) * 2021-09-03 2022-01-14 华中科技大学 一种基于对抗攻击算法的加密流量分析防御方法和系统
WO2023065637A1 (zh) * 2021-10-22 2023-04-27 平安科技（深圳）有限公司 一种数据处理方法、装置、电子设备以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889797A (zh) * 2019-10-15 2020-03-17 浙江大学 基于对抗样本生成的深度自适应图像隐藏方法
CN111325324A (zh) * 2020-02-20 2020-06-23 浙江科技学院 一种基于二阶方法的深度学习对抗样本生成方法
US20200410228A1 (en) * 2019-06-28 2020-12-31 Baidu Usa Llc Systems and methods for fast training of more robust models against adversarial attacks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200410228A1 (en) * 2019-06-28 2020-12-31 Baidu Usa Llc Systems and methods for fast training of more robust models against adversarial attacks
CN110889797A (zh) * 2019-10-15 2020-03-17 浙江大学 基于对抗样本生成的深度自适应图像隐藏方法
CN111325324A (zh) * 2020-02-20 2020-06-23 浙江科技学院 一种基于二阶方法的深度学习对抗样本生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘恒;吴德鑫;徐剑;: "基于生成式对抗网络的通用性对抗扰动生成方法", 信息网络安全, no. 05, 10 May 2020 (2020-05-10) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113938291A (zh) * 2021-09-03 2022-01-14 华中科技大学 一种基于对抗攻击算法的加密流量分析防御方法和系统
WO2023065637A1 (zh) * 2021-10-22 2023-04-27 平安科技（深圳）有限公司 一种数据处理方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
CN113254958B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
Cong et al. Co-saliency detection for RGBD images based on multi-constraint feature matching and cross label propagation
Gao et al. Reading scene text with fully convolutional sequence modeling
Baek et al. Exploiting a joint embedding space for generalized zero-shot semantic segmentation
Masnadi-Shirazi et al. On the design of robust classifiers for computer vision
CN113254958B (zh) 一种基于对抗样本的图像局部信息隐藏方法
Zhang et al. OPMP: An omnidirectional pyramid mask proposal network for arbitrary-shape scene text detection
KR101802500B1 (ko) 영상 인식을 위한 학습 장치 및 그 학습 방법
Tang et al. A fast recursive algorithm based on fuzzy 2-partition entropy approach for threshold selection
Kwon et al. Multi-targeted backdoor: Indentifying backdoor attack for multiple deep neural networks
Hossain et al. Recognition and solution for handwritten equation using convolutional neural network
Sevik et al. Font and Turkish letter recognition in images with deep learning
Che et al. Adversarial attack against deep saliency models powered by non-redundant priors
Wu et al. A machine learning attack against variable-length Chinese character CAPTCHAs
Ye et al. A convolutional neural network based seam carving detection scheme for uncompressed digital images
Lv et al. Chinese character CAPTCHA recognition based on convolution neural network
Huan et al. Data-free adversarial perturbations for practical black-box attack
Lyu et al. The early Japanese books reorganization by combining image processing and deep learning
Lee et al. License plate detection via information maximization
Liu et al. Self-supervised image co-saliency detection
Ansari et al. An optimized feature selection technique in diversified natural scene text for classification using genetic algorithm
Yin et al. Adversarial attack, defense, and applications with deep learning frameworks
Wahi et al. Handwritten Tamil character recognition using Zernike moments and legendre polynomial
Wang et al. Multi‐level feature fusion network for crowd counting
Yu et al. Multiscale fully convolutional network‐based approach for multilingual character segmentation
Nathiya et al. Optical Character Recognition for scene text detection, mining and recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant