CN117237235A - 图像散焦检测攻击的去模糊方法 - Google Patents
图像散焦检测攻击的去模糊方法 Download PDFInfo
- Publication number
- CN117237235A CN117237235A CN202311497896.4A CN202311497896A CN117237235A CN 117237235 A CN117237235 A CN 117237235A CN 202311497896 A CN202311497896 A CN 202311497896A CN 117237235 A CN117237235 A CN 117237235A
- Authority
- CN
- China
- Prior art keywords
- network
- image
- fuzzy
- training
- deblurring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 52
- 230000009466 transformation Effects 0.000 claims abstract description 24
- 230000008447 perception Effects 0.000 claims abstract description 19
- 230000015556 catabolic process Effects 0.000 claims description 4
- 238000006731 degradation reaction Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000013459 approach Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 230000002441 reversible effect Effects 0.000 abstract description 5
- 230000007547 defect Effects 0.000 abstract description 2
- 230000010365 information processing Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 235000000332 black box Nutrition 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像信息处理技术领域，公开一种图像散焦检测攻击的去模糊方法，提出了一种通过攻击模糊检测网络，并设计模糊感知变换模块，以完成散焦图像去模糊的方法。使用一个再模糊网络和一个去模糊网络，设计相应的可逆攻击方法和模糊感知变换模块结构，免去了训练时对清晰真值图像的需求，使得去模糊网络的去模糊性能提升。本发明的使用模糊感知变换以攻击离焦检测的散焦图像去模糊学习方法，有效免去了对训练真值的需求，在弱监督的条件下生成了高质量的去模糊图像。同时本发明克服了目前弱监督去模糊方法的一些弊端，如容易在去模糊结果中产生叠影和颜色失真等，在提出的可逆攻击辅助下，本发明能够生成更加真实自然且准确的去散焦模糊结果。
Description
技术领域
本发明属于图像信息处理技术领域，涉及一种图像散焦检测攻击的去模糊方法。
背景技术
目前，与本发明相关的技术包括三方面：第一是散焦图像去模糊算法；第二是散焦模糊检测算法；第三是模型的对抗性攻击。
基于深度学习的散焦图像去模糊算法主要分为两类：一类方法是利用包含散焦模糊图像及其清晰真值图像的数据集，对去模糊网络进行全监督训练的方法。Son等人在文献《Single image defocus deblurringusing kernel-sharing parallel atrousconvolutions》中提出了一种采用了空间变化的逆核以实现对单像素输入图像的散焦去模糊。Ruan等人在文献《Learning to deblur usinglight field generated and realdefocus images》中设计了一种新的动态残差块，以从粗糙到细致的方式重建出清晰图像。另一类方法不需要成对的散焦模糊图像及其对应真值，仅使用输入的模糊图像及其它信息完成去模糊网络的训练。Lee等人在文献《Deep defocus map estimationusing domainadaptation》中设计了一种新的端到端的CNN构架，并使用输入图片合成出散焦图来训练整个网络，最终完成去模糊。Karaali等人则在文献《Edge-based defocus blur estimationwithadaptive scale selection》中引入了局部自适应方案和全新的滤波器来获得更好的散焦图，以训练去模糊网络。
基于深度学习的散焦模糊检测算法近年也有较多研究。一方面，层级特征表示及集成方法被研究用于散焦模糊检测，例如，Kim等人在文献《Defocus and motionblurdetection with deep contextual features》中进行特征集成方法研究，并使用一个编码器解码器模型来结合多层级的特征。一些其他的技术也被研究了，如Cun等人在文献《Defocus blur detection via depth distillation》中将来自深度的知识蒸馏进去模糊任务中，以增强模型表现。
对抗攻击算法大致可以分为两类，白盒攻击和黑盒攻击，白盒攻击在攻击模型时能够知晓模型的参数和结构等信息，而黑盒攻击则只能获得有限的信息。近期，基于攻击样本生成的方法得到了广泛关注，Wang等人在文献《Prototype-supervisedadversarialnetwork for targeted attack of deep hashing》中使用目标的语义表示和原始图像输入生成器来进行有针对性的攻击，并用原型网络来监督对抗样本的生成。
实际应用中，想获取包含散焦模糊图像及其清晰真值图像的数据集以监督网络训练往往是昂贵的。针对这一问题，一个潜在的解决方法是通过生成对抗网络来生成散焦模糊图像的对应全清晰图像，同时使鉴别器无法分辨真实与生成的全清晰图片，进而免去了真值数据的使用。但是，对抗生成网络缺少图像级约束，生成结果往往带有失真。提出的弱监督方法不使用生成对抗网络，而是借助设计的可逆攻击方法，仅使用输入模糊图像自身的信息就能完成去模糊。方法分为两个阶段，第一阶段通过攻击一个散焦模糊检测网络来训练编码器-解码器再模糊网络，令其将输入散焦模糊图像变为全模糊，并提出了模糊感知变换模块来确保全模糊图像的细节。第二个阶段，通过已获得的散焦模糊图像和全模糊图像，来训练去模糊网络。在此过程中，再次攻击散焦模糊检测网络，来弥补真实模糊图像和生成的全模糊图像之间的域差异。
发明内容
针对在弱监督条件下进行高质量去模糊任务的问题，提出了一种通过攻击模糊检测网络，并设计模糊感知变换模块，以完成散焦图像去模糊的方法。使用一个再模糊网络和一个去模糊网络，设计相应的可逆攻击方法和模糊感知变换模块结构，免去了训练时对清晰真值图像的需求，使得去模糊网络的去模糊性能提升。
本发明的技术方案：
一种图像散焦检测攻击的去模糊方法，具体为使用模糊感知变换以攻击离焦检测的散焦图像去模糊学习方法，步骤如下：
整个训练过程主要分为再模糊网络的训练阶段和去模糊网络的训练阶段；
（1）再模糊网络的训练阶段
提出方法以编码器-解码器结构为基础构建再模糊网络，其中，编码器由五个VGG卷积块构成；解码器主要由一系列上采样层和3*3卷积层构成，在解码器的每两个卷积层之间，还添加了由三个卷积层和一个自适应平均池化组成的模糊感知变换模块；同时构建一个独立的解码器模型，为模糊感知变换模块提供输入的散焦图像的模糊特征；解码器模型由一系列卷积层和上采样块组成，使用重建损失事先训练好；此外，还使用一个预先训练的散焦模糊检测网络（使用Tang等人在文献《R2mrf: Defocus blur detection viarecurrently refiningmulti-scale residual features》中提出的模型）作为被攻击对象；
首先，提出方法使用再模糊网络将输入的散焦图像转换为全模糊图像，为了训练再模糊网络，一个预先训练过的散焦模糊检测网络将被攻击，以完成整个训练；再模糊网络输出全模糊图像后，散焦模糊检测网络将全模糊图像的原聚焦区域预测为散焦区域，再模糊网络将原聚焦区域转变为散焦模糊区域；故经过训练后，再模糊网络将具备把输入的散焦图像转换为全模糊图像的能力；
以攻击散焦模糊检测网络的方式，约束再模糊网络进行训练的损失表示为：
其中，，T为批次大小batch size，/>为再模糊网络输出的再模糊区域，/>代表/>某一位置的像素，/>则代表批次batch中第t张图像对应的模糊检测标记某一位置的像素值，/>即为预先训练的散焦模糊检测网络，/>为预先训练的散焦模糊检测网络的预训练参数；/>代表逐像素相乘操作；
仅有式（1）的攻击损失作为约束来训练再模糊网络，容易导致再模糊网络的输出内容退化，因此还需添加防止退化的内容一致性损失，故训练再模糊网络的完整损失如下：
其中，为平衡攻击损失和内容一致性损失的超参数，/>为输入的散焦图像，/>代表逐像素相乘操作；
为了使再模糊网络生成的全模糊图像更为自然，提出在再模糊网络中内置模糊感知变换模块，以利用输入的散焦图像本身具有的模糊信息来令再模糊网络输出更为自然真实；首先将散焦图像输入至一个独立的解码器模型，并使用该解码器模型中的特征提取层获取多层特征，随后，多层特征经由模糊感知变换模块提取真实的模糊信息，来调节再模糊网络的中间特征，以帮助再模糊网络输出真实的全模糊图像，该过程表示如下：
其中，即为去模糊网络，/>代表再模糊网络中的第n层特征，/>和/>是由模糊感知变换模块从解码器模型的第n-1层特征计算得来的变换参数，/>和/>是/>的平均值和标准差，/>为按通道相乘操作；
（2）去模糊网络的训练阶段
经第一阶段的训练后，得益于攻击散焦模糊检测网络和模糊感知变换模块，再模糊网络能得到全模糊图像；此时，全模糊图像和输入的散焦图像构成一对训练样本和真值，使用这些训练样本和真值对，对现有的去模糊网络（具体采用Sun等人在文献《Deep high-resolution representation learning for human pose estimation》中提出的模型）进行有监督训练；训练去模糊网络的损失如下：
其中，代表去模糊网络，/>为去模糊网络的参数；
由再模糊网络得到的全模糊图像和真实的模糊图像之间难免存在域差异，而公式（4）只令去模糊网络学会去除由再模糊网络生成的模糊，这样的训练是不充分的；为了解决这一问题，再次攻击散焦模糊检测网络，令其将去模糊网络输出图像原本的真实散焦模糊区域，最终预测为聚焦区域，这样去模糊网络将同时能去除真实散焦模糊和由再模糊网络生成的模糊，有效克服了域差异；使用攻击方式训练去模糊网络时的损失为：
其中，是输入图像中原始的自然模糊部分，/>代表/>某一位置的像素，/>为平衡攻击损失和内容一致性损失的超参数；
综上，训练去模糊网络的完整损失为：
本发明的有益效果：本发明的使用模糊感知变换以攻击离焦检测的散焦图像去模糊学习方法，有效免去了对训练真值的需求，在弱监督的条件下生成了高质量的去模糊图像。同时本发明克服了目前弱监督去模糊方法的一些弊端，如容易在去模糊结果中产生叠影和颜色失真等等，在提出的可逆攻击辅助下，本发明能够生成更加真实自然且准确的去散焦模糊结果。
附图说明
图1为网络整体训练流程图。
图2为再模糊网络编码器结构示意图。
图3为再模糊网络训练阶段独立解码器结构示意图。
图4为再模糊网络结合了模糊感知变换模块的解码器结构示意图。
实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
实施例
一种图像散焦检测攻击的去模糊方法，步骤如下：
如图1所示，第一步，通过攻击一个预训练好的散焦模糊检测网络来训练再模糊网络（由编码器，带模糊感知变换模块的解码器/>和一个额外的独立解码器/>组成），令再模糊网络输出全模糊图像；第二步，将第一步得到的全模糊图像作为训练样本，原输入图像作为真值，对再模糊网络进行训练。在第一步再模糊网络的训练过程中，图2中的再模糊网络编码器/>首先对输入的散焦图像进行各个层级特征的提取，然后这些特征分别被送入再模糊网络解码器和独立的解码器模型中。之后，图3中的独立的解码器模型被训练用于进一步提取包含了输入的散焦图像模糊信息的特征。最后，图4中的再模糊网络解码器/>接收独立的解码器模型提供的模糊信息特征，并利用内部的模糊感知变换模块/>获得特征调整参数，最终使用特征调整参数和编码器/>提供的图像特征完成图像去模糊。第一阶段的训练使用图1中的/>损失，即公式（2）。在第二步去模糊网络的训练中，如图1所示，一方面使用输出的去模糊图像对散焦模糊检测网络进行攻击，另一方面用全模糊图像的再模糊部分和输入的散焦图像的原清晰部分计算MSE损失，图中的和/>即为公式（4）、（5），训练完成后，去模糊网络能输出清晰、真实的去模糊图像。
Claims (1)
1.一种图像散焦检测攻击的去模糊方法，具体为使用模糊感知变换以攻击离焦检测的散焦图像去模糊学习方法，其特征在于，步骤如下：
整个训练过程主要分为再模糊网络的训练阶段和去模糊网络的训练阶段；
（1）再模糊网络的训练阶段
提出方法以编码器-解码器结构为基础构建再模糊网络，其中，编码器由五个VGG卷积块构成；解码器主要由一系列上采样层和3*3卷积层构成，在解码器的每两个卷积层之间，添加由三个卷积层和一个自适应平均池化组成的模糊感知变换模块；同时构建一个独立的解码器模型，为模糊感知变换模块提供输入图像的模糊特征；解码器模型由一系列卷积层和上采样块组成，使用重建损失事先训练好；此外，还使用一个预先训练的散焦模糊检测网络作为被攻击对象；
首先，提出方法使用再模糊网络将输入的散焦图像转换为全模糊图像，为了训练再模糊网络，一个预先训练过的散焦模糊检测网络将被攻击，以完成整个训练；再模糊网络输出全模糊图像后，散焦模糊检测网络将全模糊图像的原聚焦区域预测为散焦区域，再模糊网络将原聚焦区域转变为散焦模糊区域；故经过训练后，再模糊网络将具备把输入的散焦图像转换为全模糊图像的能力；
以攻击散焦模糊检测网络的方式，约束再模糊网络进行训练的损失表示为： 其中，，T为批次大小batch size，/>为再模糊网络输出的再模糊区域，/>代表/>某一位置的像素，/>则代表批次batch中第t张图像对应的模糊检测标记某一位置的像素值，/>即为预先训练的散焦模糊检测网络，为预先训练的散焦模糊检测网络的预训练参数，/>代表逐像素相乘操作；
仅有式（1）的攻击损失作为约束来训练再模糊网络，容易导致再模糊网络的输出内容退化，因此还需添加防止退化的内容一致性损失，故训练再模糊网络的完整损失如下： 其中，/>为平衡攻击损失和内容一致性损失的超参数，/>为输入的散焦图像，/>代表逐像素相乘操作；
为了使再模糊网络生成的全模糊图像更为自然，提出在再模糊网络中内置模糊感知变换模块，以利用输入的散焦图像本身具有的模糊信息来令再模糊网络输出更为自然真实；首先将散焦图像输入至一个独立的解码器模型，并使用该解码器模型中的特征提取层获取多层特征，随后，多层特征经由模糊感知变换模块提取真实的模糊信息，来调节再模糊网络的中间特征，以帮助再模糊网络输出真实的全模糊图像，该过程表示如下： 其中，/>即为去模糊网络，代表再模糊网络中的第n层特征，/>和/>是由模糊感知变换模块从解码器模型的第n-1层特征计算得来的变换参数，/>和/>是/>的平均值和标准差，/>为按通道相乘操作；
（2）去模糊网络的训练阶段
经第一阶段的训练后，再模糊网络得到全模糊图像；此时，全模糊图像和输入的散焦图像构成一对训练样本和真值，使用这些训练样本和真值对，对现有的去模糊网络进行有监督训练；训练去模糊网络的损失如下： 其中，/>代表去模糊网络，为去模糊网络的参数；
再次攻击散焦模糊检测网络，令其将去模糊网络输出图像原本的真实散焦模糊区域，最终预测为聚焦区域，这样去模糊网络将同时能去除真实散焦模糊和由再模糊网络生成的模糊，有效克服了域差异；使用攻击方式训练去模糊网络时的损失为： 其中，是输入图像中原始的自然模糊部分，/>代表/>某一位置的像素，/>为平衡攻击损失和内容一致性损失的超参数；
训练去模糊网络的完整损失为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311497896.4A CN117237235B (zh) | 2023-11-13 | 2023-11-13 | 图像散焦检测攻击的去模糊方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311497896.4A CN117237235B (zh) | 2023-11-13 | 2023-11-13 | 图像散焦检测攻击的去模糊方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117237235A true CN117237235A (zh) | 2023-12-15 |
| CN117237235B CN117237235B (zh) | 2024-02-02 |
Family
ID=89089704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311497896.4A Active CN117237235B (zh) | 2023-11-13 | 2023-11-13 | 图像散焦检测攻击的去模糊方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237235B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102177A (zh) * | 2020-07-27 | 2020-12-18 | 中山大学 | 基于压缩与激励机制神经网络的图像去模糊方法 |
| CN113538258A (zh) * | 2021-06-15 | 2021-10-22 | 福州大学 | 基于掩码的图像去模糊模型及方法 |
| CN113610732A (zh) * | 2021-08-10 | 2021-11-05 | 大连理工大学 | 基于交互对抗学习的全聚焦图像生成方法 |
| CN115358909A (zh) * | 2022-08-18 | 2022-11-18 | 齐鲁工业大学 | 一种基于sad网络的隐匿式数字水印攻击方法及系统 |
| CN115588226A (zh) * | 2022-11-01 | 2023-01-10 | 重庆邮电大学 | 一种高鲁棒性的深度伪造人脸检测方法 |
-
2023
- 2023-11-13 CN CN202311497896.4A patent/CN117237235B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102177A (zh) * | 2020-07-27 | 2020-12-18 | 中山大学 | 基于压缩与激励机制神经网络的图像去模糊方法 |
| CN113538258A (zh) * | 2021-06-15 | 2021-10-22 | 福州大学 | 基于掩码的图像去模糊模型及方法 |
| CN113610732A (zh) * | 2021-08-10 | 2021-11-05 | 大连理工大学 | 基于交互对抗学习的全聚焦图像生成方法 |
| CN115358909A (zh) * | 2022-08-18 | 2022-11-18 | 齐鲁工业大学 | 一种基于sad网络的隐匿式数字水印攻击方法及系统 |
| CN115588226A (zh) * | 2022-11-01 | 2023-01-10 | 重庆邮电大学 | 一种高鲁棒性的深度伪造人脸检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| FAN ZHAO 等: "Image-Scale-Symmetric Cooperative Network for Defocus Blur Detection", 《IEEE》, pages 1 - 13 * |
| 程文涛 等: "基于循环神经网络的散焦图像去模糊算法", 《计算机应用研究》, pages 1 - 7 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117237235B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | MLFcGAN: Multilevel feature fusion-based conditional GAN for underwater image color correction | |
| CN111028177B (zh) | 一种基于边缘的深度学习图像去运动模糊方法 | |
| CN110378844B (zh) | 基于循环多尺度生成对抗网络的图像盲去运动模糊方法 | |
| CN112669214B (zh) | 一种基于交替方向乘子算法的模糊图像超分辨率重建方法 | |
| CN112164011B (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| Min et al. | Blind deblurring via a novel recursive deep CNN improved by wavelet transform | |
| CN111553867B (zh) | 一种图像去模糊方法、装置、计算机设备及存储介质 | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| CN114596233A (zh) | 基于注意引导和多尺度特征融合的低照度图像增强方法 | |
| CN113160055A (zh) | 一种基于深度学习的图像超分辨率重建方法 | |
| Zhao et al. | Skip-connected deep convolutional autoencoder for restoration of document images | |
| CN115713462A (zh) | 超分辨模型训练方法、图像识别方法、装置及设备 | |
| CN109993701B (zh) | 一种基于金字塔结构的深度图超分辨率重建的方法 | |
| CN115345791A (zh) | 一种基于注意力机制残差网络模型的红外图像去模糊算法 | |
| CN111986102B (zh) | 一种数字病理图像去模糊方法 | |
| CN112435165B (zh) | 基于生成对抗网络的两阶段视频超分辨率重建方法 | |
| CN117237235B (zh) | 图像散焦检测攻击的去模糊方法 | |
| CN110852947B (zh) | 一种基于边缘锐化的红外图像超分辨方法 | |
| CN116452469B (zh) | 一种基于深度学习的图像去雾处理方法及装置 | |
| CN113096032A (zh) | 一种基于图像区域划分的非均匀一致模糊去除方法 | |
| He et al. | Low-light image enhancement combined with attention map and u-net network | |
| CN116957964A (zh) | 一种基于扩散模型的小样本图像生成方法及系统 | |
| CN111986079A (zh) | 基于生成对抗网络路面裂缝图像超分辨率重建方法及装置 | |
| CN110648291B (zh) | 一种基于深度学习的无人机运动模糊图像的复原方法 | |
| CN113160056A (zh) | 一种基于深度学习的带噪图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |