CN113610732B - 基于交互对抗学习的全聚焦图像生成方法 - Google Patents

基于交互对抗学习的全聚焦图像生成方法 Download PDF

Info

Publication number
CN113610732B
CN113610732B CN202110911218.2A CN202110911218A CN113610732B CN 113610732 B CN113610732 B CN 113610732B CN 202110911218 A CN202110911218 A CN 202110911218A CN 113610732 B CN113610732 B CN 113610732B
Authority
CN
China
Prior art keywords
full
unfocused
focus image
focus
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110911218.2A
Other languages
English (en)
Other versions
CN113610732A (zh
Inventor
赵文达
魏菲
徐从安
姚力波
刘瑜
何友
卢湖川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202110911218.2A priority Critical patent/CN113610732B/zh
Publication of CN113610732A publication Critical patent/CN113610732A/zh
Application granted granted Critical
Publication of CN113610732B publication Critical patent/CN113610732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像信息处理技术领域,提供了一种基于交互对抗学习的全聚焦图像生成方法。本发明的全聚焦图像生成方法利用了交互对抗学习的方式,首先利用了非聚焦模糊检测任务与边缘检测任务的互补关系,更好地定位聚焦到非聚焦过渡区域的边界和检测纹理信息较少的同质区域;其次,目前常见的方法大多需要成对的非聚焦图像及其对应的全聚焦真值图像,而这种成对的图像难以获得。而本发明的方法不存在这个问题,仅利用不成对的全聚焦图像作参考,便可以实现具有全局一致性的、自然的全聚焦图像生成网络。

Description

基于交互对抗学习的全聚焦图像生成方法
技术领域
本发明属于图像信息处理技术领域,特别是涉及全聚焦图像生成的方法。
背景技术
目前,与本专利相关的方法包括两方面:第一是非聚焦模糊检测算法;第二是基于生成对抗的图像生成算法。
非聚焦模糊检测方法主要分为两类:基于人工设计的传统方法,这种大多通过人工设计提取特征的方式,通常会利用图像梯度、频率及其他特征来构造检测器,完成非聚焦模糊区域检测。Golestaneh等人在文献《Spatially-varying blur detection based onmultiscale fused and sorted transform coefficients of gradient magnitudes》中提出基于高频多尺度融合和梯度大小排序变换的空间变化模糊检测方法,在每个像素处进行局部计算,确定模糊水平,通过人工设计特征提取的方式,设定参数搭建模型,因此模型复杂度较低,但也存在难以提取深层特征、鲁棒性较差的问题;基于卷积神经网络的深度学习方法,在这些方法中,大多以源图像作为输入,以非聚焦区域检测真值作为监督,使用多尺度或者多级特征融合等信息获取最终的检测结果图。Park等人在文献《A unifiedapproach of multi-scale deep and hand-crafted features for defocus detection》中将基于人工设计提取的特征与卷积神经网络提取的特征进行了结合,在图像块级别上检测非聚焦模糊,其中卷积神经网络用于从图像块中提取高维特征,所有特征级联后用于构建非聚焦模糊特征向量,并输入到全连接的神经网络分类器中来确定非聚焦模糊程度。相比较传统检测方法而言,深度学习的方法能够利用卷积神经网络提取更深层次的特征,从而提高非聚焦模糊区域的检测效果。
基于生成对抗的图像生成算法大多通过生成对抗网络来完成图像风格的转换。Christian等人在文献《Photo-realistic single image super-resolution usingagenerative adversarialnetwork》中提出了一种用于图像超分辨率重建的生成对抗网络,通过鉴别器的对抗损失来使生成结果更加接近自然图像,通过内容损失来注重于视觉上的相似性而不是在像素空间上的相似性,从而提升图像生成算法的效果。
将生成过程分为两个阶段:对非聚焦模糊图进行估计;利用生成对抗网络生成全聚焦图像。主要思想是使用一个对抗损失与参考图像,迫使生成的图像是高质量的。这提供了一种利用生成对抗网络来克服成对图像依赖性的潜在解决方案。
针对非聚焦模糊检测阶段,定位聚焦到非聚焦过渡区域的边界和检测纹理信息较少的同质区域仍旧是两个具有挑战性的问题。对于全聚焦图像生成阶段,最大的难题是获取成对的聚焦与非聚焦图像,因此,如何利用不成对的聚焦与非聚焦图像来完成该任务是当前研究的焦点。
发明内容
针对非聚焦过渡区域边界定位问题和纹理信息较少的同质区域检测问题,提出了一种基于交互对抗的全聚焦图像生成方法。它可以适用于多样、复杂的非聚焦模糊场景,均可以得到较好的全聚焦图像。它通过镂空-填充的交互学习,优化检测结果中聚焦到非聚焦过渡区域的边界,减少同质区域的黑洞噪声,从而得到准确的非聚焦模糊检测图,进行后续全聚焦图像生成。
本发明的技术方案:
一种全聚焦图像生成方法,步骤如下:
分为非聚焦模糊检测和全聚焦图像生成两个阶段,其中非聚焦模糊检测采用镂空-填充交互学习的方式,改善模糊检测任务中聚焦到非聚焦过渡区域的边界检测,减少了聚焦区域中的黑洞噪声;全图像非聚焦区域检测是获得较好的全聚焦图像的前提,而不准确的检测结果会导致去模糊后的图像一致性差,利用这一特点,聚焦图像生成采用对抗学习的方式,将图像中检测到的非聚焦区域送入生成器做去模糊处理,再与聚焦区域进行组合,利用对抗学习与全聚焦图像尽可能的接近,这样在得到自然的全聚焦图像的同时,也约束了非聚焦模糊检测得到更加准确的检测结果。
在非聚焦模糊检测阶段,采用VGG16的前13层作为编码器,以双线性上采样结合卷积层作为解码器,从而构造基础网络来提取非聚焦特征,从而生成非聚焦模糊检测图;
E1-E5这5个卷积块和VGG16的前13层结构相同,由卷积层和池化层组成,是网络的特征编码器。E1的输入是一幅3×320×320的三通道RGB图像,E5的输出是512×20×20的特征。随后是D1-D4这4个解码块,每个解码块都是由两层卷积和双线性上采样层组成。对每个解码块的输出特征进行1×1的卷积降维和Sigmoid归一化,获得边缘或者区域检测结果再进行监督。考虑到区域监测的单任务中,网络提取的特征是偏区域的,边缘检测的任务中,网络提取的特征是偏边缘的。因此采用双支路交互的方式,交互方式如公式(1-1)所示,在两个支路网络中同时进行区域和边缘这两个任务,在中间过程进行双任务特征的镂空-填充交互,并在每一条支路的解码器中依次顺序重复镂空和填充的过程,对区域特征进行镂空能指导边缘特征的自身优化,对边缘特征进行填充有助于区域特征减少噪声。在各个阶段辅以监督,更新整体网络参数,从而提高网络提取特征的能力,提升非聚焦检测效果。
其中,Di_E和Di_R表示第i个边缘和区域的解码块,X表示解码块的输入特征,Y表示编码块的输出特征,表示特征图拼接,每一个检测结果都对应边缘或区域的监督。
得到模糊检测图后,进入全聚焦图像生成阶段,以12个卷积层作为生成器,以7个卷积层结合全局平均池化作为鉴别器,从而构造生成对抗网络来生成全聚焦图像,生成过程如公式(1-2)所示。
其中,表示第i个区域解码块所输出的非聚焦模糊检测图像,Gi(·)表示第i个全聚焦图像生成器,Ii表示其输出的全聚焦图像。
在网络训练阶段,为减小输出异常值的影响,非聚焦模糊区域检测结果使用的是均方差(MSE)损失函数:
其中,gdk表示非聚焦模糊检测图中第k个像素对应的真值,ydk表示其预测值,N表示图像中像素总个数。
非聚焦模糊边缘检测结果使用的是二分类交叉熵(BCE)损失函数:
其中,gek表示非聚焦模糊边缘检测图中第k个像素对应的真值,yek表示其预测值,N表示图像中像素总个数。
全聚焦图像生成结果使用的是生成对抗(GAN)损失函数:
其中,Di(·)表示鉴别器,Gi(·)表示全聚焦图像生成器,zc为全聚焦图像样本,Zc为全聚焦图像集合,其中zc∈Zc。zs为生成器输出的全聚焦图像样本,Zs为生成器输出的全聚焦图像集合,其中zs∈Zs表示取整个样本集合的平均值。
最终网络总的损失函数为:
其中λ1、λ2、λ3用于平衡三种损失。
本发明的有益效果:本发明的全聚焦图像生成方法利用了交互对抗学习的方式,首先利用了非聚焦模糊检测任务与边缘检测任务的互补关系,更好地定位聚焦到非聚焦过渡区域的边界和检测纹理信息较少的同质区域;其次,目前常见的方法大多需要成对的非聚焦图像及其对应的全聚焦真值图像,而这种成对的图像难以获得。而本发明的方法不存在这个问题,仅利用不成对的全聚焦图像作参考,便可以实现具有全局一致性的、自然的全聚焦图像生成网络。
附图说明
图1为全聚焦图像生成网络整体的训练方法流程图。
图2为全聚焦图像生成网络的整体网络结构示意图。
图3为生成器网络的具体结构示意图。
图4为鉴别器网络的具体结构示意图。
具体实施方式
以下结合附图和技术方案,进一步说明本发明的具体实施方式。
图一为全聚焦图像生成网络整体的训练方法流程图,首先搭建非聚焦模糊检测网络,得到中间输出,即非聚焦模糊检测图,然后将其同输入图像一同输入到全聚焦图像生成网络中,得到全聚焦图像,利用式(1-6)作为损失函数进行监督,当生成器与鉴别器达到最终的动态平衡点时,结束本模型的训练。经过这一过程,我们可以得到一个性能良好的全聚焦图像生成器。
总的来说,本方法设计了一种基于交互对抗学习的全聚焦图像生成方法,可以有效的完成具有全局一致性的、自然的全聚焦图像生成过程。

Claims (1)

1.一种基于交互对抗学习的全聚焦图像生成方法,其特征在于,步骤如下:
该基于交互对抗学习的全聚焦图像生成方法分为非聚焦模糊检测和全聚焦图像生成两个阶段;
第一阶段,非聚焦模糊检测采用镂空-填充交互学习的方式
在非聚焦模糊检测阶段,采用VGG16的前13层作为编码器,以双线性上采样结合卷积层作为解码器,构造基础网络来提取非聚焦特征,从而生成非聚焦模糊检测图;
E1-E5这5个卷积块和VGG16的前13层结构相同,由卷积层和池化层组成,是网络的特征编码器;E1的输入是一幅3×320×320的三通道RGB图像,E5的输出是512×20×20的特征;D1-D4这4个解码块,每个解码块都是由两层卷积和双线性上采样层组成;对每个解码块的输出特征进行1×1的卷积降维和Sigmoid归一化,获得边缘或区域检测结果再进行监督;考虑到区域监测的单任务中,网络提取的特征是偏区域的,边缘检测的任务中,网络提取的特征是偏边缘的;因此采用双支路交互的方式,交互方式如公式(1-1)所示,在两个支路网络中同时进行区域和边缘这两个任务,在中间过程进行双任务特征的镂空-填充交互,并在每一条支路的解码器中依次顺序重复镂空和填充的过程,对区域特征进行镂空能指导边缘特征的自身优化,对边缘特征进行填充有助于区域特征减少噪声;在各个阶段辅以监督,更新整体网络参数,从而提高网络提取特征的能力,提升非聚焦检测效果;
其中,Di_E和Di_R分别表示第i个边缘和区域的解码块,X表示解码块的输入特征,Y表示编码块的输出特征,表示特征图拼接,每一个检测结果都对应边缘或区域的监督;
第二阶段,全聚焦图像生成采用对抗学习的方式
得到模糊检测图后,进入全聚焦图像生成阶段,以12个卷积层作为生成器,以7个卷积层结合全局平均池化作为鉴别器,从而构造生成对抗网络来生成全聚焦图像,生成过程如公式(1-2)所示:
其中,表示第i个区域解码块所输出的非聚焦模糊检测图像,Gi(·)表示第i个全聚焦图像生成器,Ii表示其输出的全聚焦图像;
在网络训练阶段,为减小输出异常值的影响,非聚焦模糊区域检测结果使用的是均方差损失函数:
其中,gdk表示非聚焦模糊检测图中第k个像素对应的真值,ydk表示其预测值,N表示图像中像素总个数;
非聚焦模糊边缘检测结果使用的是二分类交叉熵损失函数:
其中,gek表示非聚焦模糊边缘检测图中第k个像素对应的真值,yek表示其预测值,N表示图像中像素总个数;
全聚焦图像生成结果使用的是生成对抗损失函数:
其中,Di(·)表示鉴别器,Gi(·)表示全聚焦图像生成器,zc为全聚焦图像样本,Zc为全聚焦图像集合,其中zc∈Zc;zs为生成器输出的全聚焦图像样本,Zs为生成器输出的全聚焦图像集合,其中zs∈Zs表示取整个样本集合的平均值;
最终网络总的损失函数为:
其中,λ1、λ2、λ3用于平衡三种损失。
CN202110911218.2A 2021-08-10 2021-08-10 基于交互对抗学习的全聚焦图像生成方法 Active CN113610732B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110911218.2A CN113610732B (zh) 2021-08-10 2021-08-10 基于交互对抗学习的全聚焦图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110911218.2A CN113610732B (zh) 2021-08-10 2021-08-10 基于交互对抗学习的全聚焦图像生成方法

Publications (2)

Publication Number Publication Date
CN113610732A CN113610732A (zh) 2021-11-05
CN113610732B true CN113610732B (zh) 2024-02-09

Family

ID=78307846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110911218.2A Active CN113610732B (zh) 2021-08-10 2021-08-10 基于交互对抗学习的全聚焦图像生成方法

Country Status (1)

Country Link
CN (1) CN113610732B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092520B (zh) * 2021-11-19 2023-12-26 电子科技大学长三角研究院(湖州) 基于生成对抗网络的地面运动目标重聚焦方法及系统
CN115439871A (zh) * 2022-09-13 2022-12-06 北京航星永志科技有限公司 档案自动化采集方法、装置和电子设备
CN117237235B (zh) * 2023-11-13 2024-02-02 大连理工大学 图像散焦检测攻击的去模糊方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533623A (zh) * 2019-09-06 2019-12-03 兰州交通大学 一种基于监督学习的全卷积神经网络多聚焦图像融合方法
CN111223057A (zh) * 2019-12-16 2020-06-02 杭州电子科技大学 基于生成对抗网络的增量式聚焦的图像到图像转换方法
CN112215788A (zh) * 2020-09-15 2021-01-12 湖北工业大学 基于改进生成对抗网络的多聚焦图像融合算法
CN113034404A (zh) * 2021-04-20 2021-06-25 北京大学深圳研究生院 一种基于多尺度对抗学习的交通图像去模糊方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533623A (zh) * 2019-09-06 2019-12-03 兰州交通大学 一种基于监督学习的全卷积神经网络多聚焦图像融合方法
CN111223057A (zh) * 2019-12-16 2020-06-02 杭州电子科技大学 基于生成对抗网络的增量式聚焦的图像到图像转换方法
CN112215788A (zh) * 2020-09-15 2021-01-12 湖北工业大学 基于改进生成对抗网络的多聚焦图像融合算法
CN113034404A (zh) * 2021-04-20 2021-06-25 北京大学深圳研究生院 一种基于多尺度对抗学习的交通图像去模糊方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于监督学习的全卷积神经网络多聚焦图像融合算法;李恒;张黎明;蒋美容;李玉龙;;激光与光电子学进展(08);145-152 *

Also Published As

Publication number Publication date
CN113610732A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
CN113610732B (zh) 基于交互对抗学习的全聚焦图像生成方法
Wang et al. Esrgan: Enhanced super-resolution generative adversarial networks
Meng et al. Single-image dehazing based on two-stream convolutional neural network
CN111242238B (zh) 一种rgb-d图像显著性目标获取的方法
CN113283444B (zh) 一种基于生成对抗网络的异源图像迁移方法
Wang et al. Domain adaptation for underwater image enhancement
CN112967178B (zh) 一种图像转换方法、装置、设备及存储介质
CN111696033B (zh) 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法
CN112381716B (zh) 一种基于生成式对抗网络的图像增强方法
CN113191969A (zh) 一种基于注意力对抗生成网络的无监督图像除雨方法
CN113205096B (zh) 一种基于注意力的联合图像与特征自适应的语义分割方法
CN113222875B (zh) 一种基于色彩恒常性的图像和谐化合成方法
CN113870124B (zh) 基于弱监督的双网络互激励学习阴影去除方法
Yue et al. IENet: Internal and external patch matching ConvNet for web image guided denoising
CN113762277B (zh) 一种基于Cascade-GAN的多波段红外图像融合方法
Zhang et al. Hierarchical attention aggregation with multi-resolution feature learning for GAN-based underwater image enhancement
CN116012255A (zh) 一种基于循环一致性生成对抗网络的低光图像增强方法
Lin et al. The lighter the better: rethinking transformers in medical image segmentation through adaptive pruning
Zhao et al. Detecting deepfake video by learning two-level features with two-stream convolutional neural network
CN115146763A (zh) 一种非配对图像阴影去除方法
Feng et al. U 2-Former: Nested U-shaped Transformer for Image Restoration via Multi-view Contrastive Learning
CN114639002A (zh) 一种基于多模式特征的红外与可见光图像融合方法
CN112686913B (zh) 基于边界注意力一致性的目标边界检测和目标分割模型
Zhang et al. A parallel and serial denoising network
CN114359626A (zh) 基于条件生成对抗网络的可见光-热红外显著目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant