CN114663678A - 一种基于eco-gan的图像增强系统及方法 - Google Patents

一种基于eco-gan的图像增强系统及方法 Download PDF

Info

Publication number
CN114663678A
CN114663678A CN202210410646.1A CN202210410646A CN114663678A CN 114663678 A CN114663678 A CN 114663678A CN 202210410646 A CN202210410646 A CN 202210410646A CN 114663678 A CN114663678 A CN 114663678A
Authority
CN
China
Prior art keywords
network
discriminator
generator
image
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210410646.1A
Other languages
English (en)
Inventor
张亚新
赵志强
唐金龙
吕帅帅
潘勉
于海滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202210410646.1A priority Critical patent/CN114663678A/zh
Publication of CN114663678A publication Critical patent/CN114663678A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于ECO‑GAN的图像增强系统及方法，包括生成器网络和判别器网络，生成器网络包括生成器特征提取子模块和图像修复子模块，在训练阶段对输入图像提取特征、修复，输出足以迷惑判别器的生成样本；判别器网络包括判别器特征提取子模块和分类器，在训练阶段对生成样本的真伪做判别。本发明利用深度学习算法对图像进行增强，算法高效、实时性强，通过重用特征提取网络，实现多种图像增强任务；应用范围广，基于深度学习的图像增强算法，依赖于成对数据训练，而不依赖于复杂多样的各种物理知识；并且功能多样，使用灵活。

Description

一种基于ECO-GAN的图像增强系统及方法
技术领域
本发明设计图像处理的技术领域，具体地说是一种基于ECO-GAN的图像增强方法。
背景技术
随着深度学习的兴起，计算机视觉的快速发展，推动了基于深度学习的计算机视觉技术在各大领域的广泛应用。由于深度学习的应用需要大量的高质量数据，而在计算机视觉领域就尤其需要海量的高质量图片数据。为了提升现已部署的视觉任务设备的性能，重构每个设备所花费的成本是非常高的。为了方便快捷地获取大量的高质量图片，使用图像处理软件所花费的人力成本同样非常高。如何方便快捷地获取高质量图像、并且即插即用的前置与已部署的视觉任务设备上成为了非常值得思考的问题。基于这些想法，本文确立了基于深度学习的快速图像增强算法ECO-GAN的图像增强技术研究。通过ECO-GAN来快速高效地生成高质量图像。通过从可用的大批量的训练数据集中生成对应的生成器模型，通过判别器模型与生成器模型相互对抗，异步更新，从而实现生成高质量图像的目的。
申请号为CN113870162A的发明专利(大连理工大学专利中心)，公布了一种融合光照和反射的低光图像增强方法，其方法包括在网络的每一阶段都将物理模型考虑在内，用网络的方式学习一种融合物理模型的传播，使得网络的每一步骤都依据成像的物理规律。该方法的缺点是过于依赖物理模型，每一步骤都要依据成像物理规律；该方法没有充分利用神经网络的学习能力，不具有泛化性；该方法只能够应对低光图像做图像增强，应用范围窄。
现有技术存在以下不足之处：
1、基于物理模型的图像增强算法二次开发难度高，对于物理知识要求高。
2、将成像物理规律与神经网络结合，用网络的方式学习物理模型，缩小了应用范围。
3、基于深度学习的图像增强算法需要大量的成对数据进行训练，且运算量庞大。
4、现阶段图像增强算法的功能单一，且没有优化多种图像增强的相互抑制影响。
发明内容
为解决现在技术存在的上述问题，本发明提供了一种基于ECO-GAN的图像增强系统及方法，不仅能够快速地完成多种图像增强任务，而且有效地提升了图像的质量，为基于深度学习的计算机视觉方面研究提供高质量的样本图片，并且独立于其他设备端到端训练，灵活方便，即插即用。
本发明的具体技术方案如下：
一种基于ECO-GAN的图像增强系统，包括生成器网络和判别器网络：
所述的生成器网络包括生成器特征提取子模块和图像修复子模块，在训练阶段对输入图像提取特征、修复，输出足以迷惑判别器的生成样本；所述的判别器网络包括判别器特征提取子模块和分类器，在训练阶段对生成样本的真伪做判别。
所述的生成器特征提取子模块：位于生成器网络的输入端，采用一段级联的下采样卷积神经网络，用于从原图像中提取特征；
所述的图像修复子模块：位于生成器网络的输出端，采用N段级联的上采样卷积神经网络，根据生成器特征提取子模块提取的特征分别完成多种类型的增强任务，输出生成样本供判别器判别真伪；
所述的判别器特征提取子模块：位于判别器网络的输入端，采用一段级联的VGG19网络，对输入的真实图像和生成样本进行特征提取；
所述的分类器：位于判别器网络的输出端，通过对比较生成样本与真实图像经过判别器特征提取子模块的输出进行比较，对生成样本的真伪做出判别。
进一步的，所述的下采样卷积神经网络和上采样卷积神经网络均采用ResNeSt网络模块，ResNeSt网络模块通过对多通道分成多个分支，逐分支处理其中通道间的注意力机制，得到蕴藏在通道间的信息，再把多个分支融合堆叠，结合skip connection跳跃连接的形式，缓解了梯度消失现象。
一段级联的下采样卷积神经网络和多段级联上采样卷积神经网络均由多个并联的分支组成。每个下采样卷积神经网络的分支由多个级联的下采样卷积子模块组成，每个分支的下采样卷积子模块由一个卷积层、一个批归一化层、一个激活层级联构成。
每个上采样卷积神经网络的分支由多个级联的上采样卷积子模块组成，每个分支的上采样卷积子模块由一个反卷积层、一个批归一化层、一个激活层级联构成。所述的激活层都采用了LeakyReLU激活函数。
进一步的，所述的图像修复子模块中采用了跨阶段融合模块，用于减少网络模型在同时处理N种增强类型任务时带来的相互抑制影响。跨阶段融合模块采用两个卷积层，分别接受当前分支的输入和前一阶段分支的输入，沿通道维度堆叠，再经过一个卷积层处理来自不同阶段的特征，以实现跨阶段的特征融合。跨阶段融合模块首先将当前阶段的通道数为ch的特征与前一阶段的通道数为ch的特征堆叠起来，得到通道数为2×ch的特征，再经过卷积层提取其中的信息，将特征浓缩，得到通道数为ch的特征，并继续送给当前阶段的网络。
进一步的，所述生成器网络输出的生成样本通过判别器网络进行判别，通过最小化生成样本与真实样本之间的差异损失函数优化生成器网络，使得生成器网络生成足以迷惑判别器的生成样本。
进一步的，所述判别器采用Patch-GAN，通过全局判别器和局部判别器综合判别生成器网络的输出样本的质量。
一种基于ECO-GAN的图像增强方法，步骤如下：
步骤1、采集原图像，分析原图像所需的图像增强类型，确定上采样卷积神经网络段数N。
步骤2、使用图像增强软件制作成对的数据集(原图像-真实图像)，供ECO-GAN学习。
步骤3、通过基于ECO-GAN的图像增强系统的生成器网络得到生成样本。
步骤4、生成样本通过判别器网络进行判别，通过最小化生成样本与真实样本之间的差异损失函数优化生成器网络，使得生成器网络生成足以迷惑判别器的生成样本。
判别器网络输出判别生成样本是否属于真实样本的判别结果，通过优化判别器网络分辨真伪的能力，使得判别器网络对生成器网络提出更高的要求，判别器网络与生成器网络相互促进，相互对抗，共同进步。
步骤5、通过训练好的生成器网络完成对待处理图像的增强。
将原图像输入基于ECO-GAN的图像增强系统的生成器网络中，使用生成器特征提取子模块的一段级联的下采样卷积神经网络，从原图像中提取特征；
进一步的，步骤3具体方如下：
所述的下采样卷积神经网络由多个分支构成，每个分支包括多个卷积模块，所述的卷积模块为卷积层、批归一化层和激活层的组合。所有激活层的激活函数采用LeakyReLU。批归一化层将用于卷积层提取的特征做按照最小批次进行归一化，然后送到激活层。激活层使用LeakyReLU函数将批归一化后的特征激活，然后将图像特征送到下一个卷积模块中。下采样卷积神经网络通过逐分支处理其中通道间的注意力机制、挖掘蕴藏在通道间的信息，再把多个分支融合堆叠，结合skip connection跳跃连接的形式，缓解了梯度消失现象。
所述的上采样卷积神经网络共有N段，根据下采样卷积神经网络提取到的图像特征对图像进行修复。每一段上采样卷积神经网络对应一种图像增强任务，每一段上采样卷积神经网络有多个分支，每个分支包括多个反卷积模块，所述的反卷积模块为反卷积层、批归一化层、激活层的组合，反卷积模块数量与下采样卷积神经网络的卷积模块保持一致。所有激活层的激活函数采用LeakyReLU。批归一化层将卷积神经网络提取的特征做按照最小批次进行归一化，然后送到下一层。采用跨阶段融合模块，减少网络模型在同时处理多种增强类型任务时带来的相互抑制影响。图像特征经过N段上采样卷积神经网络和跨阶段融合模块，通过第N段上采样卷积神经网络得到最终恢复的图像，称为生成样本。
进一步的，步骤4具体方法如下：
将生成样本和真实图像输入判别器网络，使用判别器特征提取子模块提取特征，传入分类器中，由分类器对输入的图像的真伪进行判别。
每个图像增强任务对应一组生成器损失函数，根据生成样本与真实样本内容差距的最小二乘损失，判别器对生成样本判别真伪的局部最小二乘损失和全局最小二乘损失构成判别器损失函数：
Figure BDA0003603537070000061
Figure BDA0003603537070000062
其中，Iraw、Igt分别表示原图像、真实图像。Lcontent表示生成样本与真实样本之间的内容损失，c、h、w分别是输出图片的通道数、高、宽，p表示像素点，G表示生成器模型。
Ladv表示判别器判别输入样本真伪产生的对抗损失，
Figure BDA0003603537070000071
和
Figure BDA0003603537070000072
分别表示局部判别损失和全局判别损失，D、G分别表示判别器模型和生成器模型，E表示取输入随机变量的期望。
通过最小化生成器损失，采用梯度下降算法进行求解，使得生成器网络生成足以迷惑判别器的生成样本。
判别器采用马尔可夫判别器Patch-GAN，通过全局判别器和局部判别器对生成样本判别真伪的最小二乘损失构建判别器损失函数。通过最小化判别器损失，采用梯度下降算法进行求解，提升判别器网络鉴别真伪的能力。通过不断优化判别器网络分辨真伪的能力，使得判别器网络对生成器网络提出更高的要求，判别器网络与生成器网络相互促进，相互对抗，共同进步。
进一步的，步骤2中成对的数据集是使用软件Adobe Lightroom制作的，所需数据集的格式统一为.jpg图片。
本发明的有益效果是：
本发明利用深度学习算法对图像进行增强，具有以下特点，1、算法高效、实时性强。通过重用特征提取网络，实现多种图像增强任务；2、应用范围广。基于深度学习的图像增强算法，依赖于成对数据训练，而不依赖于复杂多样的各种物理知识；3、功能多样，使用灵活。现阶段图像增强算法的功能单一，且没有考虑多种图像增强算法联合使用时带来的相互抑制影响。本发明仅通过一个卷积神经网络模型，实现多种图像增强任务。
附图说明
图1为本发明提供的基于ECO-GAN的图像增强方法的整体模型结构示意图。
图2为本发明提供的基于ECO-GAN的图像增强方法的训练流程图。
图3为本发明提供的基于ECO-GAN的图像增强方法的测试流程图。
图4是本发明提供的基于ECO-GAN的图像增强方法的优选实施例的总流程示意图。
具体实施方式
下面结合具体实施例来对本发明进行进一步说明，但并不将本发明局限于这个具体实施方式。本领域技术人员应该认识到，本发明涵盖了权利要求书范围内所可能包括的所有备选方案、改进方案和等效方案。
一种基于ECO-GAN的图像增强系统，包括生成器网络和判别器网络：
所述的生成器网络包括生成器特征提取子模块和图像修复子模块，在训练阶段对输入图像提取特征、修复，输出足以迷惑判别器的生成样本；所述的判别器网络包括判别器特征提取子模块和分类器，在训练阶段对生成样本的真伪做判别。
所述的生成器特征提取子模块：位于生成器网络的输入端，采用一段级联的下采样卷积神经网络，用于从原图像中提取特征；
所述的图像修复子模块：位于生成器网络的输出端，采用N段级联的上采样卷积神经网络，根据生成器特征提取子模块提取的特征分别完成多种类型的增强任务，输出生成样本供判别器判别真伪；
所述的判别器特征提取子模块：位于判别器网络的输入端，采用一段级联的VGG19网络，对输入的真实图像和生成样本进行特征提取；
所述的分类器：位于判别器网络的输出端，通过对比较生成样本与真实图像经过判别器特征提取子模块的输出进行比较，对生成样本的真伪做出判别。
进一步的，所述的下采样卷积神经网络和上采样卷积神经网络均采用ResNeSt网络模块，ResNeSt网络模块通过对多通道分成多个分支，逐分支处理其中通道间的注意力机制，得到蕴藏在通道间的信息，再把多个分支融合堆叠，结合skip connection跳跃连接的形式，缓解了梯度消失现象。
一段级联的下采样卷积神经网络和多段级联上采样卷积神经网络均由多个并联的分支组成。每个下采样卷积神经网络的分支由多个级联的下采样卷积子模块组成，每个分支的下采样卷积子模块由一个卷积层、一个批归一化层、一个激活层级联构成。
每个上采样卷积神经网络的分支由多个级联的上采样卷积子模块组成，每个分支的上采样卷积子模块由一个反卷积层、一个批归一化层、一个激活层级联构成。所述的激活层都采用了LeakyReLU激活函数。
所述图像增强系统能够处理N种类型的图像增强，且网络结构采用一段下采样神经网络和N段上采样网络结构，每段上采样网络结构分别能够用于处理一种类型的图像增强，通过复用下采样神经网络提取特征能够减少计算量。
所述的图像修复子模块中采用了跨阶段融合模块，用于减少网络模型在同时处理N种增强类型任务时带来的相互抑制影响。跨阶段融合模块采用两个卷积层，分别接受当前分支的输入和前一阶段分支的输入，沿通道维度堆叠，再经过一个卷积层处理来自不同阶段的特征，以实现跨阶段的特征融合。跨阶段融合模块首先将当前阶段的通道数为ch的特征与前一阶段的通道数为ch的特征堆叠起来，得到通道数为2×ch的特征，再经过卷积层提取其中的信息，将特征浓缩，得到通道数为ch的特征，并继续送给当前阶段的网络。
所述生成器网络输出的生成样本通过判别器网络进行判别，通过最小化生成样本与真实样本之间的差异损失函数优化生成器网络，使得生成器网络生成足以迷惑判别器的生成样本。
所述判别器采用Patch-GAN，通过全局判别器和局部判别器综合判别生成器网络的输出样本的质量。
所述判别器网络输出判别生成样本是否属于真实样本的判别结果，通过优化判别器网络分辨真伪的能力，使得判别器网络对生成器网络提出更高的要求，判别器网络与生成器网络相互促进，相互对抗，共同进步。
一种基于ECO-GAN的图像增强方法，步骤如下：
步骤1、采集原图像，分析原图像所需的图像增强类型，确定上采样卷积神经网络段数N。
步骤2、使用图像增强软件制作成对的数据集(原图像-真实图像)，供ECO-GAN学习。
步骤3、通过基于ECO-GAN的图像增强系统的生成器网络得到生成样本。
所述的下采样卷积神经网络由多个分支构成，每个分支包括多个卷积模块，所述的卷积模块为卷积层、批归一化层和激活层的组合。所有激活层的激活函数采用LeakyReLU。批归一化层将用于卷积层提取的特征做按照最小批次进行归一化，然后送到激活层。激活层使用LeakyReLU函数将批归一化后的特征激活，然后将图像特征送到下一个卷积模块中。下采样卷积神经网络通过逐分支处理其中通道间的注意力机制、挖掘蕴藏在通道间的信息，再把多个分支融合堆叠，结合skip connection跳跃连接的形式，缓解了梯度消失现象。
所述的上采样卷积神经网络共有N段，根据下采样卷积神经网络提取到的图像特征对图像进行修复。每一段上采样卷积神经网络对应一种图像增强任务，每一段上采样卷积神经网络有多个分支，每个分支包括多个反卷积模块，所述的反卷积模块为反卷积层、批归一化层、激活层的组合，反卷积模块数量与下采样卷积神经网络的卷积模块保持一致。所有激活层的激活函数采用LeakyReLU。批归一化层将卷积神经网络提取的特征做按照最小批次进行归一化，然后送到下一层。采用跨阶段融合模块，减少网络模型在同时处理多种增强类型任务时带来的相互抑制影响。图像特征经过N段上采样卷积神经网络和跨阶段融合模块，通过第N段上采样卷积神经网络得到最终恢复的图像，称为生成样本。
步骤4、生成样本通过判别器网络进行判别，通过最小化生成样本与真实样本之间的差异损失函数优化生成器网络，使得生成器网络生成足以迷惑判别器的生成样本。
判别器网络输出判别生成样本是否属于真实样本的判别结果，通过优化判别器网络分辨真伪的能力，使得判别器网络对生成器网络提出更高的要求，判别器网络与生成器网络相互促进，相互对抗，共同进步。
将生成样本和真实图像输入判别器网络，使用判别器特征提取子模块提取特征，传入分类器中，由分类器对输入的图像的真伪进行判别。
每个图像增强任务对应一组生成器损失函数，根据生成样本与真实样本内容差距的最小二乘损失，判别器对生成样本判别真伪的局部最小二乘损失和全局最小二乘损失构成判别器损失函数：
Figure BDA0003603537070000121
Figure BDA0003603537070000122
其中，Iraw、Igt分别表示原图像、真实图像。Lcontent表示生成样本与真实样本之间的内容损失，c、h、w分别是输出图片的通道数、高、宽，p表示像素点，G表示生成器模型。
Ladv表示判别器判别输入样本真伪产生的对抗损失，
Figure BDA0003603537070000131
和
Figure BDA0003603537070000132
分别表示局部判别损失和全局判别损失，D、G分别表示判别器模型和生成器模型，E表示取输入随机变量的期望。
通过最小化生成器损失，采用梯度下降算法进行求解，使得生成器网络生成足以迷惑判别器的生成样本。
判别器采用马尔可夫判别器Patch-GAN，通过全局判别器和局部判别器对生成样本判别真伪的最小二乘损失构建判别器损失函数。通过最小化判别器损失，采用梯度下降算法进行求解，提升判别器网络鉴别真伪的能力。通过不断优化判别器网络分辨真伪的能力，使得判别器网络对生成器网络提出更高的要求，判别器网络与生成器网络相互促进，相互对抗，共同进步。
步骤5、通过训练好的生成器网络完成对待处理图像的增强。
将原图像输入基于ECO-GAN的图像增强系统的生成器网络中，使用生成器特征提取子模块的一段级联的下采样卷积神经网络，从原图像中提取特征；
步骤2中成对的数据集是使用软件Adobe Lightroom制作的，所需数据集的格式统一为.jpg图片。
下面对本发明的整体模型结构示意图进行详细介绍。
请参阅图1，图1是本发明实施例提供的一种基于ECO-GAN的图像增强方法的整体模型结构示意图：
101、下采样卷积神经网络
其中，在本发明的下采样卷积神经网络中，输入图像可以为灰度图像或者彩色图像，图像经过若干下采样卷积模块提取特征。每个卷积模块由一个卷积层、一个批归一化层和一个激活层组成，卷积模块数量可以视实际应用场景而定。
102、上采样卷积神经网络
其中，在本发明的上采样卷积神经网络中，提取到的特征可以分别经过N个上采样分支。特征经过若干上采样反卷积模块恢复图像，每个反卷积模块由一个反卷积层、一个批归一化层和一个激活层组成，反卷积模块数量和下采样卷积模块的数量相同。
103、跨阶段融合模块
其中，在本发明的上采样卷积神经网络中，采用了跨阶段融合模块，位于当前阶段与上一阶段中间，它采用全卷积的形式，通过对不同阶段的特征做整合，缓解了不同图像增强分支之间相互抑制的影响。
104、全局判别器和局部判别器
判别器对输入的图像是否属于真实图像做判别，进而引导生成器产生足够迷惑判别器的生成样本。其中，在本发明的判别器中，采用局部判别器和全局判别器联合对输入的图像做判别，进而，可以实现无论是对图像的局部还是全局做针对性增强。
请参阅图2，图2是本发明实施例提供的一种基于ECO-GAN的图像增强方法的训练流程图，包括训练数据集步骤200。
在训练数据集步骤200中，执行步骤201，获取原图像，分析所需的图像增强类型，确定上采样分支段数。
执行步骤202，使用图像增强软件制作成对数据集，得到成对的原图像和真实图像，以供ECO-GAN学习。
执行步骤203，原图像输入生成器，经过多种类型的图像增强，得到最终的生成样本。
执行步骤204，真实图像和生成样本输入判别器，经过判别器鉴别，对生成样本的真伪做出评估。
请参阅图3，图3是本发明实施例提供的一种基于ECO-GAN的图像增强方法，包括测试数据集步骤300。
在测试数据集步骤300中，执行步骤301，获取原图像。
执行步骤302，原图像输入生成器，经过多种类型的图像增强，得到最终的生成样本。
优选实施例一
请参阅图4，图4是本发明实施例提供的一种基于ECO-GAN的图像增强方法的总流程示意图。
执行步骤401，获取原图像，分析所需的图像增强类型。
执行步骤402，使用图像增强软件制作成对的数据集，共ECO-GAN学习。原图像输入生成器。
执行步骤403，使用一段下采样卷积神经网络从图像中提取特征。这一段下采样卷积神经网络由多段分支构成，每个分支是多个卷积层、批归一化层、激活层的组合。所有激活层的激活函数采用LeakyReLU。批归一化层将卷积神经网络提取的特征做按照最小批次进行归一化，然后送到下一层。激活层使用LeakyReLU函数将批归一化后的特征激活，然后将图像特征送到下一层中。下采样卷积神经网络通过逐分支处理其中通道间的注意力机制、挖掘蕴藏在通道间的信息，再把多个分支融合堆叠，结合skip connection跳跃连接的形式，缓解了梯度消失现象。使用三段上采样卷积神经网络，根据提取到的图像特征对图像进行修复。这三段上采样卷积神经网络的每一段对应一种图像增强任务，每一段有多个分支，每个分支是多个反卷积层、批归一化层、激活层的组合。所有激活层的激活函数采用LeakyReLU。批归一化层将卷积神经网络提取的特征做按照最小批次进行归一化，然后送到下一层。所述图像增强方法采用了跨阶段融合模块，用于减少网络模型在同时处理多种增强类型任务时带来的相互抑制影响。图像特征经过三段上采样卷积神经网络和跨阶段融合模块，由第三段得到最终恢复所得图像，称为生成样本。
执行步骤404，生成样本输入判别器，使用一段下采样卷积神经网络提取特征，传入后续的分类器。由分类器对输入的图像的真伪进行判别。所述优选实施例采用的模型对于三个图像增强目标，每个目标对应一组生成器损失函数，根据生成样本与真实样本的最小二乘损失和判别器对生成样本判别真伪的交叉熵损失构建生成器损失函数。通过最小化生成器损失，采用梯度下降算法进行求解，使得生成器网络生成足以迷惑判别器的生成样本。判别器采用Patch-GAN，通过全局判别器和局部判别器对生成样本判别真伪的交叉熵损失构建判别器损失函数。通过最小化判别器损失，采用梯度下降算法进行求解，提升判别器网络鉴别真伪的能力。通过不断优化判别器网络分辨真伪的能力，使得判别器网络对生成器网络提出更高的要求，判别器网络与生成器网络相互促进，相互对抗，共同进步。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是对本发明的优选实施例及原理进行了详细说明，但并非是对本发明的限制。对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。

Claims (9)

1.一种基于ECO-GAN的图像增强系统，其特征在于，包括生成器网络和判别器网络：
所述的生成器网络包括生成器特征提取子模块和图像修复子模块，在训练阶段对输入图像提取特征、修复，输出足以迷惑判别器的生成样本；所述的判别器网络包括判别器特征提取子模块和分类器，在训练阶段对生成样本的真伪做判别；
所述的生成器特征提取子模块：位于生成器网络的输入端，采用一段级联的下采样卷积神经网络，用于从原图像中提取特征；
所述的图像修复子模块：位于生成器网络的输出端，采用N段级联的上采样卷积神经网络，根据生成器特征提取子模块提取的特征分别完成多种类型的增强任务，输出生成样本供判别器判别真伪；
所述的判别器特征提取子模块：位于判别器网络的输入端，采用一段级联的VGG19网络，对输入的真实图像和生成样本进行特征提取；
所述的分类器：位于判别器网络的输出端，通过对比较生成样本与真实图像经过判别器特征提取子模块的输出进行比较，对生成样本的真伪做出判别。
2.根据权利要求1所述的一种基于ECO-GAN的图像增强系统，其特征在于，所述的下采样卷积神经网络和上采样卷积神经网络均采用ResNeSt网络模块，ResNeSt网络模块通过对多通道分成多个分支，逐分支处理其中通道间的注意力机制，得到蕴藏在通道间的信息，再把多个分支融合堆叠，结合skip connection跳跃连接的形式，缓解了梯度消失现象；
一段级联的下采样卷积神经网络和多段级联上采样卷积神经网络均由多个并联的分支组成；每个下采样卷积神经网络的分支由多个级联的下采样卷积子模块组成，每个分支的下采样卷积子模块由一个卷积层、一个批归一化层、一个激活层级联构成；
每个上采样卷积神经网络的分支由多个级联的上采样卷积子模块组成，每个分支的上采样卷积子模块由一个反卷积层、一个批归一化层、一个激活层级联构成；所述的激活层都采用了LeakyReLU激活函数。
3.根据权利要求2所述的一种基于ECO-GAN的图像增强系统，其特征在于，所述的图像修复子模块中采用了跨阶段融合模块，用于减少网络模型在同时处理N种增强类型任务时带来的相互抑制影响；跨阶段融合模块采用两个卷积层，分别接受当前分支的输入和前一阶段分支的输入，沿通道维度堆叠，再经过一个卷积层处理来自不同阶段的特征，以实现跨阶段的特征融合；跨阶段融合模块首先将当前阶段的通道数为ch的特征与前一阶段的通道数为ch的特征堆叠起来，得到通道数为2×ch的特征，再经过卷积层提取其中的信息，将特征浓缩，得到通道数为ch的特征，并继续送给当前阶段的网络。
4.根据权利要求3所述的一种基于ECO-GAN的图像增强系统，其特征在于，所述生成器网络输出的生成样本通过判别器网络进行判别，通过最小化生成样本与真实样本之间的差异损失函数优化生成器网络，使得生成器网络生成足以迷惑判别器的生成样本。
5.根据权利要求4所述的一种基于ECO-GAN的图像增强系统，其特征在于，所述判别器采用Patch-GAN，通过全局判别器和局部判别器综合判别生成器网络的输出样本的质量。
6.一种基于ECO-GAN的图像增强方法，其特征在于，步骤如下：
步骤1、采集原图像，分析原图像所需的图像增强类型，确定上采样卷积神经网络段数N；
步骤2、使用图像增强软件制作成对的数据集(原图像-真实图像)，供ECO-GAN学习；
步骤3、通过基于ECO-GAN的图像增强系统的生成器网络得到生成样本；
步骤4、生成样本通过判别器网络进行判别，通过最小化生成样本与真实样本之间的差异损失函数优化生成器网络，使得生成器网络生成足以迷惑判别器的生成样本；
判别器网络输出判别生成样本是否属于真实样本的判别结果，通过优化判别器网络分辨真伪的能力，使得判别器网络对生成器网络提出更高的要求，判别器网络与生成器网络相互促进，相互对抗，共同进步；
步骤5、通过训练好的生成器网络完成对待处理图像的增强；
将原图像输入基于ECO-GAN的图像增强系统的生成器网络中，使用生成器特征提取子模块的一段级联的下采样卷积神经网络，从原图像中提取特征。
7.根据权利要求6所述的一种基于ECO-GAN的图像增强方法，其特征在于，步骤3具体方如下：
所述的下采样卷积神经网络由多个分支构成，每个分支包括多个卷积模块，所述的卷积模块为卷积层、批归一化层和激活层的组合；所有激活层的激活函数采用LeakyReLU；批归一化层将用于卷积层提取的特征做按照最小批次进行归一化，然后送到激活层；激活层使用LeakyReLU函数将批归一化后的特征激活，然后将图像特征送到下一个卷积模块中；下采样卷积神经网络通过逐分支处理其中通道间的注意力机制、挖掘蕴藏在通道间的信息，再把多个分支融合堆叠，结合skip connection跳跃连接的形式，缓解了梯度消失现象；
所述的上采样卷积神经网络共有N段，根据下采样卷积神经网络提取到的图像特征对图像进行修复；每一段上采样卷积神经网络对应一种图像增强任务，每一段上采样卷积神经网络有多个分支，每个分支包括多个反卷积模块，所述的反卷积模块为反卷积层、批归一化层、激活层的组合，反卷积模块数量与下采样卷积神经网络的卷积模块保持一致；所有激活层的激活函数采用LeakyReLU；批归一化层将卷积神经网络提取的特征做按照最小批次进行归一化，然后送到下一层；采用跨阶段融合模块，减少网络模型在同时处理多种增强类型任务时带来的相互抑制影响；图像特征经过N段上采样卷积神经网络和跨阶段融合模块，通过第N段上采样卷积神经网络得到最终恢复的图像，称为生成样本。
8.根据权利要求7所述的一种基于ECO-GAN的图像增强方法，其特征在于，步骤4具体方法如下：
将生成样本和真实图像输入判别器网络，使用判别器特征提取子模块提取特征，传入分类器中，由分类器对输入的图像的真伪进行判别；
每个图像增强任务对应一组生成器损失函数，根据生成样本与真实样本内容差距的最小二乘损失，判别器对生成样本判别真伪的局部最小二乘损失和全局最小二乘损失构成判别器损失函数：
Figure FDA0003603537060000051
Figure FDA0003603537060000052
其中，Iraw、Igt分别表示原图像、真实图像；Lcontent表示生成样本与真实样本之间的内容损失，c、h、w分别是输出图片的通道数、高、宽，p表示像素点，G表示生成器模型；
Ladv表示判别器判别输入样本真伪产生的对抗损失，
Figure FDA0003603537060000053
和
Figure FDA0003603537060000054
分别表示局部判别损失和全局判别损失，D、G分别表示判别器模型和生成器模型，E表示取输入随机变量的期望；
通过最小化生成器损失，采用梯度下降算法进行求解，使得生成器网络生成足以迷惑判别器的生成样本；
判别器采用马尔可夫判别器Patch-GAN，通过全局判别器和局部判别器对生成样本判别真伪的最小二乘损失构建判别器损失函数；通过最小化判别器损失，采用梯度下降算法进行求解，提升判别器网络鉴别真伪的能力；通过不断优化判别器网络分辨真伪的能力，使得判别器网络对生成器网络提出更高的要求，判别器网络与生成器网络相互促进，相互对抗，共同进步。
9.根据权利要求6或7或8所述的一种基于ECO-GAN的图像增强方法，其特征在于，步骤2中成对的数据集是使用软件AdobeLightroom制作的，所需数据集的格式统一为.jpg图片。
CN202210410646.1A 2022-04-19 2022-04-19 一种基于eco-gan的图像增强系统及方法 Pending CN114663678A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210410646.1A CN114663678A (zh) 2022-04-19 2022-04-19 一种基于eco-gan的图像增强系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210410646.1A CN114663678A (zh) 2022-04-19 2022-04-19 一种基于eco-gan的图像增强系统及方法

Publications (1)

Publication Number Publication Date
CN114663678A true CN114663678A (zh) 2022-06-24

Family

ID=82035461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210410646.1A Pending CN114663678A (zh) 2022-04-19 2022-04-19 一种基于eco-gan的图像增强系统及方法

Country Status (1)

Country Link
CN (1) CN114663678A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740452A (zh) * 2023-06-19 2023-09-12 北京数美时代科技有限公司 一种基于图像修复的图像分类方法、系统和存储介质
CN116844192A (zh) * 2023-07-19 2023-10-03 滁州学院 一种低质量指纹图像的增强处理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740452A (zh) * 2023-06-19 2023-09-12 北京数美时代科技有限公司 一种基于图像修复的图像分类方法、系统和存储介质
CN116740452B (zh) * 2023-06-19 2023-12-22 北京数美时代科技有限公司 一种基于图像修复的图像分类方法、系统和存储介质
CN116844192A (zh) * 2023-07-19 2023-10-03 滁州学院 一种低质量指纹图像的增强处理方法
CN116844192B (zh) * 2023-07-19 2024-04-12 滁州学院 一种低质量指纹图像的增强处理方法

Similar Documents

Publication Publication Date Title
CN111639692B (zh) 一种基于注意力机制的阴影检测方法
CN110210539B (zh) 多级深度特征融合的rgb-t图像显著性目标检测方法
CN104834933B (zh) 一种图像显著性区域的检测方法和装置
CN114663678A (zh) 一种基于eco-gan的图像增强系统及方法
Zhou et al. Attention-guided RGBD saliency detection using appearance information
CN111242181B (zh) 基于图像语义和细节的rgb-d显著性物体检测器
CN114724222B (zh) 一种基于多模态的ai数字人情感分析方法
CN114119975A (zh) 一种语言引导的跨模态实例分割方法
CN113537110B (zh) 一种融合帧内帧间差异的虚假视频检测方法
CN109345455B (zh) 图像鉴别方法、鉴别器和计算机可读存储介质
CN114898432A (zh) 基于多特征融合的伪造人脸视频检测方法及系统
CN113963170A (zh) 一种基于交互式特征融合的rgbd图像显著性检测方法
CN112052808A (zh) 细化深度图的人脸活体检测方法、装置、设备及存储介质
CN116152658A (zh) 一种基于域对抗特征融合网络的林火烟雾检测方法
CN114331946A (zh) 一种图像数据处理方法、设备以及介质
CN117218351A (zh) 基于局部和全局上下文感知的三维点云语义分割方法
CN114596608A (zh) 一种基于多线索的双流视频人脸伪造检测方法及系统
CN112529908B (zh) 一种基于级联卷积网络的数字病理图像分割方法及其模型
CN113743192A (zh) 静默式人脸活体检测模型及方法
CN117191268A (zh) 一种基于多模态数据的油气管道泄漏信号检测方法及系统
CN116402761A (zh) 一种基于双通道多尺度注意力机制的光伏板裂缝检测方法
CN114639166A (zh) 一种基于动作识别的考场异常行为识别方法
CN114782568A (zh) 多尺度阶段特征逐级融合的遥感图像着色方法及系统
Sahib et al. Deep fake Image Detection based on Modified minimized Xception Net and DenseNet
CN117635645B (zh) 一种复杂稠密网络下的并置多尺度融合边缘检测模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination