CN113160086A - 基于深度学习的图像去摩尔纹方法 - Google Patents

基于深度学习的图像去摩尔纹方法 Download PDF

Info

Publication number
CN113160086A
CN113160086A CN202110466878.4A CN202110466878A CN113160086A CN 113160086 A CN113160086 A CN 113160086A CN 202110466878 A CN202110466878 A CN 202110466878A CN 113160086 A CN113160086 A CN 113160086A
Authority
CN
China
Prior art keywords
image
network
branch
conv
moire
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110466878.4A
Other languages
English (en)
Other versions
CN113160086B (zh
Inventor
李春国
刘茵茵
刘周勇
杨绿溪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202110466878.4A priority Critical patent/CN113160086B/zh
Publication of CN113160086A publication Critical patent/CN113160086A/zh
Application granted granted Critical
Publication of CN113160086B publication Critical patent/CN113160086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的图像去摩尔纹方法，属于图像处理领域。本发明将图像去摩尔纹的任务分为两个子任务，纹理去除和颜色纠正，针对每个子任务设计专门的模块。对于纹理去除，使用卷积网络拟合一个滤波器；对于颜色纠正，基于通道注意力提升网络在色彩调整上的效果。网络整体使用多分辨率的结构，共六个分支，结合频域和空间域两个方面的特征，最终完成了对高分辨率图像的去摩尔纹工作。

Description

基于深度学习的图像去摩尔纹方法
技术领域
本发明涉及图像处理技术领域，尤其是基于深度学习的图像去摩尔纹方法。
背景技术
图像摩尔纹是一种出现在图片上的彩色的不规律条纹，是差拍原理的一种表现。简单地说，当两个不同频率的等幅正弦波叠加时，合成信号的幅度会按照两个频率之差变化，当两者的频率接近时，就会出现摩尔纹。所以如果感光元件里面像素的空间频率与影像中条纹的空间频率接近，就很容易产生摩尔纹。
这种彩色的不规律条纹会严重影响图片的观感，降低图片的质量，严重时还会模糊图片中包含的信息，如图1所示。所以，我们需要一种方法，在保证图片原有信息的同时，去除摩尔纹。
相比较于传统的图像恢复任务，类似于去噪去雾等，去摩尔纹更加困难。因为，在空间上，摩尔纹覆盖面积广，同时，不同区域的摩尔纹形状颜色会各不相同；在频域上，摩尔纹出现的频段不固定，并且通常一张图片中的摩尔纹会占据好几个频段，如图2的小波变换图所示。摩尔纹的这些特性使得传统的图像恢复方法并不使用于图像去摩尔纹，我们需要设计一个新的针对性的方案，专门用于摩尔纹的去除任务。
随着神经网络的发展和应用的推广，越来越多的问题都可以用它解决，并且取得良好的效果，图像去摩尔纹任务也不例外。2017年，Anselm等人使用一个简单的全卷积网络增强图像的质量，去除图像上大规模分布的摩尔纹。他们设计的网络由一个输入层、五个隐藏层和一个输出层组成，激活函数选择使用ReLU函数，考虑到摩尔纹在空间上的分布广泛，卷积核的大小K被设置为一个固定的值11。该网络结构简单，因此很容易移植到GPU或者硬件上，成为相机内的一个处理步骤，但它对于去除摩尔纹的效果非常有限。
2018年Sun等人使用全卷积网络在不同的分辨率图片中去摩尔纹，最上层的分支处理原图分辨率的图片，越往下层处理的图片分辨率越小，一共有五个分支。降采样使用的是两层卷积神经网络，两层卷积神经网络后接的是五层不改变分辨率大小的卷积神经网络，它的作用是消除特定频率段的摩尔纹。在这之后，采用反卷积神经网络对不同分辨率的图片进行放大，使得它们都和原图大小一致，并添加一层卷积神经网络被用来改变通道数量。最后五个分支的结果都被简单的加和，得到最终的输出。虽然该网络使用了多分支的结构，但是对于不同分支不同分辨率的图片所采用的处理网络结构相同，但不同分辨率的图片所蕴含的信息是有差异的。所以，该网络对于小尺度的摩尔纹的去除效果非常好，但是当遇到非常大尺度的摩尔纹，该网络的处理效果就会变得特别有限。
同年Liu等人设计了一个深度卷积神经网络DCNN，由粗调整和细节优化两部分组成。粗调整部分的主体是16个残差网络结构，处理的是降采样后的图像；细节优化部分首先是残差学习阶段，目的是将粗调整后的图像升采样，并且使用VDSR得到高分辨率的图像；检索阶段接收残差学习阶段的输出，与原始的输入合并后使用两个卷积层处理得到最终的结果。Liu等人将GAN引入到网络的训练过程中，目的是让网络输出的结果更加接近真实的相机拍摄的图片。这个结构能够有效地去除摄像机获得的图像的摩尔纹，但是这一结构使用了多层残差结构，网络层数多，损失函数单一，训练方法复杂，图片处理需要很长的时间。
2019年Gao等人受U-Net启发，提出了多尺度特征强化网络MSFE。这一网络结构由四层的编码器和四层的解码器，不论是编码器还是解码器主体都是改进后的残差结构，编码器中使用最大池化降采样，相对的解码器每一层分支输出升采样，最后求和得到网络结构的输出。类似于U-Net中编码器和解码器之间的连接，MSFE构建了一个特征强化分支，用于在低层次特征层嵌入高层次特征时强化高层次的特征，防止高层次特征被低层次特征模糊。最后，在解码器的每一层都输出一个分支结果，为了使得分支结果可以与MSFE的输出层结果融合，还需使用了反卷积升采样。这一论文再次指出了多尺度在图像去摩尔纹中的重要作用，但这种基于U-net的多分支网络结构，每个分支的网络结构过于简单，训练使用的损失函数也很单一，这些不足成为制约网络性能的重要原因。
随后，Cheng等人将输入的摩尔纹图像降采样为不同的分辨率，对于不同的分辨率进行去摩尔纹操作。和前文相似的是本文依然选择残差结构构建主网络，在残差结构中加入通道注意力机制。但该通道注意力机制较为单一，提取的特征也有限，制约了网络的性能的提升。另一方面，该网络的计算无摩尔纹的清晰RGB图片和网络恢复出来的RGB图片的L2损失，损失函数过于单一，也是制约网络性能提升的一个因素。
图像去摩尔纹算法集中在三个方面：多尺度信息融合、注意力机制、损失函数的设计。
摩尔纹分布在不同的空间和频率范围内，是一种动态纹理，具有不同的颜色和形状。针对摩尔纹的特性，需要设计一种多分辨率图像处理网络，获得不同频段的特征，联合去除不同区域的摩尔纹。但是多分辨率的图像处理网络具体的分支个数，并不是越多越好。因为，每个分支需要处理的图片分辨率不同，网络结构都应该不同，相同的网络结构不利于提取不同分辨率下的不同图像特征和细节信息。当网络的分支越多，最底层分支所需要处理的图像的分辨率越小，需要我们使用的去摩尔纹并且恢复细节信息的网络也越复杂。一方面，会增加网络的复杂度，消耗更多的处理时间，另一方面，在恢复细节信息时的损耗也难以避免，导致最终融合所有分支结果时，引入不必要的细节损失，降低性能。所以分支的数量也是我们需要考量的一个重要参数。
2.注意力机制最早在自然语言处理和机器翻译对齐文本中提出并使用，并取得了不错的效果。在计算机视觉领域，也有一些学者探索了在视觉和卷积神经网络中使用注意力机制来提升网络性能的方法。类似于空间注意力、通道注意力等，都被证实有利于提高网络性能。现有的网络结构中已经对注意力机制的应用做出了尝试，但他们采用的注意力结构简单，作用有限，设计一种针对动态摩尔纹的注意力机制，有利于简化网络提升效果。
3.Zhao等人提出，在目前的图像恢复任务中主要使用的还是L2损失函数，L2损失的好处有很多，例如可以直接提高PSNR等指标。但是L2指标与人类感知的图像质量相关性较差，例如其假设噪声与图像的局部区域无关。在有些情况下，L1损失函数获得的图像质量会更好。去摩尔纹任务是一个相对比较复杂的图像恢复任务，组合型的损失函数有利于网络从不同的角度接近无摩尔纹的原图。
发明内容
本发明要解决的技术问题是提出基于深度学习的图像去摩尔纹方法，本发明基于深度学习的图像去摩尔纹方法是一种多分辨率图像处理网络，可以通过控制分支的数量在图片的细节恢复和摩尔纹去除两个目标上寻求最佳的结果；设计了一种针对动态摩尔纹的注意力机制，有利于简化网络提升效果；且采用了组合型的损失函数有利于网络从不同的角度接近无摩尔纹的原图。
本发明提出了基于深度学习的图像去摩尔纹方法，所述基于深度学习的图像去摩尔纹方法是一种多分辨率网络结构，包括去除纹理模块和色彩均衡模块。本发明的多分辨率网络有多个分支，将输入的图像降采样，得到不同的分辨率图片，分别进行去摩尔纹操作，最后融合的呢分支处理后的图像，获得最终的结果。
本发明基于深度学习的图像去摩尔纹方法，具体包括如下步骤：
步骤1：构建网络模型
对输入的图像首先进行空间域到频域上的变换，所述网络模型是一个多分辨率网络，第一个分支的输入不需要改变图像分辨率、后面的分支的输入都需要进行降采样，得到不同的分辨率图片，每个分支中均包括去处纹理模块和颜色均衡模块，但对于不同的分支，模块的数量不同，具体为
Ri＝[(Filter+CCM+conv+relu)×i(relu(conv(Ii)))]+Ii
Ri表示的是第i个分支经过了纹理去除和颜色纠正之后的输出，Ii表示的是第i个分支的输入。Filter代表了去除纹理模块，CCM代表的是颜色均衡模块，处纹理模块和颜色均衡模块串联在一起加上一层卷积作为一次处理，第i个分支中进行处理i次。
将分支中经过了纹理去除和颜色纠正之后的低分辨率的图像分别进行升采样，将图像分辨率恢复至和原图一致，具体为
Oi＝ScaleLayer{conv[(conv+PixelShuffle+relu)×(i-1)(Ri)]}
Ri表示的是经过了纹理去除和颜色纠正之后的输出，Oi表示的是每个分支的输出。(conv+PixelShuffle+relu)×(i-1)表示第i个分支需要i-1次升采样。
将每个分支的输出加和，
Figure BDA0003043541210000041
其中n表示共有n个分支，
对加和后的图像进行频域到空间域的变换，得到最终的结果；
步骤2，选取数据集图像，将数据集图像分为训练集、测试集和验证集，通过数据集图像对网络模型进行训练，得到训练后的网络模型；
步骤3，将待处理图像输入到训练后的网络模型中，进行图像去摩尔纹。
进一步的，步骤1中去处纹理模块是利用CNN构建的滤波器，滤波器主体是Denseblock结构，该结构中每层提取出来的特征映射都可以供后续层使用，在Denseblock之后是两层卷积网络和一个特征尺度层，在滤波器中增加残差的结构，用于去除卷积域的摩尔纹。在Denseblock结构中引入了空洞卷积。
进一步的，步骤1中颜色均衡模块由两个通道注意力结构组成，该结构首先对输入进行两层卷积操作，随后分别对卷积后的结果执行最大池化和平均池化，将两个池化的结果叠加，送入两层1×1的卷积层中，整个结构使用残差结构改善网络退化问题。
有益效果：
与现有技术相比，本发明具有如下优点和有益效果：
1.本发明采用了多分辨率网络，高分辨率的图像，神经网络的感受野相对于整个图片较小，可以提取到更多小物体的特征；而低分辨率的图像可以提取到大物体的特征。相对应的高分辨率的图像有利于去除小尺度的摩尔纹，低分率的图像在去除大尺度的摩尔纹中发挥着作用。
2.本发明采用滤波器滤除纹理，颜色均衡模块调整图像色彩，将去摩尔纹的任务分成两个子任务，针对不同的任务分别处理。
附图说明
图1是摩尔纹对于图片质量的影响图。
图2是摩尔纹小波变换后在频域分布图。
图3是整体网络结构图。
图4是滤波器结构图。
图5是颜色均衡模块结构图。
图6是本发明与现有技术在LCDMoire验证集上结果对比图。
图7是图像原有纹理与摩尔纹发生混叠情况下图像去摩尔纹效果对比图。
具体实施方式
本发明的基于深度学习的图像去摩尔纹方法，如图3所示，具体包括如下步骤：
步骤1：图像预处理
首先需要将空间域的输入转化到频域上，选择的方式是小波变换。所有的输入图像的大小都是固定的1024×1024×3，对每个通道分别进行了小波变换后，拼接三个通道的结果，得到了512×512×12的一组频域图。将这组频域图送入网络中，执行后续操作。
步骤2：图像降采样
本发明的网络模型是一个多分辨率网络，第一个分支的输入不需要任何改变分辨率的操作，直接进行后续操作。后面的分支的输入都需要进行降采样，使用的降采样方式是非线性的三层卷积神经网络：
Ii+1＝conv(conv(relu(conv(Ii))))
Ii表示第i个分支的输入，Ii+1表示第i+1个分支的输入。每次对图像做一次降采样都会使得分辨率减半。从上到下，第六层分支需要做五次降采样。
步骤3：去除纹理
利用CNN构建一个滤波器，在频域上滤除摩尔纹的纹理，这就需要先将原来的RGB图像转换到频域上，然后输入到设计好的滤波器中。但是，摩尔纹会出现在多个频段，单一的滤波器无法滤除各个频段的摩尔纹，这时多分辨率的好处就体现出来了。在不同的分辨率分支中使用多个数量的滤波器，从而达到滤除不同频段的摩尔纹的目的。
具体结构如图4所示，滤波器主体是一个Denseblock结构，它的好处在于每层提取出来的特征映射都可以供后续层使用，以此增强了特征的传递，并且可以缓解梯度消失的问题，Denseblock一共有K层，增长率为GR，在本发明中K＝5，GR＝64。除此之外，为了扩大网络的感受野，引入了空洞卷积。在Denseblock之后是两层卷积网络和一个特征尺度层。特征尺度层的作用是线性约束输出，防止出现较大的局部值和梯度值。最后一个残差的结构，被用于去除卷积域的摩尔纹。
步骤4：颜色纠正
去除纹理模块完成了图片纹理的去除，但摩尔纹造成的图片色彩的偏差仍未解决，因此需要一个颜色均衡模块。为了减小计算负荷，仍在频域上进行操作，因此滤除摩尔纹的频率信息后，加入一个颜色均衡模块，最后再反变换到空间域。
具体的结构如图5所示，注意力机制被证明在很多的任务中起到非常好的作用，颜色均衡模块就是使用了通道注意力。通道注意力实际上就是赋予每个特征层一个权值，从而决定我关注哪几层的特征。而图片的色彩信息刚好就与通道相关，所以可以认为通道注意力在色彩的调节方面有一些作用。首先对输入进行两层卷积操作，随后分别对卷积后的结果执行最大池化和平均池化，将两个池化的结果叠加，送入两层1×1的卷积层中，继续使用残差结构，消除卷积域的摩尔纹。两个通道注意力的结构串联在一起，构成了颜色均衡模块。
步骤5：合并每个分支的结果
每个分支都会执行纹理去除和颜色纠正，但对于不同的分支，模块的数量会略有不同。分辨率越小的图片采用更深层次的网络去恢复更多的细节信息：
Ri＝[(Filter+CCM+conv+relu)×i(relu(conv(Ii)))]+Ii
Ri表示的是第i个分支经过了纹理去除和颜色纠正之后的输出，Ii表示的是第i个分支的输入。Filter代表了去除纹理模块，CCM代表的是颜色均衡模块，这两个模块串联在一起加上一层卷积作为一次处理，第i个分支就处理i次。
在最终合并前，还需要将低分辨率的图片的分辨率恢复至和原图一致。除了第一分支的分辨率没有改变，其他的五个分支都需要升采样：
Oi＝ScaleLayer{conv[(conv+PixelShuffle+relu)×(i-1)(Ri)]}
Ri表示的是经过了纹理去除和颜色纠正之后的输出，Oi表示的是每个分支的输出。(conv+PixelShuffle+relu)×(i-1)表示第i个分支需要i-1次升采样。
现在每个分支输出的大小都是512×512×12的大小，将每个分支的输出加和，得到最终的结果：
Figure BDA0003043541210000061
以上就是搭建神经网络的整个流程，接下来需要对网络模型进行训练。在LCDMoire数据集中进行了训练，LCDMoire数据集是AIM2019研讨会提供的一个数据集。它包括10200个生成的图片对，一张清晰的原图和一张含有摩尔纹的图像。其中，10000个图像对是训练集，100个是测试集，剩下的100张是验证集，每张都是1024×1024高分辨率的图片。
在本文中，使用L1损失作为最基本的损失函数，因为Zhao等人表示，对于图像恢复任务，L1损失比L2损失更加有效。为了从不同的维度贴近真值，L1损失由三个部分组成：
L1＝aLRGB+bLYUV+cLWave
Figure BDA0003043541210000071
Figure BDA0003043541210000072
Figure BDA0003043541210000073
a、b和c分别是三个部分对L1损失的贡献，皆为常数，在训练中赋值为1。
训练优化器使用Adam，学习率初始化0.0001。训练过程中对学习率进行优化，如果连续三个epoch验证集的损失都没有减小则将学习率降低为原来的一半，batch的大小设置为1。使用NVidia RTX3090Ti GPU训练网络结构，训练50个epoch。当验证集的PSNR提升时保存模型，并且记录本次模型参数在验证集上的PSNR和SSIM。
如图6第一组的图片，地板的花纹与摩尔纹非常相像的这种特殊情况，本发明的网络具有更好的效果，
如图6第二组图片所示，对于这种大尺度的摩尔纹，本发明的网络显然有更佳的效果。
如图6第三组图片所示，对于图像颜色的恢复问题，本发明的网络具有更好的效果。
本发明在一些复杂的情况，细节的对比如图7所示。本发明的网络面对图像原有纹理与摩尔纹混叠时也能很好的恢复原图。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.深度学习的图像去摩尔纹方法，其特征在于，具体包括如下步骤：
步骤1：构建网络模型
对输入的图像首先进行空间域到频域上的变换，所述网络模型是一个多分辨率网络，第一个分支的输入不需要改变图像分辨率、后面的分支的输入都需要进行降采样，得到不同的分辨率图片，每个分支中均包括去处纹理模块和颜色均衡模块，但对于不同的分支，模块的数量不同，具体为
Ri＝[(Filter+CCM+conv+relu)×i(relu(conv(Ii)))]+Ii
Ri表示的是第i个分支经过了纹理去除和颜色纠正之后的输出，Ii表示的是第i个分支的输入；Filter代表了去除纹理模块，CCM代表的是颜色均衡模块，去除纹理模块和颜色均衡模块串联在一起加上一层卷积作为一次处理，第i个分支中进行处理i次；
将分支中经过了纹理去除和颜色纠正之后的低分辨率的图像分别进行升采样，将图像分辨率恢复至和原图一致，具体为
Oi＝ScaleLayer{conv[(conv+PixelShuffle+relu)×(i-1)(Ri)]}
Ri表示的是经过了纹理去除和颜色纠正之后的输出，Oi表示的是每个分支的输出；(conv+PixelShuffle+relu)×(i-1)表示第i个分支需要i-1次升采样；
将每个分支的输出加和，
Figure FDA0003043541200000011
其中n表示共有n个分支，
对加和后的图像进行频域到空间域的变换，得到最终的结果；
步骤2，选取数据集图像，将数据集图像分为训练集、测试集和验证集，通过数据集图像对网络模型进行训练，得到训练后的网络模型；
步骤3，将待处理图像输入到训练后的网络模型中，进行图像去摩尔纹。
2.根据权利要求1所述深度学习的图像去摩尔纹方法，其特征在于，步骤1中降采样方式是非线性的三层卷积神经网络：
Ii+1＝conv(conv(relu(conv(Ii))))
Ii表示第i个分支的输入，Ii+1表示第i+1个分支的输入。
3.根据权利要求1所述深度学习的图像去摩尔纹方法，其特征在于，步骤1中的将图像从空间域转化到频域上具体采用小波变换的方式。
4.根据权利要求1所述深度学习的图像去摩尔纹方法，其特征在于，步骤1中去处纹理模块是利用CNN构建的滤波器，滤波器主体是Denseblock结构，该结构中每层提取出来的特征映射都可以供后续层使用，在Denseblock之后是两层卷积网络和一个特征尺度层，在滤波器中增加残差的结构，用于去除卷积域的摩尔纹。
5.根据权利要求4所述深度学习的图像去摩尔纹方法，其特征在于，在Denseblock结构中引入了空洞卷积。
6.根据权利要求1所述深度学习的图像去摩尔纹方法，其特征在于，步骤1中颜色均衡模块由两个通道注意力结构组成，该结构首先对输入进行两层卷积操作，随后分别对卷积后的结果执行最大池化和平均池化，将两个池化的结果叠加，送入两层1×1的卷积层中，整个结构使用残差结构改善网络退化问题。
7.根据权利要求1所述深度学习的图像去摩尔纹方法，其特征在于，步骤2中选用LCDMoire数据集对网络模型进行训练。
8.根据权利要求1所述深度学习的图像去摩尔纹方法，其特征在于，在步骤2对网络模型进行训练过程中，使用L1损失作为最基本的损失函数，L1损失由三个部分组成：
L1＝aLRGB+bLYUV+cLWave
Figure FDA0003043541200000021
Figure FDA0003043541200000022
Figure FDA0003043541200000023
a、b和c分别是三个部分对L1损失的贡献，皆为常数。
9.根据权利要求1所述深度学习的图像去摩尔纹方法，其特征在于，在步骤2对网络模型进行训练过程中，训练优化器使用Adam，学习率初始化0.0001；训练过程中对学习率进行优化，如果连续三个epoch验证集的损失都没有减小则将学习率降低为原来的一半，batch的大小设置为1。
10.根据权利要求1所述深度学习的图像去摩尔纹方法，其特征在于，在步骤2对网络模型进行训练过程中，使用NVidia RTX3090Ti GPU训练网络结构，训练50个epoch，当验证集的PSNR提升时保存模型，并且记录本次模型参数在验证集上的PSNR和SSIM。
CN202110466878.4A 2021-04-28 2021-04-28 基于深度学习的图像去摩尔纹方法 Active CN113160086B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110466878.4A CN113160086B (zh) 2021-04-28 2021-04-28 基于深度学习的图像去摩尔纹方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110466878.4A CN113160086B (zh) 2021-04-28 2021-04-28 基于深度学习的图像去摩尔纹方法

Publications (2)

Publication Number Publication Date
CN113160086A true CN113160086A (zh) 2021-07-23
CN113160086B CN113160086B (zh) 2022-11-08

Family

ID=76871923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110466878.4A Active CN113160086B (zh) 2021-04-28 2021-04-28 基于深度学习的图像去摩尔纹方法

Country Status (1)

Country Link
CN (1) CN113160086B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592742A (zh) * 2021-08-09 2021-11-02 天津大学 一种去除图像摩尔纹的方法
CN113723515A (zh) * 2021-08-31 2021-11-30 平安科技（深圳）有限公司 基于图像识别的摩尔纹识别方法、装置、设备及介质
CN115272131A (zh) * 2022-08-22 2022-11-01 苏州大学 基于自适应多光谱编码的图像去摩尔纹系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583129A (zh) * 2020-04-09 2020-08-25 天津大学 基于卷积神经网络AMNet的屏摄图像摩尔纹去除方法
CN112184591A (zh) * 2020-09-30 2021-01-05 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习图像摩尔纹消除的图像复原方法
CN112598602A (zh) * 2021-01-06 2021-04-02 福建帝视信息科技有限公司 一种基于掩码的深度学习视频去摩尔纹方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583129A (zh) * 2020-04-09 2020-08-25 天津大学 基于卷积神经网络AMNet的屏摄图像摩尔纹去除方法
CN112184591A (zh) * 2020-09-30 2021-01-05 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习图像摩尔纹消除的图像复原方法
CN112598602A (zh) * 2021-01-06 2021-04-02 福建帝视信息科技有限公司 一种基于掩码的深度学习视频去摩尔纹方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592742A (zh) * 2021-08-09 2021-11-02 天津大学 一种去除图像摩尔纹的方法
CN113723515A (zh) * 2021-08-31 2021-11-30 平安科技（深圳）有限公司 基于图像识别的摩尔纹识别方法、装置、设备及介质
CN113723515B (zh) * 2021-08-31 2023-08-18 平安科技（深圳）有限公司 基于图像识别的摩尔纹识别方法、装置、设备及介质
CN115272131A (zh) * 2022-08-22 2022-11-01 苏州大学 基于自适应多光谱编码的图像去摩尔纹系统及方法

Also Published As

Publication number Publication date
CN113160086B (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
CN113160086B (zh) 基于深度学习的图像去摩尔纹方法
CN114140353B (zh) 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
CN111127336B (zh) 一种基于自适应选择模块的图像信号处理方法
Liang et al. Swinir: Image restoration using swin transformer
CN111028163B (zh) 一种基于卷积神经网络的联合图像去噪与弱光增强方法
CN111080567B (zh) 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
CN107123089A (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN110119780A (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN111784582B (zh) 一种基于dec_se的低照度图像超分辨率重建方法
CN109272452B (zh) 小波域中基于集团结构子带共同学习超分辨率网络的方法
CN111951164B (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN111768340B (zh) 一种基于密集多路径网络的超分辨图像重构方法和系统
CN116152120A (zh) 一种融合高低频特征信息的低光图像增强方法及装置
CN111915513A (zh) 一种基于改进的自适应神经网络的图像去噪方法
CN113723174B (zh) 基于生成对抗网络的人脸图像超分辨修复重建方法及系统
CN112767283A (zh) 一种基于多图像块划分的非均匀图像去雾方法
CN111008936A (zh) 一种多光谱图像全色锐化方法
CN114881888A (zh) 基于线性稀疏注意力Transformer的视频去摩尔纹方法
CN114219722A (zh) 一种利用时频域层级处理的低光照图像增强方法
CN115170410A (zh) 融合小波变换和注意力机制的图像增强方法及装置
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN116934583A (zh) 基于深浅特征融合网络的遥感图像超分辨率算法
CN112150356A (zh) 基于级联框架的单幅压缩图像超分辨率重建方法
CN113240581A (zh) 一种针对未知模糊核的真实世界图像超分辨率方法
CN116777776A (zh) 一种基于全局频率域滤波的快速低光图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant