CN115272131A - 基于自适应多光谱编码的图像去摩尔纹系统及方法 - Google Patents

基于自适应多光谱编码的图像去摩尔纹系统及方法 Download PDF

Info

Publication number
CN115272131A
CN115272131A CN202211008359.4A CN202211008359A CN115272131A CN 115272131 A CN115272131 A CN 115272131A CN 202211008359 A CN202211008359 A CN 202211008359A CN 115272131 A CN115272131 A CN 115272131A
Authority
CN
China
Prior art keywords
moire
image
sampling
module
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211008359.4A
Other languages
English (en)
Other versions
CN115272131B (zh
Inventor
张莉
代强
赵雷
王邦军
李映
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202211008359.4A priority Critical patent/CN115272131B/zh
Publication of CN115272131A publication Critical patent/CN115272131A/zh
Application granted granted Critical
Publication of CN115272131B publication Critical patent/CN115272131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于自适应多光谱编码的图像去摩尔纹系统，包括数据处理模块、模型训练模块和图像处理模块，数据处理模块用于对获取的原始训练集中的图像进行数据增强处理，得到训练数据集；模型训练模块用于使用训练数据集对去摩尔纹网络模型进行训练，图像处理模块用于利用训练好的去摩尔纹网络模型在测试图像上进行去摩尔纹处理，得到去摩尔纹处理后的图像。本发明提出了自适应多光谱编码模块，利用自适应多光谱编码模块对摩尔纹进行动态编码，有助于模型学习摩尔纹之前的频率并清晰地还原摩尔纹图像，实现对摩尔纹的有效去除，且通过去摩尔纹子模块实现自适应和长距离的相关性，同时引入较少的归纳偏置，学习关于摩尔纹图像的全局和局部信息。

Description

基于自适应多光谱编码的图像去摩尔纹系统及方法
技术领域
本发明涉及图像处理技术领域，尤其是指一种基于自适应多光谱编码的图像去摩尔纹系统及方法。
背景技术
摩尔纹通常以彩色条纹、波纹或曲线的形式出现，对拍摄距离和相机方向很敏感，这严重降低了拍摄图像的视觉质量。造成摩尔纹的一个常见例子是用智能手机拍摄数字屏幕。更特别的是，数码屏幕是由液晶显示器组成的，它的纹理结构与数码相机传感器的彩色滤镜阵列相似。因此，它们之间的不完美对齐会导致摩尔纹。与去噪、超分辨率重建、去马赛克等图像修复问题不同，图像中的摩尔纹图案是动态的，具有广泛的频率分布，既包括低频部分，也包括高频部分。因此，摩尔纹的宽频谱特性，以及摩尔纹和动态纹理特性是图像去摩尔纹的两个主要挑战。
现有的去摩尔纹技术大多是使用人工设计滤波器或者使用图像分解等方法，这些方法都需要先验信息来指导或规范化，并不能有效的去除摩尔纹，而且这种方法去除摩尔纹的结果往往过于平滑，普遍缺乏高频细节，即这些方法不能考虑到摩尔纹的宽频谱特性，无法在摩尔纹的不同尺度下对摩尔纹进行去除，导致这种做法往往只能去除某一小范围的摩尔纹。并且摩尔纹还是一种具有宽频谱特性的特殊噪声，其不同于一般的高斯噪声以及其他类型的噪声，对于这些噪声只需要在高频上进行处理，即可以有效的去除噪声。而摩尔纹的频谱分布包含了高频和低频，因此为了有效的去除摩尔纹，必须考虑到摩尔纹的宽频谱特性。此外，现有的方法未能处理摩尔纹纹理的动态性质，基于卷积的网络很难获得摩尔纹通道之间的长距离依赖性，也很难捕捉到空间和通道的适应性，这对于处理摩尔纹纹理的动态特性是无效的。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术存在的问题，提出一种基于自适应多光谱编码的图像去摩尔纹系统及方法，其提出了自适应多光谱编码模块，利用自适应多光谱编码模块对摩尔纹进行动态编码，有助于模型学习摩尔纹之前的频率并清晰地还原摩尔纹图像，实现对摩尔纹的有效去除，且通过去摩尔纹子模块实现自适应和长距离的相关性，同时引入较少的归纳偏置，学习关于摩尔纹图像的全局和局部信息。
为解决上述技术问题，本发明提供一种基于自适应多光谱编码的图像去摩尔纹系统，包括：
数据处理模块，其用于对获取的原始训练集中的图像进行数据增强处理，得到训练数据集；
模型训练模块，其用于使用训练数据集对去摩尔纹网络模型进行训练，所述去摩尔纹网络模型包括多个分支网络，多个分支网络对输入的训练数据集中的图像进行下采样得到多个不同分辨率的下采样特征图，并提取不同分辨率的下采样特征图中的摩尔纹图像特征进行学习，得到训练好的去摩尔纹网络模型；
图像处理模块，其用于利用训练好的去摩尔纹网络模型在测试图像上进行去摩尔纹处理，得到去摩尔纹处理后的图像；
其中，每个分支网络均包括自适应多光谱编码模块，所述自适应多光谱编码模块用于对不同分辨率的摩尔纹图像特征进行自适应编码。
在本发明的一个实施例中，所述去摩尔纹网络模型包括三个分支网络，第一个分支网络对输入的训练数据集中的图像进行下采样得到分辨率为原始图像1/2的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第二个分支网络对分辨率为原始图像1/2的下采样特征图进行下采样得到分辨率为原始图像1/4的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第三个分支网络对分辨率为原始图像1/4的下采样特征图进行下采样得到分辨率为原始图像1/8的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征。
在本发明的一个实施例中，每个分支网络均包括下采样模块，所述下采样模块用于对输入的图像进行下采样得到多个不同分辨率的下采样特征图。
在本发明的一个实施例中，所述自适应多光谱编码模块包括去摩尔纹子模块、多光谱注意力层和归一化层，所述去摩尔纹子模块用于对下采样特征图进行摩尔纹图像全局特征和局部特征的提取，所述多光谱注意力层用于学习提取的摩尔纹图像特征，所述归一化层用于对摩尔纹图像特征进行多光谱特征编码。
在本发明的一个实施例中，所述去摩尔纹子模块包括改进残差块、大核注意力和多层感知机，所述改进残差块包括深度7×7卷积层和两个1×1卷积层，其中两个1×1卷积层之间连接GELU激活函数；所述大核注意力包括深度卷积层、深度扩张卷积层和1×1卷积层；所述多层感知机包括全连接层、深度卷积层、GELU激活函数和两个随机失活操作层，其中两个随机失活操作层之间连接有全连接层。
在本发明的一个实施例中，所述模型训练模块在使用训练数据集对去摩尔纹网络模型进行训练时，首先要初始化去摩尔纹网络模型的权重，然后采用训练数据集对初始化后的去摩尔纹网络模型进行训练，每批次训练取多个图像，并使得损失函数的损失最小，其中损失函数l为：
Figure BDA0003809880330000031
式中I和
Figure BDA0003809880330000032
分别表示原始高清图像和生成的去摩尔纹图像，I(i,j)表示图像I中的第i行第j列的像素值，M和N分别表示图像的宽度和高度，B表示每批次的图像数量,ε表示Charbonnier惩罚系数。
此外，本发明还提供一种基于自适应多光谱编码的图像去摩尔纹方法，包括以下步骤：
对获取的原始训练集中的图像进行数据增强处理，得到训练数据集；
使用训练数据集对去摩尔纹网络模型进行训练，所述去摩尔纹网络模型包括多个分支网络，多个分支网络对输入的训练数据集中的图像进行下采样得到多个不同分辨率的下采样特征图，并提取不同分辨率的下采样特征图中摩尔纹图像的特征信息进行学习，得到训练好的去摩尔纹网络模型；
利用训练好的去摩尔纹网络模型在测试图像上进行去摩尔纹处理，得到去摩尔纹处理后的图像；
其中，每个分支网络均包括自适应多光谱编码模块，使用所述自适应多光谱编码模块对不同分辨率的摩尔纹图像特征进行自适应编码。
在本发明的一个实施例中，多个分支网络对输入的训练数据集中的图像进行下采样得到多个不同分辨率的下采样特征图，并提取不同分辨率的下采样特征图中摩尔纹图像的特征信息的方法包括：
所述去摩尔纹网络模型包括三个分支网络，第一个分支网络对输入的训练数据集中的图像进行下采样得到分辨率为原始图像1/2的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第二个分支网络对分辨率为原始图像1/2的下采样特征图进行下采样得到分辨率为原始图像1/4的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第三个分支网络对分辨率为原始图像1/4的下采样特征图进行下采样得到分辨率为原始图像1/8的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征。
在本发明的一个实施例中，使用所述自适应多光谱编码模块对不同分辨率的摩尔纹图像特征进行自适应编码的方法包括：
所述自适应多光谱编码模块包括去摩尔纹子模块、多光谱注意力层和归一化层；将下采样特征图输入至所述去摩尔纹子模块进行摩尔纹图像全局特征和局部特征的提取；使用多光谱注意力层学习提取的摩尔纹图像特征；使用归一化层对学习后的摩尔纹图像特征进行自适应编码。
在本发明的一个实施例中，所述去摩尔纹子模块包括改进残差块、大核注意力和多层感知机，所述改进残差块包括深度7×7卷积层和两个1×1卷积层，其中两个1×1卷积层之间连接GELU激活函数；所述大核注意力包括深度卷积层、深度扩张卷积层和1×1卷积层；所述多层感知机包括全连接层、深度卷积层、GELU激活函数和两个随机失活操作层，其中两个随机失活操作层之间连接有全连接层。
本发明的上述技术方案相比现有技术具有以下优点：
1.对于摩尔纹纹理的动态特性，本发明提出了自适应多光谱编码模块，利用自适应多光谱编码模块对摩尔纹进行动态编码，有助于模型学习摩尔纹之前的频率并清晰地还原摩尔纹图像，实现对摩尔纹的有效去除，且自适应多光谱编码模块包括去摩尔纹子模块，通过去摩尔纹子模块实现自适应和长距离的相关性，同时引入较少的归纳偏置，学习关于摩尔纹图像的全局和局部信息；
2.针对摩尔纹的宽频谱特性，本发明使用多尺度的卷积网络结构来处理不同空间分辨率的摩尔纹图像,能够在不同尺度下对摩尔纹进行有效的去除。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。
图1为本发明所提供的一种基于自适应多光谱编码的图像去摩尔纹系统的框架图。
图2为本发明所提供的自适应多光谱编码的去摩尔纹网络模型的总体架构图。
图3为本发明自适应多光谱编码模块的结构示意图。
图4为本发明去摩尔纹子模块的结构示意图。
图5为本发明改进残差块的结构示意图。
图6为本发明大核注意力的结构示意图。
图7为本发明多层感知机的结构示意图。
图8为本发明所提供的一种基于自适应多光谱编码的图像去摩尔纹方法的流程图。
其中，附图标记说明如下：10、数据处理模块；20、模型训练模块；30、图像处理模块。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
请参考图1所示，本发明实施例提供一种基于自适应多光谱编码的图像去摩尔纹系统，其包括数据处理模块10、模型训练模块20和图像处理模块30，数据处理模块10用于对获取的原始训练集中的图像进行数据增强处理，得到训练数据集；模型训练模块20用于使用训练数据集对去摩尔纹网络模型进行训练，图像处理模块30用于利用训练好的去摩尔纹网络模型在测试图像上进行去摩尔纹处理，得到去摩尔纹处理后的图像。
请参考图2所示，上述所述去摩尔纹网络模型包括多个分支网络，多个分支网络对输入的训练数据集中的图像进行下采样得到多个不同分辨率的下采样特征图，并提取不同分辨率的下采样特征图中的摩尔纹图像特征进行学习，得到训练好的去摩尔纹网络模型；每个分支网络均包括自适应多光谱编码模块，使用所述自适应多光谱编码模块对不同分辨率的摩尔纹图像特征进行自适应编码。
对于摩尔纹纹理的动态特性，本发明提出了自适应多光谱编码模块，利用自适应多光谱编码模块对摩尔纹进行动态编码，有助于模型学习摩尔纹之前的频率并清晰地还原摩尔纹图像，实现对摩尔纹的有效去除，且自适应多光谱编码模块包括去摩尔纹子模块，通过去摩尔纹子模块实现自适应和长距离的相关性，同时引入较少的归纳偏置，学习关于摩尔纹图像的全局和局部信息。
针对摩尔纹的宽频谱特性，本发明使用多尺度的卷积网络结构来处理不同空间分辨率的摩尔纹图像,能够在不同尺度下对摩尔纹进行有效的去除。
具体地，每个分支网络均包括下采样模块，所述下采样模块用于对输入的图像进行下采样得到多个不同分辨率的下采样特征图。作为优选的一个实施方案，上述所述去摩尔纹网络模型包括三个分支网络，第一个分支网络对输入的训练数据集中的图像进行下采样得到分辨率为原始图像1/2的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第二个分支网络对分辨率为原始图像1/2的下采样特征图进行下采样得到分辨率为原始图像1/4的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第三个分支网络对分辨率为原始图像1/4的下采样特征图进行下采样得到分辨率为原始图像1/8的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征。
三个分支网络均使用了本发明提出的自适应多光谱编码模块进行特征加密，该自适应多光谱编码模块如图3所示。该自适应多光谱编码模块包括的去摩尔纹子模块如图4所示。
请参考图3所示，上述所述自适应多光谱编码模块包括去摩尔纹子模块、多光谱注意力层和归一化层，所述去摩尔纹子模块用于对下采样特征图进行摩尔纹图像全局特征和局部特征的提取，所述多光谱注意力层用于学习提取的摩尔纹图像特征，所述归一化层用于对摩尔纹图像特征进行多光谱特征编码。具体地，下采样特征图Xi首先进入去摩尔纹子模块，接着Xi的部分特征图进入多光谱注意力层，然后与去摩尔纹子模块输出的另一部分特征图进行点乘并进行残差连接，这一系列操作完成后会接着进行一次然后进入归一化层。编码特征图Enci首先进入一个卷积层，然后部分编码特征图进入归一化层和特征图Xi的输出一起进行归一化，得到特征图Xi+1，接着另一部分编码特征图会直接输出为编码特征图Enci+1。
请参考图4所示，上述所述去摩尔纹子模块包括改进残差块、大核注意力和多层感知机。具体地，下采样特征图首先进入改进残差块，接着进入大核注意力，然后进行残差连接，得到的特征图进入多层感知机，最后再次进行残差连接。
作为优选地，上述所述改进残差块包括深度7×7卷积层和两个1×1卷积层，其中两个1×1卷积层之间连接GELU激活函数，作为示例地，下采样特征图首先进入深度7×7卷积层，接着进行层级归一化，然后进入1×1卷积层，接着使用GELU激活函数激活，然后进入另一个1×1卷积层，最后进行残差连接；所述大核注意力包括深度卷积层、深度扩张卷积层和1×1卷积层，作为示例地，下采样特征图首先进入深度卷积层，接着进入深度扩张卷积层，然后进入1×1卷积层，最后进行残差连接；所述多层感知机包括全连接层、深度卷积层、GELU激活函数和两个随机失活操作层，其中两个随机失活操作层之间连接有全连接层，作为示例地，下采样特征图首先进入全连接层，接着进入深度卷积层，然后用GELU激活函数进行激活，接着进行随机失活操作，然后进入全连接层，最后再次进行随机失活操作。
在本发明的一个实施例中，针对摩尔纹的宽频谱特性，本发明设计了多尺度网络结构进行处理，即在摩尔纹的不同尺度下对摩尔纹进行去除。针对摩尔纹纹理的动态特性，本发明设计了去摩尔纹子模块以实现自适应和长距离的相关性，同时引入较少的归纳偏置，学习关于摩尔纹图像的全局和局部信息。此外，本发明还设计出了一个自适应多光谱编码模块，对摩尔纹图案进行自适应编码，这有助于模型学习摩尔纹图案的频率先验，清晰地还原摩尔纹图像，更好地解决摩尔纹纹理的动态特性。
所述模型训练模块20在使用训练数据集对去摩尔纹网络模型进行训练时，首先要初始化去摩尔纹网络模型的权重，然后采用训练数据集对初始化后的去摩尔纹网络模型进行训练，每批次训练取多个图像，并使得损失函数的损失最小，其中损失函数l为：
Figure BDA0003809880330000091
式中I和
Figure BDA0003809880330000092
分别表示原始高清图像和生成的去摩尔纹图像，I(i,j)表示图像I中的第i行第j列的像素值，M和N分别表示图像的宽度和高度，B表示每批次的图像数量,ε表示Charbonnier惩罚系数。
本实施例在AIM摩尔纹训练数据集和TIP摩尔纹训练数据集上进行训练，并在AIM和TIP摩尔纹数据集里的测试集上进行测试。AIM摩尔纹数据集中的训练集有10000张摩尔纹图像和对应的高清图像，而TIP摩尔纹数据集中的训练集具有135000张真实世界的摩尔纹图像和对应的高清图像。本实施例中使用到的测试集是AIM摩尔纹数据集和TIP摩尔纹数据集中的测试集，共200张图像。
具体实施步骤如下：
一、数据处理模块
对AIM摩尔纹数据集里的10000张摩尔纹图像和TIP摩尔纹数据集里的135000张真实世界的摩尔纹图像进行旋转和翻转，并且还将图像分别缩小为原来的0.5和0.7倍以进行数据扩充。最终得到一个新的大规模训练集D′，新训练集D′的总数为217500。此外，本次试验将训练图像预先裁剪为特定大小，并将其输入到去摩尔纹网络模型中。
本发明中使用到的测试集是AIM摩尔纹数据集和TIP摩尔纹数据集中的测试集，共200张图像。
二、模型训练模块
本发明的去摩尔纹网络模型如图2所示。输入的图像首先经过下采样模块Down1，得到分辨率为原始图像1/2的下采样特征图，然后将这些下采样特征图输入Branch 1(分支网络1),以此提取该分辨率下的摩尔纹图像的特征信息。之后将Down1输出的下采样特征图输入进第二个下采样模块Down2，得到分辨率为原始图像1/4的下采样特征图，之后将此分辨率的下采样特征图输入Branch 2(分支网络2)，得到分辨率为原始图像1/4的摩尔纹图像的特征信息。最后将Down2输出的下采样特征图输入进第三个下采样模块Down3，得到分辨率为原始图像1/8的下采样特征图，然后这些特征图进入Branch 3(分支网络3)，得到分辨率为原始图像1/8的摩尔纹图像的特征信息。
三个分支网络均使用了本发明提出的自适应多光谱编码模块进行特征加密，该自适应多光谱编码模块如图3所示。该自适应多光谱编码模块包括的去摩尔纹子模块如图4所示。
去摩尔纹模块被用来模拟每个特征级别和频段的干净图像和模糊图像之间的差异，实现自适应和长距离的相关性，同时引入较少的归纳偏置，学习关于摩尔纹图像的全局和局部信息。我们使用我们设计的主尺度旁路分支对不同空间分辨率的图像特征进行编码。自适应多光谱编码模块主要是利用从摩尔纹中计算出的特征值，动态地调整统计特征(即图中像素平均数和方差)，然后对摩尔纹图案进行自适应编码，这有助于模型学习摩尔纹图案的频率先验，清晰地还原摩尔纹图像，更好地解决摩尔纹纹理的动态特性。
去摩尔纹子模块主要是由一个改进残差块(CNB)(如图5所示)，一个大核注意力(LKA)(如图6所示)和一个多层感知机(MLP)(如图7所示)以及若干个残差连接而构成。本发明所使用的多层感知机具有更简单的架构，并且引入了较少的感应偏差，这使得计算成本和参数大大降低，释放了多层感知机的良好性能。本发明所使用的大核注意力很好地利用了卷积和自注意力机制的优点，它考虑到了局部的环境信息、大的感受野和动态过程。因此，本发明所使用的大核注意力可以获得实现自适应和长距离的相关性，帮助去摩尔纹网络学习关于摩尔纹图像的全局和局部信息。
具体训练时，首先要初始化去摩尔纹网络模型的权重，然后采用训练集D′对图2所示网络进行训练。每批次训练取B对图像，并使得下面的损失最小：
Figure BDA0003809880330000111
其中l表示损失函数，I和
Figure BDA0003809880330000112
分别表示原始高清图像和生成的去摩尔纹图像，I(i,j)表示图像I中的第i行第j列的像素值，M和N分别表示图像的宽度和高度，B代表每批次的图像数量,ε是Charbonnier惩罚系数。在本实例中，B＝30且ε＝0.001。
三、图像处理模块
输入一张摩尔纹图像X，用训练后的模型对之进行图像重建，即可获得其高清图像Xclear。
本发明的效果可以通过如下实验验证：
通过在AIM和TIP摩尔纹数据集中的测试集上，反复进行步骤三的图像重建，可以获得去摩尔纹后的高清图像。对测试后得到的去摩尔纹高清图像与对应的原始干净高清图像进行峰值信噪比和结构相似性指标的评估，即
Figure BDA0003809880330000113
其中n＝8，且
Figure BDA0003809880330000114
同时与其他已有方法在相同的数据集上进行对比，实验结果如从表1和表2所示。从表1和表2可以发现，本发明在峰值信噪比与结构相似性上均取得了满意的结果。
表1.在AIM数据集上各方法的性能对比
Figure BDA0003809880330000121
表2.在TIP数据集上各方法的性能对比
Figure BDA0003809880330000122
本发明利用自适应多光谱编码模块对摩尔纹进行动态编码，这有助于模型学习摩尔纹之前的频率并清晰地还原摩尔纹图像。除此之外，本发明还采用了三分支的多尺度设计，端到端地学习每个分支的参数，最终将不同分辨率的结果融合为最终的输出。此外，本发明提出的模型还采用了渐进式的上采样策略来平滑地提高分辨率。
下面对本发明实施例二公开的一种基于自适应多光谱编码的图像去摩尔纹方法进行介绍，下文描述的一种基于自适应多光谱编码的图像去摩尔纹方法与上文描述的一种基于自适应多光谱编码的图像去摩尔纹系统可相互对应参照。
请参阅图8所示，本发明实施例提供一种基于自适应多光谱编码的图像去摩尔纹方法，包括以下步骤：
S101：对获取的原始训练集中的图像进行数据增强处理，得到训练数据集；
S102：使用训练数据集对去摩尔纹网络模型进行训练，所述去摩尔纹网络模型包括多个分支网络，多个分支网络对输入的训练数据集中的图像进行下采样得到多个不同分辨率的下采样特征图，并提取不同分辨率的下采样特征图中摩尔纹图像的特征信息进行学习，得到训练好的去摩尔纹网络模型，其中，每个分支网络均包括自适应多光谱编码模块，使用所述自适应多光谱编码模块对不同分辨率的摩尔纹图像特征进行自适应编码；
S103：利用训练好的去摩尔纹网络模型在测试图像上进行去摩尔纹处理，得到去摩尔纹处理后的图像。
在本发明的一个实施例中，多个分支网络对输入的训练数据集中的图像进行下采样得到多个不同分辨率的下采样特征图，并提取不同分辨率的下采样特征图中摩尔纹图像的特征信息的方法包括：
所述去摩尔纹网络模型包括三个分支网络，第一个分支网络对输入的训练数据集中的图像进行下采样得到分辨率为原始图像1/2的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第二个分支网络对分辨率为原始图像1/2的下采样特征图进行下采样得到分辨率为原始图像1/4的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第三个分支网络对分辨率为原始图像1/4的下采样特征图进行下采样得到分辨率为原始图像1/8的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征。
在本发明的一个实施例中，使用所述自适应多光谱编码模块对不同分辨率的摩尔纹图像特征进行自适应编码的方法包括：
所述自适应多光谱编码模块包括去摩尔纹子模块、多光谱注意力层和归一化层；将下采样特征图输入至所述去摩尔纹子模块进行摩尔纹图像全局特征和局部特征的提取；使用多光谱注意力层学习提取的摩尔纹图像特征；使用归一化层对学习后的摩尔纹图像特征进行自适应编码。
在本发明的一个实施例中，所述去摩尔纹子模块包括改进残差块、大核注意力和多层感知机，所述改进残差块包括深度7×7卷积层和两个1×1卷积层，其中两个1×1卷积层之间连接GELU激活函数；所述大核注意力包括深度卷积层、深度扩张卷积层和1×1卷积层；所述多层感知机包括全连接层、深度卷积层、GELU激活函数和两个随机失活操作层，其中两个随机失活操作层之间连接有全连接层。
本实施例的基于自适应多光谱编码的图像去摩尔纹方法基于前述的基于自适应多光谱编码的图像去摩尔纹系统实现，因此该方法的具体实施方式可见前文中的基于自适应多光谱编码的图像去摩尔纹系统的实施例部分，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
另外，由于本实施例的基于自适应多光谱编码的图像去摩尔纹方法基于前述的基于自适应多光谱编码的图像去摩尔纹系统实现，因此其作用与上述系统的作用相对应，这里不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于自适应多光谱编码的图像去摩尔纹系统，其特征在于，包括：
数据处理模块，其用于对获取的原始训练集中的图像进行数据增强处理，得到训练数据集；
模型训练模块，其用于使用训练数据集对去摩尔纹网络模型进行训练，所述去摩尔纹网络模型包括多个分支网络，多个分支网络对输入的训练数据集中的图像进行下采样得到多个不同分辨率的下采样特征图，并提取不同分辨率的下采样特征图中的摩尔纹图像特征进行学习，得到训练好的去摩尔纹网络模型；
图像处理模块，其用于利用训练好的去摩尔纹网络模型在测试图像上进行去摩尔纹处理，得到去摩尔纹处理后的图像；
其中，每个分支网络均包括自适应多光谱编码模块，所述自适应多光谱编码模块用于对不同分辨率的摩尔纹图像特征进行自适应编码。
2.如权利要求1所述的基于自适应多光谱编码的图像去摩尔纹系统，其特征在于：所述去摩尔纹网络模型包括三个分支网络，第一个分支网络对输入的训练数据集中的图像进行下采样得到分辨率为原始图像1/2的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第二个分支网络对分辨率为原始图像1/2的下采样特征图进行下采样得到分辨率为原始图像1/4的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第三个分支网络对分辨率为原始图像1/4的下采样特征图进行下采样得到分辨率为原始图像1/8的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征。
3.如权利要求1或2所述的基于自适应多光谱编码的图像去摩尔纹系统，其特征在于：每个分支网络均包括下采样模块，所述下采样模块用于对输入的图像进行下采样得到多个不同分辨率的下采样特征图。
4.如权利要求1所述的基于自适应多光谱编码的图像去摩尔纹系统，其特征在于：所述自适应多光谱编码模块包括去摩尔纹子模块、多光谱注意力层和归一化层，所述去摩尔纹子模块用于对下采样特征图进行摩尔纹图像全局特征和局部特征的提取，所述多光谱注意力层用于学习提取的摩尔纹图像特征，所述归一化层用于对摩尔纹图像特征进行多光谱特征编码。
5.如权利要求4所述的基于自适应多光谱编码的图像去摩尔纹系统，其特征在于：所述去摩尔纹子模块包括改进残差块、大核注意力和多层感知机，所述改进残差块包括深度7×7卷积层和两个1×1卷积层，其中两个1×1卷积层之间连接GELU激活函数；所述大核注意力包括深度卷积层、深度扩张卷积层和1×1卷积层；所述多层感知机包括全连接层、深度卷积层、GELU激活函数和两个随机失活操作层，其中两个随机失活操作层之间连接有全连接层。
6.如权利要求1所述的基于自适应多光谱编码的图像去摩尔纹系统，其特征在于：所述模型训练模块在使用训练数据集对去摩尔纹网络模型进行训练时，首先要初始化去摩尔纹网络模型的权重，然后采用训练数据集对初始化后的去摩尔纹网络模型进行训练，每批次训练取多个图像，并使得损失函数的损失最小，其中损失函数l为：
Figure FDA0003809880320000021
式中I和
Figure FDA0003809880320000022
分别表示原始高清图像和生成的去摩尔纹图像，I(i,j)表示图像I中的第i行第j列的像素值，M和N分别表示图像的宽度和高度，B表示每批次的图像数量,ε表示Charbonnier惩罚系数。
7.一种基于自适应多光谱编码的图像去摩尔纹方法，其特征在于，包括以下步骤：
对获取的原始训练集中的图像进行数据增强处理，得到训练数据集；
使用训练数据集对去摩尔纹网络模型进行训练，所述去摩尔纹网络模型包括多个分支网络，多个分支网络对输入的训练数据集中的图像进行下采样得到多个不同分辨率的下采样特征图，并提取不同分辨率的下采样特征图中摩尔纹图像的特征信息进行学习，得到训练好的去摩尔纹网络模型；
利用训练好的去摩尔纹网络模型在测试图像上进行去摩尔纹处理，得到去摩尔纹处理后的图像；
其中，每个分支网络均包括自适应多光谱编码模块，使用所述自适应多光谱编码模块对不同分辨率的摩尔纹图像特征进行自适应编码。
8.如权利要求7所述的基于自适应多光谱编码的图像去摩尔纹方法，其特征在于，多个分支网络对输入的训练数据集中的图像进行下采样得到多个不同分辨率的下采样特征图，并提取不同分辨率的下采样特征图中摩尔纹图像的特征信息的方法包括：
所述去摩尔纹网络模型包括三个分支网络，第一个分支网络对输入的训练数据集中的图像进行下采样得到分辨率为原始图像1/2的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第二个分支网络对分辨率为原始图像1/2的下采样特征图进行下采样得到分辨率为原始图像1/4的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第三个分支网络对分辨率为原始图像1/4的下采样特征图进行下采样得到分辨率为原始图像1/8的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征。
9.如权利要求7或8所述的基于自适应多光谱编码的图像去摩尔纹方法，其特征在于，使用所述自适应多光谱编码模块对不同分辨率的摩尔纹图像特征进行自适应编码的方法包括：
所述自适应多光谱编码模块包括去摩尔纹子模块、多光谱注意力层和归一化层；将下采样特征图输入至所述去摩尔纹子模块进行摩尔纹图像全局特征和局部特征的提取；使用多光谱注意力层学习提取的摩尔纹图像特征；使用归一化层对学习后的摩尔纹图像特征进行自适应编码。
10.如权利要求9所述的基于自适应多光谱编码的图像去摩尔纹方法，其特征在于：所述去摩尔纹子模块包括改进残差块、大核注意力和多层感知机，所述改进残差块包括深度7×7卷积层和两个1×1卷积层，其中两个1×1卷积层之间连接GELU激活函数；所述大核注意力包括深度卷积层、深度扩张卷积层和1×1卷积层；所述多层感知机包括全连接层、深度卷积层、GELU激活函数和两个随机失活操作层，其中两个随机失活操作层之间连接有全连接层。
CN202211008359.4A 2022-08-22 2022-08-22 基于自适应多光谱编码的图像去摩尔纹系统及方法 Active CN115272131B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211008359.4A CN115272131B (zh) 2022-08-22 2022-08-22 基于自适应多光谱编码的图像去摩尔纹系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211008359.4A CN115272131B (zh) 2022-08-22 2022-08-22 基于自适应多光谱编码的图像去摩尔纹系统及方法

Publications (2)

Publication Number Publication Date
CN115272131A true CN115272131A (zh) 2022-11-01
CN115272131B CN115272131B (zh) 2023-06-30

Family

ID=83752597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211008359.4A Active CN115272131B (zh) 2022-08-22 2022-08-22 基于自适应多光谱编码的图像去摩尔纹系统及方法

Country Status (1)

Country Link
CN (1) CN115272131B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117291857A (zh) * 2023-11-27 2023-12-26 武汉精立电子技术有限公司 图像处理方法、摩尔纹消除方法、设备及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586298A (zh) * 2020-05-09 2020-08-25 北京华严互娱科技有限公司 一种基于多尺度网络和动态特征编码的实时摩尔纹去除方法
CN113160086A (zh) * 2021-04-28 2021-07-23 东南大学 基于深度学习的图像去摩尔纹方法
CN114331986A (zh) * 2021-12-21 2022-04-12 中国长江三峡集团有限公司 一种基于无人机视觉的坝体裂纹识别与测量方法
CN114398948A (zh) * 2021-12-13 2022-04-26 西安邮电大学 一种基于空-谱联合注意力网络的多光谱影像变化检测方法
CN114463825A (zh) * 2022-04-08 2022-05-10 北京邮电大学 基于多模态融合的人脸预测方法及相关设备
CN114693558A (zh) * 2022-03-31 2022-07-01 福州大学 基于渐进融合多尺度策略的图像去摩尔纹方法及系统
CN114821328A (zh) * 2022-05-10 2022-07-29 南京南瑞信息通信科技有限公司 一种基于完全学习的电力图像处理方法及装置
CN114897136A (zh) * 2022-04-29 2022-08-12 清华大学 多尺度注意力机制方法及模块和图像处理方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586298A (zh) * 2020-05-09 2020-08-25 北京华严互娱科技有限公司 一种基于多尺度网络和动态特征编码的实时摩尔纹去除方法
CN113160086A (zh) * 2021-04-28 2021-07-23 东南大学 基于深度学习的图像去摩尔纹方法
CN114398948A (zh) * 2021-12-13 2022-04-26 西安邮电大学 一种基于空-谱联合注意力网络的多光谱影像变化检测方法
CN114331986A (zh) * 2021-12-21 2022-04-12 中国长江三峡集团有限公司 一种基于无人机视觉的坝体裂纹识别与测量方法
CN114693558A (zh) * 2022-03-31 2022-07-01 福州大学 基于渐进融合多尺度策略的图像去摩尔纹方法及系统
CN114463825A (zh) * 2022-04-08 2022-05-10 北京邮电大学 基于多模态融合的人脸预测方法及相关设备
CN114897136A (zh) * 2022-04-29 2022-08-12 清华大学 多尺度注意力机制方法及模块和图像处理方法及装置
CN114821328A (zh) * 2022-05-10 2022-07-29 南京南瑞信息通信科技有限公司 一种基于完全学习的电力图像处理方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
MENG-HAO GUO等: "Visual Attention Network" *
QIANG DAI等: "Multi-spectral Dynamic Feature Encoding Network for Image Demoiréing" *
XI CHENG等: "Improved multi-scale dynamic feature encoding network for image demoiréing" *
ZEQUN QIN等: "FcaNet: Frequency Channel Attention Networks" *
高天宇: "面向移动终端的摩尔纹去除系统的设计与实现" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117291857A (zh) * 2023-11-27 2023-12-26 武汉精立电子技术有限公司 图像处理方法、摩尔纹消除方法、设备及装置
CN117291857B (zh) * 2023-11-27 2024-03-22 武汉精立电子技术有限公司 图像处理方法、摩尔纹消除方法、设备及装置

Also Published As

Publication number Publication date
CN115272131B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN114140353A (zh) 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
CN112507997A (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
Zhang et al. Self-supervised image denoising for real-world images with context-aware transformer
CN113284051B (zh) 一种基于频率分解多注意力机制的人脸超分辨方法
CN110189260B (zh) 一种基于多尺度并行门控神经网络的图像降噪方法
Chen et al. Densely connected convolutional neural network for multi-purpose image forensics under anti-forensic attacks
CN111179196B (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
CN113421187B (zh) 一种超分辨率重建方法、系统、存储介质、设备
Wu et al. Deep multi-level wavelet-cnn denoiser prior for restoring blurred image with cauchy noise
CN112381716B (zh) 一种基于生成式对抗网络的图像增强方法
CN113570508A (zh) 图像修复方法及装置、存储介质、终端
Huang et al. Two-step approach for the restoration of images corrupted by multiplicative noise
CN112767279A (zh) 一种基于离散小波集成生成对抗网络的水下图像增强方法
CN114723630A (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
CN116051408A (zh) 一种基于残差自编码的图像深度去噪方法
CN115272131A (zh) 基于自适应多光谱编码的图像去摩尔纹系统及方法
Rana et al. MSRD-CNN: Multi-scale residual deep CNN for general-purpose image manipulation detection
CN113962882A (zh) 一种基于可控金字塔小波网络的jpeg图像压缩伪影消除方法
CN113379606A (zh) 一种基于预训练生成模型的人脸超分辨方法
Li et al. Deep scale-aware image smoothing
CN115829962B (zh) 医学图像分割装置、训练方法及医学图像分割方法
CN115861108A (zh) 一种基于小波自注意力生成对抗网络的图像修复方法
CN114219738A (zh) 单幅图像多尺度超分辨重建网络结构及方法
Zhan et al. An Advanced JPEG Steganalysis Method with Balanced Depth and Width Based on Fractal Residual Network
Kim et al. Multilevel Feature Extraction Using Wavelet Attention for Deep Joint Demosaicking and Denoising

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant