CN114972072A - 基于注意力机制的图像去马赛克方法 - Google Patents

基于注意力机制的图像去马赛克方法 Download PDF

Info

Publication number
CN114972072A
CN114972072A CN202210448698.8A CN202210448698A CN114972072A CN 114972072 A CN114972072 A CN 114972072A CN 202210448698 A CN202210448698 A CN 202210448698A CN 114972072 A CN114972072 A CN 114972072A
Authority
CN
China
Prior art keywords
image
attention mechanism
attention
demosaicing
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210448698.8A
Other languages
English (en)
Inventor
郭羽萱
张学敏
金光
戴小兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210448698.8A priority Critical patent/CN114972072A/zh
Publication of CN114972072A publication Critical patent/CN114972072A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于注意力机制的图像去马赛克方法，包括以下步骤：步骤构建数据集，包括训练集、验证集和测试集，并对数据集进行预处理，仿真得到Bayer图像；采集得到的数据分别进行卷积处理，然后提取特征；采用基于注意力机制的端到端神经网络模型，得到去马赛克模型；处理测试集，测试得到的模型性能；进行定量评价，评价指标采用峰值信噪比PSNR。本发明的优点是：本发明提供了一种基于注意力机制的图像去马赛克方法，该方法将注意力机制引入到图像去马赛克任务中，从众多信息中选择出对去马赛克任务目标更关键的信息，提高深度学习网络在去马赛克任务中的表现，使得生成图像更加接近原始真实图像。

Description

基于注意力机制的图像去马赛克方法
技术领域
本发明涉及一种图像去马赛克方法，尤其涉及一种基于注意力机制的马赛克去除方法，属于图像处理、深度学习和卷积神经网络领域。
背景技术
去马赛克是图像预处理环节中的关键一步，与图像的视觉效果与整体质量息息相关。近年来，深度学习在图像去马赛克领域得到了广泛研究和应用。“注意力机制”实际上就是想将人的感知方式、注意力的行为应用在机器上，让机器学会去感知数据中的重要和不重要的部分。核心目的就在于希望机器能在很多的信息中注意到对当前任务更关键的信息，而对于其他的非关键信息就不需要太多的注意力侧重。“注意力机制”在图像分类、目标检测、语义分割、视频理解、图像生成、三维视觉、多模态任务和自监督学习等视觉任务中取得了巨大的成功。因此，将注意力机制引入到图像去马赛克任务中有利于网络对复杂场景和信息的分析和理解，从而提升去马赛克图像的视觉效果。
发明内容
本发明提供一种基于注意力机制的图像去马赛克方法，旨在提高深度学习网络在去马赛克任务中的表现，从而得到更接近原始图像的去马赛克图像。
本发明的技术解决方案是：本发明提供了一种基于注意力机制的图像去马赛克方法，包括以下步骤：
步骤1、构建数据集，包括训练集、验证集和测试集，并对数据集进行预处理，仿真得到Bayer图像；
步骤2、对步骤1采集得到的数据分别进行卷积处理，然后提取特征；
步骤3、采用基于注意力机制的端到端神经网络模型，将步骤2提取得到的特征，分别输入至所述基于注意力机制的端到端神经网络模型进行训练，得到去马赛克模型；
注意力机制可以理解为，计算机视觉系统在模拟人类视觉系统中可以迅速高效地关注到重点区域的特性，对于人类来说，当面对复杂场景的时候，我们可以迅速关注到重点区域，并处理这些区域，对于视觉系统，上述过程可以抽象成下面的式子：
Figure 721995DEST_PATH_IMAGE001
其中 g(x) 表示对输入特征进行处理并产生注意力的过程，f(g(x),x) 表示结合注意力对输入特征进行处理的过程；
步骤4、利用步骤3得到的去马赛克模型处理测试集，测试得到的模型性能；
步骤5、对步骤4得到的去马赛克图像进行定量评价，评价指标采用峰值信噪比PSNR。
本发明的优点是：
本发明提供了一种基于注意力机制的图像去马赛克方法，该方法将注意力机制引入到图像去马赛克任务中，从众多信息中选择出对去马赛克任务目标更关键的信息，提高深度学习网络在去马赛克任务中的表现，使得生成图像更加接近原始真实图像。
附图说明
图1是本发明的结构示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语 “连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
本发明所采取的技术方案是：一种基于注意力机制的图像去马赛克方法，具体按照以下步骤实施。
1、构建数据集：
用VOC2012数据集来训练网络，对原始16700张数据进行增广处理得到20万训练图像。对于测试集，使用Kodak和McMaster数据集，Kodak数据集由24幅图像组成，分辨率为768×512。McMaster数据集由18张图像组成， 分辨率500×500。预处理采用Bicubic插值对原始高分辨率图像进行2倍的降采样，生成 "GBRG "Bayer模式的训练和测试数据。所有训练图像都被随机裁剪成88×88像素大小的斑块。
2、采集得到的数据输入到训练网络中，然后提取特征；
所述的S2中这里以全局注意力机制(GAM)为例，并在公式1和2；给定输入特征F1 ，中间状态F2和输出F3定义为
Figure 815503DEST_PATH_IMAGE002
Figure 15540DEST_PATH_IMAGE003
其中 MC和 MS分别为通道注意力图和空间注意力图；
Figure 415428DEST_PATH_IMAGE004
表示按元素进行乘法操作。
3、采用基于注意力机制的端到端神经网络模型，将步骤2提取得到的特征，分别输入至所述基于注意力机制的端到端神经网络模型进行训练，由于注意力机制轻量且即插即用，网络模型可任选如编码-解码（ED模型，Encoder-Decoder）或者生成对抗网络（GAN，Generative Adversarial Network）等其他卷积神经网络，得到去马赛克模型。
4、利用步骤3得到的去马赛克模型处理测试集，测试得到的模型性能。
5、对步骤4得到的去马赛克图像进行定量评价，评价指标采用峰值信噪比PSNR
Figure 622288DEST_PATH_IMAGE005
Figure 890458DEST_PATH_IMAGE006
。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (4)

1.基于注意力机制的图像去马赛克方法，其特征在于：包括以下步骤：
S1:构建数据集：
包括训练集、验证集和测试集，并对数据集进行预处理，仿真得到Bayer图像；
S2:采集得到的数据输入到训练网络中，然后提取特征；
S3:用基于注意力机制的端到端神经网络模型，将步骤2提取得到的特征，分别输入至所述基于注意力机制的端到端神经网络模型进行训练，得到去马赛克模型；
对于视觉系统，上述过程可以抽象成下面的式子：
Figure 527491DEST_PATH_IMAGE001
其中 g(x) 表示对输入特征进行处理并产生注意力的过程，f(g(x),x) 表示结合注意力对输入特征进行处理的过程；
S4：利用步骤3得到的去马赛克模型处理测试集，测试得到的模型性能；
S5：对步骤4得到的去马赛克图像进行定量评价，评价指标采用峰值信噪比PSNR
Figure 257550DEST_PATH_IMAGE002
Figure 332953DEST_PATH_IMAGE003
。
2.根据权利要求1所述的基于注意力机制的图像去马赛克方法，其特征在于：所述的步骤S1中，用VOC2012数据集来训练网络，对原始16700张数据进行增广处理得到20万训练图像；对于测试集，使用Kodak和McMaster数据集，Kodak数据集由24幅图像组成，分辨率为768×512；McMaster数据集由18张图像组成， 分辨率500×500；预处理采用Bicubic插值对原始高分辨率图像进行2倍的降采样，生成 "GBRG "Bayer模式的训练和测试数据；所有训练图像都被随机裁剪成88×88像素大小的斑块。
3.根据权利要求1所述的基于注意力机制的图像去马赛克方法，其特征在于：所述的S2中这里以全局注意力机制(GAM)为例，并在公式1和2；给定输入特征F1 ，中间状态F2和输出F3定义为
Figure 123055DEST_PATH_IMAGE004
Figure 798755DEST_PATH_IMAGE005
其中 MC和 MS分别为通道注意力图和空间注意力图；
Figure 942292DEST_PATH_IMAGE006
表示按元素进行乘法操作。
4.据权利要求1所述的基于注意力机制的图像去马赛克方法，其特征在于：所述的步骤S3中，注意力机制可以理解为，计算机视觉系统在模拟人类视觉系统中可以迅速高效地关注到重点区域的特性；对于人类来说，当面对复杂场景的时候，我们可以迅速关注到重点区域，并处理这些区域。
CN202210448698.8A 2022-04-24 2022-04-24 基于注意力机制的图像去马赛克方法 Pending CN114972072A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210448698.8A CN114972072A (zh) 2022-04-24 2022-04-24 基于注意力机制的图像去马赛克方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210448698.8A CN114972072A (zh) 2022-04-24 2022-04-24 基于注意力机制的图像去马赛克方法

Publications (1)

Publication Number Publication Date
CN114972072A true CN114972072A (zh) 2022-08-30

Family

ID=82979037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210448698.8A Pending CN114972072A (zh) 2022-04-24 2022-04-24 基于注意力机制的图像去马赛克方法

Country Status (1)

Country Link
CN (1) CN114972072A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274060A (zh) * 2023-10-18 2023-12-22 深圳深知未来智能有限公司 一种无监督的端到端去马赛克方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009590A (zh) * 2019-04-12 2019-07-12 北京理工大学 一种基于卷积神经网络的高质量彩色图像去马赛克方法
CN113284100A (zh) * 2021-05-12 2021-08-20 西安理工大学 基于恢复图像对混合域注意力机制的图像质量评价方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009590A (zh) * 2019-04-12 2019-07-12 北京理工大学 一种基于卷积神经网络的高质量彩色图像去马赛克方法
CN113284100A (zh) * 2021-05-12 2021-08-20 西安理工大学 基于恢复图像对混合域注意力机制的图像质量评价方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274060A (zh) * 2023-10-18 2023-12-22 深圳深知未来智能有限公司 一种无监督的端到端去马赛克方法及系统
CN117274060B (zh) * 2023-10-18 2024-10-01 深圳深知未来智能有限公司 一种无监督的端到端去马赛克方法及系统

Similar Documents

Publication Publication Date Title
Nie et al. Deeply learned filter response functions for hyperspectral reconstruction
Kim et al. Deep convolutional neural models for picture-quality prediction: Challenges and solutions to data-driven image quality assessment
Zhang et al. Hierarchical feature fusion with mixed convolution attention for single image dehazing
Ma et al. Structure-preserving image super-resolution
CN109523470B (zh) 一种深度图像超分辨率重建方法及系统
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN111080567A (zh) 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
CN111105352A (zh) 超分辨率图像重构方法、系统、计算机设备及存储介质
CN113865859B (zh) 多尺度多源异构信息融合的齿轮箱状态故障诊断方法
CN113674140A (zh) 一种物理对抗样本生成方法及系统
CN113673590A (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN113033276B (zh) 一种基于转换模块的行为识别方法
CN112489164B (zh) 基于改进深度可分离卷积神经网络的图像着色方法
Chen et al. Naturalization module in neural networks for screen content image quality assessment
CN113192003B (zh) 一种拼接图像质量评价方法
CN111833261A (zh) 一种基于注意力的生成对抗网络的图像超分辨率复原方法
CN110634103A (zh) 基于生成对抗网络的图像去马赛克方法
CN113284046A (zh) 基于无高分辨率参考图的遥感图像增强和复原方法及网络
CN116128735A (zh) 基于密集连接残差网络的多光谱图像去马赛克结构及方法
Zhang et al. DuGAN: An effective framework for underwater image enhancement
CN114972072A (zh) 基于注意力机制的图像去马赛克方法
Zeng et al. Combining CNN and transformers for full-reference and no-reference image quality assessment
Zhuang et al. ReLoc: A restoration-assisted framework for robust image tampering localization
Yang et al. Bokehornot: Transforming bokeh effect with image transformer and lens metadata embedding
Lin et al. Transformer-Based Light Field Geometry Learning for No-Reference Light Field Image Quality Assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination