CN114972072A - 基于注意力机制的图像去马赛克方法 - Google Patents

基于注意力机制的图像去马赛克方法 Download PDF

Info

Publication number
CN114972072A
CN114972072A CN202210448698.8A CN202210448698A CN114972072A CN 114972072 A CN114972072 A CN 114972072A CN 202210448698 A CN202210448698 A CN 202210448698A CN 114972072 A CN114972072 A CN 114972072A
Authority
CN
China
Prior art keywords
attention mechanism
attention
image
demosaicing
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210448698.8A
Other languages
English (en)
Inventor
郭羽萱
张学敏
金光
戴小兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210448698.8A priority Critical patent/CN114972072A/zh
Publication of CN114972072A publication Critical patent/CN114972072A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于注意力机制的图像去马赛克方法，包括以下步骤：步骤构建数据集，包括训练集、验证集和测试集，并对数据集进行预处理，仿真得到Bayer图像；采集得到的数据分别进行卷积处理，然后提取特征；采用基于注意力机制的端到端神经网络模型，得到去马赛克模型；处理测试集，测试得到的模型性能；进行定量评价，评价指标采用峰值信噪比PSNR。本发明的优点是：本发明提供了一种基于注意力机制的图像去马赛克方法，该方法将注意力机制引入到图像去马赛克任务中，从众多信息中选择出对去马赛克任务目标更关键的信息，提高深度学习网络在去马赛克任务中的表现，使得生成图像更加接近原始真实图像。

Description

基于注意力机制的图像去马赛克方法
技术领域
本发明涉及一种图像去马赛克方法，尤其涉及一种基于注意力机制的马赛克去除方法，属于图像处理、深度学习和卷积神经网络领域。
背景技术
去马赛克是图像预处理环节中的关键一步，与图像的视觉效果与整体质量息息相关。近年来，深度学习在图像去马赛克领域得到了广泛研究和应用。“注意力机制”实际上就是想将人的感知方式、注意力的行为应用在机器上，让机器学会去感知数据中的重要和不重要的部分。核心目的就在于希望机器能在很多的信息中注意到对当前任务更关键的信息，而对于其他的非关键信息就不需要太多的注意力侧重。“注意力机制”在图像分类、目标检测、语义分割、视频理解、图像生成、三维视觉、多模态任务和自监督学习等视觉任务中取得了巨大的成功。因此，将注意力机制引入到图像去马赛克任务中有利于网络对复杂场景和信息的分析和理解，从而提升去马赛克图像的视觉效果。
发明内容
本发明提供一种基于注意力机制的图像去马赛克方法，旨在提高深度学习网络在去马赛克任务中的表现，从而得到更接近原始图像的去马赛克图像。
本发明的技术解决方案是：本发明提供了一种基于注意力机制的图像去马赛克方法，包括以下步骤：
步骤1、构建数据集，包括训练集、验证集和测试集，并对数据集进行预处理，仿真得到Bayer图像；
步骤2、对步骤1采集得到的数据分别进行卷积处理，然后提取特征；
步骤3、采用基于注意力机制的端到端神经网络模型，将步骤2提取得到的特征，分别输入至所述基于注意力机制的端到端神经网络模型进行训练，得到去马赛克模型；
注意力机制可以理解为，计算机视觉系统在模拟人类视觉系统中可以迅速高效地关注到重点区域的特性，对于人类来说，当面对复杂场景的时候，我们可以迅速关注到重点区域，并处理这些区域，对于视觉系统，上述过程可以抽象成下面的式子：
Figure 721995DEST_PATH_IMAGE001
其中 g(x) 表示对输入特征进行处理并产生注意力的过程，f(g(x),x) 表示结合注意力对输入特征进行处理的过程；
步骤4、利用步骤3得到的去马赛克模型处理测试集，测试得到的模型性能；
步骤5、对步骤4得到的去马赛克图像进行定量评价，评价指标采用峰值信噪比PSNR。
本发明的优点是：
本发明提供了一种基于注意力机制的图像去马赛克方法，该方法将注意力机制引入到图像去马赛克任务中，从众多信息中选择出对去马赛克任务目标更关键的信息，提高深度学习网络在去马赛克任务中的表现，使得生成图像更加接近原始真实图像。
附图说明
图1是本发明的结构示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语 “连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
本发明所采取的技术方案是：一种基于注意力机制的图像去马赛克方法，具体按照以下步骤实施。
1、构建数据集：
用VOC2012数据集来训练网络，对原始16700张数据进行增广处理得到20万训练图像。对于测试集，使用Kodak和McMaster数据集，Kodak数据集由24幅图像组成，分辨率为768×512。McMaster数据集由18张图像组成， 分辨率500×500。预处理采用Bicubic插值对原始高分辨率图像进行2倍的降采样，生成 "GBRG "Bayer模式的训练和测试数据。所有训练图像都被随机裁剪成88×88像素大小的斑块。
2、采集得到的数据输入到训练网络中，然后提取特征；
所述的S2中这里以全局注意力机制(GAM)为例，并在公式1和2；给定输入特征F1 ，中间状态F2和输出F3定义为
Figure 815503DEST_PATH_IMAGE002
Figure 15540DEST_PATH_IMAGE003
其中 MC和 MS分别为通道注意力图和空间注意力图；
Figure 415428DEST_PATH_IMAGE004
表示按元素进行乘法操作。
3、采用基于注意力机制的端到端神经网络模型，将步骤2提取得到的特征，分别输入至所述基于注意力机制的端到端神经网络模型进行训练，由于注意力机制轻量且即插即用，网络模型可任选如编码-解码（ED模型，Encoder-Decoder）或者生成对抗网络（GAN，Generative Adversarial Network）等其他卷积神经网络，得到去马赛克模型。
4、利用步骤3得到的去马赛克模型处理测试集，测试得到的模型性能。
5、对步骤4得到的去马赛克图像进行定量评价，评价指标采用峰值信噪比PSNR
Figure 622288DEST_PATH_IMAGE005
Figure 890458DEST_PATH_IMAGE006
。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (4)

1.基于注意力机制的图像去马赛克方法，其特征在于：包括以下步骤：
S1:构建数据集：
包括训练集、验证集和测试集，并对数据集进行预处理，仿真得到Bayer图像；
S2:采集得到的数据输入到训练网络中，然后提取特征；
S3:用基于注意力机制的端到端神经网络模型，将步骤2提取得到的特征，分别输入至所述基于注意力机制的端到端神经网络模型进行训练，得到去马赛克模型；
对于视觉系统，上述过程可以抽象成下面的式子：
Figure 527491DEST_PATH_IMAGE001
其中 g(x) 表示对输入特征进行处理并产生注意力的过程，f(g(x),x) 表示结合注意力对输入特征进行处理的过程；
S4：利用步骤3得到的去马赛克模型处理测试集，测试得到的模型性能；
S5：对步骤4得到的去马赛克图像进行定量评价，评价指标采用峰值信噪比PSNR
Figure 257550DEST_PATH_IMAGE002
Figure 332953DEST_PATH_IMAGE003
。
2.根据权利要求1所述的基于注意力机制的图像去马赛克方法，其特征在于：所述的步骤S1中，用VOC2012数据集来训练网络，对原始16700张数据进行增广处理得到20万训练图像；对于测试集，使用Kodak和McMaster数据集，Kodak数据集由24幅图像组成，分辨率为768×512；McMaster数据集由18张图像组成， 分辨率500×500；预处理采用Bicubic插值对原始高分辨率图像进行2倍的降采样，生成 "GBRG "Bayer模式的训练和测试数据；所有训练图像都被随机裁剪成88×88像素大小的斑块。
3.根据权利要求1所述的基于注意力机制的图像去马赛克方法，其特征在于：所述的S2中这里以全局注意力机制(GAM)为例，并在公式1和2；给定输入特征F1 ，中间状态F2和输出F3定义为
Figure 123055DEST_PATH_IMAGE004
Figure 798755DEST_PATH_IMAGE005
其中 MC和 MS分别为通道注意力图和空间注意力图；
Figure 942292DEST_PATH_IMAGE006
表示按元素进行乘法操作。
4.据权利要求1所述的基于注意力机制的图像去马赛克方法，其特征在于：所述的步骤S3中，注意力机制可以理解为，计算机视觉系统在模拟人类视觉系统中可以迅速高效地关注到重点区域的特性；对于人类来说，当面对复杂场景的时候，我们可以迅速关注到重点区域，并处理这些区域。
CN202210448698.8A 2022-04-24 2022-04-24 基于注意力机制的图像去马赛克方法 Pending CN114972072A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210448698.8A CN114972072A (zh) 2022-04-24 2022-04-24 基于注意力机制的图像去马赛克方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210448698.8A CN114972072A (zh) 2022-04-24 2022-04-24 基于注意力机制的图像去马赛克方法

Publications (1)

Publication Number Publication Date
CN114972072A true CN114972072A (zh) 2022-08-30

Family

ID=82979037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210448698.8A Pending CN114972072A (zh) 2022-04-24 2022-04-24 基于注意力机制的图像去马赛克方法

Country Status (1)

Country Link
CN (1) CN114972072A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116029930A (zh) * 2023-01-09 2023-04-28 西安电子科技大学 一种基于卷积神经网络的多光谱图像去马赛克方法
CN117274060A (zh) * 2023-10-18 2023-12-22 深圳深知未来智能有限公司 一种无监督的端到端去马赛克方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009590A (zh) * 2019-04-12 2019-07-12 北京理工大学 一种基于卷积神经网络的高质量彩色图像去马赛克方法
CN113284100A (zh) * 2021-05-12 2021-08-20 西安理工大学 基于恢复图像对混合域注意力机制的图像质量评价方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009590A (zh) * 2019-04-12 2019-07-12 北京理工大学 一种基于卷积神经网络的高质量彩色图像去马赛克方法
CN113284100A (zh) * 2021-05-12 2021-08-20 西安理工大学 基于恢复图像对混合域注意力机制的图像质量评价方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116029930A (zh) * 2023-01-09 2023-04-28 西安电子科技大学 一种基于卷积神经网络的多光谱图像去马赛克方法
CN117274060A (zh) * 2023-10-18 2023-12-22 深圳深知未来智能有限公司 一种无监督的端到端去马赛克方法及系统
CN117274060B (zh) * 2023-10-18 2024-10-01 深圳深知未来智能有限公司 一种无监督的端到端去马赛克方法及系统

Similar Documents

Publication Publication Date Title
CN110120011B (zh) 一种基于卷积神经网络和混合分辨率的视频超分辨方法
CN109671023B (zh) 一种人脸图像超分辨率二次重建方法
CN111062880B (zh) 一种基于条件生成对抗网络的水下图像实时增强方法
CN112288658A (zh) 一种基于多残差联合学习的水下图像增强方法
Zhang et al. Single image dehazing via dual-path recurrent network
CN116977651B (zh) 一种基于双分支和多尺度特征提取的图像去噪方法
CN110263813A (zh) 一种基于残差网络和深度信息融合的显著性检测方法
CN113128517B (zh) 色调映射图像混合视觉特征提取模型建立及质量评价方法
Sun et al. Multiscale generative adversarial network for real‐world super‐resolution
CN114972072A (zh) 基于注意力机制的图像去马赛克方法
Guan et al. Srdgan: learning the noise prior for super resolution with dual generative adversarial networks
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
CN113486700A (zh) 一种教学场景下基于注意力机制的面部表情分析方法
CN111833261A (zh) 一种基于注意力的生成对抗网络的图像超分辨率复原方法
CN105550989A (zh) 基于非局部高斯过程回归的图像超分辨方法
CN118154906A (zh) 基于特征相似性和多尺度边缘注意力的图像篡改检测方法
CN117934308A (zh) 一种基于图卷积网络的轻量化自监督单目深度估计方法
CN113192003A (zh) 一种拼接图像质量评价方法
CN115190226B (zh) 参数调整的方法、训练神经网络模型的方法及相关装置
CN116309178A (zh) 一种基于自适应注意力机制网络的可见光图像去噪方法
Sun et al. Two-stage deep single-image super-resolution with multiple blur kernels for Internet of Things
Li et al. A discriminative self‐attention cycle GAN for face super‐resolution and recognition
CN113191962B (zh) 基于环境背景光的水下图像颜色恢复方法、装置及存储介质
Yang et al. Bokehornot: Transforming bokeh effect with image transformer and lens metadata embedding
CN115222606A (zh) 图像处理方法、装置、计算机可读介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination