CN114972073B - 基于超分辨率生成对抗网络srgan的图像去马赛克方法 - Google Patents

基于超分辨率生成对抗网络srgan的图像去马赛克方法 Download PDF

Info

Publication number
CN114972073B
CN114972073B CN202210448725.1A CN202210448725A CN114972073B CN 114972073 B CN114972073 B CN 114972073B CN 202210448725 A CN202210448725 A CN 202210448725A CN 114972073 B CN114972073 B CN 114972073B
Authority
CN
China
Prior art keywords
image
resolution
training
countermeasure network
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210448725.1A
Other languages
English (en)
Other versions
CN114972073A (zh
Inventor
郭羽萱
张学敏
金光
戴小兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210448725.1A priority Critical patent/CN114972073B/zh
Publication of CN114972073A publication Critical patent/CN114972073A/zh
Application granted granted Critical
Publication of CN114972073B publication Critical patent/CN114972073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Color Television Image Signal Generators (AREA)
  • Color Image Communication Systems (AREA)

Abstract

本发明公开了一种基于超分辨率生成对抗网络SRGAN的马赛克去除方法，首先构建数据集，并对训练和测试数据进行预处理，然后生成"RGGB"Bayer模式。然后构建超分辨率生成式对抗网络SRGAN，其次，将上述构建完成的训练数据集输入进生成对抗网络中，对于训练数据，网络每次随机选取一批图像进行学习，分别对判别器和生成器进行交替训练，然后将含有马赛克的测试数据输入生成器中，输出的图像被认为就是去马赛克后的图像。本发明与现有技术相比的优点在于：该方法将单波段Bayer灰度图像的去马赛克问题转化成压缩后4波段（rggb）子图像的2倍超分重建问题，使用超分辨率生成对抗网络SRGAN对Bayer图像进行彩色复原，使得生成图像更加接近原始真实图像。

Description

基于超分辨率生成对抗网络SRGAN的图像去马赛克方法
技术领域
本发明涉及一种图像去马赛克方法，具体是指基于超分辨率生成对抗网络SRGAN的图像去马赛克方法，属于图像处理、深度学习和卷积神经网络领域。
背景技术
去马赛克是图像信号处理过程中的第一步，直接影响到图像的整体质量。由于拜尔图像每个像素只有一个颜色测量值，因此需要一个Bayer插值过程来恢复完整的彩色图像，这个过程也被称为去马赛克。因为传感器上的每个像素都在一个彩色滤光片后面，输出是一个像素值的矩阵，每个像素代表三种滤光片颜色之一的原始强度，去马赛克算法需要估计每种颜色的每个像素的颜色水平，而不仅仅是一种颜色的组成部分。由于亮度(绿色)通道的采样频率高于色度(红色和蓝色)通道，红色和蓝色通道自然会产生混叠问题。Bayer插值往往会在图像的边缘和细节上产生严重的假彩色伪影，如锯齿或拉链(相邻像素的突然和不自然的强度变化，有拉链状的图案)和紫色边缘。因此，要从CFA图像中恢复高质量的彩色图像，去马赛克方法的设计与选择尤为重要。
发明内容
本发明提供一种基于超分辨率生成对抗网络SRGAN的图像去马赛克方法，该方法旨在减少去马赛克图像的伪影现象，更好的恢复图像中高频部分(边缘或细节)的纹理信息，提升数字图像的视觉质量。
本发明的技术解决方案是：本发明提供了一种基于超分辨率生成对抗网络SRGAN的马赛克去除方法，首先构建数据集，并对训练和测试数据进行预处理，使用Bicubic插值对原始高分辨率图像进行2倍的降采样，然后生成"RGGB"Bayer模式。然后构建超分辨率生成式对抗网络SRGAN，由两部分构成：生成器和判别器；生成器的目的是将4通道压缩的CFA图像转换成3通道输出的全彩图像。鉴别器网络结构使用卷积层，然后进行批量归一化和LeakyReLU激活(α＝0.2)，并在整个鉴别器网络中避免最大池。其次，将上述构建完成的训练数据集输入进生成对抗网络中，对于训练数据，网络每次随机选取一批图像进行学习，分别对判别器和生成器进行交替训练，训练过程采用随机梯度下降法SGD(Stochasticgradient descent)，利用Adam(adaptive moment estimation)优化器进行最优化。感知损失函数为内容损失和对抗损失的加权和，内容损失由MSE损失和VGG特征损失组成。训练之后就可以测试网络性能，对于测试数据集，利用与训练数据同样的预处理方法，然后将含有马赛克的测试数据输入生成器中，输出的图像被认为就是去马赛克后的图像，通过计算去马赛克后的输出图像与不含马赛克的原始图像之间的峰值功率信噪比PSNR(Peak SignaltoNoise Ratio)来衡量去马赛克效果。
本发明与现有技术相比的优点在于：该方法将单波段Bayer灰度图像的去马赛克问题转化成压缩后4波段(rggb)子图像的2倍超分重建问题，使用超分辨率生成对抗网络SRGAN对Bayer图像进行彩色复原，结合生成对抗网络中博弈对抗的特点，在损失函数中同时兼顾像素级MSE损失和特征级VGG损失，使得生成图像更加接近原始真实图像。
附图说明
图1是本发明的结构示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
一种基于超分辨率生成对抗网络SRGAN的马赛克去除方法，具体按照以下步骤实施：
1.构建数据集：
用VOC2012数据集来训练网络，其中包括16700张用于训练的图像和426张用于验证的图像。所有的训练图像都被随机裁剪成88×88像素大小的斑块。对于测试集，使用柯达和麦克马斯特(Kodak和McMaster)数据集，这些数据集被广泛用作去马赛克解决方案的测试集。柯达数据集由24幅图像组成，每幅图像的分辨率为768×512。麦克马斯特数据集由18张图像组成，每张图像都是从500×500的高分辨率图像中提取的。为了对训练和测试数据进行预处理，使用Bicubic插值对原始高分辨率图像进行2倍的降采样，然后生成"RGGB"Bayer模式。
2.构建超分辨率生成对抗网络SRGAN：
生成对抗网络由两部分构成：生成器和判别器；生成器的目的是将4通道压缩的CFA图像转换成3通道输出的全彩图像。我们对G使用SRGAN模型，包含4个卷积块，16个残差块(ResBlocks)和一个子像素卷积层。具体来说，我们使用了两个具有3×3小核和64个特征图的卷积层，然后是批量规范化层和ParametricReLU[作为激活函数。用两个训练有素的子像素卷积层提高输入图像的分辨率。此外，我们在子像素层之前引入一个跳过连接来引导输出。
鉴别器网络结构使用卷积层，然后进行批量归一化和LeakyReLU激活(α＝0.2)，并在整个鉴别器网络中避免最大池。它包含8个卷积层，3×3滤波核的数量不断增加，与VGG网络一样，从64核增加到512核，增加了2倍。每当特征数量增加一倍时，就会使用分层卷积来降低图像分辨率。所得的512个特征图之后是两个密集层和一个最后的sigmoid激活函数，以获得样本分类的概率。
3.训练超分辨率生成对抗网络SRGAN：
将上述构建完成的训练数据集输入进生成对抗网络中，对于训练数据，网络每次随机选取一批图像进行学习，分别对判别器和生成器进行交替训练，训练过程采用随机梯度下降法SGD(Stochastic gradient descent)，利用Adam(adaptive moment estimation)优化器进行最优化。
感知损失函数为内容损失和对抗损失的加权和，内容损失由MSE损失和VGG特征损失组成：
4.测试超分辨率生成对抗网络SRGAN：
对于测试数据集，利用与训练数据同样的预处理方法，然后将含有马赛克的测试数据输入生成器中，输出的图像被认为就是去马赛克后的图像，通过计算去马赛克后的输出图像与不含马赛克的原始图像之间的峰值功率信噪比PSNR(Peak Signal to NoiseRatio)来衡量去马赛克效果。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (2)

1.基于超分辨率生成对抗网络SRGAN的图像去马赛克方法，其特征在于：包括以下步骤：
S1：构建数据集
用VOC2012数据集来训练网络，其中包括16700张用于训练的图像和426张用于验证的图像；所有的训练图像都被随机裁剪成88×88像素大小的斑块；对于测试集，使用柯达和麦克马斯特数据集，柯达数据集由24幅图像组成，每幅图像的分辨率为768×512；麦克马斯特数据集由18张图像组成，每张图像都是从500×500的高分辨率图像中提取的；为了对训练和测试数据进行预处理，使用Bicubic插值对原始高分辨率图像进行2倍的降采样，然后生成"RGGB"Bayer模式；
S2：构建超分辨率生成对抗网络SRGAN
生成对抗网络由两部分构成：生成器和判别器；生成器的目的是将4通道压缩的CFA图像转换成3通道输出的全彩图像，对G使用SRGAN模型，包含4个卷积块，16个残差块和一个子像素卷积层；
鉴别器网络结构使用卷积层，然后进行批量归一化和LeakyReLU激活α＝0.2，并在整个鉴别器网络中避免最大池，它包含8个卷积层，3×3滤波核的数量不断增加，与VGG网络一样，从64核增加到512核，增加了2倍；每当特征数量增加一倍时，就会使用分层卷积来降低图像分辨率；所得的512个特征图之后是两个密集层和一个最后的sigmoid激活函数，以获得样本分类的概率；
S3：训练超分辨率生成对抗网络SRGAN
将上述构建完成的训练数据集输入进生成对抗网络中，对于训练数据，网络每次随机选取一批图像进行学习，分别对判别器和生成器进行交替训练，训练过程采用随机梯度下降法SGD，利用Adam优化器进行最优化；
感知损失函数为内容损失和对抗损失的加权和，内容损失由MSE损失和VGG特征损失组成：
S4：测试超分辨率生成对抗网络SRGAN
对于测试数据集，利用与训练数据同样的预处理方法，然后将含有马赛克的测试数据输入生成器中，输出的图像被认为就是去马赛克后的图像，通过计算去马赛克后的输出图像与不含马赛克的原始图像之间的峰值功率信噪比PSNR来衡量去马赛克效果。
2.根据权利要求1所述的基于超分辨率生成对抗网络SRGAN的图像去马赛克方法，其特征在于：所述的步骤S2中，使用两个具有3×3小核和64个特征图的卷积层，然后是批量规范化层和ParametricReLU作为激活函数，用两个训练有素的子像素卷积层提高输入图像的分辨率，此外，在子像素层之前引入一个跳过连接来引导输出。
CN202210448725.1A 2022-04-24 2022-04-24 基于超分辨率生成对抗网络srgan的图像去马赛克方法 Active CN114972073B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210448725.1A CN114972073B (zh) 2022-04-24 2022-04-24 基于超分辨率生成对抗网络srgan的图像去马赛克方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210448725.1A CN114972073B (zh) 2022-04-24 2022-04-24 基于超分辨率生成对抗网络srgan的图像去马赛克方法

Publications (2)

Publication Number Publication Date
CN114972073A CN114972073A (zh) 2022-08-30
CN114972073B true CN114972073B (zh) 2024-04-30

Family

ID=82980072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210448725.1A Active CN114972073B (zh) 2022-04-24 2022-04-24 基于超分辨率生成对抗网络srgan的图像去马赛克方法

Country Status (1)

Country Link
CN (1) CN114972073B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019025298A1 (en) * 2017-07-31 2019-02-07 Institut Pasteur METHOD, DEVICE AND COMPUTER PROGRAM FOR IMPROVING THE RECONSTRUCTION OF VERY HIGH RESOLUTION DENSED IMAGES FROM LIMITED-LIFE DIFFRACTION IMAGES ACQUIRED BY MONOMOLECULAR LOCATION MICROSCOPY
CN110634103A (zh) * 2019-08-28 2019-12-31 天津大学 基于生成对抗网络的图像去马赛克方法
CN111210388A (zh) * 2019-12-30 2020-05-29 深圳市爱协生科技有限公司 基于生成对抗网络的马赛克人脸图像超分辨率重建方法
RU2764395C1 (ru) * 2020-11-23 2022-01-17 Самсунг Электроникс Ко., Лтд. Способ и устройство для совместного выполнения дебайеризации и устранения шумов изображения с помощью нейронной сети
CN114239376A (zh) * 2021-10-29 2022-03-25 武汉大学 一种gnss信号中断期间使用gru神经网络辅助导航的算法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018053340A1 (en) * 2016-09-15 2018-03-22 Twitter, Inc. Super resolution using a generative adversarial network

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019025298A1 (en) * 2017-07-31 2019-02-07 Institut Pasteur METHOD, DEVICE AND COMPUTER PROGRAM FOR IMPROVING THE RECONSTRUCTION OF VERY HIGH RESOLUTION DENSED IMAGES FROM LIMITED-LIFE DIFFRACTION IMAGES ACQUIRED BY MONOMOLECULAR LOCATION MICROSCOPY
CN110634103A (zh) * 2019-08-28 2019-12-31 天津大学 基于生成对抗网络的图像去马赛克方法
CN111210388A (zh) * 2019-12-30 2020-05-29 深圳市爱协生科技有限公司 基于生成对抗网络的马赛克人脸图像超分辨率重建方法
WO2021134872A1 (zh) * 2019-12-30 2021-07-08 深圳市爱协生科技有限公司 基于生成对抗网络的马赛克人脸图像超分辨率重建方法
RU2764395C1 (ru) * 2020-11-23 2022-01-17 Самсунг Электроникс Ко., Лтд. Способ и устройство для совместного выполнения дебайеризации и устранения шумов изображения с помощью нейронной сети
CN114239376A (zh) * 2021-10-29 2022-03-25 武汉大学 一种gnss信号中断期间使用gru神经网络辅助导航的算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
生成对抗网络理论模型和应用综述;徐一峰;;金华职业技术学院学报;20170501(第03期);87-94 *

Also Published As

Publication number Publication date
CN114972073A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN111127336B (zh) 一种基于自适应选择模块的图像信号处理方法
CN109889800B (zh) 图像增强方法和装置、电子设备、存储介质
Zhou et al. Deep residual network for joint demosaicing and super-resolution
CN112184591A (zh) 一种基于深度学习图像摩尔纹消除的图像复原方法
CN112712467B (zh) 基于计算机视觉与色彩滤波阵列的图像处理方法
CN112270646B (zh) 基于残差密集跳跃网络的超分辨增强方法
CN112561799A (zh) 一种红外图像超分辨率重建方法
CN116128735B (zh) 基于密集连接残差网络的多光谱图像去马赛克结构及方法
CN115018708A (zh) 一种基于多尺度特征融合的机载遥感图像超分辨率重建方法
CN111563866A (zh) 一种多源遥感图像融合方法
CN115170392A (zh) 一种基于注意力机制的单图像超分辨率算法
CN114332625A (zh) 基于神经网络的遥感图像彩色化和超分辨率方法及系统
CN114972073B (zh) 基于超分辨率生成对抗网络srgan的图像去马赛克方法
TWI751124B (zh) 用於處理由彩色影像擷取矩陣產生的信號的方法以及相應的感測器
CN115760638A (zh) 一种基于深度学习的端到端去模糊超分辨率的方法
CN1588447A (zh) 基于残差的遥感图像融合方法
CN115601240A (zh) 一种基于SwinTransformer的去马赛克重建彩色图像的方法
Yamaguchi et al. Image demosaicking via chrominance images with parallel convolutional neural networks
Kolta et al. A hybrid demosaicking algorithm using frequency domain and wavelet methods
CN101489142B (zh) 数字影像的彩色插补方法
CN117611954B (zh) 一种红外视频图像有效性评价方法、设备及存储设备
Ganesan et al. Comparative Study of Implementation of Very Deep Super Resolution Neural Network and Bicubic Interpolation for Single Image Super Resolution Quality Enhancement
CN111932454B (zh) 基于改进的二元闭环神经网络的logo图案重建方法
CN117372564B (zh) 一种重构多光谱图像的方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant