CN114972073A - 基于超分辨率生成对抗网络srgan的图像去马赛克方法 - Google Patents

基于超分辨率生成对抗网络srgan的图像去马赛克方法 Download PDF

Info

Publication number
CN114972073A
CN114972073A CN202210448725.1A CN202210448725A CN114972073A CN 114972073 A CN114972073 A CN 114972073A CN 202210448725 A CN202210448725 A CN 202210448725A CN 114972073 A CN114972073 A CN 114972073A
Authority
CN
China
Prior art keywords
image
resolution
network
super
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210448725.1A
Other languages
English (en)
Other versions
CN114972073B (zh
Inventor
郭羽萱
张学敏
金光
戴小兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210448725.1A priority Critical patent/CN114972073B/zh
Publication of CN114972073A publication Critical patent/CN114972073A/zh
Application granted granted Critical
Publication of CN114972073B publication Critical patent/CN114972073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Color Television Image Signal Generators (AREA)
  • Color Image Communication Systems (AREA)

Abstract

本发明公开了一种基于超分辨率生成对抗网络SRGAN的马赛克去除方法，首先构建数据集，并对训练和测试数据进行预处理，然后生成"RGGB"Bayer模式。然后构建超分辨率生成式对抗网络SRGAN，其次，将上述构建完成的训练数据集输入进生成对抗网络中，对于训练数据，网络每次随机选取一批图像进行学习，分别对判别器和生成器进行交替训练，然后将含有马赛克的测试数据输入生成器中，输出的图像被认为就是去马赛克后的图像。本发明与现有技术相比的优点在于：该方法将单波段Bayer灰度图像的去马赛克问题转化成压缩后4波段（rggb）子图像的2倍超分重建问题，使用超分辨率生成对抗网络SRGAN对Bayer图像进行彩色复原，使得生成图像更加接近原始真实图像。

Description

基于超分辨率生成对抗网络SRGAN的图像去马赛克方法
技术领域
本发明涉及一种图像去马赛克方法，具体是指基于超分辨率生成对抗网络SRGAN的图像去马赛克方法，属于图像处理、深度学习和卷积神经网络领域。
背景技术
去马赛克是图像信号处理过程中的第一步，直接影响到图像的整体质量。由于拜尔图像每个像素只有一个颜色测量值，因此需要一个Bayer插值过程来恢复完整的彩色图像，这个过程也被称为去马赛克。因为传感器上的每个像素都在一个彩色滤光片后面，输出是一个像素值的矩阵，每个像素代表三种滤光片颜色之一的原始强度，去马赛克算法需要估计每种颜色的每个像素的颜色水平，而不仅仅是一种颜色的组成部分。由于亮度（绿色）通道的采样频率高于色度（红色和蓝色）通道，红色和蓝色通道自然会产生混叠问题。Bayer插值往往会在图像的边缘和细节上产生严重的假彩色伪影，如锯齿或拉链（相邻像素的突然和不自然的强度变化，有拉链状的图案）和紫色边缘。因此，要从CFA图像中恢复高质量的彩色图像，去马赛克方法的设计与选择尤为重要。
发明内容
本发明提供一种基于超分辨率生成对抗网络SRGAN的图像去马赛克方法，该方法旨在减少去马赛克图像的伪影现象，更好的恢复图像中高频部分(边缘或细节)的纹理信息，提升数字图像的视觉质量。
本发明的技术解决方案是：本发明提供了一种基于超分辨率生成对抗网络SRGAN的马赛克去除方法，首先构建数据集，并对训练和测试数据进行预处理，使用Bicubic插值对原始高分辨率图像进行2倍的降采样，然后生成 "RGGB "Bayer模式。然后构建超分辨率生成式对抗网络SRGAN ，由两部分构成：生成器和判别器；生成器的目的是将4通道压缩的CFA图像转换成3通道输出的全彩图像。鉴别器网络结构使用卷积层，然后进行批量归一化和LeakyReLU激活（α=0.2），并在整个鉴别器网络中避免最大池。其次，将上述构建完成的训练数据集输入进生成对抗网络中，对于训练数据，网络每次随机选取一批图像进行学习，分别对判别器和生成器进行交替训练，训练过程采用随机梯度下降法SGD (Stochasticgradient descent)，利用Adam(adaptive moment estimation)优化器进行最优化。感知损失函数为内容损失和对抗损失的加权和，内容损失由MSE损失和VGG特征损失组成。训练之后就可以测试网络性能，对于测试数据集，利用与训练数据同样的预处理方法，然后将含有马赛克的测试数据输入生成器中，输出的图像被认为就是去马赛克后的图像，通过计算去马赛克后的输出图像与不含马赛克的原始图像之间的峰值功率信噪比PSNR(Peak SignaltoNoise Ratio)来衡量去马赛克效果。
本发明与现有技术相比的优点在于：该方法将单波段Bayer灰度图像的去马赛克问题转化成压缩后4波段（rggb）子图像的2倍超分重建问题，使用超分辨率生成对抗网络SRGAN对Bayer图像进行彩色复原，结合生成对抗网络中博弈对抗的特点，在损失函数中同时兼顾像素级MSE损失和特征级VGG损失，使得生成图像更加接近原始真实图像。
附图说明
图1是本发明的结构示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语 “连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
一种基于超分辨率生成对抗网络SRGAN的马赛克去除方法，具体按照以下步骤实施：
1.构建数据集：
用VOC2012数据集来训练网络，其中包括16700张用于训练的图像和426张用于验证的图像。所有的训练图像都被随机裁剪成88×88像素大小的斑块。对于测试集，使用柯达和麦克马斯特（Kodak和McMaster）数据集，这些数据集被广泛用作去马赛克解决方案的测试集。柯达数据集由24幅图像组成，每幅图像的分辨率为768×512。麦克马斯特数据集由18张图像组成，每张图像都是从500×500的高分辨率图像中提取的。为了对训练和测试数据进行预处理，使用Bicubic插值对原始高分辨率图像进行2倍的降采样，然后生成 "RGGB "Bayer模式。
2.构建超分辨率生成对抗网络SRGAN：
生成对抗网络由两部分构成：生成器和判别器；生成器的目的是将4通道压缩的CFA图像转换成3通道输出的全彩图像。我们对G使用SRGAN模型，包含4个卷积块，16个残差块（ResBlocks）和一个子像素卷积层。具体来说，我们使用了两个具有3×3小核和64个特征图的卷积层，然后是批量规范化层和ParametricReLU[作为激活函数。用两个训练有素的子像素卷积层提高输入图像的分辨率。此外，我们在子像素层之前引入一个跳过连接来引导输出。
鉴别器网络结构使用卷积层，然后进行批量归一化和LeakyReLU激活（α=0.2），并在整个鉴别器网络中避免最大池。它包含8个卷积层，3×3滤波核的数量不断增加，与VGG网络一样，从64核增加到512核，增加了2倍。每当特征数量增加一倍时，就会使用分层卷积来降低图像分辨率。所得的512个特征图之后是两个密集层和一个最后的sigmoid激活函数，以获得样本分类的概率。
3.训练超分辨率生成对抗网络SRGAN：
将上述构建完成的训练数据集输入进生成对抗网络中，对于训练数据，网络每次随机选取一批图像进行学习，分别对判别器和生成器进行交替训练，训练过程采用随机梯度下降法SGD (Stochastic gradient descent)，利用Adam(adaptive momentestimation)优化器进行最优化。
感知损失函数为内容损失和对抗损失的加权和，内容损失由MSE损失和VGG特征损失组成：
Figure 902844DEST_PATH_IMAGE001
Figure 437294DEST_PATH_IMAGE002
Figure 764501DEST_PATH_IMAGE003
。
4.测试超分辨率生成对抗网络SRGAN：
对于测试数据集，利用与训练数据同样的预处理方法，然后将含有马赛克的测试数据输入生成器中，输出的图像被认为就是去马赛克后的图像，通过计算去马赛克后的输出图像与不含马赛克的原始图像之间的峰值功率信噪比PSNR(Peak Signal to NoiseRatio)来衡量去马赛克效果。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (2)

1.基于超分辨率生成对抗网络SRGAN的图像去马赛克方法，其特征在于：包括以下步骤：
S1：构建数据集
用VOC2012数据集来训练网络，其中包括16700张用于训练的图像和426张用于验证的图像；所有的训练图像都被随机裁剪成88×88像素大小的斑块；对于测试集，使用柯达和麦克马斯特数据集，柯达数据集由24幅图像组成，每幅图像的分辨率为768×512；麦克马斯特数据集由18张图像组成，每张图像都是从500×500的高分辨率图像中提取的；为了对训练和测试数据进行预处理，使用Bicubic插值对原始高分辨率图像进行2倍的降采样，然后生成 "RGGB "Bayer模式；
S2：构建超分辨率生成对抗网络SRGAN
生成对抗网络由两部分构成：生成器和判别器；生成器的目的是将4通道压缩的CFA图像转换成3通道输出的全彩图像，对G使用SRGAN模型，包含4个卷积块，16个残差块（ResBlocks）和一个子像素卷积层；
鉴别器网络结构使用卷积层，然后进行批量归一化和LeakyReLU激活（α=0.2），并在整个鉴别器网络中避免最大池，它包含8个卷积层，3×3滤波核的数量不断增加，与VGG网络一样，从64核增加到512核，增加了2倍；每当特征数量增加一倍时，就会使用分层卷积来降低图像分辨率；所得的512个特征图之后是两个密集层和一个最后的sigmoid激活函数，以获得样本分类的概率；
S3：训练超分辨率生成对抗网络SRGAN
将上述构建完成的训练数据集输入进生成对抗网络中，对于训练数据，网络每次随机选取一批图像进行学习，分别对判别器和生成器进行交替训练，训练过程采用随机梯度下降法SGD (Stochastic gradient descent)，利用Adam(adaptive moment estimation)优化器进行最优化；
感知损失函数为内容损失和对抗损失的加权和，内容损失由MSE损失和VGG特征损失组成：
Figure 747982DEST_PATH_IMAGE001
Figure 624671DEST_PATH_IMAGE002
Figure 509451DEST_PATH_IMAGE003
S4：测试超分辨率生成对抗网络SRGAN
对于测试数据集，利用与训练数据同样的预处理方法，然后将含有马赛克的测试数据输入生成器中，输出的图像被认为就是去马赛克后的图像，通过计算去马赛克后的输出图像与不含马赛克的原始图像之间的峰值功率信噪比PSNR(Peak Signal to Noise Ratio)来衡量去马赛克效果。
2.根据权利要求1所述的基于超分辨率生成对抗网络SRGAN的图像去马赛克方法，其特征在于：所述的步骤S2中，使用两个具有3×3小核和64个特征图的卷积层，然后是批量规范化层和ParametricReLU[作为激活函数，用两个训练有素的子像素卷积层提高输入图像的分辨率，此外，在子像素层之前引入一个跳过连接来引导输出。
CN202210448725.1A 2022-04-24 2022-04-24 基于超分辨率生成对抗网络srgan的图像去马赛克方法 Active CN114972073B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210448725.1A CN114972073B (zh) 2022-04-24 2022-04-24 基于超分辨率生成对抗网络srgan的图像去马赛克方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210448725.1A CN114972073B (zh) 2022-04-24 2022-04-24 基于超分辨率生成对抗网络srgan的图像去马赛克方法

Publications (2)

Publication Number Publication Date
CN114972073A true CN114972073A (zh) 2022-08-30
CN114972073B CN114972073B (zh) 2024-04-30

Family

ID=82980072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210448725.1A Active CN114972073B (zh) 2022-04-24 2022-04-24 基于超分辨率生成对抗网络srgan的图像去马赛克方法

Country Status (1)

Country Link
CN (1) CN114972073B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
WO2019025298A1 (en) * 2017-07-31 2019-02-07 Institut Pasteur METHOD, DEVICE AND COMPUTER PROGRAM FOR IMPROVING THE RECONSTRUCTION OF VERY HIGH RESOLUTION DENSED IMAGES FROM LIMITED-LIFE DIFFRACTION IMAGES ACQUIRED BY MONOMOLECULAR LOCATION MICROSCOPY
CN110634103A (zh) * 2019-08-28 2019-12-31 天津大学 基于生成对抗网络的图像去马赛克方法
CN111210388A (zh) * 2019-12-30 2020-05-29 深圳市爱协生科技有限公司 基于生成对抗网络的马赛克人脸图像超分辨率重建方法
RU2764395C1 (ru) * 2020-11-23 2022-01-17 Самсунг Электроникс Ко., Лтд. Способ и устройство для совместного выполнения дебайеризации и устранения шумов изображения с помощью нейронной сети
CN114239376A (zh) * 2021-10-29 2022-03-25 武汉大学 一种gnss信号中断期间使用gru神经网络辅助导航的算法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
WO2019025298A1 (en) * 2017-07-31 2019-02-07 Institut Pasteur METHOD, DEVICE AND COMPUTER PROGRAM FOR IMPROVING THE RECONSTRUCTION OF VERY HIGH RESOLUTION DENSED IMAGES FROM LIMITED-LIFE DIFFRACTION IMAGES ACQUIRED BY MONOMOLECULAR LOCATION MICROSCOPY
CN110634103A (zh) * 2019-08-28 2019-12-31 天津大学 基于生成对抗网络的图像去马赛克方法
CN111210388A (zh) * 2019-12-30 2020-05-29 深圳市爱协生科技有限公司 基于生成对抗网络的马赛克人脸图像超分辨率重建方法
WO2021134872A1 (zh) * 2019-12-30 2021-07-08 深圳市爱协生科技有限公司 基于生成对抗网络的马赛克人脸图像超分辨率重建方法
RU2764395C1 (ru) * 2020-11-23 2022-01-17 Самсунг Электроникс Ко., Лтд. Способ и устройство для совместного выполнения дебайеризации и устранения шумов изображения с помощью нейронной сети
CN114239376A (zh) * 2021-10-29 2022-03-25 武汉大学 一种gnss信号中断期间使用gru神经网络辅助导航的算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐一峰;: "生成对抗网络理论模型和应用综述", 金华职业技术学院学报, no. 03, 1 May 2017 (2017-05-01), pages 87 - 94 *

Also Published As

Publication number Publication date
CN114972073B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN102142137B (zh) 基于高分辨率字典的稀疏表征图像超分辨重建方法
CN111127336B (zh) 一种基于自适应选择模块的图像信号处理方法
CN109889800B (zh) 图像增强方法和装置、电子设备、存储介质
CN102663719B (zh) 基于非局部均值的Bayer型CFA图像去马赛克方法
CN110136060B (zh) 基于浅层密集连接网络的图像超分辨率重建方法
CN112184591A (zh) 一种基于深度学习图像摩尔纹消除的图像复原方法
CN111383200A (zh) 基于生成式对抗神经网络的cfa图像去马赛克方法
CN112270646B (zh) 基于残差密集跳跃网络的超分辨增强方法
CN114266957B (zh) 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
CN102663703B (zh) 基于Treelet的Bayer型CFA图像去噪方法
CN115018708A (zh) 一种基于多尺度特征融合的机载遥感图像超分辨率重建方法
CN111340696A (zh) 融合仿生视觉机制的卷积神经网络图像超分辨率重建方法
CN110415173A (zh) 一种基于三维总变分的图像超分辨率方法
CN115170392A (zh) 一种基于注意力机制的单图像超分辨率算法
CN114972073B (zh) 基于超分辨率生成对抗网络srgan的图像去马赛克方法
CN115760638A (zh) 一种基于深度学习的端到端去模糊超分辨率的方法
CN115984116A (zh) 一种基于遥感图像退化的超分辨率方法
CN115601240A (zh) 一种基于SwinTransformer的去马赛克重建彩色图像的方法
CN114092327B (zh) 一种利用异构知识蒸馏的高光谱图像超分辨率方法
CN102034225B (zh) 一种基于边缘模式的插入图像颜色分量的方法
CN109658358B (zh) 一种基于多导向滤波的快速bayer彩色重建方法
CN117611954B (zh) 一种红外视频图像有效性评价方法、设备及存储设备
CN111932454B (zh) 基于改进的二元闭环神经网络的logo图案重建方法
Guo et al. Towards a Novel Generative Adversarial Network-Based Framework for Remote Sensing Image Demosaicking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant