CN108596841A - 一种并行实现图像超分辨率及去模糊的方法 - Google Patents

一种并行实现图像超分辨率及去模糊的方法 Download PDF

Info

Publication number
CN108596841A
CN108596841A CN201810307856.1A CN201810307856A CN108596841A CN 108596841 A CN108596841 A CN 108596841A CN 201810307856 A CN201810307856 A CN 201810307856A CN 108596841 A CN108596841 A CN 108596841A
Authority
CN
China
Prior art keywords
deblurring
image
resolution
super
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810307856.1A
Other languages
English (en)
Other versions
CN108596841B (zh
Inventor
王飞
张康龙
张昕昳
韦昭
谷宇
祝捷
董航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201810307856.1A priority Critical patent/CN108596841B/zh
Publication of CN108596841A publication Critical patent/CN108596841A/zh
Application granted granted Critical
Publication of CN108596841B publication Critical patent/CN108596841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种并行实现图像超分辨率及去模糊的方法,在获取到适合的数据集后,通过特别设计的、带有特征信息桥接的编码‑解码神经网络模块快速提取到输入图像特征,并将输出的特征图同时作为图像超分辨率分支和去模糊分支分别进行相关任务处理,不仅减少了运算量,同时,在训练网络的时,本发明提出的两条分支网络能够在不同程度上对共享特征图做出激励,使得超分辨率分支和去模糊分支的效果均有提升。

Description

一种并行实现图像超分辨率及去模糊的方法
技术领域
本发明属于计算机视觉与图像处理领域,特别涉及一种并行实现图像超分辨率及去模糊的方法。
背景技术
近年来,随着深度学习技术的日渐发展与成熟,图像超分辨率以及图像去模糊算法研究受到了越来越多的关注,在算法方面也有了很大的进步。
图像超分辨率的目的是从低分辨率图像还原出高分辨率图像,它不仅可以生成令人满意的高分辨率的图像,同时也可以为类似目标检测、人脸识别等更深层次图像处理过程提供更高品质的图像源。然而,长时间的探索发现,相机抖动、失焦、湍流等现象严重阻碍图像超分辨率方法研究。
图像去模糊是一种从高度模糊的图像还原出清晰图像的方法,高斯模糊是一种常见的图像退化模型,主要由飞行器高速运动产生的湍流产生。近年来随着深度神经网络技术的成熟,该技术也被应用到图像去模糊领域。与图像超分辨率方法研究一样,图像去模糊可以为更高级别的图像处理任务提供更高品质的图像源。
现有的图像去模糊算法难以估量出适合全图的模糊内核,另一方面,现有的图像超分辨率方法会遗失图像的高频细节,当试图将这两个任务结合时效果反而会更差。
发明内容
本发明的目的在于提供一种并行实现图像超分辨率及去模糊的方法,以解决上述问题。
为实现上述目的,本发明采用以下技术方案:
一种并行实现图像超分辨率及去模糊的方法,包括以下步骤:
步骤一:获取图像数据集,对图像数据集预处理;在每幅训练集图像上随机裁取图像块并做随机翻转处理后,作为神经网络超分辨率分支的训练真值,将裁剪到的图像块经插值缩放作为神经网络去模糊分支的训练真值,再人工对其进行图像模糊处理,并将最后得到的图像作为神经网络的输入;
步骤二:搭建神经网络,采用基于深度学习的神经网络编码-解码模块来提取整幅输入图像的特征,并用两分支结构分别实现图像去模糊和超分辨率任务;
步骤三:模型训练,利用预处理的训练集图像对搭建好的神经网络进行训练,获得最优解模型;
步骤四:模型测试,训练好神经网络模型之后即可对测试集低分辨率的模糊图像进行并行超分辨率和去模糊处理。
进一步的,图像数据集为高清图像数据集,用以作为真值。
进一步的,步骤二中,用来提取特征的神经网络模块采取编码-解码结构,最大限度的提取图像特征,并能够将特征图恢复到输入图像大小。
进一步的,编码-解码结构模块包括由一个直接对输入进行处理的卷积层及三个移除BN层的残差网络块串联构成的编码单元及由上卷积层、卷积层构成的解码单元。
进一步的,为编码-解码结构模块添加编码器和解码器之间的多重桥接。
进一步的,步骤二中,两分支结构包括图像超分辨率分支和去模糊分支,两路分支共享编码-解码模块输出的特征图。
进一步的,图像超分辨率分支包含3个卷积层和一个×2的亚像素卷积层,前者进一步对编码-解码模块的特征图进行优化处理,后者用来进行图像放大。
进一步的,图像去模糊分支包含3个卷积层对编码-解码模块的特征图进行进一步处理。
进一步的,图像超分辨率分支采用的损失函数为MSE损失函数,所述图像去模糊分支采用的损失函数为Charbonnier补偿函数,整个网络的损失函数定义为L=Lsr+a*Ldb,其中L为总的损失函数,Lsr指超分辨率分支的MSE损失,Lab指去模糊分支的Charbonnier补偿函数损失,ɑ为两个损失间的权重。
进一步的,步骤三中的训练方法采用ADAM优化进行训练,Epochs数设为120,学习率设为0.0005,每30个epoch学习率变为之前的0.5倍,Batch size设为32,损失函数间的权重ɑ设为0.2。
与现有技术相比,本发明有以下技术效果:
本发明的基于深度学习的并行实现图像超分辨率及图像去模糊的方法,将图像处理的两个任务合二为一,极大的减少了运算量,通过编码-解码模块可以快速提取输入图像特征,并输出超分辨率分支与去模糊分支共享的特征图。在训练过程中,由于两条分支共享特征图,进行反向传播更新权重时,去模糊分支可以激励共享特征图生成更多的细节信息,从而指导超像素分支更好的还原更高像素的图像,而超像素分支则可以激励共享特征图包含更多的高频信息,使特征图更加锐化,从而令去模糊分支的输出更加清晰。
附图说明
图1为本发明神经网络架构流程图;
具体实施方式
以下结合附图对本发明进一步说明:
请参阅图1,一种并行实现图像超分辨率及去模糊的方法,利用特别设计的卷积神经网络编码-解码模块提取输入图像特征,再分别经过图像去模糊分支和图像超分辨率分支,并行实现图像超分辨率和图像去模糊任务。
根据本发明的一种实施方式,主要包括以下步骤:
步骤一:图像数据集预处理,如DIV 2K高清图像数据集,在每幅训练集图像上随机裁取图像块并做随机翻转处理后,作为神经网络超分辨率分支的训练真值,将裁剪到的图像块经插值缩放作为神经网络去模糊分支的训练真值,再人工对其添加高斯核进行图像模糊处理,并加入0.1水平的高斯噪声,将最后得到的图像作为神经网络的输入。
步骤二:构建神经网络,采用一种基于深度学习的神经网络编码-解码模块来提取整幅输入图像的特征,并发明一种两分支结构分别实现图像去模糊和超分辨率任务。
其中,编码-解码单元能够最大限度的提取图像特征,并能够将特征图恢复到输入图像大小。由一个直接对输入进行处理的3×3卷积核的卷积层及三个移除BN层的残差网络块串联构成的编码单元及由3个上卷积层、3个卷积层构成的解码单元,其中,每个残差网络块包含两个去除BN层的卷积层,采用ReLU激活函数,然后整个block首尾串接构成。同时,为编码-解码结构模块添加编码器和解码器之间的多重桥接,如图1所示,以实现特征信息的快速传递及特征提取网络的快速收敛。
两分支结构包括图像超分辨率分支和去模糊分支,两路分支共享编码-解码模块输出的特征图。其中,图像超分辨率分支包含3个卷积层和一个×2的亚像素卷积层,前者进一步对编码-解码模块的特征图进行优化处理,后者用来进行图像放大。图像去模糊分支包含3个卷积层对编码-解码模块的特征图进行进一步处理。
此外,图像超分辨率分支采用的损失函数为MSE损失函数,所述图像去模糊分支采用的损失函数为Charbonnier补偿函数,整个网络的损失函数定义为L=Lsr+a*Ldb,其中L为总的损失函数,Lsr指超分辨率分支的MSE损失,Ldb指去模糊分支的Charbonnier补偿函数损失,ɑ为两个损失间的权重。
步骤三:模型训练,利用经过预处理的训练集图像对搭建好的神经网络进行训练,获得最优解模型,训练方法采用ADAM优化进行训练,Epochs数设为120,学习率设为0.0005,每30个epoch学习率变为之前的0.5倍,Batch size设为32,损失函数间的权重ɑ设为0.2。
步骤四:模型测试,训练好神经网络模型之后即可对测试集低分辨率的模糊图像进行并行超分辨率和去模糊处理。
神经网络收敛后的模型以低分辨率模糊图像作为输入,同时输出还原出的高分辨率图像以及去模糊后的图像。

Claims (10)

1.一种并行实现图像超分辨率及去模糊的方法,其特征在于,包括以下步骤:
步骤一:获取图像数据集,对图像数据集预处理;在每幅训练集图像上随机裁取图像块并做随机翻转处理后,作为神经网络超分辨率分支的训练真值,将裁剪到的图像块经插值缩放作为神经网络去模糊分支的训练真值,再人工对其进行图像模糊处理,并将最后得到的图像作为神经网络的输入;
步骤二:搭建神经网络,采用基于深度学习的神经网络编码-解码模块来提取整幅输入图像的特征,并用两分支结构分别实现图像去模糊和超分辨率任务;
步骤三:模型训练,利用预处理的训练集图像对搭建好的神经网络进行训练,获得最优解模型;
步骤四:模型测试,训练好神经网络模型之后即可对测试集低分辨率的模糊图像进行并行超分辨率和去模糊处理。
2.根据权利要求1所述的一种并行实现图像超分辨率及去模糊的方法,其特征在于,图像数据集为高清图像数据集,用以作为真值。
3.根据权利要求1所述的一种并行实现图像超分辨率及去模糊的方法,其特征在于,步骤二中,用来提取特征的神经网络模块采取编码-解码结构,最大限度的提取图像特征,并能够将特征图恢复到输入图像大小。
4.根据权利要求3所述的一种并行实现图像超分辨率及去模糊的方法,其特征在于,编码-解码结构模块包括由一个直接对输入进行处理的卷积层及三个移除BN层的残差网络块串联构成的编码单元及由上卷积层、卷积层构成的解码单元。
5.根据权利要求3所述的一种并行实现图像超分辨率及去模糊的方法,其特征在于,为编码-解码结构模块添加编码器和解码器之间的多重桥接。
6.根据权利要求1所述的一种并行实现图像超分辨率及去模糊的方法,其特征在于,步骤二中,两分支结构包括图像超分辨率分支和去模糊分支,两路分支共享编码-解码模块输出的特征图。
7.根据权利要求6所述的一种并行实现图像超分辨率及去模糊的方法,其特征在于,图像超分辨率分支包含3个卷积层和一个×2的亚像素卷积层,前者进一步对编码-解码模块的特征图进行优化处理,后者用来进行图像放大。
8.根据权利要求6所述的一种并行实现图像超分辨率及去模糊的方法,其特征在于,图像去模糊分支包含3个卷积层对编码-解码模块的特征图进行进一步处理。
9.根据权利要求6所述的一种并行实现图像超分辨率及去模糊的方法,其特征在于,图像超分辨率分支采用的损失函数为MSE损失函数,所述图像去模糊分支采用的损失函数为Charbonnier补偿函数,整个网络的损失函数定义为L=Lsr+a*Ldb,其中L为总的损失函数,Lsr指超分辨率分支的MSE损失,Ldb指去模糊分支的Charbonnier补偿函数损失,ɑ为两个损失间的权重。
10.根据权利要求1所述的一种并行实现图像超分辨率及去模糊的方法,其特征在于,步骤三中的训练方法采用ADAM优化进行训练,Epochs数设为120,学习率设为0.0005,每30个epoch学习率变为之前的0.5倍,Batch size设为32,损失函数间的权重ɑ设为0.2。
CN201810307856.1A 2018-04-08 2018-04-08 一种并行实现图像超分辨率及去模糊的方法 Active CN108596841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810307856.1A CN108596841B (zh) 2018-04-08 2018-04-08 一种并行实现图像超分辨率及去模糊的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810307856.1A CN108596841B (zh) 2018-04-08 2018-04-08 一种并行实现图像超分辨率及去模糊的方法

Publications (2)

Publication Number Publication Date
CN108596841A true CN108596841A (zh) 2018-09-28
CN108596841B CN108596841B (zh) 2021-01-19

Family

ID=63621323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810307856.1A Active CN108596841B (zh) 2018-04-08 2018-04-08 一种并行实现图像超分辨率及去模糊的方法

Country Status (1)

Country Link
CN (1) CN108596841B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360171A (zh) * 2018-10-26 2019-02-19 北京理工大学 一种基于神经网络的视频图像实时去模糊方法
CN109949240A (zh) * 2019-03-11 2019-06-28 厦门美图之家科技有限公司 一种图像处理方法及计算设备
CN109978764A (zh) * 2019-03-11 2019-07-05 厦门美图之家科技有限公司 一种图像处理方法及计算设备
CN110163801A (zh) * 2019-05-17 2019-08-23 深圳先进技术研究院 一种图像超分辨和着色方法、系统及电子设备
CN111369460A (zh) * 2020-03-03 2020-07-03 辽宁师范大学 基于admm神经网络的图像去模糊方法
CN111920436A (zh) * 2020-07-08 2020-11-13 浙江大学 基于多任务学习三维卷积编解码网络的双示踪剂pet分离方法
WO2020235860A1 (en) * 2019-05-22 2020-11-26 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method thereof
KR20200135102A (ko) * 2019-05-22 2020-12-02 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
WO2021029505A1 (en) * 2019-08-14 2021-02-18 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
CN113065997A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种图像处理方法、神经网络的训练方法以及相关设备
CN113628260A (zh) * 2021-07-05 2021-11-09 中国科学院深圳先进技术研究院 一种图像配准方法、装置、终端设备和存储介质
WO2024065070A1 (zh) * 2022-09-26 2024-04-04 之江实验室 一种基于图聚类的基因编码育种预测方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651774A (zh) * 2016-12-27 2017-05-10 深圳市捷顺科技实业股份有限公司 一种车牌超分辨率模型重建方法及装置
CN107480772A (zh) * 2017-08-08 2017-12-15 浙江大学 一种基于深度学习的车牌超分辨率处理方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651774A (zh) * 2016-12-27 2017-05-10 深圳市捷顺科技实业股份有限公司 一种车牌超分辨率模型重建方法及装置
CN107480772A (zh) * 2017-08-08 2017-12-15 浙江大学 一种基于深度学习的车牌超分辨率处理方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIANGYU XU等: "Learning to Super-Resolve Blurry Face and Text Images", 《PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
XIAO-JIAO MAO等: "Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections", 《ARXIV》 *
高志荣等: "一种基于神经网络的人脸图像超分辨率重构算法", 《中南民族大学学报(自然科学版)》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360171B (zh) * 2018-10-26 2021-08-06 北京理工大学 一种基于神经网络的视频图像实时去模糊方法
CN109360171A (zh) * 2018-10-26 2019-02-19 北京理工大学 一种基于神经网络的视频图像实时去模糊方法
CN109978764B (zh) * 2019-03-11 2021-03-02 厦门美图之家科技有限公司 一种图像处理方法及计算设备
CN109949240A (zh) * 2019-03-11 2019-06-28 厦门美图之家科技有限公司 一种图像处理方法及计算设备
CN109978764A (zh) * 2019-03-11 2019-07-05 厦门美图之家科技有限公司 一种图像处理方法及计算设备
CN110163801A (zh) * 2019-05-17 2019-08-23 深圳先进技术研究院 一种图像超分辨和着色方法、系统及电子设备
CN110163801B (zh) * 2019-05-17 2021-07-20 深圳先进技术研究院 一种图像超分辨和着色方法、系统及电子设备
WO2020235860A1 (en) * 2019-05-22 2020-11-26 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method thereof
KR20220088397A (ko) * 2019-05-22 2022-06-27 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
KR20200135102A (ko) * 2019-05-22 2020-12-02 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
KR102616700B1 (ko) 2019-05-22 2023-12-27 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
US11836890B2 (en) 2019-05-22 2023-12-05 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method thereof
US11295412B2 (en) 2019-05-22 2022-04-05 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method thereof
KR102410907B1 (ko) 2019-05-22 2022-06-21 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
TWI768323B (zh) * 2019-05-22 2022-06-21 南韓商三星電子股份有限公司 影像處理裝置以及其影像處理方法
WO2021029505A1 (en) * 2019-08-14 2021-02-18 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US11100607B2 (en) 2019-08-14 2021-08-24 Samsung Electronics Co., Ltd. Electronic apparatus and control method for updating parameters of neural networks while generating high-resolution images
US11574385B2 (en) 2019-08-14 2023-02-07 Samsung Electronics Co., Ltd. Electronic apparatus and control method for updating parameters of neural networks while generating high-resolution images
CN111369460A (zh) * 2020-03-03 2020-07-03 辽宁师范大学 基于admm神经网络的图像去模糊方法
CN111369460B (zh) * 2020-03-03 2023-06-20 大连厚仁科技有限公司 基于admm神经网络的图像去模糊方法
CN111920436A (zh) * 2020-07-08 2020-11-13 浙江大学 基于多任务学习三维卷积编解码网络的双示踪剂pet分离方法
CN113065997B (zh) * 2021-02-27 2023-11-17 华为技术有限公司 一种图像处理方法、神经网络的训练方法以及相关设备
CN113065997A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种图像处理方法、神经网络的训练方法以及相关设备
CN113628260A (zh) * 2021-07-05 2021-11-09 中国科学院深圳先进技术研究院 一种图像配准方法、装置、终端设备和存储介质
WO2024065070A1 (zh) * 2022-09-26 2024-04-04 之江实验室 一种基于图聚类的基因编码育种预测方法和装置

Also Published As

Publication number Publication date
CN108596841B (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN108596841A (zh) 一种并行实现图像超分辨率及去模糊的方法
US20210166350A1 (en) Fusion network-based method for image super-resolution and non-uniform motion deblurring
CN111340711B (zh) 一种超分辨率重建方法、装置、设备和存储介质
CN110570356B (zh) 图像处理方法和装置、电子设备及存储介质
Zhang et al. A deep encoder-decoder networks for joint deblurring and super-resolution
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
CN112801901A (zh) 基于分块多尺度卷积神经网络的图像去模糊算法
CN110287846A (zh) 一种基于注意力机制的人脸关键点检测方法
CN112365422B (zh) 基于深层聚合网络的不规则缺失图像修复方法及其系统
CN110610526B (zh) 一种基于wnet对单目人像进行分割和景深渲染的方法
CN107155110A (zh) 一种基于超分辨率技术的图片压缩方法
US20230177652A1 (en) Image restoration method and apparatus, and electronic device
CN113554058A (zh) 视觉目标图像分辨率增强的方法、系统、装置及存储介质
CN107301662A (zh) 深度图像的压缩恢复方法、装置、设备及存储介质
CN113658040A (zh) 一种基于先验信息和注意力融合机制的人脸超分辨方法
Liu et al. Facial image inpainting using multi-level generative network
CN111724306B (zh) 一种基于卷积神经网络的图像缩小方法及系统
CN111681192B (zh) 一种基于残差图像条件生成对抗网络的比特深度增强方法
CN110120009B (zh) 基于显著物体检测和深度估计算法的背景虚化实现方法
Zhang et al. Single image dehazing via reinforcement learning
CN117011130A (zh) 图像超分辨率的方法、装置、设备、介质及程序产品
CN112801909B (zh) 基于U-Net和金字塔模块的图像融合去噪方法及系统
CN114820389A (zh) 一种基于无监督解耦表征的人脸图像去模糊方法
CN114581304A (zh) 一种基于循环网络的图像超分辨率和去雾融合方法及系统
Yu et al. Local excitation network for restoring a jpeg-compressed image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant