CN110363704B - 融合形态及色彩的图像超分辨率重建模型构建及重建方法 - Google Patents

融合形态及色彩的图像超分辨率重建模型构建及重建方法 Download PDF

Info

Publication number
CN110363704B
CN110363704B CN201910475726.3A CN201910475726A CN110363704B CN 110363704 B CN110363704 B CN 110363704B CN 201910475726 A CN201910475726 A CN 201910475726A CN 110363704 B CN110363704 B CN 110363704B
Authority
CN
China
Prior art keywords
image
network
resolution
color
nth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910475726.3A
Other languages
English (en)
Other versions
CN110363704A (zh
Inventor
祝轩
程悦
孙逸霏
彭进业
章勇勤
张超
王荣智
宋奇衡
柳欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest University
Original Assignee
Northwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University filed Critical Northwest University
Publication of CN110363704A publication Critical patent/CN110363704A/zh
Application granted granted Critical
Publication of CN110363704B publication Critical patent/CN110363704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution

Abstract

本发明公开了一种融合形态及色彩的图像超分辨率重建模型构建及重建方法，考虑到仅使用图像像素损失优化超分辨率模型会忽略图像中结构、纹理、色彩分布的均衡分布，造成超分辨率重建结果出现结构不流畅、纹理不清晰、色彩不光顺和过度渲染错位等现象，提出一种构建图像对抗融合形态成分对抗网络和颜色对抗网络的超分辨率重建方法，本发明解决了现有技术无法兼顾结构、纹理、色彩图像特征这一不足，有效提高图像的重建质量。

Description

融合形态及色彩的图像超分辨率重建模型构建及重建方法
技术领域
本发明涉及图像超分辨率重建方法，具体涉及一种融合形态及色彩的图像超分辨率重建模型构建及重建方法。
背景技术
科学研究和统计表明，人类从外界获得的信息约有75％来自于图像。在图像获取过程中，由于成像距离、成像设备分辨率等因素限制，成像系统通常会受到变形、模糊、降采样和噪声等退化因素的影响，不能准确地获取原始场景中的信息。超分辨率(super-resolution SR)重建技术是通过软件方法提高图像的分辨率，其具有在低成本的情况下充分用现有数据改善图像视觉效果。该技术利用一幅或多幅低分辨率图像的信息来恢复退化过程中所丢失的高频信息，进而生成含有更丰富高频信息的超分辨率图像。超分辨技术在医学影像辅助医生进行医疗诊断、卫星图像获取更多复杂地理环境细节、军事或刑事侦查中获取更多案件细节，以及为自动驾驶提供更加丰富安全的交通环境等方面有广泛的应用需求。
目前，基于深度学习的图像超分辨率重建方法包括两个阶段：超分辨率网络训练过程和图像超分辨率重建过程。超分辨率网络由卷积神经网络演变而来。在超分辨率网络训练阶段，第一步将低分辨率图像ILR输入超分辨率网络Fθ(·)，计算输出与ILR对应的超分辨率图像ISR，利用损失函数L(ISR,IHR)计算ISR与ILR对应的真实高分辨率图像IHR之间的差异。第二步计算损失函数值的梯度，优化超分辨率网络Fθ(·)的参数。对训练数据集中的每一幅图像反复重复第一步和第二步，直至损失函数值基本保持不变，训练过程结束。超分辨率网络参数优化设置完成。在重建阶段，基于优化的超分辨率网络Fθ(·)实现测试图像的超分辨率重建，达到有效地恢复出ILR丢失的高频细节的目的。
现有技术是通过最小化像素损失函数来优化超分辨率网络参数，其获得的超分辨率图像存在纹理过于平滑、结构边界模糊不突出、局部区域内亮度呈均匀分布和色彩混乱等问题，严重影响视觉感受，视觉效果较差。
发明内容
本发明的目的在于提供一种融合形态及色彩的图像超分辨率重建模型构建及重建方法，用以解决现有技术中获得的超分辨率图像存在纹理过于平滑、结构边界模糊不突出、局部区域内亮度呈均匀分布和色彩混乱等问题。
为了实现上述任务，本发明采用以下技术方案：
一种融合形态及色彩的图像超分辨率重建模型构建方法，按照以下步骤执行：
步骤1、获取多幅高分辨率图像，获得目标图像集X，其中X＝{X1,X2,…,Xn,…,XN}，Xn为第n幅高分辨率图像，N为正整数，n∈N；
对所述的每幅高分辨率图像进行降采样，获得多幅低分辨率图像，获得待重建图像集x，其中x＝{x1,x2,…,xn,…,xN}，xn为第n幅低分辨率图像；
重复执行M次步骤2-步骤6，M为正整数：
步骤2、将所述的待重建图像集输入至初始生成网络或上次优化后的生成网络，获得初步重建图像集Y，Y＝{Y1,Y2,…,Yn,…,YN},Yn为第n幅初步重建图像；
所述的初始生成网络参数均为随机数；
步骤3、将所述的初步重建图像集Y中第n幅初步重建图像Yn以及目标图像集X中第n幅高分辨率图像Xn进行集合，获得第n个输入图像子集Sn＝{Yn,Xn}；
重复本步骤，直至获得N个输入图像子集，获得输入图像集S；
步骤4、将所述的输入图像集S输入至初始对抗网络或上次训练后的对抗网络，所述的初始对抗网络参数均为随机数；
所述的初始对抗网络以及上次训练后的对抗网络包括并行设置的图像对抗网络、形态成分对抗网络以及色彩对抗网络；
所述的形态成分对抗网络包括依次设置的灰度化单元、卷积单元以及全连接单元；所述的灰度化单元用于对输入图像进行灰度化；
所述的色彩对抗网络包括依次设置的高斯模糊单元、卷积单元以及全连接单元；所述的高斯模糊单元用于对输入图像进行高斯模糊；
获得每一个输入图像子集对应的输出概率子集，获得输出概率集；
其中对于第n个输入图像子集Sn对应的第n个输出概率子集
Figure BDA0002082168240000031
其中
Figure BDA0002082168240000032
为第n幅初步重建图像Yn被图像对抗网络认为是第n幅高分辨率图像Xn的概率；
Figure BDA0002082168240000041
为第n幅高分辨率图像Xn被图像对抗网络认为是第n幅高分辨率图像Xn的概率；
Figure BDA0002082168240000042
为第n幅初步重建图像Yn被形态成分对抗网络认为是第n幅高分辨率图像Xn的概率；
Figure BDA0002082168240000043
为第n幅高分辨率图像Xn被形态成分对抗网络认为是第n幅高分辨率图像Xn的概率；
Figure BDA0002082168240000044
为第n幅初步重建图像Yn被色彩对抗网络认为是第n幅高分辨率图像Xn的概率；
Figure BDA0002082168240000045
为第n幅高分辨率图像Xn被色彩对抗网络认为是第n幅高分辨率图像Xn的概率；
步骤5、根据所述的输出概率集，训练对抗网络，获得优化后的对抗网络参数，获得本次训练后的对抗网络，具体包括：
步骤5.1、获得优化后的图像对抗网络参数，具体包括：
步骤5.1.1、采用式I获得由第n个输出概率子集对应的图像对抗网络的损失函数值
Figure BDA0002082168240000046
Figure BDA0002082168240000047
重复本步骤，直至获得N个图像对抗网络的损失函数值；
步骤5.1.2、对步骤5.1.1获得的N个图像对抗网络的损失函数值求均值，获得图像对抗网络的损失函数平均值；
步骤5.1.3、将所述的图像对抗网络的损失函数平均值输入至Adam优化器后，获得优化后的图像对抗网络参数；
步骤5.2、获得优化后的形态成分对抗网络参数，具体包括：
步骤5.2.1、采用式II获得由第n个输出概率子集对应的形态成分对抗网络的损失函数值
Figure BDA0002082168240000048
Figure BDA0002082168240000051
重复本步骤，直至获得N个形态成分对抗网络的损失函数值；
步骤5.2.2、对步骤5.2.1获得的N个形态成分对抗网络的损失函数值求均值，获得形态成分对抗网络的损失函数平均值；
步骤5.2.3、将所述的形态成分对抗网络的损失函数平均值输入至Adam优化器后，获得优化后的形态成分对抗网络参数；
步骤5.3、获得优化后的色彩对抗网络参数，具体包括：
步骤5.3.1、采用式III获得由第n个输出概率子集对应的色彩对抗网络的损失函数值
Figure BDA0002082168240000052
Figure BDA0002082168240000053
重复本步骤，直至获得N个色彩对抗网络的损失函数值；
步骤5.3.2、对步骤5.3.1获得的N个色彩对抗网络的损失函数值求均值，获得色彩对抗网络的损失函数平均值；
步骤5.3.3、将所述的色彩对抗网络的损失函数平均值输入至Adam优化器后，获得优化后的色彩对抗网络参数；
步骤5.4、固定所述的优化后的图像对抗网络参数、优化后的形态成分对抗网络参数以及优化后的色彩对抗网络参数，获得本次训练后的对抗网络；
步骤6、根据所述的输出概率集、目标图像集以及初步重建图像集，优化生成网络参数，获得本次优化后的生成网络；
步骤7、将最后一次执行步骤6时得到的优化后的生成网络作为图像超分辨率重建模型，结束。
进一步地，所述的步骤6中根据所述的输出概率集、目标图像集以及初步重建图像集，优化生成网络参数，具体包括：
步骤6.1、采用式IV获得优化后的生成网络损失函数：
L＝Limg+2×10-6Lcontent+10-3Ladv 式IV
其中，Limg为像素损失函数，Lcontent为内容损失函数，Ladv为对抗损失函数；
其中，
Figure BDA0002082168240000061
Figure BDA0002082168240000062
为图像对抗损失，
Figure BDA0002082168240000063
Figure BDA0002082168240000064
为形态成分对抗损失，
Figure BDA0002082168240000065
Figure BDA0002082168240000066
为色彩对抗损失，
Figure BDA0002082168240000067
步骤6.2、将优化后的生成网络损失函数输入Adam优化器后，获得优化后的生成网络参数。
进一步地，所述的M＝5×104+105。
进一步地，所述的形态成分对抗网络中卷积单元包括依次设置的卷积层、LeakyRelu激活层、归一化层、卷积层、Leaky Relu激活层以及归一化层；
所述的形态成分对抗网络中全连接单元包括依次设置的稠密卷积层、Leaky Relu激活层、稠密卷积层以及Sigmoid激活层。
进一步地，所述的色彩对抗网络中卷积单元包括依次设置的卷积层、Leaky Relu激活层以及归一化层；
所述的色彩对抗网络中全连接单元包括依次设置的稠密卷积层、Leaky Relu激活层、稠密卷积层以及Sigmoid激活层。
一种融合形态及色彩的图像超分辨率重建方法，将待重建图像输入至图像超分辨率重建模型后，获得重建后的图像；
所述的图像超分辨率重建模型采用所述的融合形态及色彩的图像超分辨率重建模型构建方法得到。
本发明与现有技术相比具有以下技术效果：
1、本发明提供一种融合形态及色彩的图像超分辨率重建模型构建及重建方法，通过构建形态成分对抗网络强化超分辨率重建结果中结构和纹理成分，提高超分辨率重建结果中结构和纹理分布的均衡程度，使结构和纹理流畅、清晰、不突兀，视觉感受舒适；
2、本发明提供一种融合形态及色彩的图像超分辨率重建模型构建及重建方法，通过构建色彩对抗网络提高超分辨率重建结果的色彩均衡分布感知程度，使色彩连续光顺，没有过度渲染及色彩蔓延错位现象。
附图说明
图1为本发明提供的图像超分辨率重建模型构建方法流程示意图；
图2为本发明重建方法与现有的重建方法对同一幅待重建图像的重建结果对比图。
具体实施方式
针对现有技术存在的不足，本发明考虑到形态成分和色彩与图像视觉感知质量紧密相关，基于残差信息学习思路，提出一种新的融合形态成分及色彩损失的超分辨率重建方法。本方法在不忽视传统图像损失函数的基础上，构建融合形态成分和色彩的对抗网络来优化超分辨率网络性能。形态成分和色彩约束的引入能够使优化的超分辨率网络参数具有更全面的特征表达能力，使超分辨率结果在像素、结构、纹理和色彩方面与高分辨率图像更趋于一致，有效提高超分辨率结果的视觉效果。
实施例一
在本实施例中公开了一种融合形态及色彩的图像超分辨率重建模型构建方法，如图1所示，按照以下步骤执行：
步骤1、获取多幅高分辨率图像，获得目标图像集X，其中X＝{X1,X2,…,Xn,…,XN}，Xn为第n幅高分辨率图像，N为正整数，n∈N；
对所述的每幅高分辨率图像进行降采样，获得多幅低分辨率图像，获得待重建图像集x，其中x＝{x1,x2,…,xn,…,xN}，xn为第n幅低分辨率图像；
在本实施例中，利用训练集以及测试集对本发明提供的模型进行训练以及测试，其中对DIV2K数据集中第1-800张高分辨率图像按比例4进行降采样，生成其对应的低分辨率图像，构建由高/低分辨率图像对组成的训练数据集。对Set5数据集、Set14数据集、BSD100数据集中高分辨率图像按比例4进行降采样，生成其对应的低分辨率图像，构建测试数据集。
在本实施例中，具体包括：
步骤1.1：对DIV2K数据集中第1-800张高分辨率图像，按照396×396大小的窗口，步长41，滑动提取高分辨率图像块。在MATLAB环境下，利用imresize函数分别对高分辨率图像块按比例4降采样，获得大小为96×96的低分辨率图像块。该高/低分辨率图像块对组成训练数据集。
步骤1.2：对Set5数据集、Set14数据集及BSD100数据集中所有高分辨率图像，在MATLAB环境下，利用imresize函数按比例4降采样，获得低分辨率图像。该高/低分辨率图像对组成测试数据集。
本发明采用迭代的方法获得超分辨率重建模型，具体为重复执行M次步骤2-步骤6后执行步骤7，M为正整数：
步骤2、将所述的待重建图像集输入至初始生成网络或上次优化后的生成网络，获得初步重建图像集Y，Y＝{Y1,Y2,…,Yn,…,YN},Yn为第n幅初步重建图像；
所述的初始生成网络参数均为随机数；
在本实施例中，生成网络由特征提取模块、上采样模块及重建模块组成，具体地特征提取模块由1个卷积单元和16个残差单元组成。卷积单元按卷积层—Relu激活层结构组合而成，卷积核大小为9，步长为1，卷积滤波器的数量为64。残差单元按卷积层—Relu激活层—卷积层结构组合而成，并使用跳跃连接方式使残差单元之间相连。每个残差单元中的卷积核大小为3，步长为1，每层卷积滤波器的数量为64；
上采样模块由2个上采样单元组成。每个上采样单元按卷积层—×2亚像素上采样层—Relu激活层结构组合而成。每个上采样单元中卷积核大小为3，步长为1，卷积滤波器的数量为256；
重建模块由1个卷积单元组成。卷积单元按卷积层—tanh激活层结构组合而成。卷积核大小为9，步长为1，卷积滤波器的数量为3。
在本步骤相当于是对生成网络的预训练过程，本阶段学习率为10-4，训练次数为5×104次。
在生成网络训练时，由于生成网络输入的是待重建图像，输出的是超分辨率图像，也就是，初步重建图像。
采用下式获得生成网络的像素损失函数后输入Adam优化器，对生成网络进行训练：
Figure BDA0002082168240000101
步骤3、将所述的初步重建图像集Y中第n幅初步重建图像Yn以及目标图像集X中第n幅高分辨率图像Xn进行集合，获得第n个输入图像子集Sn＝{Yn,Xn}；
重复本步骤，直至获得N个输入图像子集，获得输入图像集S；
在本步骤，相当于将一幅初步重建图像和它对应的高分辨率图像组成一组，为了后续步骤对这两幅图像进行比较，分辨初步重建图像与高分辨率图像之间的差异。
当后面的对抗网络无法识别初步重建图像是否为高分辨率图像时，就说明生成这个初步重建图像的生成网络已经成功建立了。
步骤4、将所述的输入图像集S输入至初始对抗网络或上次训练后的对抗网络，所述的初始对抗网络参数均为随机数；
所述的初始对抗网络以及上次训练后的对抗网络包括并行设置的图像对抗网络、形态成分对抗网络以及色彩对抗网络；
所述的形态成分对抗网络包括依次设置的灰度化单元、卷积单元以及全连接单元；
所述的灰度化单元用于对输入图像进行灰度化；
所述的色彩对抗网络包括依次设置的高斯模糊单元、卷积单元以及全连接单元；
所述的高斯模糊单元用于对输入图像进行高斯模糊；
获得每一个输入图像子集对应的输出概率子集，获得输出概率集；
其中对于第n个输入图像子集Sn对应的第n个输出概率子集
Figure BDA0002082168240000111
其中
Figure BDA0002082168240000112
为第n幅初步重建图像Yn被图像对抗网络认为是第n幅高分辨率图像Xn的概率；
Figure BDA0002082168240000113
为第n幅高分辨率图像Xn被图像对抗网络认为是第n幅高分辨率图像Xn的概率；
Figure BDA0002082168240000114
为第n幅初步重建图像Yn被形态成分对抗网络认为是第n幅高分辨率图像Xn的概率；
Figure BDA0002082168240000115
为第n幅高分辨率图像Xn被形态成分对抗网络认为是第n幅高分辨率图像Xn的概率；
Figure BDA0002082168240000116
为第n幅初步重建图像Yn被色彩对抗网络认为是第n幅高分辨率图像Xn的概率；
Figure BDA0002082168240000117
为第n幅高分辨率图像Xn被色彩对抗网络认为是第n幅高分辨率图像Xn的概率；
在本实施例中，本步骤主要实现将输入图像集输入至对抗网络，与现有技术不同的是，在本发明中的对抗网络为了提高超分辨率重建结果中结构和纹理分布以及色彩的均衡程度，构建了具有形态成分对抗网络以及色彩对抗网络的对抗网络，使生成网络生成的超分辨率图像结构和纹理流畅、清晰、不突兀，视觉感受舒适。
在本实施例中，如图1所示，对抗网络包括并行的三个子网络，分别是图像对抗网络、形态成分对抗网络以及色彩对抗网络。
其中图像对抗网络由4个卷积单元和1个全连接单元组成，图像对抗网络中卷积单元按卷积层、Leaky Relu激活层、归一化层、卷积层、Leaky Relu激活层以及归一化层结构组合而成，图像对抗网络中卷积单元中所有卷积核的大小为3，第1个卷积层步长为1，第2个卷积层步长为2，卷积滤波器的数量分别为64、128、256和512；图像对抗网络中全连接单元按稠密卷积层、Leaky Relu激活层、稠密卷积层以及Sigmoid激活层结构组成而成，其中卷积滤波器的数量分别为1024和1。
在本发明中图像的形态成分主要包含结构信息和纹理信息，人类视觉对图像的结构及纹理很敏感，图像形态成分对抗网络从图像纹理信息和图像结构信息角度区分输入图像是否是目标图像，由于结构及纹理不依赖于颜色或者亮度，因此在网络中设置了灰度化单元，抹除图像中的色彩信息，从而避免色彩的差异对图像形态成分辨别的影响，其中灰度化单元利用灰度化的处理方式对输入图像进行处理。
可选地，所述的形态成分对抗网络中卷积单元包括依次设置的卷积层、LeakyRelu激活层、归一化层、卷积层、Leaky Relu激活层以及归一化层；
所述的形态成分对抗网络中全连接单元包括依次设置的稠密卷积层、Leaky Relu激活层、稠密卷积层以及Sigmoid激活层。
在本实施例中，形态成分对抗网络中卷积单元按卷积层、Leaky Relu激活层、归一化层、卷积层、Leaky Relu激活层以及归一化层结构组合而成。卷积单元中所有卷积核的大小为3，第1个卷积层步长为1，第2个卷积层步长为2，卷积滤波器的数量分别为64、128、256和512；
形态成分对抗网络中全连接单元按稠密卷积层、Leaky Relu激活层、稠密卷积层以及Sigmoid激活层结构组合而成，卷积滤波器的数量分别为1024和1。
在本发明中，由于人眼对图像亮度变化敏感，此外对颜色和对比度也比较敏感，因此色彩对抗网络从亮度、颜色和对比度三个方面判断输入的图像是否是目标图像。采用下式的高斯模糊方法移除图像的纹理和内容信息，保留的图像亮度、对比度和主要色彩信息作为色彩对抗网络的输入。
Figure BDA0002082168240000131
Figure BDA0002082168240000132
其中，I是待模糊图像，IG是模糊后的图像，i和j分别是待模糊图像中像素的水平方向位置和垂直方向位置，G(k,l)是模糊算子，超分辨率图像G(ILR)和目标图像IHR经过高斯模糊后可分别得到其对应的模糊图像G(ILR)G和IHR G，μx＝μy＝0,
Figure BDA0002082168240000133
k＝1,2,…,21,l＝1,2,…,21。
可选地，所述的色彩对抗网络中卷积单元包括依次设置的卷积层、Leaky Relu激活层以及归一化层；
所述的色彩对抗网络中全连接单元包括依次设置的稠密卷积层、Leaky Relu激活层、稠密卷积层以及Sigmoid激活层。
在本实施例中，色彩对抗网络中卷积单元按卷积层、Leaky Relu激活层以及归一化层结构组合而成。第1个卷积单元中卷积核的大小为11，步长为4，卷积滤波器为48。第2个卷积单元中卷积核的大小为5，步长为2，卷积滤波器为64。第3个至第6个卷积单元中卷积核的大小均为3，步长分别为1、2、1和2，卷积滤波器的数量分别为128、128、128和64；
色彩对抗网络中全连接单元按稠密卷积层、Leaky Relu激活层、稠密卷积层以及Sigmoid激活层结构组合而成，卷积滤波器的数量分别为1024和1。
另外，由于对抗网络每输入一组图像就会对应一组输出，这一组输出分别是初步重建图像被判定为是高分辨率图像的概率以及高分辨率图像被判定为使高分辨率图像的概率，而在本发明中，一共有三个并行的对抗网络，因此输出由原来的两个变成了3*2＝6个。
步骤5、根据所述的输入概率集，训练对抗网络，获得优化后的对抗网络参数，获得本次训练后的对抗网络，具体包括：
步骤5.1、获得优化后的图像对抗网络参数，具体包括：
步骤5.1.1、采用式I获得由第n个输出概率子集对应的图像对抗网络的损失函数值
Figure BDA0002082168240000141
Figure BDA0002082168240000151
重复本步骤，直至获得N个图像对抗网络的损失函数值；
步骤5.1.2、对步骤5.1.1获得的N个图像对抗网络的损失函数值求均值，获得图像对抗网络的损失函数平均值；
步骤5.1.3、将所述的图像对抗网络的损失函数平均值输入至Adam优化器后，获得优化后的图像对抗网络参数；
步骤5.2、获得优化后的形态成分对抗网络参数，具体包括：
步骤5.2.1、采用式II获得由第n个输出概率子集对应的形态成分对抗网络的损失函数值
Figure BDA0002082168240000152
Figure BDA0002082168240000153
重复本步骤，直至获得N个形态成分对抗网络的损失函数值；
步骤5.2.2、对步骤5.2.1获得的N个形态成分对抗网络的损失函数值求均值，获得形态成分对抗网络的损失函数平均值；
步骤5.2.3、将所述的形态成分对抗网络的损失函数平均值输入至Adam优化器后，获得优化后的形态成分对抗网络参数；
步骤5.3、获得优化后的色彩对抗网络参数，具体包括：
步骤5.3.1、采用式III获得由第n个输出概率子集对应的色彩对抗网络的损失函数值
Figure BDA0002082168240000154
Figure BDA0002082168240000155
重复本步骤，直至获得N个色彩对抗网络的损失函数值；
步骤5.3.2、对步骤5.3.1获得的N个色彩对抗网络的损失函数值求均值，获得色彩对抗网络的损失函数平均值；
步骤5.3.3、将所述的色彩对抗网络的损失函数平均值输入至Adam优化器后，获得优化后的色彩对抗网络参数；
步骤5.4、固定所述的优化后的图像对抗网络参数、优化后的形态成分对抗网络参数以及优化后的色彩对抗网络参数，获得本次训练后的对抗网络；
在本步骤中，主要完成对三个对抗网络参数的优化，获得本次训练后的对抗网络，这一过程相当于是对对抗网络训练的过程，不断调整参数，获得训练后的对抗网络。
步骤6、根据所述的输出概率集、目标图像集以及初步重建图像集，优化生成网络参数，获得本次优化后的生成网络；
可选地，所述的步骤6中根据所述的输出概率集、目标图像集以及初步重建图像集，优化生成网络参数，具体包括：
步骤6.1、采用式IV获得优化后的生成网络损失函数：
L＝Limg+2×10-6Lcontent+10-3Ladv 式IV
其中，Limg为像素损失函数，Lcontent为内容损失函数，Ladv为对抗损失函数；
其中，
Figure BDA0002082168240000161
Figure BDA0002082168240000162
φ(Yn)为第n幅初步重建图像经过VGG19网络提取出的特征图，φ(Xn)为第n幅高分辨率图像经过VGG19网络提取出的特征图，H为特征图的长度，W为特征图的宽度，C为特征图的特征通道数；
Figure BDA0002082168240000171
Figure BDA0002082168240000172
为图像对抗损失，
Figure BDA0002082168240000173
Figure BDA0002082168240000174
为形态成分对抗损失，
Figure BDA0002082168240000175
Figure BDA0002082168240000176
为色彩对抗损失，
Figure BDA0002082168240000177
步骤6.2、将优化后的生成网络损失函数输入Adam优化器后，获得优化后的生成网络参数。
VGG19网络是一种常见的特征提取网络，在本实施例中应用该网络提取图像的特征图进行内容损失函数的计算。
本发明提供的网络训练方法实质上的首先向生成网络输入图像，此时生成网络没有经过训练，属于初始化的随机状态，这样生成网络会输出重建后的初步重建图像，将这个初步重建图像与原始的高分辨率图像均输入至对抗网络中，利用对抗网络的输出训练对抗网络，使得对抗网络能够精准的判别初步重建图像与原始高分辨率图像，之后再利用对抗网络的输出训练生成网络，在以上步骤完成后，会获得新的生成网络以及新的对抗网络进行下一次的更新训练，在下一次更新训练中，将输入图像输入至新的生成网络中输出更为准确的初步待重建图像，再将更为准确的初步待重建图像和原始高分辨率图像输入至新的对抗网络中获得对抗网络的输出，利用对抗网络的输出再去训练对抗网络以及生成网络，获得又一新的对抗网络以及生成网络，再进行下一次的训练，一直重复执行，直到两个网络都趋于稳定，其中设置训练次数为M＝5×104+105或者直到三个对抗网络判定初步重建图像为高分辨率图像的概率为无限接近于0.5且三个对抗网络判定高分辨率图像为高分辨率图像的概率为无限接近于0.5，即此时对抗网络也无法分辨初步重建图像到底是不是真实图像，此时生成网络和对抗网络参数优化完成。
步骤7、将最后一次执行步骤6时得到的优化后的生成网络作为图像超分辨率重建模型，结束。
在本实施例中，最终获得的生成网络作为超分辨率重建模型。
在本发明中，对抗网络的作用就是为了训练获得最优的生成网络，在后期进行超分辨率重建时，对抗网络不参与。
实施例二
在本实施例中公开了一种融合形态及色彩的图像超分辨率重建方法，将待重建图像输入至实施例一中所述的图像超分辨率重建模型后，获得重建后的图像。
以下给出本实验的实验结果分析：
本实验采用的对比方法包括：Bicubic、DRCN、VDSR、SRResNet、SRGAN-MSE、SRGAN、和EnhanceNet方法。图2给出一幅低分辨率图像的SR重建结果，其中(a)是HR原图，(b)是LR图像经过双三次插值后得到的HR图像，(c)是DRCN重建的结果，(d)是VDSR的结果，(e)是SRGAN的重建结果，(f)是EnhanceNet的重建结果,(g)是本发明方法的重建结果。由结果图可知，Bicubic、DRCN和VDSR方法得到的超分辨率图像过于平滑，边缘模糊，图像视觉不清晰；使用感知损失函数的优化超分辨率网络方法SRGAN、EnhanceNet和本发明方法得到的超分辨率图像细节更加丰富，边缘清晰，人类的视觉感知效果更优。相较于本发明方法，SRGAN方法和EnhanceNet方法生成的超分辨率图像中存在明显的人工痕迹。本发明方法在形态成分和纹理方面视觉感受更加流畅，没有突兀的感觉，且不模糊；色彩连续光顺，没有过度渲染及色彩蔓延现象。本发明的SR结果在形态成分和色彩方面上与高分辨率图像更趋于保持一致。
表1 Set5数据集的客观评测结果
Figure BDA0002082168240000191
表2 Set14数据集的客观评测结果
Figure BDA0002082168240000192
表3 BSD100数据集的客观评测结果
Figure BDA0002082168240000201
为进一步说明本发明方法的有效性，表格1、2、3展示了本发明方法及其他对比方法在Set5数据集、Set14数据集及BSD100数据集下的峰值信噪比值(PSNR)和自然图像质量评估平均值(NIQE)。峰值信噪比用于量化图像像素的准确性。PSNR值越高，待评测图像与给定的目标图像像素值之间的误差越小。自然图像质量评价方法(Natural Image QualityEvaluator,NIQE)由Mittal等人提出，用于量化图像的感知质量。NIQE值与人眼主观质量评价结果一致。NIQE值越低，图像的视觉质量越好。
观察实验数据可见，DRCN、VDSR、EDSR和SRResNet方法均具有高的客观评测值(PSNR>28dB)，但主观评价低(NIQE>6)，视觉质量差；法SRGAN-MSE、SRGAN、ESRGAN、EnhanceNet以及本发明方法虽然客观评测值不高(PSNR<27dB)，但主观评测优秀(3.5<NIQE<4.5)，视觉质量好。本发明方法在三个数据集上的主观评价NIQE值均最低，也就是说本发明方法给人的视觉感受最佳，感知质量更好。

Claims (5)

1.一种融合形态及色彩的图像超分辨率重建模型构建方法，其特征在于，按照以下步骤执行：
步骤1、获取多幅高分辨率图像，获得目标图像集X，其中X＝{X1,X2,…,Xn,…,XN}，Xn为第n幅高分辨率图像，N为正整数，n∈N；
对所述的每幅高分辨率图像进行降采样，获得多幅低分辨率图像，获得待重建图像集x，其中x＝{x1,x2,…,xn,…,xN}，xn为第n幅低分辨率图像；
重复执行M次步骤2-步骤6，M为正整数：
步骤2、将所述的待重建图像集输入至初始生成网络或上次优化后的生成网络，获得初步重建图像集Y，Y＝{Y1,Y2,…,Yn,…,YN},Yn为第n幅初步重建图像；
所述的初始生成网络参数均为随机数；
步骤3、将所述的初步重建图像集Y中第n幅初步重建图像Yn以及目标图像集X中第n幅高分辨率图像Xn进行集合，获得第n个输入图像子集Sn＝{Yn,Xn}；
重复本步骤，直至获得N个输入图像子集，获得输入图像集S；
步骤4、将所述的输入图像集S输入至初始对抗网络或上次训练后的对抗网络，所述的初始对抗网络参数均为随机数；
所述的初始对抗网络以及上次训练后的对抗网络包括并行设置的图像对抗网络、形态成分对抗网络以及色彩对抗网络；
所述的形态成分对抗网络包括依次设置的灰度化单元、卷积单元以及全连接单元；所述的灰度化单元用于对输入图像进行灰度化；
所述的色彩对抗网络包括依次设置的高斯模糊单元、卷积单元以及全连接单元；所述的高斯模糊单元用于对输入图像进行高斯模糊；
获得每一个输入图像子集对应的输出概率子集，获得输出概率集；
其中对于第n个输入图像子集Sn对应的第n个输出概率子集
Figure FDA0003863535360000021
其中
Figure FDA0003863535360000022
为第n幅初步重建图像Yn被图像对抗网络认为是第n幅高分辨率图像Xn的概率；
Figure FDA0003863535360000023
为第n幅高分辨率图像Xn被图像对抗网络认为是第n幅高分辨率图像Xn的概率；
Figure FDA0003863535360000024
为第n幅初步重建图像Yn被形态成分对抗网络认为是第n幅高分辨率图像Xn的概率；
Figure FDA0003863535360000025
为第n幅高分辨率图像Xn被形态成分对抗网络认为是第n幅高分辨率图像Xn的概率；
Figure FDA0003863535360000026
为第n幅初步重建图像Yn被色彩对抗网络认为是第n幅高分辨率图像Xn的概率；
Figure FDA0003863535360000027
为第n幅高分辨率图像Xn被色彩对抗网络认为是第n幅高分辨率图像Xn的概率；
步骤5、根据所述的输出概率集，训练对抗网络，获得优化后的对抗网络参数，获得本次训练后的对抗网络，具体包括：
步骤5.1、获得优化后的图像对抗网络参数，具体包括：
步骤5.1.1、采用式I获得由第n个输出概率子集对应的图像对抗网络的损失函数值
Figure FDA0003863535360000029
Figure FDA0003863535360000028
重复本步骤，直至获得N个图像对抗网络的损失函数值；
步骤5.1.2、对步骤5.1.1获得的N个图像对抗网络的损失函数值求均值，获得图像对抗网络的损失函数平均值；
步骤5.1.3、将所述的图像对抗网络的损失函数平均值输入至Adam优化器后，获得优化后的图像对抗网络参数；
步骤5.2、获得优化后的形态成分对抗网络参数，具体包括：
步骤5.2.1、采用式II获得由第n个输出概率子集对应的形态成分对抗网络的损失函数值
Figure FDA0003863535360000031
Figure FDA0003863535360000032
重复本步骤，直至获得N个形态成分对抗网络的损失函数值；
步骤5.2.2、对步骤5.2.1获得的N个形态成分对抗网络的损失函数值求均值，获得形态成分对抗网络的损失函数平均值；
步骤5.2.3、将所述的形态成分对抗网络的损失函数平均值输入至Adam优化器后，获得优化后的形态成分对抗网络参数；
步骤5.3、获得优化后的色彩对抗网络参数，具体包括：
步骤5.3.1、采用式III获得由第n个输出概率子集对应的色彩对抗网络的损失函数值
Figure FDA0003863535360000033
Figure FDA0003863535360000034
重复本步骤，直至获得N个色彩对抗网络的损失函数值；
步骤5.3.2、对步骤5.3.1获得的N个色彩对抗网络的损失函数值求均值，获得色彩对抗网络的损失函数平均值；
步骤5.3.3、将所述的色彩对抗网络的损失函数平均值输入至Adam优化器后，获得优化后的色彩对抗网络参数；
步骤5.4、固定所述的优化后的图像对抗网络参数、优化后的形态成分对抗网络参数以及优化后的色彩对抗网络参数，获得本次训练后的对抗网络；
步骤6、根据所述的输出概率集、目标图像集以及初步重建图像集，优化生成网络参数，获得本次优化后的生成网络；具体包括：
步骤6.1、采用式IV获得优化后的生成网络损失函数：
L＝Limg+2×10-6Lcontent+10-3Ladv 式IV
其中，Limg为像素损失函数，Lcontent为内容损失函数，Ladv为对抗损失函数；
其中，
Figure FDA0003863535360000041
Figure FDA0003863535360000042
φ(Yn)为第n幅初步重建图像经过VGG19网络提取出的特征图，φ(Xn)为第n幅高分辨率图像经过VGG19网络提取出的特征图，H为特征图的长度，W为特征图的宽度，C为特征图的特征通道数；
Figure FDA0003863535360000043
Figure FDA0003863535360000044
为图像对抗损失，
Figure FDA0003863535360000045
Figure FDA0003863535360000046
为形态成分对抗损失，
Figure FDA0003863535360000047
Figure FDA0003863535360000048
为色彩对抗损失，
Figure FDA0003863535360000049
步骤6.2、将优化后的生成网络损失函数输入Adam优化器后，获得优化后的生成网络参数；
步骤7、将最后一次执行步骤6时得到的优化后的生成网络作为图像超分辨率重建模型，结束。
2.如权利要求1所述的融合形态及色彩的图像超分辨率重建模型构建方法，其特征在于，所述的M＝5×104+105。
3.如权利要求1所述的融合形态及色彩的图像超分辨率重建模型构建方法，其特征在于，所述的形态成分对抗网络中卷积单元包括依次设置的卷积层、Leaky Relu激活层、归一化层、卷积层、Leaky Relu激活层以及归一化层；
所述的形态成分对抗网络中全连接单元包括依次设置的稠密卷积层、Leaky Relu激活层、稠密卷积层以及Sigmoid激活层。
4.如权利要求1所述的融合形态及色彩的图像超分辨率重建模型构建方法，其特征在于，所述的色彩对抗网络中卷积单元包括依次设置的卷积层、Leaky Relu激活层以及归一化层；
所述的色彩对抗网络中全连接单元包括依次设置的稠密卷积层、Leaky Relu激活层、稠密卷积层以及Sigmoid激活层。
5.一种融合形态及色彩的图像超分辨率重建方法，其特征在于，将待重建图像输入至图像超分辨率重建模型后，获得重建后的图像；
所述的图像超分辨率重建模型采用如权利要求1至4任一权利要求所述的融合形态及色彩的图像超分辨率重建模型构建方法得到。
CN201910475726.3A 2019-05-29 2019-06-03 融合形态及色彩的图像超分辨率重建模型构建及重建方法 Active CN110363704B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019104579834 2019-05-29
CN201910457983 2019-05-29

Publications (2)

Publication Number Publication Date
CN110363704A CN110363704A (zh) 2019-10-22
CN110363704B true CN110363704B (zh) 2023-01-03

Family

ID=68215471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910475726.3A Active CN110363704B (zh) 2019-05-29 2019-06-03 融合形态及色彩的图像超分辨率重建模型构建及重建方法

Country Status (1)

Country Link
CN (1) CN110363704B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110853027A (zh) * 2019-11-18 2020-02-28 方玉明 一种基于局部变动和全局变化的三维合成图像无参考质量评价方法
CN111080528B (zh) * 2019-12-20 2023-11-07 北京金山云网络技术有限公司 图像超分辨率和模型训练方法、装置、电子设备及介质
CN111784581A (zh) * 2020-07-03 2020-10-16 苏州兴钊防务研究院有限公司 基于自归一化生成对抗网络的sar图像超分辨率重建方法
CN112288632B (zh) * 2020-10-29 2023-02-28 福州大学 基于精简esrgan的单图像超分辨率方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977932A (zh) * 2017-12-28 2018-05-01 北京工业大学 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7840086B2 (en) * 2005-10-12 2010-11-23 The Regents Of The University Of California Method for inpainting of images
CN105590304B (zh) * 2014-10-24 2019-01-08 北京大学 超分辨率图像重建方法和装置
CN107154023B (zh) * 2017-05-17 2019-11-05 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN111066060A (zh) * 2017-07-13 2020-04-24 资生堂美洲公司 虚拟面部化妆去除和模拟、快速面部检测和地标跟踪
EP3438920A1 (en) * 2017-07-31 2019-02-06 Institut Pasteur Method, device, and computer program for improving the reconstruction of dense super-resolution images from diffraction-limited images acquired by single molecule localization microscopy
CN109801221A (zh) * 2019-01-18 2019-05-24 腾讯科技（深圳）有限公司 生成对抗网络的训练方法、图像处理方法、装置和存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977932A (zh) * 2017-12-28 2018-05-01 北京工业大学 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法

Also Published As

Publication number Publication date
CN110363704A (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
CN110363704B (zh) 融合形态及色彩的图像超分辨率重建模型构建及重建方法
CN111062872B (zh) 一种基于边缘检测的图像超分辨率重建方法及系统
Ancuti et al. Ntire 2018 challenge on image dehazing: Methods and results
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN106683067B (zh) 一种基于残差子图像的深度学习超分辨率重建方法
CN108876735B (zh) 一种基于深度残差网络的真实图像盲去噪方法
CN104134196B (zh) 基于非凸高阶全变差模型的Split Bregman权值迭代图像盲复原方法
CN111080567A (zh) 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
CN109345476A (zh) 基于深度残差网络的高光谱图像超分辨率重建方法及装置
CN109801215A (zh) 基于对抗生成网络的红外超分辨率成像方法
CN110675321A (zh) 一种基于渐进式的深度残差网络的超分辨率图像重建方法
CN107025632A (zh) 一种图像超分辨率重建方法及系统
CN107203985A (zh) 一种端到端深度学习框架下的多曝光图像融合方法
CN111178499B (zh) 一种基于生成对抗网络改进的医学图像超分辨率方法
CN109447903B (zh) 一种半参考型超分辨率重构图像质量评价模型的建立方法
CN112669214B (zh) 一种基于交替方向乘子算法的模糊图像超分辨率重建方法
CN112001843A (zh) 一种基于深度学习的红外图像超分辨率重建方法
CN116051428A (zh) 一种基于深度学习的联合去噪与超分的低光照图像增强方法
CN111105376A (zh) 基于双分支神经网络的单曝光高动态范围图像生成方法
Li et al. Real-world image super-resolution by exclusionary dual-learning
CN110211084A (zh) 一种基于权重小波变换的图像多分辨率重建方法
CN109064402A (zh) 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法
CN115526777A (zh) 一种盲超分网络建立方法、盲超分方法及存储介质
CN116029902A (zh) 一种基于知识蒸馏的无监督真实世界图像超分辨方法
CN106254720B (zh) 一种基于联合正则化的视频超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant