CN109727195B - 一种图像超分辨率重构方法 - Google Patents
一种图像超分辨率重构方法 Download PDFInfo
- Publication number
- CN109727195B CN109727195B CN201811587560.6A CN201811587560A CN109727195B CN 109727195 B CN109727195 B CN 109727195B CN 201811587560 A CN201811587560 A CN 201811587560A CN 109727195 B CN109727195 B CN 109727195B
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- training
- super
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种图像超分辨率重构方法，包括如下步骤:制作学习样本集;学习训练:采用卷积神经网络的单帧模型作为循环网络模块,构造包括N+1个循环网络模块的循环神经网络方式的超分辨率映射模型,训练中,将单幅最低分辨率图片输入超分辨率映射模型中的每一个循环网络模块进行单次训练；更换低分辨率图片反复进行上述单次训练;多次进行单次训练中;重构:将需要重构的低分辨率图片输入完成训练的超分辨率映射模型,得到高分辨率图片。本发明通过在性能指标中增加有关模糊图像的输出误差项，来引导模型同时学习图像的低频与高频信息，可以使图像超分辨率重建结果兼顾可靠性与细节;同时循环网络形式的超分辨率映射模型，也可以极大地节省存储空间。
Description
技术领域
本发明属于软件技术领域，涉及图像处理技术，具体涉及一种图像超分辨率重构方法。
背景技术
图像超分辨率重构技术是利用低分辨率图像生成高分辨率图像的手段，在医疗图像、卫星拍照、安全监控等领域拥有重大应用价值。超分辨率重建技术可分为三类：基于插值的方法、基于模型的方法、基于学习的方法。其中，基于学习的方法是目前的主流方向，特别上随着深度学习技术和卷积神经网络的不断发展，超分辨率重建的图像质量也在不断提升。它通过大量成对的低分辨率与高分辨考虑的图像样本，学习出图像特征以及低分辨率到高分辨率的映射模型，相当于为增加像素提供了当前图像的特征参考，以及基于特征的像素增加方案的历史参考，所以能获得更好的超分辨率图像。
当前的图像超分辨率重建技术中，效果最好的为基于深度卷积神经网络的一系列方法。这类方法通过卷积核形成的感受野来获取图像特征的表达形式，并利用大量样本数据来优化特征表达形式，使其能更好的描绘图像，同时利用历史这些样本学习出基于图像特征的像素扩充映射模型。所以该类方法是在对图像进行理解后再基于历史经验进行像素扩充，这也是其效果提升的根源。
现有卷积神经网络超分辨率技术的基本流程是：用高分辨率图像及其对应的低分辨率图像组成训练样本对，并以低分辨率图像作为卷积神经网络的输入，输出为与高分辨率图像同尺寸的图片，输出结果与真实高分辨率照片的误差作为调节网络模型的性能指标。通过大量样本训练出超分辨率图像重建所需的映射，就可以用来放大新的图像。目前使用卷积神经网络进行图像超分辨率重建的技术，包括卷积神经网络超分辨率(SRCNN)、加速卷积神经网络超分辨率(FSRCNN)、亚像素卷积神经网络超分辨率(ESPCN)、稠密连接神经网络超分辨率(SRDenseNet)、生成对抗网络超分辨率(SRGAN)、改进的深度残差神经网络超分辨率(EDSR)、深度反向投影神经网络超分辨率(DBPN)等方法。
现有的卷积神经网络框架超分辨率技术虽然已取得较大进步，但仍有缺点。特别是在分辨率放大较多的时候，容易出现新增像素错误的情况，这其实是过于追求图像边缘锐利而付出的代价，因为训练模型的输出图像每个像素都被期望与原图一致，而不是原图的模糊近似,导致最终图像边缘像素误差放大。目前图像超分辨率重建中所使用的深度学习技术，完全依赖于样本库，卷积神经网络只是用来在大量样本中学习特征和映射。这种方式过于依赖样本库，而没有引入人类对图像认知的一些基本原则，但是由于图像的复杂多样性，样本库难以保证在各种图像细节情况都有足够的分布量，在这种情况下训练出来的模型，还要着重强调图像的锐度，即与原图完全一致，就容易造成补充像素明显错误的情况。
发明内容
为克服现有技术对低分辨率图像重构过程中存在的技术缺陷，本发明公开了一种图像超分辨率重构方法。
本发明所述图像超分辨率重构方法，包括如下步骤:
制作学习样本集:将大量像素大小相同的高分辨率原图A1, A2,…AM分别经N次平滑，生成不同模糊程度的原尺寸图像{( A10 A11 A12 … A1N), (A20 A21 A22 … A2N)…(AM0AM1 AM2 … AMN)}，下标0,1,2…N表示平滑操作的次数，数值越大，图像越模糊，下标为0的对应为原图;下标1,2,…M表示不同的高分辨率原图，M为样本集的图片数量;
每张原图生成的不同模糊度图像( A10 A11 A12 … A1N), (A20 A21 A22 … A2N)…(AM0 AM1 AM2 … AMN)组成各个原始图像的标签图像组，同时,将原图缩小像素尺寸后形成的低分辨率图Bi(i=1,2,…M)与对应标签图像组构成一个训练样本；
学习训练: 采用卷积神经网络的单帧模型作为循环网络模块,构造包括N+1个循环网络模块的循环神经网络方式的超分辨率映射模型, 顺序连接的各个循环网络模块输出与原图分辨率相同但模糊程度不同的图像;
以低分辨率图片B1, B2…BM分别进行单次训练;
训练中,将单幅最低分辨率图片输入超分辨率映射模型中的每一个循环网络模块进行单次训练, 训练过程中每一循环网络模块输出与原图尺寸相同,模糊程度从高到低的图像，并依次与对应标签图像组AiN, AiN-1…Ai1比较计算误差；
调整循环网络模块的参数使误差最小;
更换低分辨率图片B1, B2…BM反复进行上述单次训练;
多次进行单次训练中,对循环网络模块的参数调整原则为:使已经进行的所有单次训练的误差和最小;
重构:将需要重构的低分辨率图片输入完成训练的超分辨率映射模型,得到高分辨率图片。
具体的，所述制作学习样本集的过程中, 采用不同次数的高斯平滑来获得不同模糊程度的原尺寸图像。
本发明在训练超分辨率映射模型时，通过在性能指标中增加有关模糊图像的输出误差项，来引导模型同时学习图像的低频与高频信息，可以使图像超分辨率重建结果兼顾可靠性与细节;同时循环网络形式的超分辨率映射模型，也可以极大地节省存储空间。
附图说明
图1为本发明所述超分辨率映射模型的一种具体实施方式示意图;
图2为本发明所述循环网络模块的一个具体工作方式示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式作进一步的详细说明。
本发明所述图像超分辨率重构方法，包括如下步骤:
制作学习样本集:将大量像素大小相同的高分辨率原图A1, A2,…AM分别经N次平滑，生成不同模糊程度的原尺寸图像{( A10 A11 A12 … A1N), (A20 A21 A22 … A2N)…(AM0AM1 AM2 … AMN)}，下标0,1,2…N表示平滑操作的次数，数值越大，图像越模糊，0对应的为原图。1,2,…M表示不同的高分辨率原图，M为样本集的图片数量，每张图像生成的不同模糊度图像一起组成标签图像，而原图缩小后形成的低分辨率图Bi(i=1,2,…M)与标签图像构成一个训练样本；
学习训练: 采用卷积神经网络的单帧模型作为循环网络模块,构造包括N个循环网络模块的循环神经网络方式的超分辨率映射模型, 顺序连接的各个循环网络模块输出图像的分辨率与样本集的分辨率1,2…N分别对应;
在样本集中选择低分辨率图片B1, B2…BM分别进行单次训练;
单次训练中,将单幅最低分辨率图片输入超分辨率映射模型中的每一个循环网络模块进行单次训练, 训练过程中每一循环网络模块输出与原图同尺寸的图像，并依次与标签图像组AiN, AiN-1…Ai1比较来计算误差；
调整循环网络模块的参数使误差最小;
更换低分辨率图片B1, B2…BM反复进行上述单次训练;
多次进行单次训练中,对循环网络模块的参数调整原则为:使已经进行的所有单次训练的误差和最小;
重构:将需要重构的低分辨率图片输入完成训练的超分辨率映射模型,得到高分辨率图片。
为更好的说明上述技术方案,以3幅图片作为样本集,即M=3;需要说明的是,实际训练过程中,为保证训练效果,样本集的数量至少是十万张以上,通常不低于百万级别。
每幅高分辨率图片的原始分辨率为16乘16,在N=4的情况下,即通过1到4次高斯平滑，分别得到越来越模糊的16乘16图像Ai1, Ai2, Ai3, Ai4，原图则记为Ai0，这里i=1,2,3，4这些图像用作训练样本的标签图像；
所谓模糊,是指图像的尺寸不变,但将原图的像素进行高斯平滑处理,例如对于一个像素16乘16的图像, 采用3乘3的高斯核模板，对图像的各个像素进行3乘3领域内的加权求和，即图像平滑，从而形成尺寸不变，但相邻像素梯度变小的新图像。对新图像再进行上述操作，可以使相邻像素间的梯度进一步减小，所以平滑次数越多，图像越模糊。
B1, B2…BM的分辨率根据训练目的设定,例如如果要使超分辨率图像重建模型能实现将图像清晰放大2倍的效果，则可以将原图缩小2倍来获得低分辨率图像Bi(i=1,2,…M)作为训练样本的输入；
构建一个由N+1=5个单帧模型顺序连接组成的循环网络模块,如图1所示,每个循环网络模块的具体工作方式如图2所示,作为模块核心的卷积神经网络接收输入的低分辨率图像,输出的循环网络模块输出特征输入到下一循环网络模块; 5个循环网络模块的输出分辨率均为16乘16。
对于第一幅图像,将其降低尺寸至原来一半,例如原图为16乘16的分辨率,降低后变为8乘8分辨率,降低后的图像B1同时输入五个循环网络模块进行训练,各循环网络模块的输出依次为模糊程度由高到低的高分辨率图像,分别与之前得到的标签图像组A14，A13，A12，A11，A10进行误差比较，通过降低各模块的输出与相应标签图像间的误差之和，来获得超分辨率重建模型的权值参数。
第一幅图片完成后,更换图片,重复进行上述训练。
将样本集中的全部图片进行上述训练过程,完成对超分辨率映射模型的训练；最终性能指标是针对样本集全部图片,使各模块输出的高分辨率图和样本中相应的不同程度模糊处理的样本图间的综合误差最小。
对于采用卷积神经网络的单个循环网络模块,主要是为了利用卷积神经网络对图像的特征提取能力。
综合误差是指考虑全部对象的误差,可以是输出图像与样本集对应标签图像的误差之和,或采用其他误差判断和统计方式进行。
重构时,将需要重构的低分辨率图片输入完成训练的超分辨率映射模型,在最后一个循环网络模块,可以得到最清晰的高分辨率图片。
本发明在训练超分辨率映射模型时，通过在性能指标中增加有关模糊图像的输出误差项，来引导模型同时学习图像的低频与高频信息，低频信息是像素空间变化相对缓慢的区域信息,例如同一天空的不同区域,高频信息是像素空间变化剧烈的区域信息,例如天空与大地的分界线附近,其中图像的低频信息变化较缓，更易学到;但在本发明中,各个模糊程度图片从高到低均进行覆盖,高频信息一样被综合考虑,这样可以使图像超分辨率重建结果兼顾可靠性与细节,避免高频图像信息处理时容易出现的大幅失真问题;同时采用循环网络形式的超分辨率映射模型，同时只输入单一低分辨率图片也可以极大地节省存储空间。
前文所述的为本发明的各个优选实施例，各个优选实施例中的优选实施方式如果不是明显自相矛盾或以某一优选实施方式为前提，各个优选实施方式都可以任意叠加组合使用，所述实施例以及实施例中的具体参数仅是为了清楚表述发明人的发明验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。
Claims (2)
1.一种图像超分辨率重构方法，其特征在于,包括如下步骤:
制作学习样本集:将大量像素大小相同的高分辨率原图A1, A2,…AM分别经N次平滑，生成不同模糊程度的原尺寸图像{( A10 A11 A12 … A1N), (A20 A21 A22 … A2N)…(AM0 AM1 AM2… AMN)}，下标0,1,2…N表示平滑操作的次数，数值越大，图像越模糊，下标为0的对应为原图;下标1,2,…M表示不同的高分辨率原图，M为样本集的图片数量;
每张原图生成的不同模糊度图像( A10 A11 A12 … A1N), (A20 A21 A22 … A2N)…(AM0AM1 AM2 … AMN)组成各个原始图像的标签图像组，同时,将原图缩小像素尺寸后形成的低分辨率图Bi(i=1,2,…M)与对应标签图像组构成一个训练样本；
学习训练: 采用卷积神经网络的单帧模型作为循环网络模块,构造包括N+1个循环网络模块的循环神经网络方式的超分辨率映射模型, 顺序连接的各个循环网络模块输出与原图分辨率相同但模糊程度不同的图像;
以低分辨率图片B1, B2…BM分别进行单次训练;
训练中,将单幅最低分辨率图片输入超分辨率映射模型中的每一个循环网络模块进行单次训练, 训练过程中每一循环网络模块输出与原图尺寸相同,模糊程度从高到低的图像，并依次与对应标签图像组AiN, AiN-1…Ai1比较计算误差；
调整循环网络模块的参数使误差最小;
更换低分辨率图片B1, B2…BM反复进行上述单次训练;
多次进行单次训练中,对循环网络模块的参数调整原则为:使已经进行的所有单次训练的误差和最小;
重构:将需要重构的低分辨率图片输入完成训练的超分辨率映射模型,得到高分辨率图片。
2.如权利要求1所述的图像超分辨率重构方法，其特征在于，所述制作学习样本集的过程中, 采用不同次数的高斯平滑来获得不同模糊程度的原尺寸图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811587560.6A CN109727195B (zh) | 2018-12-25 | 2018-12-25 | 一种图像超分辨率重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811587560.6A CN109727195B (zh) | 2018-12-25 | 2018-12-25 | 一种图像超分辨率重构方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109727195A CN109727195A (zh) | 2019-05-07 |
| CN109727195B true CN109727195B (zh) | 2023-06-13 |
Family
ID=66297115
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811587560.6A Active CN109727195B (zh) | 2018-12-25 | 2018-12-25 | 一种图像超分辨率重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109727195B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110189348B (zh) * | 2019-05-29 | 2020-12-25 | 北京达佳互联信息技术有限公司 | 头像处理方法、装置、计算机设备及存储介质 |
| CN110289083A (zh) * | 2019-06-26 | 2019-09-27 | 苏州泓迅生物科技股份有限公司 | 一种图像重构方法及装置 |
| CN111182254B (zh) * | 2020-01-03 | 2022-06-24 | 北京百度网讯科技有限公司 | 一种视频处理方法、装置、设备及存储介质 |
| CN111383173B (zh) * | 2020-02-12 | 2023-04-18 | 山东师范大学 | 一种基于基线的图像超分辨率重建方法及系统 |
| CN113624691B (zh) * | 2020-05-07 | 2022-10-04 | 南京航空航天大学 | 一种基于空间-光谱相关性的光谱图像超分辨率映射方法 |
| CN111932456B (zh) * | 2020-07-31 | 2023-05-16 | 浙江师范大学 | 一种基于生成对抗网络的单幅图像超分辨率重建方法 |
| CN112016456B (zh) * | 2020-08-27 | 2021-06-22 | 南京理工大学 | 基于自适应反向投影深度学习的视频超分辨率方法及系统 |
| CN112330541A (zh) * | 2020-11-11 | 2021-02-05 | 广州博冠信息科技有限公司 | 直播视频处理方法、装置、电子设备和存储介质 |
| CN114898007A (zh) * | 2022-05-26 | 2022-08-12 | 昆明理工大学 | 一种基于深度学习的传统香包纹样生成方法、系统 |
| CN116797462B (zh) * | 2023-08-18 | 2023-10-24 | 深圳市优森美科技开发有限公司 | 基于深度学习的实时视频超分辨率重建方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104866900B (zh) * | 2015-01-29 | 2018-01-19 | 北京工业大学 | 一种反卷积神经网络训练方法 |
| CN106228512A (zh) * | 2016-07-19 | 2016-12-14 | 北京工业大学 | 基于学习率自适应的卷积神经网络图像超分辨率重建方法 |
| CN106845528A (zh) * | 2016-12-30 | 2017-06-13 | 湖北工业大学 | 一种基于K‑means与深度学习的图像分类算法 |
| CN107578377A (zh) * | 2017-08-31 | 2018-01-12 | 北京飞搜科技有限公司 | 一种基于深度学习的超分辨率图像重建方法及系统 |
| CN108062780B (zh) * | 2017-12-29 | 2019-08-09 | 百度在线网络技术（北京）有限公司 | 图像压缩方法和装置 |
| CN108537733B (zh) * | 2018-04-11 | 2022-03-11 | 南京邮电大学 | 基于多路径深度卷积神经网络的超分辨率重建方法 |
| CN108596833A (zh) * | 2018-04-26 | 2018-09-28 | 广东工业大学 | 超分辨率图像重构方法、装置、设备及可读存储介质 |
-
2018
- 2018-12-25 CN CN201811587560.6A patent/CN109727195B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109727195A (zh) | 2019-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109727195B (zh) | 一种图像超分辨率重构方法 | |
| CN109191382B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| Li et al. | MDCN: Multi-scale dense cross network for image super-resolution | |
| Zuo et al. | Multi-scale frequency reconstruction for guided depth map super-resolution via deep residual network | |
| CN107610194B (zh) | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN111242846B (zh) | 基于非局部增强网络的细粒度尺度图像超分辨率方法 | |
| CN111932461B (zh) | 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统 | |
| CN106067161A (zh) | 一种对图像进行超分辨的方法 | |
| CN112184547B (zh) | 红外图像的超分辨率方法及计算机可读存储介质 | |
| CN112862689A (zh) | 一种图像超分辨率重建方法及系统 | |
| CN113538246A (zh) | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 | |
| CN110418139B (zh) | 一种视频超分辨修复方法、装置、设备及存储介质 | |
| Rivadeneira et al. | Thermal image super-resolution challenge-pbvs 2021 | |
| CN110363068A (zh) | 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法 | |
| CN115147426B (zh) | 基于半监督学习的模型训练与图像分割方法和系统 | |
| CN116563100A (zh) | 一种基于内核引导网络的盲超分辨率重建方法 | |
| CN117333750A (zh) | 空间配准与局部全局多尺度的多模态医学图像融合方法 | |
| CN112200752A (zh) | 一种基于er网络多帧图像去模糊系统及其方法 | |
| CN116258632A (zh) | 一种基于文本辅助的文本图像超分辨率重建方法 | |
| CN117788295B (zh) | 一种遥感图像的超分辨率重建方法、系统及介质 | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| CN113421188B (zh) | 一种图像均衡增强的方法、系统、装置及存储介质 | |
| Zhu et al. | IRE: improved image super-resolution based on real-ESRGAN | |
| CN114648446A (zh) | 视频处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20191031 Address after: 610000 No.1, Shuangxing Avenue, Southwest Airport Economic Development Zone, Shuangliu District, Chengdu City, Sichuan Province Applicant after: Sichuan kangjisheng Technology Co.,Ltd. Address before: 610000 Shuangsheng District, Chengdu, Sichuan, 1 Shuangxing Road, Gong Xing street, Southwest Airport Economic Development Zone, Shuangliu District Applicant before: CHENGDU YUANDIAN ZHIKU TECHNOLOGY CO.,LTD. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |