CN111260558B - 一种可变倍率的图像超分辨率网络模型 - Google Patents
一种可变倍率的图像超分辨率网络模型 Download PDFInfo
- Publication number
- CN111260558B CN111260558B CN202010075845.2A CN202010075845A CN111260558B CN 111260558 B CN111260558 B CN 111260558B CN 202010075845 A CN202010075845 A CN 202010075845A CN 111260558 B CN111260558 B CN 111260558B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- residual
- learning
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 12
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims 3
- 238000013135 deep learning Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种可变倍率的图像超分辨率网络模型，模型包括参数化残差学习网络PRNet、残差精化学习网络RRNet和叠加网络；参数化残差学习网络PRNet，用于学习低分辨率LR图像到高分辨率HR图像间的映射；残差精化学习网络RRNet，用于学习重建高分辨率图像到残差图像间的映射；叠加网络，用于将高分辨率HR图像与残差图像进行叠加，形成最终的超分辨率SR图像输出。本发明通过对放大倍率参数进行显式表达，建立参数化残差学习网络模型，从而使得模型能接受任意尺度的输入，满足可变倍率超分辨率任务要求；本发明提出残差精化学习网络，进一步学习重建的高分辨率图像与重建残差间的映射关系，从而对重建图像进行残差补偿，提高超分辨率重建质量。
Description
技术领域
本发明属于数字图像处理技术领域，涉及一种图像超分辨率网络模型，具体涉及一种可变倍率的图像超分辨率网络模型。
技术背景
深度学习技术促进了图像超分辨率(super-resolution，SR)重建性能的巨大跃升，但面向超分辨率重建的深度学习模型每次只能针对一种固定的放大倍数，如果要同时执行不同倍数的超分辨率任务，则需要训练多个对应不同放大倍数的深度学习网络模型。对于需要执行任意不确定放大倍率的应用而言，超分辨率网络的这种局限性制约了其实际应用范围。
不确定放大倍率的超分辨率应用场景在现实中普遍存在，一种常见的场景是监控视频的人脸超分辨率识别，即通过超分辨率技术提升人脸的分辨率进而提高人脸识别系统的精度。由于监控目标距离摄像头远近不一，导致采集到人脸的分辨率也各不相同。将输入尺寸各异的低分辨率人脸图像提升到人脸识别器需要的统一高分辨率尺寸，就是一种典型的变倍率超分辨率处理任务。
为不同放大倍数训练各自模型的方式繁琐而不切实际，一种替代方案是，先利用传统的图像插值方法，将不定尺寸的输入图像上采样到统一的最终尺寸，再进行恒等倍率的超分辨率重建。这种方式下，深度学习超分辨率模型不再是扩大空间分辨率，而是补充图像的细节信息。由于统一尺寸后的输入图像的原有细节丰富程度各不相同，需要超分辨率模型补充的细节增量故而也不固定，从而要求超分辨率网络具有强大的不等增量细节的学习能力，这对训练样本的多样性和网络的特征模式表达能力均提出了挑战。
可见，对于可变放大倍率的超分辨率任务，当前的两种处理方式存在严重缺陷，为每种倍数训练对应网络模型的方式繁琐而不切实际；先插值到统一的分辨率再超分重建的方式忽略了不同分辨率输入图像在内容成份上的差异性，难以获得理想的重建效果。为一种放大倍数训练的网络(如X2)不能适用于另外一种倍数的图像放大(如X3)的根源在于，现有的超分辨率重建网络没有对放大倍率这一变量进行显式表达，因此，有必要提出可变放大倍率的超分辨率网络模型，满足任意尺度输入的要求。
发明内容
为了解决上述技术问题，本发明提出了一种可变倍率的图像超分辨率网络模型。
本发明所采用的技术方案是：一种可变倍率的图像超分辨率网络模型，其特征在于：所述模型包括参数化残差学习网络PRNet、残差精化学习网络RRNet和叠加网络；
所述参数化残差学习网络PRNet，用于学习低分辨率LR图像到高分辨率HR图像间的映射；
所述残差精化学习网络RRNet，用于学习重建高分辨率图像到残差图像间的映射；
所述叠加网络，用于将高分辨率HR图像与残差图像进行叠加，形成最终的超分辨率SR图像输出。
作为优选，所述参数化残差学习网络PRNet，其基本计算单元为参数化残差学习单元；
所述参数化残差学习单元，对残差图像学习网络学习得到的残差进行调控，调节残差对超分辨率重建的贡献比重，高放大倍数时贡献大，低放大倍数时贡献小，放大倍数为1时，残差不参与重建，直接输出原始图像，使得参与超分重建的残差信息量正相关于放大倍数；
所述参数化残差学习单元的形式化表达为：
y＝f·r(x)+x；
其中，x为输入的低分辨率图像，r(x)为学习得到的残差信息，f为残差调控因子，y为输出图像，即为重建的高分辨率图像。
作为优选，所述参数化残差学习单元中，输入图像x通过图像插值方法，上采样到目标放大分辨率，以便将不定尺寸的输入统一起来；输入图像x通过长程跳过Long Skip连接叠加到残差信息上，残差信息r(x)由若干级联的卷积层Conv.学习得到。
作为优选，所述参数化残差学习单元中，残差调控因子f根据放大倍数计算，与放大倍数成正比关系，计算公式如下：
其中St、Si分别为目标放大尺寸和输入的原始低分辨率图像尺寸。
作为优选，所述残差精化学习网络RRNet，其基本计算单元为现有的残差学习单元。
作为优选，最优参数化残差学习网络PRNet、残差精化学习网络RRNet均通过训练获得；
所述参数化残差学习网络PRNet的训练样本集由原始低分辨率LR图像和原始高分辨率HR图像样本对构成，通过现有普遍采用的高斯下采样方式构造；
所述残差精化学习网络RRNet的训练样本集由重建高分辨率HR图像和残差图像样本对构成；为产生训练需要的残差图像样本，从原始高分辨率HR图像中，减去参数化残差学习网络PRNet重建的高分辨率HR图像，得到残差图像样本；为训练样本集中的每幅图像都产生一个残差图像样本，合计形成残差图像样本集。
与现有的基于深度学习的超分辨率重建网络相比，本发明具有以下优点与积极效果：
1)通过对放大倍率参数进行显式表达，建立参数化残差学习网络模型，从而使得模型能接受任意尺度的输入，满足可变倍率超分辨率任务要求。
2)提出残差精化学习网络，进一步学习重建的高分辨率图像与重建残差间的映射关系，从而对重建图像进行残差补偿，提高超分辨率重建质量。
附图说明
图1为本发明实施例的可变倍率图像超分辨率网络模型的结构图；
图2为本发明实施例的参数化残差单元结构图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
现有的超分辨率网络一次只能针对一种放大倍数进行训练，为一种放大倍数训练的网络(如X2)不能适用于另外一种倍数的图像放大(如X3)。如果要实现任意倍数的可变倍率放大，必须为每种放大倍数训练一种网络模型，这在现实应用中不切实际。问题的根源在于现有的超分辨率重建网络没有对放大倍率这一变量进行显式表达，为此，应设计一种参数化残差学习网络模型，满足任意尺度输入的要求。
此外，超分辨率重建的图像与真实的高分辨率图像不会完全一样，往往存在偏差，如果将偏差补偿到重建结果中，将能提高超分图像的细腻度、逼真度和自然度。为此，需要进一步设计一种残差精化网络来实现预测残差的补偿。
基于上述原理，请见图1，本发明提供的一种可变倍率的图像超分辨率网络模型，结构如下：包括参数化残差学习网络(PRNet)、残差精化学习网络(RRNet)和叠加网络。前者学习低分辨率(LR)图像到高分辨率(HR)图像间的映射，后者学习重建高分辨率图像到残差间的映射。叠加网络将二者的学习结果进行叠加，形成最终的超分辨率(SR)图像输出。
图1中的参数化残差学习网络，其基本计算单元为参数化残差学习单元。图1中的残差精化学习网络，其基本计算单元为现有的残差学习单元。
下面进一步说明关键模块参数化残差学习单元的设计实例。
1)参数化残差学习单元
输入图像的分辨率与重建的目标分辨率越接近，需要超分辨率重建算法补偿的细节信息越少，当输入分辨率与目标分辨率相同时，超分辨率算法甚至不用对图像作任何改变。因此，需要超分辨率算法补充的图像信息与放大倍数成正相关关系。待补充的高频内容信息可以用低分辨率图像与真实高分辨率图像间的残差(对应为高频细节成份)来衡量，从而将问题转化为寻求残差与放大倍数的关系。
为实现上述思想，本发明在现有的超分辨率网络中引入参数化残差学习，修正传统的残差学习单元结构，对残差网络学习得到的残差进行调控，调节残差对超分辨率重建的贡献比重，高放大倍数时贡献大，低放大倍数时贡献小，放大倍数为1时，残差不参与重建，直接输出原始图像，使得参与超分重建的残差信息量正相关于放大倍数。基于这一思路，本发明设计的具有残差调控能力的参数化残差单元结构如图2所示。
由图2可见，参数化残差学习单元的形式化表达为：
y＝f·r(x)+x；
其中，x为输入的低分辨率图像，r(x)为学习得到的残差信息，f为残差调控因子，y为输出图像，即为重建的高分辨率图像。从公式可以看出，重建图像补充残差的比例，取决于残差调控因子f。
此外，构建的参数化残差学习单元还具有如下设计要点：
(1)输入图像x通过传统的图像插值方法(如Bicubic、Lanczos等)，上采样到目标放大分辨率，以便将不定尺寸的输入统一起来。
(2)输入图像x通过长程跳过(Long Skip)连接叠加到残差信息上，残差信息r(x)由多个级联的卷积层Conv.学习得到。
(3)残差调控因子f根据放大倍数计算，与放大倍数成正比关系，计算公式如下：
其中St、Si分别为目标放大尺寸和输入的原始低分辨率图像尺寸。计算f时将放大倍数减去1是为了在恒等分辨率时直接输出原始图像。
(4)由于f是根据放大倍数计算得到，因此最终取决于放大倍数。高倍率放大时需要补充的残差成份多，反之，低倍率放大时补充的残差少，当输入、输出的分辨率不改变时，此时f＝0,不需要补充任何残差信息。
2)网络训练
可变倍率图像超分辨率网络的训练，包含参数化残差学习网络的训练和残差精化学习网络的训练。
参数化残差学习网络的训练样本集由原始LR图像和HR图像样本对构成，可通过现有普遍采用的高斯下采样方式构造。
残差精化学习网络的训练样本集由重建HR图像和残差图像样本对构成。为产生训练需要的残差样本，从原始HR图像中，减去参数化残差学习网络重建的HR图像，得到残差图像样本。为训练样本集中的每幅图像都产生一个残差样本图，合计形成残差样本集。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (5)
1.一种建立可变倍率的图像超分辨率网络模型的方法，其特征在于：所述模型包括参数化残差学习网络PRNet、残差精化学习网络RRNet和叠加网络；
所述参数化残差学习网络PRNet，用于学习低分辨率LR图像到高分辨率HR图像间的映射；
所述残差精化学习网络RRNet，用于学习重建高分辨率图像到残差图像间的映射；
所述叠加网络，用于将高分辨率HR图像与残差图像进行叠加，形成最终的超分辨率SR图像输出；
所述参数化残差学习网络PRNet，其基本计算单元为参数化残差学习单元；
所述参数化残差学习单元，对残差图像学习网络学习得到的残差进行调控，调节残差对超分辨率重建的贡献比重，高放大倍数时贡献大，低放大倍数时贡献小，放大倍数为1时，残差不参与重建，直接输出原始图像，使得参与超分重建的残差信息量正相关于放大倍数；
所述参数化残差学习单元的形式化表达为：
y＝f·r(x)+x；
其中，x为输入的低分辨率图像，r(x)为学习得到的残差信息，f为残差调控因子，y为输出图像，即为重建的高分辨率图像。
2.根据权利要求1所述的建立可变倍率的图像超分辨率网络模型的方法，其特征在于：所述参数化残差学习单元中，输入图像x通过图像插值方法，上采样到目标放大分辨率，以便将不定尺寸的输入统一起来；输入图像x通过长程跳过Long Skip连接叠加到残差信息上，残差信息r(x)由若干级联的卷积层Conv.学习得到。
3.根据权利要求1所述的建立可变倍率的图像超分辨率网络模型的方法，其特征在于：所述参数化残差学习单元中，残差调控因子f根据放大倍数计算，与放大倍数成正比关系，计算公式如下：
其中St、Si分别为目标放大尺寸和输入的原始低分辨率图像尺寸。
4.根据权利要求1所述的建立可变倍率的图像超分辨率网络模型的方法，其特征在于：所述残差精化学习网络RRNet，其基本计算单元为残差学习单元。
5.根据权利要求1-4任意一项所述的建立可变倍率的图像超分辨率网络模型的方法，其特征在于：最优参数化残差学习网络PRNet、残差精化学习网络RRNet均通过训练获得；
所述参数化残差学习网络PRNet的训练样本集由原始低分辨率LR图像和原始高分辨率HR图像样本对构成，通过现有普遍采用的高斯下采样方式构造；
所述残差精化学习网络RRNet的训练样本集由重建高分辨率HR图像和残差图像样本对构成；为产生训练需要的残差图像样本，从原始高分辨率HR图像中，减去参数化残差学习网络PRNet重建的高分辨率HR图像，得到残差图像样本；为训练样本集中的每幅图像都产生一个残差图像样本，合计形成残差图像样本集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010075845.2A CN111260558B (zh) | 2020-01-22 | 2020-01-22 | 一种可变倍率的图像超分辨率网络模型 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010075845.2A CN111260558B (zh) | 2020-01-22 | 2020-01-22 | 一种可变倍率的图像超分辨率网络模型 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111260558A CN111260558A (zh) | 2020-06-09 |
| CN111260558B true CN111260558B (zh) | 2021-10-22 |
Family
ID=70952635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010075845.2A Active CN111260558B (zh) | 2020-01-22 | 2020-01-22 | 一种可变倍率的图像超分辨率网络模型 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111260558B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023184525A1 (en) * | 2022-04-02 | 2023-10-05 | Covidien Lp | System and method for deep learning based hybrid image enlargement |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108428212A (zh) * | 2018-01-30 | 2018-08-21 | 中山大学 | 一种基于双拉普拉斯金字塔卷积神经网络的图像放大方法 |
| CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
| CN109389552A (zh) * | 2017-08-02 | 2019-02-26 | 中山大学 | 一种基于上下文相关多任务深度学习的图像超分辨算法 |
| CN110276721A (zh) * | 2019-04-28 | 2019-09-24 | 天津大学 | 基于级联残差卷积神经网络的图像超分辨率重建方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101216889A (zh) * | 2008-01-14 | 2008-07-09 | 浙江大学 | 一种融合全局特征与局部细节信息的人脸图像超分辨率方法 |
| US11354577B2 (en) * | 2017-03-15 | 2022-06-07 | Samsung Electronics Co., Ltd | System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions |
| CN107292821B (zh) * | 2017-06-23 | 2019-09-10 | 武汉大学 | 一种超分辨率图像重建方法及系统 |
| RU2698649C1 (ru) * | 2018-01-16 | 2019-08-29 | Акционерное общество "Федеральный научно-производственный центр "Нижегородский научно-исследовательский институт радиотехники" | Способ обнаружения и классификации малоразмерных объектов на изображениях, полученных радиолокационными станциями с синтезированной апертурой |
| CN108288251A (zh) * | 2018-02-11 | 2018-07-17 | 深圳创维－Rgb电子有限公司 | 图像超分辨率方法、装置及计算机可读存储介质 |
| CN109509152B (zh) * | 2018-12-29 | 2022-12-20 | 大连海事大学 | 一种基于特征融合的生成对抗网络的图像超分辨率重建方法 |
| CN110211038A (zh) * | 2019-04-29 | 2019-09-06 | 南京航空航天大学 | 基于dirac残差深度神经网络的超分辨率重建方法 |
-
2020
- 2020-01-22 CN CN202010075845.2A patent/CN111260558B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109389552A (zh) * | 2017-08-02 | 2019-02-26 | 中山大学 | 一种基于上下文相关多任务深度学习的图像超分辨算法 |
| CN108428212A (zh) * | 2018-01-30 | 2018-08-21 | 中山大学 | 一种基于双拉普拉斯金字塔卷积神经网络的图像放大方法 |
| CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
| CN110276721A (zh) * | 2019-04-28 | 2019-09-24 | 天津大学 | 基于级联残差卷积神经网络的图像超分辨率重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111260558A (zh) | 2020-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sun et al. | Learned image downscaling for upscaling using content adaptive resampler | |
| Zheng et al. | Crossnet: An end-to-end reference-based super resolution network using cross-scale warping | |
| Li et al. | Dual-stage approach toward hyperspectral image super-resolution | |
| CN109949221B (zh) | 一种图像处理方法及电子设备 | |
| CN110335330B (zh) | 图像模拟生成方法及其系统、深度学习算法训练方法及电子设备 | |
| Chadha et al. | iSeeBetter: Spatio-temporal video super-resolution using recurrent generative back-projection networks | |
| CN103985085A (zh) | 图像超分辨率放大的方法和装置 | |
| Liu et al. | Iterative network for image super-resolution | |
| Dai et al. | Image super-resolution via residual block attention networks | |
| Cai et al. | TDPN: Texture and detail-preserving network for single image super-resolution | |
| Zhang et al. | Implicit neural representation learning for hyperspectral image super-resolution | |
| CN111260558B (zh) | 一种可变倍率的图像超分辨率网络模型 | |
| CN114640885B (zh) | 视频插帧方法、训练方法、装置和电子设备 | |
| CN115526777A (zh) | 一种盲超分网络建立方法、盲超分方法及存储介质 | |
| CN116740340A (zh) | 基于深度学习的计算光谱成像误差矫正方法 | |
| CN113628115B (zh) | 图像重建的处理方法、装置、电子设备和存储介质 | |
| Wang et al. | DDistill-SR: Reparameterized dynamic distillation network for lightweight image super-resolution | |
| CN114332625A (zh) | 基于神经网络的遥感图像彩色化和超分辨率方法及系统 | |
| Liu et al. | From coarse to fine: Hierarchical pixel integration for lightweight image super-resolution | |
| CN113487482A (zh) | 一种基于元迁移学习的自适应超分辨率方法 | |
| Liu et al. | Arbitrary-scale super-resolution via deep learning: A comprehensive survey | |
| CN116309066A (zh) | 一种超分辨率成像方法及装置 | |
| Yuan et al. | Unsupervised real image super-resolution via knowledge distillation network | |
| CN113658046A (zh) | 基于特征分离的超分辨率图像生成方法、装置、设备和介质 | |
| CN115082307A (zh) | 一种基于分数阶微分方程的图像超分辨率方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |